TW202106006A - 圖片及視頻處理中的基於矩陣的幀內預測的方法與裝置 - Google Patents

圖片及視頻處理中的基於矩陣的幀內預測的方法與裝置 Download PDF

Info

Publication number
TW202106006A
TW202106006A TW109121447A TW109121447A TW202106006A TW 202106006 A TW202106006 A TW 202106006A TW 109121447 A TW109121447 A TW 109121447A TW 109121447 A TW109121447 A TW 109121447A TW 202106006 A TW202106006 A TW 202106006A
Authority
TW
Taiwan
Prior art keywords
current block
mip
block
mode
matrix
Prior art date
Application number
TW109121447A
Other languages
English (en)
Other versions
TWI737364B (zh
Inventor
林芷儀
莊子德
陳慶曄
徐志瑋
Original Assignee
聯發科技股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 聯發科技股份有限公司 filed Critical 聯發科技股份有限公司
Publication of TW202106006A publication Critical patent/TW202106006A/zh
Application granted granted Critical
Publication of TWI737364B publication Critical patent/TWI737364B/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/18—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a set of transform coefficients
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/587—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

圖片或視頻處理方法包括：接收當前塊的輸入資料；將MIP模式索引映射到默認模式；以及通過參考默認模式來對當前塊進行編碼或解碼。另一圖片或視頻處理方法包括：接收通過MIP模式編碼或將要編碼的當前塊的輸入資料；以及解析或發信號通知當前塊的轉置標誌，指示是否在編碼當前塊時應用了轉置。根據轉置標誌，從相鄰的邊界采樣中準備當前塊的參考采樣。選擇矩陣以與參考采樣相乘以生成預測采樣。 根據轉置標誌，將轉置處理自適應地應用於當前塊，並且將預測的采樣用於編碼或解碼當前塊。

Description

圖片及視頻處理中的基於矩陣的幀内預測的方法與裝置
本發明涉及圖片和視頻處理中的幀內預測。 特別地，本發明涉及通過矩陣乘法生成幀內預測子的基於矩陣的幀內預測。
幀內預測已在各種圖片和視頻編碼標準中廣泛採用，以處理初始圖片或定期插入幀內編碼圖片（I-picture）或幀內編碼塊（I-blocks），以進行隨機訪問或減輕錯誤傳播。通常將幀內預測設計為利用圖片或視頻圖片中的空間特徵，例如平滑區域，垂直線或邊緣，水平線或邊緣以及對角線或邊緣。幀內預測對於運動較大或場景變化的區域也很有用，因為幀內預測比幀間預測在該區域編碼的效率更高。幀內預測利用圖片內或圖片區域內的空間相關性。對於基於塊的視頻編碼標準，當前塊的幀內預測依賴於已處理的相鄰塊中的像素。例如，如果圖片中的塊或圖片區域從上到下以及從左到右逐行順序地處理，則當前塊的頂部的相鄰塊和左側的相鄰塊可以用於形成幀內預測子用於當前塊內的像素。
高效視頻編碼（HEVC）標準支持35種幀內預測模式，包括33種角度模式，DC模式和Planar模式。第1圖示出了用於HEVC標準的33種角度幀內預測模式的預測方向，其中，H表示水平方向模式，V表示垂直方向模式。通過包括幀内平滑濾波，幀內預測和幀內梯度濾波的三個步驟來生成針對已完成或將要通過HEVC標準的幀內預測編碼的當前塊的幀內預測子。第2圖示出了由幀內平滑濾波器濾波的示例性參考采樣，用於導出當前塊的幀內預測子。在計算當前塊20的幀內預測子之前，將平滑操作應用於當前塊20的參考采樣22。通過將幀內平滑濾波器應用於在當前塊20的左相鄰列和上相鄰行中的參考采樣22，該平滑操作減少了一些幀內預測模式引入的不連續性。根據幀內預測模式和當前塊的大小來自適應地應用該平滑操作。
幀內預測的第二步驟是根據從HEVC標準支持的35種幀內預測模式中選擇的一種幀內預測模式，從相鄰邊界采樣中得出幀內預測子。如果選擇了角度模式，則通過根據所選擇的角度模式的預測方向從相鄰的邊界采樣中外推采樣來預測當前塊中的每個采樣的值。如果選擇了“平面”模式，則通過假設一個具有水平和垂直平滑梯度的振幅表面來計算當前塊中每個采樣的值，該振幅表面是從相鄰塊的相鄰邊界采樣得出的。如果選擇DC模式，則當前塊的每個采樣的值是相鄰邊界采樣的平均值。
如果幀內預測模式是DC模式，水平模式和垂直模式之一，則在幀內預測的第三步驟中將幀內梯度濾波器應用於當前塊的左邊界和頂邊界處的采樣。應用幀內梯度濾波器的概念是利用沿幀內預測方向的梯度信息來提高幀內預測子的質量。當所選擇的幀內預測模式是DC模式時，當前幀的第一行和第一列中的采樣被幀內梯度濾波器濾波。當選定的幀內預測模式為“水平”模式時，第一行中的采樣將由幀內梯度濾波器過濾；如果選定的幀內預測模式為“垂直”模式，則第一列中的采樣將由幀內梯度濾波器過濾。
所選擇的幀內預測模式在視頻位元流中被顯式地用信號發送，或者從當前塊的上方和左側相鄰塊的先前解碼的模式來推斷。兩個相鄰塊的幀內預測模式包括在三個最可能模式（MPM）的集合中。信號通知第一MPM標誌以指示所選模式是否與三個MPM之一相同，如果是，則發送MPM索引以指示選擇了三個MPM中的哪一個；如果第一個MPM標誌為假，則使用5位固定長度的碼字顯式地發送所選模式的信號。
第1圖所示的33個角度模式可以擴展到具有更多或更少角度模式的一般情況，其中每個角度模式可以由模式H + k或模式V + k表示，其中H代表水平模式的方向，V代表垂直模式的方向，k = 0，+ 1，+-2，.. +-K。用於幀內預測的65個角度模式的示例如第3圖所示，其中k的範圍為-16到16，模式H-16和模式V-16是相同的模式，此模式的預測方向是從左上角到當前塊的中心。第3圖說明了65種角度幀內預測模式，其中具有其他32種角度模式在第1圖所示的HEVC標準支持的原始33種角度模式之間。第3圖中的65種角度模式包括在該塊的左邊界處從下到上的模式H+16至H-15，以及在該塊的上邊界從左到右的V-16到V+16。
在即將到來的視頻編碼標准通用視頻編碼（VVC）中，提出了一種用於正方形和矩形塊的基於矩陣的幀內預測（MIP）方法。為了通過MIP方法預測寬度等於W且高度等於H的當前塊的采樣，輸入包括一行位於當前塊左側的H個重構的相鄰邊界采樣和一行位於當前塊上方的W個重構相鄰邊界采樣。 MIP方法基於以下六個步驟來生成當前塊的預測信號。第一步，準備當前塊的參考采樣。例如，如果W和H均等於4，通過平均來提取重構的相鄰邊界采樣中的四個采樣。否則，通過平均從重構的相鄰邊界采樣中提取八個采樣。在第二步中，根據塊大小和MIP模式索引為當前塊選擇一個矩陣。在第三步驟中，以準備好的參考采樣作為輸入，執行矩陣向量乘法，然後加上偏移向量。結果是當前塊中采樣的子采樣集上的縮減的預測信號。在第四步驟中，如果需要，通過轉置來修改減少的預測信號。在第五步驟中，通過從子采樣集合上的上采樣，自縮減的預測信號生成剩餘位置處的預測信號，例如在每個方向上通過使用線性插值（例如，單步線性插值）。如果當前塊是4x4塊，則不需要上采樣。在第六步中，將上采樣後當前塊中的所有預測采樣都剪切(clip)到合理範圍內。
從三組矩陣
Figure 02_image001
,
Figure 02_image003
中獲取用於生成預測信號的矩陣和偏移向量。第一組
Figure 02_image001
由18個矩陣
Figure 02_image005
組成，每個矩陣有16列4行，還有18個偏移向量
Figure 02_image007
，偏移向量的大小為16。第一組
Figure 02_image001
的矩陣和偏移向量用於編碼大小等於4x4的塊。第二組
Figure 02_image009
由10個矩陣
Figure 02_image011
組成，每個矩陣有16列8行，還有10個偏移向量
Figure 02_image013
，偏移向量的大小為16。第二組
Figure 02_image009
的矩陣和偏移向量用於編碼大小等於4x8、8x4和8x8的塊。最後，第三組
Figure 02_image015
由6個矩陣
Figure 02_image017
組成，每個矩陣有64列8行，還有6個偏移向量
Figure 02_image019
，每個偏移向量的大小為64。第三組
Figure 02_image015
的矩陣和偏移向量或這些矩陣和偏移向量的一部分用於對其他大小的所有塊進行編碼。矩陣計算所需的乘法總數始終小於或等於4 x W x H。換句話說，在MIP方法中，每個采樣最多需要四個乘法。 準備參考采樣  在MIP方法的第一步中，頂部輸入邊界
Figure 02_image021
和左側輸入邊界
Figure 02_image023
用於生成縮減的頂部邊界
Figure 02_image025
和縮減的左側邊界
Figure 02_image027
。在此，在4x4塊的情況下，
Figure 02_image025
和
Figure 02_image027
均由2個采樣組成，而在所有其他情況下，均由4個采樣組成。 在4x4塊的情況下，對於
Figure 02_image029
，縮減的頂部邊界
Figure 02_image031
定義為：
Figure 02_image033
。 並且縮減的左邊界
Figure 02_image035
類似地定義。 否則，如果塊寬度W的給定為
Figure 02_image037
，則對於
Figure 02_image039
，縮減的頂部邊界
Figure 02_image031
定義為：
Figure 02_image041
並以相似的方式定義了縮減的左邊界
Figure 02_image027
。
將兩個縮減的邊界
Figure 02_image025
和
Figure 02_image027
串聯在一起，形成縮減的邊界向量
Figure 02_image043
。對於任何4x4塊，縮減的邊界向量的大小為4，對於任何其他塊大小，減小的邊界向量的大小為8。例如，如果模式是參考MIP模式，則第一矩陣集S0 中有35個MIP模式，第二矩陣集S1 中有19個MIP模式，第三矩陣集S2 中有11個MIP模式，這時連接縮減的邊界向量的定義如下：
Figure 02_image045
最後，對於子采樣的預測信號的內插，對於大塊需要縮減邊界的第二版本。即，如果
Figure 02_image047
且
Figure 02_image049
，記作W
Figure 02_image051
，並且對於
Figure 02_image053
，縮減邊界的第二種形式定義為：
Figure 02_image055
如果
Figure 02_image057
且
Figure 02_image059
，則類似地定義第二個版本的縮減邊界
Figure 02_image061
。
通過矩陣向量乘法產生縮減的預測信號  通過縮減的邊界向量產生縮減的預測信號
Figure 02_image063
，並且該縮減的預測信號是在下采樣的塊上具有寬度
Figure 02_image065
和高度
Figure 02_image067
的信號。下采樣塊的寬度
Figure 02_image065
和高度
Figure 02_image067
定義為：
Figure 02_image069
Figure 02_image071
縮減的預測信號
Figure 02_image073
是通過計算矩陣向量乘積並加上偏移量來計算的：
Figure 02_image075
在上述等式中，如果
Figure 02_image077
，則A是具有
Figure 02_image079
列、4行的矩陣，在所有其他情況下為8行，並且b是大小為
Figure 02_image079
的偏移向量。從矩陣集
Figure 02_image081
，
Figure 02_image083
，
Figure 02_image085
之一獲取矩陣A和向量b。索引
Figure 02_image087
定義如下：
Figure 02_image089
並且，
Figure 02_image091
如下:
Figure 02_image093
如果索引
Figure 02_image095
或
Figure 02_image097
且
Figure 02_image099
，則將矩陣A和向量b定義為
Figure 02_image101
和
Figure 02_image103
。在
Figure 02_image097
且
Figure 02_image105
的情況下，讓A成為通過忽略
Figure 02_image107
的每一行而產生的矩陣，在
Figure 02_image109
的情況下，對應於下采樣的塊中的奇數x坐標，或者在
Figure 02_image111
的情況下，對應於下采樣的塊中的奇數y坐標。
最後，在以下情況下，縮減的預測信號
Figure 02_image113
被其轉置(transpose)代替：
Figure 02_image115
且
Figure 02_image117
，
Figure 02_image119
且模式≥10，以及
Figure 02_image121
，
Figure 02_image123
。在
Figure 02_image115
的情況下，計算縮減的預測信號所需的乘法數為4，因為在這種情況下，A具有4行和16列。在所有其他情況下，A有8行和
Figure 02_image125
列，並且需要一個
Figure 02_image127
乘積的立即驗證在此情況下。換句話說，每個采樣最多需要4個乘法來計算縮減的預測信號
Figure 02_image129
。
單步線性插值 對於寬度W及高度H至少一個大於或等於8的當前塊，通過線性插值從
Figure 02_image131
上的縮減預測信號
Figure 02_image113
產生當前塊的預測信號。根據塊的形狀，可以在垂直，水平或兩個方向上執行線性插值。在兩個方向都進行線性插值的情況下，如果
Figure 02_image133
，則首先應用水平方向，否則，首先應用垂直方向。
在不失一般性的情況下，考慮具有至少寬度W和高度H大於或等於8並且寬度W大於或等於高度H的當前塊，如下進行一維線性插值。在不失一般性的前提下，描述垂直方向的線性插值。首先，縮減的預測信號被邊界信號擴展到頂部。垂直上采樣因子定義為：
Figure 02_image135
並且
Figure 02_image137
。擴展的縮減的預測信號然後由以下定義：
Figure 02_image139
基於該擴展的縮減的預測信號，預測信號的垂直線性插值如下產生:
Figure 02_image141
其中
Figure 02_image143
,
Figure 02_image145
並且
Figure 02_image147
.
生成用於通過MIP方法編碼或解碼的當前塊的預測信號的最後階段是剪切。 在通過線性插值進行上采樣之後，對預測信號的上采樣值進行剪切處理，以剪切所有值至合理範圍內。
公開了用於在圖片或視頻編解碼系統中處理圖片或視頻資料的方法和裝置。圖片或視頻編解碼系統的實施例接收與當前圖片中的當前塊相關聯的輸入資料，將MIP塊的MIP模式索引映射到默認模式，並且通過參考默認模式來編碼或解碼當前塊。根據矩陣和當前圖片中的相鄰邊界采樣產生的預測采樣，通過MIP模式對MIP塊進行編碼或解碼。在一個實施例中，通過從MIP塊的相鄰邊界采樣中導出參考采樣，通過將參考采樣和矩陣相乘來生成中間預測采樣，將中間預測采樣剪切到合理範圍，以及對剪切的中間預測采樣進行上采樣以生成MIP塊的預測采樣，來對MIP塊進行編碼或解碼。導出參考采樣的步驟可以包括對MIP塊的相鄰邊界采樣進行下采樣以生成參考采樣。導出參考采樣的步驟可以包括通過平均MIP塊的相鄰邊界采樣來提取參考采樣。產生中間預測采樣的步驟包括在將參考采樣和矩陣相乘之後加上偏移。
MIP模式映射中的默認模式的示例是平面模式，並且默認模式的另一示例是DC模式。在MIP模式映射的一個實施例中，當前塊是以直接模式（DM）已編碼或將要編碼的色度（chroma）塊，並且MIP塊是通過MIP模式編碼的對應亮度（luma）塊。當前塊的DM獲取會將對應的亮度塊的MIP模式索引映射到默認模式，以便根據默認模式對當前塊進行編碼或解碼。在MIP模式映射的另一個實施例中，當前塊通過幀內預測被編碼或將被編碼，並且通過MIP模式編碼的MIP塊是當前塊的相鄰塊。當前塊的幀内最可能模式(Intra Most Probable Mode,MPM）獲取會將相鄰塊的MIP模式索引映射到默認模式。在又一個實施例中，當前塊是由MIP模式編碼的MIP塊，並且二次變換被應用於當前塊中的變換塊。通過參考默認模式對當前塊進行編碼或解碼的步驟包括：根據默認模式選擇二次變換集；確定所選擇的二次變換集的變換矩陣；以及基於變換矩陣將變換塊的一次變換係數變換為二次變換係數，或者基於變換矩陣將變換塊的二次變換係數變換為一次變換係數。
圖片或視頻編解碼系統的一些實施例接收與在當前圖片中由MIP模式編碼或將要被MIP模式編碼的當前塊相關聯的輸入資料，確定在通過MIP模式對當前塊進行編解碼中是否應用了轉置，根據是否應用轉置，從當前圖片中當前塊的相鄰邊界采樣中提取當前塊的參考采樣，並生成當前塊的預測采樣。通過從當前塊的矩陣集中選擇當前塊的矩陣，將參考采樣和矩陣相乘，並根據是否應用轉置來自適應地執行轉置處理，來生成預測采樣。當應用轉置時，轉置過程用轉置的預測采樣來替換當前塊的預測采樣。當前塊的轉置標誌從視頻位元流中發出信號或從視頻位流中解析出，指示在對當前塊進行編碼時是否應用了轉置。圖片或視頻編解碼系統根據當前塊的預測采樣對當前圖片中的當前塊進行編碼或解碼。
在一個實施例中，圖片或視頻編解碼系統將預測采樣剪切到合理範圍，並且對所剪切的預測采樣進行上采樣。例如，合理範圍是[0, 1＜＜BitDepth-1]，其中BitDepth是視頻編解碼系統的內部位深度。在該實施例中，在上采樣之前對當前塊的剪切的預測采樣自適應地執行轉置處理。
圖片或視頻編解碼系統用信號發送或解析當前塊的矩陣索引，該矩陣索引指示從當前塊的矩陣集中選擇了哪個矩陣。基於當前塊的大小確定矩陣集。在視頻編碼器的示例中，通過首先用信號發送轉置標誌，然後用信號發送矩陣索引，來用信號發送當前塊的MIP模式信息。類似地，在視頻解碼器中，通過首先解析轉置標誌，然後解析矩陣索引，來解析當前塊的MIP模式信息。在一實施例中，用於發信號通知矩陣索引的語法以固定長度的碼字編碼。使固定長度碼字的編碼效率最大化的特定實施例，當前塊的矩陣集中的矩陣的數目是2的冪。
從當前塊的相鄰邊界采樣中導出當前塊的參考采樣的步驟可以進一步包括：獲得頂部邊界參考采樣和左邊界參考采樣；將頂部邊界參考采樣和左邊界參考采樣縮減為縮減的頂部邊界采樣和縮減的左邊界采樣，並根據是否應用了轉置，將縮減的頂部邊界采樣和縮減的左邊界采樣連接起來。
本公開的一方面還提供了一種圖片或視頻編解碼系統中的用於壓縮圖片或視頻資料的設備。該裝置的實施例將MIP塊的所有MIP模式索引映射到默認模式，用於DM推導、幀内MPM推導或二次變換集選擇。該設備的一些其他實施例用信號發送或解析用於每個MIP編碼塊的轉置標誌，該轉置標誌指示是否在對MIP塊進行編解碼中應用了轉置。
在MIP模式映射方法中，始終選擇默認模式，以消除使用映射表將MIP模式索引轉換為常規幀內預測模式索引。通過將所有MIP模式索引映射到默認模式，可以降低圖片或視頻編解碼系統的計算複雜度。用信號發送每個MIP編碼塊的轉置標誌的優點是在解碼器中刪除矩陣索引推導和轉置標誌推導。通過閱讀下面對具體實施例的描述，本發明的其他方面和特徵對於本領域具有通常技術者將變得顯而易見。
將容易理解，如本文的附圖中一般性描述和示出的，本發明的部件可以以各種不同的配置來佈置和設計。因此，如附圖所示，以下對​​本發明的系統和方法的實施例更詳細的描述並非旨在限制要求保護的本發明的範圍，而僅僅是本發明的選定實施例的代表。
在本公開中，本申請描述了各種圖片或視頻處理方法，用於降低處理以基於矩陣的幀內預測（MIP）模式編碼的圖片或視頻塊的計算複雜性。分別在第8圖和第9圖中示出了實現一種或組合的視頻處理方法的示例性視頻編碼器和解碼器。本文所述的系統和方法按以下段落組織。“ MIP模式映射”部分演示了將MIP模式索引映射到默認模式以進行直接模式（DM）導出、幀内最可能模式（MPM）導出或二次變換集選擇的示例性方法。“轉置標誌信令”部分描述了用信號發送或解析由MIP模式編碼的每個塊的轉置標誌的示例性方法。“在MIP中移除MPM方法”一節介紹了不使用MPM進行MIP模式信令的示例性MIP方法。“二的冪次的數量的MIP模式”一節描述了使用二的冪次的數量的MIP模式的示例性方法。“視頻編碼器和解碼器的實現”部分與第8圖和第9圖一起使用，示出了結合了本發明的所描述的視頻處理方法中的一個或組合的視頻編碼系統和視頻解碼系統。
MIP 模式映射 在常規的基於矩陣的幀內預測（Matrix-based Intra Prediction， MIP）方法中，當常規幀內塊參考MIP編碼塊時，用映射表將MIP模式索引映射到常規幀內模式索引。在示例中，當前塊由常規幀內預測模式編碼，並且在最可能模式（MPM）推導過程中參考由MIP模式編碼的相鄰塊。首先獲得相鄰塊的MIP模式索引，並根據表1將相鄰塊的MIP模式索引基於相鄰塊的大小映射到常規幀內模式索引，以用於當前塊的MPM推導。例如，根據表1，由於相鄰塊是8×8塊，並且相鄰塊的MIP模式索引是6，所以相鄰塊的MIP大小ID是S1，因此，MIP模式索引6被映射到常規幀內模式索引18。表 1 MIP 模式索引映射表
MIP 模式   0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16
Mip 大小 Id (S0,S1,S2) S0 0 18 18 0 18 0 12 0 18 2 18 12 18 18 1 18 18
S1 0 1 0 1 0 22 18 18 1 0 1 0 1 0 44 0 50
S2 1 1 1 1 18 0 1 0 1 50 0
MIP 模式 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34
Mip 大小 Id (S0,S1,S2) S0 0 0 50 0 50 0 56 0 50 66 50 56 50 50 1 50 50 50
S1 1 0
S2
本發明的實施例通過將所有MIP模式索引映射到默認模式來消除對MIP模式索引映射表的使用。根據一些實施例，默認模式是DC模式，並且根據一些其他實施例，默認模式是平面模式。視頻編碼或解碼的計算複雜度降低了，因為在直接模式（DM）推導，幀內MPM推導或二次變換集選擇中不再需要用於將MIP模式索引映射到常規幀內模式索引的表。
本發明的某些實施例僅在亮度（luma）分量中啟用MIP方法。 MIP方法不能用於預測相應的色度（chroma）分量。在一個實施例中，當前色度塊是幀內編碼塊或將在幀內預測中編碼，並且當前色度塊的相應亮度塊通過MIP模式編碼，相應亮度塊的MIP模式索引被映射到平面模式以進行當前色度塊的DM推導。在另一個實施例中，當前塊在幀內預測中被編碼或將被編碼，如果用於幀內MPM推導的當前塊的任何相鄰塊由MIP模式編碼，則在幀內MPM推導中該相鄰塊的MIP模式索引被映射到平面模式。
根據另一實施例，將所有MIP模式索引映射到默認模式的方法也應用於二次變換集選擇。精簡二次變換（Reduced Secondary Transform， RST）是VVC中提出的一種新的編碼工具，也稱為低頻不可分離變換（Low Frequency Non-Separable Transform ，LFNST），RST通過映射變換塊的原始維向量至在不同空間中的降維向量，來提高幀內編碼塊的編碼效率。根據幀內編碼塊的幀內預測模式，從變換集索引0、1、2和3的四個變換集中選擇用於幀內編碼塊的二次變換集。如果指示了用於色度分量的三個交叉分量線性模型（CCLM）模式之一，則使用針對幀內編碼塊的亮度分量的幀內預測模式來選擇二次變換集。例如，二次變換集選擇基於表2中所示的幀內預測模式。表2中的IntraPredMode是當前塊的幀內預測模式索引，其範圍為[-14、83]，包括常規幀內預測模式和廣角幀內預測模式。 表 2  變換集選擇表
IntraPredMode 變換集索引
IntraPredMode ＜ 0 1
0 ＜= IntraPredMode ＜= 1 0
2 ＜= IntraPredMode ＜= 12 1
13 ＜= IntraPredMode ＜= 23 2
24 ＜= IntraPredMode ＜= 44 3
45 ＜= IntraPredMode ＜= 55 2
56 ＜= IntraPredMode 1
在該實施例中，當通過MIP模式對當前塊進行編碼並且將二次變換應用於當前塊的變換塊時，當前塊的MIP模式索引被映射為平面模式（即，模式0）以用於二次變換集選擇。因此，根據表2，為在MIP模式下編碼的當前塊選擇了變換集索引為0的二次變換集。每個二次變換集都由兩個變換矩陣組成，並且用信號發送索引以指示所使用的變換矩陣。在該實施例中，從變換集索引等於0的二次變換集的兩個變換矩陣中，選擇一個變換矩陣，以在編碼器側將變換塊的一次變換係數變換為二次變換係數，或者在解碼器側對二次變換係數進行變換為一次變換係數。
第5圖是說明根據MIP模式映射的各種實施例的用於處理在圖片或視頻編碼器或解碼器中實現的當前圖片中的當前塊的示例性方法的流程圖。在步驟S502中，圖片或視頻編碼器或解碼器接收與當前塊相關聯的輸入資料。在步驟S504中，將MIP塊的基於矩陣的幀內預測（MIP）模式索引映射到默認模式。根據由矩陣產生的預測采樣，通過MIP模式對MIP塊進行編碼，根據一些實施例，MIP塊是當前塊的參考塊，或者根據另一實施例，MIP塊是當前塊。在一個實施例中，當當前塊是色度塊並且MIP塊是對應的亮度塊時，圖片或視頻編碼器或解碼器根據默認模式在步驟S506中推導當前塊的直接模式（DM）。在另一實施例中，當當前塊是幀內編碼塊且MIP塊是當前塊的相鄰塊時，圖片或視頻編碼器或解碼器通過在步驟S506中併入默認模式來推導當前塊的幀內最可能模式（MPM）。在又一個實施例中，當當前塊以MIP模式被編碼並且被二次變換處理或將被處理時，圖片或視頻編碼器或解碼器在步驟S506中根據默認模式為當前塊中的變換塊選擇二次變換集。最後，在步驟S508中對當前塊進行編碼或解碼。
轉置標誌信令 在本發明的一些實施例中，當當前塊由MIP模式編碼時，通過發信號通知矩陣索引並發信號通知是否為轉置模式來發送MIP模式信息。在實施例中，矩陣索引是當前塊的MIP模式索引。在一個實施例中，通過首先用信號發送矩陣索引，然後用信號發送它是否是轉置模式，來通知當前塊的MIP模式信息。在另一個實施例中，則通過首先發信號通知是否為轉置模式，然後通過發信號通知矩陣索引，來通知當前塊的MIP模式信息。
第4圖示出了通過MIP模式準備用於對當前塊進行編碼的參考采樣的示例。如第4圖所示，從當前塊42的頂部邊界參考采樣44和左邊界參考采樣46獲得用於當前塊42的MIP方法的輸入向量。頂部邊界參考采樣44和左邊界參考采樣46分別減少為縮減的頂邊界采樣和縮減的左邊界采樣。視頻編碼系統為當前塊選擇一個矩陣集S0，S1或S2，然後從所選的矩陣集中選擇一個矩陣，並確定是否需要應用轉置。例如，視頻編碼系統在當前塊的大小為4x4時選擇矩陣集S0，或者在當前塊的大小為4x8、8x4、8x8、4xN或Nx4之一時選擇矩陣集S1，否則視頻編碼系統選擇矩陣集S2。在一個示例中，矩陣集S0中有16個矩陣，矩陣集S1中有8個矩陣，矩陣集S2中有6個矩陣。 MIP方法的輸入向量是通過合併縮減的頂部邊界采樣和縮減的左邊界參考采樣而獲得的縮減的邊界向量，其中在未轉置時將縮減的頂部邊界采樣放置在縮減的左邊界采樣之前，在轉置時將縮減的左邊界采樣放置在縮減的頂部邊界采樣之前。通過將輸入向量與所選矩陣相乘，然後加上偏移量，可以生成當前塊的縮減預測信號。如果應用了轉置，則將當前塊的縮減的預測信號替換為其轉置。在視頻位元流中用信號發送當前塊的轉置標誌，以指示在通過MIP模式對當前塊進行編碼時是否應用了轉置。在視頻位元流中還用信號發送當前塊的矩陣索引，以指示所選擇的矩陣集中的哪個矩陣用於預測當前塊。由於在這些實施例中用信號通知矩陣索引以及轉置標誌，所以每個矩陣集中的矩陣的數量等於矩陣集中的模式的數量，並且矩陣索引等於MIP模式的索引。在一個實施例中，對於每個MIP編碼塊，在轉置標誌之前用信號發送MIP模式索引，在另一實施例中，對於每個MIP編碼塊，在MIP模式索引之前用信號發送轉置標誌。根據一個實施例，用於用信號發送MIP模式索引的語法被編碼為固定長度的碼字。視頻解碼系統為每個MIP編碼塊解析轉置標誌和MIP模式索引。對於通過MIP模式編解碼的當前塊，視頻解碼系統根據當前塊的大小選擇矩陣集，並根據MIP模式索引從選擇的矩陣集中決定矩陣。視頻解碼系統根據轉置標誌為當前塊準備參考采樣，並通過矩陣向量乘法生成縮減的預測信號。如果轉置標誌指示應用了轉置，則縮減的預測信號被進一步轉置。根據縮減的預測信號對當前塊進行解碼。
通過在解碼器處去除矩陣索引推導和轉置標誌推導，用信號發送用於MIP編碼塊的轉置標誌的實施例簡化了常規MIP方法。在常規的MIP方法中，矩陣集S0中的模式數目是32，其中前16個模式是16個不同矩陣，而後16個模式是前16個矩陣的轉置。通過將信號通知的MIP模式索引減去16，可以得出矩陣索引。通過檢查MIP模式索引是否大於或等於16，可以得出轉置標誌。類似地，矩陣集S1中的模式數為16，而矩陣集S2中的模式數為12。矩陣集S1中的16個模式中的8個和矩陣集S2中的12個模式中的6個涉及應用轉置。通過將信號通知的MIP模式索引分別減去8和6，可以得出矩陣集S1和S2中的矩陣索引。通過檢查MIP模式索引是否分別大於或等於8和6來推導集合S1和S2中的轉置標誌。
第6圖是示出根據本發明的實施例，用於通過MIP模式對當前塊進行編碼的示例性編碼方法的流程圖。編碼方法可以在圖片或視頻編碼器中實現。在步驟S602中，圖片或視頻編碼器接收與要在MIP模式下編碼的當前塊相關聯的輸入資料，並在步驟S604中確定在對當前塊進行編碼中是否應用了轉置。為了在MIP模式下預測當前塊，在步驟S606中首先根據是否應用轉置來從當前塊的相鄰邊界采樣中導出參考采樣，在步驟S608中從當前塊的矩陣集中選擇矩陣，並且在步驟S610中，通過將參考采樣和選擇的矩陣相乘來生成當前塊的預測采樣。在應用轉置的情況下，在步驟S612中對預測采樣執行轉置處理，以用預測采樣的轉置代替預測采樣。在步驟S614中，在視頻位元流中用信號發送當前塊的轉置標誌，指示是否將轉置應用於當前塊。在步驟S616中，圖片或視頻編碼器根據當前塊的預測采樣對當前塊進行編碼。
用於通過MIP模式對當前塊進行編碼的編碼方法還可以包括：將預測采樣剪切到合理範圍，並對所剪切的預測采樣進行上采樣，並且對當前塊的剪切的預測采樣進行自適應的轉置處理。該編碼方法發信號通知在步驟S608中確定的當前塊的矩陣索引，該矩陣索引指示從當前塊的矩陣集中選擇的矩陣。基於當前塊的大小來確定當前塊的矩陣集。根據本發明的實施例，在發信號通知當前塊的矩陣索引之前，發信號通知當前塊的轉置標誌。
第7圖是示出根據本發明的實施例的用於通過MIP模式對當前塊進行解碼的示例性解碼方法的流程圖。解碼方法可以在圖片或視頻解碼器中實現。在步驟S702中，圖片或視頻解碼器接收與由MIP模式編碼的當前塊相關聯的輸入資料，並且在步驟S704中，解析當前塊的轉置標誌，以確定是否將轉置應用於當前塊。在步驟S706中，從當前塊的相鄰邊界采樣中導出當前塊的參考采樣。在步驟S708中，圖片或視頻解碼器解析當前塊的矩陣索引以從當前塊的矩陣集中選擇矩陣，並且在步驟S710中將參考采樣與所選矩陣相乘以生成當前塊的預測采樣。在步驟S712中，根據解析的轉置標誌，對當前塊的預測采樣自適應地執行轉置處理。在步驟S714中，圖片或視頻解碼器根據當前塊的預測采樣來解碼當前塊。
用於通過MIP模式對當前塊進行解碼的解碼方法還可以包括：將預測采樣剪切到合理範圍，並對所剪切的預測采樣進行上采樣，並且對當前塊的剪切的預測采樣進行自適應的轉置處理。在步驟S708中，基於當前塊的大小確定當前塊的矩陣集。根據本發明的實施例，在解析當前塊的矩陣索引之前，解析當前塊的轉置標誌。
MIP 方法中的 MPM 去除 (Removal) 在傳統的MIP方法中，當通過MIP模式對當前塊進行編解碼時，確定三個MPM。需要兩個表來導出以MIP模式編解碼的當前塊的三個MPM。這兩個表將常規幀內模式索引映射到MIP模式索引。第一個表將65個角度模式索引映射到33個角度模式索引，第二個表將33個角度模式索引映射到MIP模式索引。還有另一個表儲存默認的MPM列表。本發明的一些實施例去除了用於MIP編碼塊的MPM，因此，如上所述的用於MPM的表被去除。在本發明的一些實施例中，用於發送每個MIP模式索引的語法被改變為固定長度的碼字。在根據一個實施例去除MIP編碼塊的MPM之後，使用固定長度碼字來用信號通知該MIP編碼塊的MIP模式索引，其中用於固定長度碼字的位數可以取決於MIP模式的數目。例如，在35個MIP模式可用於組1中的4x4塊的情況下，19個MIP模式可用於組2中的8x8、8x4和4x8塊，而11個MIP模式可用於組3中其他大小的塊，6位，5位和4位的固定長度碼字分別用於組1，組2和組3。
通過結合將所有MIP模式索引映射到默認模式的方法和去除MIP編碼塊的MPM的方法，第一表用於將65個常規幀內模式索引映射到33個角度模式索引、第二表用於將33個角度模式索引映射到MIP模式索引、默認MPM列表表以及用於將MIP模式索引映射到常規幀內模式索引的表都可以刪除，以減少所需的內存和計算複雜性。
二的冪次的數量的 MIP 模式 在一個實施例中，MIP模式索引或矩陣索引由固定長度的碼字編碼。由於對於具有不同大小或形狀的塊，MIP模式的數量或矩陣的數量是不同的，因此，碼字的長度取決於塊的大小，寬度、高度或寬度和高度。在一實施例中，較小塊中使用的碼字長度大於或長於較大塊中使用的碼字長度。在另一個實施例中，用於各種塊大小的MIP模式或矩陣的數量被選擇為二的冪，以便有效地使用固定長度的碼字。即，對於由MIP模式編碼的每個塊，可以選擇二的冪次的MIP模式或矩陣。例如，將組1中4x4塊的MIP模式或矩陣的數量設置為32，組2中4x8和8x4塊的MIP模式或矩陣的數量設置為16，將其他塊的MIP模式或矩陣的數量設置為8。
視頻編碼器和解碼器的實現 可以在視頻編碼器或解碼器中實現上述提出的圖片或視頻處理方法。例如，在編碼器的幀內預測模組和/或解碼器的幀內預測模組中實現了所提出的圖片或視頻處理方法。或者任何提出的方法都被實現到編碼器的幀內預測模組和/或解碼器的幀內預測模組的電路，以便提供幀內預測模組所需的信息。
第8圖示出了用於實現本發明的視頻處理方法的視頻編碼器800的示例性系統框圖。對於要由幀內預測編碼的當前塊，幀內預測模組810從MIP模式和常規模式之一中選擇針對當前塊的預測模式。幀內預測模組810基於當前圖片的重構視頻資料來生成當前塊的預測采樣，該預測采樣也被稱為當前塊的幀內預測子。如果當前塊是通過MIP模式預測的，則從當前塊的相鄰邊界采樣中獲取當前塊的參考采樣，然後將其乘以矩陣以生成中間預測采樣。中間預測采樣可以被裁剪到合理範圍並被上采樣以生成當前塊的預測采樣。例如，有理範圍是[0, 1＜＜BitDepth-1]，並且雙線性插值濾波器用於上采樣。在MIP模式映射的一些實施例中，當前塊的MIP模式索引被映射到默認模式，因此用於對應色度塊的DM推導、用於相鄰塊的幀內MPM推導或用於當前塊的變換塊的二次變換集選擇都是基於默認模式進行的。在發送轉置標誌信號的一些實施例中，在編碼的視頻位元流中用信號發送轉置標誌，該轉置標誌指示在對當前塊進行編碼的過程中是否應用了轉置。如果選擇常規模式以對當前塊進行編碼，則幀內預測模組810為當前塊選擇幀內預測模式，並根據幀內預測模式為當前塊生成預測采樣。幀間預測模組812執行運動估計（ME）和運動補償（MC），以基於來自其他圖片的視頻資料提供幀間預測子。對於每個塊，幀內預測模組810或幀間預測模組812將所選擇的預測子提供給加法器816以形成預測誤差，也稱為預測殘差。
當前塊的預測殘差由變換模組（T）818進一步處理，然後由量化模組（Q）820處理。經變換和量化的殘差信號隨後由熵編碼器834編碼以形成編碼的視頻位元流。然後，已編碼的視頻位元流將附帶一些輔助信息，例如每個MIP編碼塊的轉置標誌。逆量化模組（IQ）822和逆變換模組（IT）824對當前塊的經變換和量化的殘差信號進行處理以恢復預測殘差。如第8圖所示，通過在重構模組（REC）826處將其加回到所選擇的預測子來恢復預測殘差，以產生重構的視頻資料。重建的視頻資料可以儲存在參考圖片緩衝器（Ref. Pict. Buffer）832中，並且用於其他圖片的預測。由於編碼處理，來自REC 826的重構視頻資料可能遭受各種損害，因此，在將重構視頻資料儲存到參考圖片緩衝器832之前，環路處理的解塊濾波器（DF）828和樣本自適應偏移（SAO）830被應用於重構視頻資料以進一步提高圖片品質。 DF 828和SAO 830是在視頻編碼器800中應用的環內處理濾波器的示例，可以選擇環內處理濾波器的任何其他組合以對重構的視頻資料進行濾波。與用於環路處理DF 828和SAO 830的信息相關聯的語法被提供給熵編碼器834，以用於合併到編碼的視頻位元流中。 在第9圖中示出了用於對由第8圖的視頻編碼器800編碼的資料進行解碼的示例性的對應視頻解碼器900。編碼的視頻位元流是視頻解碼器900的輸入，並且由熵解碼器910解碼以解析並恢復經變換和量化的殘差信號和其他系統信息。解碼器900的解碼過程類似於編碼器800處的重建循環，除了解碼器900僅需要幀間預測模組914中的運動補償預測。每個塊都由幀內預測模組912或幀間預測模組914解碼。開關916根據當前塊的解碼模式信息，選擇來自幀內預測模組912的幀內預測子或來自幀間預測模組914的幀間預測子。幀內預測模組912解析語法以確定當前塊是在常規幀內預測模式下還是在MIP模式下編碼，並且如果當前塊是通過MIP模式進行編碼的，則參考采樣是從當前圖片中的相鄰邊界采樣導出的，並與矩陣相乘以生成中間預測采樣。根據從編碼的視頻位元流中解析出的矩陣索引來選擇矩陣。幀內預測模組912剪切中間預測采樣，然後對剪切的中間預測采樣執行上采樣處理，以生成當前塊的幀內預測子。在MIP映射的一些實施例中，每個MIP編碼塊的MIP模式索引被映射到默認模式，用於DM推導、幀內MPM推導或二次變換集選擇。在轉置標誌信令的一些實施例中，為每個MIP編碼的塊解析轉置標誌，並且根據相應的轉置標誌來導出每個MIP編碼的塊的參考采樣和幀內預測子。如果當前塊未被基於矩陣的幀內預測編碼，則幀內預測模組912根據幀內預測模式導出當前塊的幀內預測子。與每個塊相關聯的經變換和量化的殘差信號由逆量化模組（IQ）920和逆變換模組（IT）922恢復。通過將REC 918中的幀內或幀間預測子加回去，來重構恢復的經變換和量化的殘差信號，以製作重構的視頻。 DF 924和SAO 926對重構的視頻進行進一步處理，以生成最終的解碼視頻。如果當前解碼的圖片是參考圖片，則當前解碼的圖片的重構視頻也儲存在參考圖片緩衝器928中以用於解碼順序在後面的圖片。
第8圖和第9圖中的視頻編碼器800和視頻解碼器900的各種組件可以由硬體組件、配置為執行儲存在記憶體中的程式指令的一個或多個處理器、或硬體和處理器的組合來實現。例如，處理器執行程式指令以控制在上采樣之前剪切中間預測采樣。該處理器配備有一個或多個處理核心。在一些示例中，處理器執行程式指令以執行編碼器800和解碼器900中的某些組件中的功能，並且與處理器電耦合的記憶體用於儲存程式指令、與塊的重構圖片相對應的信息和/或編碼或解碼過程中的中間資料。在一些實施例中的記憶體包括非暫時性計算機可讀介質，例如半導體或固態記憶體、隨機存取記憶體（RAM），唯讀記憶體（ROM），硬碟，光碟或其他合適的儲存介質。記憶體也可以是上面列出的兩個或多個非暫時性計算機可讀介質的組合。如圖第8圖和第9圖所示，編碼器800和解碼器900可以在同一電子設備中實現，因此，如果在同一電子設備中實現，則編碼器800和解碼器900的各種功能組件可以共享或重複使用。例如，第8圖中的重構模組826、逆變換模組824、逆量化模組822、解塊濾波器828、采樣自適應偏移830和參考圖片緩衝器832中的一個或多個也可以用作第9圖中的重構模組918、逆變換模組922、逆量化模組920、解塊濾波器924、采樣自適應偏移926和參考圖片緩衝器928。
用於圖片或視頻編碼系統的基於矩陣的幀內預測方法的實施例可以在集成到視頻壓縮晶片中的電路或集成到視頻壓縮軟體中的程式代碼中執行，以執行上述處理。例如，在MIP方法中上采樣之前對中間預測采樣進行剪切，可以在計算機處理器、數位信號處理器（DSP）、微處理器或現場可程式化邏輯陣列（FPGA）上執行的程式碼中實現。這些處理器可以被配置為通過執行機器可讀軟體代碼或韌體代碼，該代碼定義本發明實施的特定方法，來執行根據本發明的特定任務。
在整個說明書中對“一個實施例”，“一些實施例”或類似語言的引用意味著結合這些實施例描述的特定特徵，結構或特性可以被包括在本發明的至少一個實施例中。因此，在整個說明書中各處出現的短語“在一個實施例中”或“在一些實施例中”並不一定全都指同一實施例，這些實施例可以單獨實現或與一個或多個其他實施例結合實現。此外，所描述的特徵，結構或特性可以在一個或多個實施例中以任何合適的方式組合。然而，相關領域的技術人員將認識到，可以在沒有一個或多個特定細節的情況下，或者在利用其他方法，組件等的情況下實踐本發明。在其他情況下，未示出或未示出公知的結構或操作。詳細描述以避免混淆本發明的方面。
在不脫離本發明的精神或基本特徵的情況下，本發明可以以其他特定形式實施。所描述的示例在所有方面僅應被認為是說明性的而非限制性的。因此，本發明的範圍由所附權利要求而不是前述描述來指示。落入申請專利範圍等同含義和範圍內的所有改變均應包含在其範圍之內。以下描述是執行本發明的最佳構想模式。進行該描述是出於例示本發明的一般原理的目的，而不應被認為是限制性意義。本發明的範圍最好通過參照所附的權利要求書來確定。
20、42:當前塊 22:參考采樣 44:頂部邊界參考采樣 46:左邊界參考采樣 S502-S508、S602-S616、S702-S714:步驟 810、912:幀內預測模組 812、914:幀間預測模組 816:加法器 818:變換模組（T） 820:量化模組（Q） 822、920:逆量化模組（IQ） 824、922:逆變換模組（IT） 826、918:重構模組（REC） 832、928:參考圖片緩衝器 828、924:解塊濾波器（DF） 830、926:樣本自適應偏移（SAO） 834:熵編碼器 800:視頻編碼器 900:視頻解碼器 910:熵解碼器 916:開關
將參考以下附圖詳細描述作為示例提出的本公開的各種實施例，其中，相同的標號表示相同的元件，並且： 第1圖示出了HEVC標準中支持的33種角度幀內預測模式。 第2圖示出了由幀內平滑濾波器濾波的示例性參考采樣，用於導出當前塊的幀內預測子。 第3圖示出了用於常規幀內預測的65個角度幀內預測模式的示例。 第4圖示出了從頂邊界參考采樣和左邊界參考采樣中導出在MIP模式下已編碼或將要編碼的塊的參考采樣的示例。 第5圖是示出根據MIP模式映射的實施方式的用於通過將MIP模式索引映射到默認模式來對當前塊進行編碼或解碼的示例性圖片或視頻處理方法的流程圖。 第6圖是示出根據轉置標誌信令的實施例的用於以MIP模式對當前塊進行編碼的示例性編碼方法的流程圖。 第7圖是示出根據轉置標誌信令的實施例的用於以MIP模式對當前塊進行解碼的示例性解碼方法的流程圖。 第8圖示出了根據本發明實施例的，結合了幀內預測方法的視頻編碼系統的示例性系統框圖。 第9圖示出了根據本發明實施例的，結合了幀內預測方法的視頻解碼系統的示例性系統框圖。
S502-S508:步驟

Claims (18)

  1. 一種在圖片或視頻編解碼系統中處理視頻數據的方法，包括： 接收與當前圖片中的當前塊相關聯的輸入數據； 將MIP塊的基於矩陣的幀內預測（MIP）模式索引映射為默認模式，其中，MIP塊根據矩陣和當前圖片中的相鄰邊界采樣產生的預測采樣，通過MIP模式進行編碼或解碼；以及 通過引用默認模式對當前塊進行編碼或解碼。
  2. 如請求項1所述的方法，其中，所述MIP塊通過以下方式進行編碼或解碼，包含通過從所述當前圖片中的所述MIP塊的相鄰邊界采樣中導出參考采樣，通過將所述參考采樣與所述矩陣相乘來生成中間預測采樣，並對所述中間采樣進行剪切到合理範圍，然後對剪切的中間預測采樣進行上采樣以生成預測采樣。
  3. 如請求項2所述的方法，其中，導出參考采樣的步驟包括：對所述MIP塊的相鄰邊界采樣進行下采樣以生成所述MIP塊的參考采樣。
  4. 如請求項2所述的方法，其中，導出參考采樣的步驟包括：通過對所述MIP塊的所述相鄰邊界采樣求平均來提取所述參考采樣。
  5. 如請求項2所述的方法，其中，產生中間預測采樣的步驟還包括在將所述參考采樣與所述矩陣相乘之後加上偏移。
  6. 如請求項1所述的方法，其中，所述默認模式是平面模式或DC模式。
  7. 如請求項1所述的方法，其中，所述當前塊是在直接模式（DM）中編解碼或將要編解碼的色度（chroma）塊，並且所述MIP塊是所述當前塊的對應亮度（luma）塊，其中，當前塊的DM推導將對應的亮度塊的MIP模式索引映射到默認模式，並且根據默認模式對當前塊進行編碼或解碼。
  8. 如請求項1所述的方法，其中，所述當前塊通過幀內預測被編解碼或將要被編解碼，並且所述MIP塊是通過MIP模式編解碼的所述當前塊的相鄰塊，其中，所述當前塊的幀內最可能模式（MPM）推導包括將相鄰塊的MIP模式索引映射到默認模式。
  9. 如請求項1所述的方法，其中，所述當前塊是由所述MIP模式編碼的MIP塊，並且將二次變換應用於所述當前塊中的變換塊，並且通過參考所述默認模式來對所述當前塊進行編碼或解碼的步驟進一步包括：根據默認模式，選擇二次變換集；確定所選擇的二次變換集的變換矩陣；以及基於所述變換矩陣將變換塊的一次變換係數變換為二次變換係數、或基於所述變換矩陣將變換塊的二次變換係數變換為一次變換係數。
  10. 一種在圖片或視頻編解碼系統中處理視頻數據的方法，包括： 接收與當前圖片中已完成或將要通過基於矩陣的幀內預測（MIP）模式編解碼的當前塊相關聯的輸入數據； 確定在通過MIP模式對當前塊進行編解碼中是否應用了轉置； 根據是否應用轉置，從當前圖片中當前塊的相鄰邊界采樣中導出當前塊的參考采樣； 從當前塊的矩陣集中選擇當前塊的矩陣； 通過將參考采樣和矩陣相乘來生成當前塊的預測采樣； 通過根據是否應用轉置來用預測采樣的轉置來替換當前塊的預測采樣，來自適應地執行轉置處理； 用信號發送或解析當前塊的轉置標誌，指示是否應用了轉置；和 根據當前塊的預測采樣對當前圖片中的當前塊進行編碼或解碼。
  11. 如請求項10所述的方法，其特徵在於，還包括將所述預測采樣剪切到合理範圍並對所述剪切的預測采樣進行上采樣，其中，在上采樣之前，對所述當前塊的所述剪切的預測采樣自適應地執行所述轉置處理。
  12. 如請求項10所述的方法，其進一步包含用信號發送或解析所述當前塊的矩陣索引，所述矩陣索引指示從所述當前塊的矩陣集中選擇哪個矩陣，其中所述矩陣集是基於所述當前塊的大小來確定的。
  13. 如請求項12所述的方法，其中，通過首先用信號發送或解析所述轉置標誌，然後用信號發送或解析所述矩陣索引，來用信號發送或解析所述當前塊的MIP模式信息。
  14. 如請求項12所述的方法，其中，用於用信號發送所述矩陣索引的語法被編碼為固定長度的碼字。
  15. 如請求項10所述的方法，其中，所述當前塊的矩陣集中的矩陣的數量是二的冪。
  16. 如請求項10所述的方法，其中從所述當前塊的相鄰邊界采樣中導出所述當前塊的參考采樣的步驟還包括：獲得頂部邊界參考采樣和左邊界參考采樣，減少所述頂部邊界參考采樣和左邊界參考采樣，分別為縮減的頂邊界采樣和縮減的左邊界采樣，並根據是否應用轉置將縮減的頂邊界采樣和縮減的左邊界采樣連接起來。
  17. 一種用於執行圖片或視頻處理的設備，包括：計算機處理器，被配置為通過執行以下步驟來接收輸入數據和執行在所述計算機處理器上可執行的用於圖片或視頻編碼的編程； 接收與當前圖片中的當前塊相關聯的輸入數據； 將MIP塊的基於矩陣的幀內預測（MIP）模式索引映射為默認模式，其中，所述MIP塊根據矩陣和當前圖片中的相鄰邊界采樣產生的預測采樣，通過MIP模式進行編碼或解碼；和 通過引用默認模式對當前塊進行編碼或解碼。
  18. 一種用於執行圖片或視頻處理的設備，包括：計算機處理器，被配置為通過執行以下步驟來接收輸入數據和執行在所述計算機處理器上可執行的用於圖片或視頻編碼的編程； 接收與當前圖片中已完成或將要通過基於矩陣的幀內預測（MIP）模式編碼的當前塊相關聯的輸入數據； 確定在通過MIP模式對當前塊進行編碼中是否應用了轉置； 根據是否應用轉置，從當前圖片中當前塊的相鄰邊界采樣中導出當前塊的參考采樣； 從當前塊的矩陣集中選擇當前塊的矩陣； 通過將參考采樣和矩陣相乘來生成當前塊的預測采樣； 通過根據是否應用轉置來用預測采樣的轉置來替換當前塊的預測采樣，來自適應地執行轉置處理； 用信號發送或解析當前塊的轉置標誌，指示是否應用了轉置；和 根據當前塊的預測采樣對當前圖片中的當前塊進行編碼或解碼。
TW109121447A 2019-06-28 2020-06-24 圖片及視頻處理中的基於矩陣的幀內預測的方法與裝置 TWI737364B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201962868013P 2019-06-28 2019-06-28
US62/868,013 2019-06-28
WOPCT/CN2020/098269 2020-06-24
PCT/CN2020/098269 WO2020259630A1 (en) 2019-06-28 2020-06-24 Method and apparatus of matrix based intra prediction in image and video processing

Publications (2)

Publication Number Publication Date
TW202106006A true TW202106006A (zh) 2021-02-01
TWI737364B TWI737364B (zh) 2021-08-21

Family

ID=74060073

Family Applications (1)

Application Number Title Priority Date Filing Date
TW109121447A TWI737364B (zh) 2019-06-28 2020-06-24 圖片及視頻處理中的基於矩陣的幀內預測的方法與裝置

Country Status (6)

Country Link
US (2) US11700395B2 (zh)
EP (1) EP3973700A4 (zh)
CN (1) CN114026854A (zh)
MX (1) MX2021015954A (zh)
TW (1) TWI737364B (zh)
WO (1) WO2020259630A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20240007640A1 (en) * 2022-07-04 2024-01-04 Alibaba (China) Co., Ltd. On planar intra prediction mode

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2012276454B2 (en) * 2011-06-28 2016-02-25 Samsung Electronics Co., Ltd. Method and apparatus for coding video and method and apparatus for decoding video, accompanied with intra prediction
WO2013106986A1 (en) * 2012-01-16 2013-07-25 Mediatek Singapore Pte. Ltd. Methods and apparatuses of intra mode coding
TWI628959B (zh) 2013-12-13 2018-07-01 美商Ｖｉｄ衡器股份有限公司 提供色域可縮放性3d查找表(lut)估計
US10448011B2 (en) 2016-03-18 2019-10-15 Mediatek Inc. Method and apparatus of intra prediction in image and video processing
EP3442232A4 (en) * 2016-04-06 2019-12-04 KT Corporation METHOD AND APPARATUS FOR PROCESSING VIDEO SIGNAL
CN116916017A (zh) 2016-10-28 2023-10-20 韩国电子通信研究院 视频编码/解码方法和设备以及存储比特流的记录介质
JP7403555B2 (ja) * 2019-04-16 2023-12-22 北京字節跳動網絡技術有限公司 イントラコーディングモードにおけるマトリクスの導出
WO2020226424A1 (ko) * 2019-05-08 2020-11-12 엘지전자 주식회사 Mip 및 lfnst를 수행하는 영상 부호화/복호화 방법, 장치 및 비트스트림을 전송하는 방법
WO2020246803A1 (ko) * 2019-06-03 2020-12-10 엘지전자 주식회사 매트릭스 기반 인트라 예측 장치 및 방법
CN113906742A (zh) * 2019-06-03 2022-01-07 Lg电子株式会社 基于矩阵的帧内预测装置和方法
MX2022000034A (es) * 2019-06-25 2022-04-06 Fraunhofer Ges Forschung Codificacion usando intra-prediccion basada en matrices y transformadas secundarias.
US20210092405A1 (en) * 2019-09-19 2021-03-25 Qualcomm Incorporated Matrix combination for matrix-weighted intra prediction in video coding
US11582460B2 (en) * 2021-01-13 2023-02-14 Lemon Inc. Techniques for decoding or coding images based on multiple intra-prediction modes
US20220329800A1 (en) * 2021-04-12 2022-10-13 Qualcomm Incorporated Intra-mode dependent multiple transform selection for video coding

Also Published As

Publication number Publication date
US11700395B2 (en) 2023-07-11
MX2021015954A (es) 2022-02-03
TWI737364B (zh) 2021-08-21
WO2020259630A1 (en) 2020-12-30
US20230300373A1 (en) 2023-09-21
EP3973700A4 (en) 2023-06-14
US20220210470A1 (en) 2022-06-30
CN114026854A (zh) 2022-02-08
EP3973700A1 (en) 2022-03-30

Similar Documents

Publication Publication Date Title
TWI739395B (zh) 影像和視訊處理中基於矩陣的畫面內預測方法和裝置
JP2023126408A (ja) イントラ予測方法とそれを利用した符号化器及び復号化器
US9237357B2 (en) Method and an apparatus for processing a video signal
KR102403793B1 (ko) 휘도 샘플을 이용한 색차 블록의 화면 내 예측 방법 및 이러한 방법을 사용하는 장치
CN113068027B (zh) 使用帧内预测的图像编码/解码方法和装置
TW202041006A (zh) 用於視頻編解碼的量化矩陣計算和表示的方法和裝置
TWI719612B (zh) 圖像和視訊處理中產生mpm 以進行幀內預測的方法和裝置
CN114747216A (zh) 多重转换选择的发信技术
US20230300373A1 (en) Method and Apparatus of Matrix Based Intra Prediction in Image and Video Processing
CN116456083A (zh) 解码预测方法、装置及计算机存储介质
WO2021023158A1 (en) Method and apparatus of encoding or decoding video data with intra prediction mode mapping
KR102452870B1 (ko) 인트라 예측 장치, 화상 복호 장치, 및 프로그램
TWI737003B (zh) 使用由預定義準則確定的參考樣本進行編碼或解碼的方法和設備
WO2020059341A1 (ja) 画像復号装置、画像符号化装置、画像処理システム及びプログラム
CN117676139A (zh) 视频编解码中变换系数的编解码
CN116389737B (zh) 视频编解码中变换系数的编解码
CN115462074A (zh) 经压缩的画中画信令