TWI737274B - 編碼或解碼視頻資料的方法和裝置 - Google Patents

編碼或解碼視頻資料的方法和裝置 Download PDF

Info

Publication number
TWI737274B
TWI737274B TW109113769A TW109113769A TWI737274B TW I737274 B TWI737274 B TW I737274B TW 109113769 A TW109113769 A TW 109113769A TW 109113769 A TW109113769 A TW 109113769A TW I737274 B TWI737274 B TW I737274B
Authority
TW
Taiwan
Prior art keywords
mode
intra
current block
size
interpolation filter
Prior art date
Application number
TW109113769A
Other languages
English (en)
Other versions
TW202044832A (zh
Inventor
蔡佳銘
徐志瑋
Original Assignee
聯發科技股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 聯發科技股份有限公司 filed Critical 聯發科技股份有限公司
Publication of TW202044832A publication Critical patent/TW202044832A/zh
Application granted granted Critical
Publication of TWI737274B publication Critical patent/TWI737274B/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

一種用於視頻編碼器或解碼器的視頻處理方法，所述方法包括：接收當前塊的輸入資料；確定幀內預測模式和根據幀內預測模式確定參考樣本；從用於當前塊的高斯插值濾波器和另選插值濾波器中確定幀內參考樣本濾波器；將幀內參考樣本濾波器應用於參考樣本以產生針對當前塊的幀內預測器；以及基於幀內預測器對當前塊進行編碼或解碼。高斯插值濾波器和另選插值濾波器之間的確定取決於通過幀內預測模式計算的模式差值與尺寸相關閾值的比較。根據實施方式，對於塊尺寸小於或等於32個樣本的塊，尺寸相關閾值被設定為等於24。所述另選插值濾波器可以是DCT-IF插值濾波器。

Description

編碼或解碼視頻資料的方法和裝置
本發明涉及通過參考同一視頻圖片中的相鄰樣本來對視頻資料進行編碼或解碼。特別地，本發明涉及利用由模式相關的(mode dependent)幀內平滑濾波器匯出的幀內預測器來對視頻資料進行編碼或解碼。
幀內預測已經在各種圖片和視頻編碼標準中被廣泛採用，以處理初始圖片或週期性地插入I圖片或I塊用於隨機訪問或用於減輕錯誤傳播。幀內預測被設計為利用圖片中的空間特徵，例如圖片內或圖片區域內的平滑區域、垂直線或邊緣、水平線或邊緣、以及對角線或邊緣。幀內預測對於運動或場景變化較大的區域也是有用的。對於基於塊的視頻編碼標準，當前塊的幀內預測依賴於已處理的相鄰塊中的樣本。舉例來說，如果視頻圖片或圖片區域中的塊是從頂部到底部且從左到右逐行依次處理的，則當前塊的頂部上的相鄰塊和左側上的相鄰塊可用以形成用於預測當前塊中的樣本的幀內預測器。
高效視頻編碼(HEVC)標準支援35種幀內預測模式，包括33個角度模式、DC模式和平面模式。第1圖例示出了HEVC標準中支援的33個角度幀內預測模式的預測方向，其中H表示水平方向模式，而V表示垂直方向模式。通過包括幀內平滑濾波器、幀內預測和幀內梯度濾波器的三個步驟來生成用於通過HEVC的幀內預測來編碼或要通過HEVC的幀內預測來編碼的針對當 前塊的幀內預測器。第2圖例示出了由幀內平滑濾波器濾波的用於匯出當前塊的幀內預測器的示例性參考樣本。在計算當前塊20的幀內預測器之前，對當前塊20的參考樣本22應用作為預處理步驟的平滑操作。平滑操作對應於將具有低通特性的有限脈衝回應(FIR)幀內平滑濾波器[1 2 1]>>2應用於屬於當前塊20的左側相鄰列和上方相鄰行的參考樣本22。平滑操作通過應用FIR濾波器來減少由幀內預測模式中的一些引入的不連續性。根據幀內預測模式和當前塊的尺寸自我調整地應用該平滑操作。
幀內預測的第二步驟是根據從35個幀內預測模式中選擇的一個幀內預測模式從相鄰參考樣本中匯出幀內預測器。幀內預測模式由編碼器決定並在位元流中用信號發送，因此對應的解碼器可以從位元流解析幀內預測模式。當選擇角度模式時，通過根據所選擇的角度模式的預測方向從參考樣本外推樣本來預測當前塊中的各個樣本的值。當選擇平面模式時，假定具有從相鄰塊的邊界樣本匯出的水平和垂直平滑梯度的幅度表面來計算當前塊中的各個樣本的值。當選擇DC模式時，當前塊的各個樣本的值是參考樣本的平均值。
在第三步驟中，幀內梯度濾波器被應用於當前塊的左邊界和上邊界處的樣本。應用幀內梯度濾波器的概念是利用沿著幀內預測方向的梯度資訊來改進幀內預測的品質。第3A圖例示出了將幀內梯度濾波應用於通過垂直模式或水平模式預測的預測器。在第3A圖中，預測像素Pij表示在行i和列j的預測器，並且AL表示當前塊的左上角處的重構樣本，而Li表示當前塊的左側相鄰列中的重構樣本。在應用幀內梯度濾波器之後，通過等式(1)計算各個預測像素Pij的最終預測像素P'ij。
P'ij=Pij+α．(Li-AL) 等式(1)
其中，α為0至1的分數，並且是根據水平位移j來選擇的，例如，當j=0時，α=1/2，並且當j=1時，α=1/4。對於通過水平模式預測的當前塊，通過等式 (2)計算各個預測像素Pij的最終預測像素P'ij。
P'ij=Pij+α．(Aj-AL) 等式(2)
其中Aj是上述行中的重構樣本。對於方向模式v+1~v+8和h+1~h+8，首先沿著幀內預測方向獲得重構樣本Li或Aj的對應參考樣本RLi或RAj，以替換重構樣本Li或Aj。當當前塊的上一行或左列中的整像素不位於整像素的位置時，應用其插值以產生對應的參考樣本RLi或RAj。第3B圖例示出了將幀內梯度濾波器應用於v+1~v+8個方向模式的示例。根據等式(3)從各個預測像素Pij計算最終預測像素P'ij。
P'ij=Pij+α．(Li-RLi) 等式(3)
與垂直模式類似，α是從0到1的分數，並且是根據幀內預測的方向和水平位移j來選擇的。對於h+1~h+8個方向模式，最終預測像素P'ij是根據等式(4)從各個預測像素Pij計算出的，其中α是從0到1的分數，並且是根據幀內預測方向和垂直位移i選擇的。
P'ij=Pij+α．(Aj-RAj) 等式(4)
雖然幀內梯度濾波器可以應用於所有的方向模式v+1~v+8和h+1~h+8，但是僅當幀內預測模式是HEVC標準中的DC模式、水平模式或垂直模式時，才應用幀內梯度濾波器。當所選擇的幀內預測模式為DC模式時，通過幀內梯度濾波器對當前塊的第一行及第一列中的樣本進行濾波。當所選擇的幀內預測模式為水平模式時，通過幀內梯度濾波器對第一行中的樣本進行濾波，並且如果所選擇的幀內預測模式為垂直模式，則通過幀內梯度濾波器對第一列中的樣本進行濾波。
MPM列表生成 在HEVC標準中支援的35個幀內預測模式中，三個幀內預測模式被視為用於預測當前塊的當前幀內預測模式的最可能模式(MPM)。左側相鄰塊和上方相鄰塊的相鄰幀內預測模式被包括在三個MPM中。 在兩個相鄰幀內預測模式是相同方向模式，或兩個相鄰幀內預測模式中僅有一個幀內預測模式可用且是方向模式的情況下，緊鄰此方向模式的兩個相鄰方向也包含在三個MPM中。當左側相鄰或上方相鄰幀內預測模式不是方向性的或當幀內預測中相鄰塊不可用或未編碼時，DC模式和平面模式也被視為MPM。用信號發送第一MPM標誌以指示當前幀內預測模式是否與三個MPM中的一個MPM相同，如果相同，則發送另一標誌以指示選擇了三個MPM中的哪個MPM；如果第一MPM標誌為假，則當前幀內預測模式為非MPM模式，並且使用5位元固定長度代碼字來顯式地用信號發送當前幀內預測模式。
第1圖所示的33個角度模式可以擴展到具有更多或更少角度模式的一般情況，其中各個角度模式可以由模式H+k或模式V+k表示，其中H表示水平模式的方向，V表示垂直模式的方向，並且k=0、+-1、+-2、...+-K。第4圖中示出了用於幀內預測的65個角度模式的示例，其中k的範圍從-16到16。模式H-16和模式V-16是相同的模式，其中該模式是指從當前塊的左上角到中心的預測方向。第4圖例示出了65個角度幀內預測模式，其中在HEVC的原始33個角度模式之間具有額外的32個角度模式。第4圖中的65個角度模式包括在塊的左邊界處從底部到頂部的模式H+16到H-15和在塊的頂部邊界處從左到右的模式V-16到V+16。這些更密集的方向幀內預測模式可以應用於所有塊尺寸並且用於亮度分量和色度分量兩者。
在最近的發展中，具有6個MPM的幀內模式編碼方法考慮了與兩個相鄰塊(具有模式A的左側塊和具有模式B的上方相鄰塊)相關聯的兩個可用的相鄰幀內預測模式。通過考慮以下三個方面來構造MPM列表：預設幀內預測模式、相鄰幀內預測模式和派生幀內預測模式。6個MPM列表生成處理開始於將默認MPM列表初始化為{A，平面(0)或DC(1)，垂直(50)，水平(18)，VER-4(46))，VER+4(54))}。在兩個相鄰模式A和B相同並且A大於DC(1)模式 的情況下，MPM清單包括三個預設模式{A，平面(0)，DC(1)}和三個派生模式。通過將預定義的偏移值加到相鄰模式並執行模運算來獲得三個派生模式。在兩個相鄰模式不同的情況下，兩個相鄰模式被分配給MPM清單中的前兩個MPM，而剩餘四個MPM是從預設模式和相鄰模式派生的。在6個MPM列表產生處理期間，使用修剪來移除重複的模式，使得在MPM清單中僅包括唯一模式。對於61個非MPM模式的熵編碼，使用截斷二進位碼(TBC)。
用於非方形塊的寬角(wide-angle)幀內預測 將若干常規角度幀內預測模式自我調整地替換為用於非方形塊的寬角幀內預測(WAIP)模式。常規角度幀內預測方向被定義為按順時針方向從45度到-135度。在最近的發展中，通過將原始模式索引用於發送信號來將一些原始模式替換為WAIP模式，在解析後WAIP模式的實際索引被重新映射，從而使幀內預測模式的總數不變，並且幀內模式編碼方法也保持不變。為了支援這些WAIP模式，在第5A圖和第5B圖中定義了具有長度2W+1的頂部參考和具有長度2H+1的左側參考。在第5A圖中，當前塊52可以通過具有角度大於模式2的角度的左側參考樣本預測，在第5B圖中，當前塊54可以通過具有角度大於模式66的角度的頂部參考樣本來預測。寬角方向模式中被替換的模式的數量取決於塊的縱橫比。表1中例示出了替換後的幀內預測模式。
Figure 109113769-A0305-02-0007-1
Figure 109113769-A0305-02-0008-2
第6圖例示出在通過寬角幀內預測進行預測的當前塊中由兩個垂直相鄰的預測樣本參考的參考樣本的不連續性的示例。由兩個垂直相鄰的預測樣本62和64參考的兩個參考樣本66和68之間的間隔大於1個樣本。低通參考樣本濾波器和側平滑被應用於寬角幀內預測，以減小兩個參考樣本66和68之間的增加的間隙△pα的負面影響，其中α小於45度。
模式相關的幀內平滑 在HEVC標準中，一旦決定了方向預測模式，除了平面模式和DC模式之外，使用兩抽頭線性插值濾波器(two-tap linear interpolation filter)來根據方向預測模式生成幀內預測塊。四抽頭幀內插值濾波器(four-tap linear interpolation filter)被證明是進一步提高了方向幀內預測的精度。例如，簡化的6位元四抽頭高斯插值濾波器(6-bit four-tap Gaussian interpolation filter)用於方向幀內預測模式，而非方向幀內預測處理並未被修改。在即將到來的視頻編碼標準通用視頻編碼(VVC)的開發中，根據用於提供非分數位移的方向幀內預測模式的模式相關的幀內平滑(Mode Dependent Intra Smoothing,MDIS)狀況來確定被應用於參考樣本的幀內平滑濾波器的選擇。
通過採用MDIS，取決於幀內預測模式來執行幀內預測中的參考樣本處理。方向幀內預測模式首先被分類為以下三組中的一組：A、垂直模式(VER_IDX)或水平模式(HOR_IDX)；B、表示角度等於45度倍數的對角模式(即2、DIA_IDX、VDIA_IDX)；以及C、其餘的方向模式。如果方向幀內預測模式被分類為屬於A組，則不會將濾波器應用於參考樣本以生成預測樣本。如果幀內預測模式被分類為屬於B組，則將[1,2,1]參考樣本濾波器自我調整地應用於 參考樣本，以將這些濾波後的值進一步複製到幀內預測器。不將插值濾波器應用於屬於B組的任何模式。否則，如果幀內預測模式被分類為屬於C組，則僅將插值濾波器應用於參考樣本，以根據所選擇的方向生成落入參考樣本之間的分數或整數位置的預測樣本。當將幀內參考樣本插值濾波器應用于參考樣本時，不執行參考樣本濾波。實際上，將值minDistVerhor計算為當前模式減去50的絕對值與當前模式減去18的絕對值之間的最小值，minDistVerhor=min(abs(predModeIntra-50),abs(predModeIntra-18))。如果minDistVerDistHor大於表2中定義的閾值IntraHorVerDistThres，或者如果當前模式是WAIP模式，則應用高斯插值濾波器來計算幀內預測樣本。否則，應用DCT-IF插值濾波器來計算幀內預測樣本。
Figure 109113769-A0305-02-0009-3
位置相關的幀內預測組合 在即將到來的視頻編碼標準VVC的最新發展中，通過位置相關的幀內預測組合(PDPC)方法進一步修改平面模式的幀內預測的預測結果。PDPC方法是一種幀內預測方法，其調用未濾波的邊界參考樣本和具有濾波的邊界參考樣本的HEVC樣式的幀內預測的組合。PDPC應用於平面模式、DC模式、水平模式、垂直模式、左下角度模式及其八個相鄰角度模式，以及右上角度模式及其八個相鄰角度模式，而無需發送信號。根據PDPC方法，根據以下等式使用幀內預測模式和參考樣本的線性組合來預測預測樣本pred(x,y)：pred(x,y)=(wL×R(-1,y)-wT×R(x,-1)-wTL×R(-1,-1)+(64-wL-wT+wTL)×pred(x,y)-32)>>6 等式(5)
其中R(x,-1)、R(-1,y)分別表示位於當前樣本(x，y)的頂部和左側的參考樣本， 而R(-1,-1)表示位於當前塊的左上角的參考樣本。
如果PDPC方法應用於DC模式、平面模式、水平模式和垂直模式，則不需要附加的邊界濾波器。第7A圖、第7B圖、第7C圖和第7D圖例示出了應用於各種預測模式的PDPC的參考樣本74a、74b、74c或74d的定義。預測樣本pred(x',y')位於預測塊72a、72b、72c或72d內的(x',y')處。第7A圖例示出了應用於對角右上模式的PDPC所使用的樣本，第7B圖例示出了應用于對角左下模式的PDPC所使用的樣本，第7C圖例示出了應用於相鄰對角右上模式的PDPC所使用的樣本，並且第7D圖例示出了應用于相鄰對角左下模式的PDPC所使用的樣本。在示例中，對於對角模式，參考樣本R(x,-1)的座標x由等式x=x'+y'+1給出，並且參考樣本R(-1,y)的座標類似地由等式y=x'+y'+1給出。對於其它角度模式，參考樣本R(x,-1)和R(-1,y)位於分數樣本位置。在這種情況下，使用最近整數樣本位置的樣本值。PDPC權重取決於預測模式且示出在表3中。
Figure 109113769-A0305-02-0010-4
公開了一種用於在視頻編解碼系統中處理通過幀內預測編碼或要通過幀內預測編碼的視頻資料的視頻編碼或解碼的方法和裝置。視頻編解碼系統的實施方式接收與當前圖片中的當前塊相關聯的輸入資料。視頻編解碼系統確定當前塊的幀內預測模式，然後根據幀內預測模式確定當前塊的參考樣本。根據當前塊的幀內預測模式和塊尺寸，從高斯插值濾波器和另選插值濾波器中確定用於當前塊的幀內參考樣本濾波器。在高斯插值濾波器與另選插值濾波器之間的確定取決於通過幀內預測模式計算的模式差值與尺寸相關閾值的比較。對於塊尺寸小於或等於32個樣本的塊，或者對於4×4、4×8和8×4的塊，尺寸相關閾值被設定為等於或大於24。將幀內參考樣本濾波器應用於當前塊的參考樣本，以產生當前塊的幀內預測器，並且幀內預測器被用於對當前塊進行編碼或解碼。
在一些實施方式中，通過幀內預測模式計算的模式差值是幀內預測模式與水平模式之間的絕對模式數差和幀內預測模式與垂直模式之間的絕對模式數差中的最小值。水平模式數為18，並且垂直模式數為50。當通過當前幀內預測模式計算的模式差值大於尺寸相關閾值時，選擇高斯插值濾波器用於當前塊，並且當通過當前幀內預測模式計算的模式差值小於或等於尺寸相關閾值時，選擇另選插值濾波器。根據幀內預測模式，從當前塊的相鄰重構樣本確定當前塊的參考樣本。
在一些實施方式中，根據變數nTbS確定當前塊的尺寸相關閾值，並且將變數nTbS定義為當前塊的寬度取Log2加上當前塊的高度取Log2之後移位1。根據優選實施方式，當變數nTbS等於2時，當前塊的尺寸相關閾值等於24。在該實施方式中，當變數nTbS等於3時，尺寸相關閾值等於14，當變數nTbS等於4時，尺寸相關閾值等於2，並且當變數nTbS等於或大於5時，尺寸 相關閾值等於0。
另選插值濾波器可以是Cubic或DCT-IF插值濾波器。當前塊的幀內預測模式是常規(regular)方向幀內預測模式或寬角幀內預測模式。當前塊是亮度CB，並且塊尺寸對當前塊中的亮度樣本的數量進行計數。
在一些示例性實施方式中，當塊尺寸大於32個樣本時並且當當前塊的幀內預測模式是預定義模式時，確定[1 2 1]參考樣本平滑濾波器用於當前塊。例如，預定義模式是平面模式、模式-14、模式-12、模式-10、模式-6、模式2、模式34、模式66、模式72、模式76、模式78和模式80中的一者或組合。
如果當前塊的幀內預測模式是平面模式、模式-14、模式-12、模式-10、模式-6、模式2、模式34、模式66、模式72、模式76、模式78和模式80中的一者，則處理方法的一些實施方式將不選擇高斯插值濾波器用於對參考樣本進行濾波。
如果幀內預測模式是垂直模式或水平模式，或者如果根據一些實施方式確定[1 2 1]參考樣本平滑濾波器，則選擇另選插值濾波器用於當前塊，並且另選插值濾波器是具有係數[0 64 0 0]的DCT-IF濾波器。在另一實施方式中，如果幀內預測模式是垂直模式或水平模式，則不將濾波器應用於當前塊的參考樣本。
根據實施方式，如果塊尺寸是4×4、4×8或8×4並且幀內預測模式是模式2、模式34或模式66，或者如果塊尺寸是4×8並且幀內預測模式是模式-6，或者如果塊尺寸是8×4並且幀內預測模式是模式72，則不選擇[1 2 1]參考樣本平滑濾波器用於當前塊。
根據實施方式，如果塊尺寸大於32個樣本，則僅選擇[1 2 1]參考樣本平滑濾波器和高斯插值濾波器用於當前塊。所述另選插值濾波器是DCT-IF插值濾波器，且如果所述塊尺寸為4×4、4×8或8×4或所述塊尺寸小於 或等於32個樣本，則總是選擇DCT-IF插值濾波器用於當前塊。
本公開的各方面還提供了一種視頻編碼系統中的裝置，用於接收與通過幀內預測編碼或要通過幀內預測編碼的當前塊相關聯的輸入資料，相應地確定當前塊的幀內預測模式和參考樣本，根據當前塊的幀內預測模式和塊尺寸從高斯插值濾波器和另選插值濾波器確定幀內參考樣本濾波器，將幀內參考樣本濾波器應用於參考樣本以生成當前塊的幀內預測器，以及基於幀內預測器對當前塊進行編碼或解碼。高斯插值濾波器與另選插值濾波器之間的選擇取決於通過幀內預測模式計算的模式差值與尺寸相關閾值的比較。對於塊尺寸小於或等於32個樣本的塊，尺寸相關閾值被設定為等於或大於24。
本發明的各方面進一步提供一種存儲程式指令的非暫時性電腦可讀介質，所述程式指令使裝置的處理電路通過利用根據當前塊的幀內預測模式和塊尺寸而選擇的幀內參考樣本濾波器進行幀內預測來對所述當前塊的視頻資料進行編碼或解碼。通過閱讀下面對具體實施例的描述，本發明的其他方面和特徵對於本領域普通技術人員將變得顯而易見。
20、52、54:當前塊
22、66、68、74a、74b、74c、74d:參考樣本
62、64:預測樣本
72a、72b、72c、72d:預測塊
900:視頻編碼器
910、1012:幀內預測模組
912、1014:幀間預測模組
916:加法器模組
918:變換模組(T)
920:量化模組(Q)
922、1020:逆量化模組(IQ)
924、1022:逆變換模組(IT)
926、1018:重構模組(REC)
928、1024:去塊濾波器(DF)
930、1026:環內濾波器
932、1028:參考圖片緩衝器
934:熵編碼器
1000:視頻解碼器
1016:切換模組
S802-S820:步驟
參考圖式，提出多種實施例作為舉例說明，其中相同的代碼指示相同的元件。
第1圖示例出了HEVC標準中支援的33個角度幀內預測模式。
第2圖例示出了由幀內平滑濾波器濾波的用於匯出當前塊的幀內預測器的示例性參考樣本。
第3A圖例示出了幀內預測中將幀內梯度濾波應用於通過垂直模式預測的預測器。
第3B圖例示出了幀內預測中將幀內梯度濾波應用於通過角度模式預測的預測 器。
第4圖例示出了65個角度幀內預測模式的示例。
第5A圖和第5B圖例示出了應用於兩個示例矩形塊的寬角幀內預測的參考樣本。
第6圖例示出了在寬角幀內預測的示例中的參考樣本的不連續性。
第7A圖至第7D圖例示出了應用於對角右上模式、對角左下模式、相鄰對角右上模式和相鄰對角左下模式的位置相關的幀內預測組合(PDPC)的參考樣本的定義。
第8圖例示出了根據本發明的實施方式的示例性方法的流程圖。
第9圖例示出了根據本發明的實施方式的結合了視頻處理方法的視頻編碼系統的示例性系統框圖。
第10圖例示出了根據本發明的實施方式的結合了視頻處理方法的視頻解碼系統的示例性系統框圖。
容易理解，如在本文的附圖中一般性描述和例示出的，本發明的模組和部件可以以各種不同的配置來設置和設計。因此，如附圖中所表示的，本發明的系統和方法的實施方式的下述更詳細描述並非旨在限制所要求保護的本發明的範圍，而僅是表示本發明的所選實施方式。
在整個說明書中，對"實施方式"、"一些實施方式"或類似語言的引用意味著結合實施方式描述的特定特徵、結構或特性可以包括在本發明的至少一個實施方式中。因此，在整個說明書中的各個地方出現的短語"在實施方式中"或"在一些實施方式中"不一定全部指同一實施方式，這些實施方式可以單獨地或結合一個或更多個其它實施方式來實現。此外，所描述的特徵、結構或特 性可以以任何合適的方式組合在一個或更多個實施方式中。然而，相關領域的技術人員將認識到，可以在沒有一個或更多個特定細節的情況下，或者利用其它方法、部件等來實踐本發明。在其它示例中，沒有詳細示出或描述公知的結構或操作，以避免模糊本發明的各方面。
將WAIP模式作為常規方向幀內模式，以用於插值濾波器選擇
如前所述，將低通參考樣本濾波器和側平滑濾波器應用於寬角幀內預測(WAIP)模式，以減少兩個參考樣本之間的增加的間隙的負面影響。本發明的一些實施方式對WAIP模式進行與常規方向幀內預測模式相同的處理，以在幀內預測處理中選擇插值濾波器。無論當前幀內預測模式是WAIP模式還是常規方向幀內預測模式，始終使用模式相關的幀內平滑(MDIS)插值濾波器選擇條件進行確定。MDIS插值濾波器選擇條件檢查值minDistVerHor是否大於閾值。通過當前幀內預測模式與水平模式之間的絕對模式數差和當前幀內預測模式與垂直模式之間的絕對模式數差中的最小值來計算值minDistVerHor。如果MDIS插值濾波器選擇條件的檢查為真，則選擇高斯插值濾波器用於當前塊；否則選擇另選插值濾波器。另選插值濾波器的一些示例包括Cubic插值濾波器和DCT-IF插值濾波器。
基於塊尺寸和幀內預測模式確定幀內平滑濾波器 使用當前塊的一個或更多個彩色分量的相鄰重構樣本作為參考樣本，以用於預測在幀內預測中編碼的當前塊。本發明的實施方式改進了幀內預測中的MDIS的設計。在一些示例性實施方式中，基於多次檢查，在[1 2 1]參考樣本平滑濾波器、高斯插值濾波器和DCT-IF插值濾波器中確定一種類型的幀內參考樣本濾波器用於各個幀內編碼塊。當滿足預定義條件時，將[1 2 1]參考樣本平滑濾波器應用於當前塊的重構邊界樣本。舉例來說，當前塊為亮度編碼塊(CB)。選擇[1 2 1]參考樣本平滑濾波器的預定義條件的實施方式是：在當前亮度CB的尺寸大於32個亮度樣 本並且當前幀內預測模式為預定義模式中的一者時。例如，預定義模式包括模式-14、模式-12、模式-10、模式-6、模式2、模式34、模式66、模式72、模式76、模式78和模式80以及平面模式中的一者或組合。預定義條件的另一實施方式是：當前幀內預測模式是具有45度倍數的角度的對角模式(例如模式2、模式34或模式66)中的一者。如第4圖所示，模式-14、模式-12、模式-10、模式-6、模式72、模式76、模式78和模式80是各種寬角方向模式，並且模式2、模式34和模式66是表示45度倍數的角度的對角模式。在一個實施方式中，當選擇[1 2 1]參考樣本平滑濾波器用於當前塊時，使用具有係數[0 64 0 0]的DCT-IF濾波器來對當前塊的參考樣本進行濾波。
如果未選擇[1 2 1]參考樣本平滑濾波器，則將高斯插值濾波器有條件地應用於當前塊，以根據當前塊的幀內預測模式生成幀內預測器。在一個實施方式中，當以下兩個條件都為真時，應用高斯插值濾波器。當當前幀內預測模式不是平面模式、模式-14、模式-12、模式-10、模式-6、模式2、模式34、模式66、模式72、模式76、模式78和模式80中的任何一者時，第一條件為真。當當前幀內預測模式與水平模式之間的絕對模式數差和當前幀內預測模式與垂直模式之間的絕對模式數差的最小值(即，minDisVerHor)大於尺寸相關閾值時，第二條件為真。垂直預測模式數為50且水平預測模式數為18。將模式差值minDistVerHor計算為當前模式減去50的絕對值與當前模式減去18的絕對值之間的最小值。用於匯出值minDistVerHor的等式為：minDistVerHor=min(abs(predModeIntra-50),abs(predModeIntra-18))。在另一實施方式中，無論當前幀內預測模式是WAIP模式還是常規方向幀內預測模式，當模式差值minDisVerHor大於尺寸相關閾值時，應用高斯插值濾波器。在本發明的一些實施方式中，當當前塊的變數nTbS等於2時，當前塊的尺寸相關閾值IntraHorVerDistThres等於24，其中變數nTbS被定義為：Log2(塊寬度)+Log2(塊 高度)>>1。換句話說，當當前塊的塊尺寸為4×4、4×8或8×4個樣本時(意味著當當前塊的塊面積小於或等於32個樣本時)，當前塊的尺寸相關閾值IntraHorVerDistThres等於24。在一個實施方式中，當變數nTbS等於3時，閾值IntraHorVerDistThres等於14，並且當變數nTbS等於4時，閾值IntraHorVerDistThres等於2。在此實施方式中，當變數nTbS等於5、6或7時，尺寸相關閾值IntraHorVerDistThres等於0。當塊尺寸等於或大於1024個樣本(即，32×32、16×16或64×16)時，當前塊的變數nTbS等於或大於5。即，如果當前塊的參考樣本沒有被[1 2 1]參考樣本平滑濾波器濾波，則高斯插值濾波器被應用於具有等於或大於32×32、16×64或64×16個樣本尺寸的當前塊，並且被通過除了垂直模式和水平模式之外的方向幀內預測模式編碼。舉例來說，對於大於1024個樣本且具有不等於平面模式、垂直模式、水平模式、模式-14、模式-12、模式-10、模式-6、模式2、模式34、模式66、模式72、模式76、模式78或模式80的幀內預測模式的塊，將高斯插值濾波器應用於相鄰重構樣本。否則，對使用方向幀內預測模式編碼的任何塊的相鄰重構樣本應用DCT-IF插值濾波器。
與常規協定相比，在本申請的實施方式中，尺寸相關閾值IntraHorVerDistThres的設定已改變。例如，針對等於2的nTbS，尺寸相關閾值IntraHorVerDistThres變為24。針對等於2的nTbS，增加尺寸相關閾值IntraHorVerDistThres導致增大了針對小塊使用DCT-IF插值濾波器的概率。這反映了本申請的一些重要概念。針對小塊的強幀內插值濾波器(例如高斯濾波器)的需求不如針對較大塊的多。因此，根據此需要保護申請的實施方式，簡化針對小塊在插值濾波器的選擇方法以降低小塊的幀內預測模式的運算/設計複雜度，其中高斯插值濾波器比DCT-IF插值濾波器要使用多得多的複雜性和資源用於編碼/解碼處理。在針對變數nTbS等於2的塊或針對尺寸等於4×4、4×8或8×4個樣本的塊，將尺寸相關閾值IntraHorVerDistThres設定為等於24的實施方式中， 當幀內預測模式為模式-6與模式74之間的任何模式時，值minDistVerHor小於或等於24。因此，將DCT-IF插值濾波器應用於通過模式-6與模式74之間的任何模式編碼的所有4×4、4×8及8×4塊。僅將高斯插值濾波器應用於通過模式-14與模式-7之間的任何模式或模式75到模式80之間的任何模式編碼的4×4、4×8及8×4塊。在另一實施方式中，將針對等於2的nTbS的閾值IntraHorVerDistThres設定為等於或大於24。在一些其它實施方式中，將針對等於2的nTbS的閾值IntraHorVerDistThres設定為17、18、19、21或22，因此，將DCT-IF插值濾波器用於由對應於分別小於或等於17、18、19、21或22的值MinDistVerHor的模式編碼的4×4、4×8及8×4塊。舉例來說，當針對等於2的nTbS的閾值IntraHorVerDistThres設定為21時，將DCT-IF插值濾波器用於具有小於或等於32個樣本的塊面積的小塊並且通過模式-3與模式71之間的任何模式編碼，否則，選擇高斯插值濾波器用於所述小塊。
由於通過垂直模式(模式50)或水平模式(模式18)編碼的當前塊對應於minDistVerhor=0，所以總是選擇另選濾波器(例如DCT-IF濾波器)，而不管當前塊的尺寸如何。根據一個實施方式，使用具有係數[0 64 0 0]的DCT-IF濾波器來對通過垂直或水平幀內預測模式編碼的幀內編碼塊的相鄰重構樣本進行濾波。在另一實施方式中，編碼器或解碼器不需要在幀內參考樣本濾波器當中針對通過垂直模式(模式50)和水平模式(模式18)編碼的塊選擇濾波器，因為這些塊的相鄰重構樣本在幀內預測中未被濾波。
下面描述用於確定[1 2 1]參考樣本平滑濾波器的預定義條件的一個實施方式。如果當前塊尺寸是4×4、4×8或8×4個樣本並且所應用的幀內預測模式是模式2、模式34或模式66，則不將[1 2 1]參考樣本平滑濾波器應用至當前塊(例如，排除[1 2 1]參考樣本平滑濾波器)；如果當前塊尺寸是4×8個樣本並且所應用的幀內預測模式是模式-6，則不將[1 2 1]參考樣本平滑濾波器應用至 當前塊(例如，排除[1 2 1]參考樣本平滑濾波器)；並且如果當前塊尺寸是8×4個樣本並且所應用的幀內預測模式是模式72，則不將[1 2 1]參考樣本平滑濾波器應用至當前塊。對於其他塊尺寸，可以根據當前塊的幀內預測模式將[1 2 1]參考樣本濾波選擇性地/有條件地應用於當前塊。
針對小塊的DCT-IF插值濾波器 在本發明的一些實施方式中，[1 2 1]參考樣本平滑濾波器或高斯插值濾波器僅應用於塊尺寸大於32個樣本的塊，因此當塊尺寸是4×4、4×8或8×4時或當塊面積小於或等於32個樣本時，不將[1 2 1]參考樣本平滑濾波器或高斯插值濾波器應用於當前塊。當塊尺寸是4×4、4×8或8×4個樣本時或當塊面積小於或等於32個樣本時，將DCT-IF插值濾波器應用於當前塊。在本實施方式中，對於尺寸大於4×4、4×8或8×4個樣本或面積大於32個樣本的塊，當滿足根據當前塊的幀內預測模式或根據當前塊的幀內預測模式和塊尺寸兩者的標準時，應用[1 2 1]參考樣本平滑濾波器。例如，根據一個實施方式，當幀內預測模式是諸如模式2、模式34或模式66的對角模式時，將[1 2 1]參考樣本平滑濾波器應用於當前塊的參考樣本。在另選實施方式中，當幀內預測模式是平面模式、模式-14、模式-12、模式-10、模式-6、模式2、模式34、模式66、模式72、模式76、模式78和模式80中的一者時，將[1 2 1]參考樣本平滑濾波器應用於當前塊的參考樣本。
簡化位置相關的幀內預測組合 在將位置相關的幀內預測組合(PDPC)應用於當前預測樣本的一些實施方式中，PDPC中使用的相鄰參考樣本來自未濾波樣本，且PDPC中使用的預測樣本由插值濾波器來插值。在一個實施方式中，PDPC的相鄰參考樣本R(x，-1)、R(-1，y)和R(-1，-1)是未進行參考樣本濾波的幀內參考樣本。此外，通過插值濾波器對預測樣本pred(x，y)進行插值。在另一實施方式中，如果PDPC的相鄰參考樣本R(x，-1)、R(-1，y)和R(-1，-1)是未進行參考樣本濾波的幀內參考樣本，並且預測樣本pred(x，y)也沒有被插值濾波器插值， 則對於當前幀內預測模式，PDPC是禁用的。在一個實施方式中，僅允許將PDPC用於面積大於S的塊，以最小化較小塊的等待時間(latency)。例如，S是32、64或128個樣本。在另一實施方式中，在僅允許對面積大於S的塊應用參考平滑濾波器或參考樣本插值的情況下，也僅允許將PDPC用於面積大於S的塊。S的一些示例是32、64和128個樣本。在又一實施方式中，當應用PDPC時，僅在幀內預測模式不是DC模式、平面模式、水平模式和垂直模式中的一者的情況下，PDPC的相鄰參考樣本R(x，-1)、R(-1，y)和R(-1，-1)是未進行參考樣本濾波的幀內參考樣本，並且預測樣本pred(x，y)由插值濾波器插值。
在另一實施方式中，如果當前幀內預測模式屬於表示45度倍數的角度的模式，則不使用[1 2 1]參考樣本平滑濾波器。相反，應用高斯插值濾波器來生成幀內預測樣本。換句話說，除了DC模式、平面模式、水平模式和垂直模式之外，當應用PDPC時，不對相鄰參考樣本R(x，-1)、R(-1，y)和R(-1，-1)通過參考樣本濾波進行處理，而是由插值濾波器對預測樣本pred(x，y)進行插值。在一個實施方式中，對於具有PDPC的平面模式，不對相鄰參考樣本R(x，-1)、R(-1，y)和R(-1，-1)通過參考樣本濾波進行處理，並且未濾波的相鄰參考樣本和預測樣本pred(x，y)被用於PDPC。在另一個實施方式中，對於具有PDPC的平面模式，未濾波的參考樣本R(x，-1)、R(-1，y)和R(-1，-1)被用於PDPC，但是在應用PDPC之前，通過使用濾波的相鄰參考樣本來生成預測樣本pred(x，y)。
代表性流程圖 第8圖是例示出根據本發明的實施方式的用於處理通過幀內預測編碼或要通過幀內預測編碼的當前塊的視頻處理方法的流程圖。在步驟S802中，視頻編碼器或解碼器接收當前圖片中的當前塊的輸入資料。在步驟S804和步驟S806中，視頻編碼器或解碼器確定當前塊的幀內預測模式，並根據幀內預測模式確定當前塊的參考樣本。在步驟S808中，視頻編碼器或解碼器根據當前塊的幀內預測模式和塊尺寸中的一者或兩者檢查是否滿足當前塊 的預定義條件。例如，當塊尺寸大於32個樣本時，以及當幀內預測模式為平面模式、模式-14、模式-12、模式-10、模式-6、模式2、模式34、模式66、模式72、模式76、模式78和模式80中的一者時，滿足預定義條件。如果滿足預定義條件，則在步驟S810中，確定/選擇將[1 2 1]參考樣本平滑濾波器用於當前塊，否則，在步驟S812中，視頻編碼器或解碼器檢查通過幀內預測模式計算的模式差值是否大於尺寸相關閾值。通過幀內預測模式計算的模式差值minDistVerhor的示例為水平模式的模式數差與垂直模式的模式數差之間的最小值，即minDistVerhor=min(abs(predModeIntra-50),abs(predModeIntra-18)，本文中50表示模式50，並且18表示模式18。針對塊尺寸小於或等於32個樣本的塊，將尺寸相關閾值設定為等於24。如果通過幀內預測模式計算的模式差值大於尺寸相關閾值，則在步驟S814中確定/選擇高斯插值濾波器用於當前塊；否則，如果通過幀內預測模式計算的值小於或等於尺寸相關閾值，則在步驟S816中確定另選插值濾波器用於當前塊。另選插值濾波器的一些示例為Cubic和DCT-IF插值濾波器。然後在步驟S818中，將上文所確定的幀內參考樣本濾波器應用於當前塊的參考樣本，以產生當前塊的幀內預測器。在步驟S820中，視頻編碼器或解碼器基於幀內預測器對視頻圖片中的當前塊進行編碼或解碼。
代表性框圖第9圖例示出了實現本發明的一個或更多個視頻處理方法的視頻編碼器900的示例性系統框圖。將根據相鄰重構樣本通過幀內預測對當前塊進行編碼。幀內預測模組910確定當前塊的幀內預測模式，然後根據幀內預測模式確定當前塊的參考樣本。幀內預測模組910根據當前塊的幀內預測模式和塊尺寸從高斯插值濾波器和DCT-IF插值濾波器確定幀內參考樣本濾波器。高斯插值濾波器和DCT-IF插值濾波器之間的確定或選擇取決於通過幀內預測模式計算的值與尺寸相關閾值的比較，並且對於塊尺寸小於或等於32個樣本的塊，尺寸相關閾值被設定為等於或大於24。幀內預測模組910通過將幀內 參考樣本濾波器應用於當前塊的參考樣本來生成幀內預測器。幀間預測模組912執行運動估計(ME)和運動補償(MC)，以基於來自其它一個或多個圖片的視頻資料來提供幀間預測器。幀內預測模組910或幀間預測模組912將所選擇的預測器提供給加法器模組916，以形成預測誤差(也稱為預測殘差)。由於當前塊是通過幀內預測編碼的，因此幀內預測模組910將當前塊的幀內預測器發送到加法器模組916以產生當前塊的預測殘差。
當前塊的預測殘差由變換模組(T)918接著由量化模組(Q)920進一步處理。然後，熵編碼器934對變換後和量化後的殘差信號進行編碼，以形成編碼視頻位元流。然後，編碼視頻位元流與輔助資訊一起封裝。由逆量化模組(IQ)922和逆變換模組(IT)924處理當前塊的變換後和量化後的殘差信號，以恢復預測殘差。如第9圖所示，通過在重構模組(REC)926處將其加回到所選擇的預測器來恢復預測殘差，以產生重構樣本。重構樣本可以存儲在參考圖片緩衝器(Ref.Pict.Buffer)932中，並用於預測其它圖片。來自REC926的重構樣本可能由於編碼處理而受到各種損傷，因此，在將重構樣本存儲在參考圖片緩衝器932中之前，對重構樣本應用環內處理去塊濾波器(DF)928和環內濾波器930，以進一步增強圖片品質。與環內處理DF928和環內濾波器930的資訊相關聯的語法被提供給熵編碼器934，以結合到編碼視頻位元流中。
第10圖示出了與第9圖的視頻編碼器900相對應的視頻解碼器1000，編碼的視頻位元流是視頻解碼器1000的輸入，並由熵解碼器1010解碼，以解析和恢復變換後和量化後的殘差信號和其它系統資訊。除了解碼器1000僅需要幀間預測模組1014中的運動補償預測之外，解碼器1000的解碼處理類似於編碼器900處的重構迴圈。各個塊由幀內預測模組1012或幀間預測模組1014解碼。切換模組1016根據解碼的模式資訊選擇來自幀內預測模組1012的幀內預測器或來自幀間預測模組1014的幀間預測器。根據本發明的實施方式，幀內 預測模組1012對當前塊的幀內預測模式進行解碼，並根據幀內預測模式確定當前塊的參考樣本。根據當前塊的幀內預測模式和塊尺寸，從高斯插值濾波器和DCT-IF插值濾波器中確定幀內參考樣本濾波器用於當前塊。將通過幀內預測模式計算的模式差值與尺寸相關閾值進行比較，如果通過幀內預測模式計算的模式差值大於尺寸相關閾值，則選擇高斯插值濾波器用於當前塊，否則選擇DCT-IF插值濾波器。幀內預測模組1012將幀內參考樣本濾波器應用於當前塊的參考樣本，以產生當前塊的幀內預測器。與各個塊相關聯的變換後和量化後的殘差信號由逆量化模組(IQ)1020和逆變換模組(IT)1022恢復。通過在REC模組1018中加回預測器來重構經恢復的變換後和量化後的殘差信號，以產生重構樣本。重構樣本進一步由DF1024和環內濾波器1026處理，以生成最終解碼視頻。如果當前解碼圖片是參考圖片，則根據解碼順序，當前解碼圖片的重構樣本也被存儲在參考圖片緩衝器1028中以用於後續圖片。
第9圖中的視頻編碼器900和第10圖中的視頻解碼器1000的各種部件可由硬體部件、經配置以執行存儲在記憶體中的程式指令的一個或更多個處理器、或硬體與處理器的組合來實現。例如，處理器執行程式指令以控制在多個參考樣本濾波器中選擇濾波器用於各個幀內編碼塊。處理器配備有單個或多個處理核。在一些示例中，處理器執行程式指令以執行編碼器900和解碼器1000中的一些部件中的功能，並且與處理器電聯接的記憶體被用於存儲程式指令、與塊的重構圖像相對應的資訊和/或編碼或解碼處理期間的中間資料。在一些實施方式中，記憶體包括非暫時性電腦可讀介質，諸如半導體或固態記憶體、隨機存取記憶體(RAM)、唯讀記憶體(ROM)、硬碟、光碟或其它合適的存儲介質。記憶體還可以是上面列出的非暫時性電腦可讀介質中的兩者或更多者的組合。如第9圖和第10圖所示，編碼器900和解碼器1000可以在同一電子設備中實現，因此如果在同一電子設備中實現，則編碼器900和解碼器1000的各 種功能部件可以被共用或重複使用。例如，第9圖中的重構模組926、逆變換模組924、逆量化模組922、去塊濾波器928、環內濾波器930和參考圖片緩衝器932中的一者或更多者還可以分別用作第10圖中的重構模組1018、逆變換模組1022、逆量化模組1020、去塊濾波器1024、環內濾波器1026和參考圖片緩衝器1028。
編碼視頻編碼系統的處理方法的實施方式可以在集成到視頻壓縮晶片中的電路中或者集成到視頻壓縮軟體中的程式碼中實現，以執行上述處理。例如，可以在電腦處理器、數位訊號處理器(DSP)、微處理器或現場可程式設計閘陣列(FPGA)上執行的程式碼中實現在多個參考樣本濾波器中選擇濾波器用於各個幀內編碼塊。這些處理器可以被配置為通過執行定義了本發明所體現的特定方法的機器可讀軟體代碼或固件代碼來執行根據本發明的特定任務。
本發明可以以其它特定形式實施而不脫離其精神或本質特徵。所描述的示例在所有方面都應被認為僅是說明性的而非限制性的。因此，本發明的範圍由所附權利要求而非由前文描述來指示。在權利要求的等效含義和範圍內的所有改變都將包含在所述權利要求的範圍內。
S802-S820:步驟

Claims (18)

  1. 一種在視頻編解碼系統中對視頻資料進行編碼或解碼的方法，所述方法包括以下步驟：接收與在視頻圖片中通過幀內預測編碼或要通過幀內預測編碼的當前塊相關聯的輸入資料；確定所述當前塊的幀內預測模式；根據所述當前塊的所述幀內預測模式確定所述當前塊的參考樣本；根據所述當前塊的所述幀內預測模式和塊尺寸，從高斯插值濾波器和另選插值濾波器中確定幀內參考樣本濾波器，其中，在所述高斯插值濾波器與所述另選插值濾波器之間的所述確定取決於通過所述幀內預測模式計算的模式差值與尺寸相關閾值的比較，其中，對於塊尺寸小於或等於32個樣本的塊，所述尺寸相關閾值被設定為等於或大於24；將所述幀內參考樣本濾波器應用於所述當前塊的所述參考樣本，以產生所述當前塊的幀內預測器；以及基於所述幀內預測器對所述視頻圖片中的所述當前塊進行編碼或解碼。
  2. 如請求項1之方法，其中，通過所述幀內預測模式計算的所述模式差值是所述幀內預測模式與水平模式之間的絕對模式數差和所述幀內預測模式與垂直模式之間的絕對模式數差中的最小值。
  3. 如請求項2之方法，其中，當通過所述當前塊的所述幀內預測模式計算的所述模式差值大於所述尺寸相關閾值時，確定要應用所述高斯插值濾波器，並且當通過所述當前塊的所述幀內預測模式計算的所述模式差值小於或等於所述尺寸相關閾值時，確定要應用所述另選插值濾波器。
  4. 如請求項1之方法，其中，根據所述當前塊的相鄰重構樣本確定所述當前塊的所述參考樣本。
  5. 如請求項1之方法，其中，根據變數nTbS確定所述尺寸相關閾值，並且將所述變數nTbS定義為所述當前塊的寬度的Log2加上所述當前塊的高度的Log2移位1：nTbS=Log2(寬度)+Log2(高度)>>1。
  6. 如請求項5之方法，其中，當所述變數nTbS為2時，所述尺寸相關閾值等於24。
  7. 如請求項5之方法，其中，當所述變數nTbS為3時，所述尺寸相關閾值等於14；當所述變數nTbS為4時，所述尺寸相關閾值等於2；並且當所述變數nTbS等於或大於5時，所述尺寸相關閾值等於0。
  8. 如請求項1之方法，其中，所述另選插值濾波器是Cubic插值濾波器或DCT-IF插值濾波器。
  9. 如請求項1之方法，其中，所述當前塊的所述幀內預測模式是常規方向幀內預測模式或寬角幀內預測模式。
  10. 如請求項1之方法，其中，所述當前塊為亮度編碼塊(CB)，並且所述塊尺寸對所述當前塊中的亮度樣本的數量進行計數。
  11. 如請求項1之方法，其中，所述方法還包括以下步驟：當所述塊尺寸大於32個樣本時並且當所述當前塊的所述幀內預測模式是預定義模式時，確定[1 2 1]參考樣本平滑濾波器用於所述當前塊。
  12. 如請求項11之方法，其中，所述預定義模式是平面模式、模式-14、模式-12、模式-10、模式-6、模式2、模式34、模式66、模式72、模式76、模式78和模式80中的一者或組合。
  13. 如請求項1之方法，其中，所述確定步驟包括：當所述當前塊的所述幀內預測模式為平面模式、模式-14、模式-12、模式-10、模式-6、模式2、模式34、模式66、模式72、模式76、模式78和模式80中的一者時，排除所述高斯插值濾波器。
  14. 如請求項1之，其中，所述確定步驟包括：如果所述幀內預測模式為垂直模式或水平模式，確定所述另選插值濾波器用於所述當前塊，並且所述另選插值濾波器為具有係數[0 64 0 0]的DCT-IF濾波器。
  15. 如請求項1之方法，其中，所述確定步驟包括：如果所述塊尺寸為4×4、4×8或8×4並且所述幀內預測模式為模式2、模式34或模式66，或者如果所述塊尺寸為4×8並且所述幀內預測模式為模式-6，或者如果所述塊尺寸為8×4並且所述幀內預測模式為模式72，排除[1 2 1]參考樣本平滑濾波器用於所述當前塊。
  16. 如請求項1之方法，其中，所述確定步驟包括：如果所述塊尺寸大於32個樣本，則從針對所述當前塊的[1 2 1]參考樣本平滑濾波器和所述高斯插值濾波器中進行確定，其中，所述另選插值濾波器是DCT-IF插值濾波器，並且所述確定步驟包括：如果所述塊尺寸小於或等於32個樣本，則確定所述DCT-IF插值濾波器用於所述當前塊。
  17. 一種執行視頻編碼的裝置，所述裝置包括：電腦處理器，所述電腦處理器被配置為接收視頻資料；以及通過執行包括以下步驟的步驟來對在所述電腦處理器上能夠執行的程式進行程式設計以用於視頻編解碼：接收與視頻圖片中通過幀內預測編碼或要通過幀內預測編碼的當前塊相關聯的輸入資料；確定所述當前塊的幀內預測模式；根據所述當前塊的所述幀內預測模式確定所述當前塊的參考樣本；根據所述當前塊的所述幀內預測模式和塊尺寸，從高斯插值濾波器和另選插值濾波器中確定幀內參考樣本濾波器，其中，在所述高斯插值濾波器與所述另選插值濾波器之間的所述確定取決於通過所述幀內預測模式計算的模式差值與尺寸相關閾值的比較，其中，對於塊尺寸小於或等於32個樣本的塊，所述尺 寸相關閾值被設定為等於或大於24；將所述幀內參考樣本濾波器應用於所述當前塊的所述參考樣本，以產生所述當前塊的幀內預測器；以及基於所述幀內預測器對所述視頻圖片中的所述當前塊進行編碼或解碼。
  18. 一種存儲程式指令的非暫時性電腦可讀介質，所述程式指令使裝置的處理電路執行視頻資料的視頻處理方法，並且所述方法包括以下步驟：接收與視頻圖片中通過幀內預測編碼或要通過幀內預測編碼的當前塊相關聯的輸入資料；確定所述當前塊的幀內預測模式；根據所述當前塊的所述幀內預測模式確定所述當前塊的參考樣本；根據所述當前塊的所述幀內預測模式和塊尺寸，從高斯插值濾波器和另選插值濾波器中確定幀內參考樣本濾波器，其中，在所述高斯插值濾波器與所述另選插值濾波器之間的所述確定取決於通過所述幀內預測模式計算的模式差值與尺寸相關閾值的比較，其中，對於塊尺寸小於或等於32個樣本的塊，所述尺寸相關閾值被設定為等於或大於24；將所述幀內參考樣本濾波器應用於所述當前塊的所述參考樣本，以產生所述當前塊的幀內預測器；以及基於所述幀內預測器對所述視頻圖片中的所述當前塊進行編碼或解碼。
TW109113769A 2019-04-25 2020-04-24 編碼或解碼視頻資料的方法和裝置 TWI737274B (zh)

Applications Claiming Priority (8)

Application Number Priority Date Filing Date Title
US201962838392P 2019-04-25 2019-04-25
US62/838,392 2019-04-25
US201962851136P 2019-05-22 2019-05-22
US62/851,136 2019-05-22
US201962862202P 2019-06-17 2019-06-17
US62/862,202 2019-06-17
WOPCT/CN2020/086170 2020-04-22
PCT/CN2020/086170 WO2020216255A1 (en) 2019-04-25 2020-04-22 Method and apparatus of encoding or decoding with mode dependent intra smoothing filter in intra prediction

Publications (2)

Publication Number Publication Date
TW202044832A TW202044832A (zh) 2020-12-01
TWI737274B true TWI737274B (zh) 2021-08-21

Family

ID=72941537

Family Applications (1)

Application Number Title Priority Date Filing Date
TW109113769A TWI737274B (zh) 2019-04-25 2020-04-24 編碼或解碼視頻資料的方法和裝置

Country Status (5)

Country Link
US (1) US20220201286A1 (zh)
EP (1) EP3949424A4 (zh)
CN (1) CN113796086B (zh)
TW (1) TWI737274B (zh)
WO (1) WO2020216255A1 (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117061743A (zh) 2016-04-29 2023-11-14 世宗大学校产学协力团 用于对图像信号进行编码/解码的方法和设备
CN112040228B (zh) * 2018-09-16 2021-08-03 华为技术有限公司 用于预测的方法，装置和存储介质
US11671592B2 (en) * 2019-12-09 2023-06-06 Qualcomm Incorporated Position-dependent intra-prediction combination for angular intra-prediction modes for video coding
AU2021410074A1 (en) * 2020-12-22 2023-05-25 Qualcomm Incorporated Intra prediction using enhanced interpolation filters
WO2023183366A1 (en) * 2022-03-22 2023-09-28 Beijing Dajia Internet Information Technology Co., Ltd. Planar mode improvement for intra prediction
WO2024153198A1 (en) * 2023-01-18 2024-07-25 Mediatek Inc. Methods and apparatus of fractional block vectors in intra block copy and intra template matching for video coding

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130121401A1 (en) * 2011-11-16 2013-05-16 Alexander Zheludkov Video compression for high efficiency video coding
CN104041051A (zh) * 2011-06-30 2014-09-10 华为技术有限公司 一种简化的双边帧内平滑滤波器
TW201717626A (zh) * 2015-06-18 2017-05-16 高通公司 幀內預測及幀內模式寫碼
WO2018221817A1 (ko) * 2017-05-31 2018-12-06 엘지전자 주식회사 영상 코딩 시스템에서 인트라 예측에 따른 영상 디코딩 방법 및 장치
CN109314782A (zh) * 2016-05-24 2019-02-05 夏普株式会社 用于帧内预测编码的系统和方法

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120183041A1 (en) * 2011-01-14 2012-07-19 Sony Corporation Interpolation filter for intra prediction of hevc
KR20180008471A (ko) * 2015-05-12 2018-01-24 삼성전자주식회사 영상의 부호화, 복호화 방법 및 장치
US11463689B2 (en) * 2015-06-18 2022-10-04 Qualcomm Incorporated Intra prediction and intra mode coding
US10841593B2 (en) * 2015-06-18 2020-11-17 Qualcomm Incorporated Intra prediction and intra mode coding
US20160373742A1 (en) * 2015-06-18 2016-12-22 Qualcomm Incorporated Intra prediction and intra mode coding
US20160373782A1 (en) * 2015-06-18 2016-12-22 Qualcomm Incorporated Intra prediction and intra mode coding
US20170150156A1 (en) * 2015-11-25 2017-05-25 Qualcomm Incorporated Illumination compensation with non-square predictive blocks in video coding
WO2017184970A1 (en) * 2016-04-22 2017-10-26 Vid Scale, Inc. Prediction systems and methods for video coding based on filtering nearest neighboring pixels
US10419757B2 (en) * 2016-08-31 2019-09-17 Qualcomm Incorporated Cross-component filter
US10652575B2 (en) * 2016-09-15 2020-05-12 Qualcomm Incorporated Linear model chroma intra prediction for video coding
FI20175006A1 (en) * 2017-01-03 2019-02-15 Nokia Technologies Oy Video and image coding using wide-angle intra-prediction
CN116896627A (zh) * 2017-01-16 2023-10-17 世宗大学校产学协力团 影像解码/编码方法以及传送比特流的方法
US10791327B2 (en) * 2017-06-30 2020-09-29 Telefonaktiebolaget Lm Ericsson (Publ) Encoding and decoding a picture block
JP2021005741A (ja) * 2017-09-14 2021-01-14 シャープ株式会社 画像符号化装置及び画像復号装置
US11418816B2 (en) * 2017-09-20 2022-08-16 Vid Scale, Inc. Handling face discontinuities in 360-degree video coding
JP7043616B2 (ja) * 2017-10-24 2022-03-29 ウィルス インスティテュート オブ スタンダーズ アンド テクノロジー インコーポレイティド ビデオ信号処理方法及び装置
CN118301335A (zh) * 2017-11-16 2024-07-05 英迪股份有限公司 图像编码/解码方法以及存储比特流的记录介质
WO2019112394A1 (ko) * 2017-12-07 2019-06-13 한국전자통신연구원 채널들 간의 선택적인 정보 공유를 사용하는 부호화 및 복호화를 위한 방법 및 장치
CN117834831A (zh) * 2018-01-16 2024-04-05 Vid拓展公司 用于360度视频译码的自适应帧封装
GB2571313B (en) * 2018-02-23 2022-09-21 Canon Kk New sample sets and new down-sampling schemes for linear component sample prediction
CN111919446B (zh) * 2018-04-02 2022-10-28 夏普株式会社 解码视频图片中的当前视频块的方法
US10284860B1 (en) * 2018-07-02 2019-05-07 Tencent America LLC Method and apparatus for video coding
US10284844B1 (en) * 2018-07-02 2019-05-07 Tencent America LLC Method and apparatus for video coding
US10834393B2 (en) * 2018-09-10 2020-11-10 Tencent America LLC Intra interpolation filter for multi-line intra prediction
US10469845B1 (en) * 2018-09-21 2019-11-05 Tencent America, Llc Method and apparatus for intra mode coding

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104041051A (zh) * 2011-06-30 2014-09-10 华为技术有限公司 一种简化的双边帧内平滑滤波器
US20130121401A1 (en) * 2011-11-16 2013-05-16 Alexander Zheludkov Video compression for high efficiency video coding
TW201717626A (zh) * 2015-06-18 2017-05-16 高通公司 幀內預測及幀內模式寫碼
CN109314782A (zh) * 2016-05-24 2019-02-05 夏普株式会社 用于帧内预测编码的系统和方法
WO2018221817A1 (ko) * 2017-05-31 2018-12-06 엘지전자 주식회사 영상 코딩 시스템에서 인트라 예측에 따른 영상 디코딩 방법 및 장치

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
FILIPPOV Alexey et al. "JVET-M0392 Non-CE3: Extended Mode-Dependent Intra Smoothing" the Whole document Joint Video Experts Team (JVET) 0flTU-T SG I6 WP 3 and ISO/[EC JTC I/SC29/WG 11 13th Meeting: Marrakeeh, MA, 9-18 Jan. 2019, 18 January 2019 (2019/01/18), http://phenix.it-sudparis.eu/jvet/doc_end_user/current_document.php?id=5197
FILIPPOV Alexey et al. "JVET-M0392 Non-CE3: Extended Mode-Dependent Intra Smoothing" the Whole document Joint Video Experts Team (JVET) 0flTU-T SG I6 WP 3 and ISO/[EC JTC I/SC29/WG 11 13th Meeting: Marrakeeh, MA, 9-18 Jan. 2019, 18 January 2019 (2019/01/18), http://phenix.it-sudparis.eu/jvet/doc_end_user/current_document.php?id=5197 FILIPPOV, Alexey et al. "JVET-L0628 CE3: A combination of tests 3.1.2 and 3.1.4 for intra l-l8 reference sample interpolation filter" Joint Video Experts Team (JVET) oflTU-T SG I6 WP 3 and ISO/[EC JTC I/SC29/WG 11 12th Meeting: Macao, M0, 03-12 Oct. 2018, l2 October 2018 (2018/l0/l2), http://phenix.it-sudparis.eu/jvet/doc_end_user/current_document.php?id=4741 *
FILIPPOV, Alexey et al. "JVET-L0628 CE3: A combination of tests 3.1.2 and 3.1.4 for intra l-l8 reference sample interpolation filter" Joint Video Experts Team (JVET) oflTU-T SG I6 WP 3 and ISO/[EC JTC I/SC29/WG 11 12th Meeting: Macao, M0, 03-12 Oct. 2018, l2 October 2018 (2018/l0/l2), http://phenix.it-sudparis.eu/jvet/doc_end_user/current_document.php?id=4741 。

Also Published As

Publication number Publication date
EP3949424A1 (en) 2022-02-09
TW202044832A (zh) 2020-12-01
CN113796086B (zh) 2023-06-06
CN113796086A (zh) 2021-12-14
US20220201286A1 (en) 2022-06-23
WO2020216255A1 (en) 2020-10-29
EP3949424A4 (en) 2022-12-21

Similar Documents

Publication Publication Date Title
TWI737274B (zh) 編碼或解碼視頻資料的方法和裝置
TWI619380B (zh) 圖像和視訊處理中畫面內預測方法和裝置
CN108353171B (zh) 视频编码样本自适应滤波的方法和装置
CN113994670B (zh) 具有虚拟边界的跨分量自适应环路滤波的视频编解码方法及装置
TWI769516B (zh) 視訊編解碼中於畫面和次畫面邊界之適應性迴圈濾波方法和裝置
KR100906243B1 (ko) Ｒｇｂ 색 공간 신호의 영상 부호화 방법
TWI688266B (zh) 用於圖像和視訊編解碼的畫面內預測融合的方法和裝置
TWI719612B (zh) 圖像和視訊處理中產生mpm 以進行幀內預測的方法和裝置
JP2023090929A (ja) ビデオ復号化方法、ビデオ復号化装置及び記憶媒体
JP2023143946A (ja) クロマデブロックフィルタリングのための量子化パラメータオフセット
Chen et al. The adaptive loop filtering techniques in the HEVC standard
TW201328362A (zh) 影像編碼方法、裝置、影像解碼方法、裝置及該等之程式
CN113068030B (zh) 视频图像分量预测方法及装置、计算机存储介质
TWI821103B (zh) 在視訊編解碼系統中使用邊界匹配進行重疊塊運動補償的方法和裝置
TWI737429B (zh) 具有幀內預測模式映射之視訊資料的編碼或解碼方法和裝置
US20210185314A1 (en) Image decoding device, image coding device, image processing system, and program
WO2022140905A1 (zh) 预测方法、编码器、解码器以及存储介质
US11178397B2 (en) Method and apparatus of encoding or decoding using reference samples determined by predefined criteria
KR20120047821A (ko) 화면내 예측 부호화를 위한 디블록킹 필터링 방법
KR101475286B1 (ko) 인트라 예측 방법 및 장치, 그리고 영상 처리 장치
TWI853402B (zh) 視訊編解碼方法及相關裝置
AU2015255215A1 (en) Image processing apparatus and method
TW202344058A (zh) 視頻編解碼系統中解碼器導出幀內預測的改進方法和裝置
TW202408233A (zh) 暗示子塊變換編解碼的方法和裝置
TW202329688A (zh) 視訊編解碼方法及相關裝置