TWI650009B - 解碼器側圖框內模式導出的方法和裝置 - Google Patents

解碼器側圖框內模式導出的方法和裝置 Download PDF

Info

Publication number
TWI650009B
TWI650009B TW106121042A TW106121042A TWI650009B TW I650009 B TWI650009 B TW I650009B TW 106121042 A TW106121042 A TW 106121042A TW 106121042 A TW106121042 A TW 106121042A TW I650009 B TWI650009 B TW I650009B
Authority
TW
Taiwan
Prior art keywords
mode
intra
frame
current block
frame prediction
Prior art date
Application number
TW106121042A
Other languages
English (en)
Other versions
TW201804799A (zh
Inventor
莊子德
陳慶曄
黃毓文
夜静
杉 劉
許曉中
金廷宣
Original Assignee
聯發科技股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 聯發科技股份有限公司 filed Critical 聯發科技股份有限公司
Publication of TW201804799A publication Critical patent/TW201804799A/zh
Application granted granted Critical
Publication of TWI650009B publication Critical patent/TWI650009B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Abstract

視訊處理方法和裝置接收與當前區塊相關的輸入資料，通過執行解碼器側圖框內模式導出，確定當前區塊的實際圖框內預測模式，根據實際圖框內預測模式執行圖框內預測，當通過語法發信或解析的圖框內模式依賴工具處理該當前區塊時，使用偽模式替換該實際圖框內預測模式，並編碼或解碼該當前區塊。圖框內模式依賴工具參考的偽模式是預定模式或導出模式，其被參考作為使用解碼器側圖框內模式導出來編碼的區塊的圖框內預測模式，或者被圖框內模式依賴工具參考以作為所有的圖框內預測編碼區塊的圖框內預測模式。

Description

解碼器側圖框內模式導出的方法和裝置 【相關申請的交叉引用】
本發明要求於2016年6月24日提交的名稱為“Methods for template base intra prediction in image and video compression”、申請號為62/354,140的美國臨時案的優先權，以及2016年7月22日提交的名稱為“Methods for template based intra prediction in image and video compression”、申請號為62/365,403的美國臨時案的優先權。在此合併參考這些美國臨時申請案的申請標的。
本發明所揭露之實施例有關於編碼或解碼視訊資料的視訊資料處理方法和裝置，尤指有關於使用解碼器側圖框內模式導出的編碼或解碼視訊資料的視訊資料處理方法和裝置。
圖框內預測已被廣泛應用於各種圖像和視訊編碼標準中以處理初始圖像或週期性地插入用於隨機訪問或用於減輕誤差傳播的I-圖像(I-picture)或I-區塊(I-blocks)。圖框內預測被設計為利用圖像中的空間特徵，例如平滑區域，垂直線或邊緣，水平線或邊緣以及對角線或邊緣。圖框內預測對 於具有高運動或場景變化的區域也是很有用的。對於基於區塊(block-based)的視訊編碼標準，當前區塊的圖框內預測依賴於已經被處理的相鄰區塊中的像素。例如，如果圖像或圖像區域中的區塊從上到下並且從左到右逐列地依次處理，則當前區塊的上方的相鄰區塊和左側的相鄰區塊可以用於導出當前區塊的像素的圖框內預測器(intra predictor)。
高效率視訊編碼(HEVC)標準支持35種圖框內預測模式，包括33種角度模式，DC模式和平面模式。第1圖為在HEVC標準中公開的33個角度圖框內預測模式的預測方向，其中H表示水平模式，V表示垂直模式。通過包括圖框內平滑濾波，圖框內預測和圖框內梯度濾波(intra gradient filter)的三個步驟，產生通過HEVC標準中的圖框內預測來編碼或將被編碼的當前區塊的圖框內預測器。第2圖為用於導出當前區塊20的圖框內預測器的通過圖框內平滑濾波器濾波的參考樣本22的示例。在計算當前區塊20的圖框內預測器之前，將平滑操作應用於當前區塊20的參考樣本22。通過將圖框內平滑濾波應用於當前區塊20的左側相鄰行和上方相鄰列中的參考樣本22，平滑操作可減少由一些圖框內預測模式引入的不連續性。根據圖框內預測模式和當前區塊的尺寸來自適應地應用該平滑操作。
第二步驟是根據從35種圖框內預測模式中選擇的一種圖框內預測模式從相鄰參考樣本導出圖框內預測器。如果選擇了角度模式，則根據所選擇的角度模式的預測方向，通過從相鄰參考樣本外插(extrapolating)樣本來預測當前區塊中的每個樣本的值。在選擇的平面模式中，透過從相鄰區塊的邊 界樣本導出的水平和垂直平滑梯度(smooth gradient)假設出一個幅面(amplitude surface)，並用該幅面來計算當前區塊中每個樣本的值。如果選擇了DC模式，則當前區塊的每個樣本的值是參考樣本的平均值。
如果圖框內預測模式是DC，水平或垂直模式，則在第三步驟中將圖框內梯度濾波應用於當前區塊的左側邊界和上方邊界處的樣本。應用圖框內梯度濾波的概念是利用沿著圖框內預測方向的梯度信息來提高圖框內預測器的質量。當選擇的圖框內預測模式為DC模式時，當前區塊的第一列和第一行中的樣本被圖框內梯度濾波器濾波。當所選擇的圖框內預測模式是水平模式時，第一列中的樣本被圖框內梯度濾波器濾波，並且如果所選擇的圖框內預測模式是垂直模式，則第一行中的樣本被圖框內梯度濾波器濾波。
明確地發信(signal explicitly)所選擇的圖框內預測模式，或者從當前區塊的上方和左側相鄰區塊的先前解碼的模式中推斷所選擇的圖框內預測模式。兩個相鄰區塊的圖框內預測模式被包括在三個最可能模式(Most Probable Mode，MPM)的集合中。在兩個相鄰區塊的圖框內預測模式相同並且都是角度模式的情況下，或當只有一個相鄰區塊的圖框內預測模式可用並且是角度模式時，緊鄰該角度模式的兩個相鄰方向被包括在MPM集合中。在某些其他情況下，會將DC模式和平面模式用來填充MPM集合中的可用點(available spot)。發信第一MPM標誌，以指示所選擇的模式是否與MPM集合中的三個最可能模式中的一個相同，如果是，則發送另一個標誌以指 示選擇三個最可能模式中的哪一個；如果第一MPM標誌為假，則通過使用5位元固定長度碼字(5-bit fixed length codeword)的剩餘模式索引(remaining mode index)來明確地發信所選擇的模式。
第1圖所示的33個角度模式可以擴展到具有更多或更少角度模式的一般情況，其中每個角度模式可以由模式H+k或模式V+k來表示，其中H表示水平模式的方向，V表示垂直模式的方向，k=0，+-1，+-2，...+-K。第3圖中為用於圖框內預測的65個角度模式的示例，其中k的範圍為-16至16。模式H-16和模式V-16是相同的模式，該模式是指從左上角落到該當前區塊的中心的預測方向。第3圖為具有在HEVC的原始的33個角度模式之間的額外的32個角度模式的65個角度圖框內預測模式的示例。第3圖中的65個角度模式包括在區塊的左側邊界處的從底部到頂部的模式H+16到H-15，以及在區塊的上方邊界處從左到右的模式V-16到V+16。
在獲得當前區塊的圖框內預測器之後，通過變換和量化進一步處理在當前區塊和圖框內預測器之間計算的預測誤差，然後由熵編碼引擎進行編碼。在熵編碼引擎中，量化係數被分成複數個4×4係數組。根據當前區塊的圖框內預測模式和變換尺寸(transform size)，選擇不同係數組的編碼順序和當前區塊的一個係數組中係數的掃描順序。如果變換尺寸小於或等於8×8，則使用圖框內模式依賴(intra-mode-dependent)係數掃描以用於不同係數組的編碼順序和一個係數組中的係數的掃描順序；否則使用對角線掃描作(diagonal scan)為不 同係數組的編碼順序和一個係數組中的係數的掃描順序的默認掃描(default scan)。
在JVET-C0061(X.Xiu,etc.,“Decoder-side intra mode derivation”,in Joint Video Exploration Team(JVET)of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11 3rd Meeting：Geneva,CH,26 May-1 June,2016,Document：JVET-C0061)中公開了基於模板的(template based)解碼器側圖框內模式導出(Decoder side Intra Mode Derivation，DIMD)方法。ITU-T VCEG和ISO/IEC MPEG共同建立了JVET，以設置下一代視訊編碼技術。所提出的DIMD方法是基於模板的圖框內預測，其中在當前區塊周圍的相鄰重構樣本被用作模板，並將模板中的重構樣本與相同位置的預測樣本進行比較。使用模板參考像素來產生預測樣本，模板參考像素是模板周圍的相鄰重構像素。第4圖為根據解碼器側圖框內模式導出(DIMD)方法用於導出當前區塊的圖框內預測模式的模板，其中NxN當前區塊40的模板42具有兩個分段(segment)，一個位於當前區塊40的上方，其尺寸為N×L，以及另一個位於當前區塊40的左側，其尺寸為L×N。L可以根據當前區塊的區塊尺寸來確定。模板參考像素44是指來自模板42的上方和左側的一組相鄰樣本。當前區塊40上方的模板42的上方的模板參考像素44的寬度為2(L+N)+1，以及當前區塊40左側的模板42的左側的模板參考像素44的高度也是2(L+N)+1。對於每個可能的圖框內預測模式，編碼器和解碼器嘗試為模板42中的位置以相似的方式來產生預測樣本。對於每個可能的圖框內預測模式，編碼器和解碼器計算 模板42的重構樣本與其從模板參考像素44獲得的預測樣本之間的絕對差(absolute difference)，並且選擇具有最小絕對差的圖框內預測模式作為最佳圖框內預測模式。當當前區塊的區塊尺寸為2Nx2N時，在JVET-C0061中公開的DIMD方法使用最佳圖框內預測模式作為用於對當前區塊進行編碼的實際圖框內預測模式；當當前區塊的區塊尺寸為N×N時，將通過DIMD方法導出的最佳圖框內預測模式放入MPM集合中，並且可以移除MPM集合中的冗餘MPM。
基於HEVC參考軟體(HEVC’s reference software，HM)，在JVET中構建了稱為聯合開發模型(Joint Exploration Model，JEM)的參考軟體，其包括新的視訊編碼工具，例如67個圖框內預測模式，四叉樹二叉樹(Quad-Tree-Binary-Tree，QTBT)結構，增強型多變換(Enhanced Multiple Transform，EMT)和不可分離的次級變換(Non-Separable Second Transform，NSST)。在JEM中，67個圖框內預測模式包括第3圖所示的65個角度模式，DC模式和平面模式，用來代替HEVC中的35個圖框內預測模式。在JVET-C0061中公開的DIMD方法的模板匹配搜索中，可用的圖框內預測模式從67個模式增加到131個模式，以提高圖框內預測的精度。首先將從DIMD編碼區塊的131個模式中選擇的圖框內預測模式映射回67個模式之一，並將映射模式存儲到圖框內模式緩衝器中，以用於MPM導出，係數掃描，EMT，NSST和剩餘差分脈衝碼調製(Residual Differential Pulse-Code Modulation，RDPCM)。由DIMD方法導出的圖框內預測模式被存儲到新緩衝器中，以用於圖框內預 測。在圖框內預測中應用的參考樣本的內插濾波從1/32像素增加到1/64像素。
在JEM中實現的QTBT結構將四叉樹分區(quad-trree partitioning)方法與二叉樹分區方法組合，其平衡了兩種分區方法的編碼效率和編碼複雜度。在第5A圖中為示例性的QTBT結構，其中首先通過四叉樹分區方法將大區塊分區，然後通過二叉樹分區方法進行分區。第5A圖為根據QTBT分區方法的區塊分區結構的示例，第5B圖為第5A圖所示的QTBT區塊分區結構的編碼樹圖。第5A圖和5B中的實線表示四叉樹分割，而虛線表示二叉樹分割。在二叉樹結構的每個分割(即，非葉)節點中，一個標誌用於指示使用哪種分割類型(splitting type)(對稱水平分割或對稱垂直分割)，0表示水平分割，1表示垂直分割。第5A圖中的QTBT結構將大區塊分割成複數個較小的區塊，並且這些較小的區塊可以通過預測和變換編碼進行處理而不進一步分割。在一個示例中，第5A圖中的大區塊是尺寸為128×128的編碼樹單元(CTU)，最小允許的四叉樹葉節點尺寸為16×16，最大允許的二叉樹根節點尺寸為64×64，最小允許二叉樹葉節點寬度或高度為4，最小允許二叉樹深度為4。在此示例中，葉四叉樹區塊(leaf quad-tree block)的尺寸可以是16x16到128x128，如果葉四叉樹區塊是128x128，它不能被二叉樹結構進一步拆分，因為尺寸超過允許的最大二叉樹根節點尺寸64x64。葉四叉樹區塊被用作二叉樹深度等於0的根二叉樹區塊。當二叉樹深度達到4時，隱含非分割(non-splitting)；當二叉樹節點的寬度等於4時，隱含非 垂直分割(non-vertical splitting)；並且當二叉樹節點的高度等於4時，隱含非水平分割(non-horizontal splitting)。對於在I切片中編碼的CTU，兩個色度編碼樹區塊(CTB)的QTBT區塊分區結構可以與對應的亮度CTB的QTBT區塊分區結構不同。對於在P或B切片中編碼的CTU，相同的QTBT區塊分區結構可以應用於色度CTB和亮度CTB。
視訊編碼系統中處理視訊資料的方法和裝置包括：接收與視訊資料的當前區塊相關的輸入資料，通過執行解碼器側圖框內模式導出，確定當前區塊的實際圖框內預測模式，基於該實際圖框內預測模式對該當前區塊執行圖框內預測，並編碼或解碼當前區塊。解碼器側圖框內模式導出是圖框內模式導出方法，其在不參考該當前區塊的原始樣本的情況下確定該當前區塊的該實際圖框內預測模式。因此，解碼器側模式導出可以在編碼器和解碼器中實現，因此編碼器和解碼器可以為當前區塊導出相同的實際圖框內預測模式，而不用發信實際圖框內預測模式的索引。解碼器側圖框內模式導出減少了圖框內模式發信所需的資料位元，因為圖框內預測模式沒有被明確地發信。解碼器側圖框內模式導出的示例是基於模板的圖框內模式預測。基於模板的圖框內模式預測根據重構樣本和當前區塊周圍的模板的預測樣本之間的差異，選擇一個模式作為實際圖框內預測模式。在重構當前區塊的相鄰樣本之後解碼器才導出圖框內預測模式，因此圖框內預測模式在解析階段可能不可用。為瞭解決由圖框內模式依賴工具和解碼器側圖框內模式 導出引起的解析問題，當圖框內模式依賴工具參考當前區塊的圖框內預測模式時，使用偽模式替換由解碼器側圖框內模式導出來的實際圖框內預測模式，例如，偽模式用於導出使用解碼器側圖框內模式導出編碼的當前區塊的係數掃描順序和符號隱藏中的至少一個。
在一個實施例中，偽模式是諸如DC模式，平面模式，垂直模式，水平模式或對角線模式之類的預定模式。在另一個實施例中，偽模式是根據預定方法確定的導出模式，例如，從一個或複數個相鄰圖框內預測模式導出的導出模式，或者導出模式被設置為當前區塊導出的最可能模式集合中的最可能模式候選。
具有解碼器側圖框內模式導出的視訊處理方法的實施例，通過在視訊位元流中發信的明確的標誌來確定當前區塊是使用解碼器側圖框內模式導出還是非解碼器側圖框內模式導出來編碼。非解碼器側圖框內模式導出是圖框內預測方法，其使用當前區塊的原始樣本來確定當前區塊的實際圖框內預測模式。編碼器使用非解碼器側圖框內模式來確定圖框內預測模式，然後將圖框內預測模式發信到解碼器。非解碼器側圖框內模式導出的示例是HEVC或H.264/AVC標準中採用的常規圖框內預測方法。
參考偽模式以作為當前區塊的圖框內預測模式的圖框內模式依賴工具，可以是圖框內模式依賴係數掃描，剩餘差分脈衝碼調製(RDPCM)，不可分離的次級變換(NSST)，增強型多變換(EMT)，參考樣本自適應濾波器(RSAF)和最 可能模式(MPM)導出中的一個或其組合。例如，根據一實施例，當使用變換跳過模式和RDPCM時，為使用解碼器側圖框內模式導出的當前區塊禁用符號隱藏。在另一個實施例中，在當前區塊的變換或逆變換中參考偽模式，並且使用兩個變換NSST來對當前區塊進行編碼或解碼。在又一個實施例中，參考偽模式用於導出係數掃描順序或符號隱藏，但參考由解碼器側圖框內模式導出來導出的實際圖框內預測模式以用於對當前區塊執行變換，EMT，NSST或RSAF。
在一些實施例中，當使用解碼器側圖框內模式導出對當前區塊進行編碼時，參考偽模式來導出當前區塊的相鄰區塊的MPM集合。在另一個實施例中，當使用解碼器側圖框內模式導出對當前區塊進行編碼時，當前區塊的圖框內預測模式被標記為不可用於導出當前區塊的相鄰區塊的MPM集合。
解析階段中的一個或複數個編碼工具參考偽模式以及在重構階段中一個或複數個編碼工具使用第二偽模式的實施例的變形，其中重構階段中的編碼工具包括EMT，NSST和RSAF。偽模式和第二偽模式可設置為相同模式或不同模式。
一些實施例中，通過在解析階段中使用偽模式替換圖框內預測模式，將使用解碼器側圖框內模式導出編碼的區塊和使用非解碼器側圖框內模式編碼的區塊的解析進行統一。對於使用解碼器側圖框內模式導出和非解碼器側圖框內模式導出編碼的複數個區塊，圖框內模式依賴編碼工具參考偽模式。在一個實施例中，只有在解碼器側圖框內模式導出被啟用時，使用解碼器側圖框內模式導出和非解碼器側圖框內模式導 出編碼的複數個區塊才參考偽模式，例如，在CTU，切片，圖像或序列級啟用解碼器側圖框內模式導出；否則如果解碼器側圖框內模式導出被禁用，則參考由非解碼器側圖框內模式導出來導出的實際圖框內預測模式。
實施例的一變型通過將預定的圖框內預測模式索引分配給使用解碼器側圖框內模式導出編碼的當前區塊，來將解碼器側圖框內模式導出視為一種特定模式，以及應用相同的圖框內預測模式，發信至使用解碼器側圖框內模式導出和非解碼器側圖框內模式導出編碼的複數個區塊。例如，為使用解碼器側圖框內模式導出和非解碼器側圖框內模式導出編碼的區塊發信的圖框內預測模式，發送MPM標誌，隨後發送MPM索引或剩餘模式索引。
在一些實施例中，不同編碼樹單元(CTU)或不同CTU列中的區塊參考由解碼器側圖框內模式導出來導出的實際圖框內預測模式，而相同CTU或CTU列中的作為當前區塊的區塊參考偽模式。在處理當前區塊時重構上方CTU或上方CTU列中的區塊，因此上方CTU或上方CTU列中的圖框內編碼區塊的實際圖框內預測模式以準備好被參考。
根據本發明的一些實施例，視訊處理方法和裝置可以應用解碼器側圖框內模式導出來優化粗粒度圖框內預測模式。解碼器側圖框內模式導出的示例是基於模板的圖框內模式預測。視訊處理方法的實施例接收與當前區塊相關的輸入資料，確定當前區塊的粗粒度圖框內預測模式，應用解碼器側圖框內模式導出來優化粗粒度圖框內預測模式，以產生優化模 式，基於優化模式對當前區塊執行圖框內預測，並編碼或解碼當前區塊。在視訊位元流中明確地發信粗粒度圖框內預測模式。解碼器側圖框內模式導出計算與粗粒度圖框內預測模式相關的圖框內預測模式，並且在評估模式中選擇一個圖框內預測模式作為優化模式。解碼器側圖框內模式導出在不參考當前區塊的原始樣本的情況下選擇當前區塊的優化模式。當使用基於模板的圖框內模式預測來選擇優化模式時，針對在評估中的每個圖框內預測模式，計算重構樣本和當前區塊周圍的模板的預測樣本之間的差異，並且選擇具有最小差異的優化模式。
在一些實施例中，使用最可能模式(MPM)標誌(隨後是MPM索引或剩餘模式索引)，來明確地發信粗粒度圖框內預測模式。根據一實施例，解碼器側圖框內模式導出會根據在視訊位元流中發信的優化標記來自適應地應用。如果優化標記表示優化，則應用解碼器側圖框內預測模式來優化粗粒度圖框內預測，並且優化模式被用於執行圖框內預測，否則，如果優化標記指示不優化，則使用粗粒度圖框內預測模式來執行圖框內預測。當粗粒度圖框內預測模式是角度模式時，自適應解碼器側圖框內模式導出的一個實施例僅發信優化標誌。當粗粒度圖框內預測模式是角度模式而不用發信優化標誌時，另一實施例總是應用解碼器側圖框內模式導出來優化粗粒度圖框內預測模式。
實施例的一些變型固定與正在評估的粗粒度圖框內預測模式相關的圖框內預測模式的數量；一些其他實施例通過在切片級，圖像級或序列級中發信語法元素，來自適應地確 定評估中的圖框內預測模式的數量。
根據本發明的實施例，圖框內模式依賴工具中的至少一種，例如MPM導出，係數掃描，EMT，NSST和符號隱藏，粗粒度圖框內預測模式被參考作為當前區塊的圖框內預測模式。
在一些實施例中，僅當當前區塊的區塊尺寸滿足預設要求時，才應用解碼器側圖框內模式導出來優化粗粒度圖框內預測模式。例如，當區塊尺寸大於預定尺寸時，僅應用基於模板的圖框內模式預測來優化粗粒度圖框內預測模式。
根據一個實施例，用於編碼當前區塊的可用模式可以被分為複數個區域，其中粗粒度圖框內預測模式表示當前區塊的所選擇的區域，並且通過評估所選擇的區域中的所有模式，應用解碼器側圖框內模式導出來優化粗粒度圖框內預測。
本公開的一些方面還提供了一種非暫態計算機可讀媒體，其存儲用於使裝置的處理電路執行與解碼器側圖框內模式導出的視訊編碼處理的程式指令。視訊編碼處理的實施例在處理由圖框內模式依賴工具使用解碼器側圖框內模式導出編碼的當前區塊時，參考偽模式。視訊編碼處理的另一個實施例使用解碼器側圖框內模式導出來優化明確發信的粗粒度圖框內預測模式。通過對具體實施方案的以下描述的參閱，本發明的其它方面和特徵對於所屬技術領域中具有習知技術者將變得顯而易見。
20、40‧‧‧當前區塊
22‧‧‧參考樣本
42、62‧‧‧模板
44、64‧‧‧參考像素
60‧‧‧DIMD編碼區塊
S702~S714‧‧‧步驟
S802~S810‧‧‧步驟
222、822_1-822_N‧‧‧電源開關
9‧‧‧語法元素
1000‧‧‧編碼器
910、1012‧‧‧圖框內預測
912、1014‧‧‧圖框間預測
914、1016‧‧‧開關
916‧‧‧加法器
918‧‧‧變換
920‧‧‧量化
922、1020‧‧‧逆量化
924、1022‧‧‧逆變換
926、1018‧‧‧重構
928、1024‧‧‧環路處理濾波
932、1028‧‧‧參考圖像緩衝器
934‧‧‧熵編碼器
1000‧‧‧解碼器
1010‧‧‧熵解碼器
將參考以下附圖詳細描述作為示例提出的本公開的各種實施例，其中：
第1圖為在HVEC標準中支持的33個角度圖框內預測模式。
第2圖為用於使用圖框內預測編碼的當前區塊的圖框內平滑濾波器中的參考樣本。
第3圖為包括HEVC的原始33個角度圖框內預測模式和32個新添加的方向的65個角度圖框內預測模式的示例。
第4圖為用於產生根據解碼器側圖框內模式導出(DIMD)方法編碼的當前區塊周圍的模板的預測樣本的模板參考像素的示例。
第5A圖為根據四叉樹二叉樹(QTBT)分區方法的示例性區塊分區結構。
第5B圖為對應於第5A圖的區塊分區結構的編碼樹結構。
第6圖為根據本發明實施例的在基於模板的圖框內模式預測方法中編碼的當前區塊周圍的截斷模板(truncated template)。
第7圖為根據本發明的實施例的示例性視訊資料處理方法的流程圖。
第8圖為根據本發明的另一實施例的示例性視訊資料處理方法的流程圖。
第9圖為根據本發明的實施例的包含視訊資料處理方法的視訊編碼器的示例性系統框圖。
第10圖為根據本發明的實施例的包含視訊資料處理方法的視訊解碼器的示例性系統框圖。
應當理解的是，本發明的組件，如本文附圖中的一般描述和示例，可以以各種各樣的不同配置進行佈置和設計。因此，如附圖所示，本發明的系統和方法的實施例的以下更詳細的描述，並不旨在限制如所要求保護的本發明的範圍，而是僅代表本發明的選定實施例。
在本說明書中，“實施例”，“一些實施例”或類似語言的參考意味著結合實施例描述的特定特徵，結構或特性可以包括在本發明的至少一個實施例中。因此，貫穿本說明書的各個地方的短語“在一個實施例中”或“在一些實施例中”的出現不一定全部指代相同的實施例，這些實施例可以單獨實現或結合一個或複數個其他實施例來實現。此外，所描述的特徵，結構或特徵可以以任何合適的方式組合在一個或複數個實施例中。然而，所屬領域中具有習知技術者將認識到，可以在沒有一個或複數個具體細節，或使用其他方法，組件等的情況下來實踐本發明。在其他情況下，未示出或者詳細描述已知的結構或操作，以避免模糊本發明的某些方面。
解碼器側圖框內模式導出(DIMD)方法減少了圖框內預測模式發信(signaling)的開銷，取代明確地(explicitly)發信當前區塊的圖框內預測模式，編碼器和解碼器都能夠通過使用相同的導出處理以從當前區塊的相鄰重構樣本導出相同的圖框內預測模式。解碼器側圖框內模式導出是一種圖框內模式導出方法，其在不參考當前區塊的原始樣本的情況下，確定當前區塊的圖框內預測模式。DIMD方法的一示例為基於模板 的圖框內模式預測，其通過模板匹配來從複數個圖框內預測模式中的選擇出一個圖框內預測模式。通過DIMD方法可選擇出具有重構樣本與當前區塊周圍的模板的預測樣本之間的最小差異的圖框內預測模式。當對應的CU級(CU-level)DIMD標誌(flag)被打開時，當當前區塊是2Nx2N編碼單元(CU)時，由DIMD方法導出的圖框內預測模式用作圖框內預測模式。對於N×N區塊，通過DIMD方法導出的圖框內預測模式用於替換現有MPM集合中的一個最可能模式(MPM)。為了對DIMD編碼區塊進行解碼，只能在對應的相鄰樣本被重構之後，再確定圖框內預測模式。然而，在解碼處理的解析階段，解析一些語法元素和處理視訊資料可能取決於當前區塊或相鄰區塊的圖框內預測模式。例如，根據係數掃描順序對係數的重要標誌(significant flag)進行解碼，其中根據區塊尺寸將不同的係數掃描順序(包括垂直掃描，水平掃描和對角線掃描)應用於不同的圖框內預測模式。不同的係數掃描順序使用不同的上下文來解析重要標誌。在HEVC標準中，當圖框內預測模式在模式6至14內時，使用垂直掃描來掃描4x4和8x8變換單元(Transform Unit，TU)，當圖框內預測模式在模式22到30內時，使用水平掃描來掃描4x4和8x8變換單元，否則在係數掃描中使用對角線掃描。在對DIMD編碼區塊中的當前TU的係數進行解析之前，需要對DIMD編碼區塊的對應的相鄰樣本進行重構，以允許解碼器導出圖框內預測模式。
在HEVC-RExt中採用的殘餘差分脈衝編碼調製(RDPCM)根據當前TU的圖框內預測模式確定是否應用符號 隱藏(sign hiding)。有三種RDPCM模式：RDPCM_OFF模式，RDPCM_HOR模式和RDPCM_VER模式。RDPCM是一個序列級(sequence level)啟用工具，當選擇RDPCM_HOR模式或RDPCM_VER模式並應用變換跳過(transform skip)模式時，禁用符號隱藏。用於圖框間預測編碼的CU(inter prediction coded CU)的RDPCM模式被明確地發信，而用於圖框內預測編碼的CU的RDPCM模式被隱含地推斷。對於具有水平圖框內預測模式的圖框內預測編碼的CU可推斷出RDPCM_HOR模式，對於具有垂直圖框內預測模式的圖框內預測編碼的CU可推斷出RDPCM_VER模式，並且對於具有其他圖框內預測模式的圖框內預測編碼的CU可推斷出RDPCM_OFF模式。
由DIMD方法導出的當前預測單元(Prediction Unit，PU)的圖框內預測模式也影響相鄰區塊的MPM導出。由於當前區塊的解析取決於當前區塊的相鄰樣本的重構，因此當啟用DIMD時，解析和重構不能分成兩個階段。除了由DIMD方法引起的解析問題之外，一些解碼處理也取決於當前PU或當前TU的圖框內預測模式。例如，對於不同的圖框內預測模式，增強型多變換(EMT)，不可分離的次級變換(NSST)和參考樣本自適應濾波(RSAF)都具有不同的解碼行為。
在EMT中，對於每個圖框內預測模式，可以選擇兩個不同的變換以用於行變換和列變換。發信兩個標誌以選擇行變換和列變換。對於圖框內預測編碼的TU，NSST的變換解析是圖框內預測模式依賴的，例如，對於以DC或平面模式編碼的TU應用兩個變換，並且對以角度模式編碼的TU應用三個 變換。在另一個例子中，DC和平面模式有三個候選變換，其他模式有四個候選變換。截斷的一元代碼(truncated unary code)用於發信變換索引(transform indices)，多達2個二進制位元(2bins)用於發信直流或平面模式，多達3個二進制用於發信任何角度模式。
在解析階段中用偽模式(pseudo mode)替換
在本發明的一些實施例中，當根據由解碼器側圖框內模式導出(DIMD)來導出的圖框內預測模式對當前區塊進行編碼時，在解析階段中參考偽模式。DIMD確定當前區塊的圖框內預測模式，而不使用當前區塊的原始樣本。編碼器和解碼器根據相同的導出過程導出圖框內預測模式，因此可以省略將由DIMD導出的圖框內預測模式從編碼器發信到解碼器。在一個示例中，DIMD可以是基於模板的圖框內模式預測。基於模板的圖框內模式預測根據重構樣本和當前區塊周圍的預測樣本之間的差異(difference)來確定一個圖框內預測模式。將具有最小差異的圖框內預測模式選擇為用於對當前區塊進行編碼的實際圖框內預測模式。當前區塊可以是編碼單元(CU)，預測單元(PU)或變換單元(TU)。該偽模式可以在解析階段中由當前區塊的相鄰區塊參考，或者可以被一個或複數個圖框內模式依賴工具(intra mode dependent tool)參考。偽模式是編碼器和解碼器都已知的預定模式，或編碼器和解碼器已知的預定方法導出的導出模式(derived mode)。用於替代在解析階段由DIMD導出的實際圖框內預測模式的偽模式的一些示例是DC模式，平面模式，垂直模式，水平模式，對角線 模式和導出模式。導出模式的一個實施例是從一個或複數個相鄰圖框內預測模式導出。導出模式的另一實施例是為當前區塊導出的MPM集合中的最可能模式(MPM)候選，例如MPM集合中的第一MPM候選。可以通過將由DIMD編碼的區塊的圖框內預測模式設置為偽模式來解決解析問題，因為該偽模式獨立於由DIMD導出的圖框內預測模式。在解析階段，當處理由DIMD編碼的區塊時，偽模式可用於確定係數掃描順序，RDPCM方向，符號隱藏和相鄰區塊的MPM導出中的一個或複數個。
以下示例假定用於替換由DIMD導出的實際圖框內預測模式的偽模式是DC模式。使用偽模式導出使用DIMD方法編碼的當前TU的係數掃描順序的示例總是對DIMD編碼區塊使用對角線掃描。在該示例中，DIMD方法可以是基於模板的圖框內模式預測。在另一示例中，如果使用DIMD對當前區塊的相鄰區塊進行編碼，則將DC模式插入到當前區塊的MPM集合中。在另一個示例中，當RDPCM在當前序列中啟用時，當使用變換跳過模式時，當前序列中DIMD編碼區塊的符號隱藏被禁用。在另一示例中，當當前區塊被DIMD編碼時，解碼器總是使用兩個變換NSST。根據本實施例，在解析階段中，所有DIMD編碼區塊使用DC模式作為偽模式，而對於所有非DIMD(non-DIMD)圖框內編碼區塊則使用實際圖框內預測模式以確定係數掃描順序，RDPCM方向，符號隱藏和MPM集合導出。
在由DIMD為某些區塊(例如N×N分區)導出的實 際圖框內預測模式被插入到MPM集合中的第一候選中的情況下，在解析階段中不會發信指示DIMD的使用。為瞭解決由DIMD對這些區塊造成的解析問題，根據一實施例，對於這些區塊，例如NxN PU和N×N CU，禁用基於模板的圖框內預測。在另一個實施例中，對於每個N×N PU或N×N CU，就像對於2Nx2N PU或2Nx2N CU一樣，發信明確的DIMD標誌(explicit DIMD flag)，指示是否使用DIMD。
本發明的實施例中，在處理使用DIMD編碼的當前區塊時，在解析階段中使用偽模式替代由DIMD導出的實際圖框內預測模式，然而，由DIMD導出的實際圖框內預測模式用於一個或複數個的其他編碼工具，如圖框內預測，變換，EMT，NSST和RSAF。通過非DIMD導出的實際圖框內預測模式用於圖框內預測，變換，EMT，NSST和RSAF以及在處理使用非DIMD編碼的區塊時的解析階段中。非DIMD要求當前區塊的原始樣本以導出當前區塊的圖框內預測模式。非DIMD的示例是在HEVC標准或H.264/AVC標準中定義的常規圖框內預測方法。
當使用DIMD對參考區塊進行編碼時，用偽模式替換
本發明的一些實施例，在參考DIMD編碼區塊時以偽模式替代實際圖框內預測模式，其中偽模式可以被設置為DC模式，平面模式，垂直模式，水平模式，對角線模式或導出模式。導出模式可以從一個或複數個相鄰圖框內預測模式或MPM集合中的一個MPM候選中導出，例如MPM集合中的第一候選。在解析階段，具有使用DIMD編碼的相鄰區塊的當前區 塊參考偽模式，並且如果當前區塊也使用DIMD進行編碼，則當前區塊的圖框內預測模式也被假定為解析階段中的偽模式。由DIMD導出的實際圖框內預測模式用於預測圖框內預測中的當前區塊以產生圖框內預測器。
在另一個實施例中，當使用DIMD方法對當前圖框內編碼區塊的相鄰區塊進行編碼時，該相鄰DIMD編碼區塊的圖框內預測模式被標記為不可用，並且不包括在當前圖框內編碼區塊的MPM集合中。DIMD方法可以是基於模板的圖框內模式預測。例如，如果當前圖框內編碼區塊的所有相鄰區塊的圖框內預測模式都被標記為不可用，則當前圖框內編碼區塊的MPM集合由預定的圖框內預測模式組成，例如如果MPM集中的MPM的固定數量為3，則為{DC，平面，垂直}，或如果MPM集中的MPM的固定數量為5，則為{DC，平面，垂直，水平，對角線)。
對於諸如N×N分區的一些區塊，由DIMD導出的圖框內預測模式插入到MPM集合的第一候選中。為瞭解決解析問題，對於這些區塊，DIMD被禁用，或者為這些區塊中的每一個發信明確的標誌(explicit flag)以指示DIMD的使用，並且使用DIMD編碼的當前區塊的相鄰區塊參考偽模式。
在重構階段中用偽模式替換
在一個實施例中，如果當前區塊被DIMD編碼，則在重構階段中將偽模式用作解碼圖框內預測模式。偽模式的示例包括DC模式，平面模式，垂直模式，水平模式，對角線模式或導出模式，其中導出模式可以是MPM集合中的一個 MPM，例如MPM集合中的第一候選。如果當前區塊是DIMD編碼區塊，則在當前區塊的重構階段中應用的一個或複數個圖框內模式依賴工具使用偽模式，而不是由DIMD導出的實際圖框內預測模式。圖框內模式依賴工具包括變換，增強型多變換(EMT)，不可分離的次級變換(NSST)和參考樣本自適應濾波(RSAF)。根據一實施例，在解析階段和DIMD編碼區塊的重構階段中可以使用相同的偽模式。根據另一實施例，在解析階段中和至少一個重構階段中的圖框內模式依賴工具可以使用不同的偽模式。由DIMD導出的實際圖框內預測模式用於產生在圖框內預測中的當前區塊的圖框內預測器。
用於圖框內模式依賴編碼工具的統一解析
在JEM中提出了一些圖框內模式依賴編碼工具，如EMT和NSST。每個圖框內編碼區塊都需要兩個標誌，因此EMT沒有解析問題。然而，對於NSST，不同的圖框內預測模式需要解析不同數量的二進制位元，這就導致了解析問題。可以進行兩種修改來解決由圖框內模式依賴編碼工具引起的解析問題。首先，在所有區塊的係數編碼中使用預定係數掃描順序，其中預定係數掃描順序是對角線掃描，垂直掃描，水平掃描或鋸齒形掃描(zig-zag scan)。第二，統一NSST的碼字長度。當解碼EMT和NSST語法元素時，對於各種圖框內預測模式應用相同的語法和上下文構造(context formation)。例如，對於EMT的所有圖框內模式選擇兩個變換，並且所有圖框內預測模式具有兩個或三個NSST候選變換。在另一示例中，所有圖框內預測模式具有四個NSST候選變換。對於RDPCM，符號隱藏始終 應用或始終不應用。例如，當使用變換跳過模式並且在當前序列中啟用RDPCM時，對當前序列的圖框內預測編碼區塊禁用符號隱藏。通過對所有圖框內模式依賴編碼工具統一解析處理，解碼器不需要確定解析階段中所有圖框內編碼區塊的實際圖框內預測模式。相同的偽模式用於替代由DIMD和非DIMD導出的實際圖框內預測模式。由語法發信或解析的所有圖框內預測編碼區塊的一個或複數個圖框內模式依賴工具參考偽模式。圖框內模式依賴工具包括圖框內模式依賴係數掃描，MPM導出，RDPCM，NSST，EMT和RSAF。由DIMD或非DIMD導出的實際圖框內預測模式用於產生圖框內預測器。DIMD在不參考原始樣本的情況下確定實際圖框內預測模式，而非DIMD通過參考原始樣本來確定實際圖框內預測模式。解碼器使用與編碼器相同的導出處理來確定由DIMD導出的實際圖框內預測模式，而解碼器根據視訊位元流中發信的一個或複數個語法元素來確定由非DIMD導出的實際圖框內預測模式。
在實施例的變型中，可以在編碼器側進行熵編碼之前重新排列變換係數，並且在解碼器側進行解析之後重新排列回來。在本實施例中，對應於偽模式的預定係數掃描順序用於解析階段中的每個圖框內預測模式。在編碼器側，變換係數在變換和量化後，從一個係數掃描順序重新排列成另一個係數掃描順序，例如從垂直掃描或水平掃描到對角線掃描。編碼器通過原始係數掃描順序(例如垂直掃描或水平掃描)讀出當前TU的變換係數，並通過預定的係數掃描順序(例如對角線掃描)存儲到另一係數緩衝器中。用於變換係數重新排列的係數緩衝 器，用於具有對角線掃描的熵編碼。在解碼器側，對應於偽模式的預定係數掃描順序用於解析變換係數。在逆量化和逆變換之前，解析的變換係數從預定係數掃描順序重新排列回到原始係數掃描順序。
在一個實施例中，僅當啟用DIMD時，才使用上述用於圖框內模式依賴工具的統一解析；當禁用DIMD時，原始解析和圖框內模式依賴工具參考實際圖框內預測模式。DIMD方法可以是基於模板的圖框內模式預測，通過模板匹配確定圖框內預測模式。例如，當啟用DIMD時，使用偽模式來導出在DIMD和非DIMD中編碼的區塊的係數掃描順序，符號隱藏和RDPCM方向中的一個或複數個，在另一示例中，當啟用DIMD時，四個NSST候選變換總是用於所有的圖框內預測編碼區塊。當禁用DIMD時，圖框內模式依賴工具(例如，圖框內模式依賴係數掃描，MPM導出和RDPCM)參考由非DIMD導出的實際圖框內預測模式。可以在編碼樹單元(CTU)，切片，圖片或序列級中啟用DIMD。
DIMD模式被視為圖框內預測模式之一
在一些實施例中，由DIMD導出的圖框內預測模式被視為圖框內預測模式之一。DIMD方法可以是基於模板的圖框內模式預測，其根據重構樣本和模板的預測樣本之間的差異來確定圖框內預測模式。使用DIMD編碼的區塊被稱為在DIMD模式中編碼的區塊。DIMD模式被分配有預定的圖框內預測模式索引，例如，圖框內預測模式索引0或35表示DIMD模式，而每個其他圖框內預測模式索引表示角度模式，DC模式或平面 模式之一。相同的圖框內預測模式信令被應用於所有DIMD編碼區塊和非DIMD編碼區塊，例如通過使用跟隨MPM索引或剩餘模式索引的MPM標誌。通過將DIMD模式作為一個圖框內預測模式，DIMD模式就像角度模式，DC模式和平面模式之一；並且可以將DIMD模式添加到MPM集合，其可由DIMD編碼區塊的相鄰區塊參考。當區塊選擇DIMD模式時，使用一個預定的係數掃描，例如，選擇對角線掃描來處理DIMD編碼區塊。DIMD模式可以對應於替代的預定係數掃描順序，例如鋸齒形掃描，垂直掃描或水平掃描。當將圖框內模式依賴變換或圖框內模式依賴編碼工具應用於DIMD編碼區塊時，使用偽模式的變換或偽模式的編碼處理。例如，偽模式是DC模式。根據一個實施例，DIMD模式總是插入MPM集合中，並且如果DIMD模式不在MPM集合中，則MPM集合中的MPM候選中的一個可被DIMD模式替換。例如，DIMD模式總是放置在MPM集合中的固定位置(例如位置0或1)上，或將DIMD模式放入不大於預定位置的MPM集合中，例如DIMD模式的MPM索引為小於N。
具有DIMD優化(refinement)的粗粒度圖框內預測模式(Coarse grain intra prediction mode)
首先確定當前區塊的粗粒度圖框內預測模式，並且明確地發信對應的模式索引。模式索引可以根據常規的圖框內預測模式發信方法來發信，例如使用MPM標誌，隨後是MPM索引或剩餘模式索引。應用DIMD方法來優化(refine)粗粒度預測模式。DIMD方法在不參考當前區塊的原始樣本的情況下，對當前區塊的粗粒度圖框內預測模式進行優化。例如， DIMD方法可以是基於模板的圖框內模式預測。在一個實施例中，發信DIMD優化標誌以決定是否應用DIMD方法來優化粗粒度圖框內預測模式。當DIMD優化標誌表示沒有優化時，粗粒度圖框內預測模式被用於圖框內預測。如果使用DIMD方法來優化粗粒度預測模式，則通過DIMD方法評估與粗粒度圖框內預測模式相關的圖框內預測模式。例如，通過DIMD方法的模板匹配來評估具有粗粒度圖框內預測模式索引的模式索引+N至-N的圖框內預測模式。評估中的圖框內預測模式的數量可以通過固定值N來預定，或者通過發信切片級，圖像級或順序級中的語法元素中的N值來自適應地確定。例如，基於模板的圖框內模式預測選擇在評估的圖框內預測模式中具有最低成本的當前區塊的一個圖框內預測模式，作為優化模式。最低成本可以是重構樣本和當前區塊周圍的模板的預測樣本之間的最小差異。優化模式被用作當前區塊的圖框內預測模式。在一個實施例中，在MPM導出，圖框內模式依賴係數掃描，NSST，EMT和RDPCM中的符號隱藏之中，至少有一個會將當前區塊的圖框內預測模式稱為明確發信的粗粒度圖框內預測模式，而不是優化模式。用於DIMD優化的發信DIMD優化標誌的一實施例，根據粗粒度圖框內預測模式選擇性地發信DIMD優化標誌，例如，當粗粒度圖框內預測模式是角度模式時，僅發信DIMD優化標誌，因此DIMD當粗粒度圖框內預測模式為DC或平面模式時，省略優化標記。在一些其他實施例中，不發信DIMD優化標誌，這意味著總是應用DIMD來優化粗粒度圖框內預測模式。在一示例性實施例中，當粗粒度圖框內預測模式是 角度模式時，應用DIMD，並且在另一示例性實施例中，將DIMD應用於包括角度模式，DC模式和平面模式的所有圖框內預測模式。
在一個示例中，從HEVC標準中定義的35個模式中選擇粗粒度圖框內預測模式，並且明確地發送所選擇的粗粒度圖框內預測模式的模式索引。根據第3圖所示的65個角度模式或129個角度模式(其進一步分割了65個角度模式中的每個模式的角度)，粗粒度圖框內預測模式被優化為細粒度(fine grain)圖框內預測模式。在一個實施例中，當使用65個角度模式作為DIMD中的角度解析度(angular resolution)時，粗粒度預測角度模式首先被映射到65個角度模式中的一個，然後是兩個相鄰模式(即映射模式的+1和-1圖框內預測模式)與映射模式一起使用DIMD進行評估。選擇三個模式之間具有最低成本或最小差異的圖框內預測模式作為優化模式。另一個實施例使用129個角度模式作為DIMD中的角度解析度，四個相鄰模式(即映射模式的+2和-2圖框內預測模式)，或六個相鄰模式(即映射模式的+3和-3圖框內預測模式)，與映射模式一起使用DIMD進行評估。選擇五個或七個模式中具有最低成本或最小差異的圖框內預測模式作為優化模式。在一個實施例中，如果選擇DC或平面模式作為粗粒度圖框內預測模式，則執行DIMD以評估DC模式，平面模式，垂直模式，水平模式和對角線模式。在另一示例中，將DC模式和平面模式組合為一個非角度粗粒度圖框內預測模式，並且當確定該非角度粗粒度圖框內預測模式時，使用DIMD來確定優化模式是DC模式還是平面模 式。
在一個實施例中，用於模式優化的DIMD被應用於所有區塊尺寸，而在一些其他實施例中，DIMD僅被應用於某些區塊尺寸以減少信令開銷。DIMD僅適用於優化具有滿足預設要求的區塊尺寸的圖框內編碼區塊的粗粒度圖框內預測模式。根據DIMD優化標誌，DIMD被應用於滿足預設要求的所有圖框內預測編碼區塊，或者自適應地應用於滿足預設要求的圖框內預測編碼區塊。例如，DIMD優化僅用於具有大於預定尺寸MIN_BLOCK_SIZE的區塊面積(block area)的圖框內預測編碼區塊，其中該示例中的區塊面積通過將圖框內預測編碼區塊的寬度和高度相乘來計算，即width*height>MIN_BLOCK_SIZE。如果當前區塊的區塊面積大於預定尺寸，則可以使用DIMD優化標誌來發信是否將DIMD優化應用於當前區塊。如果不使用DIMD優化標誌，則大於預定尺寸的所有圖框內預測編碼區塊都將進行DIMD優化。對於小於或等於預定尺寸的圖框內預測編碼區塊，不應用DIMD優化，並且不需要DIMD優化標誌。預定尺寸MIN_BLOCK_SIZE是由切片級，圖像級或序列級中的語法元素來預定或發信的。在另一示例中，DIMD優化僅應用於具有大於第一預定尺寸且小於第二預定尺寸的區塊面積的圖框內預測編碼區塊，即width*height>MIN_BLOCK_SIZE和width*height<MAX_BLOCK_SIZE。可以針對具有大於第一預定尺寸並小於第二預定尺寸的區塊面積的每個圖框內預測編碼區塊，發信DIMD優化標誌。對於小於第一預定尺寸或大於第二預定尺寸的圖框內預測編碼區 塊，不應用基於模板的圖框內預測優化來優化明確發信的粗粒度圖框內預測模式。類似地，第一預定尺寸MIN_BLOCK_SIZE和第二預定尺寸MAX_BLOCK_SIZE是由切片級，圖像級或序列級中的語法元素來預定或發信的。
在替代實施例中，代替計算每個圖框內預測編碼區塊的區塊面積，計算圖框內預測編碼區塊的寬度和高度之和並與預定尺寸進行比較。例如，DIMD優化僅適用於具有寬度和高度之和大於預定尺寸MIN_BLOCK_SIZE的圖框內預測編碼區塊，即width+height>MIN_BLOCK_SIZE。對於具有寬度和高度之和大於預定尺寸的的圖框內預測編碼區塊，可以發信DIMD標誌。對於具有寬度和高度之和小於或等於預定尺寸的圖框內預測編碼區塊，不應用DIMD優化。預定尺寸MIN_BLOCK_SIZE可以由切片級，圖像級或序列級中的語法元素預定或發信號通知。在另一示例中，當圖框內預測編碼區塊的寬度和高度之和大於第一預定尺寸MIN_BLOCK_SIZE並小於第二預定尺寸MAX_BLOCK_SIZE時，即width+height>MIN_BLOCK_SIZE和width+height<MAX_BLOCK_SIZE，滿足應用DIMD優化的預設要求。對於寬度和高度之和大於第一預定尺寸且小於第二預定尺寸的圖框內編碼區塊，發信DIMD優化標誌。對於寬度和高度之和小於或等於第一預定尺寸或大於或等於第二預定尺寸的圖框內預測編碼區塊，不應用DIMD優化。第一和第二預定尺寸可以由切片級，圖像級或序列級中的語法元素來預定或發信。
另一實施例中的預設要求單獨地檢查圖框內預測 編碼區塊的寬度和高度的長度，例如，DIMD優化僅被應用於寬度大於預定尺寸和高度也大於預定尺寸的圖框內預測編碼區塊。在另一示例中，DIMD優化僅應用於具有大於第一預定尺寸且小於第二預定尺寸的寬度和大於第一預定尺寸且小於第二預定尺寸的高度的圖框內預測編碼區塊。先前描述的實施例中的預定尺寸，第一預定尺寸，第二預定尺寸，寬度和高度可以用LOG2來發信號。
具有DIMD優化的粗區域(coarse region)
在應用DIMD優化的一些實施例中，可用模式被分類為若干區域，並且使用索引來發信所選擇的區域。通過對所選擇的區域中的所有角度模式執行模板匹配搜索，以將DIMD優化應用於所選擇的區域。選擇具有最低成本或最小差異的最佳模式作為優化模式。還可以定義一個包含DC和平面模式的特定區域來執行DIMD優化。用於發信所選擇的區域的索引可以對應於粗粒度圖框內預測模式，其用於表示所選擇的區域中的所有模式。為瞭解決由一個或複數個圖框內模式依賴工具引起的解析問題，表示每個區域中的所有模式的粗粒度圖框內預測模式被稱為在解析階段中的圖框內預測模式。對於具有指示所選擇的區域的索引的圖框內預測編碼區塊，使用對應於所選擇的區域的粗粒度圖框內預測模式來確定圖框內預測模式依賴工具的參數，例如係數掃描順序和NSST索引。當當前圖框內預測編碼區塊參考用於構造MPM集合的相鄰區塊時，對應於相鄰區塊選擇的區域的粗粒度圖框內預測模式用作該相鄰區塊的圖框內預測模式。
在一個示例中，角度模式被分成四個區域，一個區域包括靠近水平方向的角度模式，一個區域包括靠近垂直方向的角度模式，一個區域包括接近-45度方向的角度模式，以及最後一個區域包括接近對角線45度方向或對角線225度方向的角度模式。在本例中，如果區域中的所有模式是角度模式並且連續的，則將區域的粗粒度圖框內預測模式設置為該區域的中心模式。請注意，對角線45度方向和對角線225度方向被認為是彼此相鄰的，因此如果區域覆蓋這兩個模式，則這兩個方向可被認為是連續的。用於每個區域的粗粒度圖框內預測模式是預定義的，並且編碼器和解碼器已知。
避免連續使用DIMD進行區塊編碼
一些DIMD的實施例具有一個約束(constraint)，例如，如果使用DIMD對區塊進行編碼，則後續N個區塊不能使用DIMD進行編碼。該約束可以是編碼器約束或語法約束。語法約束的一個例子是通過對DIMD編碼區塊的後續N個區塊刪除與DIMD相關的語法來實現的，其中N是2，3，4或任何整數。對於不同的區塊尺寸，也可以允許不同的N值。
在另一個實施例中，編碼樹單元(CTU)中的DIMD編碼區塊的數量被約束，並且在另一個實施例中，如果當前區塊的相鄰區塊中沒有一個使用DIMD進行編碼，則當前區塊可使用DIMD來編碼。在又一個實施例中，如果當前區塊的所有相鄰區塊均使用DIMD進行編碼，則當前區塊不能選擇DIMD。
在不同CTU或CTU列中的使用實際圖框內預測模式
根據HEVC標準將上方CTU列中的圖框內預測模式視為DC模式。具有DIMD的視訊處理方法的實施例可以參考上方CTU或上方CTU列中的實際圖框內預測模式。對於當前CTU的上方CTU列或上方CTU中的使用DIMD編碼的區塊，由DIMD導出的實際圖框內預測模式用作當前CTU中的圖框內預測編碼區塊的參考圖框內預測模式。不同CTU或CTU列中的區塊參考由DIMD導出的實際圖框內預測模式。例如，通過DIMD方法導出的這些實際圖框內預測模式被存儲為圖框內預測模式之一。對於當前CTU列或當前CTU中的DIMD編碼區塊，可以應用以下一個或複數個方法。偽模式用於替代解析階段中的實際圖框內預測模式，偽模式被用作當前CTU列或當前CTU中的其他圖框內編碼區塊所參考的圖框內預測模式，以及偽模式為用於替換在變換，EMT，NSST和RSAF中的實際圖框內預測模式。上方CTU或上方CTU列中的區塊的實際圖框內預測模式可以由當前CTU或CTU列中的區塊參考，因為在處理當前CTU或當前CTU列時，上方CTU或上方CTU列中的區塊的重構處理應當已完成。
將DIMD應用於最大CU尺寸
在JEM 2.0中，DIMD計算是基於TU的，其中最大TU尺寸為64。在JEM 2.0中的一些圖框內預測工具，例如決定是否應用圖框內參考濾波是與當前區塊的尺寸相關的。如果模式差異大於閾值，則將圖框內參考濾波應用於參考像素。模式差異是與水平模式的模式差異以及與垂直模式的模式差異的最小值。閾值取決於當前CU尺寸。由於最大CU尺寸大於JEM 中的最大TU尺寸，所以用於決定閾值的區域是TU寬度加上定義的模板尺寸，例如第4圖中的L+N。L的值是預定的值，例如1，2或4，其中L+N不能超過最大CU尺寸。當CU的尺寸是最大CU尺寸，且CU的區塊尺寸等於TU和PU時，用於決定閾值的區域是最大CU尺寸加上定義的模板尺寸，此區域的寬度即超過閾值表所定義的最大區塊寬度。為瞭解決這個問題，提出了以下三種方法。在第一種方法中，對於CU尺寸等於最大CU尺寸的區塊，禁用DIMD。第二種方法修改閾值表以支持更大的區塊尺寸。表1為在JEM 2.0中使用的示例性閾值表，其為閾值和對應的區塊深度。表2為修改之後的示例性閾值表。最大CU深度為7，對於QTBT結構，最大CU尺寸為128。在表2所示的閾值表中，最大深度設定為8。
第三種方法在使用基於模板的圖框內模式預測執行DIMD時截斷該模板。在一個實施例中，對於模板尺寸超過最大CU尺寸，使用最大CU尺寸來導出閾值。在另一個實施例中，所有區塊使用DIMD編碼區塊的上方和左側的模板長度的寬度的一半長度和高度的一半長度。如第6圖所示，在DIMD編碼區塊60上方的模板62的片段具有的尺寸為寬度/2*L，並且DIMD編碼區塊60的左側的模板62的片段具有的尺寸為L*高度/2。模板參考像素64用於產生模板62的預測樣本。在另一個實施例中，模板尺寸分別為DIMD編碼區塊的上方和左側的模板像素長度的¾寬度和¾高度。在另一個實施例中，模板長度可以使用小於DIMD編碼區塊的寬度和高度的其他值。
逆變換的解析問題和管線問題(pipeline issue)
可以通過在解析階段中用偽模式替換由DIMD導出的實際圖框內預測模式，或者通過統一相對於圖框內模式依賴編碼工具的所有圖框內編碼區塊的解析處理，來解決使用具有圖框內模式依賴編碼工具的DIMD編碼的區塊的解析問題。然而，如果實際的圖框內預測模式尚未確定，解碼器仍然不能通過具有諸如EMT和NSST的圖框內模式依賴編碼工具的逆變換(IT)來處理使用DIMD編碼的區塊。一般解碼器管線將解 碼過程分為三個管線階段，即解析，逆量化和逆變換(IQ/IT)，以及重構階段。為了啟用在IT中應用的圖框內模式依賴編碼工具，解碼器管線可以被修改為將IT與重構相結合，因此三個管線階段變為解析，逆量化(IQ)，以及逆變換加重構。本發明的一些實施例使用在解析階段中使用DIMD編碼的區塊的偽模式，以及用於逆變換的圖框內模式依賴編碼工具，例如EMT和NSST。在解析階段中使用的偽模式與用於逆變換的偽模式可以相同或不同。根據本實施例，雖然模式依賴變換使用於DIMD編碼的區塊中的編碼增益會被丟失，但是在其他圖框內預測編碼區塊中，模式依賴變換所產生的編碼增益則會被保留。在一個實施例中，如果相鄰區塊使用DIMD進行編碼，則當前區塊參考平面模式，對於使用DIMD編碼的區塊，區塊中的邊換系數會使用對角線掃描來掃描，當當前區塊使用DIMD來編碼且使用變化跳過時，禁用符號隱藏，兩個變換NSST用於使用DIMD編碼的區塊，DC模式用於EMT和NSST。在一個實施例中，當啟用DIMD時，使用偽模式方法，例如在CTU，當前切片，圖片或序列級中啟用DIMD；否則在禁用DIMD時應用原始進程。
第7圖為根據本發明的實施例的使用DIMD的視訊資料處理的流程圖。在步驟S702中，編碼器或解碼器接收與當前區塊相關的輸入資料。在步驟S704中，確定使用DIMD或非DIMD對當前區塊進行編碼，並且如果使用DIMD對當前區塊進行編碼，則在步驟S706中，一個或複數個圖框內模式依賴工具參考偽模式。在步驟S710中，DIMD在不參考當前區塊中的實 際樣本的情況下，確定當前區塊的實際圖框內預測模式。DIMD的一示例是基於模板的圖框內模式預測，並且模板可以包含當前區塊上方的一個模板部分和當前區塊左側的一個模板部分。根據圖框內預測模式從模板參考樣本獲得圖框內預測模式的模板的預測樣本。選擇具有最小差異的圖框內預測模式作為實際圖框內預測模式。在步驟710中，基於由DIMD導出的實際圖框內預測模式進行圖框內預測。如果使用非DIMD對當前區塊進行編碼，則在步驟S708中，一個或複數個圖框內模式依賴工具參考當前區塊的實際圖框內預測模式。例如，如果使用DIMD對當前區塊進行編碼，則使用偽模式來導出係數掃描順序和符號隱藏，否則使用實際圖框內預測模式來導出係數掃描順序和符號隱藏。在步驟S712中，基於由非DIMD導出的實際圖框內預測模式執行圖框內預測。在步驟S714中，編碼器編碼當前區塊，或者解碼器解碼當前區塊。
第8圖為根據本發明的另一實施例的示例性視訊資料處理方法的流程圖。在步驟S802中，視訊編碼器接收與視訊資料的當前區塊相關的輸入資料，或者視訊解碼器從視訊位元流接收與當前區塊相關的輸入資料。在步驟S804中，確定當前區塊的粗粒度圖框內預測模式，其中在視訊位元流中明確地發信粗粒度圖框內預測模式。在步驟S806中，DIMD被應用於當前區塊以優化粗粒度圖框內預測模式並選擇優化模式。DIMD評估與粗粒度圖框內預測模式相關的複數個圖框內預測模式，並根據DIMD方法選擇優化模式。正在評估的圖框內預測模式包括粗粒度圖框內預測模式和至少一個其他模式，例如 其他模式是最接近粗粒度圖框內預測模式的兩個角度模式。在步驟S808中，基於優化模式執行圖框內預測。在步驟S810中，視訊編碼器對當前區塊進行編碼以產生視訊位元流，或者視訊解碼器解碼當前區塊以產生解碼視訊。
第9圖為實現本發明的實施例的視訊編碼器900的示例性系統框圖。圖框內預測910提供基於DIMD的圖框內預測。根據重構樣本和當前區塊周圍的模板的預測樣本之間的差異，DIMD選擇一個模式作為當前區塊的實際圖框內預測模式。在一些實施例中，當通過圖框內模式依賴工具處理當前區塊時，使用偽模式來代替實際圖框內預測，諸如使用偽模式來導出係數掃描順序或符號隱藏。在一些其他實施例中，應用DIMD來優化粗粒度圖框內預測模式。圖框間預測912執行運動估計(ME)和運動補償(MC)，以基於來自其他圖片的視訊資料提供預測器。圖框內預測910或圖框間預測912將所選擇的預測器提供給加法器916以形成預測誤差，也稱為殘差。當前區塊的殘差通過變換(T)918和後續的量化(Q)920被進一步處理。然後，熵編碼器934對變換和量化後的殘差信號進行編碼以形成視訊位元流。然後，將視訊位元流與附加信息(side information)封裝在一起，附加信息例如為指示DIMD的使用的標誌或與粗粒度圖框內預測模式相對應的索引。當前區塊的變換和量化後的殘差信號通過逆量化(IQ)922和逆變換(IT)924處理，以恢復預測殘差。如第9圖所示，通過在重構(REC)926處加回所選擇的預測器來恢復殘差，以產生重構的視訊資料。重構的視訊資料可以存儲在參考圖像緩衝器932中，並用 於預測其它圖像。由於編碼處理，來自REC 926的重構的視訊資料可能會受到各種損害，因此，在將重構的視訊資料存儲到參考圖像緩衝器932中之前，將環路處理濾波928應用於該重構的視訊資料，以進一步提高圖像質量。可以將與DIMD相對應的語法元素9提供給熵編碼器934，以合併到視訊位元流中。
第10圖中為與第9圖的視訊編碼器900相對應的視訊解碼器1000。由視訊編碼器編碼的視訊位元流是視訊解碼器1000的輸入，並被熵解碼器1010解碼以解析和恢復變換和量化後的殘差信號以及其他系統信息。在一個實施例中，如果在DIMD中編碼當前區塊，則熵解碼器1010根據偽模式解析當前區塊；根據另一實施例，熵解碼器1010解析對應於粗粒度圖框內預測模式的索引。除了解碼器1000僅需要圖框間預測1014中的運動補償預測，解碼器1000的解碼過程類似於編碼器900處的重構迴路(reconstruction loop)。每個區塊由圖框內預測1012或圖框間預測1014進行解碼。圖框內預測1012根據本發明的各種實施例應用DIMD，例如，應用DIMD來優化粗粒度圖框內預測模式。根據解碼模式信息，開關1016從圖框內預測1012選擇圖框內預測器或從圖框間預測1014選擇圖框間預測器。通過逆量化(IQ)1020和逆變換(IT)1022來恢復與每個區塊相關的變換和量化後的殘差信號。通過在REC1018中將預測器加回以重構恢復的殘差信號，以產生重構視訊。重構視訊由環路處理濾波1024進一步處理，以產生最終的解碼視訊。如果當前解碼的圖像是參考圖像，則當前解碼的圖像的重構視訊也存儲到參考圖像緩衝器1028中，以用於解碼順序中的後續圖像。
第9圖和第10圖中的視訊編碼器900和視訊解碼器1000的各種組件可以通過硬體組件，用於執行存儲在存儲器中的程式指令的一個或複數個處理器，或硬體和處理器的組合來實現。例如，處理器執行程式指令以控制與當前圖像相關的輸入資料的接收。處理器配備有單個或複數個處理核心。在一些示例中，處理器執行程式指令以執行在編碼器900和解碼器1000中的一些組件中功能，並且與處理器電耦合的存儲器用於存儲程式指令，對應於區塊的重構圖像的信息，和/或在編碼或解碼過程中的中間資料。在一些實施例中的存儲器包括非暫態計算機可讀媒體，諸如半導體或固態存儲器，隨機存取存儲器(RAM)，只讀存儲器(ROM)，硬碟，光碟或其他合適的存儲介質。存儲器也可以是上面列出的非暫態計算機可讀媒體中的兩個或複數個的組合。如第9圖和第10圖所示，編碼器900和解碼器1000可以在相同的電子設備中實現，因此如果在相同的電子設備中實現，則編碼器900和解碼器1000的各種功能組件可以共享或重用。
用於視訊編碼系統的使用DIMD的視訊資料處理方法的實施例可以整合到視訊壓縮芯片的電路或整合到視訊壓縮軟體中的程式代碼來實現，以執行上述處理。例如，可以在計算機處理器，數字信號處理器(DSP)，微處理器或現場可編程門陣列(FPGA)上執行的程式代碼來實現對當前區塊的當前模式集合的確定。根據本發明，這些處理器可以被配置為執行特定任務，通過執行定義特定方法的計算機可讀軟體代碼或韌體代碼來實現。軟體代碼或韌體代碼可以用不同的編程語 言和不向的格式或樣式來開發。軟體代碼也可以為不同的目標平臺所編譯。然而，軟體代碼的不同的代碼格式、風格和語言，以及配置代碼的其他方式以執行任務，均不脫離本發明之精神和範圍。

Claims (30)

  1. 一種視訊編碼系統中處理視訊資料的方法，包括：接收與該視訊資料的當前區塊相關的輸入資料；通過執行解碼器側圖框內模式導出，以確定該當前區塊的實際圖框內預測模式；基於該實際圖框內預測模式對該當前區塊執行圖框內預測；當圖框內模式依賴工具參考該當前區塊的圖框內預測模式時，使用偽模式替換由該解碼器側圖框內模式導出確定的該實際圖框內預測模式，其中該偽模式是DC模式，平面模式，垂直模式，水平模式，對角線模式或導出模式；以及編碼或解碼該當前區塊。
  2. 如申請專利範圍第1項所述之方法，其中該解碼器側圖框內模式導出是圖框內模式導出方法，其在不參考該當前區塊的原始樣本的情況下確定該當前區塊的該實際圖框內預測模式。
  3. 如申請專利範圍第1項所述之方法，其中，該解碼器側圖框內模式導出是基於模板的圖框內模式預測，並且該基於模板的圖框內模式預測根據重構樣本和在該當前區塊周圍的模板的預測樣本之間的差異，選擇一個模式作為該實際圖框內預測模式。
  4. 如申請專利範圍第1項所述之方法，其中，該導出模式是從一個或複數個相鄰圖框內預測模式導出的，或者是為該當前區塊導出的最可能模式集合中的最可能模式候選。
  5. 如申請專利範圍第1項所述之方法，其中，當啟用剩餘差分脈衝碼調製時，當使用變換跳過模式時，使用該解碼器側圖框內模式導出編碼的該當前區塊禁用符號隱藏。
  6. 如申請專利範圍第1項所述之方法，其中為該當前區塊發信明確的標誌，以指示是否使用該解碼器側圖框內模式導出來編碼該當前區塊。
  7. 如申請專利範圍第1項所述之方法，其中，該圖框內模式依賴工具參考作為該當前區塊的該圖框內預測模式的該偽模式，該圖框內模式依賴工具包括圖框內模式依賴係數掃描，最可能模式導出，剩餘差分脈衝碼調製，不可分離的次級變換，增強型多變換和參考樣本自適應濾波中的一個或其組合。
  8. 如申請專利範圍第1項所述之方法，其中，當導出用於圖框內模式依賴係數掃描的係數掃描順序時，參考該偽模式，以及由該解碼器側圖框內模式導出來的該實際圖框內預測模式用於執行該當前區塊的變換，增強型多變換，不可分離的次級變換或參考樣本自適應濾波。
  9. 如申請專利範圍第1項所述之方法，其中參考該偽模式以導出該當前區塊的相鄰區塊的最可能模式集合。
  10. 如申請專利範圍第1項所述之方法，其中該當前區塊的圖框內預測模式被標記為不可用於導出該當前區塊的相鄰區塊的最可能模式集合。
  11. 如申請專利範圍第1項所述之方法，其中圖框內模式依賴係數掃描或最可能模式導出參考該偽模式，以及用於重構該 當前區塊的一個或複數個編碼工具參考第二偽模式，該一個或複數個編碼工具包括增強型多變換，不可分離的次級變換和參考樣本自適應濾波，其中該偽模式和該第二偽模式被設置為相同模式或不同模式。
  12. 如申請專利範圍第1項所述之方法，其中，使用該解碼器側圖框內模式導出或非解碼器側圖框內模式導出對該當前區塊進行編碼，以及該圖框內模式依賴工具參考該偽模式，以用於使用語法發信或解析中的該非解碼器側圖框內模式導出進行編碼的該當前區塊。
  13. 如申請專利範圍第12項所述之方法，其中，僅在該解碼器側圖框內模式導出被啟用時，該圖框內模式依賴工具參考該偽模式，以用於使用該解碼器側圖框內模式導出和該非解碼器側圖框內模式導出進行編碼的複數個區塊；如果該解碼器側圖框內模式導出被禁用，則該圖框內模式依賴工具參考由該非解碼器側圖框內模式導出來導出的實際圖框內預測模式。
  14. 如申請專利範圍第1項所述之方法，其中使用該解碼器側圖框內模式導出進行編碼的該當前區塊對應於預定的圖框內預測模式索引，以及相同的圖框內預測模式信令被應用於使用該解碼器側圖框內模式導出和該非解碼器側圖框內模式導出進行編碼的複數個區塊。
  15. 如申請專利範圍第1項所述之方法，其中不同編碼樹單元或不同編碼樹單元列中的複數個區塊參考通過該解碼器側圖框內模式導出來導出的該實際圖框內預測模式，以及與該 當前區塊位於相同的編碼樹單元或相同的編碼樹單元列中的複數個區塊參考該偽模式。
  16. 一種視訊編碼系統中處理視訊資料的方法，包括：通過視訊編碼器接收與該視訊資料的當前區塊相關的輸入資料，或者通過視訊解碼器從視訊位元流接收與該當前區塊相關的該輸入資料；確定該當前區塊的粗粒度圖框內預測模式，其中在該視訊位元流中明確地發信該粗粒度圖框內預測模式；通過評估與該粗粒度圖框內預測模式相關的複數個圖框內預測模式，應用解碼器側圖框內模式導出來優化該當前區塊的該粗粒度圖框內預測模式，以及根據該解碼器側圖框內模式導出，從該複數個圖框內預測模式選擇一個圖框內預測模式來作為優化模式；基於通過該解碼器側圖框內模式導出選擇的優化模式，對該當前區塊執行圖框內預測；以及通過該視訊編碼器編碼該當前區塊以產生該視訊位元流，或通過該視訊解碼器解碼該當前區塊以產生解碼視訊。
  17. 如申請專利範圍第16項所述之方法，其中該解碼器側圖框內模式導出是圖框內模式導出方法，其在不參考該當前區塊的原始樣本的情況下，確定該當前區塊的該實際圖框內預測模式。
  18. 如申請專利範圍第16項所述之方法，其中該解碼器側圖框內模式導出是基於模板的圖框內模式預測，並且該基於模板的圖框內模式預測根據重構樣本和在該當前區塊周圍的 模板的預測樣本之間的差異，選擇該複數個圖框內預測模式中的一個圖框內預測模式作為優化模式。
  19. 如申請專利範圍第16項所述之方法，其中，通過使用最可能模式標誌來用發信該粗粒度圖框內預測模式，在該最可能模式標誌之後是最可能模式索引或剩餘模式索引。
  20. 如申請專利範圍第16項所述之方法，其中，發信優化標誌來確定是否應用該解碼器側圖框內模式導出來優化該粗粒度圖框內預測模式，以及如果該優化標誌指示不優化，則使用該粗粒度圖框內預測模式來執行圖框內預測。
  21. 如申請專利範圍第20項所述之方法，其中，僅當該粗粒度圖框內預測模式是角度模式時，發信該優化標記。
  22. 如申請專利範圍第16項所述之方法，其中，評估中的與該粗粒度圖框內預測模式相關的圖框內預測模式的數量，可以通過在切片級，圖像級或序列級中發信的語法元素來預定或自適應地確定。
  23. 如申請專利範圍第16項所述之方法，其中最可能模式參考，變換係數掃描，增強型多變換，不可分割的次級變換和符號隱藏中的至少一個會參考明確發信的粗粒度圖框內預測模式，作為該當前區塊的圖框內預測模式。
  24. 如申請專利範圍第16項所述之方法，其中，僅當該粗粒度圖框內預測模式是角度模式時，應用該解碼器側圖框內模式導出來優化該粗粒度圖框內預測模式。
  25. 如申請專利範圍第16項所述之方法，其中，僅當該當前區塊的區塊尺寸滿足預設要求時，應用該解碼器側圖框內模 式導出來優化該粗粒度圖框內預測模式。
  26. 如申請專利範圍第16項所述之方法，其中可用模式被分為複數個區域，該粗粒度圖框內預測模式表示該當前區塊的一個選擇區域，通過評估該選擇的區域中的所有模式，解碼器側圖框內模式導出將會被應用來優化該粗粒度圖框內預測。
  27. 一種視訊編碼系統中處理視訊資料的裝置，其中該裝置包括一個或複數個電子電路，用於執行以下步驟：接收與視訊資料的當前區塊相關的輸入資料；通過執行解碼器側圖框內模式導出，以確定該當前區塊的實際圖框內預測模式，其中該解碼器側圖框內模式導出是圖框內模式導出方法，其在不參考該當前區塊的原始樣本的情況下確定該當前區塊的該實際圖框內預測模式；基於該實際圖框內預測模式對該當前區塊執行圖框內預測；當圖框內模式依賴工具參考該當前區塊的圖框內預測模式時，使用偽模式替換由該解碼器側圖框內模式導出確定的該實際圖框內預測模式，其中該偽模式是DC模式，平面模式，垂直模式，水平模式，對角線模式或導出模式；以及編碼或解碼該當前區塊。
  28. 一種非暫態計算機可讀媒體，存儲可使裝置的處理電路執行視訊處理方法的程式指令，該方法包括：接收與視訊資料的當前區塊相關的輸入資料；通過執行解碼器側圖框內模式導出，以確定該當前區塊的 實際圖框內預測模式，其中該解碼器側圖框內模式導出是圖框內模式導出方法，其在不參考該當前區塊的原始樣本的情況下確定該當前區塊的該實際圖框內預測模式；基於該實際圖框內預測模式對該當前區塊執行圖框內預測；當圖框內模式依賴工具參考該當前區塊的圖框內預測模式時，使用偽模式替換由該解碼器側圖框內模式導出確定的該實際圖框內預測模式，其中該偽模式是DC模式，平面模式，垂直模式，水平模式，對角線模式或導出模式；以及編碼或解碼該當前區塊。
  29. 一種視訊編碼系統中處理視訊資料的裝置，其中該裝置包括一個或複數個電子電路，用於執行以下步驟：通過視訊編碼器接收與該視訊資料的當前區塊相關的輸入資料，或者通過視訊解碼器從視訊位元流接收與該當前區塊相關的該輸入資料；確定該當前區塊的粗粒度圖框內預測模式，其中在該視訊位元流中明確地發信該粗粒度圖框內預測模式；通過評估與該粗粒度圖框內預測模式相關的複數個圖框內預測模式，應用解碼器側圖框內模式導出來優化該當前區塊的該粗粒度圖框內預測模式，以及根據該解碼器邊內模式導出，從該複數個圖框內預測模式選擇一個圖框內預測模式來作為優化模式；基於通過該解碼器側圖框內模式導出選擇的優化模式，對該當前區塊執行圖框內預測；以及 通過該視訊編碼器編碼該當前區塊以產生該視訊位元流，或通過該視訊解碼器解碼該當前區塊以產生解碼視訊。
  30. 一種非暫態計算機可讀媒體，存儲可使裝置的處理電路執行視訊處理方法的程式指令，並且該方法包括：通過視訊編碼器接收與該視訊資料的當前區塊相關的輸入資料，或者通過視訊解碼器從視訊位元流接收與該當前區塊相關的該輸入資料；確定該當前區塊的粗粒度圖框內預測模式，其中在該視訊位元流中明確地發信該粗粒度圖框內預測模式；通過評估與該粗粒度圖框內預測模式相關的複數個圖框內預測模式，應用解碼器側圖框內模式導出來優化該當前區塊的該粗粒度圖框內預測模式，以及根據該解碼器側圖框內模式導出，從該複數個圖框內預測模式選擇一個圖框內預測模式來作為優化模式，其中解碼器側圖框內模式導出屬於一種圖框內模式導出的方法，其能夠在不參考該當前區塊的原始樣本的情況下確定該當前區塊的實際圖框內預測模式；基於通過該解碼器側圖框內模式導出選擇的優化模式，對該當前區塊執行圖框內預測；以及通過該視訊編碼器編碼該當前區塊以產生該視訊位元流，或通過該視訊解碼器解碼該當前區塊以產生解碼視訊。
TW106121042A 2016-06-24 2017-06-23 解碼器側圖框內模式導出的方法和裝置 TWI650009B (zh)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
US201662354140P 2016-06-24 2016-06-24
US62/354,140 2016-06-24
US201662365403P 2016-07-22 2016-07-22
US62/365,403 2016-07-22
US15/629,877 2017-06-22
US15/629,877 US20170374369A1 (en) 2016-06-24 2017-06-22 Methods and Apparatuses of Decoder Side Intra Mode Derivation

Publications (2)

Publication Number Publication Date
TW201804799A TW201804799A (zh) 2018-02-01
TWI650009B true TWI650009B (zh) 2019-02-01

Family

ID=60678135

Family Applications (1)

Application Number Title Priority Date Filing Date
TW106121042A TWI650009B (zh) 2016-06-24 2017-06-23 解碼器側圖框內模式導出的方法和裝置

Country Status (2)

Country Link
US (1) US20170374369A1 (zh)
TW (1) TWI650009B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020163478A1 (en) * 2019-02-08 2020-08-13 Tencent America LLC Method and apparatus for harmonization between transform skip mode and multiple transform selection

Families Citing this family (68)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FI20175006A1 (en) 2017-01-03 2019-02-15 Nokia Technologies Oy Video and image coding using wide-angle intra-prediction
US11354824B2 (en) * 2017-03-23 2022-06-07 Sony Corporation Image processing apparatus and method
US10623738B2 (en) 2017-04-06 2020-04-14 Futurewei Technologies, Inc. Noise suppression filter
US10582195B2 (en) 2017-06-02 2020-03-03 Futurewei Technologies, Inc. Intra prediction using unequal weight planar prediction
US11272207B2 (en) 2017-06-12 2022-03-08 Futurewei Technologies, Inc. Selection and signaling of motion vector (MV) precisions
US10477237B2 (en) 2017-06-28 2019-11-12 Futurewei Technologies, Inc. Decoder side motion vector refinement in video coding
US11134272B2 (en) * 2017-06-29 2021-09-28 Qualcomm Incorporated Memory reduction for non-separable transforms
US11019339B2 (en) 2017-07-12 2021-05-25 Futurewei Technologies, Inc. Fractional quantization parameter offset in video compression
US10666943B2 (en) * 2017-09-15 2020-05-26 Futurewei Technologies, Inc. Block partition structure in video compression
US10841794B2 (en) 2017-09-18 2020-11-17 Futurewei Technologies, Inc. Adaptive motion vector resolution
US10595019B2 (en) 2017-09-20 2020-03-17 Futurewei Technologies, Inc. Noise suppression filter parameter estimation for video coding
US10609384B2 (en) 2017-09-21 2020-03-31 Futurewei Technologies, Inc. Restriction on sub-block size derivation for affine inter prediction
KR102424088B1 (ko) 2017-10-16 2022-07-22 후아웨이 테크놀러지 컴퍼니 리미티드 비디오 코딩을 위한 공간 변화 변환
KR102445899B1 (ko) * 2017-12-29 2022-09-21 인텔렉추얼디스커버리 주식회사 서브-블록 단위 화면 내 예측을 사용하는 비디오 코딩 방법 및 장치
GB2570711B (en) * 2018-02-05 2023-04-05 Sony Corp Data encoding and decoding
WO2019154936A1 (en) * 2018-02-09 2019-08-15 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Partition-based intra coding concept
US10432929B2 (en) 2018-02-12 2019-10-01 Tencent America LLC Method and apparatus for multiple line intra prediction in video compression
US10771781B2 (en) * 2018-03-12 2020-09-08 Electronics And Telecommunications Research Institute Method and apparatus for deriving intra prediction mode
KR20230057481A (ko) * 2018-03-29 2023-04-28 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. 블록 단위의 화상 코딩을 위한 인트라 예측 모드 개념
US10419754B1 (en) 2018-04-02 2019-09-17 Tencent America LLC Method and apparatus for video decoding using multiple line intra prediction
US10728542B2 (en) 2018-04-09 2020-07-28 Tencent America LLC Methods and apparatuses for sub-block motion vector prediction
WO2019212230A1 (ko) * 2018-05-03 2019-11-07 엘지전자 주식회사 영상 코딩 시스템에서 블록 사이즈에 따른 변환을 사용하는 영상 디코딩 방법 및 그 장치
MX2020012608A (es) 2018-06-21 2021-01-29 Kt Corp Metodo y aparato para procesar se?ales de video.
US10567752B2 (en) 2018-07-02 2020-02-18 Tencent America LLC Method and apparatus for intra prediction for non-square blocks in video compression
WO2020050600A1 (ko) * 2018-09-03 2020-03-12 한국전자통신연구원 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
KR20240042127A (ko) * 2018-09-03 2024-04-01 후아웨이 테크놀러지 컴퍼니 리미티드 인트라 예측을 위한 방법 및 장치
EP3629579A1 (en) * 2018-09-27 2020-04-01 Ateme Method for image processing and apparatus for implementing the same
EP3709644A1 (en) * 2019-03-12 2020-09-16 Ateme Method for image processing and apparatus for implementing the same
EP3691264B1 (en) * 2018-10-05 2023-03-08 LG Electronics Inc. Intra prediction-based video coding method using mpm list, and device therefor
EP4300965A3 (en) 2018-11-05 2024-01-17 Beijing Bytedance Network Technology Co., Ltd. Interpolation for inter prediction with refinement
US11706407B2 (en) * 2018-11-14 2023-07-18 Interdigital Madison Patent Holdings, Sas Adaptation of selection of most probable mode candidates depending on block shape
KR20200063092A (ko) * 2018-11-27 2020-06-04 주식회사 엑스리스 영상 신호 부호화/복호화 방법 및 이를 위한 장치
WO2020139060A1 (ko) * 2018-12-28 2020-07-02 김기백 인트라 예측 기반의 영상 부호화/복호화 방법 및 장치
US11102490B2 (en) 2018-12-31 2021-08-24 Tencent America LLC Coefficient scanning methods on adaptive angle mode
CN113396592B (zh) * 2019-02-02 2023-11-14 北京字节跳动网络技术有限公司 用于视频编解码中的帧内块复制的缓冲区管理
JP7405861B2 (ja) 2019-03-01 2023-12-26 北京字節跳動網絡技術有限公司 映像符号化におけるイントラブロックコピーのための方向に基づく予測
JP2022068379A (ja) * 2019-03-08 2022-05-10 シャープ株式会社 画像復号装置
CN113678453A (zh) * 2019-04-12 2021-11-19 北京字节跳动网络技术有限公司 基于矩阵的帧内预测的上下文确定
CN117499656A (zh) 2019-04-16 2024-02-02 北京字节跳动网络技术有限公司 帧内编解码模式下的矩阵推导
KR20210133299A (ko) * 2019-04-20 2021-11-05 엘지전자 주식회사 Bdpcm에 기반한 영상 코딩 방법 및 그 장치
WO2020216288A1 (en) * 2019-04-23 2020-10-29 Beijing Bytedance Network Technology Co., Ltd. Conditional use of multiple transform matrices in video coding
EP3949391A4 (en) 2019-05-01 2022-05-25 Beijing Bytedance Network Technology Co., Ltd. MATRIX-BASED INTRAPREDICTION USING FILTRATION
CN117097912A (zh) 2019-05-01 2023-11-21 北京字节跳动网络技术有限公司 基于矩阵的帧内预测的上下文编码
US11445174B2 (en) * 2019-05-06 2022-09-13 Tencent America LLC Method and apparatus for video coding
WO2020228566A1 (en) * 2019-05-10 2020-11-19 Mediatek Inc. Method and apparatus of chroma direct mode generation for video coding
CN113875233B (zh) 2019-05-22 2023-12-15 北京字节跳动网络技术有限公司 使用上采样的基于矩阵的帧内预测
CN114175646A (zh) 2019-05-22 2022-03-11 Lg电子株式会社 图像解码方法及其装置
CN113924775B (zh) 2019-05-31 2023-11-14 北京字节跳动网络技术有限公司 基于矩阵的帧内预测中的限制的上采样
WO2020244610A1 (en) 2019-06-05 2020-12-10 Beijing Bytedance Network Technology Co., Ltd. Context determination for matrix-based intra prediction
MX2022000110A (es) 2019-07-10 2022-02-10 Beijing Bytedance Network Tech Co Ltd Identificacion de muestras para la copia intra-bloque en codificacion de video.
US11677984B2 (en) * 2019-08-20 2023-06-13 Qualcomm Incorporated Low-frequency non-separable transform (LFNST) signaling
CN114641997A (zh) 2019-10-28 2022-06-17 北京字节跳动网络技术有限公司 基于颜色分量的语法信令通知和解析
EP4042699A4 (en) * 2019-10-29 2023-11-22 HFI Innovation Inc. METHODS AND APPARATUS FOR VIDEO PROCESSING WITH BDPCM SIZE CONSTRAINT CONSIDERING COLOR FORMAT SAMPLING STRUCTURE
US11197001B2 (en) * 2020-02-05 2021-12-07 Tencent America LLC Method and apparatus for interactions between decoder-side intra mode derivation and adaptive intra prediction modes
WO2021242845A1 (en) * 2020-05-27 2021-12-02 Tae Meon Bae Intra prediction
CN112689146B (zh) * 2020-12-18 2022-07-22 重庆邮电大学 一种基于启发学习的vvc帧内预测快速模式选择方法
US11671589B2 (en) * 2020-12-22 2023-06-06 Qualcomm Incorporated Decoder side intra mode derivation for most probable mode list construction in video coding
WO2022237870A1 (en) * 2021-05-13 2022-11-17 Beijing Bytedance Network Technology Co., Ltd. Method, device, and medium for video processing
WO2022242727A1 (en) * 2021-05-19 2022-11-24 Beijing Bytedance Network Technology Co., Ltd. Method, device, and medium for video processing
WO2023020569A1 (en) * 2021-08-18 2023-02-23 Beijing Bytedance Network Technology Co., Ltd. Intra-prediction on non-dyadic blocks
WO2023044918A1 (zh) * 2021-09-27 2023-03-30 Oppo广东移动通信有限公司 帧内预测的方法、编码器、解码器和编解码系统
WO2023050370A1 (zh) * 2021-09-30 2023-04-06 Oppo广东移动通信有限公司 帧内预测的方法、解码器、编码器和编解码系统
WO2023068870A1 (ko) * 2021-10-21 2023-04-27 엘지전자 주식회사 인트라 예측 모드를 코딩하는 방법 및 장치
WO2023128615A1 (ko) * 2021-12-29 2023-07-06 엘지전자 주식회사 영상 인코딩/디코딩 방법 및 장치, 그리고 비트스트림을 저장한 기록 매체
WO2023164245A1 (en) * 2022-02-28 2023-08-31 Beijing Dajia Internet Information Technology Co., Ltd. Methods and devices for decoder-side intra mode derivation
EP4258668A1 (en) * 2022-04-07 2023-10-11 Beijing Xiaomi Mobile Software Co., Ltd. Method and apparatus for dimd region-wise adaptive blending, and encoder/decoder including the same
WO2023193516A1 (en) * 2022-04-08 2023-10-12 Mediatek Inc. Method and apparatus using curve based or spread-angle based intra prediction mode in video coding system
WO2024079185A1 (en) * 2022-10-11 2024-04-18 Interdigital Ce Patent Holdings, Sas Equivalent intra mode for non-intra predicted coding blocks

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102427530A (zh) * 2011-10-11 2012-04-25 北京工业大学 帧内预测方法
CN105052134A (zh) * 2012-10-01 2015-11-11 Ge视频压缩有限责任公司 使用空间帧内预测参数的层间预测的可伸缩视频编码

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2478702B8 (en) * 2009-09-14 2017-09-06 Thomson Licensing DTV Methods and apparatus for efficient video encoding and decoding of intra prediction mode
KR101863487B1 (ko) * 2014-05-06 2018-05-31 에이치에프아이 이노베이션 인크. 인트라 블록 카피 모드 부호화를 위한 블록 벡터 예측 방법
US9438923B2 (en) * 2014-06-05 2016-09-06 Blackberry Limited Apparatus and method to support encoding and decoding video data

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102427530A (zh) * 2011-10-11 2012-04-25 北京工业大学 帧内预测方法
CN105052134A (zh) * 2012-10-01 2015-11-11 Ge视频压缩有限责任公司 使用空间帧内预测参数的层间预测的可伸缩视频编码

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020163478A1 (en) * 2019-02-08 2020-08-13 Tencent America LLC Method and apparatus for harmonization between transform skip mode and multiple transform selection
US10986339B2 (en) 2019-02-08 2021-04-20 Tencent America LLC Method and apparatus for harmonization between transform skip mode and multiple transform selection

Also Published As

Publication number Publication date
US20170374369A1 (en) 2017-12-28
TW201804799A (zh) 2018-02-01

Similar Documents

Publication Publication Date Title
TWI650009B (zh) 解碼器側圖框內模式導出的方法和裝置
US11284086B2 (en) Decoder side intra mode derivation (DIMD) tool computational complexity reduction
TWI669948B (zh) 編碼或解碼視頻資料之方法及裝置
TWI634783B (zh) 用於二叉樹分割塊的確定候選集的方法及裝置
EP3459245B1 (en) Confusion of multiple filters in adaptive loop filtering in video coding
US11190799B2 (en) Intra-prediction mode-based image processing method and apparatus therefor
US11265540B2 (en) Apparatus and method for applying artificial neural network to image encoding or decoding
KR20190090866A (ko) 이차 변환을 이용한 비디오 신호의 인코딩/디코딩 방법 및 장치
KR20190029732A (ko) 인트라 예측 모드 기반 영상 처리 방법 및 이를 위한 장치
TWI774141B (zh) 視訊編解碼方法及裝置
TW202021350A (zh) 視訊處理系統中色度量化參數導出的方法以及裝置
TW202106022A (zh) 具有自適應色彩轉換技術之視訊資料編碼或解碼方法和裝置
US11659174B2 (en) Image encoding method/device, image decoding method/device and recording medium having bitstream stored therein
JP6977138B2 (ja) 境界の強制的な区分けの改善
US11109024B2 (en) Decoder side intra mode derivation tool line memory harmonization with deblocking filter
KR20190096432A (ko) 인트라 예측 모드 기반 영상 처리 방법 및 이를 위한 장치
JP2022176939A (ja) Ｖｖｃにおける色変換のための方法及び機器
KR102606291B1 (ko) 교차성분 선형 모델을 이용한 비디오 신호 처리 방법 및 장치
AU2019377757A1 (en) Image signal encoding/decoding method and apparatus therefor
KR20200096227A (ko) 블록 형상에 기초한 비디오 인코딩 및 디코딩을 위한 방법 및 장치
CN113632479B (zh) 越界节点视频数据的处理方法及装置
CN114747216A (zh) 多重转换选择的发信技术
TW202025723A (zh) 圖像和視訊處理中產生mpm 以進行幀內預測的方法和裝置
US20230188709A1 (en) Method and apparatus for patch book-based encoding and decoding of video data
RU2803621C2 (ru) Процедура квантования для режима палитры

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees