TWI665907B - 用於圖像和視訊編碼的基於模板的圖框內預測的方法和裝置 - Google Patents

用於圖像和視訊編碼的基於模板的圖框內預測的方法和裝置 Download PDF

Info

Publication number
TWI665907B
TWI665907B TW106118396A TW106118396A TWI665907B TW I665907 B TWI665907 B TW I665907B TW 106118396 A TW106118396 A TW 106118396A TW 106118396 A TW106118396 A TW 106118396A TW I665907 B TWI665907 B TW I665907B
Authority
TW
Taiwan
Prior art keywords
template
frame
current block
prediction
mode
Prior art date
Application number
TW106118396A
Other languages
English (en)
Other versions
TW201811031A (zh
Inventor
杉 劉
夜静
許曉中
莊子德
陳慶曄
Original Assignee
聯發科技股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 聯發科技股份有限公司 filed Critical 聯發科技股份有限公司
Publication of TW201811031A publication Critical patent/TW201811031A/zh
Application granted granted Critical
Publication of TWI665907B publication Critical patent/TWI665907B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/156—Availability of hardware or computational resources, e.g. encoding based on power-saving criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H04N19/463—Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本發明公開了一種使用基於模板的圖框內預測的視訊編碼的方法和裝置。根據一種方法，基於模板的圖框內預測搜索N個模板匹配候選以降低複雜度。在另一種方法中，在模板匹配候選中的成本評估期間，基於模板的圖框內預測為模板的不同像素位置分配不同的權重，或者對插值濾波器使用不同的像素精度。在另一種方法中，使用截斷的模板大小來降低複雜度。在另一種方法中，對於非正方行區塊，左側和上方模板可以具有不同的大小。在另一種方法中，使用逆向基於模板的圖框內預測。

Description

用於圖像和視訊編碼的基於模板的圖框內預測的方法和裝置 【相關申請的交叉引用】
本發明要求於2016年6月3日提交的申請號為62/345,074的美國臨時案以及於2016年7月22日提交的申請號為62/365,403的美國臨時案的優先權。在此合併參考這些美國臨時申請案的申請標的。
本發明所揭露之實施例有關於視訊編碼中的基於模板的(template-based)圖框內預測(也稱為解碼器側圖框內模式導出(decoder side intra mode derivation，DIMD))。特別地，本發明公開了與基於模板的圖框內預測相關聯的降低複雜度或提高編碼效率的多種技術。
高效率視訊編碼(High Efficiency Video Coding，HEVC)標準是在ITU-T視訊編碼專家組(Video Coding Experts Group，VCEG)和ISO/IEC運動圖像專家組(Moving Picture Experts Group，MPEG)標準化組織的聯合視訊項目下開發的，這個合作關係被特別的稱為視訊編碼聯合協作小組 (JCT-VC)。在HEVC中，將一個切片劃分為複數個編碼樹單元(coding tree unit，CTU)。在主配置文件中，CTU的最小和最大大小由序列參數集(sequence parameter set，SPS)中的語法元素來指定。允許的CTU大小可以是8x8，16x16，32x32，或64x64。對於每個切片，根據光柵掃描順序來處理切片內的CTU。
CTU進一步被劃分成複數個編碼單元(coding unit，CU)以適應各種局部特性。被稱為編碼樹的四叉樹被用於將CTU分割成複數個CU。使CTU大小為MxM，其中M是64，32或16中的一個值。CTU可以是單個的編碼單元(即，不分割)或者可以被分割成四個相同大小的較小單元(smaller unit)(即，每個為M/2xM/2)，其對應於編碼樹的節點。如果這些單元是編碼樹的葉節點(leaf node)，則這些單元將變成CU。否則，可以重複四叉樹分割處理，直到節點的大小達到如SPS(序列參數集)中指定的最小允許的CU大小。
此外，根據HEVC，每個CU可以被劃分成一個或複數個預測單元(prediction unit，PU)。與CU一起，PU作為共享預測信息的基本代表區塊。在每個PU內部，應用相同的預測處理，並且以PU為基礎將相關信息發送到解碼器。根據PU分割類型(splitting type)，可以將一個CU分割為一個，兩個或四個PU。HEVC定義了將CU分割為PU的八種形狀，包括2Nx2N，2NxN，Nx2N，NxN，2NxnU，2NxnD，nLx2N和nRx2N分區類型(partition type)。與CU不同的是，根據HEVC，PU只能被分割一次。第二列(second row)中顯示的分區對應於非對稱分區，其中兩個分區部分具有不同的大小。
HEVC編碼包括圖框間預測和圖框內預測。對於圖框內預測，圖框內預測的產生包括三個部分：圖框內平滑濾波(Intra smoothing filter)，圖框內預測和圖框內梯度濾波(Intra gradient filter)。首先，在計算預測之前，對參考樣本應用平滑處理作為預處理步驟。該平滑處理對應於將具有低通特性的濾波器權重[1，2，1]>>2的有限衝激響應濾波器(FIR-filter)應用於屬於當前TU(轉換單元)的左行和上一列的樣本。每個TU的圖框內預測由相鄰TU的重構樣本(reconstructed sample)產生。在第1圖中示出了涉及圖框內平滑的樣本，其中區塊100對應於當前區塊，線110對應於水平邊界，線120對應於垂直邊界。是否使用該平滑處理由TU大小和圖框內預測模式來決定。其次，從具有一特定圖框內預測模式的相鄰參考樣本來推導出當前區塊的圖框內預測，並且通過編碼器從DC模式，平面模式和33個定向模式(33 directional modes)中選擇圖框內預測模式，並在比特流中發信號。第三，如果圖框內預測模式是直流，水平或垂直模式，則將圖框內梯度濾波器進一步應用於當前TU的左側和上方邊界處的樣本。
在HEVC中的所有35種圖框內預測模式中，三種模式被認為是用於預測當前預測區塊中的圖框內預測模式的最可能模式(most probable mode，MPM)。例如，左側預測區塊和上方預測區塊中使用的圖框內預測模式可以用作MPM集合的候選。在兩個相鄰區塊中的圖框內預測模式相同並且均為定向模式的情況下，或者在兩個相鄰區塊中的僅一個是可用的、並在圖框內預測中被編碼、並且同時該圖框內預測模式是定向模 式的情況下，緊接著該方向的兩個相鄰方向也用於MPM。在MPM集合中也考慮了DC模式和平面模式，以填充MPM中的可用點(available spot)，特別是如果上方或上方相鄰區塊不可用或不在圖框內預測中編碼，或者相鄰區塊中的圖框內預測模式不是定向的。如果當前預測區塊的圖框內預測模式是MPM集合中的模式之一，則使用1或2個位元(bin)來發信表示它是其中的哪一個。否則，它與MPM集合中的任何條目都不相同，它將被編碼為非MPM模式。共有32個這樣的非MPM模式並且(5位)固定長度編碼方法來用於發信該模式。33個方向如第2圖所示。在第2圖中，共有33個定向模式，即H，H+1，...，H+8，H-1，...，H-7，V，V+1，...，V+8，V-1，...，V-8。該系統可以擴展到一般情況，其中水平模式和垂直模式分別表示為H模式和V模式。對於其他定向模式，它們可以表示為H+k或V+k模式，其中k=±1,±2等。例如，如果使用如第3圖所示的65個定向模式，則k可以為從±1到±16範圍。
在除了HEVC之外的一些近期的發展中，在現有的33個定向模式之間使用額外的32個定向模式，如第3圖所示。在這種情況下，共有65個模式，包括定向模式以及一些非定向模式。
在HEVC中，一旦沿著預測方向確定了定向模式，則當前區塊中的所有像素將使用相同的預測器值(predictor value)。如果預測器(predictor)落在兩個重構的參考樣本之間，則將使用雙線性濾波器(bi-linear filter)來計算作為兩個相鄰像素的加權平均值的預測器。例如，預測信號P可以根據P= [P1*a+P2*(32-a)]/32來導出，其中P1和P2是兩個相鄰重構樣本，整數a是預測器P到P2的包含在範圍0~32之間的距離。
圖框內梯度濾波的概念是利用沿著圖框內預測方向的梯度信息來提高圖框內預測的質量。對於如第2圖所示的垂直/水平方向(v/h)到垂直/水平+8方向(v+8/h+8)的圖框內預測模式，左側行/上方列相鄰樣本可以定位沿著從上方列/左側行的圖框內預測方向的相應參考。使用相鄰樣本計算的梯度可以用於改善圖框內預測。在第4A圖中示出了垂直定向模式的示例，其中Pij表示在列i和行j處的預測器。AL表示當前區塊的左上角的重構樣本，而Li表示當前區塊的左側行中的重構樣本。新的預測器計算如下：P'ij=Pij+α．(Li-AL), (1)其中α是從0到1的分數，並且根據j來選擇，例如對於j=0，則α=1/2；對於j=1，則α=1/4。P'ij被用作最終預測器。對於水平定向模式，最終預測器P'ij計算如下：P'ij=Pij+α．(Aj-AL), (2)在上述等式中，Aj是上方列中的重構樣本，如第4A圖所示。對於定向模式v+1，...，v+8和h+1，...，h+8，Li或Aj首先沿著圖框內預測的方向獲得其對應的參考樣本RLi或RAj。當RLi或RAj不位於整數像素的位置時，它們通過對當前區塊的上方列或左側行中的整數像素進行插值而產生。v+1，...，v+8定向模式的例子如第4B圖所示。最終預測值P'ij計算如下：P'ij=Pij+α．(Li-RLi). (3)
與垂直定向模式類似，α是從0到1的分數，並且根據圖框內預測的方向和j來選擇。對於h+1，...，h+8定向模式，最終預測器P'ij計算如下：P'ij=Pij+α．(Aj-RAj), (4)其中α是從0到1的分數，並且根據圖框內預測的方向和i來選擇。
圖框內梯度濾波可以應用於HEVC中的所有定向模式，即v+1，...，v+8和h+1，...，h+8。然而，只有當圖框內預測模式為DC，水平或垂直模式時，才使用圖框內梯度濾波。如果圖框內預測是DC模式，則通過圖框內梯度濾波器來對第一列和第一行的樣本進行濾波。如果圖框內預測是水平模式，則通過圖框內梯度濾波器來對第一列的樣本進行濾波。如果圖框內預測是垂直模式，則通過圖框內梯度濾波器來對第一行的樣本進一步濾波。
除了圖框內梯度濾波之外，還提出了另一種稱為雙向圖框內預測(bi-directional Intra prediction)的方法來提高JCT-VC會議中圖框內預測的質量。對於斜線(diagonal)圖框內預測模式，即v+1，...，v+8和h+1，...，h+8，上方列的重構樣本和沿著該方向的左側行的重構樣本的加權和(weighted sum)用來作為圖框內預測器。例如，對於v+1，...，v+8定向模式，如第5圖所示，來自上方列的相鄰樣本的Pij在沿著預測方向的左側行中具有對應的參考樣本Fij。如果Fij不位於整數像素位置，則可以通過在左側行插入整數像素來生成。然後將最終預 測器P'ij計算為Pij和Fij的加權和：P'ij=α．Pij+(1-α)．Fij (5)
其中α是從0到1的分數，並且根據圖框內預測的方向與j(對於v+1，...，v+8定向模式)或i(對於h+1，...，h+8定向模式)來選擇。
在產生圖框內預測器之後，通過轉換(transform)和量化進一步處理預測誤差，並通過熵編碼進行編碼。對於熵編碼，首先將量化係數分為複數個4×4係數組。根據圖框內預測模式和轉換大小選擇不同係數組的編碼順序和在一個係數組中的係數掃描順序。如果轉換大小小於或等於8×8，則圖框內模式依賴掃描(Intra-mode-dependent scan)會用於不同係數組的編碼順序和一個係數組中的係數掃描順序。否則，斜線掃描將用於不同係數組的編碼順序和一個係數組中的係數掃描順序。
此外，可以用若干預測器的加權和來產生用於圖框內預測(即，多參數圖框內預測(multiple parameter Intra prediction)或MPI)的最終預測信號。位置(i，j)的最終預測器PMPI[i，j]定義如下：P MPI [i,j]=(αP HEVC [i,j]+βP MPI [i-1,j]+γP MPI [i,j-1]+δP MPI [i-1,j-1]+4)>>3,其中如第6圖所示，在區塊PMPI[i，j]的外部等於重構信號，P MPI [i,j]=REC[i,j],if i<0∥j<0。
第6圖示出了多參數圖框內預測(multiple parameter Intra prediction，MPI)處理的示例，其中輸入區塊由任意方向圖框內(Arbitrary Directional Intra，ADI)610處理，緊 接著被MPI 620處理。該後處理(即，參數α+β+γ+δ=8)的強度被控制在編碼單元級(CU level)並用高達2位的來發信。
在ITU-I文獻C1046(A.Said等，“Position dependent Intra prediction combination”，ITU-T SG16 COM 16-C1046-E，2015年10月)中，提出了一種使用濾波和未濾波的參考樣本的組合以形成第7圖所示的未濾波(710)和濾波(720)情況的最終預測器p[x，y]。
信號r和s用於表示具有濾波和未濾波的參考的序列。新的預測器p[x，y]將邊界元素r[ ]和q[x，y](即，從濾波樣本s[ ]導出的預測器)的加權值組合如下： 其中,,,是存儲的預測參數，對於大小為16×16的區塊大小，d=1，以及對於較大區塊，d=2，以及 ，是標準化因子。
在文獻JVET-C-0061(X.Xiu等，“Decoder-side Intra Mode derivation”，JVET-C0061，2016年5月)中，公開了使用平面模式進行圖框內預測的插值。根據JVET-C-0061，使用相應的左側參考樣本和上方參考樣本的線性平均值來發信或估計右下角當前預測區塊的樣本。因此，如第8圖所示，使用上方/底部-右側樣本組合和左則/底部-右側樣本組合(810)來雙線性內插最右側行和底部列中的樣本。使用類似的雙線性內插 (820)來預測預測區塊中的剩餘像素，如第8圖所示。
基於模板的(Template Based)圖框內預測
在文獻JVET-C-0061中，提出了解碼器側圖框內預測模式導出方法，其中當前區塊的相鄰重構樣本被用作模板。將模板中的重構像素與相同對應位置中的預測像素進行比較。使用作為模板周圍的相鄰重構像素的參考像素來生成預測像素。對於每個可能的圖框內預測模式，編碼器和解碼器嘗試以類似於HEVC中的模板中的位置的方式來生成預測像素。將預測像素與模板中的複數個重構像素之間的失真進行比較和記錄。選擇具有最小失真的圖框內預測模式作為導出的圖框內預測模式(derived Intra prediction mode)。在模板匹配搜索期間，可用的圖框內預測模式(從67種)增加到129種，參考樣本的內插濾波(從1/32像素)增加到1/64像素。第9圖示出了解碼器側圖框內模式導出(decoder side Intra mode derivation，DIMD)的示例，其中L是當前區塊(即，在第9圖中所示的目標區塊)的上方的像素的模板的高度和當前區塊的左側的像素的模板的寬度。
四叉樹和二叉樹(Quadtree Plus Binary Tree，QTBT)結構
在文獻m37524/COM16-C966(J.An等，“Block partitioning structure for next generation video coding”，MPEG文件m37524和ITU-T SG16文件COM16-C966，2015年10月)中，公開了四叉樹和二叉樹(QTBT)區塊劃分結構。根據QTBT，首先通過四叉樹結構將編碼樹區塊(coding tree block，CTB)進行 劃分。四叉樹葉節點(quadtree leaf node)進一步被二叉樹結構劃分。二叉樹葉節點，即編碼區塊(coding block，CB)，用於預測和轉換，無需進行任何進一步的劃分。對於P和B切片，一個編碼樹單元(CTU)中的亮度和色度CTB共享相同的QTBT結構。對於I切片，通過QTBT結構將亮度CTB劃分為CB，並且通過另一個QTBT結構將兩個色度CTB劃分成色度CB。
作為四叉樹的根節點(root node)的CTU(或I切片的CTB)，首先被四叉樹劃分，其中可以重複一個節點的四叉樹劃分，直到節點達到最小允許四叉樹葉節點大小(MinQTSize)。如果四叉樹葉節點大小不大於最大允許二叉樹根節點大小(MaxBTSize)，則可以通過二叉樹進一步劃分。可以重複一個節點的二叉樹劃分，直到節點達到最小允許二叉樹葉節點大小(MinBTSize)或最大允許二叉樹深度(MaxBTDepth)。二叉樹葉節點，即CU(或I切片的CB)，將用於預測(例如，圖像內或圖像間預測)和轉換，而無需進行任何進一步的劃分。二叉樹分割中有兩種分割類型：對稱水平分割和對稱垂直分割。
第10圖的區塊劃分1010和相應的QTBT結構1020示出了使用QTBT進行區塊劃分的示例。實線表示四叉樹分割，虛線表示二叉樹分割。在二叉樹的每個分割(即，非葉)節點中，用一個標誌來發信，以指示使用哪種分割類型(即，水平或垂直)，其中0表示水平分割，而1表示垂直分割。對於四叉樹分割，不需要指示分割類型，因為它總是將區塊水平和垂直分割成相等大小的4個子區塊。
在上述公開中，JVET(聯合視訊開發團隊)是指由 ITU-T VCEG和ISO/IEC MPEG共同建立的國際組織，以研究下一代視訊編碼技術。基於HEVC參考軟體(HM)構建了稱為JEM(聯合開發模型)的參考軟體。一些新的視訊編碼方法，包括QTBT和65中圖框內預測方向，都包含在JEM軟體中。
為了降低與DIMD相關聯的複雜度和/或增加與DIMD相關聯的編碼效率，公開了各種技術。
本發明公開了一種使用基於模板的圖框內預測的視訊編碼的方法和裝置。根據一種方法，通過從候選組中選擇N個模板匹配候選，為當前區塊確定N個模板匹配候選，並且其中N是正整數。為該N個模板匹配候選評估與模板匹配圖框內預測相關聯的成本，以從該N個模板匹配候選中選擇具有最低成本的一個圖框內模式作為最終圖框內模式。使用圖框內預測對該當前區塊進行編碼或解碼，該圖框內預測具有從包括導出的該最終圖框內模式的圖框內模式組中選擇的當前圖框內模式。候選組包括來自一個或複數個相鄰區塊的一個或複數個相鄰圖框內模式，一個或複數個導出的最可能模式(MPM)，一個或複數個選擇的圖框內模式，一個或複數個先前編碼的圖框內模式或其組合。該一個或複數個選擇的圖框內模式包括由DC，平面，垂直多，水平模式，45度對角線模式和135度對角線模式組成的模式組中的一個或複數個圖框內模式。
根據另一種方法，使用基於模板的圖框內預測來確定目標圖框內模式或圖框內模式候選集合，其中該基於模板的圖框內預測為模板的不同像素位置分配不同的權重，或允許 在成本評估期間在模板匹配候選之間使用不同的濾波器精度以進行插值濾波。使用圖框內預測對當前區塊進行編碼或解碼，該圖框內預測具有從包括目標圖框內模式或圖框內模式候選集合的圖框內模式組中選擇的當前圖框內模式。在一個實施例中，當該插值濾波允許不同的濾波器精度時，對於所有區塊大小使用相同的濾波器精度。在另一個實施例中，當該插值濾波允許不同的濾波器精度時，對於圖框內模式不同的集合使用不同的濾波器精度。在另一個實施例中，當該插值濾波允許不同的濾波器精度時，在用於確定該目標圖框內模式或該圖框內模式候選集合的基於模板的圖框內預測處理期間使用的第一濾波器精度不同於用於生成該當前區塊的最終圖框內預測器的第二濾波器精度。
根據另一種方法，如果為當前區塊選擇基於模板的圖框內預測，則通過將該左側模板的高度減小到小於該當前區塊的高度，將該上方模板的寬度減小到小於該當前區塊的寬度，或者上述兩者，來確定一個或複數個減小尺寸的模板。然後根據該一個或複數個減小尺寸的模板，使用該基於模板的圖框內預測來確定目標圖框內模式或圖框內模式候選集合。然後使用圖框內預測對該當前區塊進行編碼或解碼，該圖框內預測具有從包括該目標圖框內模式或該圖框內模式候選集合的圖框內模式組中選擇的當前圖框內模式。在一個實施例中，該左側模板的高度等於該當前區塊的高度的一半，並且該上方模板的寬度等於該當前區塊的寬度的一半。
根據另一種方法，基於模板的圖框內預測使用包 括分別位於目標區塊的左側和上方的左側模板和上方模板的模板區域。如果為當前區塊選擇了基於模板的圖框內預測，並且當前區塊是非正方形，則選擇具有與該上方模板的第二尺寸不同的該左模板的第一尺寸的該模板區域。根據該模板區域使用該基於模板的圖框內預測，確定目標圖框內模式或圖框內模式候選集合。使用圖框內預測對該當前區塊進行編碼或解碼，該圖框內預測具有從包括該目標圖框內模式或該圖框內模式候選集合的圖框內模式組中選擇的當前圖框內模式。如果該當前區塊的寬度大於該當前區塊的高度，則該上方模板的高度大於該左側模板的寬度。此外，如果該當前區塊的高度大於該當前區塊的寬度，則該左側模板的寬度大於該上方模板的高度。模板區域包括左上角模板以形成L形模板。
根據又一個實施例，如果為當前區塊選擇基於模板的圖框內預測，則識別相鄰參考重構像素，該相鄰參考重構像素包括與該當前區塊的上方和左側相鄰的第一參考重構像素。確定模板區域，該模板區域包括位於該相鄰參考重構像素的左側和上方的重構像素。使用根據該模板區域和該相鄰參考重構像素，使用該基於模板的圖框內預測來確定第一圖框內模式或第一圖框內模式候選集合。使用圖框內預測來對該當前區塊編碼或解碼，該圖框內預測具有從包括第二目標圖框內模式或第二圖框內模式模式候選集合的圖框內模式組中選擇的當前圖框模式，其中，該第二目標圖框內模式或該第二圖框內模式候選集合指向分別與該第一圖框內模式或該第一圖框內模式候選集合的相反方向。該相鄰參考重構像素形成L形像素線。
100‧‧‧區塊
110、120‧‧‧線
610‧‧‧任意方向圖框內
620‧‧‧多參數圖框內預測
710‧‧‧未濾波
720‧‧‧濾波
810‧‧‧左則/底部-右側樣本組合
820‧‧‧雙線性內插
1010‧‧‧區塊劃分
1020‧‧‧QTBT結構
1910、1920、1930、1940‧‧‧步驟
2010、2020、2030‧‧‧步驟
2110、2120、2130、2140‧‧‧步驟
2210、2220、2230、2240、2250‧‧‧步驟
2310、2320、2330、2340、2350‧‧‧步驟
第1圖示出了根據高效視訊編碼(HEVC)應用於轉換單元(TU)的圖框內平滑所涉及的樣本。
第2圖示出了根據高效率視訊編碼的圖框內預測的33個方向，其中方向被指定為H，H+1，...，H+8，H-1，...，H-7，V，V+1，...，V+8，V-1，...，V-8。
第3圖示出了通過在現有的33個定向模式之間增加32個定向模式的圖框內預測的65個方向的示例。
第4A圖示出了用於圖框內預測的垂直定向模式的示例。
第4B圖示出了根據高效視訊編碼的從(v+1)到(v+8)的圖框內預測模式的圖框內梯度濾波的示例。
第5圖示出了根據高效視訊編碼的從(v+1)到(v+8)的圖框內預測模式的雙向預測濾波的示例。
第6圖示出了多參數圖框內預測(MPI)處理的示例。
第7圖示出了未濾波和濾波情況的4×4區塊中的圖框內預測的示例。
第8圖示出了最右側行和底部列(左側)的雙線性插值以及其餘樣本(右側)的雙線性插值的示例。
第9圖示出了解碼器側圖框內模式導出(DIMD)的示例，其中模板對應於當前區塊的上方和當前區塊的左側的像素。
第10圖示出了通過使用QTBT的區塊劃分的示例，其中區塊劃分在左側示出，並且相應的QTBT結構在右側示出。
第11圖示出了用於8×4區塊的模板的示例，其中模板用於基於模板的圖框內預測。
第12圖示出了根據本發明的實施例的用於8×4區塊的L形模板的示例。
第13圖示出了根據本發明的實施例的用於8×4區塊的具有擴展區域的L形模板的示例。
第14圖示出了根據本發明的實施例的用於成本評估的不同模板位置處的模板像素的加權失真(weighted distortion)的示例。
第15圖示出了用於導出基於模板的圖框內預測的圖框內模式候選的相鄰區塊的示例。
第16A圖-第16C圖示出了選擇重構用於模板匹配的逆預測的模板像素和相鄰參考的三個示例。
第17圖示出了DIMD的逆預測的示例，其中評估了45度左上到右下(top-left to bottom-right)的圖框內模式，並且所產生的預測器用於預測在相反方向上模板(例如，右下到左上(bottom-right to top-left))。
第18圖示出了根據本發明的實施例的截斷模板(truncated template)以降低複雜度的示例。
第19圖示出了根據本發明實施例的啟用了基於模板的圖框內預測的示例性編碼系統的流程圖，其中基於模板的圖框內預測搜索N個模板匹配候選以降低複雜度。
第20圖示出了根據本發明的實施例的啟用了基於模板的圖框內預測的示例性編碼系統的流程圖，其中基於模板 的圖框內預測在成本評估期間，為模板的不同像素位置分配不同的權重，或在模板匹配候選之間使用不同的像素精度以進行插值濾波。
第21圖示出了根據本發明的實施例的啟用了基於模板的圖框內預測的示例性編碼系統的流程圖，其中使用截斷的模板大小來降低複雜度。
第22圖示出了根據本發明實施例的啟用了基於模板的圖框內預測的示例性編碼系統的流程圖，其中左側模板和上方模板對於非正方形區塊(non-square block)可具有不同的大小。
第23圖示出了根據本發明的實施例的使用基於模板的圖框內預測的示例性編碼系統的流程圖，其中使用逆向基於模板的(inverse templated-based)圖框內預測。
以下描述係本發明實施的較佳實施例。以下實施例僅用來例舉闡釋本發明之技術特徵，並非用來限制本發明的範疇。本發明保護範圍當視後附的申請專利範圍所界定為準。
在以下方法中，定義了模板，即來自當前區塊的相鄰像素的一組重構像素。對於該模板中的每個像素，使用來自模板的相鄰像素的參考像素來使用可用的圖框內預測模式(角度或非角度(angular or non-angular))之一來生成相應的預測像素。定義成本函數以比較模板中的重構像素與模板中對於給定圖框內預測模式的預測像素之間的失真。模板匹配搜索是指評估模板匹配候選集合中的不同圖框內預測模式之間的成 本函數。
A：非正方形預測區塊的模板匹配
當當前區塊是非正方形區塊時，可以為當前區塊設計不同大小的模板。在一種方法中，較大的值L被分配給當前區塊的較長邊。例如，對於8×4的區塊，當前區塊的左側的模板大小為2×4，當前區塊的上方的模板大小為4×8，如第11圖所示。另一方法中，較大的L值被分配給當前區塊的較短邊。
在一個實施例中，左上角的重構像素可以包括在模板中。例如，如第12圖所示，使用包括左上角重構像素的L字形區域作為模板。
在另一個實施例中，如第13圖所示，右上角和左下角的重構像素也可以包括在模板區域中。
B：模板中不同位置的權重分配
常規地，在模板中的重構像素和預測像素之間的每個位置處的失真在總體成本函數中具有相等的權重。根據本發明的一種方法，將不同的權重分配給模板中的不同位置。以下是改進模板匹配方法的幾個變型。
在該方法的第一變型中，在總成本函數的計算中，可以將不同的權重分配給失真，這取決於模板中的像素到當前區塊的距離。例如，在第14圖中，將權重W1分配給最接近當前區塊的列/行；W2分配給下一列/行；W3被分配給第三列/行等。特別地，較大的權重可以用於更靠近當前區塊的模板中的像素位置，例如W1=1，W2=1/2和W3=1/4。
在第二變型中，可以將不同的權重應用於不同的 位置，這取決於用於生成模板中的預測像素的圖框內預測模式。通常，如果模板左側的參考像素對生成預測像素具有更大的影響，則對模板中位於當前區塊左側的像素分配較大的權重。如果模板上方的參考像素對生成預測像素有更大的影響，則對模板中位於當前區塊上方的像素分配較大的權重。例如，當使用水平狀(horizontal-like)(即，比垂直方向更靠近水平方向的角度)預測模式時，對模板中位於當前區塊左側的像素應用更大的權重。當使用垂直狀(即，比水平方向更靠近垂直方向的角度)預測模式時，對模板中位於當前區塊上方的像素應用更大的權重。根據一個實施例，當使用非角度預測模式時，對模板中的像素施加相等的權重。
在第三變型中，如果當前區塊是非正方形區塊，則可以將不同的權重分配給模板的兩側(即，當前區塊的左側和上方)。在一個實施例中，較大的權重被分配給當前區塊的較長邊中的模板像素。例如，對於8x4區塊，對於當前區塊上方的模板中的像素，可以分配權重W(大於1)。在另一個實施例中，較大的權重被分配給當前區塊的較短側。
在第四變型中，失真由模板的每個像素位置處的亮度樣本和色度樣本兩者組成。與色度樣品的權重相比，分配給亮度樣品的權重可以不同。例如，對於4：2：0顏色格式，4x2形狀的模板包含4x2亮度(Y)樣本和兩個2x1色度(U和V)樣本。該模板的成本函數可以是所有亮度和色度樣本的失真總和，即Cost=Distortion(Luma)+Distortion(Chroma)。成本函數也可以是Cost=W * Distortion(Luma)+Distortion(Chroma)，其中W 是應用於亮度失真的權重，W不等於1。
C：用於模板匹配的插值濾波的像素精度
根據本發明的一種方法，當對使用QTBT結構分區的視訊資料啟用模板匹配時，使用圖框內模式的不同內插濾波器精度。然而，本方法也可以應用於使用編碼單元(CU)結構的情況。圖框內模式可以基於JVET-C0061中公開的模式。
在該方法的第一變型中，當使用Num1(即，35，67，131)種圖框內模式時，所有區塊位置使用1/16像素精度(1/16-pel precision)。
在第二變型中，當使用Num1(即，35，67，131)種圖框內模式時，所有區塊位置使用1/32像素精度。
在第三變型中，當使用Num1(即，35，67，131)種圖框內模式時，所有區塊位置使用1/64像素精度。
在第四變型中，公開了與D部分中公開的本發明的組合，其中不同數量的圖框內模式(例如具有不同數量的圖框內模式的不同區塊大小)可以使用不同精度。對於使用Num1(即35)種圖框內模式的那些區塊，相應的內插濾波器精度可以是1/16像素。對於使用Num2(即67)種圖框內模式的那些區塊，相應的內插濾波器精度可以為1/32像素。對於使用Num3(即131)種圖框內模式的那些區塊，相應的內插濾波器精度可以是1/64像素。
在第五變型中，公開了與D部分中公開的本發明的組合，其中針對不同數量的圖框內模式(例如，具有不同數量的圖框內模式的不同區塊大小)可以使用不同精度。對於使用 Num1(即35)種圖框內模式的那些區塊，相應的內插濾波器精度可以為1/32像素。對於使用Num2(即67)種圖框內模式的那些區塊，相應的內插濾波器精度可以為1/64像素。對於使用Num3(即131)種圖框內模式的那些區塊，相應的內插濾波器精度可以是1/128像素。
在第六變型中，公開了與D部分中公開的本發明的組合，其中針對不同數量的圖框內模式(例如具有不同數量的圖框內模式的不同區塊大小)可以使用不同精度。對於使用Num1(即35)種圖框內模式的那些區塊，相應的內插濾波器精度可以為1/32像素。對於使用Num2(即67)種圖框內模式的那些區塊，相應的內插濾波器精度可以為1/32像素。對於使用Num3(即131)種圖框內模式的那些區塊，相應的內插濾波器精度可以是1/64像素。
在第七變型中，公開了在D部分中公開的本發明的組合，其中針對不同數量的圖框內模式(例如具有不同數量的圖框內模式的不同區塊大小)可以使用不同精度。對於使用模板匹配的所有區塊，相應的插值濾波器精度可以為1/16像素。在另一個實施例中，對於使用模板匹配的所有區塊，相應的內插濾波器精度可以是1/32像素。對於使用模板匹配的所有區塊，相應的插值濾波器精度可以為1/64像素。對於使用模板匹配的所有區塊，相應的插值濾波器精度可以為1/128-pel。
在第八變型中，可以通過模板匹配來導出用於生成當前區塊的最終圖框內預測預測器的內插濾波器精度和內插濾波。例如，當選擇圖框內預測模式時，可以評估不同的內 插濾波器(例如雙線性，雙立方體，蘭茨重採樣濾波器，高斯濾波器等)和/或不同的濾波器精度。將使用最佳濾波器或最佳濾波器精度來生成當前區塊的預測器。
在第九變型中，應用於邊界重構參考像素的平滑濾波器也可以通過模板匹配得到。例如，當選擇圖框內預測模式時，可以評估不同的平滑濾波器(例如雙線性，[1,2,1]濾波器，高斯濾波器，[2,3,6,3,2]濾波器等)。最好的濾波器將用於生成當前區塊的預測器。
D：選擇模板匹配候選模式以降低複雜度
在JVET-C0061中，測試了所有圖框內模式(即，完全搜索的情況)或11組初始候選模式(即，DC，平面和33種HEVC角度圖框內方向的每個第4模式)的集合，以找到導出的圖框內預測模式。測試模式是固定的，並且與相鄰區塊和編碼模式無關。為了降低複雜度，建議使用來自模式組中的圖框內模式，其中模式組包括相鄰區塊的圖框內預測模式，導出的MPM和先前編碼的圖框內預測模式，或者它們的組合，以選擇N個模板匹配候選模式。模式組包括N個候選，其中N是整數，N應該小於或等於可用的圖框內預測模式的總數量。從N個候選模式中導出最佳模板匹配圖框內預測模式。
可以從包括MPM，相鄰區塊的圖框內模式(例如，第15圖中的區塊AL，L0，L1，BL，A0，A1和AR的圖框內模式)，DC，平面，垂直模式，水平模式，斜線(即45度和135度)模式，最新的K編碼的圖框內預測模式，以及上述模式的一部分的相近模式(如果區塊AL使用角度模式L，例如，L+1， L-1，L+QTBT和L-2)的集合中來導出N個候選模式。不在N個候選模式中的圖框內模式將不被測試。然而，如果它們是最佳模式，則它們可以用圖框內預測模式語法來表示。
E：模板匹配的反向預測
在JVET-C0061中的模板匹配中，如第9圖所示，模板的參考重構像素位於模板的左側和上方。在最後的圖框內預測中，將當前區塊的相鄰參考重構像素用於生成圖框內預測預測器。建議使用當前區塊的相鄰參考重構像素作為DIMD的模板的參考樣本。模板像素是當前區塊的相鄰參考重構像素的上方和左側的像素，如第16A-16C圖所示。當執行DIMD時，應用反向預測。例如，如第17圖所示，如果評估45度左上到右下的圖框內模式，則所生成的預測器用於沿相反方向預測模板，例如右下到左上的方向。所提出的反向預測可用於推導圖框內預測模式，平滑濾波器，內插濾波器和/或內插濾波器的精度。
在一個實施例中，模板和當前區塊的相鄰參考重構像素之間的差異(例如梯度值)可以用於沿著預測方向延伸到當前區塊作為圖框內預測預測器。
在下文中，公開了使用模板匹配的與圖框內預測相關聯的附加方法。為方便描述，方法A是指使用模板匹配搜索的最佳結果作為最終圖框內預測模式的方法，方法B是指使用模板匹配搜索的最佳結果作為MPM中的一個候選的方法。
F：在執行DIMD時截斷模板
在一個實施例中，對於模板大小超過最大CU大小時，使用最大CU大小來導出閾值。
在另一個實施例中，在執行DIMD期間(即，使用基於模板的圖框內預測)，所有區塊使用寬度/2和高度/2分別作為當前區塊的上方和左側的模板長度，如第18圖所示。
在另一個實施例中，模板大小可以分別使用當前區塊的上方和左側中的模板像素長度的3/4寬度和3/4高度。在另一個實施例中，模板長度可以使用小於當前區塊的寬度和高度的其他值。
以上公開的發明可以以各種形式併入各種視訊編碼或解碼系統中。例如，可以使用基於硬件的方法來實現本發明，例如專用集體電路(IC)，現場可編程邏輯陣列(FPGA)，數字信號處理器(DSP)，中央處理單元(CPU)等。本發明可以也可以使用在計算機，筆記本電腦或諸如智能電話的移動設備上執行的軟體代碼或韌體代碼來實現。此外，軟體代碼或韌體代碼可以在諸如具有專用處理器(例如視訊編碼引擎或聯合處理器)的CPU的混合型平臺上執行。
第19圖示出了根據本發明的實施例的啟用了基於模板的圖框內預測的示例性編碼系統的流程圖，其中基於模板的圖框內預測搜索N個模板匹配候選以降低複雜度。根據該方法，在步驟1910中，接收與當前圖像中的當前區塊相關聯的輸入資料，其中對當前圖像啟用基於模板的圖框內預測。在步驟1920中，通過從候選組中選擇，為當前區塊確定N個模板匹配候選，並且其中N是正整數。在步驟1930中，為該N個模板匹配候選評估與模板匹配圖框內預測相關的成本，以從N個模板匹配候選中選擇具有最低成本的一個圖框內模式作為最終圖 框內模式。在步驟1940中，使用圖框內預測對當前區塊進行編碼或解碼，該圖框內預測具有從包括導出的最終圖框內模式的圖框內模式組中選擇的當前圖框內模式。
第20圖示出了根據本發明的實施例的啟用了基於模板的圖框內預測的示例性編碼系統的流程圖，其中基於模板的圖框內預測在成本評估期間為模板的不同像素位置分配不同的權重，或在成本評估期間在模板匹配候選之間使用不同的像素精度以進行插值濾波。根據該方法，在步驟2010中，接收與當前圖像中的當前區塊相關聯的輸入資料。在步驟2020中，使用基於模板的圖框內預測確定目標圖框內模式或圖框內模式候選集合，其中基於模板的圖框內預測在成本評估期間為模板的不同像素位置分配不同的權重，或者在成本評估期間在模板匹配候選之間使用不同的像素精度以進行插值濾波。在步驟2030中，使用圖框內預測對當前區塊進行編碼或解碼，該圖框內預測具有從包括目標圖框內模式或模式內候選集合的圖框內模式組中選擇的當前圖框內模式。
第21圖示出了根據本發明的實施例的啟用了基於模板的圖框內預測的示例性編碼系統的流程圖，其中使用截斷的模板大小來降低複雜度。根據該方法，在步驟2110中，接收與當前圖像中的當前區塊相關聯的輸入資料，其中對當前圖像啟用基於模板的圖框內預測，並且基於模板的圖框內預測使用分別位於目標區塊的左側和上方的左側模板和上方模板。在步驟2120中，通過將左側模板的高度減小到小於當前區塊的高度，將上方模板的寬度減小到小於當前區塊的寬度，或者以上 兩者，來確定一個或複數個減小尺寸的模板。在步驟2130中，根據所述一個或複數個減小尺寸的模板，使用基於模板的圖框內預測來確定目標圖框內模式或圖框內模式候選集合。在步驟2140中，使用圖框內預測對當前區塊進行編碼或解碼，該圖框內預測具有從包括目標圖框內模式或圖框內模式候選集合的圖框內模式組中選擇的當前圖框內模式。
第22圖示出了根據本發明的實施例的啟用了基於模板的圖框內預測的示例性編碼系統的流程圖，其中左側和上方模板可以具有用於非正方形區塊的不同大小。根據該方法，在步驟2210中，接收與當前圖像中的當前區塊相關聯的輸入資料，其中對當前圖像啟用基於模板的圖框內預測，並且基於模板的圖框內預測使用分別位於目標區塊的左側和上方的左側模板和上方模板的模板區域。在步驟2220中，檢查當前區塊是否為非正方形。如果結果為“是”，則執行步驟2230至步驟2250。否則(即“否”路徑)，跳過步驟2230至2250。在步驟2230中，選擇具有與上方模板的第二尺寸不同的左側模板的第一尺寸的模板區域。在步驟2240中，根據模板區域使用基於模板的圖框內預測，來確定目標圖框內模式或圖框內模式候選集合。在步驟2250中，使用圖框內預測對當前區塊進行編碼或解碼，該圖框內預測具有從包括目標圖框內模式或圖框內模式候選集合的圖框內模式組中選擇的當前圖框內模式。
第23圖示出了根據本發明的實施例的使用基於模板的圖框內預測的示例性編碼系統的流程圖，其中使用逆向基於模板的圖框內預測。根據該方法，在步驟2310中，接收與當 前圖像中的當前區塊相關聯的輸入資料，其中對當前圖像啟用基於模板的圖框內預測。在步驟2320中，識別相鄰參考重構像素，其包括與當前區塊的上方和左側相鄰的第一參考重構像素。在步驟2330中，確定模板區域，該模板區域包括位於相鄰參考重構像素的左側和上方的重構像素。在步驟2340中，根據模板區域和相鄰參考重構像素，使用基於模板的圖框內預測來確定第一圖框內模式或第一圖框內模式候選集合。在步驟2350中，使用圖框內預測對當前區塊進行編碼或解碼，該圖框內預測具有從包括目標圖框內模式或圖框內模式候選集合的圖框內模式組中選擇的當前圖框內模式。
所示的流程圖旨在說明根據本發明的視訊編碼的示例。在不脫離本發明的精神的情況下，所屬領域中具有習知技術者可以修改每個步驟，重新排列步驟，拆分步驟或組合步驟來實施本發明。在本公開中，已經使用具體的語法和語義來說明實現本發明的實施例的示例。所屬領域中具有習知技術者可以用等同的語法和語義來代替語法和語義來實踐本發明，而不脫離本發明的精神。
以上的描述是使所屬領域中具有習知技術者在本文提供的特定應用和需求下能夠實踐本發明。所屬領域中具有習知技術者將容易地觀察到，在不脫離本發明的精神和範圍內，可以進行多種修改和變動。因此，本發明並非限定在所示和描述的特定的實施例上，而本發明公開是為了符合原則和新穎性的最廣泛的範圍。在上述詳細的描述中，各種具體的細節，用以提供對本發明的透徹的瞭解。儘管如此，將被所屬領 域中具有習知技術者理解的是，本發明能夠被實踐。
如上述所述的本發明的實施例，可以使用硬件、軟體或其組合來實現。例如，本發明的一實施例可以是集成到視訊壓縮芯片中的電路或集成到視訊壓縮軟體中的程序代碼，以執行所描述的處理。本發明的實施例也可以是將在數字信號處理器上執行的程序代碼來執行所描述的處理。本發明還涉及一系列的由計算機處理器、數字信號處理器、微處理器和現場可編程門陣列(FPGA)執行的功能。根據本發明，這些處理器可以被配置為執行特定任務，通過執行定義特定方法的計算機可讀軟體代碼或韌體代碼來實現。軟體代碼或韌體代碼可以用不同的編程語言和不同的格式或樣式來開發。軟體代碼也可以為不同的目標平臺所編譯。然而，軟體代碼的不同的代碼格式、風格和語言，以及配置代碼的其他方式以執行任務，均不脫離本發明之精神和範圍。
本發明可以以其它具體形式實施而不背離其精神或本質特徵。所描述的實施例在所有方面都僅是說明性的而不是限制性。本發明的範圍因此由所附申請專利範圍為准而不是由前面的描述所界定。因此，各種修改、改編以及所描述的實施例的各種特徵的組合可以在不脫離本發明的範圍如申請專利範圍書中闡述的情況下實施。

Claims (8)

  1. 一種視訊編碼和解碼方法，分別由視訊編碼系統和視訊解碼系統使用，所述方法包括：接收與當前圖像中的當前區塊相關聯的輸入資料，其中對當前圖像啟用基於模板的圖框內預測；使用該基於模板的圖框內預測來確定目標圖框內模式或圖框內模式候選集合，其中該基於模板的圖框內預測在成本評估期間為模板的不同像素位置分配不同的權重，或允許在成本評估期間在模板匹配候選之間使用不同的濾波器精度以進行插值濾波；以及使用圖框內預測對當前區塊進行編碼或解碼，該圖框內預測具有從包括目標圖框內模式或圖框內模式候選集合的圖框內模式組中選擇的當前圖框內模式；其中當該插值濾波允許不同的濾波器精度時，在用於確定該目標圖框內模式或該圖框內模式候選集合的基於模板的圖框內預測處理期間使用的第一濾波器精度不同於用於生成該當前區塊的最終圖框內預測器的第二濾波器精度。
  2. 一種視訊編碼和解碼裝置，分別由視訊編碼系統和視訊解碼系統使用，所述裝置包括一個或複數個電子電路或處理器，用於執行以下步驟：接收與當前圖像中的當前區塊相關聯的輸入資料，其中對當前圖像啟用基於模板的圖框內預測；使用該基於模板的圖框內預測來確定目標圖框內模式或圖框內模式候選集合，其中該基於模板的圖框內預測在成本評估期間為模板的不同像素位置分配不同的權重，或允許在成本評估期間在模板匹配候選之間使用不同的濾波器精度以進行插值濾波；以及使用圖框內預測對當前區塊進行編碼或解碼，該圖框內預測具有從包括目標圖框內模式或圖框內模式候選集合的圖框內模式組中選擇的當前圖框內模式；其中當該插值濾波允許不同的濾波器精度時，在用於確定該目標圖框內模式或該圖框內模式候選集合的基於模板的圖框內預測處理期間使用的第一濾波器精度不同於用於生成該當前區塊的最終圖框內預測器的第二濾波器精度。
  3. 一種視訊編碼和解碼方法，分別由視訊編碼系統和視訊解碼系統使用，所述方法包括：接收與當前圖像中的當前區塊相關聯的輸入資料，其中對該當前圖像啟用基於模板的圖框內預測，並且該基於模板的圖框內預測使用包括分別位於目標區塊的左側和上方的左側模板和上方模板的模板區域；以及如果該當前區塊是非正方形：選擇具有與該上方模板的第二尺寸不同的該左模板的第一尺寸的該模板區域；根據該模板區域使用該基於模板的圖框內預測，確定目標圖框內模式或圖框內模式候選集合；以及使用圖框內預測對該當前區塊進行編碼或解碼，該圖框內預測具有從包括該目標圖框內模式或該圖框內模式候選集合的圖框內模式組中選擇的當前圖框內模式；其中如果該當前區塊的寬度大於該當前區塊的高度，則該上方模板的高度大於該左側模板的寬度；以及如果該當前區塊的高度大於該當前區塊的寬度，則該左側模板的寬度大於該上方模板的高度。
  4. 如申請專利範圍第3項所述之方法，其中該模板區域包括左上角模板以形成L形模板。
  5. 一種視訊編碼和解碼裝置，分別由視訊編碼系統和視訊解碼系統使用，該裝置包括一個或複數個電子電路或處理器，用於執行以下步驟：接收與當前圖像中的當前區塊相關聯的輸入資料，其中對該當前圖像啟用基於模板的圖框內預測，並且該基於模板的圖框內預測使用包括分別位於目標區塊的左側和上方的左側模板和上方模板的模板區域；以及如果為該當前區塊選擇該基於模板的圖框內預測，並且該當前區塊是非正方形：選擇具有與該上方模板的第二尺寸不同的該左模板的第一尺寸的該模板區域；根據該模板區域使用該基於模板的圖框內預測，確定目標圖框內模式或圖框內模式候選集合；以及使用圖框內預測對該當前區塊進行編碼或解碼，該圖框內預測具有從包括該目標圖框內模式或該圖框內模式候選集合的圖框內模式組中選擇的當前圖框內模式；其中如果該當前區塊的寬度大於該當前區塊的高度，則該上方模板的高度大於該左側模板的寬度；以及如果該當前區塊的高度大於該當前區塊的寬度，則該左側模板的寬度大於該上方模板的高度。
  6. 一種視訊編碼和解碼方法，分別由視訊編碼系統和視訊解碼系統使用，所述方法包括：接收與當前圖像中的當前區塊相關聯的輸入資料，其中對該當前圖像啟用基於模板的圖框內預測；識別相鄰參考重構像素，該相鄰參考重構像素包括與該當前區塊的上方和左側相鄰的第一參考重構像素；確定模板區域，該模板區域包括位於該相鄰參考重構像素的左側和上方的重構像素；使用根據該模板區域和該相鄰參考重構像素，使用該基於模板的圖框內預測來確定第一圖框內模式或第一圖框內模式候選集合；以及使用圖框內預測來對該當前區塊編碼或解碼，該圖框內預測具有從包括第二目標圖框內模式或第二圖框內模式模式候選集合的圖框內模式組中選擇的當前圖框模式，其中，該第二目標圖框內模式或該第二圖框內模式候選集合指向分別與該第一圖框內模式或該第一圖框內模式候選集合的相反方向。
  7. 如申請專利範圍第6項所述之方法，其中該相鄰參考重構像素形成L形像素線。
  8. 一種視訊編碼和解碼裝置，分別由視訊編碼系統和視訊解碼系統使用，所述裝置包括一個或複數個電子電路或處理器，用於執行以下步驟：接收與當前圖像中的當前區塊相關聯的輸入資料，其中對該當前圖像啟用基於模板的圖框內預測；如果為該當前區塊選擇該基於模板的圖框內預測：識別相鄰參考重構像素，該相鄰參考重構像素包括與該當前區塊的上方和左側相鄰的第一參考重構像素；確定模板區域，該模板區域包括位於該相鄰參考重構像素的左側和上方的重構像素；使用根據該模板區域和該相鄰參考重構像素，使用該基於模板的圖框內預測來確定第一圖框內模式或第一圖框內模式候選集合；以及使用圖框內預測來對該當前區塊編碼或解碼，該圖框內預測具有從包括第二目標圖框內模式或第二圖框內模式模式候選集合的圖框內模式組中選擇的當前圖框模式，其中，該第二目標圖框內模式或該第二圖框內模式候選集合指向分別與該第一圖框內模式或該第一圖框內模式候選集合的相反方向。
TW106118396A 2016-06-03 2017-06-03 用於圖像和視訊編碼的基於模板的圖框內預測的方法和裝置 TWI665907B (zh)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
US201662345074P 2016-06-03 2016-06-03
US62/345,074 2016-06-03
US201662365403P 2016-07-22 2016-07-22
US62/365,403 2016-07-22
US15/611,850 2017-06-02
US15/611,850 US10397569B2 (en) 2016-06-03 2017-06-02 Method and apparatus for template-based intra prediction in image and video coding

Publications (2)

Publication Number Publication Date
TW201811031A TW201811031A (zh) 2018-03-16
TWI665907B true TWI665907B (zh) 2019-07-11

Family

ID=60483589

Family Applications (1)

Application Number Title Priority Date Filing Date
TW106118396A TWI665907B (zh) 2016-06-03 2017-06-03 用於圖像和視訊編碼的基於模板的圖框內預測的方法和裝置

Country Status (2)

Country Link
US (1) US10397569B2 (zh)
TW (1) TWI665907B (zh)

Families Citing this family (54)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180040319A (ko) * 2016-10-12 2018-04-20 가온미디어 주식회사 영상 처리 방법, 그를 이용한 영상 복호화 및 부호화 방법
US10506228B2 (en) * 2016-10-04 2019-12-10 Qualcomm Incorporated Variable number of intra modes for video coding
CN107959855B (zh) * 2016-10-16 2020-02-14 华为技术有限公司 运动补偿预测方法和设备
US10623738B2 (en) 2017-04-06 2020-04-14 Futurewei Technologies, Inc. Noise suppression filter
EP3410722A1 (en) * 2017-05-31 2018-12-05 Thomson Licensing Method and apparatus for low-complexity bi-directional intra prediction in video encoding and decoding
KR102431855B1 (ko) * 2017-05-31 2022-08-11 엘지전자 주식회사 영상 코딩 시스템에서 인트라 예측에 따른 영상 디코딩 방법 및 장치
CN116760978A (zh) * 2017-07-05 2023-09-15 艾锐势有限责任公司 对视频编码、解码的方法和计算机可读存储器或存储装置
CN116866606A (zh) * 2017-07-06 2023-10-10 Lx 半导体科技有限公司 图像编码/解码方法、发送方法和数字存储介质
US11831910B2 (en) * 2017-08-21 2023-11-28 Electronics And Telecommunications Research Institute Method and apparatus for encoding/decoding video, and recording medium storing bit stream
WO2019059107A1 (ja) * 2017-09-20 2019-03-28 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 符号化装置、復号装置、符号化方法及び復号方法
KR102654647B1 (ko) * 2017-10-20 2024-04-04 인텔렉추얼디스커버리 주식회사 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
WO2019137730A1 (en) * 2018-01-11 2019-07-18 Telefonaktiebolaget Lm Ericsson (Publ) Multiple boundary filtering
JP7350757B2 (ja) * 2018-02-15 2023-09-26 アリス エンタープライジズ エルエルシー テンプレートマッチングのための可変テンプレートサイズ
KR20230057481A (ko) * 2018-03-29 2023-04-28 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. 블록 단위의 화상 코딩을 위한 인트라 예측 모드 개념
CN110351565B (zh) * 2018-04-02 2021-08-03 浙江大学 一种参考区域运动矢量导出方法及装置
EP3562158A1 (en) 2018-04-27 2019-10-30 InterDigital VC Holdings, Inc. Method and apparatus for combined intra prediction modes
US10645381B2 (en) * 2018-04-30 2020-05-05 Google Llc Intra-prediction for smooth blocks in image/video
MX2020012608A (es) 2018-06-21 2021-01-29 Kt Corp Metodo y aparato para procesar se?ales de video.
CN116471409A (zh) * 2018-06-25 2023-07-21 Oppo广东移动通信有限公司 帧内预测方法和装置
US11509889B2 (en) 2018-06-27 2022-11-22 Kt Corporation Method and apparatus for processing video signal
CA3101176A1 (en) * 2018-06-27 2020-01-02 Kt Corporation Method and apparatus for processing video signal
CN110809159B (zh) * 2018-08-04 2022-06-07 北京字节跳动网络技术有限公司 更新的mv或推导的mv的裁剪
US11956460B2 (en) * 2018-08-31 2024-04-09 Hulu, LLC Selective template matching in video coding
EP3629579A1 (en) * 2018-09-27 2020-04-01 Ateme Method for image processing and apparatus for implementing the same
EP3629580A1 (en) * 2018-09-27 2020-04-01 Ateme Method for image processing and apparatus for implementing the same
WO2020070612A1 (en) 2018-10-06 2020-04-09 Beijing Bytedance Network Technology Co., Ltd. Improvement for temporal gradient calculating in bio
US11310515B2 (en) * 2018-11-14 2022-04-19 Tencent America LLC Methods and apparatus for improvement for intra-inter prediction mode
JP2022520295A (ja) * 2018-12-25 2022-03-30 オッポ広東移動通信有限公司 デコードのための予測方法及びその装置、並びにコンピュータ記憶媒体
CN110198442B (zh) * 2018-12-27 2023-02-28 腾讯科技（深圳）有限公司 一种用于视频编码的帧内预测方法、装置和存储介质
US11671595B2 (en) * 2019-03-12 2023-06-06 Qualcomm Incorporated Reconstruction of blocks of video data using block size restriction
US11394990B2 (en) 2019-05-09 2022-07-19 Tencent America LLC Method and apparatus for signaling predictor candidate list size
US11212545B2 (en) 2019-06-07 2021-12-28 Tencent America LLC Method and apparatus for improved implicit transform selection
US11356675B2 (en) 2019-07-11 2022-06-07 Tencent America LLC Method and apparatus for video coding
US11616962B2 (en) 2019-07-15 2023-03-28 Tencent America LLC Method and apparatus for video coding
US11375243B2 (en) * 2019-07-17 2022-06-28 Tencent America LLC Method and apparatus for video coding
US11310511B2 (en) 2019-10-09 2022-04-19 Tencent America LLC Method and apparatus for video coding
WO2021242845A1 (en) * 2020-05-27 2021-12-02 Tae Meon Bae Intra prediction
US11582460B2 (en) * 2021-01-13 2023-02-14 Lemon Inc. Techniques for decoding or coding images based on multiple intra-prediction modes
US11388421B1 (en) * 2021-01-13 2022-07-12 Lemon Inc. Usage of templates for decoder-side intra mode derivation
CN117616750A (zh) * 2021-06-23 2024-02-27 交互数字Ce专利控股有限公司 基于模板的帧内模式推导
WO2023014164A1 (ko) * 2021-08-05 2023-02-09 현대자동차주식회사 비디오 부호화/복호화 방법 및 장치
CN117882377A (zh) * 2021-08-19 2024-04-12 联发科技（新加坡）私人有限公司 视频编解码系统中基于模板匹配的运动向量细化
WO2023020390A1 (en) * 2021-08-19 2023-02-23 Mediatek Singapore Pte. Ltd. Method and apparatus for low-latency template matching in video coding system
WO2023036341A1 (en) * 2021-09-13 2023-03-16 FG Innovation Company Limited Device and method for intra predictions in video coding
US20230104476A1 (en) * 2021-10-05 2023-04-06 Tencent America LLC Grouping based adaptive reordering of merge candidate
WO2023128705A1 (ko) * 2021-12-30 2023-07-06 엘지전자 주식회사 인트라 예측 모드를 코딩하는 방법 및 장치
WO2023132622A1 (ko) * 2022-01-04 2023-07-13 엘지전자 주식회사 Dimd 모드 기반 인트라 예측 방법 및 장치
WO2023192336A1 (en) * 2022-03-28 2023-10-05 Beijing Dajia Internet Information Technology Co., Ltd. Methods and devices for high precision intra prediction
EP4258668A1 (en) * 2022-04-07 2023-10-11 Beijing Xiaomi Mobile Software Co., Ltd. Method and apparatus for dimd region-wise adaptive blending, and encoder/decoder including the same
EP4258670A1 (en) * 2022-04-07 2023-10-11 Beijing Xiaomi Mobile Software Co., Ltd. Method and apparatus for dimd position dependent blending, and encoder/decoder including the same
EP4258669A1 (en) * 2022-04-07 2023-10-11 Beijing Xiaomi Mobile Software Co., Ltd. Method and apparatus for dimd intra prediction mode selection in a template area, and encoder/decoder including the same
WO2023212254A1 (en) * 2022-04-27 2023-11-02 Beijing Dajia Internet Information Technology Co., Ltd. Methods and devices for high precision intra prediction
WO2023241340A1 (en) * 2022-06-13 2023-12-21 Mediatek Inc. Hardware for decoder-side intra mode derivation and prediction
CN117440156A (zh) * 2023-09-22 2024-01-23 书行科技(北京)有限公司 视频编码方法、视频发布方法及相关产品

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102308586A (zh) * 2009-02-06 2012-01-04 汤姆森特许公司 用于视频编码器和解码器隐式和半隐式帧内模式信令的方法和装置
CN103024382A (zh) * 2005-07-05 2013-04-03 株式会社Ntt都科摩 动态图像编码装置、方法以及动态图像解码装置、方法
CN104363449A (zh) * 2014-10-31 2015-02-18 华为技术有限公司 图像预测方法及相关装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9327247B2 (en) * 2006-11-21 2016-05-03 Arkema Inc. Caustic resistant membrane
KR101691199B1 (ko) * 2008-04-11 2016-12-30 톰슨 라이센싱 비디오 부호화 및 복호화에서의 템플릿 매칭 예측을 위한 방법 및 장치
JP2010035137A (ja) * 2008-07-01 2010-02-12 Sony Corp 画像処理装置および方法、並びにプログラム
EP2621174A3 (en) * 2009-12-08 2014-02-26 Thomson Licensing Methods and apparatus for adaptive template matching prediction for video encoding and decoding
US8283646B2 (en) * 2010-08-09 2012-10-09 Honeywell International Inc. Flame detector personality module
US9667942B2 (en) * 2012-11-20 2017-05-30 Qualcomm Incorporated Adaptive luminance compensation in three dimensional video coding

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103024382A (zh) * 2005-07-05 2013-04-03 株式会社Ntt都科摩 动态图像编码装置、方法以及动态图像解码装置、方法
CN102308586A (zh) * 2009-02-06 2012-01-04 汤姆森特许公司 用于视频编码器和解码器隐式和半隐式帧内模式信令的方法和装置
CN104363449A (zh) * 2014-10-31 2015-02-18 华为技术有限公司 图像预测方法及相关装置

Also Published As

Publication number Publication date
US20170353719A1 (en) 2017-12-07
US10397569B2 (en) 2019-08-27
TW201811031A (zh) 2018-03-16

Similar Documents

Publication Publication Date Title
TWI665907B (zh) 用於圖像和視訊編碼的基於模板的圖框內預測的方法和裝置
TWI635743B (zh) 用於圖像和視訊編碼的基於模板的圖框內預測的方法和裝置
TWI650003B (zh) 圖像和視訊編解碼中用於畫面內色度編解碼的方法及裝置
US20220141462A1 (en) Apparatus and method for applying artificial neural network to image encoding or decoding
CA2981185C (en) Method and apparatus of non-square intra prediction for chroma components in coding system with quad-tree and binary-tree partition
KR20230010048A (ko) 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
EP3306935A1 (en) Image encoding and decoding method and image decoding device
US20190387222A1 (en) Method and apparatus for intra chroma coding in image and video coding
AU2019217409B2 (en) Method and apparatus of current picture referencing for video coding using adaptive motion vector resolution and sub-block prediction mode
EP3522538A1 (en) Image processing method and apparatus therefor
KR20170116043A (ko) 그래프 기반 변환을 이용하여 비디오 신호를 처리하는 방법 및 장치
US20210067802A1 (en) Video decoding method and device using cross-component prediction, and video encoding method and device using cross-component prediction
WO2015124058A1 (zh) 编解码方法和装置
US11445173B2 (en) Method and apparatus for Intra prediction fusion in image and video coding
US11153574B2 (en) Image encoding method/device, image decoding method/device, and recording medium in which bitstream is stored
KR20190096432A (ko) 인트라 예측 모드 기반 영상 처리 방법 및 이를 위한 장치
US20210250596A1 (en) Image encoding/decoding method and device
CN109845256A (zh) 影像编码方法/装置、影像解码方法/装置以及保存有比特流的记录介质
CN111492655A (zh) 用于视频压缩的基于纹理的分区决定
CN110832854B (zh) 利用插值进行帧内预测的方法和装置
WO2023198105A1 (en) Region-based implicit intra mode derivation and prediction
KR102356317B1 (ko) 화면 내 예측 부호화 또는 복호화 방법 및 장치
KR101886259B1 (ko) 영상 부호화 방법 및 장치, 및 부호화된 비트스트림을 포함하는 기록 매체