TWI665909B - 使用解碼器側圖框內預測推導的視訊編解碼的方法及裝置 - Google Patents

使用解碼器側圖框內預測推導的視訊編解碼的方法及裝置 Download PDF

Info

Publication number
TWI665909B
TWI665909B TW106132091A TW106132091A TWI665909B TW I665909 B TWI665909 B TW I665909B TW 106132091 A TW106132091 A TW 106132091A TW 106132091 A TW106132091 A TW 106132091A TW I665909 B TWI665909 B TW I665909B
Authority
TW
Taiwan
Prior art keywords
mode
frame
predictor
decoder
current block
Prior art date
Application number
TW106132091A
Other languages
English (en)
Other versions
TW201818723A (zh
Inventor
莊子德
陳慶曄
林芷儀
夜静
杉 劉
Original Assignee
聯發科技股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 聯發科技股份有限公司 filed Critical 聯發科技股份有限公司
Publication of TW201818723A publication Critical patent/TW201818723A/zh
Application granted granted Critical
Publication of TWI665909B publication Critical patent/TWI665909B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/55—Motion estimation with spatial constraints, e.g. at image or region borders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本發明公開一種使用解碼器側圖框內模式推導(DIMD)的方法及裝置。根據一個方法，使用雙模式(two-mode)DIMD，其中兩個DIMD模式被推導出。用於這兩個DIMD模式的DIMD預測器被推導出。通過混合這兩個DIMD預測器而推導出最終DIMD預測器。在第二方法中，DIMD模式與正常的圖框內模式進行組合，以推導出組合的DIMD-圖框內預測器。在第三方法中，DIMD模式與圖框間模式進行組合，以推導出組合的DIMD-圖框間預測器。本發明也公開了各種混合方法以將DIMD模式與另一模式進行組合。

Description

使用解碼器側圖框內預測推導的視訊編解碼的方法及裝置 【優先權聲明】
本申請要求如下申請的優先權：2016年09月22日提出的第62/397,953號美國臨時專利申請以及在2016年09月23日提出的第62/398,564號美國臨時專利申請。在此合併參考這些申請案的申請標的。
本發明涉及視訊編解碼中的解碼器側圖框內預測推導，且更具體而言，本發明涉及一種基於模板的圖框內預測，其結合基於另一模板的圖框內預測、正常的圖框內預測或者圖框間預測。
高效率視訊編碼(High Efficiency Video Coding，HEVC)標準是在ITU-T的視訊編碼專家組(Video Coding Experts Group，VCEG)和ISO/IEC的運動圖像專家組(Moving Picture Experts Group，MPEG)標準化組織的聯合視訊項目下開發出來的，這個合作關係被特別地稱為視訊編碼聯合協作小組(Joint Collaborative Team on Video Coding，JCT-VC)的夥伴關 係。在HEVC中。將一個切片(slice)分割成複數個編碼樹單元(coding tree unit，CTU)。在主配置文件中，CTU的最小尺寸和最大尺寸由序列參數集(sequence parameter set，SPS)中的語法元素來指定。所允許的CTU尺寸可以是8x8,16x16,32x32，或者64x64。對於每個切片而言，根據光柵掃描順序來處理該切片內的CTU。
CTU進一步被分割成複數個編碼單元(coding unit，CU)，以適應不同的局部特性。表示為編碼樹的四叉樹用於將CTU分割成複數個CU。CTU尺寸為MxM，其中M為64，32或者16中的一個。CTU可以是單個CU(即，不分割)，或者被分割成四個具有相同尺寸(即，每個尺寸為M/2xM/2)的更小單元，其對應於編碼樹的節點。如果這些單元是該編碼樹的葉節點，則這些單元將變成CU。否則，可以重複四叉樹分割處理，直到節點的尺寸達到如SPS中所指定的最小允許的CU尺寸。遞歸結構中的這種表現結果是由編碼樹(也稱為分割樹結構)指定的。
進一步，根據HEVC，每個CU可以被分割成一個或複數個預測單元(prediction unit，PU)。與該CU一起，PU用作共用預測資訊的基礎代表區塊(basic representative block)。每個PU內部，應用相同的預測處理，並以PU為基礎將相關資訊發送給解碼器。根據PU分割類型，可以將一個CU分割成一、二或四個PU。不同於CU，根據HEVC，PU僅被分割一次。如第二行所示的分區對應於非對稱分區，其中這兩個分區部分具有不同尺寸。
在通過基於PU分割類型的預測處理而獲取殘差區塊之後，根據類似於CU的編碼樹的另一四叉樹結構，CU的預測殘差可以被分割為變換單元(transform unit，TU)。TU是基本代表區塊，其具有用於整數變換(integer transform)和量化的殘差或者變換係數。對於每個TU，使用具有與該TU相同尺寸的一個整數變換來獲取殘差係數。以TU為基礎的量化之後，將這些係數發送給解碼器。
分別定義術語編碼樹區塊(coding tree block，CTB)、編碼區塊(coding block，CB)、預測區塊(prediction block，PB)以及變換區塊(transform block，TB)，以指定分別與CTU、CU、PU和TU相關的一個顏色分量的2D樣本陣列(2-D sample array)。這樣，CTU由一個亮度CTB、兩個色度CTB和相關的語法元素組成。對於CU、PU和TU，相似的關係有效。儘管除了在色度達到某些最小尺寸時的應用之外，這三種分割通常同時應用於亮度和色度。
一種新的區塊分割方法，稱為四叉樹加二叉樹(quadtree plus binary tree，QTBT)結構，已被公開用於下一代視訊編碼(J.An,et al.,“Block partitioning structure for next generation video coding,”MPEG Doc.m37524 and ITU-T SG16 Doc.COM16-C966,Oct.2015)。根據該QTBT結構，首先通過四叉樹結構將CTB進行分割。通過二叉樹結構進一步分割四叉樹葉節點。二叉樹葉節點，即CB，用於預測和轉換，而無需任何進一步的分割。對於P切片和B切片，在一個CTU中的亮度CTB和色度CTB共用相同的QTBT結構。對於I切片， 通過一QTBT結構將亮度CTB分割成複數個CB，且通過另一QTBT結構將兩個色度CTB分割成複數個色度CB。
CTU(或者I切片的CTB)，其是四叉樹的根節點，先被四叉樹分割，其中一個節點的四叉樹分割可以被重複，直到該節點達到最小所允許的四叉樹葉節點尺寸(minimum allowed quadtree leaf node size，MinQTSize)。如果四叉樹葉節點尺寸不大於最大所允許的二叉樹根節點尺寸(maximum allowed binary tree root node size，MaxBTSize)，則通過二叉樹進一步進行分割。一個節點的二叉樹分割可以被重複，直到該節點達到最小所允許的二叉樹葉節點尺寸(minimum allowed binary tree leaf node size，MinBTSize)或者最大所允許的二叉樹深度(maximum allowed binary tree depth，MaxBTDepth)。二叉樹葉節點，即CU(或者I切片的CB)將用於預測(例如，圖框內圖像預測或者圖框間圖像預測)和轉換，而無需任何進一步的分割。二叉樹分割中存在兩種分割類型：對稱水平分割(symmetric horizontal splitting)和對稱垂直分割。
第1圖示出了區塊分割110及其相應的QTBT 120的示例。實線表示四叉樹分割，虛線表示二叉樹分割。在二叉樹的每個分割節點(即非葉節點)內，一個標誌用於指示使用哪種分割類型(水平的或者垂直的)，0表示水平的分割，1表示垂直的分割。
ITU-T VCEG和ISO/IEC MPEG共同成立的被稱為聯合視訊開發小組(joint video exploration team，JVET)的國際標準組織，正在研究下一代視訊編碼技術。被稱為聯合開發模 型(joint exploration model，JEM)的參考軟體是基於HEVC的參考軟體而建立的。一些新的視訊編碼方法，包括QTBT和65種圖框內預測方向，被包含在該JEM軟體中。
一種解碼器側圖框內預測模式推導(decoder side Intra prediction mode derivation，DIMD)也被考慮以用於下一代視訊編碼。在JVET-C0061(X.Xiu,et al.,“Decoder-side intra mode derivation”,JVET of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11,32rd Meeting：Place,Date 2016,Document：JVET-C0061,May,2016)中，公開了該DIMD，其中當前區塊的相鄰重構樣本用作一個模板。在該模板中的重構像素被使用，並與相同位置處的預測像素進行比較。使用與位於該模板周圍的相鄰重構像素對應的參考像素來生成該預測像素。對於每種可能的圖框內預測模式，編碼器和解碼器以與HEVC中圖框內預測相似的方式生成預測像素，以用於該模板中的這些位置。比較並記錄該模板中預測像素和重構像素之間的失真。選擇具有最小失真的圖框內預測模式作為推導的圖框內預測模式。在模板匹配搜索期間，可用的圖框內預測模式的數量(從67)增加到129，且參考樣本的插值濾波器精度(從1/32-像素精度)增加到1/64-像素精度。如第2圖所示，是這類預測的示意圖，其中L是當前區塊的左側像素的模板的寬度以及當前區塊的上方像素的模板的高度。當區塊尺寸為2Nx2N時，從模板匹配搜索中得到的最佳圖框內預測模式用作最終圖框內預測模式。當區塊尺寸為NxN時，從模板匹配搜索中得到的最佳圖框內預測模式被輸入到最可能模式(most probable mode，MPM) 集合中，作為第一候選。MPM中重複的模式被移除。
本發明公開了使用解碼器側圖框內預測推導的方法及裝置。根據一個方法，基於當前區塊的左側模板和上方模板中的至少一個推導出用於該當前區塊的第一解碼器側圖框內模式推導(DIMD)模式。同時，基於該當前區塊的該左側模板和該上方模板中的至少一個推導出用於該當前區塊的第二DIMD模式。隨後，根據從圖框內模式集合中所選擇的目標圖框內模式，將圖框內模式處理應用到該當前區塊，其中該圖框內模式集合包括對應於該第一DIMD模式和該第二解碼器側圖框內模式推導模式的雙模式(two-mode)DIMD。
在第一方法的一個實施例中，該第一DIMD模式是僅基於該當前區塊的該左側模板而推導得到的，且該第二DIMD模式是僅基於該當前區塊的該上方模板而推導得到的。當使用該雙模式DIMD時，該圖框內模式處理包括：通過將對應於該第一DIMD模式的第一DIMD預測器與對應於該第二DIMD模式的第二DIMD預測器進行混合，以產生雙模式解碼器側圖框內模式推導預測器。例如，該雙模式DIMD預測器是根據加權和，通過使用均勻混合來對該第一DIMD預測器和該第二DIMD預測器進行組合而產生的，其中複數個加權因數對於整個當前區塊是均勻的。
在另一實施例中，該雙模式解碼器側圖框內模式推導預測器是根據加權和，通過使用位置依賴的混合(position-dependent blending)來對該第一DIMD預測器和該 DIMD預測器進行組合而產生的，其中複數個加權因數是位置依賴的。沿著左上到右下的對角線方向，該當前區塊被分割成右上區域和左下區域；該右上區域中複數個像素的第一預測器是根據(n * first DIMD predictor+m * second DIMD predictor+rounding_offset)/(m+n)而確定的；左下區域中複數個像素的第二預測器是根據(m * first DIMD predictor+n * second DIMD predictor+rounding_offset)/(m+n)而確定的；其中rounding_offset是取整運算(rounding operation)的偏移值，m和n是兩個權重因數。該雙模式DIMD預測器也可以使用基於該當前區塊的四個角的值的雙線性加權而產生，其中該四個角的值分別是左下角處的該第一DIMD預測器、右上角處的該第二DIMD預測器以及左上角處和右下角處的該第一DIMD預測器與該第二DIMD預測器的平均值。
在又一實施例中，當使用該雙模式DIMD時，該圖框內模式處理包括：基於從該第一DIMD模式和該第二DIMD模式中選擇的最佳模式，推導出最可能模式(MPM)、將係數掃描應用到該當前區塊、將不可分離的次級變換(NSST)應用到該當前區塊、將增強多變換(EMT)應用到該當前區塊中的至少一種或其組合。
根據第二方法，從圖框內模式集合中確定正常的圖框內模式(normal Intra mode)。基於當前區塊的左側模板和上方模板中的至少一個，推導出該當前區塊的目標DIMD模式。通過將對應於該目標DIMD模式的解碼器側圖框內模式推導預測器與對應於該正常的圖框內模式的正常的圖框內預測 器(normal Intra predictor)進行混合以產生組合的圖框內預測器。使用該組合的圖框內預測器，以將圖框內模式處理應用到該當前區塊。
在第二方法的一個實施例中，推導出該當前區塊的目標DIMD模式包括：基於該當前區塊的左側模板和上方模板推導出常規DIMD模式(regular DIMD mode)；並且若該常規DIMD模式不同於該正常的圖框內模式，則使用該常規DIMD模式作為該目標解碼器側圖框內模式推導模式。若該常規DIMD模式等同於該正常的圖框內模式，則對應於僅基於該當前區塊的該左側模板推導出的第一DIMD模式、僅基於該當前區塊的該上方模板推導出的第二DIMD模式、或第一DIMD模式和第二DIMD模式中的最佳模式的另一個DIMD模式，將會被選擇作為該目標DIMD模式。若該第一DIMD模式和該第二DIMD模式均等同於該正常的圖框內模式，選擇預定義的圖框內模式(例如，DC或平面模式)作為所述目標DIMD模式。
在第二方法的一個實施例中，若該正常的圖框內模式為一非角度模式，從角度模式集合中推導出最佳DIMD角度模式，並使用該最佳DIMD角度模式作為該目標DIMD模式。若該正常的圖框內模式是一角度模式，推導出該當前區塊的最佳DIMD模式；若該最佳DIMD模式為角度模式，則判斷該正常的圖框內模式與該最佳DIMD角度模式之間的角度差是否小於閾值；若小於，則推導出另一最佳DIMD非角度模式作為該目標DIMD模式；以及若不小於，則使用該最佳DIMD角度模式作為該目標DIMD模式。
該組合的圖框內預測器是經由混合該DIMD預測器和該正常的圖框內預測器而產生。該混合可為均勻混合或者位置依賴的混合。對於位置依賴的混合，沿著左下到右上的對角線方向，該當前區塊被分割成左上區域和右下區域，且不同加權因數用於這兩個區域。在另一示例中，該當前區塊被分割成複數個列帶/行帶，且複數個加權因數依賴於像素所在位置處的目標列帶/行帶。在又一示例中，該組合的圖框內預測器是使用基於該當前區塊的四個角的值的雙線性加權而產生的，其中該四個角的值分別是左上角處的該DIMD預測器、右下角處的該正常的圖框內預測器、以及右上角處和左下角處的該DIMD預測器與該正常的圖框內預測器的平均值。
根據第三方法，若圖框間-DIMD模式用於該當前圖像的當前區塊，則：基於該當前區塊的左側模板和上方模板推導出用於該當前圖像中該當前區塊的使用DIMD所推導出之圖框內模式；推導出對應於該使用DIMD所推導出之圖框內模式的該當前區塊的DIMD預測器；推導出對應於該當前區塊的圖框間模式的圖框間預測器；通過將該DIMD預測器與該圖框間預測器進行混合以產生組合的圖框間-DIMD預測器；以及對該當前區塊進行編碼或者解碼時，使用用於圖框間預測的該組合的圖框間-DIMD預測器，或者將該組合的圖框間-DIMD預測器包含到該當前區塊的候選列表中。
該組合的圖框間-DIMD預測器是經由混合該DIMD預測器和該圖框間預測器而產生。該混合可為均勻混合或者位置依賴的混合。對於位置依賴的混合，沿著左下到右上 的對角線方向，該當前區塊被分割成左上區域和右下區域，且不同的加權因數用於這兩個區域。在另一示例中，該當前區塊被分割成複數個列帶/行帶，且複數個加權因數依賴於像素所在位置處的目標列帶/行帶。在又一示例中，該組合的圖框間-DIMD預測器是使用基於該當前區塊的四個角的值的雙線性加權而產生的，其中該四個角的值分別是左上角處的該DIMD預測器、右下角處的該圖框間預測器、以及右上角處和左下角處的該DIMD預測器與該圖框間預測器的平均值。
當該組合的圖框間-DIMD預測器是使用均勻混合而產生的，且該組合的圖框間-DIMD預測器被用於該當前區塊的圖框間預測時，當前像素被修改為修改的當前像素以包含一部份的對應於該組合的圖框間-DIMD預測器的DIMD預測器，使得該當前像素與該組合的圖框間-DIMD預測器之間的殘差可經由該修改的當前像素與該圖框間預測器之間的差計算而得。
在另一實施例中，該複數個加權因數進一步依賴於該使用DIMD所推導出之圖框內模式。例如，若該使用DIMD所推導出之圖框內模式是角度模式並接近與水平圖框內模式，則該複數個加權因數進一步依賴於當前像素相對於該當前區塊的垂直邊緣的水平距離。若該使用DIMD所推導出之圖框內模式是角度模式並接近於垂直圖框內模式，則該複數個加權因數進一步依賴於該當前像素相對於該當前區塊的水平邊緣的垂直距離。在另一示例中，該當前區塊在與該DIMD-推導圖框內模式的方向正交的目標方向上被分割成複數個帶，則該複數個加權因數進一步依賴於當前像素所在位置處的目標帶。
在一個實施例中，該圖框間-DIMD模式是否用於該當前圖像的該當前區塊由位元流中的標誌來表示。在另一個實施例中，該組合的圖框間-DIMD預測器是根據加權因數，通過使用混合來線性組合該DIMD預測器和該圖框間預測器而產生的，對於在合併模式中編碼的該當前區塊和在高級運動向量預測模式中編碼的該當前區塊，該複數個加權因數是不同的。
110‧‧‧區塊分割
120‧‧‧QTBT
310、415、425、615、625‧‧‧區塊
710、1015、1025、1110‧‧‧區塊
410、420、610、620‧‧‧參考區塊
1010、1020‧‧‧參考區塊
910~930、1510~1540‧‧‧步驟
1610~1650、1710~1770‧‧‧步驟
第1圖是使用四叉樹結構將編碼樹單元分割成編碼單元的區塊分割示例。
第2圖是解碼器側圖框內模式推導(DIMD)的示例，其中該模板對應於當前區塊的頂部和當前區塊的左側的像素。
第3圖是用於DIMD的左側模板和上方模板，其中目標區塊可以是當前區塊。
第4圖是用於雙模式DIMD的位置依賴的混合(blending)的示例，其中CU沿著左上到右下的對角線方向被分割成右上區域和左下區域，且不同的權重用於這兩個區域。
第5圖是根據雙線性加權(bilinear weighting)的用於雙模式DIMD的位置依賴的混合的示例，其中示出了四個角的權重因數。
第6圖是用於組合的DIMD與正常的圖框內模式的位置依賴的混合的一示例，其中CU沿著右上到左下的對角線方向被分割成左上區域和右下區域，且不同的權重用於這兩 個區域。
第7圖是用於組合的DIMD與正常的圖框內模式的位置依賴的混合的另一示例，其中CU被分割成複數個列帶/行帶(band)，且加權因數依賴於像素所在位置的目標列帶/行帶。
第8圖是根據雙線性加權的用於組合的DIMD與正常的圖框內模式的位置依賴的混合的示例，其中示出了四個角的權重因數。
第9圖是基於發信的正常的圖框內模式的用於組合的DIMD與正常的圖框內模式的混合的示例。
第10圖是用於組合的DIMD與圖框間模式的位置依賴的混合的一示例，其中CU沿著右上到左下的對角線方向被分割成左上區域和右下區域，且不同的權重用於這兩個區域。
第11圖是用於組合的DIMD與圖框間模式的位置依賴的混合的另一示例，其中CU被分割成複數個列帶/行帶，且加權因數依賴於像素所在位置的目標列帶/行帶。
第12圖是根據線性加權的用於組合的DIMD與圖框間模式的位置依賴的混合的示例，其中示出了四個角的權重因數。
第13A圖是用於推導模式(derived mode)為角度模並接近垂直模式的情況下的位置依賴的混合的示例，其中根據該區塊內目標像素的垂直距離使用四個不同的權重係數。
第13B圖是用於推導模式為角度模並接近水平模式的情 況下的位置依賴的混合的示例，其中根據該區塊內目標像素的水平距離使用四個不同的權重係數。
第14A圖是位置依賴的混合的示例，其中區塊被分割成複數個均勻加權帶(uniform weighting band)，該複數個均勻加權帶位於與角度圖框內預測方向正交的方向上的。
第14B圖是位置依賴的混合的示例，其中區塊被分割成複數個非均勻加權帶，該複數個非均勻加權帶位於與角度圖框內預測方向正交的方向上的。
第15圖是使用雙模式DIMD的示例性編解碼系統的流程圖。
第16圖是使用組合的DIMD與正常的圖框內模式的示例性編解碼系統的流程圖。
第17圖是使用組合的DIMD與正常的圖框間模式的示例性編解碼系統的流程圖。
以下描述為本發明的較佳實施例。以下實施例僅用來舉例闡釋本發明的技術特徵，並非用以限定本發明。本發明的保護範圍當視權利要求書所界定為准。
如上所述，JVET-C0061中所公開的DIMD使用推導的圖框內預測模式作為最終圖框內預測模式，以用於2Nx2N區塊，並使用推導的圖框內預測模式作為MPM集合的第一候選以用於NxN區塊。
在本發明中，DIMD被拓展以包含第二模式來形成一種組合模式(combined mode)，從而產生用於當前區塊的組合 預測器(combined predictor)，其中該第二模式可以是另一種DIMD模式、來自於編碼器的正常的圖框內模式或者圖框間模式(，例如，合併模式(Merge mode)或者高級運動向量預測(Advanced Motion Vector Prediction，AMVP)模式)。下面將公開不同的聯合DIMD圖框內預測技術，以提高視訊編解碼系統的編解碼性能。
雙模式DIMD
在JVET-C0061中，通過使用左側模板和上方模板，DIMD處理僅推導出一個最佳圖框內模式。在本實施例中，該左側模板和上方模板均用於推導出兩個不同的DIMD推導圖框內模式(DIMD derived Intra mode)。如第3圖所示，是該左側模板和上方模板，其中區塊310對應於目標區塊，其可以是當前區塊。根據雙模式DIMD技術的一個實施例，一個DIMD圖框內模式是通過僅使用該上方模板而推導出來的，另一個DIMD圖框內模式是通過僅使用該左側模板而推導出來的。為了簡便，通過僅使用該上方模板而推導的DIMD圖框內模式被稱為僅上方模板(above-template-only)的DIMD，且通過僅使用該左側模板而推導的DIMD被稱為僅左側模板(left-template-only)的DIMD。隨後，通過基於上方模板和左側模板評估性能，該雙模式DIMD將從這兩個模式(即僅上方模板的DIMD和僅左側模板的DIMD)中推導出最佳模式。
該最佳模式可以被存儲在圖框內模式緩衝器中，以用於各種應用，例如MPM編碼、係數掃描、不可分離的次級變換(Non-Separable Secondary Transform，NSST)和增強多重變換(Enhanced Multiple Transforms，EMT)處理。該圖框內預測殘差通常被變換和量化，然後，通過係數掃描，該量化後的變換區塊從二維資料被轉換成一維資料。在更高級的視訊編解碼中，掃描模型(scanning pattern)可以是依賴於為該區塊所選擇的該圖框內模式。該NSST和EMT處理是新的編解碼工具，其被考慮用於下一代視訊編碼標準。在下一代視訊編碼中，視訊轉碼器被允許將前向初級變換(forward primary transform)應用到殘差區塊，隨後使用次級變換(secondary transform)。在使用次級變換之後，量化該變換後的區塊。該次級變換可以是旋轉變換(rotational transform，ROT)。也可以使用NSST。同時，該EMT技術被提出用於圖框內預測殘差和圖框間預測殘差。在EMT中，CU級(CU-level)標誌中的EMT標誌可以被發信以指示是否僅使用傳統的DCT-2(二維離散餘弦變換)類型變換或者其他非DCT2類型變換。如果CU級EMT標誌被發信為1(即表示非DCT2類型變換)，則該CU級或者TU級中的EMT索引可以被發信以表示為該TU所選擇的非DCT2類型變換。
在一個實施例中，通過使用左側模板而推導的DIMD模式(即僅左側模板的DIMD)被存儲在圖框內模式緩衝器中。在又一實施例中，通過使用上方模板而推導的DIMD(即僅上方模板的DIMD)被存儲在圖框內模式緩衝器中。在另一實施例中，這兩個推導模式可以是在圖框內預測模式集合中，通過評估基於該左側模板和上方模板的成本函數而獲得的具有最佳成本和次最佳成本的圖框內模式。
在另一實施例中，通過這兩個DIMD推導圖框內預測器的加權和，產生當前區塊的預測器。如下所示，不同的混合方法可以用於推導該預測器。
均勻混合：
Predictor=(a*left_predictor+b*above_predictor+rounding_offset)/(a+b). (1)
其中，a和b可以是{1,1}或者{3,1}。
在上述等式中，Predictor是用於該區塊中給定像素的最終的雙模式DIDM預測器，left_predictor對應於用於該區塊中該給定像素的由左側模板推導的預測器，above_predictor對應於用於該區塊中該給定像素的上方模板推導的預測器，以及rounding_offset是偏移值。在上述等式中，省略該像素位置的座標。參數a和參數b(也被稱為加權因數)是獨立於該像素位置的約束條件。也就是說，用於該均勻混合的該加權因數對於整個當前區塊而言是均勻的。
位置依賴的混合：
加權可以是位置依賴的。例如，當前區塊被分割成複數個區域。對於不同的區域而言，等式(1)中的加權因數a和b可以不同。例如，如第4圖所示，沿著左上到右下的對角線方向，CU被分割成右上區域和左下區域。在第4圖中，用於僅上方模板的預測器的加權如參考區塊410所示，而用於僅左側模板的預測器的加權如參考區塊420所示。區塊415和區塊425對應於正在處理的當前區塊。在右上區域中的預測器像素Predictor_UR為： Predictor_UR=(n*left_predictor+m*above_predictor+rounding_offset)/(m+n). (2)
在左下區域中的預測器像素Predictor_LL為：Predictor_LL=(m * left_predictor+n * above_predictor+rounding_offset)/(m+n). (3)
如第5圖所示，位置依賴的混合也可以使用雙線性加權。四個角的預測器值如第5圖所示，其中左下角的預測器值(在第5圖中被表示為Left)等於由左側模板推導的左側模式預測器，右上角的預測器值(在第5圖中被表示為Above)等於由上方模板推導的上方模式預測器，左上角和右下角的預測器值均是該左側模式預測器和該上方模式預測器的平均。對於當前CU內的像素，其預測器值I(i,j)可以被推導為：
其中，A是位於(i,j)位置處的像素的上方模式預測器，B是位於(i,j)位置處的像素的左側模式預測器，W是該區塊的寬度，H是該區塊的高度。
DIMD的變形
在DIMD的原始設計中，基於在解碼器側的模板匹配而推導出圖框內模式。但是，存在在位元流中被發信的其他圖框內預測的輔助資訊(side information)。例如，用於產生預測器的參考線(reference line)的選擇、圖框內平滑濾波器 (Intra smooth filter)的選擇和圖框內插值濾波器(Intra interpolation filter)的選擇在該位元流中被發信。因此，為了進一步減少該位元流中的輔助資訊，本發明也公開了基於DIMD概念的方法，以推導出解碼器側處的輔助資訊。例如，模板匹配可以被用於確定哪個參考線應用於產生具有或者不具有位元流中發信的圖框內模式的圖框內預測。在另一實施例中，圖框內預測中支持不同圖框內插值濾波器，且通過使用具有或者不具有位元流中發信的圖框內模式的模板匹配，可以評估該圖框內插值濾波器。在另一實施例中，通過使用模板匹配，可以測試不同圖框內平滑濾波器，並且最佳的一個將被用於產生具有或者不具有該位元流中發信的圖框內模式的最終圖框內預測器。所有輔助資訊可以基於模板匹配而被推導出，或者部分輔助資訊被編碼在該位元流中，而其他輔助資訊通過使用解碼器側的模板匹配和已編碼資訊而被確定。
DIMD解析問題
當使用DIMD時，基於模板匹配推導出圖框內預測模式。然而，在解碼器側處的解析階段，一些語法解析和處理依賴於當前區塊與一個或複數個相鄰區塊的該圖框內預測模式。例如，當對係數的重要標誌進行解碼時，可以使用不同的掃描方向(例如，垂直掃描、水平掃描或者對角線掃描)以用於不同的圖框內模式。不同係數掃描可以使用不同的上下文以解析該重要標誌。因此，在解析該係數之前，對相鄰像素進行重構，使得DIMD可以使用該重構像素以推導出當前TU的圖框內模式。此外，殘差DPCM(residual DPCM，RDPCM)需要當 前TU的圖框內模式，以確定是否使用標誌隱藏。如果當前PU以NxN分割被編碼，則DIMD圖框內模式推導也影響相鄰區塊和當前PU的MPM列表推導。當使用DIMD時，引起解析問題，則解析和重構不能被分為兩個階段。除了語法解析，一些解碼處理也依賴於當前PU/TU的圖框內模式。例如，EMT、NSST和參考樣本適應濾波器(reference sample adaptive filter，RSAF)的處理均基於該圖框內模式。RSAF是一種新的編解碼工具，其被考慮用於下一代視訊編解碼，其中，該適應濾波器在進行平滑化之前對參考樣本進行分段(segment)，並將不同濾波器應用到不同的分段。
在EMT中，對於每個圖框內預測模式而言，存在兩種不同的變換，以供行變換(column transform)和列變換(row transform)選擇。兩個標誌被發信，以用於選擇行變換和列變換。在NSST中，DC模式和平面模式(planar mode)具有三種候選變換，而其他模式具有四種候選變換。截斷一元碼(truncated unary code)用於發信變換索引(transform index)。因此，對於DC模式和平面模式，多達2個碼元(bin)可以被發信。對於其他模式，多達3個碼元可以被發信。因此，NSST的候選變換解析是依賴於圖框內模式的。
為了克服與DIMD相關的解析問題，下面公開了兩種方法。
方法1：總是使用一個預定義掃描+統一用於依賴於圖框內模式的編碼工具的解析。
在用於下一代視訊編碼的參考軟體中，使用一些 依賴於圖框內模式的編碼工具。例如，EMT和NSST是兩個依賴於圖框內模式的編碼工具。對於EMT，每個圖框內模式皆會使用兩個標誌，因此EMT不會有解析問題。但是，對於NSST，不同圖框內模式需要解析不同數量的碼元。在本方法中，提出了兩種變形。第一，預定義掃描被用於係數編解碼。該預定義掃描可以是對角線掃描、垂直掃描、水平掃描或者Z字形掃描(zig-zag scan)。第二，NSST的碼字長度(codeword-length)是統一的。當解碼NSST語法時，相同的語法和上下文構成(context formation)被用於所有種類的圖框內預測模式。例如，所有圖框內模式具有三種NSST候選變換。又例如，所有圖框內模式具有四種NSST候選變換。對於RDPCM，標誌隱藏要麼一直被用於所有區塊，要麼一直不被用於所有區塊。又例如，標誌隱藏要麼一直被用於使用DIMD編碼之區塊，要麼一直不被用於使用DIMD編碼之區塊。
此外，在用於下一代視訊編解碼的參考軟體中，使用圖框內MPM編解碼，且MPM索引編解碼的上下文選擇也是依賴於模式的。根據方法1，其提出了使用獨立於圖框內模式的編解碼，以用於MPM索引。因此，根據方法1，MPM索引的上下文選擇僅依賴於碼元索引。
方法2：DIMD+正常的圖框內模式
通過使用正常的圖框內模式和DIMD，本方法了解決解析問題。當前區塊的預測器是正常的圖框內預測器與DIMD推導圖框內預測器的加權和。當使用normal_intra_DIMD模式時，發信的正常的圖框內模式用於係數掃描、NSST、EMT 和MPM推導。
在方法2的一個實施例中，推導出兩個不同的DIMD。一個是通過使用上方模板和左側模板而推導得到的(即常規DIMD)。另一個可以從該左側模板或者上方模板中推導出來，或者是來自於如上所述的左側模板和上方模板的最佳模式。如果第一推導模式等於發信的圖框內模式，則使用第二推導模式。在一個示例中，如果兩個推導DIMD模式均等于發信的圖框內模式，則使用預定義的圖框內模式作為用於當前區塊的DIMD模式。
如下所示，不同的混合方法可以被用於正常的圖框內預測器與DIMD推導圖框內預測器的加權和。
均勻混合：
Predictor=(a*Intra_predictor+b*DIMD_predictor+rounding_offset)/(a+b), (5)
其中，參數a和參數b(也被稱為加權因數)可以是{1,1}或者{3,1}。
在上述等式中，Predictor是用於該區塊中給定像素的混合預測器(blended predictor)，Intra_predictor對應於用於該區塊中該給定像素的正常的圖框內預測器，DIMD_predictor對應於用於該區塊中該給定像素的DIMD推導圖框內預測器，以及rounding_offset是偏移值。在上述等式中，可省略該像素位置的座標。參數a和參數b是獨立於該像素位置的約束條件。
位置依賴的混合：
加權可以是位置依賴的。例如，當前區塊被分割 成複數個區域。對於不同的區域而言，等式(5)中a和b的加權因數可以不同。例如，如第6圖所示，CU沿著左下到右上的對角線方向被分割成左上區域和右下區域。在第6圖中，用於DIMD預測器的加權如參考區塊610所示，而用於正常的圖框內預測器的加權如參考區塊620所示。區塊615和區塊625對應於正在處理的當前區塊。在左上區域中的預測器像素Predictor_UL為：Predictor_UL=(n * Intra_predictor+m * DIMD_predictor+rounding_offset)/(m+n). (6)
在右下區域中的預測器像素Predictor_LR為：Predictor_LR=(m * Intra_predictor+n * DIMD_predictor+rounding_offset)/(m+n). (7)
如第7圖所示，另一種位置依賴的混合可以是區塊列/行依賴的。CU被分割成複數個列帶/行帶。列高或者行寬可以是4或者(CU_height/N)/(CU_width/M)。對於不同的列帶/行帶，加權值可以不相同。在第7圖中，區塊710對應於當前CU，且用於各個行帶/列帶的DIMD預測器與正常的圖框內預測器的加權分別是{1,0.75,0.5,0.25,0}和{0,0.25,0.5,0.75,1}。
如第8圖所示，位置依賴的混合也可以使用雙線性加權。四個角的預測器值如第8圖所示，其中左上角的預測器值(在第8圖中被表示為DIMD)等於DIMD預測器，右下角的預測器值(在第8圖中被表示為Intra)等於正常的圖框內預測器，右上角和左下角的預測器值均是該DIMD預測器和該正常 的圖框內預測器的平均。對於當前CU內的像素，其預測器值I(i,j)可以被推導為：
其中，A是位於(i,j)位置處的像素的該DIMD預測器，B是位於(i,j)位置處的像素的該正常的圖框內預測器，W是該區塊的寬度，H是該區塊的高度。
在另一實施例中，DIMD推導圖框內模式可以依賴於發信的正常的圖框內模式。第9圖示出了與依賴於發信的正常的圖框內模式的DIMD推導圖框內模式相關的決策樹的示例。如果該發信的圖框內模式是非角度模式(例如，DC模式或者平面模式)，則產生最佳DIMD推導角度模式，並與該正常的圖框內模式一起被用於混合(步驟910)。否則(即intraMode==Angular)，如果該發信的圖框內模式是角度模式，則推導出用於當前區塊的最佳DIMD模式。如果該最佳DIMD模式是角度模式，則推導出該發信的圖框內模式與該最佳DIMD推導模式之間的角度差。如果該角度差小於或者等於閾值T，則平面模式或者另一DIMD推導最佳非角度模式被用於混合(步驟920)。如果該角度差大於閾值T，則最佳DIMD推導角度模式被用於混合(步驟930)。
在另一實施例中，DIMD推導圖框內模式可以依賴於該發信的正常的圖框內模式。DIMD從角度模式(例如，HEVC中模式2到模式34)中推導出最佳模式，並從非角度模式(例如 DC模式或者平面模式)中推導出最佳模式。如果該發信的圖框內模式是非角度模式，最佳DIMD推導角度模式與正常的圖框內模式一起用於混合。否則(即intraMode==Angular)，如果發信的圖框內模式是角度模式，則發信的圖框內模式與最佳DIMD推導角度模式之間的角度差被推導出。如果該角度差小於或者等於閾值T，則平面模式或者最佳DIMD非角度模式被用於混合。如果該角度差大於閾值T，則最佳DIMD推導角度模式被用於混合。
組合的DIMD與圖框間模式
在JVET-C0061，DIMD可以隱性推導出用於解碼器側中圖框內預測的圖框內模式，以節省發信該圖框內模式的位元速率。在上述說明中，公開了雙模式DIMD方法和組合的DIMD與正常的圖框內模式。在本發明中，進一步提出將DIMD推導圖框內模式與圖框間模式進行組合以產生組合預測模式(combined prediction mode)。
根據本方法，對於每個圖框間CU或者PU，inter_DIMD_combine_flag被發信。如果該inter_DIMD_combine_flag為真，則如第3圖所示，當前CU或者當前PU的左側模板和上方模板用於產生該DIMD推導圖框內模式。也產生相應的圖框內預測器。圖框內預測器和圖框間預測器被組合以產生新的組合模式預測器。
如下所示，不同的混合方法可以被用於圖框間預測器與DIMD推導圖框內預測器的加權和。
均勻混合：
Predictor=(a*Inter_predictor+b*DIMD_predictor+rounding_offset)/(a+b). (9)
其中，參數a和參數b(也被稱為加權因數)可以是{1,1}或者{3,1}。在上述等式中，Predictor是用於該區塊中給定像素的混合預測器(blended predictor)，Inter_predictor對應於用於該區塊中該給定像素的圖框間預測器，其對應於用於當前CU或PU的圖框間模式。
對於均勻混合，當DIMD模式在編碼器側處被推導出時，圖框間運動估計(Inter motion estimation)可以被修改以查詢最佳結果。例如，如果使用加權值{a,b}，則最終預測器等於(a*inter_predictor+b*DIMD_predictor)/(a+b)。殘差將被計算為(Curr-(a*inter_predictor+b*DIMD_predictor)/(a+b))，其中Curr對應於當前像素。在典型的編碼器中，性能標準通常被用於編碼器，以在很多候選中選擇最佳編碼。當使用該組合的圖框間與DIMD模式時，儘管推導DIMD預測器在給定位置處是固定的，該推導DIMD預測器得用於評估所有候選的性能。為了使得該組合的圖框間-DIMD模式編碼處理的計算效率更好，在搜索最佳圖框間模式期間，該推導DIMD預測器被與源像素進行組合。因此，用於圖框間運動估計的當前區塊可以被修改為Curr’=((a+b)*Curr-b*DIMD_predictor)/a。因此，殘差R可以很容易被計算為R=(a/(a+b))*(Curr’-inter_predictor)，其可以從修改的輸入與按照因數(a/(a+b))而縮放的圖框間預測之間的差中來推導出。例如，如果使用{1,1}權重，則Curr’等於(2*Curr-DIMD_predictor)/1。如果使用{3,1}權重，則Curr’等於(4*Curr- DIMD_predictor)/3。
位置依賴的混合：
加權可以是位置依賴的，以用於該組合的DIMD與圖框間模式。例如，當前區塊被分割成複數個區域。對於不同的區域而言，等式(9)中a和b的加權因數可以不同。例如，如第10圖所示，CU沿著左下到右上的對角線方向被分割成左上區域和右下區域。在第10圖中，用於DIMD預測器的加權如參考區塊1010所示，而用於圖框間預測器的加權如參考區塊1020所示。區塊1015和區塊1025對應於正在處理的當前區塊。在左上區域中的預測器像素Predictor_UL為：Predictor_UL=(n * Inter_predictor+m * DIMD_predictor+rounding_offset)/(m+n). (10)
在右下區域中的預測器像素Predictor_LR為：Predictor_LR=(m * Inter_predictor+n * DIMD_predictor+rounding_offset)/(m+n). (11)
如第11圖所示，另一種用於該組合的DIMD與圖框間模式的位置依賴的混合可以是區塊列/行依賴的。CU被分割成複數個列帶/行帶。列高或者行寬可以是4或者(CU_height/N)/(CU_width/M)。對於不同的列帶/行帶，加權值可以不相同。在第11圖中，區塊1110對應於當前CU，且用於各種行帶/列帶的DIMD預測器與圖框間預測器的加權分別是{1,0.75,0.5,0.25,0}和{0,0.25,0.5,0.75,1}。
如第12圖所示，用於該組合的DIMD與圖框間模式的位置依賴的混合也可以使用雙線性加權。四個角的預測器值如第12圖所示，其中左上角的預測器值(在第12圖中被表示為DIMD)等於DIMD預測器，右下角的預測器值(在第12圖中被表示為Inter)等於圖框間預測器，右上角和左下角的預測器值均是該DIMD預測器和該圖框間預測器的平均。對於當前CU內的像素，其預測器值I(i,j)可以被推導為：
其中，A是位於(i,j)位置處的像素的該DIMD預測器，B是位於(i,j)位置處的像素的圖框間預測器。
對於位置依賴的加權而言，也可以使用如上所述的應用於DIMD圖框內模式的修改的預測器方法。在運動估計階段，用合適的加權來修改該預測器，以用於查找更好的候選。在補償階段，可以使用位置依賴的加權。
DIMD圖框內模式和位置依賴的加權：在另一實施例中，用於組合的DIMD與圖框間模式的加權係數可以依賴於DIMD推導圖框內模式和像素的位置。例如，該DIMD推導圖框內模式是非角度圖框內模式(例如，DC模式或者平面模式)，均勻加權係數可以被用於所有位置。如果推導模式是角度模式，且接近于水平模式(即DIMD Intra mode<=Diagonal Intra mode)，則加權係數被設計為根據像素的水平距離而變化。如果推導模式是角度模式，且接近於垂直模式(即DIMD Intra mode>Diagonal Intra mode)，則加權 係數被設計為根據像素的垂直距離而變化。如第13A圖和第13B圖顯示了一種示例。第13A圖是該推導模式為角度模式且接近於垂直模式的情況。依賴於像素的垂直距離，可以使用四個不同的加權係數(即w_inter1到w_inter4或者w_intra1到w_intra4)。第13B圖是該推導模式為角度模式且接近于水平模式的情況。依賴於像素的水平距離，可以使用四個不同的加權係數(即w_inter1到w_inter4或者w_intra1到w_intra4)。在另一實施例中，可以存在用於水平方向的N個加權帶，以及用於垂直方向的M個加權帶。M和N可以相等或者不等。例如，M可以是4，N可以是2。通常，M和N可以是2,4等...最多可以達到該區塊尺寸。
在另一實施例中，如第14A圖和第14B圖所示，“加權帶”可以與角度圖框內預測方向正交。與第13A圖和第13B圖所示的方式相似的方式，圖框內加權因數(包括DIMD加權因數)和圖框間加權因數可以被分配分別用於每個帶。加權帶的寬度可以是均勻的(第14A圖)或者不同的(第14B圖)。
在一個實施例中，可以將所提出的組合預測應用到合併模式(Merge mode)。在另一實施例中，該組合預測可以被應用到合併模式和跳躍模式(Skip mode)。在另一實施例中，該組合預測可以被應用到合併模式和高級運動向量預測模式(AMVP mode)。在另一實施例中，該組合預測可以被應用到合併模式、跳躍模式和高級運動向量預測模式。當該組合預測被應用到合併模式或者跳躍模式時，inter_DIMD_combine_flag可以被發信在合併索引之前或者之後。當該組合預測被應用到 高級運動向量預測模式，inter_DIMD_combine_flag可以被發信在合併標誌之後，或者被發信在運動資訊(例如，inter_dir,mvd,mvp_index)之後。在另一實施例中，通過使用一個顯性標誌(explicit flag)，該組合預測被用於到高級運動向量預測模式。當該組合預測被應用到合併模式或者跳躍模式時，該最終模式是從相鄰CU中繼承而來的，該相鄰的CU通過合併索引來指示，而無需額外的顯性標誌來指示。用於合併模式和高級運動向量預測模式的加權可以不同。
在該組合模式中，係數掃描、NSST和EMT被處理為圖框間編碼區塊。
對於該組合預測的圖框內模式，其可以通過DIMD而推導出或者被顯性發信外加DIMD精化(refinement)。例如，HEVC中有35種圖框內模式，且用於下一代視訊編解碼的被稱為JEM的參考軟體中有67種圖框內模式。提出了在位元流中發信減少數量的圖框內模式(子採樣圖框內模式(subsampled Intra mode))，並在該發信的圖框內模式的周圍執行DIMD精化以查找用於組合預測的最終圖框內模式。子採樣圖框內模式可以是19種模式(即DC模式+平面模式+17種角度模式)，18種模式(即1種非角度模式+17種角度模式)，11種模式(即DC模式+平面模式+9種角度模式)或者10種模式(即1種非角度模式+9種角度模式)。當選擇“非角度模式”時，DIMD將用於從DC模式和平面模式中選擇最佳模式。
第15圖示出了使用雙模式DIMD的示例性編解碼系統的流程圖。該流程圖中所示的步驟可以被實現為編碼器側 和/或解碼器側的一個或複數個處理器(例如一個或複數個CPU)上可執行的程式碼。該流程圖中所示的步驟也可以基於硬體被實現，例如用於執行該流程圖中步驟的一個或者複數個電子設備或者處理器。根據本方法，在步驟1510中，接收與當前圖像相關的輸入資料。在步驟1520中，基於當前區塊的左側模板和上方模板中的至少一個推導出用於該當前區塊的第一DIMD模式。在步驟1530中，基於當前區塊的左側模板和上方模板中的至少一個推導出用於該當前區塊的第二DIMD模式。隨後，在步驟1540中，根據從圖框內模式集合中所選擇的目標圖框內模式，將圖框內模式處理應用到該當前區塊。圖框內模式視由圖框內模式集合中選擇。該圖框內模式集合包括對應於該第一DIMD模式和該第二DIMD模式的雙模式DIMD。
第16圖示出了使用組合的DIMD與正常的圖框內模式的示例性編解碼系統的流程圖。根據本方法，在步驟1610中，接收與當前圖像相關的輸入資料。在步驟1620中，從圖框內模式的集合中推導出正常的圖框內模式。在步驟1630中，基於當前區塊的左側模板和上方模板中的至少一個，推導出用於該當前區塊的目標DIMD模式。在步驟1640中，通過將對應於該目標DIMD模式的DIMD預測器與對應於該正常的圖框內模式的正常的圖框內預測器進行混合以產生組合的圖框內預測器。隨後，在步驟1650中，使用該組合的圖框內預測器，將圖框內模式處理應用到該當前區塊。
第17圖示出了使用組合的DIMD與正常的圖框間模式示例性編解碼系統的流程圖。根據本方法，在步驟1710 中，接收與當前圖像相關的輸入資料。在步驟1720中，判斷圖框間-DIMD模式是否用於該當前圖像的當前區塊。若判斷結果為“是”，則執行步驟1730到步驟1770。若判斷結果為“否”，跳過步驟1730到步驟1770。在步驟1730中，基於該當前區塊的左側模板和該當前區塊的上方模板推導出用於該當前圖像中該當前區塊的使用DIMD所推導出之圖框內模式。在步驟1740中，推導出對應於該使用DIMD所推導出之圖框內模式的用於當前區塊的DIMD預測器。在步驟1750中，推導出對應於當前區塊的圖框間模式的圖框間預測器。在步驟1760中，通過將該DIMD預測器與該圖框間預測器進行混合以產生組合的圖框間-DIMD預測器。在步驟1770中，對該當前區塊進行編碼或者解碼時，使用用於圖框間預測的該組合的圖框間-DIMD預測器碼，或者將該組合的圖框間-DIMD預測器包含到該當前區塊的候選列表中。
所示的流程圖用於示出根據本發明的視訊編解碼的示例。在不脫離本發明的精神的情況下，所屬領域中具有習知技術者可以修改每個步驟、重組這些步驟、將一個步驟進行分離或者組合這些步驟而實施本發明。在本發明中，具體的語法和語義已被使用以示出實現本發明實施例的示例。在不脫離本發明的精神的情況下，通過用等同的語法和語義來替換該語法和語義，技術人員可以實施本發明。
上述說明，使得所屬領域中具有習知技術者能夠在特定應用程式的內容及其需求中實施本發明。對所屬領域中具有習知技術者來說，所描述的實施例的各種變形將是顯而易 見的，並且本文定義的一般原則可以應用於其他實施例中。因此，本發明不限於所示和描述的特定實施例，而是將被賦予與本文所公開的原理和新穎特徵相一致的最大範圍。在上述詳細說明中，說明了各種具體細節，以便透徹理解本發明。儘管如此，將被本領域的技術人員理解的是，本發明能夠被實踐。
如上所述的本發明的實施例可以在各種硬體、軟體代碼或兩者的結合中實現。例如，本發明的實施例可以是集成在視訊壓縮晶片內的電路，或者是集成到視訊壓縮軟體中的程式碼，以執行本文所述的處理。本發明的一個實施例也可以是在數位訊號處理器(Digital Signal Processor，DSP)上執行的程式碼，以執行本文所描述的處理。本發明還可以包括由電腦處理器、數位訊號處理器、微處理器或現場可程式設計閘陣列(field programmable gate array，FPGA)所執行的若干函數。根據本發明，通過執行定義了本發明所實施的特定方法的機器可讀軟體代碼或者固件代碼，這些處理器可以被配置為執行特定任務。軟體代碼或固件代碼可以由不同的程式設計語言和不同的格式或樣式開發。軟體代碼也可以編譯為不同的目標平臺。然而，執行本發明的任務的不同的代碼格式、軟體代碼的樣式和語言以及其他形式的配置代碼，不會背離本發明的精神和範圍。
本發明可以以不脫離其精神或本質特徵的其他具體形式來實施。所描述的例子在所有方面僅是說明性的，而非限制性的。因此，本發明的範圍由附加的權利要求來表示，而不是前述的描述來表示。權利要求的含義以及相同範圍內的所有變化都應納入其範圍內。

Claims (30)

  1. 一種視訊編解碼方法，使用解碼器側圖框內模式推導，該方法包括：接收與當前圖像相關的輸入資料；基於當前區塊的左側模板和上方模板中的至少一個推導出用於所述當前區塊的第一解碼器側圖框內模式推導模式；基於該當前區塊的該左側模板和該上方模板中的至少一個推導出用於該當前區塊的第二解碼器側圖框內模式推導模式；以及根據從圖框內模式集合中所選擇的目標圖框內模式，將圖框內模式處理應用到該當前區塊，其中該圖框內模式集合包括對應於該第一解碼器側圖框內模式推導模式和該第二解碼器側圖框內模式推導模式的雙模式解碼器側圖框內模式推導；其中，當使用該雙模式解碼器側圖框內模式推導時，該圖框內模式處理包括：基於從該第一解碼器側圖框內模式推導模式和該第二解碼器側圖框內模式推導模式中選擇的最佳模式，推導出最可能模式、將係數掃描應用到該當前區塊、將不可分離的次級變換應用到該當前區塊、將增強多變換應用到該當前區塊中的至少一種或其組合。
  2. 如申請專利範圍第1項所述之視訊編解碼方法，其中，該第一解碼器側圖框內模式推導模式是僅基於該當前區塊的該左側模板而推導得到的，且該第二解碼器側圖框內模式推導模式是僅基於該當前區塊的該上方模板而推導得到的。
  3. 如申請專利範圍第2項所述之視訊編解碼方法，其中，當使用該雙模式解碼器側圖框內模式推導時，該圖框內模式處理包括：通過將對應於該第一解碼器側圖框內模式推導模式的第一解碼器側圖框內模式推導預測器與對應於該第二解碼器側圖框內模式推導模式的第二解碼器側圖框內模式推導預測器進行混合，以產生雙模式解碼器側圖框內模式推導預測器。
  4. 如申請專利範圍第3項所述之視訊編解碼方法，其中，該雙模式解碼器側圖框內模式推導預測器是根據加權和，使用均勻混合或者位置依賴的混合，通過對該第一解碼器側圖框內模式推導預測器和該第二解碼器側圖框內模式推導預測器進行組合而產生的，其中該均勻混合的複數個加權因數對於整個當前區塊是均勻的。
  5. 如申請專利範圍第4項所述之視訊編解碼方法，其中，沿著左上到右下的對角線方向，該當前區塊被分割成右上區域和左下區域；該右上區域中複數個像素的第一預測器是根據(n * first DIMD predictor+m * second DIMD predictor+rounding_offset)/(m+n)而確定的；該左下區域中複數個像素的第二預測器是根據(m * first DIMD predictor+n * second DIMD predictor+rounding_offset)/(m+n)而確定的；其中rounding_offset是取整運算的偏移值，m和n是兩個權重因數。
  6. 如申請專利範圍第4項所述之視訊編解碼方法，其中，該雙模式解碼器側圖框內模式推導預測器是基於該當前區塊的四個角的值使用雙線性加權而產生的，其中該四個角的值分別是左下角處的該第一解碼器側圖框內模式推導預測器、右上角處的該第二解碼器側圖框內模式推導預測器以及左上角處和右下角處的該第一解碼器側圖框內模式推導預測器與該第二解碼器側圖框內模式推導預測器的平均值。
  7. 一種編解碼裝置，使用解碼器側圖框內模式推導，該裝置包括一個或複數個電子電路或者處理器，用於：接收與當前圖像相關的輸入資料；基於當前區塊的左側模板和上方模板中的至少一個推導出用於該當前區塊的第一解碼器側圖框內模式推導模式；基於該當前區塊的該左側模板和該上方模板中的至少一個推導出用於該當前區塊的第二解碼器側圖框內模式推導模式；以及根據從圖框內模式集合中所選擇的目標圖框內模式，將圖框內模式處理應用到該當前區塊，其中該圖框內模式集合包括對應於該第一解碼器側圖框內模式推導模式和該第二解碼器側圖框內模式推導模式的雙模式解碼器側圖框內模式推導；其中，當使用該雙模式解碼器側圖框內模式推導時，該圖框內模式處理包括：基於從該第一解碼器側圖框內模式推導模式和該第二解碼器側圖框內模式推導模式中選擇的最佳模式，推導出最可能模式、將係數掃描應用到該當前區塊、將不可分離的次級變換應用到該當前區塊、將增強多變換應用到該當前區塊中的至少一種或其組合。
  8. 一種編解碼方法，使用解碼器側圖框內模式推導，該方法包括：接收與當前圖像相關的輸入資料；從圖框內模式集合中確定正常的圖框內模式；基於當前區塊的左側模板和上方模板中的至少一個，推導出該當前區塊的目標解碼器側圖框內模式推導模式；通過將對應於該目標解碼器側圖框內模式推導模式的解碼器側圖框內模式推導預測器與對應於該正常的圖框內模式的正常的圖框內預測器進行混合以產生組合的圖框內預測器；以及使用該組合的圖框內預測器，以將圖框內模式處理應用到該當前區塊。
  9. 如申請專利範圍第8項所述之視訊編解碼方法，其中，該推導出該當前區塊的目標解碼器側圖框內模式推導模式包括：基於該當前區塊的該左側模板和該上方模板推導出常規解碼器側圖框內模式推導模式；以及若該常規解碼器側圖框內模式推導模式不同於該正常的圖框內模式時，則使用該常規解碼器側圖框內模式推導模式作為該目標解碼器側圖框內模式推導模式。
  10. 如申請專利範圍第9項所述之視訊編解碼方法，其中，若該常規解碼器側圖框內模式推導模式等同於該正常的圖框內模式，該推導出該當前區塊的目標解碼器側圖框內模式推導模式進一步包括：對應於僅基於該當前區塊的該左側模板推導出的第一解碼器側圖框內模式推導模式、僅基於該當前區塊的該上方模板推導出的第二解碼器側圖框內模式推導模式、或者該第一解碼器側圖框內模式推導模式與該第二解碼器側圖框內模式推導模式中的最佳模式，推導出另一個解碼器側圖框內模式推導模式，以選擇作為該目標解碼器側圖框內模式推導模式。
  11. 如申請專利範圍第10項所述之視訊編解碼方法，其中，若該第一解碼器側圖框內模式推導模式和該第二解碼器側圖框內模式推導模式均等同於該正常的圖框內模式，該推導出該當前區塊的目標解碼器側圖框內模式推導模式包括：選擇預定義的圖框內模式作為該目標解碼器側圖框內模式推導模式。
  12. 如申請專利範圍第8項所述之視訊編解碼方法，其中，若該正常的圖框內模式為一個非角度模式，該推導出該當前區塊的目標解碼器側圖框內模式推導模式包括：從角度模式集合中推導出最佳解碼器側圖框內模式推導角度模式，並使用該最佳解碼器側圖框內模式推導角度模式作為該目標解碼器側圖框內模式推導模式。
  13. 如申請專利範圍第12項所述之視訊編解碼方法，其中，若該正常的圖框內模式是一個角度模式，該推導出該當前區塊的目標解碼器側圖框內模式推導模式包括：推導出該當前區塊的最佳解碼器側圖框內模式推導模式；若該最佳解碼器側圖框內模式推導模式為角度模式，則判斷該正常的圖框內模式與該最佳解碼器側圖框內模式推導角度模式之間的角度差是否小於閾值；若小於，則推導出另一最佳解碼器側圖框內模式推導非角度模式作為該目標解碼器側圖框內模式推導模式；以及若不小於，則使用該最佳解碼器側圖框內模式推導模式作為該目標解碼器側圖框內模式推導模式。
  14. 如申請專利範圍第8項所述之視訊編解碼方法，其中，該組合的圖框內預測器是使用均勻混合或者位置依賴的混合，來組合該第一解碼器側圖框內模式推導預測器和該第二解碼器側圖框內模式推導預測器而產生的，其中用於該均勻混合的複數個加權因數對於整個當前區塊是均勻的。
  15. 如申請專利範圍第14項所述之視訊編解碼方法，其中，沿著左下到右上的對角線方向，該當前區塊被分割成左上區域和右下區域；該左上區域中的複數個像素的第一預測器是根據(n * DIMD predictor+m * normal Intra predictor+rounding_offset)/(m+n)而確定的；該右下區域中的複數個像素的第二預測器是根據(m * DIMD predictor+n * normal Intra predictor+rounding_offset)/(m+n)而確定的；其中rounding_offset是取整運算的偏移值，m和n是兩個權重因數。
  16. 如申請專利範圍第14項所述之視訊編解碼方法，其中，該當前區塊被分割成複數個列帶/行帶，且該組合的圖框內預測器是根據加權和將該解碼器側圖框內模式推導預測器與該正常的圖框內預測器進行組合而產生的，其中複數個加權因數依賴於像素所在位置處的目標列帶/行帶。
  17. 如申請專利範圍第14項所述之視訊編解碼方法，其中，該組合的圖框內預測器是基於該當前區塊的四個角的值使用雙線性加權而產生的，其中該四個角的值分別是左上角處的該解碼器側圖框內模式推導預測器、右下角處的該正常的圖框內預測器、以及右上角處和左下角處的該解碼器側圖框內模式推導預測器與該正常的圖框內預測器的平均值。
  18. 一種編解碼裝置，使用解碼器側圖框內模式推導，該裝置包括一個或複數個電子電路或者處理器，用於：接收與當前圖像相關的輸入資料；從圖框內模式集合中推導出正常的圖框內模式；基於當前區塊的左側模板和上方模板中的至少一個，推導出該當前區塊的目標解碼器側圖框內模式推導模式；通過將對應於該目標解碼器側圖框內模式推導模式的解碼器側圖框內模式推導預測器與對應於該正常的圖框內模式的正常的圖框內預測器進行混合以產生組合的圖框內預測器；以及使用該組合的圖框內預測器，以將圖框內模式處理應用到該當前區塊。
  19. 一種編解碼方法，使用解碼器側圖框內模式推導，該方法包括：接收與當前圖像相關的輸入資料；若圖框間-解碼器側圖框內模式推導模式用於該當前圖像的當前區塊，則：基於該當前區塊的左側模板和上方模板推導出用於所述當前圖像中該當前區塊的使用解碼器側圖框內模式推導所推導出之圖框內模式；推導出對應於該使用解碼器側圖框內模式推導所推導出之圖框內模式的用於該當前區塊的解碼器側圖框內模式推導預測器；推導出對應於用於該當前區塊的圖框間模式的圖框間預測器；通過將該解碼器側圖框內模式推導預測器與該圖框間預測器進行混合以產生組合的圖框間-解碼器側圖框內模式推導預測器；以及對該當前區塊進行編碼或者解碼時，使用用於圖框間預測的該組合的圖框間-解碼器側圖框內模式推導預測器，或者將該組合的圖框間-解碼器側圖框內模式推導預測器包含到該當前區塊的候選列表中。
  20. 如申請專利範圍第19項所述之視訊編解碼方法，其中，該組合的圖框間-解碼器側圖框內模式推導預測器是使用均勻混合或者位置依賴的混合，通過組合對該解碼器側圖框內模式推導預測器和該圖框間預測器而產生的，其中用於該均勻混合的複數個加權因數對於整個當前區塊是均勻的。
  21. 如申請專利範圍第20項所述之視訊編解碼方法，其中，該組合的圖框間-解碼器側圖框內模式推導預測器用於該當前區塊的圖框間預測，當前像素被修改為修改的當前像素以包含對應於該解碼器側圖框內模式推導預測器的該組合的圖框間-解碼器側圖框內模式推導預測器的一部分，使得該當前像素與該組合的圖框間-解碼器側圖框內模式推導預測器之間的殘差由該修改的當前像素與該圖框間預測器之間的差計算而得。
  22. 如申請專利範圍第21項所述之視訊編解碼方法，其中，沿著左下到右上的對角線方向，該當前區塊被分割成左上區域和右下區域；該左上區域中複數個像素的第一預測器是根據(n * DIMD predictor+m * Inter predictor+rounding_offset)/(m+n)而確定的；該右下區域中複數個像素的第二預測器是根據(m * DIMD predictor+n * Inter predictor+rounding_offset)/(m+n)而確定的；其中rounding_offset是取整運算的偏移值，m和n是兩個權重因數。
  23. 如申請專利範圍第21項所述之視訊編解碼方法，其中，該當前區塊被分割成複數個列帶/行帶，且該組合的圖框間-解碼器側圖框內模式推導預測器是根據加權和將該解碼器側圖框內模式推導預測器與該圖框間預測器進行組合而產生的，其中複數個加權因數依賴於像素所在位置處的目標列帶/行帶。
  24. 如申請專利範圍第21項所述之視訊編解碼方法，其中，該組合的圖框間-解碼器側圖框內模式推導預測器是基於該當前區塊的四個角的值使用雙線性加權而產生的，其中該四個角的值分別是左上角處的該解碼器側圖框內模式推導預測器、右下角處的該圖框間預測器、以及右上角處和左下角處的該解碼器側圖框內模式推導預測器與該圖框間預測器的平均值。
  25. 如申請專利範圍第21項所述之視訊編解碼方法，其中，該複數個加權因數進一步依賴於該使用解碼器側圖框內模式推導所推導出之圖框內模式。
  26. 如申請專利範圍第25項所述之視訊編解碼方法，其中，若該使用解碼器側圖框內模式推導所推導出之圖框內模式是角度模式並接近于水平圖框內模式，則該複數個加權因數進一步依賴於當前像素相對於該當前區塊的垂直邊緣的水平距離；或者若該使用解碼器側圖框內模式推導所推導出之圖框內模式是角度模式並接近於垂直圖框內模式，則該複數個加權因數進一步依賴於該當前像素相對於該當前區塊的水平邊緣的垂直距離。
  27. 如申請專利範圍第25項所述之視訊編解碼方法，其中，該當前區塊在與該使用解碼器側圖框內模式推導所推導出之圖框內模式的方向正交的目標方向上被分割成複數個帶，且該複數個加權因數進一步依賴於當前像素所在位置處的目標帶。
  28. 如申請專利範圍第19項所述之視訊編解碼方法，其中，該圖框間-解碼器側圖框內模式推導模式是否用於該當前圖像的該當前區塊由位元流中的標誌來指示。
  29. 如申請專利範圍第19項所述之視訊編解碼方法，其中，該組合的圖框間-解碼器側圖框內模式推導預測器是根據複數個加權因數，通過使用混合來組合該解碼器側圖框內模式推導預測器和該圖框間預測器而產生的，對於在合併模式中編碼的該當前區塊和在高級運動向量預測模式中編碼的該當前區塊，該複數個加權因數是不同的。
  30. 一種編解碼裝置，使用解碼器側圖框內模式推導，該裝置包括一個或者複數個電子電路或者處理器，用於：接收與當前圖像相關的輸入資料；若圖框間-解碼器側圖框內模式推導模式用於該當前圖像的當前區塊，則：基於該當前區塊的左側模板和上方模板推導出用於該當前圖像中該當前區塊的使用解碼器側圖框內模式推導所推導出之圖框內模式；推導出對應於該使用解碼器側圖框內模式推導所推導出之圖框內模式的用於該當前區塊的解碼器側圖框內模式推導預測器；推導出對應於用於該當前區塊的圖框間模式的圖框間預測器；通過將該解碼器側圖框內模式推導預測器與該圖框間預測器進行混合以產生組合的圖框間-解碼器側圖框內模式推導預測器；以及對該當前區塊進行編碼或者解碼時，使用用於圖框間預測的該組合的圖框間-解碼器側圖框內模式推導預測器，或者將該組合的圖框間-解碼器側圖框內模式推導預測器包含到該當前區塊的候選列表中。
TW106132091A 2016-09-22 2017-09-19 使用解碼器側圖框內預測推導的視訊編解碼的方法及裝置 TWI665909B (zh)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
US201662397953P 2016-09-22 2016-09-22
US62/397,953 2016-09-22
US201662398564P 2016-09-23 2016-09-23
US62/398,564 2016-09-23
??PCT/CN2017/102043 2017-09-18
PCT/CN2017/102043 WO2018054269A1 (en) 2016-09-22 2017-09-18 Method and apparatus for video coding using decoder side intra prediction derivation

Publications (2)

Publication Number Publication Date
TW201818723A TW201818723A (zh) 2018-05-16
TWI665909B true TWI665909B (zh) 2019-07-11

Family

ID=61690157

Family Applications (1)

Application Number Title Priority Date Filing Date
TW106132091A TWI665909B (zh) 2016-09-22 2017-09-19 使用解碼器側圖框內預測推導的視訊編解碼的方法及裝置

Country Status (3)

Country Link
US (1) US20190215521A1 (zh)
TW (1) TWI665909B (zh)
WO (1) WO2018054269A1 (zh)

Families Citing this family (56)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3625963A4 (en) * 2017-06-07 2020-11-18 MediaTek Inc. INTRA-INTER PREDICTION MODE METHOD AND APPARATUS FOR VIDEO CODING
EP3643062A1 (en) * 2017-07-04 2020-04-29 Huawei Technologies Co., Ltd. Decoder side intra mode derivation (dimd) tool computational complexity reduction
KR102596104B1 (ko) 2018-06-11 2023-10-30 에이치에프아이 이노베이션 인크. 비디오 코딩을 위한 양방향 광학 흐름의 방법 및 장치
CN112930684B (zh) 2018-08-17 2023-10-13 寰发股份有限公司 在视频编解码系统中利用双向预测处理视频的方法、设备
EP3629579A1 (en) * 2018-09-27 2020-04-01 Ateme Method for image processing and apparatus for implementing the same
TWI738081B (zh) * 2018-10-10 2021-09-01 聯發科技股份有限公司 視訊編碼系統中結合多重預測子用於區塊預測之方法和裝置
US11310515B2 (en) * 2018-11-14 2022-04-19 Tencent America LLC Methods and apparatus for improvement for intra-inter prediction mode
US11652984B2 (en) 2018-11-16 2023-05-16 Qualcomm Incorporated Position-dependent intra-inter prediction combination in video coding
US20200162737A1 (en) 2018-11-16 2020-05-21 Qualcomm Incorporated Position-dependent intra-inter prediction combination in video coding
GB2580036B (en) 2018-12-19 2023-02-01 British Broadcasting Corp Bitstream decoding
US11330283B2 (en) * 2019-02-01 2022-05-10 Tencent America LLC Method and apparatus for video coding
JP7197720B2 (ja) 2019-02-24 2022-12-27 北京字節跳動網絡技術有限公司 パレットモードの使用の指示の独立した符号化
KR20210116676A (ko) * 2019-03-14 2021-09-27 엘지전자 주식회사 인트라 예측을 수행하는 영상 부호화/복호화 방법, 장치 및 비트스트림을 전송하는 방법
KR20200113173A (ko) * 2019-03-20 2020-10-06 현대자동차주식회사 예측모드 추정에 기반하는 인트라 예측장치 및 방법
WO2020190077A1 (ko) * 2019-03-20 2020-09-24 현대자동차주식회사 예측모드 추정에 기반하는 인트라 예측장치 및 방법
CN113994666A (zh) 2019-06-06 2022-01-28 北京字节跳动网络技术有限公司 隐式选择变换候选
CN113940076A (zh) * 2019-06-06 2022-01-14 北京字节跳动网络技术有限公司 应用隐式变换选择
KR20220032520A (ko) 2019-07-20 2022-03-15 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 팔레트 모드 사용 지시의 조건 종속적인 코딩
CN114145013B (zh) 2019-07-23 2023-11-14 北京字节跳动网络技术有限公司 调色板模式编解码的模式确定
WO2021018166A1 (en) 2019-07-29 2021-02-04 Beijing Bytedance Network Technology Co., Ltd. Scanning order improvements for palette mode coding
CN112449181B (zh) * 2019-09-05 2022-04-26 杭州海康威视数字技术股份有限公司 一种编解码方法、装置及其设备
AU2021410048A1 (en) * 2020-12-22 2023-06-01 Qualcomm Incorporated Decoder side intra mode derivation for most probable mode list construction in video coding
US11671589B2 (en) * 2020-12-22 2023-06-06 Qualcomm Incorporated Decoder side intra mode derivation for most probable mode list construction in video coding
KR20230149297A (ko) * 2021-02-24 2023-10-26 엘지전자 주식회사 인트라 예측 모드 도출 기반 인트라 예측 방법 및 장치
JP2024509216A (ja) * 2021-03-04 2024-02-29 ヒョンダイ モーター カンパニー イントラ予測モード誘導を用いるビデオコーディングのためのイントラ予測方法及び装置
US20240196008A1 (en) * 2021-04-11 2024-06-13 Lg Electronics Inc. Method and device for intra prediction based on plurality of dimd modes
US20220329800A1 (en) * 2021-04-12 2022-10-13 Qualcomm Incorporated Intra-mode dependent multiple transform selection for video coding
US11943432B2 (en) * 2021-04-26 2024-03-26 Tencent America LLC Decoder side intra mode derivation
WO2022260341A1 (ko) * 2021-06-11 2022-12-15 현대자동차주식회사 비디오 부호화/복호화 방법 및 장치
US20240236308A1 (en) * 2021-06-25 2024-07-11 FG Innovation Company Limited Device and method for coding video data
US20220417511A1 (en) * 2021-06-27 2022-12-29 Alibaba Singapore Holding Private Limited Methods and systems for performing combined inter and intra prediction
US20230049154A1 (en) * 2021-08-02 2023-02-16 Tencent America LLC Method and apparatus for improved intra prediction
CN116711309B (zh) * 2021-08-02 2024-06-21 腾讯美国有限责任公司 用于改进的帧内预测的视频编解码方法和装置及电子设备
WO2023050370A1 (zh) * 2021-09-30 2023-04-06 Oppo广东移动通信有限公司 帧内预测的方法、解码器、编码器和编解码系统
EP4412200A1 (en) * 2021-10-01 2024-08-07 LG Electronics Inc. Ciip-based prediction method and device
CN118104234A (zh) * 2021-10-01 2024-05-28 Lg 电子株式会社 基于帧内预测模式导出的帧内预测方法和设备
US12010316B2 (en) * 2021-10-05 2024-06-11 Tencent America LLC Modification on fusion of intra prediction
WO2023091688A1 (en) * 2021-11-19 2023-05-25 Beijing Dajia Internet Information Technology Co., Ltd. Methods and devices for decoder-side intra mode derivation
EP4449714A1 (en) * 2021-12-13 2024-10-23 Beijing Dajia Internet Information Technology Co., Ltd. Methods and devices for decoder-side intra mode derivation
WO2023129744A1 (en) * 2021-12-30 2023-07-06 Beijing Dajia Internet Information Technology Co., Ltd. Methods and devices for decoder-side intra mode derivation
WO2023123495A1 (zh) * 2021-12-31 2023-07-06 Oppo广东移动通信有限公司 预测方法、装置、设备、系统、及存储介质
WO2023141238A1 (en) * 2022-01-20 2023-07-27 Beijing Dajia Internet Information Technology Co., Ltd. Methods and devices for decoder-side intra mode derivation
EP4258669A1 (en) * 2022-04-07 2023-10-11 Beijing Xiaomi Mobile Software Co., Ltd. Method and apparatus for dimd intra prediction mode selection in a template area, and encoder/decoder including the same
WO2023194105A1 (en) * 2022-04-07 2023-10-12 Interdigital Ce Patent Holdings, Sas Intra mode derivation for inter-predicted coding units
EP4258670A1 (en) * 2022-04-07 2023-10-11 Beijing Xiaomi Mobile Software Co., Ltd. Method and apparatus for dimd position dependent blending, and encoder/decoder including the same
EP4258662A1 (en) * 2022-04-07 2023-10-11 Beijing Xiaomi Mobile Software Co., Ltd. Method and apparatus for dimd edge detection adjustment, and encoder/decoder including the same
EP4258668A1 (en) * 2022-04-07 2023-10-11 Beijing Xiaomi Mobile Software Co., Ltd. Method and apparatus for dimd region-wise adaptive blending, and encoder/decoder including the same
WO2023197837A1 (en) * 2022-04-15 2023-10-19 Mediatek Inc. Methods and apparatus of improvement for intra mode derivation and prediction using gradient and template
WO2023202557A1 (en) * 2022-04-19 2023-10-26 Mediatek Inc. Method and apparatus of decoder side intra mode derivation based most probable modes list construction in video coding system
WO2024007116A1 (zh) * 2022-07-04 2024-01-11 Oppo广东移动通信有限公司 解码方法、编码方法、解码器以及编码器
WO2024007366A1 (zh) * 2022-07-08 2024-01-11 Oppo广东移动通信有限公司 一种帧内预测融合方法、视频编解码方法、装置和系统
WO2024074751A1 (en) * 2022-10-04 2024-04-11 Nokia Technologies Oy An apparatus, a method and a computer program for video coding and decoding
WO2024074754A1 (en) * 2022-10-07 2024-04-11 Nokia Technologies Oy An apparatus, a method and a computer program for video coding and decoding
TW202416715A (zh) * 2022-10-11 2024-04-16 法商內數位Ｃｅ專利控股公司 非幀內預測編碼區塊的等效幀內模式
WO2024080766A1 (ko) * 2022-10-12 2024-04-18 엘지전자 주식회사 비분리 변환에 기반한 영상 부호화/복호화 방법, 비트스트림을 전송하는 방법 및 비트스트림을 저장한 기록 매체
WO2024141695A1 (en) * 2022-12-28 2024-07-04 Nokia Technologies Oy An apparatus, a method and a computer program for video coding and decoding

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140169458A1 (en) * 2012-12-19 2014-06-19 General Instrument Corporation Devices and methods for using base layer intra prediction mode for enhancement layer intra mode prediction

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101479129B1 (ko) * 2009-10-01 2015-01-06 에스케이텔레콤 주식회사 가변 크기의 매크로블록을 이용한 영상 부호화/복호화 방법 및 장치
HUE047479T2 (hu) * 2009-10-01 2020-04-28 Sk Telecom Co Ltd Eljárás és készülék képek változtatható méretû makroblokkok használatával történõ kódolására/dekódolására
US20110176611A1 (en) * 2010-01-15 2011-07-21 Yu-Wen Huang Methods for decoder-side motion vector derivation
MX2013001661A (es) * 2010-09-30 2013-03-21 Panasonic Corp Metodo de decodificacion de imagen, metodo de codificacion de imagen, aparato de decodificacion de imagen, aparato de codificacion de imagen, programa, y circuito integrado.
KR20120070479A (ko) * 2010-12-21 2012-06-29 한국전자통신연구원 화면 내 예측 방향 정보 부호화/복호화 방법 및 그 장치
US9210438B2 (en) * 2012-01-20 2015-12-08 Sony Corporation Logical intra mode naming in HEVC video coding
US9906786B2 (en) * 2012-09-07 2018-02-27 Qualcomm Incorporated Weighted prediction mode for scalable video coding
US9800857B2 (en) * 2013-03-08 2017-10-24 Qualcomm Incorporated Inter-view residual prediction in multi-view or 3-dimensional video coding
HUE056673T2 (hu) * 2013-03-29 2022-02-28 Jvckenwood Corp Képdekódoló készülék, képdekódoló eljárás és képdekódoló program
US9374578B1 (en) * 2013-05-23 2016-06-21 Google Inc. Video coding using combined inter and intra predictors
WO2015192353A1 (en) * 2014-06-19 2015-12-23 Microsoft Technology Licensing, Llc Unified intra block copy and inter prediction modes
US10425648B2 (en) * 2015-09-29 2019-09-24 Qualcomm Incorporated Video intra-prediction using position-dependent prediction combination for video coding
WO2017123133A1 (en) * 2016-01-12 2017-07-20 Telefonaktiebolaget Lm Ericsson (Publ) Video coding using hybrid intra prediction
US10368099B2 (en) * 2016-08-09 2019-07-30 Qualcomm Incorporated Color remapping information SEI message signaling for display adaptation

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140169458A1 (en) * 2012-12-19 2014-06-19 General Instrument Corporation Devices and methods for using base layer intra prediction mode for enhancement layer intra mode prediction

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Xiaoyu Xiu, et al., <Decoder-side intra mode derivation>, Joint Video Exploration Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 3rd Meeting: Geneva, CH, 26 May – 1 June 2016 *
Xiaoyu Xiu, et al., <Decoder-side intra mode derivation>, Joint Video Exploration Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 3rd Meeting: Geneva, CH, 26 May – 1 June 2016,

Also Published As

Publication number Publication date
TW201818723A (zh) 2018-05-16
US20190215521A1 (en) 2019-07-11
WO2018054269A1 (en) 2018-03-29

Similar Documents

Publication Publication Date Title
TWI665909B (zh) 使用解碼器側圖框內預測推導的視訊編解碼的方法及裝置
US11265543B2 (en) Method, device, and recording medium storing bit stream, for encoding/decoding image
TWI646829B (zh) 一種視訊編碼系統使用的視訊編碼方法及裝置
TWI652939B (zh) 視訊編碼方法和裝置
US10321140B2 (en) Method of video coding for chroma components
US11665337B2 (en) Method and apparatus for encoding/decoding an image signal
US9224214B2 (en) Apparatus and method for encoding/decoding images for intra-prediction
WO2020228578A1 (en) Method and apparatus of luma most probable mode list derivation for video coding
KR102213112B1 (ko) 휘도 샘플을 이용한 색차 블록의 화면 내 예측 방법 및 이러한 방법을 사용하는 장치
WO2018028615A1 (en) Methods and apparatuses of predictor-based partition in video processing system
TW201935930A (zh) 利用自適應運動向量解析度和子塊預測模式進行視訊編解碼的當前圖像參考的方法和裝置
JP2021517797A (ja) アフィン動き予測に基づく映像コーディング方法及び装置
CN110771166B (zh) 帧内预测装置和方法、编码、解码装置、存储介质
WO2020228566A1 (en) Method and apparatus of chroma direct mode generation for video coding
WO2019206115A1 (en) Method and apparatus for restricted linear model parameter derivation in video coding
WO2023193516A1 (en) Method and apparatus using curve based or spread-angle based intra prediction mode in video coding system
CN116684577A (zh) 基于运动矢量差的快速仿射模式决策
KR102125969B1 (ko) 화면 내 예측 방법 및 이러한 방법을 사용하는 장치

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees