TW202021366A - 視訊編碼之多重假設方法和裝置 - Google Patents

視訊編碼之多重假設方法和裝置 Download PDF

Info

Publication number
TW202021366A
TW202021366A TW108140997A TW108140997A TW202021366A TW 202021366 A TW202021366 A TW 202021366A TW 108140997 A TW108140997 A TW 108140997A TW 108140997 A TW108140997 A TW 108140997A TW 202021366 A TW202021366 A TW 202021366A
Authority
TW
Taiwan
Prior art keywords
candidate
prediction
list
current block
video
Prior art date
Application number
TW108140997A
Other languages
English (en)
Other versions
TWI734254B (zh
Inventor
江嫚書
徐志瑋
莊子德
陳慶曄
Original Assignee
聯發科技股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 聯發科技股份有限公司 filed Critical 聯發科技股份有限公司
Publication of TW202021366A publication Critical patent/TW202021366A/zh
Application granted granted Critical
Publication of TWI734254B publication Critical patent/TWI734254B/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/109—Selection of coding mode or of prediction mode among a plurality of temporal predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

揭示一種使用MH（多重假設）於視訊編碼或解碼預測的方法與裝置。根據此一方法，一塊被分割為一第一分割與一第二分割。分別推導用於第一與第二分割的一第一候選與一第二候選。第一候選與第二候選中至少有一個是藉由使用用來推導一一般合併模式（或稱為普通合併模式）的一候選列表而推導出來的。藉由混合相對應於第一候選的一第一預測與相對應於第二候選的一第二預測而產生一MH預測，並且所述MH預測被應用於當前塊的其中一部分。

Description

視訊編碼之多重假設方法和裝置
本發明是關於使用多重假設（MH）於視訊編解碼的預測，其藉由結合基於一第一預測的一第一預測子與基於一第二預測的一第二預測子。尤其，本發明揭示一簡化型的MH模式，其藉由基於一般合併模式，來推導至少一MH候選來產生第一預測子與一候選來產生第二預測子。
高效率視訊編碼（HEVC）是由視訊編碼聯合協作小組（Joint Collaborative Team on Video Coding，JCT-VC）所發展的新一代國際性視訊編解碼標準。HEVC是基於混合塊為基礎的運動補償類似DCT轉換的編解碼架構。補償的基本單元（稱為編解碼單元，CU）是一2Nx2N的方型塊，而每一CU可以遞迴式地被分割成四個較小的CU，一直達到預定的最小尺寸為止。每個CU包括一或複數個預測單元（Prediction Unit，PU）。
為達成HEVC中混合編解碼架構的最佳編解碼效率，對於每一PU有兩種預測模式（即幀內預測與幀間預測）。對於幀內預測模式而言，可以用空間相鄰重構像素來產生方向性的預測，在HEVC中有多達35種方向。對於幀間預測模式而言，可以用時間重構參考幀來產生運動補償的預測，有三種不同模式，包括跳過（Skip）、合併（Merge）以及幀間高級運動向量預測（幀間AMVP）模式。
當一PU是以幀間 AMVP模式編碼時，運動補償的預測是由所傳送來的運動向量差異（motion vector differences，MVDs）來進行，MVDs可以與運動向量預測子（Motion Vector Predictors，MVPs）一起使用來推導出運動向量（motion vector，MVs）。為了決定幀間 AMVP模式下的MVP，可以使用高級運動向量預測（AMVP）的機制來選出一運動向量預測子，方式是從包括二空間MVP以及一時間MVP的一AMVP候選組中選出。因此在AMVP模式下，需要對MVP的MVP索引以及相對應的MVDs進行編碼與傳送。此外，幀間預測方向（用來表明在雙向預測以及單向預測之間的預測方向，也就是列表List0（即L0）以及列表List1（即L1））以及對於每一列表所伴隨的參考幀索引也應予以編碼與傳送。
當一PU是以跳過模式或合併模式編碼時，除了被選到的候選的合併索引之外，是不會傳送運動信息的，這是因為跳過與合併模式是使用運動推論（motion inference）方法。由於跳過與合併模式的運動向量差異（MVD）為零，對於跳過或合併編碼塊的MV和運動向量預測子（MVP）是相同的（即MV=MVP+MVD=MVP）。因此，跳過或合併編碼塊是從位於一並位畫面（co-located picture）中的空間相鄰塊（空間候選）或是時間塊（時間候選）來取得運動信息。所述之並位畫面是切片頭（slice header）中所發信的列表0或列表1中的第一個參考畫面。如果是跳過模式的PU（Skip PU），則殘差信號也會被省略。為了決定跳過與合併模式的合併索引，會使用合併機制從包括四空間MVP與一時間MVP的一合併候選組中，選出一運動向量預測子。
第1圖示出了AMVP與合併機制二者中用來推導空間與時間MVP的相鄰PU。在AMVP中，左方MVP是在A0 、A1 中第一個可用的MVP，上方MVP是在B0 、B1 、B2 中第一個可用的MVP，而時間MVP是在TBR 或 TCTR 中第一個可用的MVP（先使用TBR ；如果TBR 是不可用的，則再使用TCTR ）。如果左方MVP是不可用的而且上方MVP不是縮放的（scaled）MVP，則如果在B0 、B1 與B2 中有一縮放的MVP，就可以推導出第二個上方MVP。在HEVC中AMVP的MVP的列表大小是2。因此，在二空間MVP與一時間MVP的推導過程後，僅有前二個MVP可以被納入於MVP列表中。在移除冗餘之後，如果可用的MVP數目少於2，則在候選列表中加入零向量候選。
如第1圖所示對於跳過模式與合併模式而言，最多有四個空間合併索引可以從A0 , A1 , B0 與 B1 推導出以及一個時間合併索引可以從TBR 或 TCTR 推導出（先使用TBR ；如果TBR 是不可用的，則再使用TCTR ）。如果四個空間合併索引中任何一個是不可用的，則位置B2 被用來推導合併索引以作為替代。在四空間合併索引與一時間合併索引的推導之後，移除冗餘會被應用來移除冗餘的合併索引。在移除冗餘之後，如果可用的合併索引數目小於5，則三種額外的候選會被推導出並加入於候選列表中。
藉由使用原始的合併候選來創建出額外雙向預測的合併候選。所述額外的候選可以分為三種候選類型： 1.結合型（combined）雙向預測合併候選（候選類型1） 2.縮放型（scaled）雙向預測合併候選（候選類型2） 3.零向量合併/AMVP候選（候選類型3）
在候選類型1中，結合型雙向預測合併候選是藉由結合原始的合併候選來創建出。尤其，雙向預測合併候選是使用在原始候選中的二個候選來創建的：其中有mvL0 （列表0中的運動向量）與 refIdxL0（列表0中的參考畫面索引）；或是mvL1（列表1中的運動向量）與refIdxL1（列表1中的參考畫面索引）。第2圖示出了結合型雙向預測合併候選推導過程的一例子。候選組210相對應於一原始候選列表，其包括L0中的mvL0_A, ref0 (231) 與 L1中的mvL1_B, ref0 (232) 。藉由結合L0與L1中的候選，可以形成一雙向預測MVP233。
在候選類型2中，縮放型雙向預測合併候選是藉由縮放原始的合併候選來創建出。尤其，雙向預測合併候選是使用在原始候選中的一個候選來創建的：其具有mvLX （列表X中的運動向量)與 refIdxLX（列表X中的參考畫面索引），X可以是0或1。例如，一候選A是列表0有mvL0_A與ref0的單向預測，ref0先拷貝到列表1的參考索引ref0’。之後以ref0 與ref0’來縮放mvL0_A並藉以計算出mvL0’_A。然後，列表0中具有mvL0_A 與ref0以及列表1中具有mvL0’_A 與 ref0’的雙向預測合併候選則被創建出並加入於合併候選列表中。第3圖示出了縮放型雙向預測合併候選推導過程的一例子，其中候選列表310相對應於一原始候選列表，而候選列表320相對應於一擴大候選列表，其包括二個所產生出來的雙向預測MVP。
在候選類型3中，零向量合併/AMVP候選是藉由結合零向量與可以被參考的參考索引來創建出。第4A圖示出了加入零向量合併候選的例子，其中候選列表410相對應於一原始合併候選列表，而候選列表420相對應於藉由加入零向量而擴展的合併候選列表。第4B圖示出了加入零向量AMVP候選的例子，其中候選列表430（L0）與432（L1）相對應於原始AMVP候選列表，而候選列表440（L0）與442（L1）相對應於藉由加入零向量而擴展的AMVP候選列表。如果零向量候選不重複，則將其加入合併/AMVP候選列表中。
當一PU是以幀內模式編解碼時，幀內預測方法僅利用相鄰於當前預測單元（PU）的一參考層（或線）與幀內預測模式中之一種，來產生用於當前PU的預測子。相鄰於當前預測單元（PU）的參考層是指用於幀內預測的參考L-形重構樣本。對於幀內預測模式而言，空間相鄰重構像素可以被用來產生方向性預測。在HEVC中至多有35個方向。在HEVC所有的35個幀內預測模式中，其中3個模式會被考慮為最可能模式（MPM）以用來預測當前預測塊的幀內預測模式。這3個模式被選擇成為一最可能模式組（MPM set）。例如，MPM set包括使用在左方預測塊與上方預測塊的幀內預測模式。當二個相鄰塊的幀內預測模式是相同的且二者皆為方向性的時候，或是當在二個相鄰塊僅有其一是可用的且以幀內預測編碼且同時此幀內預測模式是方向性的時候，則緊鄰在此方向旁邊的二個相鄰方向會被使用為MPM。在MPM組中也考慮直流模式與平面模式以填補MPM中的可用位置，特別是如果上方或頂端相鄰塊是不可用的或非以幀內預測編碼的，或如果相鄰塊的幀內預測模式並非方向性的。如果用於當前預測塊的幀內預測模式是在MPM組中的模式之一，則會使用1或2位元子（bins）來發信其為哪一個模式。否則，其不同於在MPM組中的任一欄位，而會被編碼為一非-MPM模式。總共有32個如此的非-MPM模式而會應用一（5-位元）固定長度編解碼方法來發信此一模式。第5圖顯示出33個方向。在第5圖中，總共有33個方向性的模式，因此使用H，H+1~H+8，H-1~H-7，V，V+1~V+8，V-1~V-8。這個系統可以被擴展到一般狀況，其中水平和垂直模式以H和V模式來代表。對於其他方向性模式而言，可以用來H+k或V+k模式來代表，其中k=±1，±2等。例如，如果使用了65個方向性的模式，k的範圍可以從±1到±16。
在遞交至國際電信通訊聯盟–視頻編解碼專家組（ITU-VCEG）的提案投稿ITU-T13-SG16-C1016（由Lin等人所提的“Affine transform prediction for next generation video coding”，ITU-U，研究組16，問題Q6/16，提案投稿 C1016，2015年9月，瑞士日內瓦）中，揭示了四參數仿射預測，其中包括了仿射合併模式。當仿射運動塊正在移動時，該塊的運動向量場域可以藉由兩個控制點運動向量或者四個參數加以描述如下，其中(vx, vy)表示運動向量：
Figure 02_image001
等式（1）
四參數仿射模型的例子如第6圖所示，其中塊610相對應於當前塊，而塊620相對應於參考塊。變換塊是一矩形塊。在此移動的塊中的每個點的運動向量場域可以藉由如下等式加以描述：
Figure 02_image003
等式（2）
在上述等式中，(v0x , v0y )是位於塊的左上方角落處的一個控制點運動向量(即v0 )，(v1x , v1y ) 是位於塊的右上方角落的另一個控制點運動向量(即v1 )。當兩個控制點的MV被解碼時，該塊的每個4x4塊的MV可以根據上述等式來決定。換句話說，該塊的仿射運動模型可以由位於兩個控制點處的兩個運動向量來指定。另外，雖然塊的左上方角落和右上方角落用作兩個控制點，其他兩個控制點也可以被使用。
在投稿ITU-T13-SG16-C1016中，對於幀間模式編解碼的CU而言，當CU尺寸等於或大於16x16之時，會發信一仿射旗標以指示仿射幀間模式是否被使用。如果當前塊（例如當前CU）以仿射幀間模式進行編解碼，則使用相鄰有效重構塊來建立候選MVP對的列表。第7圖示出了相鄰塊組以用來堆導出角落-推導仿射候選。如第7圖所示，
Figure 02_image005
對應於位於當前塊710的左上方角落處的塊V0的運動向量，其是從相鄰塊a0（稱為左上方塊，above-left block）、相鄰塊a1（稱為左上方內側塊，inner above-left block）和相鄰塊a2（稱為左上方下側塊，lower above-left block）的運動向量中所選擇出的。
Figure 02_image007
對應於位於當前塊710的右上方角落處的塊V1 的運動向量，其是從相鄰塊b0（稱為上方塊）和相鄰塊b1（稱為右上方塊）的運動向量中所選擇出的。
在上述等式中，MVa是與塊a0、a1或者a2相關的運動向量，MVb是從塊b0和b1的運動向量中所選擇出來的，MVc是從塊c0和c1的運動向量中所選擇出來的。具有最小DV的MVa和MVb則被選擇以形成MVP對。因此，雖然僅兩個MV集（即MVa和MVb）將被搜索以找到最小DV，但是第三DV集（即MVc）也涉及在此選擇過程中。第三DV集對應於位於當前塊710的左下方角落塊的運動向量，其是從相鄰塊c0（稱為左方塊）和c1（稱為左下方塊）的運動向量中所選擇出來的。在第7圖的例子中，使用來建構仿射運動模型的控制點MV的相鄰塊（a0、a1、a2、b0、b1、b2、c0 與 c1），在本揭示中則稱為一相鄰塊組。
在投稿ITU-T13-SG16-C-1016中，也提出了仿射合併模式。如果當前塊是一合併PU，則檢查五個相鄰塊（即第7圖中的c0、b0、b1、c1與a0塊）來決定它們其中之一是否為仿射幀間模式或者仿射合併模式。如果是，則affine_flag旗標被發信以指示當前PU是否為仿射模式。當當前PU是以仿射合併模式編碼時，其從有效相鄰重構塊中得到用仿射模式編碼的第一塊。如第7圖中所示，候選塊的選擇順序是從左方、上方、右上方、左下方到左上方（即c0àb0àb1àc1àa0）。第一仿射編碼塊的仿射參數會用於推導出當前PU的v0 和v1 。
在HEVC中，對每一PU解碼後的MV以16:1的比例降低取樣頻率（down-sampled），並且儲存於時間MV緩衝器中，以便用於接下來幀的MVP推導。以一16x16塊而言，只有左上方4x4的MV儲存於時間MV緩衝器中，而且所儲存的MV則代表整個16x16塊的MV。
在JVET-K0115（S Jeong等人提出“CE4 Ultimate motion vector expression in J0024（Test 4.2.9）”，2018年7月10-18日，在斯洛維尼亞的盧布亞納舉行的ITU/T SG 16 WP3以及ISO/IEC JTC 1/SC 29 WG/11的聯合視訊專家小組（JVET）第11次會議，文獻：JVET-K0115）中，給出了JVET-J0024（S. Akula等人提出“Description of SDR, HDR and 360° video coding technology proposal considering mobile application scenario by Samsung, Huawei, GoPro, and HiSilicon”，2018年4月10-20日，在美國聖地牙哥舉行的ITU/T SG 16 WP3以及ISO/IEC JTC 1/SC 29 WG/11的聯合視訊專家小組（JVET）第10次會議，文獻：JVET-J0024）中提出的最終的運動向量運算式（UMVE）。第8A圖示出了於當前幀810中一當前塊812進行UMVE搜索過程的例子。參考列表L1中的幀820以及參考列表L1中的幀830相對應於雙向預測的兩個參考幀。線840相對應於穿過當前塊812的中心以及幀820與830中兩個相對應像素的一條線。搜索在與線840（例如線842與844）有相關的中心點周圍執行。為了簡化搜索過程，如第8B圖所示將僅搜索在中心點周圍垂直以及水平方向上的特定位置以尋找L0參考（850）以及L1參考（852）。UMVE用於具有所提出的運動向量運算式方法的跳過或者合併模式兩者之一。UMVE重新使用與正在開發的VVC（多功能視訊標解碼）標準中相同的合併候選。在複數個合併候選中，一候選可以被選擇，並可以進一步藉由所提出的運動向量運算式方法展開。UMVE提供具有簡化發信的一新的運動向量運算式。該運算式方法包括預測方向信息、起始點、運動幅度、與運動方向。
此一提出的技藝會將合併候選列表以其現況來加以使用。然而，僅有預定合併類型（MRG_TYPE_DEFAULT_N）的候選會被考慮用於UMVE的擴展。預測方向信息指示在L0, L1,以及 L0 與 L1 預測之中的一預測方向。在B切片中，本提出技藝可以藉由使用鏡像技術（mirroring technique）從具有單向預測的合併候選來產生雙向預測候選。例如，如果一合併候選是用L1的單向預測，一參考索引L0則藉由搜尋列表 (list) 0中的一特定參考畫面來決定，該特定參考畫面為以合併候選所得到列表 (list) 1的參考畫面做鏡像而形成。如果沒有相對應畫面，則使用最接近當前畫面的參考畫面。L0的MV則藉由縮放L1的MV來推導出。縮放因子則藉由POC（picture order count，畫面順序計數）距離來加以計算。
如果UMVE候選的預測方向是和原始合併候選之一是相同的，則數值0的索引則被發信作為一UMVE預測方向。然而，如果UMVE候選的預測方向和原始合併候選之一是不同的，數值1的索引則被發信。在第一位元發信之後，基於事先定義的UMVE預測方向的優先順序將剩下的預測方向發信出去。優先順序是L0/L1預測、L0 預測與L1預測。如果合併候選的預測方向是L1，則編碼‘0’被發信用於UMVE的預測方向L1，編碼‘10’ 被發信用於UMVE的預測方向L0與L1，編碼‘11’ 被發信用於UMVE的預測方向L0。如果L0 與L1預測列表相同，則UMVE的預測方向信息不被發信。
基礎候選索引（base candidate index）定義出了起始點。基礎候選索引指出如表1所示列表的候選者之中最佳的候選。表 1.
Figure 108140997-A0304-0001
表2示出了距離索引以用於各種距離。表 2.
Figure 108140997-A0304-0002
方向索引代表MVD相對於起始點的方向。方向索引可以代表如表3所顯示的四個方向。表 3.
Figure 108140997-A0304-0003
在本發明中揭示了一種改良的MH模式來改良性能與/或降低系統資源的要求規定，例如記憶體存取頻寬與/或計算複雜度。
揭示一種用於視訊編解碼的預測方法與裝置。根據本方法，在一視訊編碼器側接收關於一當前畫面的一當前塊的輸入資料，或在一視訊解碼器側接收相對應於經過壓縮後資料的一視訊位元流，而該壓縮後資料包括該當前畫面中的該當前塊。將該當前塊分割為一第一分割與一第二分割。決定該第一分割的一第一候選與決定該第二分割的一第二候選。根據本發明的實施例，該第一候選與該第二候選中至少有一個是藉由使用用來推導一普通合併模式的一候選列表而推導出來的。藉由混合（blend）相對應於該第一候選的一第一預測與相對應於該第二候選的一第二預測而產生一MH預測，而且該MH預測被應用於該當前塊的其中一部分。使用該第一候選與該第二候選中至少之一而於該視訊編碼器側編碼該當前塊或是與該當前塊相關的當前運動信息，或是使用該第一候選與該第二候選中至少之一而於該視訊解碼器側解碼該當前塊或是與該當前塊相關的該當前運動信息。
在一實施例中，沿著從該當前塊的一左下角落至一右上角落或從該當前塊的一左上角落至一右下角落的一對角線，將該當前塊分割為二個三角形。在另一實施例中，於一水平方向、一垂直方向、或具有一精確角度或一精確斜率的一角度方向，將該當前塊分割為二個子塊。例如，所述精確角度對應於45度或135度。
在一實施例中，該第一候選是推導自一第一候選列表，而該第一候選列表是相關聯於為該普通合併模式所推導的候選列表。在另一實施例中，該第二候選是推導自一第二候選列表，而該第二候選列表是相關聯於為該普通合併模式所推導的候選列表。在又一實施例中，該第一候選列表與該第二候選列表共享一相同的候選列表。在又一實施例中，該第一候選列表與該第二候選列表是推導自該相同的候選列表。
在一實施例中，該第一候選、與/或該第二候選、或二者是基於該第一候選的一索引、該第二候選的一索引、或二者來選擇的。例如，該第一候選或該第二候選的列表0或列表1運動信息是基於該第一候選的該索引或該第二候選的該索引或二者來選擇的。在另一實施例中，當為該第一候選與該第二候選所選擇的運動信息是相同的時候，該第一候選或該第二候選的該運動信息於混合該第一預測與該第二預測時不作修正。
本發明另一方面著墨於候選的發信。在一實施例中，一候選索引會被發信用於該第一分割與該第二分割的每一個。在另一實施例中，一候選索引會被推導用於該第一分割與該第二分割的每一個。在又一實施例中，在該候選列表中位於前面的候選成員者會被指定較短-長度的碼字。該候選列表中候選成員者的順序是基於和該普通合併模式相似或相同順序的一固定順序。
在接下來的說明是實施本發明所最佳能思及的方式，在此說明的目的是為了闡釋本發明的一般性原則，不應從限制性的角度視之。本發明的範圍最佳方式是由參照所附的申請專利範圍來決定。
在本發明中，揭示一種多重-假設（MH）模式來改善幀間預測，例如跳過、合併、AMVP模式、仿射合併模式、仿射AMVP模式、子塊合併模式、幀內模式或上述的任何組合。現行，會產生二種合併候選列表。一種合併候選列表，包括空間合併候選（來自空間相鄰CU的空間MVP）、時間合併候選（來自並位CU之一的時間MVP）、配對型平均合併候選、零運動向量合併候選、基於歷史的合併候選、或更多的合併候選，是用於一般合併模式（或也稱普通合併模式）（例如旗標regular_merge_flag =真）；而另一合併候選列表是用於合併模式其包含有用於子塊（例如旗標merge_subblock_flag =真）的不同運動信息。不同於一般合併模式，一般合併模式意味著當前塊（CU、CB、PU、或PB）使用相同的運動信息而且當前塊的預測是通過藉由未結合幀內預測的運動信息進行運動補償來產生；MH模式的概念則是結合一現有的預測假設 (hypothesis of prediction)與一額外的索引間預測，其可以是從一合併運動候選或幀間運動候選所產生的預測假設。例如，可以使用MH模式來改善合併模式的表現。在跳過或合併模式中，一合併索引會被用來選擇一運動候選，其可以是來自合併候選列表的候選自身所推導出的單向預測或雙向預測。在本揭示中，所產生的運動補償預測子被稱為第一假設。對於所提出的MH模式而言，除了第一假設之外還會產生第二假設。可以藉由來自合併、跳過模式、AMVP模式、仿射合併模式、仿射AMVP模式、子塊合併模式的運動補償來產生預測子的第二假設。在另一例子，可以使用MH模式來改善幀內模式的表現。在用於幀內的MH模式中，每一MH候選包含一運動候選與一幀內預測模式，其中運動候選是選擇自候選列表I而且幀內預測模式是選擇自候選列表II。當支援MH模式時，一或多個MH候選是可用（available）於跳過、合併或AMVP模式、仿射合併模式、仿射AMVP模式、子塊合併模式、幀內模式或上述的組合。在一實施例中，MH模式可以被應用於合併索引小於一特定閥值T的合併候選，其中T可以是1、2、3、4、5、6、8、或9。
根據不同的設定，例如幀內模式設定、幀內預測設定、運動信息設定、塊分割設定、結合權重設定、或以上任何組合，而來提出多重-假設模式的變型。在一實施例中，設定可以用於原始的假設、額外的假設、或多於一個假設。在另一實施例中，設定的選擇可以根據塊寬度與/或塊高度加以隱含地推導出；或藉由在CU層級、CTU層級、切片層級、方塊（tile）層級、SPS層級、或PPS層級或以上任何組合所發信的一旗標來顯性地指示出。
在一實施例中，當CTU約束被致能時，會使用幀內模式設定。如果在相同幀的相鄰PU是使用多重-假設模式編解碼時，只有在下列情況下幀內模式才可以被參考：當PU和當前PU是屬於相同的CTU；或是被參考的幀內模式被推論為一事先定義的幀內模式，其可以從{平面、直流、垂直、水平、對角線、模式 2}中加以選擇。這會避免CTU線緩衝器去儲存幀內模式。
幀內預測設定是從普通幀內模式的幀內預測的過程，改變為用於幀內的MH模式的幀內預測的過程。在一實施例中，用於幀內的MH模式的幀內預測可以是普通幀內模式的幀內預測的一簡化版本。簡化的機制可以是省略參考像素的濾波處理流程、減少幀內內插濾波器的長度、跳過當前幀內預測與相鄰幀內重構的混合如位置依存度幀內預測結合（PDPC），其涉及未濾波或已濾波的邊界參考樣本以及具有未濾波或已濾波的邊界參考樣本的HEVC類型幀內預測二者之結合，或任何上述之結合。例如，當選擇了用於幀內的MH模式時，PDPC需要被失能而且不可以應用濾波處理流程。然後，對於水平/垂直預測模式或直流模式而言，當前塊預測的緩衝器可以分別減少為一行（line）或一數值。
運動信息設定是為了記憶體存取頻寬與計算複雜度的考量。在一實施例中，運動信息設定可以是一縮放的機制，會根據用一預先定義列表（例如列表A，A=0或1）的另一個預測的假設的參考畫面（例如R1），來縮放一預先定義列表（例如列表B，B=0或1）的一個預測的假設的參考畫面（例如R2）。縮放機制的一些變型也在此提出。例如，相對應於縮放R2的縮放機制和R1是相同的。在另一例子中，相對應於縮放R2的縮放機制和R1相近。在另一實施例中，運動設定可以應用到四個不同案例。第一案例相對應的情況是預測的第一假設是列表List B的單向預測而且預測的額外假設是列表List A的單向預測。一種可能的方式是並不需要運動信息設定，因為記憶體存取頻寬最壞的情況和用雙向預測的預測假設是一樣的。另一種可能的機制是，和縮放機制一樣，也應用了運動信息設定。第一案例是預測的第一假設是列表List A的單向預測而且預測的額外假設是雙向預測。一種可能的方式是用於預測的額外假設的列表X（其中X=A）的參考畫面是以運動信息設定來加以實施。
另一種可能的方式是用於預測的額外假設的列表X的參考畫面是以運動信息設定來加以實施，其中X可以是0或1，取決於哪一個使得列表X的參考畫面更接近於列表A的參考畫面。第三案例是預測的第一假設是雙向預測而且預測的額外假設是列表List B的單向預測。一種可能的方式是，類似於縮放機制，列表B的參考畫面是以運動設定來加以實施。用於額外假設的列表B的參考畫面可以被縮放至用於預測的第一假設的列表X（其中X=B）的參考畫面。另一種可能的方式是，用於額外假設的列表B的參考畫面被縮放至用於預測的第一假設的列表X的參考畫面，其中X可以是0或1，取決於哪一個使得列表X的參考畫面更接近於列表B的參考畫面。第四案例是預測的第一與額外假設二者皆是雙向預測。一種可能的方式是，用於預測的額外假設的列表0/1的參考畫面分別地被縮放至用於預測的第一假設的列表0/1的參考畫面。另一種可能的方式是，用於預測的額外假設的列表0或列表1的參考畫面分別地被縮放至用於預測的第一假設的列表0或列表1中較接近的參考畫面。另一種可能的方式是，用於額外假設的列表0或列表1的參考畫面被縮放至用於預測的第一假設的一事先定義列表的參考畫面。
依據一事先定義的分割規則，將塊分割設定應用於塊的一部分而非整個塊。預測的第一假設是實施於一子塊，而預測的另一假設是實施於另一子塊。用於預測的多重-假設的混合機制可以應用於相連的區域。在一實施例中，塊分割可以依照如水平、垂直、對角線、或135-度對角線的方向進行。水平-方向/垂直-方向分割可以將塊分割成二個子塊，每一子塊高度或寬度以Hi 或Wi 來表示，其中i可以是1或2而且Hi 或Wi =（塊高度– H2 ）或（塊寬度–W2 ）。例如，Hi 與塊高度的比率或Wi 與塊寬度的比率可以是1:N，其中N是2、3、4、6、8、16、或32。對角線/垂直-方向性的分割可以依照基於方向信息（例如，用一精確的角度如45（其可以用tan（45度）=1來表示）或135度（其可以用tan（135度）=-1來表示），或是以左上方角落至右下方角落或右上方角落至左下方角落的方向）的一角度方向進行塊分割。在一些其他實施例中，方向性訊息可以利用正弦、餘弦、正切來代表，或其他三角函數或斜率信息或任何其他形式來代表用於進行塊分割的方向。在另一實施例中，塊分割可以依照如L形或鋸齒狀的多邊形來進行。L形分割可以將塊分割成一NxN方形或NxM矩形的子塊，與一剩餘的L-形區域，其中N與M可以是（n * 1/（塊寬度） ）或（n * 1/（塊高度） ）而且n是一正整數。NxN方形或NxM矩形子塊可以位於四個角落的每一個。鋸齒狀可以將塊分割成以wi 和hj 定義的二個鋸齒狀子塊，其中i和j可以是2、3、4、5、6、7、或8而且wi 可以和hj 不同。第9圖示出了具有鋸齒-形狀分割的8x8塊的例子。在第9圖中，一8x8塊被分割成以wi 和hj 定義的二個子塊，其中i和j在此例子中是從1到4而且他們每一個都被設定為2。在另一實施例中，可以依據塊寬度、塊高度、或塊尺寸大小來決定塊的分割。在另一實施例中，依據一事先定義的規則將預測的一個假設應用於一個分割後的子塊。事先定義的規則可以是如下。如果預測的假設是藉由從B0 、B1 或B2 的空間運動候選所產生的，其應該被應用於在上側分割後的子塊或是相鄰於被參考來推導空間MVP的塊的分割後的子塊。相似地，如果預測的假設是藉由從A0 或A1 的空間運動候選所產生的，其應該被應用於在左側分割後的子塊或是相鄰於被參考來推導空間MVP的塊的分割後的子塊。其他例子可以取決於一事先定義的映射表或一顯性發信的旗標。
結合權重設定處理的是用於多重-假設預測的權重。例如預測的二個假設可以相結合。可以藉由下列等式來計算最後的預測： Pij = WH1ij *PH1ij + WH2ij *PH2ij
在上述等式中，Pij 代表在當前塊之內位置（i, j）的最後預測，PH1ij 與PH2ij 分別代表在當前塊之內位置（i, j）的預測的第一與額外假設。WH1ij 與WH2ij 分別代表在當前塊之內位置（i, j）的預測的第一與額外假設的權重，其中i 是從 0 到（塊寬度– 1）而 j 是從 0 到（塊高度– 1）。在一實施例中，對於WH1ij 或WH2ij 等於0的區域，預測的額外或第一假設可以指定為最後預測，而結果會和塊分割設定所進行的是一樣的。在另一實施例中，WH1ij 與WH2ij 可以是基於像素並且以一預先定義的表加以指定。在另一實施例中，WH1ij 與WH2ij 可以是基於子塊。NxM的子塊中每一像素都共享相同的權重，其中N與M可以是2、3、4、5、6、7、或8。N與M的值可以隨著塊寬度、塊高度、或是像素位置而改變。例如，當像素位於當前塊的邊界時， N或M可以大一些。
結合塊分割設定與結合權重設定是依據分割來應用權重。在一實施例中，沿著分割方向的像素會適用相同的權重。在另一實施例中，預測的假設之一會實施於事先定義的區域（以R來表示），而且當與R之內的一子-區域的預測的另一個假設相混合時，會使用較高的權重。當在R之內的像素遠離分割方向時，實施在R的預測的假設的權重會變較大。以下，會顯示一個例子是以一對角線方向分割的8x8塊以及將權重應用於子塊。如第10圖所示，在對角線方向將一CU分割為二個三角預測單元。如果預測的第一與額外假設以權重（以WH1ij 與WH2ij 來表示）分別實施於左方與右方三角區域（以RL 與RR 來表示），如第11圖所示不同的權重可以被應用於不同區域。應注意的是，在此例子中當對預測的權重假設進行平均時，應用的是3-位元向右-位移。在第11A圖中，如WH1ij = 4與WH2ij = 4的相同權重被應用於被標示的區域（如劃斜線的區域所顯示）；在第11B圖中，WH1ij = 5與WH2ij = 3被應用於RL 被標示的區域而且WH1ij = 3與WH2ij = 5被應用於RR 被標示的區域；在第11C圖中，WH1ij = 6與WH2ij = 2被應用於RL 被標示的區域而且WH1ij = 2與WH2ij = 6被應用於RR 被標示的區域；在第11D圖中，WH1ij = 7與WH2ij = 1被應用於RL 被標示的區域而且WH1ij = 1與WH2ij = 7被應用於RR 被標示的區域。
揭示一些建構候選列表與選擇合併候選的方式，以用於具有對角線或垂直對角線方向的MH預測，其被稱為三角預測單元模式。首先，將三角預測單元模式的場景描述如下。主要的概念是要引入一新的三角分割以用於運動補償預測中。三角分割於對角線或逆對角線方向將一CU分割成二個三角預測單元。CU中的每一三角預測單元是使用其自身的單向預測運動向量與參考幀來進行幀間-預測。在預測了三角預測單元之後，將一自適應權重處理流程實施於對角線邊緣。然後，將轉換與量化流程應用於整個CU。要注意的是此一模式僅適用於跳過與合併模式。所提出的方式是由以下所組成：對於每一三角預測單元建構候選列表、對於二個三角預測單元建構一共享候選列表、產生一新的單向預測候選、排序候選列表中的運動候選、修剪候選列表中的候選、儲存運動信息以用於對角線邊緣、或上述之任何組合。
對於每一預測單元建構候選列表，是建立一候選列表（以CandList1來表示）以用於第一三角預測單元，而然後相應地建立另一候選列表（以CandList2來表示）以用於第二三角預測單元。在一實施例中，首先，可以用合併模式中普通/擴展的候選來形成CandList1。例如，候選位置可以來自用於HEVC中AVMP/合併的MVP候選組的任何子集（如第1圖所示）或來自例如推導新合併候選的擴展候選，其是藉由將具有或不具相同參考畫面的二個已經存在的運動候選加以平均；或是從二個非-緊鄰的相鄰位置（non-adjacent neighbouring positions）來推導額外的空間候選，其一是直線（straight）水平空間距離上最靠近的非-相鄰塊，而另一個是直線（straight）垂直空間距離上最靠近的非-相鄰塊；或是從一外面參考區域中的位置來推導額外的空間合併候選。在一實施例中，CandList1的候選列表可以重複使用一般合併模式（或也稱為普通合併模式）的候選列表。然後從CandList1中移除雙向預測候選或是選擇每一雙向預測候選中一事先定義列表的運動候選。在另一實施例中，CandList2可以如同CandList1來形成。在另一實施例中，CandList2可以首先如同CandList1來形成，然後從CandList2中移除用於第一三角預測單元的候選以避免冗餘的狀況。最後，可以應用一事先定義的規則來填滿CandList2。用來填滿CandList2的事先定義的規則可以選擇自此處所揭示的任何產生一新的單向預測候選的方法。
使用一共享候選列表於二個預測單元（例如二個三角預測單元或任何其他形狀的二個預測單元）的方法可以包括：依類似CandList1的方式建立一單向預測候選列表，與/或根據一事先定義的規則（例如一映射表）選擇二個候選（分別以cand1與cand2來表示）以用於第一與第二三角預測單元。
產生一新的單向預測候選的方法可以包括以一事先定義的規則修正該已經存在的單向預測候選。在一實施例中，可以藉由增加一偏移量n於原始的單向預測候選，來產生一新的單向預測候選，偏移量n可以固定於1、2、3、4、5、6、7、8等或隨著塊寬度、高度或運動向量精度（precision）而改變。在另一實施例中，可以藉由將原始的單向預測候選做鏡像，來產生一新的單向預測候選。例如，鏡像可以對應於水平運動向量的反方向並且改變列表List 0/1 為列表List 1/0。在另一實施例中，可以藉由用一事先定義的列表來平均二個候選，而產生一新的單向預測候選。用事先定義的列表來平均二個候選的權重可以相同或隨著塊寬度、塊高度或像素位置而改變。例如，當像素位置離包含第一運動候選的塊較接近時，第一運動候選的權重比第二運動候選的權重較大。
對於候選列表中運動候選（在本揭示中也稱為候選成員）排序的方法可以包括決定候選列表中運動候選的優先順序。在候選列表中位於前面的運動候選可以用較短-長度的碼字加以發信或在編碼器模式決定時接受最多測試。在一實施例中，候選的優先順序可以是一固定順序，和一般合併模式（或也稱普通合併模式）的順序相似。在另一實施例中，候選的優先順序可以隨著塊寬度、塊高度或像素位置而改變。例如，當塊位於左方邊界時，來自上方或右方候選組的候選則放在候選列表的前面部份。另一例子中，當塊形狀窄的時候（narrow，例如塊寬度/高度比塊高度/寬度大二倍以上），來自相鄰於塊的長側的那些塊的候選組的候選則放在候選列表的前面部份。
當cand1與cand2是相同或相似的時候，修剪候選列表中的候選是必要的。為了修剪，可以將一些處理應用於cand1與cand2任一個或二者。在一實施例中，cand1與cand2的相似度可以用cand1與cand2的運動向量距離以及cand1與cand2的參考畫面來加以測量。例如，當cand1與cand2的參考是相同的而且運動向量距離小於某一閥值時，cand1與cand2是相似的。以下揭示一些修剪的機制，以用來考慮cand1與cand2是相同或相似的時候。一種架構是不允許cand1與cand2這種組合，並且藉由依據候選列表中的優先順序來找cand1與cand2的下一個組合。根據另一種機制，如果cand1或cand2是用一事先定義的列表從雙向預測運動候選中所選擇出的單向預測運動候選，可以將cand1或cand2替換成用其他的列表從雙向預測運動候選中所選擇出的運動候選。根據又另一種機制，可以將cand1或cand2替換成一新的候選，其是藉由應用任何已揭示產生一新的單向預測候選的方式於cand1或cand2所產生的。
儲存對角線邊緣的運動信息的方法可以包括處理空間的情況，其發生於當儲存相連區域中的運動信息以便後續編碼塊可以用來參考。要注意的是二個運動候選（即cand1與cand2）是實施於相連的區域。在一實施例中，如果二個三角預測單元的運動候選都是相同列表的單向預測，根據一實施例可以藉由將運動向量cand1或 cand2增加一偏移量來修正運動信息，然後儲存修正後的運動信息。在另一實施例中，cand1或 cand2可以是互為鏡像，而且對應於（cand1與鏡像的cand2）或（cand2與鏡像的cand1）的一雙向預測候選可以被儲存起來。
在一實施例中，分割1與分割2可以共享相同的候選列表。例如，此候選列表可以和用於一般合併模式（或也稱普通合併模式）的候選列表或其他編解碼工具的其他候選列表是相同的。在一例子中，可以推導二個候選以用於二個分割。二個候選中至少有一個可以使用用來推導一一般合併模式（或也稱普通合併模式）的一候選列表而推導出來。一MH預測可以藉由混合從二個候選所產生的預測而來產生。在一實施例中，二個候選可以從相同的候選列表推導出來。對於每一個分割，會發信或推導出一個候選索引。有了候選索引，二個分割可以有其自己的運動信息。如果被選擇的候選是單向預測候選，會使用單向預測運動信息。如果被選擇的候選是雙向預測候選，可以使用一或多個處理規則來選擇單向預測運動信息。例如，如果被選擇的候選是雙向預測候選，可以選擇列表List-0運動信息。在一實施例中，對於二個分割的處理規則可以不同。例如，如果被選擇的候選是用於第一分割的雙向預測候選，列表List-0/ 列表List-1運動信息可以被選擇；如果被選擇的候選是用於第二分割的雙向預測候選，選擇列表List-1/ 列表List-0運動信息可以被使用。在另一實施例中，此處理規則可以使用二個分割的信息或二個分割的索引。例如，如果二個分割選擇了相同的候選而且此候選是一雙向預測候選，第一分割會選擇列表List-0/ 列表List-1運動信息而且第二分割會選擇列表List-1/ 列表List-0運動信息。在另一例子中，如果二個分割選擇了相同的候選而且此候選是一雙向預測候選，第一分割會選擇列表List-0/ 列表List-1運動信息而且第二分割會選擇列表List-1/ 列表List-0運動信息；否則，如果被選擇的候選是雙向預測候選，列表List-0/ 列表List-1運動信息會被選擇。在運動信息選擇之後，如果二個分割的運動信息相同（例如相同MV與相同參考列表與相同參考畫面索引，或相同MV與相同參考畫面），根據一實施例運動信息不會被修正來用於推導新的候選。這可被視為一致不變的（uniform）單向預測CU。在另一實施例中，如果二個分割的運動信息相同，其中一個運動信息可以被修正。例如，第二分割的運動信息可以藉由一程序加以修正，如在運動信息增加一些事先定義或推導出的MV/MV-偏移量，或鏡像/縮放運動信息至另一個參考列表與/或另一個參考畫面。在另一實施例中，第二分割的候選索引可以被修正來推導另一個運動信息，例如選擇第一候選或選擇被選擇候選的相鄰候選（候選索引-1或+1）。
可以應用上述的任何組合於任何多重-假設模式，例如用於合併的MH模式、用於幀間的MH模式、或用於幀內的MH模式。
前面提出的任何方法可以在編碼器與/或解碼器中加以實施。例如，所提出的任何方法可以在一編碼器的一幀間/幀內編解碼模組、一運動補償模組、一解碼器的一合併/幀間/幀內候選推導模組中加以實施。所揭示的任何方法也可以選擇性地實施為一電路而耦合至一幀間/幀內編解碼模組、一運動補償模組、一解碼器的一合併/幀間/幀內候選推導模組。
第12圖根據本發明的一實施例使用一多重-假設（MH）模式於視訊編解碼的例示性預測的一流程圖。本流程圖中所示的步驟，以及本揭示中其他接下來的流程圖，可以實作成程式碼而可在編碼器側與/或解碼器側中的一或多個處理器（例如一或多個中央處理器）中執行。本流程圖中所示的步驟也可以基於硬體來實作，硬體可以例如安排來進行本流程圖中各步驟的一或多個電子裝置或處理器。根據本方法，在步驟1210中，在一視訊編碼器側接收關於一當前畫面的一當前塊的輸入資料，或在一視訊解碼器側接收相對應於經過壓縮後資料的一視訊位元流，而該壓縮後資料包括該當前畫面中的該當前塊。在步驟1220中，當前塊被分割為一第一分割與一第二分割。在步驟1230中，決定該第一分割的一第一候選與該第二分割的一第二候選，其中該第一候選與該第二候選中至少有一個是藉由使用用來推導一普通合併模式的一候選列表而推導出來的。在步驟1240中，藉由混合相對應於該第一候選的一第一預測與相對應於該第二候選的一第二預測而產生一MH預測，其中該MH預測被應用於該當前塊的其中一部分。在步驟1250中，使用該第一候選與該第二候選中至少之一而於該視訊編碼器側編碼該當前塊或是與該當前塊相關的當前運動信息，或是使用該第一候選與該第二候選中至少之一而於該視訊解碼器側解碼該當前塊或是與該當前塊相關的該當前運動信息。
所示的流程圖用於示出根據本發明的視訊編解碼的示例。在不脫離本發明的精神的情況下，所屬領域中具有習知技術者可以修改每個步驟、重組這些步驟、將一個步驟進行分離或者組合這些步驟而實施本發明。在本揭示中，具體的語法和語義已被使用以示出實現本發明實施例的示例。在不脫離本發明的精神的情況下，透過用等同的語法和語義來替換該語法和語義，具有習知技術者可以實施本發明。
上述說明，使得所屬領域中具有習知技術者能夠在特定應用程式的內容及其需求中實施本發明。對所屬領域中具有習知技術者來說，所描述的實施例的各種變形將是顯而易見的，並且本文定義的一般原則可以應用於其他實施例中。因此，本發明不限於所示和描述的特定實施例，而是將被賦予與本文所公開的原理和新穎特徵相一致的最大範圍。在上述詳細說明中，說明了各種具體細節，以便透徹理解本發明。儘管如此，將被本領域的具有習知技術者理解的是，本發明能夠被實踐。
如上所述的本發明的實施例可以在各種硬體、軟體代碼或兩者的結合中實現。例如，本發明的實施例可以是集成在視訊壓縮晶片內的電路，或者是集成到視訊壓縮軟體中的程式碼，以執行本文所述的處理。本發明的一個實施例也可以是在數位訊號處理器（Digital Signal Processor，DSP）上執行的程式碼，以執行本文所描述的處理。本發明還可以包括由電腦處理器、數位訊號處理器、微處理器或現場可程式設計閘陣列（field programmable gate array，FPGA）所執行的若干函數。根據本發明，透過執行定義了本發明所實施的特定方法的機器可讀軟體代碼或者固件代碼，這些處理器可以被配置為執行特定任務。軟體代碼或固件代碼可以由不同的程式設計語言和不同的格式或樣式開發。軟體代碼也可以編譯為不同的目標平臺。然而，執行本發明的任務的不同的代碼格式、軟體代碼的樣式和語言以及其他形式的配置代碼，不會背離本發明的精神和範圍。
本發明可以以不脫離其精神或本質特徵的其他具體形式來實施。所描述的例子在所有方面僅是說明性的，而非限制性的。因此，本發明的範圍由附加的權利要求來表示，而不是前述的描述來表示。權利要求的含義以及相同範圍內的所有變化都應納入其範圍內。
210:候選組/候選列表 220:候選列表 231:mvL0_A, ref0 232:mvL1_B, ref0 233:雙向預測MVP 310:候選列表 320:候選列表 410:候選列表 420:候選列表 430:候選列表 432:候選列表 440:候選列表 442:候選列表 610:當前塊 620:參考塊 710:當前塊 810:當前幀 812:當前塊 820:幀 830:幀 840:線 842:線 844:線 850:L0參考 852:L1參考 1210:步驟 1220:步驟 1230:步驟 1240:步驟 1250:步驟
第1圖示出了AMVP與合併機制二者中用來推導空間與時間MVP的相鄰PU。 第2圖示出了結合型雙向預測合併候選推導過程的一例子。 第3圖示出了縮放型雙向預測合併候選推導過程的一例子，其中左方的候選列表相對應於一原始候選列表，而右方的候選列表相對應於一擴大候選列表，其包括二個所產生出來的雙向預測MVP。 第4A圖示出了加入零向量合併候選的例子，其中左方的候選列表相對應於一原始合併候選列表，而右方的候選列表相對應於藉由加入零向量而擴展的合併候選列表。 第4B圖示出了加入零向量AMVP候選的例子，其中上方的候選列表相對應於原始AMVP候選列表（L0在左方與L1在右方），以及下方的候選列表相對應於藉由加入零向量而擴展的AMVP候選列表（L0在左方與L1在右方）。 第5圖示出在HEVC（高效率視訊編碼）標準中所使用的33個方向性幀內預測模式中出33個方向。 第6圖示出四-參數仿射模型的一例子，其中可基於在二個控制點的運動向量來推導出運動模型。 第7圖示出了相鄰塊組以用來堆導出角落-推導仿射候選。 第8A圖示出了於當前幀中一當前塊進行UMVE搜索過程的例子。 第8B圖示出UMVE搜索的一例子，其在中心點周圍垂直以及水平方向上的特定位置搜索L0參考以及L1參考。 第9圖示出了用於分割一8x8塊的鋸齒狀子塊的例子。 第10圖示出了應用三角分割於一塊來將該塊分割為二個三角區域的例子。 第11A圖到第11D圖示出了應用不同權重於標示區域的多種例子。 第12圖根據本發明的一實施例使用一多重-假設（MH）模式於視訊編解碼的例示性預測的一流程圖。
1210~1250:步驟

Claims (17)

  1. 一種用於視訊編解碼的預測方法，包括： 在一視訊編碼器側接收關於一當前畫面的一當前塊的輸入資料，或在一視訊解碼器側接收相對應於經過壓縮後資料的一視訊位元流，而該壓縮後資料包括該當前畫面中的該當前塊； 分割該當前塊為一第一分割與一第二分割； 決定該第一分割的一第一候選與該第二分割的一第二候選，其中該第一候選與該第二候選中至少有一個是使用用來推導一普通合併模式的一候選列表而推導出來的； 藉由混合相對應於該第一候選的一第一預測與相對應於該第二候選的一第二預測而產生一多重假設預測，其中該多重假設預測被應用於該當前塊的其中一部分；以及 使用該第一候選與該第二候選中至少之一而於該視訊編碼器側編碼該當前塊或是與該當前塊相關的當前運動信息，或是使用該第一候選與該第二候選中至少之一而於該視訊解碼器側解碼該當前塊或是與該當前塊相關的該當前運動信息。
  2. 如申請專利範圍第1項所述之視訊編解碼的預測方法，其中沿著從該當前塊的一左下角落至一右上角落或從該當前塊的一左上角落至一右下角落的一對角線，將該當前塊分割為二個三角形。
  3. 如申請專利範圍第1項所述之視訊編解碼的預測方法，其中依據方向性信息於一水平方向、一垂直方向、或一角度方向將該當前塊分割為二個子塊。
  4. 如申請專利範圍第3項所述之視訊編解碼的預測方法，其中該方向性信息對應於45度或135度。
  5. 如申請專利範圍第1項所述之視訊編解碼的預測方法，其中該第一候選是推導自一第一候選列表，而該第一候選列表是相關聯於為該普通合併模式所推導的該候選列表。
  6. 如申請專利範圍第5項所述之視訊編解碼的預測方法，其中該第二候選是推導自一第二候選列表，而該第二候選列表是相關聯於為該普通合併模式所推導的該候選列表。
  7. 如申請專利範圍第6項所述之視訊編解碼的預測方法，其中該第一候選列表與該第二候選列表共享一相同的候選列表。
  8. 如申請專利範圍第1項所述之視訊編解碼的預測方法，其中該第一候選列表與該第二候選列表是推導自該相同的候選列表。
  9. 如申請專利範圍第1項所述之視訊編解碼的預測方法，其中該第一候選、該第二候選、或二者是基於該第一候選的一索引、該第二候選的一索引、或二者所選擇的。
  10. 如申請專利範圍第9項所述之視訊編解碼的預測方法，其中該第一候選或該第二候選的列表0或列表1運動信息是基於該第一候選的該索引或該第二候選的該索引所選擇的。
  11. 如申請專利範圍第9項所述之視訊編解碼的預測方法，其中當為該第一候選與該第二候選所選擇的運動信息是相同的時候，該第一候選或該第二候選的該運動信息不作修正。
  12. 如申請專利範圍第1項所述之視訊編解碼的預測方法，其中針對每一個第一分割與該第二分割，一候選索引被推導出。
  13. 如申請專利範圍第1項所述之視訊編解碼的預測方法，其中在該候選列表中位於前面的候選成員者會被指定較短-長度的碼字。
  14. 如申請專利範圍第1項所述之視訊編解碼的預測方法，其中針對每一個第一分割與該第二分割，一候選索引被發信。
  15. 如申請專利範圍第14項所述之視訊編解碼的預測方法，其中該第一分割的候選索引與該第二分割的候選索引之中至少一個的發信方式是和用於該普通合併模式的合併索引的發信方式是相同的。
  16. 如申請專利範圍第14項所述之視訊編解碼的預測方法，其中該候選列表中候選成員者的順序是基於和該普通合併模式相似或相同順序的一固定順序。
  17. 一種視訊編解碼的裝置，該裝置包括有一或複數個電子電路或處理器以安排用來： 在一視訊編碼器側接收關於一當前畫面的一當前塊的輸入資料，或在一視訊解碼器側接收相對應於經過壓縮後資料的一視訊位元流，而該壓縮後資料包括該當前畫面中的該當前塊； 分割該當前塊為一第一分割與一第二分割； 決定該第一分割的一第一候選與該第二分割的一第二候選，其中該第一候選與該第二候選中至少有一個是使用用來推導一普通合併模式的一候選列表而推導出來的； 藉由混合相對應於該第一候選的一第一預測與相對應於該第二候選的一第二預測而產生一多重假設預測，其中該多重假設預測被應用於該當前塊的其中一部分；以及 使用該第一候選與該第二候選中至少之一而於該視訊編碼器側編碼該當前塊或是與該當前塊相關的當前運動信息，或是使用該第一候選與該第二候選中至少之一而於該視訊解碼器側解碼該當前塊或是與該當前塊相關的該當前運動信息。
TW108140997A 2018-11-12 2019-11-12 視訊編碼之多重假設方法和裝置 TWI734254B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201862758761P 2018-11-12 2018-11-12
US62/758,761 2018-11-12
WOPCT/CN2019/117561 2019-11-12
PCT/CN2019/117561 WO2020098653A1 (en) 2018-11-12 2019-11-12 Method and apparatus of multi-hypothesis in video coding

Publications (2)

Publication Number Publication Date
TW202021366A true TW202021366A (zh) 2020-06-01
TWI734254B TWI734254B (zh) 2021-07-21

Family

ID=70731304

Family Applications (1)

Application Number Title Priority Date Filing Date
TW108140997A TWI734254B (zh) 2018-11-12 2019-11-12 視訊編碼之多重假設方法和裝置

Country Status (5)

Country Link
US (1) US11539940B2 (zh)
EP (1) EP3878172A4 (zh)
CN (1) CN112970250B (zh)
TW (1) TWI734254B (zh)
WO (1) WO2020098653A1 (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA3121409A1 (en) * 2018-11-29 2020-06-04 Huawei Technologies Co., Ltd. Encoder, decoder and corresponding methods of most probable mode list construction for blocks with multi-hypothesis prediction
WO2020116402A1 (ja) * 2018-12-04 2020-06-11 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 符号化装置、復号装置、符号化方法、および復号方法
CN110636301B (zh) * 2019-09-18 2021-08-03 浙江大华技术股份有限公司 仿射预测方法、计算机设备和计算机可读存储介质
US11689715B2 (en) * 2020-09-28 2023-06-27 Tencent America LLC Non-directional intra prediction for L-shape partitions
US20220109863A1 (en) * 2020-10-02 2022-04-07 Tencent America LLC Method and apparatus for video coding
WO2024017188A1 (en) * 2022-07-22 2024-01-25 Mediatek Inc. Method and apparatus for blending prediction in video coding system

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011127963A1 (en) 2010-04-13 2011-10-20 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Sample region merging
JP2012023597A (ja) * 2010-07-15 2012-02-02 Sony Corp 画像処理装置及び画像処理方法
FI3907999T3 (fi) 2010-09-02 2023-12-14 Lg Electronics Inc Inter-ennustus
EP2942961A1 (en) * 2011-11-23 2015-11-11 HUMAX Holdings Co., Ltd. Methods for encoding/decoding of video using common merging candidate set of asymmetric partitions
WO2015010319A1 (zh) 2013-07-26 2015-01-29 北京大学深圳研究生院 一种基于p帧的多假设运动补偿编码方法
JP2019519148A (ja) 2016-05-13 2019-07-04 ヴィド スケール インコーポレイテッド ビデオ符号化のための一般化された多重仮説予測（Ｇｅｎｅｒａｌｉｚｅｄ Ｍｕｌｔｉ−Ｈｙｐｏｔｈｅｓｉｓ Ｐｒｅｄｉｃｔｉｏｎ）のためのシステムおよび方法
US10715827B2 (en) * 2017-01-06 2020-07-14 Mediatek Inc. Multi-hypotheses merge mode
WO2020008334A1 (en) * 2018-07-01 2020-01-09 Beijing Bytedance Network Technology Co., Ltd. Efficient affine merge motion vector derivation

Also Published As

Publication number Publication date
TWI734254B (zh) 2021-07-21
CN112970250A (zh) 2021-06-15
US11539940B2 (en) 2022-12-27
US20210392322A1 (en) 2021-12-16
EP3878172A4 (en) 2022-08-24
EP3878172A1 (en) 2021-09-15
WO2020098653A1 (en) 2020-05-22
CN112970250B (zh) 2022-08-23

Similar Documents

Publication Publication Date Title
TWI720551B (zh) 一種視訊編解碼的幀間預測方法及裝置
CN113170181B (zh) 块内拷贝模式中的仿射继承方法
CN110581999B (zh) 色度解码器侧运动矢量细化
CN111937391B (zh) 用于视频编解码系统中的子块运动补偿的视频处理方法和装置
TWI734254B (zh) 視訊編碼之多重假設方法和裝置
TWI702834B (zh) 視訊編解碼系統中具有重疊塊運動補償的視訊處理的方法以及裝置
TWI722467B (zh) 視頻處理方法、視頻系統中的裝置及電腦程式產品
TWI738081B (zh) 視訊編碼系統中結合多重預測子用於區塊預測之方法和裝置
TWI737142B (zh) 視訊編碼中結合畫面間和畫面內預測之方法和裝置
TWI720753B (zh) 簡化的三角形合併模式候選列表導出的方法以及裝置
TWI719522B (zh) 用於視頻編碼的對稱性雙向預測模式
TWI729458B (zh) 用於視訊編解碼的簡化的合併候選列表的方法和裝置
TWI702828B (zh) 在視訊編碼系統中生成平均候選的方法和裝置
TWI729497B (zh) 在視頻編解碼系統中組合多個預測子進行塊預測的方法和裝置
CN110677650A (zh) 降低非相邻Merge设计的复杂度
TW202349958A (zh) 視頻編解碼的方法和裝置
TW202412525A (zh) 視訊編解碼系統中混合預測的方法和裝置
CN113557720A (zh) 视频编解码中的多假设预测当中的自适应权重