TW202025763A - 視訊編碼系統中結合多重預測子用於區塊預測之方法和裝置 - Google Patents

視訊編碼系統中結合多重預測子用於區塊預測之方法和裝置 Download PDF

Info

Publication number
TW202025763A
TW202025763A TW108136605A TW108136605A TW202025763A TW 202025763 A TW202025763 A TW 202025763A TW 108136605 A TW108136605 A TW 108136605A TW 108136605 A TW108136605 A TW 108136605A TW 202025763 A TW202025763 A TW 202025763A
Authority
TW
Taiwan
Prior art keywords
predictor
current block
prediction
block
predictors
Prior art date
Application number
TW108136605A
Other languages
English (en)
Other versions
TWI738081B (zh
Inventor
江嫚書
徐志瑋
莊子德
陳慶曄
Original Assignee
聯發科技股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 聯發科技股份有限公司 filed Critical 聯發科技股份有限公司
Publication of TW202025763A publication Critical patent/TW202025763A/zh
Application granted granted Critical
Publication of TWI738081B publication Critical patent/TWI738081B/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

用於編碼當前塊的視訊處理方法以及裝置藉由組合當前塊的複數個預測子生成最預測子。藉由應用複數個設定之一或其組合到第一、第二或預測子兩者來生成該當前塊的一第一預測子以及一第二預測子。該第一以及第二預測子之一或兩者從運動補償生成。該最終預測子從該第一以及第二預測子來導出，以及該當前塊根據該最終預測子來編碼或解碼。該等設定包括支援模式設定、組合權重設定、應用部分設定、運動資訊設定、精度設定或上述設定的組合。

Description

視訊編碼系統中結合多重預測子用於區塊預測之方法和裝置
本發明涉及視訊編碼以及解碼系統中視訊處理方法以及裝置。具體地，本發明涉及藉由組合複數個預測子(predictor)來預測當前塊。
高效視訊編解碼(High-Efficiency Video Coding，HEVC)標準是由來自ITU-T研究小組的視訊編解碼專家組的視訊編解碼聯合合作小組(JCT-VC)開發的最新的國際視訊編解碼標準。HEVC標準改善了其先前標準H.264/AVC的壓縮性能來滿足更高圖像解析度、更高幀率以及更好視訊品質的需求。HEVC標準是基於混合的基於塊的運動補償DCT類轉換編解碼架構。每一視訊條帶(slice)被拆分成複數個正方形編解碼樹單元(coding tree unit，CTU)，其中CTU是HEVC中視訊壓縮的基礎單元。在HEVC主規格中，CTU的最小以及最大尺寸由在序列參數集(SPS)中發信的語法元素指定。光柵掃描次序用於編碼或解碼每一條帶中的CTU。每一CTU可以包含一個編碼單元(coding unit，CU)或者根據四叉樹分割架構遞迴地被拆分成四個較小的CU直到達到預定的最小CU尺寸。在該四叉樹分割結構的每一深度，NxN塊是單個葉CU或者被拆分成尺寸為N/2xN/2的四個塊，其是編碼樹節點。如果編碼樹節點沒有被進一步拆分，其是葉CU。該葉CU尺寸被限制為大於或等於預定最小CU尺寸，其也在SPS中被指定。
預測決定在CU級上做出，其中每一CU使用幀間圖像預測(inter picture prediction)或幀內圖像預測(intra picture prediction)來編解碼。一旦完成CU分層樹的拆分，每一CU根據用於預測的PU分割類型被進一步拆分成一或複數個預測單元(PU)。因為相同的預測進程被應用於PU中的所有像素，PU作為用於共用預測資訊的基礎代表塊。預測資訊在PU基礎上被傳達給解碼器。為了實現HEVC中混合編解碼結構的最佳編解碼效率，對於每一PU有兩種預測模式，包括幀內預測以及幀間預測。對於幀內預測，空間相鄰重構像素用於生成定向的(directional)預測。在HEVC中至多有35個方向。幀間預測中運動估計在一個或兩個參考圖像中識別用於當前塊的一個(單向預測)或兩個(雙向預測)最佳參考塊，以及幀間預測中的運動補償根據一或複數個運動向量(MV)定位一個或兩個最佳參考塊。當前塊與對應預測子之間的差異被稱為預測殘差。當單向預測使用時，對應的預測子是最佳參考塊。當雙向預測使用時，由兩個運動向量定位的兩個參考塊被組合成最終預測子。屬於CU的預測殘差根據另一個四叉樹塊分割結構被拆分成一或複數個轉換單元(TU)來將殘差數據轉換成轉換係數以用於緊湊的資料表示。TU是將轉換以及量化應用於殘差數據的基礎代表塊。對於每一TU，與TU具有相同尺寸的轉換矩陣被應用於殘差數據來生成轉換係數，以及這些轉換係數被量化以及在TU的基礎上被傳達給解碼器。
術語編碼樹塊(CTB)、編碼塊(CB)、預測塊(PB)以及轉換塊(TB)被定義為分別與CTU、CU、PU以及TU相關的一個色彩分量的二維樣本陣列。例如，一CTU由一個亮度CTB、兩個對應的色度CTB及其相關語法元素組成。
幀間預測模式 在HEVC中有三種幀間預測模式，包括高級運動向量預測(AMVP)、跳過(Skip)以及合併(Merge)模式。運動向量預測在這些幀間預測模式中被使用來減少運動資訊編解碼所需要的位元。運動向量預測進程包括生成包括複數個空間以及時間運動候選的候選列表以及修剪該候選列表來移除冗餘。視訊編碼器利用運動向量補償(Motion Vector Compensation，MVC)方案來在該候選列表中的空間以及時間運動候選中選擇最終運動候選。為了使用AMVP模式編碼PU，由視訊編碼器在視訊位元流中傳送幀間預測方向、參考圖像索引(indices)、運動向量差異(MVD)以及預測殘差。PU的幀間預測方向描述如列表0(L0)預測、列表1(L1)預測或者雙向預測的預測方向。AMVP模式中編解碼的PU的運動向量藉由在視訊解碼器中將所傳送的MVD與所選擇的運動向量預測子(MVP)相加來導出。MVP索引也被編碼以及被傳送用於每一預測方向來從AMVP候選列表中選擇一個MVP。HEVC中默認的AMVP候選列表包括兩個空間運動候選以及一個時間運動候選。第1圖示出了用於導出在AMVP模式、跳過模式或者合併模式中編解碼的PB 10的候選列表的運動候選的位置。用於AMVP模式的候選列表中兩個空間運動候選包括左邊候選以及上方候選。用於當前PB 10的左邊候選從左下方到左邊、從塊A0 111到塊A1 112來搜索，以及第一可用塊的MV被選擇為左邊候選，而上方候選從右上方到左上方、從塊B0 113到塊B1 114以及然後是塊B2 115來搜索，以及第一可用塊的MV被選擇為上方候選。具有運動資訊的塊，換言之，在幀間圖像預測中編解碼塊被定義為可用塊。時間運動候選是從鄰近於並位塊12的右下角塊TBR 121以及參考圖像中並位塊12內部的塊TCTR 122選擇的第一可用塊的MV。參考圖像藉由在條帶標頭(header)中發信一旗標(flag)以及參考圖像索引來指示來指定哪一參考圖像列表以及該參考圖像列表中哪一參考圖像被使用。
為了增加AMVP模式中運動資訊編解碼的編解碼效率，跳過以及合併模式被提出並在HEVC標準中被採用來藉由從空間相鄰塊或時間並位塊繼承運動資訊，以進一步減少發信運動資訊所需要的資料位元。對於跳過或合併模式中編解碼的PU，因為PU再用所選擇的最終候選的運動資訊，僅所選擇的最終候選的索引被編解碼而不是運動資訊。由PU再用的運動資訊包括運動向量(MV)、幀間預測指示符以及所選擇最終候選的參考圖像索引。注意到，如果所選擇的最終候選是時間運動候選，參考圖像索引總是被設置為0來指示列表0或列表1中的第一參考圖像。當PU在合併模式中被編解碼時，預測殘差被編解碼，然而，因為跳過模式中編解碼的PU的殘差數據被強制為0，跳過模式進一步跳過發信預測殘差。
合併候選列表由至多四個空間運動候選以及一個時間運動候選組成。如第1圖所示，第一合併候選是左邊塊A1 112的運動資訊，第二合併候選是上方塊B1 114的運動資訊，第三合併候選是右上方塊B0 113的運動資訊以及第四合併候選是左下方塊A0 111的運動資訊。左上方塊B2 115的運動資訊被包括在合併候選列表中來替換不可用空間塊的候選。第五合併候選是第一可用時間塊TBR 121以及TCTR 122的時間塊的運動資訊。視訊編碼器基於如通過率失真優化(RDO)決定的MVC方案，從用於在跳過或合併模式中編解碼的每一PU的候選列表中選擇的一個最終候選，以及表示所選擇最終候選的索引被發信給視訊解碼器。視訊解碼器根據視訊位元流中傳送的索引從候選列表中選擇相同的最終候選。
在導出用於AMVP、合併或跳過模式的候選列表後，修剪進程被執行來檢查候選列表中複數個候選間的冗餘。在移除一或複數個冗餘或不可用候選後，候選列表的尺寸可以在編碼器以及解碼器兩側被動態地調整，以及用於指示所選擇最終候選的索引可以使用截斷一元二值化(truncated unary binarization)來編解碼來減少所需要的資料位元。然而，雖然候選列表的動態尺寸帶來了增益，其也引入了潛在的解析問題。當先前圖像的MV未被正確地解碼以及這一MV被選擇為時間運動候選時，可能發生在編碼器側與解碼器側導出的候選列表間的失配(mismatch)。因此在候選列表中存在解析誤差以及其可能被嚴重地傳播。該解析誤差可能傳播到剩餘的當前圖像以及甚至到允許時間運動候選的後續的幀間編碼圖像。為了阻止這種解析誤差的傳播，用於AMVP模式、跳過模式或者合併模式的固定的候選列表尺寸被用於在編碼器以及解碼器側的去耦(decouple)候選列表構造以及索引解析。為了補償由固定的候選列表尺寸造成的編解碼損失，在修剪進程後，額外的候選被分配給候選列表中的空白位置。用於指示所選擇最終候選的索引以最大長度的截斷一元碼(truncated unary code)來編解碼，例如，該最大長度在條帶標頭中被發信用於跳過以及合併模式，以及被固定為2用於HEVC中的AMVP模式。AMVP候選列表的尺寸是2，因此在兩個空間以及一個時間運動候選的導出進程後，僅首先的兩個運動候選被包括於AMVP候選列表中。
對於為AMVP模式中編解碼的塊構造的候選列表，根據當前HEVC標準，在兩個空間運動候選以及一個時間運動候選的導出以及修剪後，0運動向量候選被添加來填充候選列表中的空白位置。對於HEVC中跳過以及合併模式，在四個空間運動候選以及一個時間運動候選的導出以及修剪後，如果可用候選的數目小於固定的候選列表尺寸，至多三個類型的額外候選被導出以及被添加來填充合併候選列表中的空白位置。用於填充候選列表的三種類型的額外候選包括組合的雙向預測合併候選、縮放的雙向預測合併候選那以及0向量合併/AMVP候選。
該組合的雙向預測合併候選藉由根據預定的次序組合已包括在合併候選列表中的兩個原始運動候選來創造。第2圖示出了導出組合的雙向預測合併候選用於合併候選列表的示例。在修剪進程後，第2圖中合併候選列表22僅有列表0中具有ref0的mvL0_A以及列表1中具有ref1的mvL1_B的兩個候選，以及這兩個運動候選都是單向預測運動候選，第一候選候選mvL0_A從過去圖像L0R0 264(列表0中的參考圖像0)的參考塊來預測當前圖像262中的當前塊以及第二運動候選mvL1_B從未來圖像L1R0 266(列表1的參考圖像)的參考塊來預測該當前塊。該組合的雙向預測合併候選組合第一以及第二運動候選來形成雙向預測運動向量，其具有指向每一列表中參考圖像的運動向量。這一組合的雙向預測運動候選的預測子藉由平均由兩個運動向量指向的參考塊來導出。第2圖中更新的候選列表24包括這一組合的雙向預測運動候選作為第三運動候選(MergeIdx=2)。
縮放的雙向預測合併候選藉由縮放另一個列表中的原始單向預測合併候選來創造。例如，一個原始候選具有列表X中運動向量mvLX，以及列表X中參考圖像索引refIdxLX被用於創造雙向預測合併候選，其中X是0或1。導出縮放雙向預測合併候選的示例被示出於第3圖，其中原始合併候選列表32僅具有兩個運動候選。當前圖像360中當前塊的第一運動候選(MergeIdx=0)是列表0單向預測運動候選，具有運動向量mvL0_A以及指向參考圖像L0R0 362中參考塊的參考圖像索引ref0。為了構造縮放的雙向預測合併候選，參考圖像ref0首先被複製到列表1中參考圖像索引ref0’，以及藉由用參考圖像索引ref0以及ref0’縮放運動向量mvL0_A來計算縮放運動向量mvL0’_A。所縮放的運動向量mvL0’_A以及參考圖像索引ref0’指向參考圖L1R0 364中的參考塊。具有列表0中運動資訊(mvL0_A，ref0)以及列表1中運動資訊(mvL0’_A，ref0’)雙向預測合併候選被創造以及被添加到合併候選列表的第三位置(即，MergeIdx=2)。類似地，從第二運動候選(MergeIdx=1)導出的縮放的雙向預測合併候選被插入合併候選列表的第四位置(即，MergeIdx=3)。第二運動候選是列表1單向預測運動候選。從該第二運動候選導出的縮放的雙向預測合併候選具有列表0中的運動資訊(mvL1’_A，ref1’)以及列表1中的運動資訊(mvL1_A，ref1)，指向參考圖像L0R1 366以及L1R1 368的兩個參考塊。
0向量合併/AMVP候選藉由合併0向量來創造以及該參考索引被參考。第4圖示出了當候選列表仍有一或複數個空白位置以及如果0向量候選沒有被複製時，在合併候選列表中插入0向量合併候選或者在AMVP候選列表中插入0向量的示例。
幀內預測模式 對於在幀內預測模式中編解碼的當前塊，習慣上，幀內預測方法僅探索鄰近於當前塊的一個參考層以及幀內預測模式之一來生成當前塊的預測子。HEVC標準支援35種幀內預測模式，包括33種角度模式、DC模式以及平面模式(Planar mode)。第5圖示出了HEVC標準的33種角度幀內預測模式的預測方向，其中H表示水平方向模式以及V表示垂直方向模式。從35種幀內預測模式中選擇的一幀內預測模式被顯式發信或者從當前塊的上方以及左邊相鄰塊的先前已解碼模式來推斷。兩個相鄰塊的幀內預測模式被包括於三個最可能模式(MPM)的一集合中。第一MPM旗標被發信來指示所選擇的模式是否等於三個MPM之一，如果是，另一個旗標被發送來指示三個MPM的哪一個被選擇，如果第一MPM旗標為假，所選擇的幀內預測模式使用5位元固定長度碼字顯式發信來從剩下的32個非MPM模式中選擇一個模式。
第5圖示出了33個角度模式可以被擴展到具有更多或更少角度模式的一般情況，其中每一角度模式可以由模式H+k或者模式V+k來表示，其中H表示水平模式的方向，V表示垂直模式的方向，k=0,+-1,+-2,…,+-K。例如，如果65個角度模式被用於幀內預測，k是-16到16的範圍，以及這一模式指從當前塊的左上角到中心的預測方向，模式H-16以及模式V-16是相同模式。
仿射預測 四參數仿射預測是新開發的編解碼技術，其有效地追蹤更複雜的運動，如運動目標的旋轉、縮放以及變形。仿射運動預測有兩個主要的模式：仿射合併模式以及仿射幀間模式。仿射合併模式允許從空間相鄰塊的仿射運動資訊的繼承(inheritance)，而仿射幀間模式藉由組合空間相鄰塊的運動資訊構造幾個最可能的候選。沿著時間軸穿過圖像發生的運動可以由如等式(1)示出的四參數仿射模型來描述。假定A(x，y)是在考慮位置(x，y)處的原始像素，以及A’(x’,y’)是該原始像素(x,y)在參考圖像中位置(x’,y’)處對應的參考像素。 x’ = ax + by + e, 以及 y’ = - bx + ay + f                                                                      (1) 其中，a,b,e以及f是四參數仿射模型中的四個參數。
仿射模式編解碼的塊中原始像素A(x,y)與其對應參考像素A’(x’,y’)之間的運動向量(vx ，vy )被描述為： vx = (1 – a)x – by – e, 以及 vy = (1 – a)y + bx – f.                                                              (2)
第6圖示出了示例性的四參數仿射運動。兩個角落像素610以及612位於當前塊602的左上以及右上角落，以及這兩個角落像素也稱為四參數仿射模型中當前塊602的控制點。兩個控制點610以及612的運動向量Mv0以及Mv1將當前塊602映射到參考圖像中的參考塊604。根據等式(3)，當前塊602中每一像素A(x,y)的運動向量場(motion vector field)可以基於控制點610以及612運動向量Mv0以及Mv1來導出。
Figure 02_image001
(3) 其中(v0x ,v0y )表示在左上角610的運動向量Mv0，(v1x ,v1y )表示在右上角612的運動向量Mv1，以及w表示當前塊的寬度。對於基於塊的仿射運動補償，當兩個控制點的運動向量Mv0以及Mv1被解碼時，當前塊602的每一4x4塊的運動向量可用根據等式(3)來決定。換言之，當前塊602的四參數仿射運動模型可以由在兩個控制點的兩個運動向量Mv0以及Mv1來指定。
當CU尺寸大於或等於16x16時，仿射旗標被發信來指示仿射幀間模式是否被應用於每一幀間模式CU。如果當前CU在仿射幀間模式中被編解碼或者將在其中被編解碼，使用有效相鄰編解碼塊構造候選運動向量預測子(MVP)對(pair)列表用於當前CU。第7圖示出了在仿射幀間模式或者仿射合併模式中編解碼的當前塊70的候選MVP對導出的示例。如第7圖所示，用於在當前塊70的左上控制點的運動向量Mv0的運動向量預測子(MVP)從左上相鄰已編解碼塊A0、A1或A2的複數個運動向量來選擇，以及用於在當前塊70的右上控制點的Mv1的MVP從右上相鄰已編碼塊B0以及B1的複數個運動向量來選擇。用於候選MVP對列表的MVP索引在視訊位元流中被發信並且兩個控制點的運動向量差異在視訊位元流中被編解碼。
對於合併模式編解碼的當前塊70，第7圖中五個相鄰已編解碼子塊C0(稱為左下塊)、B0(稱為右上塊)、B1(稱為右上角塊)、C1(稱為左下角塊)以及A0(稱為左上角塊)被順序地檢查來決定任何相鄰已編解碼子塊是否在仿射幀間模式或仿射合併模式中編解碼。這一示例中當前塊70是預測單元(PU)。僅當任何相鄰已編解碼子塊在仿射幀間模式或仿射合併模式中編解碼時，一仿射旗標被發信來指示當前塊70是否在仿射合併模式中編解碼。當根據仿射合併模式編碼或解碼該當前塊70時，藉由從五個相鄰已編解碼子塊選擇來決定第一可用仿射編解碼相鄰塊。包括所選擇相鄰已編解碼子塊的該第一可用仿射編解碼相鄰用於導出仿射合併候選。該仿射合併候選用於導出該當前塊的一參考圖像中的一預測子。用於選擇相鄰已編解碼子塊之一的選擇次序是如第7圖所示的從左下塊、右上塊、右上角塊、左下角塊到左上角塊(C0 à B0 à B1 à C1 à A0)。用於當前塊70的仿射合併候選從在該第一可以仿射編解碼相鄰塊的控制點的複數個MV來導出，例如，該第一可用仿射編解碼相鄰塊的左上NxN子塊以及右上NxN子塊的複數個MV用於導出仿射合併候選。該第一可用仿射編解碼相鄰塊的仿射參數用於導出兩個控制點MV。
用於跳過或合併模式的UMVE 最終運動向量表達(Ultimate Motion Vector Expression，UMVE)是用於跳過或合併模式的新技術，具有所提出的運動向量表達方法。UMVE首先從複數個合併候選中選擇候選，以及藉由提出的運動向量表達方法擴展該候選。視訊編碼器決定並且發信該運動向量表達方法的預測方向資訊、起始點、運動幅度(magnitude)以及運動方向以致對應的視訊解碼器解析並且導出該運動向量表達方法的相同的資訊。該預測方向資訊指示List 0(L0)、List 1(L1)以及雙向預測方向中的預測方向。在B條帶中，雙向預測候選可以使用鏡像(mirroring)技術從具有單向預測的合併候選來生成。例如，為了從L1中的單向預測合併候選生成雙向預測合併候選，藉由搜索L0中的參考圖像決定L0的參考索引，其與L1的參考圖像鏡像。在沒有對應的圖像可以被找到的情況下，離當前圖像最近的參考圖像被使用。L0中的MV藉由縮放L1中的MV來導出，以及藉由圖像次序計數(POC)距離來計算縮放的縮放因數。
如果UMVE候選的預測方向與原始合併候選之一相同，UMVE預測方向的索引的第一位元是0；否則值為1的第一位元被發信。在傳送該第一位元後，剩餘的預測方向基於UMVE預測方向的預定優先次序被發信。預定優先次序是雙向預測、L0預測以及然後是L1預測。例如，如果合併候選的預測方向是L1，“0”被發信用於等於L1的UMVE預測方向，“10”被發信用於等於雙向預測方向的UMVE預測方向，以及“11”被發信用於等於L0的UMVE預測方向。如果L0以及L1預測列表是完全相同的，UMVE預測方向資訊表不被發信。
基礎候選索引定義起始點，其中基礎候選索引指示合併候選列表中複數個合併候選中的最佳候選。方向索引表示起始點相關的MVD的方向。方向索引表示四個方向之一：x軸的正方向、x軸的負方向、y軸的正方向以及y軸的負方向。為了減少編碼器複雜度，UMVE不被應用於寬度或高度小於4的任何塊。
視訊編碼或解碼系統中利用一最終預測子用於預測以當前視訊圖像中一當前塊，包括接收與該當前塊相關的輸入資料，藉由應用複數個設定之一或其組合到一第一預測子、一第二預測子或該第一與第二預測子兩者來生成該第一預測子以及該第二預測子，藉由組合該第一預測子與該第二預測子生成該當前塊的一最終預測子，以及根據該最終預測子編碼或解碼該當前塊。該當前塊的該第一與第二預測子之一或兩者從運動補償生成。被應用於預測子之一或兩者的複數個設定的一選擇被隱式決定，例如，根據一個實施例，該選擇由該當前塊的一塊寬度、該當前塊的一塊高度或塊寬度與塊高度兩者來導出。在另一個實施例中，該等設定的一選擇由在CU級、CTU級、條帶級、圖塊級、圖塊組級、SPS級以及圖像參數集(PPS)級之一或其組合中發信的一旗標來顯示指示。在一個實施例中，該當前塊的該第一與第二預測子之一從幀內預測生成。
該等設定之一或其組合包括支援模式設定、組合加權設定、應用部分設定、運動資訊設定以及精度設定。當被應用於該第一與第二預測子該等設定包括支援模式設定時，至少一個該第一與第二預測子由至少一個現有幀間預測模式的運動補償生成。現有幀間預測模式的一些示例是跳過、合併、AMVP、仿射、仿射合併、仿射幀間以及子塊合併模式之一或其組合。在一個實施例中，用於生成該第一預測子的一幀間預測模式以及用於生成該第二預測子的一幀間預測模式需要是相同的。在另一個實施例中，根據一映射表決定用於生成該第一預測子的一幀間預測模式以及用於生成該第二預測子的一幀間預測模式。根據一些實施例，用於生成該第一與第二預測子之一或兩者的運動資訊可以通過參考先前已編碼運動資訊來獲得，例如，通過一基於歷史的方案獲得用於生成該第一與第二預測子之一或兩者的該運動資訊。
當被應用於該第一與第二預測子的該等設定包括組合加權設定時，該最終預測子藉由用權重對該第一與第二預測子求和來生成。在一些實施例中，在加權後，進一步由右移位以及剪切生成該最終預測子。該權重可以隨著該當前塊中預測的位置變化。在組合權重設定的一些實施例中，該當前塊被拆分成複數個子塊，以及每一子塊共用相同的權重。該當前塊中每一子塊的該權重取決於該當前塊的一塊寬度、該當前塊的一塊高度、分割方向、子塊位置、子塊MV、幀間預測方向或者上述組合。根據一個實施例，當該當前塊中預測的一位置超出特定邊緣時，用於該第一與第二預測子之一的權重被設置為0，因此另一個預測子被直接作為該最終預測子。該邊緣沿著一垂直、水平或者對角線方向定義。
當被應用於該第一與第二預測子的該等設定包括應用部分設定時，該當前塊被拆分成三個區域。該最終預測子中一第一區域的預測從該第一預測子來導出，該最終預測子中一第二區域的預測從該第二預測子來導出，以及該最終預測子中一第三區域的預測子藉由組合該第一與第二預測子來導出。例如，該第一與第二區域是該當前塊中的三角形預測單元而該第三區域是沿著對角線方向的兩個三角形預測單元之間的一邊緣。在一個實施例中，不同的權重被應用來生成該最終預測子中該第三區域的複數個樣本或複數個子塊。
用於生成該第一與第二預測子之一或兩者的運動相關資訊被修正或被限制用於滿足頻寬或複雜度需求的目的。根據運動資訊設定的一些實施例，用於生成該當前塊的該第一與第二預測子的參考圖像被限制為相同的或在一預定距離內。在運動資訊設定的另一個實施例中，僅單向預測MV被允許來生成該當前塊的該第一與第二預測子。
本公開的各方面進一步提供了一種用於在視訊編碼或解碼系統中進行視訊資料處理的設備，利用一最終預測子用於預測當前視訊圖像中一當前塊。該裝置包括一或複數個電子電路用於接收該當前塊的輸入資料，藉由應用複數個設定之一或其組合到該第一、第二預測子或其兩者生成該第一與第二預測子，藉由組合該第一與第二預測子生成一最終預測子，根據該最終預測子編碼或解碼該當前塊。該當前塊的該第一與第二預測子之一或兩者從運動補償生成。
本公開的各方面進一步提供了儲存程式指令的非暫態電腦可讀媒介，使得裝置的一處理電路執行一視訊處理方法來編碼或解碼當前塊。從組合複數個預測子導出該當前塊的一最終預測子，該等預測子藉由應用複數個設定之一或其組合來生成。該當前塊根據該最終預測子進行編碼或解碼。在閱讀特定實施例的後續描述後，本發明的其他方面或特徵對本領域習知技術者將是顯而易見的。
在後續細節描述中，藉由示例的方式給出了元件以及方法的各種具體細節以提供本發明的透徹理解。通常以本文的圖示進行描述以及說明的本發明的所選實施例，可以以多種多樣的不同配置被排列、設計以及擴展。基於本文所描述的教導的任何變化、導出或者延伸都在本發明的保護範圍內。在一些情況下，適合本文所公開的一或複數個實施例的公知的方法或元件可以在沒給出具體細節的情況下進行描述。
本發明的實施例藉由組合用於編碼或解碼當前塊的複數個預測子生成最終預測子的新方法。該當前塊在各種不同的實施例中是PU、葉CU或子塊。組合複數個預測子的新方法改善了包括跳過、合併、AMVP、仿射合併、仿射幀間以及子塊合併模式的一或複數個幀間模式。新方法在本公開中被稱為多假設(MH)模式。MH模式藉由組合從不同假設中導出的複數個預測子改善傳統幀間或幀內預測的預測精度。為了根據本發明的一些實施例使用MH模式來編碼或解碼當前塊，當前塊的第一預測子藉由合併或跳過模式來導出。一個合併索引用於從合併候選列表中選擇一個運動候選用於生成當前塊的第一預測子。在一個實施例中，第一預測子是由單向預測或雙向預測根據所選擇的運動候選生成的運動補償預測子。在另一個實施例中，第一預測子可以僅由單向預測生成來減少計算複雜度。該第一預測子也稱為MH模式中預測的第一假設。MH模式的第二預測子由來自合併或跳過模式、AMVP模式、仿射合併模式或仿射幀間模式或子塊合併模式的運動補償生成，或者該第二預測子由來自幀內預測的幀內預測模式生成。該第二預測子被稱為MH模式中預測的第二假設。
當支援多假設模式時，一或複數個多假設候選對跳過、合併、AMVP、仿射合併、仿射幀間、子塊合併或者幀內模式是可用的。當預測的第二假設由幀內預測模式生成時，多假設模式被稱為用於幀內的MH模式，以及當預測的第二假設由從合併、跳過、AMVP、仿射合併、仿射幀間或者子塊合併模式的運動補償生成時，該多假設模式被稱為用於合併的MH模式(或也稱為用於幀間的MH模式)。後續的實施例假定最終預測子使用預測的兩個假設生成，然而，這些實施例被擴展到多於預測的兩個假設的複數個假設模式。
用於預測當前塊的最終預測子藉由組合第一以及第二預測子來生成。例如，在一視訊編碼器側，該第一預測子藉由如率失真優化(Rate Distortion Optimization，RDO)決定的運動向量補償(MVC)從由第一候選列表選擇的候選來導出，或者在視訊解碼器側，藉由在視訊位元流中傳送的索引來導出。如果第二預測子是運動補償預測子，在視訊編碼器側，第二預測子由MVC從一第二候選列表選擇的候選來導出，或者在視訊解碼器側，由在視訊位元流中傳送的索引來導出。如果用於生成兩個預測子的幀間預測模式都是合併模式，指示所選擇候選用於導出第一預測子的索引，指示所選擇候選用於選擇第二預測子的索引與當前塊的預測殘差一起被發信，以及如果用於生成兩個預測子的幀間預測模式都是跳過模式，僅指示所選擇候選用於導出第一以及第二預測子的索引被發信。在一些其他實施例中，如果用於生成第一預測子的幀間預測模式是合併模式，從在視訊編碼器側選擇的或在視訊解碼器側決定的幀內預測模式導出的第二預測子，指示所選擇候選用於導出第一預測子的索引與該當前塊的預測殘差一起被發信，以及如果用於生成第一預測子的幀間預測模式是逃過模式，僅指示所選擇候選的索引被發信。
根據複數個設定之一或組合預測當前塊的多假設模式的各種實施例在後續進行描述。該等設定包括支援模式設定(supported-mode setting)、組合權重設定(combined-weight setting)、應用部分設定(applied-portion setting)、運動資訊設定(motion information setting)以及精度設定(precision setting)的任何組合。這些設定將在後續段落進行詳細描述。一或複數個設定被應用於第一假設、第二假設或者MH模式的不只一個假設。在一個實施例中，設定的選擇被隱式決定，例如，設定的選擇藉由當前塊的塊寬度與塊高度的一個或兩者來導出。在另一個實施例中，設定的選擇藉由在CU級、CTU級、條帶級、圖塊(tile)級、圖塊組(tile group)級、序列參數集級(SPS)或圖像參數集(PPS)級或上述任何組合中發信的旗標來顯式指示。
支援模式設定 支援模式設定暗示多假設模式被應用於一或複數個現有的幀間預測模式，例如，跳過、合併、AMVP、仿射合併、仿射幀間以及子塊合併模式。從所提到的複數個幀間預測模式之一生成參考預測的第一或第二假設的運動資訊。在一個特定的實施例中，用於預測的第一假設的幀間預測模式以及用於預測的第二假設的幀間預測模式需要是相同的，以及在另一個實施例中，用於預測的兩個假設的幀間預測模式可以是不同的。在一個實施例中，根據一映射表，用於預測的第一以及第二假設的幀間預測模式是預定的。例如，如果用於當前塊的預測的第一假設是從仿射模式預測的，用於當前塊的預測的第二假設需要從合併模式來預測。在另一個實施例中，多假設模式進一步支援一或複數個改善的幀間預測模式。例如，UMVE候選可以用於生成用於在多假設模式中編解碼的當前塊的預測的一或複數個假設。在另一個示例中，用於生成多假設模式中編解碼的當前塊的預測的一或複數個假設的運動資訊通過參考先前編解碼運動資訊來獲得，例如基於歷史的方案(history-base scheme)。例如，根據基於歷史的方案從記憶體緩衝器檢索(retrieve)用於生成當前塊的第一預測子的運動資訊，其意味著使用先前編解碼塊的運動資訊。基於歷史的方案中編解碼的塊取決於具有複數個基於歷史的HMVP候選的表。該表在編碼/解碼進程中被保持。例如，當遇到新的條帶時，該表是空的。無論是否有幀間編解碼的非仿射塊，相關運動資訊被添加到該表的最後一個條目作為新HMVP候選。
組合權重設定 藉由應用組合權重設定，當前塊的一最終預測子藉由用權重將當前塊的預測的複數個假設求和來生成。在組合權重設定的一些實施例中，當前塊的最終預測子在加權後，進一步由右移位(right-shifting)以及剪切來生成。權重對於預測的每一假設是固定的或者權重根據預測的位置是變化的。例如，用於當前塊的預測的第一以及第二假設的權重分別是3以及5。在一個實施例中，用於預測的原始假設的權重大於用於預測的額外假設的權重。例如，第一假設是原始假設以及第二假設是額外假設，在另一個示例中，第一假設是當前塊一些區域中的原始假設而第二假設是該當前塊一些其他區域中的原始假設。在一些實施例中，對於當前塊預測的每一假設，當前塊中每一NxM子塊共用相同的權重，或者當前塊的預測子的每一像素具有其自身的權重，或上述的任意組合。當前塊中子塊的尺寸是NxM，其中N以及M是如2、4、8、16、32、64或128的整數。在另一個實施例中，當預測的位置超出特定邊緣A時，用於預測的一個假設的權重可以被設置為0以及另一個假設的預測被直接作為當前塊的最終預測子，其中邊緣寬度w是整數。邊緣寬度w可以是0、1、2、3、4、8或16，或者可以隨著當前塊的塊寬度或塊高度變化，以及邊緣可以沿著方向被定義，如垂直、水平或者對角線方向。在一些實施例中，該當前塊中每一NxM子塊的權重取決於塊寬度與塊高度的一個或兩者、分割方向、CU或PU中的子塊位置、子塊MV、幀間預測方向或上述組合。
應用部分設定 當根據應用部分設定預測當前塊時，當前塊的像素被拆分成三個區域，區域1、區域2以及區域3。用於當前塊的最終預測子中區域1的預測從預測的一個假設來導出，該最終預測子中區域2的預測從預測的另一個假設來導出，以及該最終預測子中區域3的預測藉由組合預測的兩個假設來生成。在一個實施例中，區域3可以包括當前塊中的所有像素；在這種情況下，當前塊的每一像素從預測的複數個假設的組合來預測。在一個特定實施例中，如CU或PU的當前塊在對角線或反對角線方向上被拆分成兩個三角形預測單元。區域1是一個三角形預測單元，區域2是另一個三角形預測單元，以及區域3是邊緣。邊緣寬度沿著分割方向可以是0、1、2、3、4、8、16或32。在區域3中，根據一實施例，每一樣本、像素或NxM子塊的權重可以是不同的。權重可以取決於塊寬度、塊高度、分割方向、當前塊中子塊位置、子塊M、幀間預測方向或其組合。
運動資訊設定 對於運動資訊設定，根據為滿足頻寬或複雜度需求的目標的預定需求，參考預測的一或複數個假設的運動資訊可以被限制或者修正。在運動資訊設定的一些實施例中，用於生成當前塊的複數個假設的參考圖像需要是相同的或者在預定距離內。在一些實施例中，當運動資訊設定被應用時，僅單向預測運動向量被允許生成當前塊的預測的假設。不能滿足運動資訊設定中預定需求的任何運動候選被直接移除或者被修正來滿足預定需求。例如，根據一個實施例，如果用於預測的複數個假設之一的運動候選的參考圖像是不同的或者超出預定距離，運動候選被設置為無效的或者根據另一個實施例，被縮放成相同參考圖像或者在預定距離內的參考圖像。對於限制雙向預測運動向量的實施例，如果運動候選是雙向預測，這一運動候選被視為無效候選或者被拆分成兩個單向預測候選。
精度設定 在運動補償結束時，預測子被生成用於當前塊，以及對所生成的預測子執行湊整(rounding)進程來限制預測子的值於一預定範圍，其以N位元來表示，例如，N是10。對於多假設模式中編解碼的當前塊，第一預測子與第二預測子相加，以及當組合權重設定被應用時，加權進程需要組合在相鄰區域的兩個預測子或者整個塊。相鄰區域的示例是兩個矩形預測單元之間的垂直或水平邊緣，或者兩個三角形預測單元之間的對角線邊緣。在實施精度設定的一些實施例中，在運動補償結束時執行湊整進程之前，加權進程被應用於複數個預測子。在一個實施例中，根據預定權重表，加權進程被應用於相鄰區域。在運動補償結束時的湊整進程之前應用加權進程的一個益處是使得用於多假設模式的加權進程與用於常規幀間或合併候選中的雙向預測候選的混合進程更加統一。對於常規AMVP、合併或跳過模式中編解碼的當前塊，藉由在運動補償結束時混合來自列表0的預測子與來自列表1的預測子生成當前塊的雙向預測候選的最終預測子。在湊整進程前應用加權進程的另一個益處是用於多假設模式的加權進程以更高的進度被執行，以致其更加精確。在實施精度設定的其他實施例中，在對每一複數個預測子執行湊整進程後，加權進程被應用於該複數個預測子。
上述所描述的設定的任何組合可以被應用來生成用於在多假設模式中編解碼的當前塊的一或複數個預測子。在一個示例性實施例中，根據應用部分設定，CU在對角線或反對角線方向上被拆分成兩個三角形預測單元。根據運動資訊設定，CU中每一三角形預測單元是使用單向預測運動向量以及參考幀索引幀間預測的。在根據組合加權設定生成用於三角形預測單元的預測子後，對對角線或反對角線邊緣執行適應性加權進程來導出最終預測子的對角線或反對角線邊緣。最終預測子的剩餘區域是從單向預測運動向量以及參考幀索引導出的原始預測子。雖然用於位於對角線或反對角線邊緣的每一NxM子塊的權重可以不同，用於每一NxM子塊中像素的權重是相同的。最終預測子用於編碼或解碼當前塊。例如，在編碼器側，在生成CU中原始像素與CU的最終預測子之間的殘差後，轉換以及量化進程被應用於整個CU。在解碼器側，CU的最終預測子被添加來恢復CU相關的殘差信號來重構CU的視訊資料。
示例性實施例的代表性流程圖 第8圖概念地示出了用於處理當前塊的視訊編碼或解碼系統的示例性流程圖，該當前塊由組合複數個預測子生成的最終預測子來預測。第8圖示出的示例性實施例從兩個預測子導出用於當前塊的最終預測子。在步驟S802，視訊編碼或解碼系統接收一當前視訊圖像中該當前塊的輸入資料，以及在步驟S804，藉由應用複數個設定之一或其組合第一以及第二預測子的一個或兩個來生成用於該當前塊的一第一預測子以及一第二預測子。在步驟S806，藉由組合該第一以及第二預測子生成該當前塊的最終預測子，以及在步驟S808，該當前塊根據該最終預測子來編碼或解碼。被應用來生成預測子的一個或兩者的該等設定的一些實施例是先前所描述的支援模式設定、組合權重設定、應用部分設定、運動資訊設定以及精度設定。
視訊編碼器以及解碼器實現 前述所提到的用於基於複數個預測子生成當前塊的最終預測子的視訊處理方法可以在視訊編碼器或解碼器中實施。例如，所提出的視訊處理方法在編碼器或解碼器的幀間預測模組、幀內預測模組、運動補償模組以及合併候選導出模組之一或組合中實施。或者，任何提出的方法被實施為耦合到該編碼器或解碼器的幀間預測模組、幀內預測模組、運動補償模組、合併候選導出模組之一或組合的電路，以提供模組所需要的資訊。第9圖示出了能實施本發明各種實施例的視訊編碼器900的示例性系統框圖。幀內預測模組910基於當前圖像的重構視訊資料提供幀內預測子。幀間預測模組912執行運動估計(ME)以及運動補償(MC)來基於來自一或複數個參考圖像的視訊資料提供幀間預測子。為了根據本發明的一些實施例編碼當前塊，根據複數個設定之一或其組合，最終預測子基於複數個預測子來生成。複數個預測子的一或複數個由幀間預測模組912來導出，例如，幀間預測模組912由運動補償生成第一以及第二預測子兩者，以及然後幀間預測模組912藉由組合第一以及第二預測子生成用於預測該當前塊的最終預測子。幀間預測模組912提供該當前塊的該最終預測子到加法器916來形成預測誤差，其也稱為預測殘差。在另一個示例中，幀間預測模組912藉由運動補償生成第一預測子，以及幀內預測模組910藉由幀內預測生成第二預測子。用於預測該當前塊的最終預測子然後藉由組合該第一預測子以及第二預測子來生成，以及這一最終預測子被提供給加法器來形成預測誤差。如果該當前塊在跳過模式中編解碼，該預測殘差被設置為0。當該當前塊不在跳過模式中編解碼時，該當前塊的預測殘差進一步由轉換模組(T)918緊接著量化模組(Q)920來處理。所轉換以及所量化的殘差資訊然後由熵編碼器932編碼來形成視訊位元流。視訊位元流然後與邊資訊(side information)一起打包。該當前塊的所轉換以及所量化的殘差資訊由逆量化模組(IQ)922以及逆轉換模組(IT)924處理來恢復預測殘差。如第9圖所示，藉由在重構模組(REC)926添加回所選擇的預測子來恢復預測殘差，以生成重構視訊資料。重構視訊資料可以被存儲在參考圖像緩衝器(Ref. Pict. Buffer)930以及用於其他圖像的預測。由於編碼進程，從重構模組926恢復的重構視訊資料可能經受各種損害，因此，在儲存到參考圖像緩衝器930之前，環路處理濾波器928被應用到重構視訊資料來進一步增強視訊品質。
第10圖示出了用於解碼從第10圖的視訊編碼器1000生成的視訊位元流的對應的視訊解碼器1000。視訊位元流被輸入到視訊解碼器1000以及由熵解碼器1010解碼來解析以及恢復所轉換以及所量化的殘差信號以及其他系統資訊。解碼器1000的解碼進程類似於在編碼器900的重構環路，除了解碼器1000僅需要幀間預測模組1014的運動補償預測。每一塊由幀內預測模組1012或幀間預測模組1014進行解碼。開關根據所解碼的模式資訊選擇來自幀內預測模組1012的幀內預測子或來自幀間預測模組1014的幀內預測子。當當前塊藉由組合複數個預測子的最終預測子預測時，幀間預測模組1014生成第一與第二預測子之一或兩者以及基於該第一以及第二預測子導出該當前塊的最終預測子。與當前塊相關的所轉換以及所量化的殘差信號由逆量化模組(IQ)1020以及逆轉換模組(IT)1022恢復。所恢復的殘差資訊藉由在REC模組1018添加回最終預測子來生成重構視訊。重構視訊進一步由環路處理濾波器(Filter)1024處理來生成最終解碼視訊。如果當前解碼的圖像是用於解碼次序中後續圖像的參考圖像，當前解碼圖像的重構視訊也被儲存於參考圖像緩衝器826中。
第9圖以及第10圖中視訊編碼器900以及視訊解碼器1000的各種元件可以由硬體元件、用於執行儲存在記憶體中的程式指令的一或複數個處理器或硬體與處理器的組合來實施。例如，處理器執行程式指令來控制與當前視訊圖像中當前塊相關的輸入資料的接收。處理器配備有單個或複數個處理核心。在一些示例中，處理器執行程式指令來執行編碼器900以及解碼器1000中一些元件的功能，以及與處理器電性耦合的記憶體用於儲存程式指令，對應於塊的重構圖像的資訊、與/或編碼或解碼進程中的中間資料。一些實施例中的記憶體包括非暫態電腦可讀媒介，例如半導體或固態記憶體、隨機存取記憶體(RAM)、唯讀記憶體(ROM)、硬碟、光碟或者其他合適的存儲媒介。記憶體也可以是以上列出的一或複數個非暫態電腦可讀媒介的組合。如第9以及10圖所示，編碼器900以及解碼器1000可以被實施於相同的電子裝置中，因此如果被實施於相同的電子裝置中，編碼器900以及解碼器1000的各種功能元件可以被共用或再用。
用於根據被應用於複數個預測子的複數個設定之一或組合的編碼或解碼的視訊處理方法的實施例可以被實施於被整合到視訊壓縮晶片的電路或被整合到視訊壓縮軟體的程式碼來執行上文所描述的處理。例如，藉由組合複數個預測子生成當前塊的最終預測子可以以可在電腦處理、數位訊號處理器(DSP)、微處理器或現場可程式閘陣列(FPGA)上可執行的程式碼來實現。處理器可以被配置於執行根據本發明的特定任務，藉由執行定義由本發明呈現的特定方法的機器可讀軟體代碼或固件代碼。
貫穿這一說明書對“一實施例”、“一些實施例”或類似語言的引用意味著結合實施例描述的特定特徵、結構或特性可以被包括於本發明的至少一個實施例中。因此，貫穿說明書各個位置出現的短語“在一個實施例中”或“在一些實施例中”不一定都指相同的實施例，這些實施例可以被單獨地或結合一或複數個其他實施例來實施。此外，所描述特性、結構或特可以在一或複數個實施例中以任何合適的方式組合。相關領域習知技術者將能認識到，然而，本發明可以在沒有一或複數個具體細節的情況下，或者用其他方法、元件等來實施。在其他情況下，公知的結構或操作未被示出或詳細描述以避免混淆本發明的方面。
在不背離本發明精神或基本特徵的情況下，本發明可以以其他特定形式呈現。所描述的示例在所有方面僅被認為是說明性的而非限制性的。因此，本發明的範圍由所附申請專利範圍指示而非前述的描述。在申請專利範圍的意義以及等同範圍內的所有變化都在其保護範圍內。
10:當前PB 111:左下方塊 112:左邊塊 113:右上方塊 114:上方塊 115:左上方塊 12:並位塊 121:右下角塊TBR 122:並位塊內的塊TCTR 262、360:當前圖像 264:過去圖像 266:未來圖像 22、24、32、34:候選列表 362、364、366、368:參考圖像 604:參考塊 602、70:當前塊 610、612:角落像素 S802~S808:步驟 900:視訊編碼器 910、1012:幀內預測模組 912、1014:幀間預測模組 914、1016:開關 916:加法器 918:轉換模組 920:量化模組 922、1020:逆量化模組 924、1022:逆轉換模組 926、1018:重構模組 928、1024:環路處理濾波器 930、1026:參考圖像緩衝器 932:熵編碼器 1000:視訊解碼器 1010:熵解碼器
以示例提出的本發明的各種實施例將參考後續附圖進行詳細描述，以及其中： 第1圖示出了用於構造HEVC標準中定義的AMVP模式、跳過模式或合併模式的空間候選以及時間候選的位置。 第2圖示出了從已存在於合併候選列表的兩個現有單向運動候選導出組合的雙向預測合併候選的示例。 第3圖示出了從已存在於合併候選列表的兩個現有的單向運動候選導出兩個縮放的雙向預測合併候選的示例。 第4圖示出了導出0向量合併候選以及0向量AMVP候選用於合併候選列表以及AMVP候選列表的示例。 第5圖示出了HEVC標準中支援的33種角度幀內預測模式。 第6圖示出了根據兩個控制點將當前塊映射到一或複數個補償塊的四參數仿射預測。 第7圖示出了基於仿射幀間模式或仿射合併模式的相鄰編解碼塊的仿射候選導出的示例。 第8圖是示出了藉由將複數個預測子與被應用於複數個預測子的複數個設定之一或其組合進行組合來處理當前塊的實施例的流程圖。 第9圖示出了根據本發明實施例的合併視訊處理方法的視訊編碼器系統的示例性系統框圖。 第10圖示出了根據本發明實施例的合併視訊處理方法的視訊解碼系統的示例性系統框圖。
S802~S808:步驟

Claims (24)

  1. 一種視訊編碼或解碼系統中處理視訊資料的方法，包括： 接收與一當前視訊圖像中一當前塊相關的輸入資料； 藉由應用複數個設定之一或其組合到一第一預測子、一第二預測子或該第一與第二預測子兩者來生成該第一預測子以及該第二預測子，其中該當前塊的該第一與第二預測子之一或兩者從一運動補償生成； 藉由組合該第一預測子與該第二預測子生成該當前塊的一最終預測子；以及 根據該最終預測子編碼或解碼該當前塊。
  2. 如申請專利範圍第1項所述之視訊編碼或解碼系統中處理視訊資料的方法，其中由該當前塊的一塊寬度與塊高度之一或兩者來隱式導出該等設定的一選擇。
  3. 如申請專利範圍第1項所述之視訊編碼或解碼系統中處理視訊資料的方法，其中藉由在編碼單元(CU)級、編碼樹單元(CTU)級、條帶級、圖塊級、圖塊組級、序列參數集(SPS)級以及圖像參數集(PPS)級發信的一旗標來顯式指示該等設定的一選擇。
  4. 如申請專利範圍第1項所述之視訊編碼或解碼系統中處理視訊資料的方法，其中用於該當前塊的該第一與第二預測子之一從幀內預測生成。
  5. 如申請專利範圍第1項所述之視訊編碼或解碼系統中處理視訊資料的方法，其中該等設定包括支援模式設定，至少一個該第一與第二預測子由至少一個幀間預測模式的運動補償來生成，以及該幀間預測模式跳過、合併、AMVP、仿射合併、仿射幀間以及子塊合併模式之一或其組合。
  6. 如申請專利範圍第5項所述之視訊編碼或解碼系統中處理視訊資料的方法，其中用於生成該第一預測子的一幀間預測模式以及用於生成該第二預測子的一幀間預測模式是相同的。
  7. 如申請專利範圍第5項所述之視訊編碼或解碼系統中處理視訊資料的方法，其中根據一映射表決定用於生成該第一預測子的一幀間預測以及用於生成該第二預測子的一幀間預測。
  8. 如申請專利範圍第1項所述之視訊編碼或解碼系統中處理視訊資料的方法，其中通過參考先前已編解碼的運動資訊獲得用於生成該第一與第二預測子之一或兩者的運動資訊。
  9. 如申請專利範圍第8項所述之視訊編碼或解碼系統中處理視訊資料的方法，其中通過一基於歷史的方案獲得用於生成該第一與第二預測子之一或兩者的該運動資訊。
  10. 如申請專利範圍第1項所述之視訊編碼或解碼系統中處理視訊資料的方法，其中該等視訊包括組合權重設定，藉由用權重將該第一與第二預測子求和生成該最終預測子。
  11. 如申請專利範圍第10項所述之視訊編碼或解碼系統中處理視訊資料的方法，其中在加權後進一步藉由右移位以及剪切生成該最終預測子。
  12. 如申請專利範圍第10項所述之視訊編碼或解碼系統中處理視訊資料的方法，其中該權重隨著該當前塊中預測的位置變化。
  13. 如申請專利範圍第10項所述之視訊編碼或解碼系統中處理視訊資料的方法，其中該當前塊被拆分成複數個子塊，以及每一子塊共用相同的權重。
  14. 如申請專利範圍第13項所述之視訊編碼或解碼系統中處理視訊資料的方法，其中該當前塊中每一子塊的該權重取決於該當前塊的一塊寬度、該當前塊的一塊高度、分割方向、子塊位置、子塊運動向量(MV)、幀間預測方向或其組合。
  15. 如申請專利範圍第10項所述之視訊編碼或解碼系統中處理視訊資料的方法，其中當該當前塊中預測的一位置超出一特定邊緣時，用於該第一與第二預測子之一的該權重被設置為0以及另一個預測子直接被作為該最終預測子，以及該邊緣沿著一垂直、水平或對角線方向定義。
  16. 如申請專利範圍第1項所述之視訊編碼或解碼系統中處理視訊資料的方法，其中該等設定包括應用部分設定，該當前塊的該最終預測子被拆分成三個區域，該最終預測子中一第一區域的預測從該第一預測子來導出，該最終預測子中一第二區域的預測從該第二預測子來導出。以及該最終預測子中一第三區域的預測藉由組合該第一與第二預測子來導出。
  17. 如申請專利範圍第16項所述之視訊編碼或解碼系統中處理視訊資料的方法，其中該第一與第二區域是該當前塊中的三角形預測單元，以及該第三區域是沿著一分割方向的兩個三角形預測單元之間的一邊緣。
  18. 如申請專利範圍第16項所述之視訊編碼或解碼系統中處理視訊資料的方法，其中生成一最終預測子進一步包括應用不同的權重來生成該最終預測子中該第三區域的複數個樣本或複數個子塊。
  19. 如申請專利範圍第1項所述之視訊編碼或解碼系統中處理視訊資料的方法，其中該等設定包括具有一預定需求的運動資訊設定，如果一運動候選不能滿足該運動資訊設定中的該預定需求，用於生成該第一或第二預測子的該運動候選被移除或者被修正來滿足該預定需求。
  20. 如申請專利範圍第19項所述之視訊編碼或解碼系統中處理視訊資料的方法，其中該預定需求限制用於生成該當前塊的該第一與第二預測子的參考圖像是相同的或在一預定距離內。
  21. 如申請專利範圍第19項所述之視訊編碼或解碼系統中處理視訊資料的方法，其中該預定需求僅允許使用單向預測的運動向量來生成該當前塊的該第一與第二預測子。
  22. 如申請專利範圍第1項所述之視訊編碼或解碼系統中處理視訊資料的方法，其中該等設定包括精度設定，在應用一湊整進程之前，一加權進程被應用於該第一與第二預測子來生成該當前塊的該最終預測子，以及該湊整進程被應用於該最終預測子來限制該最終預測子的值於一預定範圍內。
  23. 一種視訊編碼或解碼系統中處理視訊資料的裝置，該裝置包括一或複數個電子電路用於： 接收與一當前視訊圖像中一當前塊相關的輸入資料； 藉由應用複數個設定之一或其組合到一第一預測子、一第二預測子或該第一與第二預測子兩者來生成該第一預測子以及該第二預測子，其中該當前塊的該第一與第二預測子之一或兩者從一運動補償生成； 藉由組合該第一預測子與該第二預測子生成該當前塊的一最終預測子；以及 根據該最終預測子編碼或解碼該當前塊。
  24. 一種儲存程式指令的非暫態電腦可讀媒介，該程式指令使得一裝置的一處理電路執行視訊處理方法，以及該方法包括： 接收與一當前視訊圖像中一當前塊相關的輸入資料； 藉由應用複數個設定之一或其組合到一第一預測子、一第二預測子或該第一與第二預測子兩者來生成該第一預測子以及該第二預測子，其中該當前塊的該第一與第二預測子之一或兩者從一運動補償生成； 藉由組合該第一預測子與該第二預測子生成該當前塊的一最終預測子；以及 根據該最終預測子編碼或解碼該當前塊。
TW108136605A 2018-10-10 2019-10-09 視訊編碼系統中結合多重預測子用於區塊預測之方法和裝置 TWI738081B (zh)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
US201862744126P 2018-10-10 2018-10-10
US62/744,126 2018-10-10
US201962845965P 2019-05-10 2019-05-10
US62/845,965 2019-05-10
PCT/CN2019/110131 WO2020073920A1 (en) 2018-10-10 2019-10-09 Methods and apparatuses of combining multiple predictors for block prediction in video coding systems
WOPCT/CN2019/110131 2019-10-09

Publications (2)

Publication Number Publication Date
TW202025763A true TW202025763A (zh) 2020-07-01
TWI738081B TWI738081B (zh) 2021-09-01

Family

ID=70164760

Family Applications (1)

Application Number Title Priority Date Filing Date
TW108136605A TWI738081B (zh) 2018-10-10 2019-10-09 視訊編碼系統中結合多重預測子用於區塊預測之方法和裝置

Country Status (4)

Country Link
US (1) US11818383B2 (zh)
CN (1) CN112840645B (zh)
TW (1) TWI738081B (zh)
WO (1) WO2020073920A1 (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106412601B (zh) * 2010-09-02 2019-12-17 Lg电子株式会社 编码和解码视频的装置及可读存储介质
WO2020138958A1 (ko) * 2018-12-27 2020-07-02 에스케이텔레콤 주식회사 양방향 예측 방법 및 영상 복호화 장치
CN112425160B (zh) * 2019-02-26 2023-05-12 苹果公司 用于对视频信号进行编码/解码的方法及其设备
WO2023030504A1 (en) * 2021-09-03 2023-03-09 Beijing Bytedance Network Technology Co., Ltd. Method, device, and medium for video processing
WO2023132679A1 (ko) * 2022-01-06 2023-07-13 엘지전자 주식회사 세컨더리 리스트를 이용하는 인터 예측 방법 및 장치
WO2023198142A1 (en) * 2022-04-14 2023-10-19 Mediatek Inc. Method and apparatus for implicit cross-component prediction in video coding system

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005022920A1 (en) 2003-08-26 2005-03-10 Thomson Licensing S.A. Method and apparatus for encoding hybrid intra-inter coded blocks
KR101365575B1 (ko) 2007-02-05 2014-02-25 삼성전자주식회사 인터 예측 부호화, 복호화 방법 및 장치
KR101630688B1 (ko) * 2010-02-17 2016-06-16 삼성전자주식회사 움직임 예측 장치 및 방법과 영상 처리 장치
EP2942961A1 (en) 2011-11-23 2015-11-11 HUMAX Holdings Co., Ltd. Methods for encoding/decoding of video using common merging candidate set of asymmetric partitions
WO2013077659A1 (ko) * 2011-11-24 2013-05-30 에스케이텔레콤 주식회사 모션 벡터의 예측 부호화/복호화 방법 및 장치
US9906786B2 (en) 2012-09-07 2018-02-27 Qualcomm Incorporated Weighted prediction mode for scalable video coding
KR20200051831A (ko) 2014-10-28 2020-05-13 미디어텍 싱가폴 피티이. 엘티디. 비디오 코딩을 위한 가이드된 크로스-컴포넌트 예측 방법
CN107113425A (zh) 2014-11-06 2017-08-29 三星电子株式会社 视频编码方法和设备以及视频解码方法和设备
US10171828B2 (en) * 2015-02-27 2019-01-01 Arris Enterprises Llc Modification of unification of intra block copy and inter signaling related syntax and semantics
CN107346538A (zh) * 2016-05-06 2017-11-14 株式会社理光 对象跟踪方法及设备
WO2018054269A1 (en) * 2016-09-22 2018-03-29 Mediatek Inc. Method and apparatus for video coding using decoder side intra prediction derivation
US20180160119A1 (en) * 2016-12-01 2018-06-07 Mediatek Inc. Method and Apparatus for Adaptive Region-Based Decoding to Enhance User Experience for 360-degree VR Video
CN117061736A (zh) * 2017-01-13 2023-11-14 谷歌有限责任公司 视频代码化的复合预测
US10701390B2 (en) * 2017-03-14 2020-06-30 Qualcomm Incorporated Affine motion information derivation
US10931963B2 (en) * 2017-12-07 2021-02-23 Tencent America LLC Method and apparatus for video coding
US11051010B2 (en) * 2018-07-18 2021-06-29 Mediatek Inc. Merge candidates with multiple hypothesis
US10735763B2 (en) * 2018-07-27 2020-08-04 Tencent America LLC Method and apparatus for motion vector prediction using spatial and temporal combination
US10958934B2 (en) * 2018-07-27 2021-03-23 Tencent America LLC History-based affine merge and motion vector prediction
US11997311B2 (en) * 2018-09-17 2024-05-28 Hfi Innovation Inc. Methods and apparatuses of combining multiple predictors for block prediction in video coding systems
CN112740674A (zh) * 2018-09-21 2021-04-30 交互数字Vc控股公司 使用双预测进行视频编码和解码的方法和装置
TWI831837B (zh) * 2018-09-23 2024-02-11 大陸商北京字節跳動網絡技術有限公司 仿射模型的多個假設
US11284066B2 (en) * 2018-10-10 2022-03-22 Tencent America LLC Method and apparatus for intra block copy in intra-inter blending mode and triangle prediction unit mode

Also Published As

Publication number Publication date
CN112840645B (zh) 2023-12-12
CN112840645A (zh) 2021-05-25
TWI738081B (zh) 2021-09-01
WO2020073920A1 (en) 2020-04-16
US11818383B2 (en) 2023-11-14
US20210392364A1 (en) 2021-12-16

Similar Documents

Publication Publication Date Title
TWI720532B (zh) 在視訊編解碼系統中視訊處理的方法以及裝置
CN111937391B (zh) 用于视频编解码系统中的子块运动补偿的视频处理方法和装置
TWI792152B (zh) 視訊編解碼系統中的視訊處理方法和裝置
TWI738081B (zh) 視訊編碼系統中結合多重預測子用於區塊預測之方法和裝置
JP2020523853A (ja) 動きベクトル予測
KR20200058445A (ko) Fruc 를 위한 저 복잡도 설계
KR102094436B1 (ko) 인터 예측 방법 및 그 장치
TWI702828B (zh) 在視訊編碼系統中生成平均候選的方法和裝置
TWI734254B (zh) 視訊編碼之多重假設方法和裝置
TWI737142B (zh) 視訊編碼中結合畫面間和畫面內預測之方法和裝置
TWI729497B (zh) 在視頻編解碼系統中組合多個預測子進行塊預測的方法和裝置
CN116684578A (zh) 基于控制点运动矢量的仿射模型优化