TWI720551B - 一種視訊編解碼的幀間預測方法及裝置 - Google Patents

一種視訊編解碼的幀間預測方法及裝置 Download PDF

Info

Publication number
TWI720551B
TWI720551B TW108125411A TW108125411A TWI720551B TW I720551 B TWI720551 B TW I720551B TW 108125411 A TW108125411 A TW 108125411A TW 108125411 A TW108125411 A TW 108125411A TW I720551 B TWI720551 B TW I720551B
Authority
TW
Taiwan
Prior art keywords
inter
candidate
mode
block
frame
Prior art date
Application number
TW108125411A
Other languages
English (en)
Other versions
TW202007155A (zh
Inventor
江嫚書
徐志瑋
莊子德
陳慶曄
黃毓文
Original Assignee
聯發科技股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 聯發科技股份有限公司 filed Critical 聯發科技股份有限公司
Publication of TW202007155A publication Critical patent/TW202007155A/zh
Application granted granted Critical
Publication of TWI720551B publication Critical patent/TWI720551B/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/573—Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/523—Motion estimation or motion compensation with sub-pixel accuracy
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/563—Motion estimation with padding, i.e. with filling of non-object values in an arbitrarily shaped picture block or region for estimation purposes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本發明公開了一種使用多重假設(Multi-Hypothesis，簡稱MH)進行視訊編解碼的幀間預測的方法和裝置。如果MH模式用於當前塊：藉由調整至少一編解碼控制設置，至少一MH候選使用縮減參考資料被導出；幀間候選列表被生成，其中，幀間候選列表包括所述至少一MH候選；在視訊編碼器側藉由使用幀間候選列表，與當前塊相關聯的當前運動資訊被編碼，或者在視訊解碼器側藉由使用合併候選列表，與當前塊相關聯的當前運動資訊被解碼。編解碼控制設置可對應於預測方向設置、濾波器抽頭設置、要獲取的參考塊的塊大小、參考圖像設置或運動限制設置。

Description

一種視訊編解碼的幀間預測方法及裝置
本發明涉及視訊编解碼的幀間預測，使用藉由組合基於第一假設的第一預測子和基於至少一第二假設的至少一第二預測子的多重假設(Multi-hypothesis，簡稱MH)。更具體地說，本發明涉及調整各種編解碼設置以便減少與多重假設模式相關聯的頻寬要求。
高效率視訊編解碼(High-Efficiency Video Coding，HEVC)是由視訊編解碼聯合協作小組(Joint Collaborative Team on Video Coding，JCT-VC)開發的國際視訊編解碼標準。HEVC是基於基於混合塊的運動補償離散餘弦變換(Discrete Cosine Transform，簡稱DCT)類似的變換的編解碼架構。用於補償的基礎單元，稱為編解碼單元(coding unit，簡稱CU)，是由像素組成的2Nx2N正方形塊。每個CU可被遞歸地分成四個較小的CU，直到達到預定義的最小尺寸。每個CU包含一個或多個預測單元(prediction unit，簡稱PU)。
為了達到HEVC中的混合編解碼架構的最佳的編解碼效率，每個PU可採用兩種預測模式(即幀內預測模式和幀間預測模式)。對於幀內預測模式，空間相鄰重構像素被用於產生方向預測。HEVC中有高達35種方向。對於幀間預測模式，時間重構參考幀被用於產生運動補償預測。有三種不同的模式，包括：跳躍(Skip)模式，合併(Merge)模式，以及先進運動向量預測(advanced motion vector prediction，簡稱AMVP)模式。
當PU以幀間AMVP模式被編解碼時，運動補償預測可利用發送的運動向量差值(motion vector difference，簡稱MVD)來執行，運動向量差值可與運動向量預測子(Motion Vector Predictor，簡稱MVP)一起被用於導出運動向量(motion vector，簡稱MV)。為了確定幀間AMVP模式中的MVP，AMVP方案被用於選擇包括兩個空間MVP和一個時間MVP的AMVP候選集合中的運動向量預測子。因此，在AMVP模式中，MVP的MVP索引和相應的MVD被要求進行編碼和傳輸。另外，用於指定列表0(即L0)和列表1(即L1)的雙向預測和單向預測中的預測方向的幀間預測方向，伴隨著每個列表的參考幀索引應當被編碼和傳輸。
當PU由跳躍或合併模式編解碼時，除了所選擇的候選的合併索引之外，運動資訊不被發送，因為跳躍和合併模式利用運動推斷方法。由於跳躍或合併模式的MVD為零，因此跳躍或合併模式編解碼塊的MV與MVP相同(即，MV=MVP+MVD=MVP)。因此，跳躍或合併模式編解碼塊從位於同位圖像中的空間相鄰塊(空間候選)或時間塊(時間候選)獲得運動資訊。同位圖像是列表0或列表1中的第一參考圖像，其在片段報頭中發送。在跳躍PU的情況下，殘差信號被省略。為了確定跳躍和合併模式的合併索引，合併方案被用於在包含四個空間MVP和一個時間MVP的合併候選集合中選擇運動向量預測子。
第1圖示出用於導出AMVP和合併方案的空間和時間MVP的相鄰PU。在AMVP中，左MVP是A0、A1中的第一可用MVP，頂部MVP是來自B0、B1、B2的第一可用MVP，並且時間MVP是來自TBR或TCTR的第一可用MVP(首先使用TBR，如果TBR不可用，則使用TCTR代替)。如果左MVP不可用且頂部MVP是未縮放MVP，則如果在B0、B1和B2中存在縮放的MVP，則第二頂部MVP被導出。在HEVC中，AMVP的MVP的列表大小是2。因此，在兩個空間MVP和一個時間MVP 的推導過程之後，只有前兩個MVP包括在MVP列表中。如果在去除冗餘之後，可用MVP的數量小於2，則零向量候選被添加到候選列表中。
對於跳躍和合併模式，如第1圖所示，多達四個空間合併索引從A0、A1、B0和B1導出，並且一個時間合併索引(首先使用TBR，如果TBR不可用，則使用TCTR代替)從TBR或TCTR導出。請注意，如果四個空間合併索引中的任一不可用，則位置B2被用來導出合併索引作為替換。在四個空間合併索引和一個時間合併索引的推導過程之後，刪除冗餘(removing redundancy)被用來刪除冗餘合併索引。如果在刪除冗餘之後，可用的合併索引的數量小於5，則三種類型的額外候選被導出以及被添加到候選列表中。
額外的雙向預測合併候選可藉由使用原始合併候選來創建。額外候選分為三種候選類型：
1.組合雙向預測合併候選(候選類型1)
2.縮放的雙向預測合併候選(候選類型2)
3.零向量合併/AMVP候選(候選類型3)
在候選類型1中，組合的雙向預測合併候選可藉由組合原始合併候選來創建。具體地，原始候選中的兩個候選具有mvL0(列表0中的運動向量)和refIdxL0(列表0中的參考圖像索引)或mvL1(列表1中的運動向量)和refIdxL1(列表1中的參考圖像索引)，被用於創建雙向預測合併候選。第2圖示出組合的雙向預測合併候選的推導過程的示例。候選集合210對應於原始候選列表，其包括L0中的mvL0_A，ref0(231)和L1中的mvL1_B，ref(232)。雙向預測MVP 233可藉由組合L0和L1中的候選來形成。
在候選類型2中，縮放的雙向預測合併候選可藉由縮放原始合併候選來創建。具體地，原始候選中的一候選，具有mvLX(列表X中的運動向量)和refIdxLX(列表X中的參考圖像索引)，X可以是0或1，被用於創建雙向預測合 併候選。例如，一候選A是具有mvL0_A和ref0的列表0單向預測，ref0被首先複製到列表1中的參考索引ref0'。之後，mvL0'_A藉由使用ref0和ref0'縮放mvL0_A來計算。然後，在列表0中具有mvL0_A和ref0以及在列表1中具有mvL0'_A和ref0'的雙向預測合併候選被創建，以及被添加到合併候選列表中。在第3圖中示出縮放的雙向預測合併候選的導出過程的示例，其中候選列表310對應於原始候選列表，以及候選列表320對應於包括兩個生成的雙向預測MVP的擴展候選列表。
在候選類型3中，零向量合併/AMVP候選藉由組合零向量和參考索引來創建，其可被參考。第4A圖示出用於添加零向量合併候選的示例，其中候選列表410對應於原始合併候選列表，以及候選列表420對應於使用添加零候選的擴展合併候選列表。第4B圖示出用於添加零向量AMVP候選的示例，其中候選列表430(L0)和432(L1)對應於原始AMVP候選列表，以及候選列表440(L0)和442(L1)對應於使用添加零候選的擴展AMVP候選。如果零向量候選不重複，則零向量候選被添加到合併/AMVP候選列表中。
當PU由幀內模式編解碼時，幀內預測方法僅利用與當前PU相鄰的一參考層(或線)和幀內預測模式中的一者來生成當前PU的預測子。與當前PU相鄰的參考層(reference tier)表示參考L形重構樣本，其用於幀內預測。對於幀內預測模式，空間相鄰重構像素可用於生成方向預測。HEVC最多有35個方向。在HEVC中的所有35種幀內預測模式中，3種模式被認為是用於預測當前預測塊中的幀內預測模式的最可能模式(most probable mode，簡稱MPM)。三種模式被選擇作為MPM集合。例如，MPM集合包括在左預測塊和上方預測塊中使用的幀內預測模式。在兩個相鄰塊中的幀內預測模式是相同的和方向性的(directional)，或者兩個相鄰塊中僅一個是可用的且在幀內預測中被編解碼且同時該幀內預測模式是方向性的情況下，緊鄰這個方向的兩個相鄰方向也被用於MPM。DC模式和平面模式也在MPM集合中被考慮以填充MPM中的可用點，尤 其是如果上方或頂部相鄰塊在幀內預測中不可用或未被編解碼，或者相鄰塊中的幀內預測模式不是方向性的。如果當前預測塊的幀內預測模式是MPM集合中的模式之一，則1或2個二進位位元被用於指示是哪一個模式。否則，當前預測塊的幀內預測模式與MPM集合中的任一條目不同，當前預測塊的幀內預測模式將被編解碼為非MPM模式。共有32種這樣的非MPM模式和(5位元)固定長度編解碼方法被用於發送該模式。33個方向如第5圖所示。在第5圖中，共有33個方向模式，因此H，H+1~H+8，H-1~H-7，V，V+1~V+8，V-1~V-8被使用。該系統可擴展到一般情況，其中水平和垂直模式表示為H和V模式。對於其他方向模式，可表示為H+k或V+k模式，其中k=±1，±2等。例如，如果使用65個方向模式，k可以是從±1到±16的範圍。
在提交給ITU-VCEG的文獻ITU-T13-SG16-C1016中(Lin,et al.,“Affine transform prediction for next generation video coding”,ITU-U,Study Group 16,Question Q6/16,Contribution C1016,September 2015,Geneva,CH)，公開了四參數仿射預測，其中包括仿射合併模式。當仿射運動塊正在移動時，塊的運動向量場可藉由兩個控制點運動向量或四個參數來描述，其中(vx，vy)表示運動向量
Figure 108125411-A0305-02-0007-1
第6圖中示出四參數仿射模型的示例，其中塊610對應於當前塊，塊620對應於參考塊。變換後的塊是矩形塊。該移動塊中每個點的運動向量場可以用下面的等式描述：
Figure 108125411-A0305-02-0007-2
在上面的等式中，(v0x，v0y)是塊的左上角處的控制點運動向量 (即v0)，以及(v1x，v1y)是塊的右上角處的另一控制點運動向量(即v1)。當兩個控制點的MV被解碼時，塊的每個4×4塊的MV可根據上面的等式確定。換句話說，塊的仿射運動模型可藉由兩個控制點處的兩個運動向量來指定。此外，雖然塊的左上角和右上角被用作兩個控制點，但其他兩個控制點也可被使用。
在文獻ITU-T13-SG16-C1016中，對於由幀間模式編解碼的CU，仿射標誌被發送以指示當CU大小等於或大於16×16時是否應用仿射幀間模式。如果當前塊(例如，當前CU)以仿射幀間模式進行編解碼，則候選MVP對列表使用相鄰有效重構塊來構建。第7圖示出用於導出角導出仿射候選的相鄰塊集合。如第7圖所示，
Figure 108125411-A0305-02-0008-3
對應於當前塊710的左上角的塊V0的運動向量，其從相鄰塊a0(稱為左上塊)、a1(稱為左上方內側塊)和a2(稱為左上方下部塊)的運動向量中選擇。
Figure 108125411-A0305-02-0008-9
對應於當前塊710的右上角處的塊V1的運動向量，其從相鄰塊b0(稱為上方塊)和b1(稱為右上塊)的運動向量中選擇。
在上面的等式中，MVa是與塊a0，a1或a2相關聯的運動向量，MVb是從塊b0和b1的運動向量中選擇的，以及MVc是從塊c0和c1的運動向量中選擇的。具有最小DV的MVa和MVb被選擇以形成MVP對。因此，雖然僅兩個MV集合(即，MVa和MVb)將被搜索以尋找最小DV，但是第三DV集合(即MVc)也參與選擇過程。第三DV集合對應於當前塊710的左下角處的塊的運動向量，其從相鄰塊c0(稱為左塊)和c1(稱為左下塊的運動向量)中選擇。在第7圖的示例中，用於構建仿射運動模型的控制點MV的相鄰塊(a0，a1，a2，b0，b1，b2，c0和c1)被稱為本公開中的相鄰塊集合。
在ITU-T13-SG16-C-1016中，還提出了仿射合併模式。如果當前PU是合併PU，則相鄰的五個塊(第7圖中的c0，b0，b1，c1和a0塊)被檢查以確定其中的一個是仿射幀間模式還是仿射合併模式。如果是，affine_flag被發送以指示當前PU是否是仿射模式。當當前PU以仿射合併模式編解碼時，當前PU從有 效的相鄰重構塊獲得用仿射模式編解碼的第一塊。候選塊的選擇順序是從左側，上方，右上方，左下方到左上方(即c0→b0→b1→c1→a0)，如第7圖所示。第一仿射編解碼塊的仿射參數被用於導出當前PU的v0和v1。
在HEVC中，每個PU的已解碼的MV以16：1的比率被下採樣並且存儲在時間MV緩衝器中以用於後續幀的MVP推導。對於16x16塊，僅左上方的4x4大小的MV存儲在時間MV緩衝器中，並且存儲的MV表示整個16x16塊的MV。
本發明公開一種用於視訊編解碼的幀間預測的方法和裝置，其中，幀間預測允許基於第一假設的第一預測子和基於至少一第二假設的至少一第二預測子組合的多重假設(Multi-hypothesis，簡稱MH)。根據該方法，在視訊編碼器側接收與當前圖像中的當前塊相關的輸入資料，或者在視訊解碼器側接收與包括當前圖像中的當前塊的壓縮資料相對應的視訊位元流。如果MH模式被用於當前塊：藉由調整至少一編解碼控制設置，使用縮減參考資料導出至少一MH候選；生成合併候選列表被，其中合併候選列表包括該至少一MH候選；並且在視訊編碼器側使用合併候選列表對與當前塊相關聯的當前運動資訊進行編碼，或者在視訊解碼器側使用合併候選列表對與當前塊相關聯的當前運動資訊進行解碼。
在一實施例中，編解碼控制設置對應於預測方向設置。例如，如果目標合併候選被用於導出該至少一MH候選。在另一示例中，如果用於導出該至少一MH候選的目標合併候選是雙向預測，則目標合併候選被用作用於導出該至少一MH候選的單向預測模式。例如，目標合併候選可被劃分為用於導出該至少一MH候選的兩個單向預測候選。
在另一實施例中，關於處理用於導出該至少一MH候選的目標幀間候選的一個或多個規則可被預定義，隱式地確定或明確地指示。例如，關於處理用於導出該至少一MH候選的目標幀間候選的規則可依據目標幀間候選的預測方向設置。此外，規則可由編解碼單元(coding unit，簡稱CU)級別、編碼樹單元(coding tree unit，簡稱CTU)級別、片段級別、圖像級別、序列參數集合(sequence parameter set，簡稱SPS)、圖像級別或圖像參數集合(picture parameter set，簡稱PPS)的標誌明確地指示。其中標誌在視訊編碼器側被發送或在視訊解碼器側被解析。
在另一實施例中，編解碼控制設置對應於插值濾波器的濾波器抽頭(tap)設置，該插值濾波器被用於導出子像素位置處的參考像素以導出所述至少一MH候選。例如，較短插值濾波器可被使用。在另一示例中，較短插值濾波器對應於2抽頭插值濾波器。此外，較短插值濾波器可從對應於較長插值濾波器的常規插值濾波器生成。
在另一實施例中，編解碼控制設置對應於與一參考塊相關的塊大小，該參考塊將被提取用於在包括多個子像素位置的多個位置處導出該當前塊的運動補償樣本，其中參考塊包括用於在子像素位置處導出運動補償樣本的額外行，額外列或兩者，並且額外行，額外列或兩者都被減少。減少的額外行，額外列或兩者都從減少的提取出的參考塊的一個或多個邊界填充。額外行和額外列可被減少到零或減少到1行和1列。
在又一實施例中，編解碼控制設置對應於參考圖像設置。例如，如果目標合併候選參考與當前塊相同的參考圖像，則該目標合併候選被用於導出MH候選。如果用於導出一MH候選的目標合併候選參考的是與該當前塊不同的參考圖像，則該目標合併候選不被允許用於導出該至少一MH候選。在另一示例中，如果用於導出至少一MH候選的目標合併候選參考的是與當前塊不同的參 考圖像，則運動向量縮放被應用於該目標合併候選的目標運動向量以生成參考與當前塊相同的參考圖像的該目標合併候選的縮放運動向量。
在又一實施例中，編解碼控制設置對應於運動限制設置。如果該第一預測子和該至少一第二預測子具有相同的參考圖像索引，則該第一預測子和該至少一第二預測子被組合以導出該至少一MH候選。在另一示例中，如果該第一預測子和該至少一第二預測子具有相同的參考圖像索引，並且該第一預測子的第一運動向量和第二預測子的第二運動向量在一預定義區域內，則該第一預測子和該至少一第二預測子被組合以導出該至少一MH候選。
210:候選集合
220:候選集合
233:雙向預測MVP
310:候選列表
320:候選列表
410、420、430、432、440、442:候選列表
610、620:塊
710:當前塊
810:當前幀
812:當前塊
820、830:幀
840、842、844:線
850:L0參考
852:L1參考
910、920、930、940、950:步驟
第1圖示出用於導出AMVP和合併方案的空間和時間MVP的相鄰PU。
第2圖示出組合的雙向合併候選的推導過程的示例。
第3圖示出縮放的雙向預測合併候選的導出過程的示例，其中左側的候選列表對應於原始候選列表，右側的候選列表對應於包括兩個生成的雙向預測MVP的擴展候選列表。
第4A圖示出添加零向量合併候選的示例，其中左側的候選列表對應於原始合併候選列表，右側的候選列表對應於添加零候選的擴展的合併候選列表。
第4B圖示出用於添加零向量AMVP候選的示例，其中頂部的候選列表對應於原始AMVP候選列表(左側的L0和右側的L1)，並且底部的候選列表對應於添加零候選的擴展AMVP候選列表(左側為L0，右側為L1)。
第5圖示出由高效視訊編解碼(high efficiency video coding，簡稱HEVC)標準使用的33個方向幀內預測模式。
第6圖示出四參數仿射模型的示例，其中運動模型可基於兩個控制點處的運動向 量導出。
第7圖示出用於導出角導出仿射候選的相鄰塊集合。
圖8A示出當前幀中的當前塊的UMVE搜索過程的示例。
圖8B示出對L0參考和L1參考垂直地和水平地在中心點周圍的特定位置處的UMVE搜索的示例。
第9圖示出根據本發明的實施例的用於視訊編解碼的示例性幀間預測的流程圖，其中幀間預測藉由組合基於第一假設的第一預測子和基於至少一第二假設的至少一第二預測子來允許多重假設(Multi-hypothesis，簡稱MH)。
以下描述是實現本發明的最佳方案。進行該描述是為了說明本發明的一般原理，而不應被視為具有限制意義。藉由參考所附申請專利範圍本發明的範圍被最好地確定。
在本發明中，公開了多重假設(Multi-hypothesis，簡稱MH)模式以改進幀間預測，幀間預測是用於跳躍和/或合併和/或幀內模式的改進方法。所提出的多重假設模式描述如下。
在原始跳躍和合併模式中，合併索引將被用於從合併候選列表中選擇運動候選。運動候選可以是由候選自身導出的單向預測或雙向預測。所生成的運動補償預測子在本公開中被稱為第一假設。對於所提出的多重假設模式，除了第一假設之外，還將產生第二假設。預測子的第二假設可藉由來自合併或跳躍模式的運動補償來生成，或者可藉由幀內預測模式生成。當多重假設模式被支援時，一個或多個多重假設候選可從跳躍和/或合併和/或幀內模式獲得。當藉由幀內預測模式第二假設被生成時，在本公開中，所提出的多重假設模式被稱為用於幀內的MH模式。當藉由來自合併或跳躍模式或任一其他幀間模 式的運動補償第二假設被生成時，在本公開中，所提出的多重假設模式被稱為合併的MH模式。對於幀內的MH模式，每個多重假設候選包含一個運動候選和一個幀內預測模式，其中運動候選從候選列表I中選擇，並且幀內預測模式從候選列表II中選擇。換句話說，運動候選可在編碼器處通過編碼模式決策匹配一個或多個幀內預測模式。運動候選和幀內候選被確定，在一些實施例中，運動候選或幀內候選被發送給解碼器。
在一實施例中，當幀內的MH模式被支援時，一標誌被發送以指示用於幀內模式的MH模式是否被應用。
在另一實施例中，當用於幀內的MH模式被支援時，一標誌被發送以指示用於幀內的MH模式是否被應用。如果標誌被開啟，則額外的幀內模式索引被發送以指示來自候選列表II的幀內預測模式。
在另一實施例中，幀內的MH模式被支援而無需額外的語法。幀內的MH模式的每個候選被插入到合併候選列表中並且由原始跳躍和合併模式的合併索引指示。合併候選列表的長度(L)可保持相同或者擴展到L+N，其中N是正數並且可根據塊寬度和/或塊高度類似的預定規則變化。
在另一實施例中，幀內的MH模式被支援而無需額外的語法或是只需要一標誌被發送以指示用於幀內模式的MH模式是否被應用(如果標誌被開啟，則額外的幀內模式索引不需要被發送，可以隱性地指示來自候選列表II的幀內預測模式)。幀內的MH模式的每個候選可根據預定義的規則或順序被插入到合併候選列表中，並且由原始跳躍和合併模式的合併索引指示。在一實施例中，形成MH候選列表的規則是幀內的MH模式的每個候選將被插入到相應的運動候選附近。例如，支援MH模式的合併候選列表形成如下：{A0，(A0，平面)，(A0，DC)，......，A1，(A1，平面)，(A1，DC)，......，B0，(B0，平面)，(B0，DC)，......，B1，(B1，平面)，(B0，DC)，...}，其中候選列表I={A0，A1，B0，B1，...}，候 選列表II={平面，DC，......}，以及(A0，平面)，(A0，DC)，(A1，平面)，(A1，DC)，(B0，平面)，(B0，DC)，(B1，平面)，(B0，DC)中的每個表示一MH候選(或稱為具有多重假設的候選)。在該示例中，支援MH模式的合併候選列表包括常規合併候選(例如，A0，A1，B0等)和MH合併候選(例如(A0，平面)，(A1，平面)，(B0，平面)，等等)。
在另一實施例中，形成MH候選列表的規則是幀內的MH模式的候選被插入到合併候選列表的特定位置。例如，幀內的MH模式的候選的順序可以是空間候選，時間候選，候選類型1，候選類型2，或候選類型3等。在另一實施例中，形成MH候選列表的規則是幀內的MH模式的候選可被插入任一位置或以預定義的順序插入。
在另一實施例中，當用於幀內的MH模式被應用時，一幀內預測模式可根據預定義的順序從候選列表II中選擇。候選列表II開頭的幀內預測模式可被隱式地確定為所選擇的幀內預測模式，或者候選列表II開頭的幀內預測模式可用最短碼字來發送。順序可以取決於特定標準，例如相應運動候選的屬性或塊寬度或塊高度。例如，當塊寬度遠大于塊高度時，具有接近垂直方向的幀內方向模式的幀的MH模式的候選可被插入在具有接近水平方向的幀內方向模式的幀的MH模式的候選之前。如果塊高度遠大於塊寬度，則插入順序可與前一種情況相反。再例如，對於具有相同運動候選的幀內預測模式，當運動候選的MVP位置是從左側開始時，具有接近水平方向的幀內方向模式的候選可被插入在具有接近垂直方向的幀內方向模式的候選之前。
在另一實施例中，當用於幀內的MH模式被應用時，候選列表II可與用於一般幀內模式的候選列表相同或者是用於一般幀內模式集合的子集合。候選列表II的大小或候選列表II內的模式可隨著塊寬度或塊高度或一般幀內模式的可用幀內預測模式的數量而變化。當候選列表II僅包含一個候選幀內模式 時，用於幀內的MH模式的目標幀內預測模式可被隱式地分配而不是被明確地發送。例如，當塊大小大於預定閾值時，一幀內模式索引被發送以指示來自候選列表II的目標幀內預測模式；否則，僅一種幀內預測模式被允許用於幀內的MH模式。對於那些小塊，如果塊寬度遠大於塊高度，則垂直模式被指定為目標幀內預測模式，如果塊高度遠大於塊寬度，則水平模式被指定為目標幀內預測模式。對於其餘的小塊，平面模式被指定為目標幀內預測模式。
在另一實施例中，當幀內的MH模式被應用時，候選列表I可與一般合併模式的相同，或者是一般合併模式的候選列表。例如，候選列表I僅包含空間候選和/或時間候選。在另一示例中，候選列表I可排除未在HEVC中使用的擴展模式。
當合併的MH模式被支援時，一些設置，比如預測方向設置，不同抽頭設置，塊部分設置，運動設置，禁止設置或上述任一組合，可被應用於合併的MH模式的任一假設或兩個假設。該等設置可被用於滿足合併的MH模式的不同運動補償頻寬或的計算複雜度。該等設置可根據隱式或顯式信令被啟用。在一實施例中，隱式賦值可取決於塊寬度、塊高度或塊大小。例如，設置被應用於小塊而不是大塊。在另一實施例中，顯式信令可取決於CU級別、CTU級別、片段級別、圖像級別、SPS、PPS等的標誌。
在一實施例中，當預測方向設置被應用於合併的MH模式時，僅具有一預定義參考列表的單向預測可被用於合併的MH模式的假設。
在另一實施例中，當不同的抽頭設置被應用於MH模式以進行合併時，較短長度的用於運動補償(motion compensation，簡稱MC)的子像素插值濾波器被用來替換MC的原始插值濾波器。例如，整數像素MC可被用於代替子像素MC。
在另一實施例中，當塊部分設置被應用於合併的MH模式時，整 個塊中僅子區域可被添加用於該假設。子區域可由多個連續子塊或多個單獨的子塊形成。例如，子區域包括不包含邊界的塊區域。在另一示例中，子區域包括靠近塊中心的子塊。再例如，子區域包括角落處的子塊。該部分可根據塊寬度或塊高度或塊大小等特定標準進行擴展或縮小。
在另一實施例中，當運動設置被用於合併的MH模式時，由滿足預定義運動條件的運動候選生成的假設可被用於合併的MH模式。運動條件可以是參考索引與其他假設的參考索引相同，或者運動向量在預定義區域內，或者上述的任一組合。
在另一實施例中，當禁止設置被應用於合併的MH模式時，該假設不被添加。換句話說，在某些條件下，禁止設置可被視為禁用合併的MH模式。該等條件可取決於塊寬度、塊高度或塊大小。例如，當塊小於NxM時，合併的MH模式被禁用，其中N可以是4或8，M可以是4或8。
在另一實施例中，合併的MH模式的組合設置可以是許多可能的組合。一種組合是不同的抽頭設置和塊部分設置。換句話說，不同長度的子像素插值濾波器可被應用於塊的不同部分。例如，對於塊邊界上的子區域，整數像素MC被使用，對於靠近塊中心的子區域，較長長度的子像素插值濾波器被使用；並且對於其餘子區域，較短長度的子像素插值濾波器被使用。
在一實施例中，當MH模式被用於一個以上的現有模式時，一現有模式的MH模式不能被用於生成另一現有模式的MH模式的假設，並且語法設計被排除。例如，幀內的MH模式的假設不能由幀間的MH模式(或者也稱為合併的MH模式或MH合併)生成。用於指示是否使用幀間的MH模式(或者也稱為合併的MH模式或MH合併)的標誌被發送或解析。如果該標誌被啟用，則該標誌不需要被發送並且可以被推斷為關閉。以相同的方式，用於指示是否使用幀間的MH模式(或者也稱為合併的MH模式或MH合併)的標誌可被發送或解析。 當該標誌被啟用時，該標誌不需要被發送並且被推斷為關閉。
在一實施例中，候選列表II中的幀內預測模式可以固定為{平面，DC，水平，對角線，垂直，垂直對角線}或這七種模式的任一其他子集合。例如，候選列表II中的幀內預測模式可以是{平面，DC，水平，垂直}。
在另一實施例中，候選列表II中的幀內預測模式的數量可隨著一般幀內模式的幀內預測模式的數量而變化。當用於一般幀內模式的幀內預測模式與HEVC相同時，候選列表II中的幀內預測模式可以是{平面，DC，水平，對角線，垂直，垂直對角線}或這七種模式的任一其他子集合。當用於一般幀內模式的幀內預測模式的數量增加時，候選列表II中的幀內預測模式的數量增加並且可以從{平面，DC，水平，對角線，垂直，垂直對角線}或具有特定方程的此七個模式中的任一其他子集合擴展。候選列表II可根據{平面，直流，水平，對角線，垂直，垂直對角線}或這七種模式的任一其他子集±偏移來增加。根據另一實施例，候選列表II可根據{平面，DC，方向模式}增加，其中方向模式包括水平(H)和垂直模式(V)，以及H+k或V+k模式，其中k=±1或±2或±3或±4等。
候選列表II中的幀內預測模式可從n個幀內預測模式集合中選擇，其中n是正整數。每組的幀內預測模式可以彼此不同，或者可以是另一幀內預測模式組的任一其他子集合。每組的幀內預測模式的數量可隨塊寬度或塊高度而變化。當所選擇的集合內的幀內預測模式的數量等於1時，幀內預測模式可被推斷而無需額外的幀內模式索引。在一實施例中，候選列表II的幀內預測模式可根據在CU級別、CTU級別、片段級別、圖像級別、SPS級別或PPS級別等發送的顯式索引來選擇。在另一實施例中，候選列表II的幀內預測模式集合可根據運動候選來選擇。例如，索引0指示的運動候選，可以是候選列表I中的合併索引0或索引0，與平面模式匹配；索引1指示的運動候選，可以是候選列表I中的合併索引1或索引1，與DC模式匹配；索引2指示的運動候選，可以是候選列表I中的 合併索引2或索引2，與水平模式匹配；以及索引3指示的運動候選，可以是候選列表I中的合併索引3或索引3，與垂直模式匹配。
當MH模式(例如，合併的MH模式或幀內的MH模式)被支援時，諸如預測方向設置，不同的抽頭設置，塊部分設置，運動設置，禁止設置，塊填充設置，參考圖像設置，MV限制設置或上述任一組合可被用於合併的MH模式的任一假設或兩個假設。該等設置可被用於滿足合併的MH模式的不同運動補償頻寬或計算複雜度。該等設置可根據隱式或顯式信令啟用。在一實施例中，隱式賦值可取決於塊寬度、塊高度或塊大小。例如，該等設置被應用於小於NxM的塊，其中N和M可從{2，4，8，16}中選擇。在一些實施例中，NxM可使用由NxM的結果生成的塊大小閾值來表示。在另一示例中，根據與塊寬度或塊高度相關的預定義表格，該等設置被用於特定塊。表1中示出示例性表格。該表格還可根據塊分割來擴展。該等設置可被用於滿足標有“O”的條件的塊。在另一實施例中，顯式信令可取決於CU級別、CTU級別、片段級別、圖像級別、SPS級別或PPS級別等的標誌。
Figure 108125411-A0305-02-0018-4
在一實施例中，當預測方向設置被用於MH模式時，只有具有單向預測的假設可被視為MH模式的假設。具有雙向預測的假設不被允許，或者具有雙向預測的假設被用於藉由不同機制產生具有單向預測的假設。該機制可將具有雙向預測的一假設，(表示為{{mvL0，ref0}，{mvL1，ref1}}，劃分為具有單向預測的多個假設，如{mvL0，ref0}的假設1，{mvL1，ref1}的假設2等。處理具有雙向預測的假設的規則可被預定義，或使用塊寬度，塊高度或塊屬性(例如，其他應用的幀間工具)隱式地導出，或者使用在CU級別、CTU級別、片段級別、圖像級別、SPS級別或PPS級別等發送的標誌明確地指示。例如，當SPS級別標誌啟用時，具有雙向預測的假設不能被用於MH模式；當標誌關閉時，具有雙向預測的假設被分成具有單向預測的多個假設，然後可被用於MH模式。
在另一實施例中，當不同的抽頭設置被用於MH模式時，具有較短的MC長度的子像素插值濾波器可被用於代替MC的原始插值濾波器。插值濾波器的長度可以是2、4、6或8。例如，諸如雙線性插值濾波器的2抽頭插值濾波器可被用於MH模式。在另一實施例中，較短的插值濾波器可從插值濾波器生成，該插值濾波器已經存在並且被很好地定義，因此不需要額外的硬體設計。例如，藉由將左側的四個抽頭加總為一係數而將右側的另外四個抽頭加總為另一係數，2抽頭插值濾波器可從8抽頭插值濾波器生成。因此，如果8抽頭插值濾波器被定義為{-1，4，-11，45，34，-10，4，-1}，則相應的2抽頭插值濾波器為{37，27}。在另一示例中，用於亮度分量的4抽頭插值濾波器可與用於色度分量的現有4抽頭插值濾波器相同。
在對WxH塊執行分數MC時，其中W是塊寬度且H是塊高度，包含當前塊的更大區域需被獲取以應用插值濾波器。根據本發明的實施例，插值所需的樣本區域被稱為獲取塊。例如，對於8抽頭插值濾波器，獲取塊的大小是 (W+3+4)×(H+3+4)。在一實施例中，當塊填充設置被用於MH模式時，獲取塊的大小可被減小。樣本，減少的獲取塊之外的插值濾波器的所需樣本可用從減少的獲取塊的邊界填充的樣本來填充。例如，獲取塊可被減小為當前塊，並且當前塊之外的額外樣本不需要被獲取。在另一示例中，獲取塊可被減小為包含當前塊的(W+1)x(H+1)塊。
在另一實施例中，當參考圖像設置被用於MH模式時，僅參考相同參考圖像的假設可被組合。具有不同參考圖像的運動候選被禁止或用於藉由MV縮放生成新的有效運動候選。MV縮放的機制描述如下。當用於一假設的第一運動候選是單向預測時，用於額外假設的第二運動候選的MV需被縮放到第一運動候選的參考圖像。當第一運動候選是具有運動向量MV0和MV1的雙向預測時，第二運動候選的MV0/MV1分別被縮放到參考圖像0/1。MV0參考參考圖像0並且MV1參考參考圖像1。或者，第二運動候選的MV0/MV1可被縮放到參考圖像0和參考圖像1中的一個，其最接近於第二運動候選的MV0/MV1。
在另一實施例中，當MV限制設置被用於MH模式時，僅參考相同參考圖像並且由類似MV生成的假設可被組合。用於多重假設的相同參考圖像內的MV之間的可允許距離可取決於來自多重假設的相同參考圖像內的MV所指示的塊寬度或塊高度或重疊區域。對於同一參考圖像內但超過允許距離的MV，MH模式不被允許；MV值被縮小或MV方向被重新調整到允許距離。
上述的任一組合可被用於任一多重假設模式，例如合併的MH模式或幀內的MH模式。
任一前述提出的方法可在編碼器和/或解碼器中實現。例如，任一所提出的方法可在編碼器的幀間編碼模組或幀內編碼模組，解碼器的運動補償模組或合併候選導出模組中實現。或者，任一所提出的方法可實現為耦合到編碼器的幀間編碼模組或幀內編碼模組和/或解碼器的運動補償模組或組合併候 選導出模組的電路。
在JVET-K0115(S.Jeong,et al.,“CE4 Ultimate motion vector expression in J0024(Test 4.2.9)”,in Joint Video Exploration Team(JVET)of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11,11th Meeting：Ljubljana,SI,10-18 July 2018,Document：JVET-K0115)。最終運動向量表達(ultimate motion vector expresssion，UMVE)在JVET-J024中被提出(S.Akula,et.Al.,“Description of SDR,HDR and 360° video coding technology proposal considering mobile application scenario by Samsung,Huawei,GoPro,and HiSilicon”,in Joint Video Exploration Team(JVET)of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11,10th Meeting：San Diego,US,10-20 Apr.2018,Document：JVET-J0024)。第8A圖示出當前幀810中的當前塊812的UMVE搜索過程的示例。參考列表L1中的幀820和參考列表L1中的幀830對應於用於雙向預測的兩個參考。線840對應於通過當前塊812的中心的線和幀820和830中的兩個對應像素。搜索圍繞與線840相關聯的中心點(例如，線842和844)執行。為了簡化搜索過程，僅垂直和水平中心點周圍的特定位置被搜索，如第8B圖所示用於L0參考(850)和L1參考(852)。UMVE被用於具有提出的運動向量表達方法的跳躍或合併模式。UMVE重新使用與正在開發的通用視訊編解碼(verstile video coding，簡稱VVC)標準相同的合併候選。在合併候選中，候選可被選擇，並且藉由所提出的運動向量表達方法被進一步擴展。UMVE提供具有簡化信令的新運動向量表達。表達方法包括預測方向資訊、起始點、運動幅度和運動方向。
該提出的技術按原樣使用合併候選列表。但是，只有默認合併類型(MRG_TYPE_DEFAULT_N)的候選才會被考慮用於UMVE的擴展。預測方向資訊指示L0，L1和L0與L1預測中的預測方向。在B片段中，所提出的方法可藉由使用鏡像技術從具有單向預測的合併候選生成雙向預測候選。例如，如果 合併候選是L1的單向預測，則參考索引L0可藉由搜索列表0中的參考圖像來確定，該參考圖像與列表1的參考圖像互為鏡像。如果沒有相應的圖像，則到當前圖像最近的參考圖像被使用。L0的MV藉由縮放L1的MV來導出。縮放因數藉由圖像順序計數(picture order count，簡稱POC)距離來計算。
如果UMVE候選的預測方向與原始合併候選中的一個相同，則具有值0的索引用作為UMVE預測方向被發送。然而，如果UMVE候選的預測方向與原始合併候選的預測方向不同，則值為1的索引被發送。在發送第一位元之後，剩餘預測方向基於UMVE預測方向的預定義優先順序被發送。優先順序是L0/L1預測，L0預測和L1預測。如果合併候選的預測方向是L1，則代碼“0”被發送用於UMVE'預測方向L1。代碼“10”被發送用於UMVE'預測方向L0和L1。代碼“11”被發送用於UMVE'預測方向L0。如果L0和L1預測列表相同，則UMVE的預測方向資訊不被發送。
基本候選索引定義起始點。基本候選索引表示列表中候選中的最佳候選，如表2所示。
Figure 108125411-A0305-02-0022-5
各種距離的距離指數如表3所示。
Figure 108125411-A0305-02-0022-6
方向指數表示MVD相對於起始點的方向。方向指數可表示四個方向，如表4所示。
Figure 108125411-A0305-02-0023-7
為了降低編碼器複雜度，塊限制被應用。如果CU的寬度或高度小於4，則UMVE不被執行。
在JVET-L0090中(Hsiao,et al.,“CE4.4.12：Pairwise average candidates”,in Joint Video Exploration Team(JVET)of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11,12th Meeting：Macao,CN,3-12 Oct.2018,Document：JVET-L0090)，成對平均候選藉由對當前合併候選列表中的預定候選對進行平均來生成，並且預定義對被定義為{(0，1)，(0，2)，(1，2)，(0，3)，(1，3)，(2，3)}，其中數字表示合併候選列表的合併索引。平均運動向量對每個參考列表分別計算。如果兩個運動向量在一個列表中可用，則即使該兩個運動向量指向不同的參考圖像，該兩個運動向量被平均；如果只有一個運動向量可用，則該運動向量被直接使用；如果沒有可用的運動向量，則該列表保持無效。成對平均候選替換HEVC標準中的組合候選。
在本發明中，公開了另一種用於改進幀間預測的多重假設模式，其改善了一個或多個幀間模式的編解碼性能，例如跳躍和/或合併和/或AMVP模式和/或仿射合併模式和/或仿射AMVP模式和/或子塊合併模式。多重假設模式的概念是將現有的預測假設與一個額外的幀間預測相結合。在下文中，使用MH模式幀間(或者也稱為合併或MH合併的MH模式)作為示例。在“跳躍”或“合併” 模式下，一合併索引被用於從合併候選列表中選擇一運動候選。運動候選可以是由候選自身導出的單向預測或雙向預測。所生成的運動補償預測子在本公開中被稱為第一假設。對於所提出的多重假設模式，除了第一假設之外，還將產生第二假設。預測子的第二假設可藉由來自合併或跳躍模式，AMVP模式，仿射合併模式，仿射AMVP模式或子塊合併模式的運動補償來生成。當多重假設模式被支援時，一個或多個多重假設候選可被用於跳躍和/或合併，AMVP模式，仿射合併模式，仿射AMVP模式或子塊合併模式。
根據不同的設置，例如支援的模式設置，組合的權重設置，應用的部分設置，預測方向設置，不同抽頭設置，禁止設置，塊填充設置，參考圖像設置，MV限制設置，參考MV設置以及上述任意組合，多重假設模式的變化被提出。上述設置可被用於原始假設，額外假設或多重假設，並且可根據隱式或顯式信令啟用。在一實施例中，隱式賦值可取決於塊寬度，塊高度或塊大小。例如，設置被應用於小於NxM的塊，其中N和M可以從{2，4，8，16}中選擇。在另一示例中，根據與塊寬度或塊高度相關聯的預定表格設置被應用於某些塊。在另一實施例中，顯式信令可取決於CU級別、CTU級別、片段級別、方格級別，圖片像級別，SPS級別，和PPS級別等的標誌。
支援的模式設置意味著多重假設模式可被用於一個或多個現有的幀間模式，例如跳躍，合併，AMVP，仿射合併，仿射AMVP，和子塊合併模式。參考原始假設和額外假設的運動資訊從上述的一個或多個幀間模式生成。在一實施例中，原始假設和額外假設的幀間模式需要是相同的或可不相同。在另一實施例中，原始假設和額外假設的幀間模式可根據映射表被預先確定。例如，如果預測的原始假設來自仿射模式，則預測的額外假設需要來自合併模式。在另一實施例中，多重假設模式可支援改進的幀間模式。例如，UMVE候選可被用於生成預測的假設。在另一示例中，用於生成假設預測的運動資訊可藉由 參考類似於基於歷史方案的先前編解碼運動資訊來獲取。在另一示例中，成對平均候選可被用於生成預測的假設。
組合權重設置意味著可藉由將預測的多重假設加總並且加權，右移，然後限幅，多重假設模式的預測被生成。對於每個假設，權重可固定為一個值，或者隨著預測的位置而變化。例如，原始和額外假設的權重分別為5和3。在另一例子中，原始假設的權重大於額外假設的權重。在一實施例中，對於每個假設，每個N×M子塊可共用相同的權重，其中N和M可以是2、4、8、16、32、64或128。或者，每個預測的像素具有其自己的權重。上述的任一組合可被應用。在另一實施例中，當預測的位置在特定邊緣A之外時，一假設的權重可被設置為零，以及另一假設的預測可直接被作為該塊的預測，其中“邊緣”對應於與兩個假設相關的兩個預測子之間的塊中的區域。邊緣寬度w可以是諸如0、1、2、3、4、8或16的整數。邊緣寬度可沿著諸如垂直，水平或對角線方向的方向隨塊寬度或高度而變化。每個N×M子塊的權重可取決於塊寬度和/或高度，分割方向，CU/PU中的子塊位置，子塊MV和/或幀間預測方向。
應用部分設置意味著對於啟用了多重假設模式的每個塊，預測像素可以分為區域1，區域2和區域3。一假設可被應用於區域1；另一假設可被應用於區域2；並且組合預測可被應用於區域3。在一實施例中，區域3可以是整個塊。換句話說，整個塊的預測從預測的多重假設生成。在另一實施例中，CU在任一對角線方向上被分成兩個三角形預測單元。區域1是一三角形預測單元；區域2是另一三角形預測單元；區域3是邊緣，邊緣寬度可以是沿分割方向的0、1、2、3、4、8、16或32。在區域3中，每個樣本/像素或每個NxM塊的權重可以是不同的。權重可取決於塊寬度和/或高度，分割方向，CU/PU中的子塊位置，子塊MV和/或幀間預測方向。在另一實施例中，區域3可以由多個連續子塊或單獨的子塊形成。例如，子區域包括排除邊界的塊區域。在另一示例中，子區域包括 靠近塊的中心的子塊。在又一個示例中，子區域包括拐角處的子塊。該部分可根據諸如塊寬度，塊高度或塊大小的特定標準來擴展或縮小。
預測方向設置意味著僅具有一個預定義參考列表的單向預測可被用於多重假設模式的假設。具有雙向預測的假設被禁止或用於藉由不同機制產生具有單向預測的假設。該機制可將雙向預測的假設，(表示為{{mvL0，ref0}，{mvL1，ref1}}，分為具有單向預測的多重假設，例如具有{mvL0，ref0}的假設1，具有{mvL1，ref1}的假設2等。處理具有雙向預測的假設的規則可被預定義，或者根據塊寬度或塊高度或塊屬性(例如，其他應用的幀間工具)被隱式地導出，或者根據在CU級別、CTU級別、片段級別、方格級別、圖像級別、SPS級別、或PPS級別等發送的標誌被明確指示。例如，當SPS級別標誌啟用時，具有雙向預測的假設不能被用於多重假設模式；當標誌關閉時，具有雙向預測的假設被分成具有單向預測的多重假設，其可被用於多重假設模式。
當不同的抽頭設置被應用於MH模式時，具有較短長度的運動補償(motion compensation，簡稱MC)的子像素插值濾波器可被用來替換MC的原始插值濾波器。插值濾波器的長度可以是1、2、4、6或8。例如，整數像素MC可被用來代替子像素MC。再例如，諸如雙線性插值濾波器的2抽頭插值濾波器可被用於多重假設模式。在一實施例中，較短的插值濾波器可從插值濾波器生成，該插值濾波器已經存在並且被很好地定義。因此，額外的硬體設計不被需要。例如，藉由將左手側的四個抽頭加總到一係數而將右手側的另外四個抽頭加總到另一係數，2抽頭插值濾波器可從8抽頭插值濾波器生成。因此，如果將8抽頭插值濾波器定義為{-1，4，-11，45，34，-10，4，-1}，則相應的2抽頭插值濾波器為{37，27}。再例如，用於亮度的4抽頭插值濾波器可與用於色度的現有4抽頭插值濾波器相同。
當禁止設置被應用於合併的MH模式時，額外假設不被添加。換 句話說，在某些情況下，禁止設置可以被視為禁用合併的MH模式。條件可取決於塊寬度，塊高度或塊大小。例如，當塊小於NxM時，合併的MH模式被禁用，其中N可以是4或8，M可以是4或8。
在對WxH塊執行分數MC時，其中W是塊寬度，H是塊高度，包含當前塊的更大區域需被獲取以應用插值濾波器。在一實施例中，該區域稱為獲取塊。例如，對於8抽頭插值濾波器，獲取塊的大小是(W+3+4)×(H+3+4)。在一實施例中，當塊填充設置被應用於多重假設模式時，獲取塊的大小可被減小。在減小的獲取塊之外的插值濾波器所需的樣本可由從減小的獲取塊的邊界填充的樣本填充。例如，獲取塊可被簡化為當前塊，並且當前塊之外的額外樣本不需要被獲取。再例如，獲取塊可被簡化為包含當前塊的(W+1)x(H+1)塊。
當參考圖像設置被應用於多重假設模式時，僅參考相同參考圖像的假設被組合。具有不同參考圖像的運動候選不被允許或者運動候選必須藉由MV縮放生成新的有效運動候選。MV縮放的機制描述如下。當用於一假設的第一運動候選是單向預測時，用於額外假設的第二運動候選的MV需被縮放到第一運動候選的參考圖像。當第一運動候選是具有運動向量MV0和MV1的雙向預測時，第二運動候選的MV0/MV1分別被縮放到參考圖片0/1。或者，第二運動候選的MV0/MV1被縮放到參考圖像0和參考圖像1中的一個，其分別最接近第二運動候選的MV0/MV1。MV0指的是參考圖像0，MV1指的是參考圖像1。
當MV限制設置被應用於多重假設模式時，僅滿足預定義運動條件的假設可被用於多重假設模式。運動條件可以是與其他假設的參考索引相同的參考索引，運動向量在預定義區域內，或者上述的任一組合。用於多重假設的相同參考圖像內的MV之間的可允許距離可取決於來自多重假設的相同參考圖像內的MV所指示的塊寬度或塊高度或重疊區域。對於同一參考圖像內但超過 允許距離的該些MV，一種可能的方式是禁止MH模式，另一種可能的方法是縮小MV值或將MV方向調整到允許距離。
當參考MV設置被應用於多重假設模式時，多重假設的運動資訊可使用一些約束來參考。在一實施例中，當第二假設的資訊由以下PU參考時，相同的參考幀約束應該被應用。例如，如果來自參考幀的同位PU使用多重假設模式被編解碼，則僅來自第一或第二假設的一組運動資料被參考。這將防止原始緩衝區大小重複存儲用於時間參考的運動。在又一個實施例中，相同的CTU約束或相同的CTU行(row)約束應該被應用。例如，如果同一幀中的相鄰PU使用多重假設模式被編解碼，則僅當PU屬於與當前PU相同的CTU或相同的CTU行(row)時來自第二假設的幀內模式或運動資訊才能被參考。這將防止額外的CTU線緩衝器用於存儲幀內模式或運動資料。
上述設置的任一組合可被應用。例如，組合權重設置，應用部分設置和預測方向設置可被組合。在另一示例中，CU在兩個對角線方向中的任一個上被分成兩個三角形預測單元。CU中的每個三角形預測單元使用其自己的單向預測運動向量和參考幀索引進行幀間預測。在預測三角形預測單元之後，自適應加權處理，其中每個N×M子塊的權重相同，在對角線邊緣上被執行。然後，變換和量化處理被應用於整個CU。在另一示例中，不同的抽頭設置和塊部分設置被組合。換句話說，具有不同長度的子像素插值濾波器可被應用於塊的不同部分。例如，對於塊邊界上的子區域，整數像素MC被使用；對於靠近塊中心的子區域，較長長度的子像素插值濾波器被使用；對於其餘子區域，較短長度的子像素插值濾波器被使用。
任一上述公開的方法可在編碼器和/或解碼器中實現。例如，任一所提出的方法可在編碼器的幀間編碼模組、運動補償模組、解碼器的合併/幀間候選導出模組中實現。或者，任一所公開的方法可實現為耦合到編碼器的幀 間編碼模組，和/或解碼器的運動補償模組和合併/幀間候選導出模組的電路。
第9圖示出用於視訊編解碼的示例性幀間預測的流程圖，根據本發明的實施例，其中幀間預測藉由組合基於第一假設的第一預測子和基於至少一的第二假設的至少一第二預測子來允許多重假設(Multi-hypothesis，簡稱MH)。流程圖中示出的步驟以及本公開中的其他後續流程圖可實現為在編碼器側和/或解碼器側的一個或多個處理器(例如，一個或多個CPU)上可執行的程式碼。流程圖中示出的步驟還可基於諸如被佈置為執行流程圖中的步驟的一個或多個電子設備或處理器的硬體來實現。根據該方法，在步驟910，在視訊編碼器側接收與當前圖像中的當前塊相關的輸入資料，或者在視訊解碼器側接收與包括當前圖像中的當前塊的壓縮資料相對應的視訊位元流。在步驟920中，檢查MH模式是否被用於當前塊。如果MH模式被用於當前塊(即，步驟920的“是”路徑)，則步驟930至950被執行。否則(即，步驟920的“否”路徑)，步驟930至950被跳過。在步驟930中，藉由調整至少一編解碼控制設置使用縮減參考資料導出至少一MH候選。在步驟940中，生成幀間候選列表，其中幀間候選列表包括該至少一MH候選。在步驟950中，在視訊編碼器側使用幀間候選列表對與當前塊相關的當前運動資訊進行編碼，或者在視訊解碼器側使用幀間候選列表對與當前塊相關的當前運動資訊進行解碼。
所示的流程圖旨在示出根據本發明的視訊編解碼的示例。在不脫離本發明的精神的情況下，本領域之通常技術者可以修改每個步驟、重新安排步驟、分割步驟、或組合步驟以實施本發明。在本公開中，特定語法和語義被用來說明用於實現本發明的實施例的示例。本領域之通常技術者可以藉由用等同的語法和語義替換語法和語義來實踐本發明而不脫離本發明的精神。
如上所述的本發明的實施例可以各種硬體，軟體代碼或兩者的組合來實現。例如，本發明的實施例可以是集成到視訊壓縮晶片中的一個或多個 電路電路或集成到視訊壓縮軟體中的程式碼，以執行以上描述的處理。本發明的實施例還可以是將在數位訊號處理器(Digital Signal Processor，簡稱DSP)上執行的程式碼，以執行以上描述的處理。本發明還可以涉及由電腦處理器，DSP，微處理器或現場可程式設計閘陣列(field programmable gate array，簡稱FPGA)執行的許多功能。該些處理器可被配置為藉由執行定義本發明所體現的特定方法的機器可讀軟體代碼或韌體代碼來執行根據本發明的特定任務。軟體代碼或韌體代碼可以用不同的程式設計語言和不同的格式或樣式開發。還可以針對不同的目標平臺編譯軟體代碼。然而，軟體代碼的不同代碼格式，樣式和語言以及配置代碼以執行根據本發明的任務的其他裝置將不脫離本發明的精神和範圍。
在不脫離本發明的精神或基本特徵的情況下，本發明可以其他特定形式實施。所描述的示例在所有方面都應被視為僅是說明性的而非限制性的。因此，本發明的範圍由所附申請專利範圍而不是以上的描述表示。在申請專利範圍的含義和等同範圍內的所有變化都包含在其範圍內。
910、920、930、940、950:步驟

Claims (23)

  1. 一種視訊編解碼的幀間預測方法，其中該幀間預測藉由組合基於一第一假設的一第一預測子和基於一至少一第二假設的一至少一第二預測子來允許一多重假設預測，該方法包括：在一視訊編碼器側接收與一當前圖像中的一當前塊相關的一輸入資料，或者在一視訊解碼器側接收與包括該當前圖像中的該當前塊的一壓縮資料相對應的一視訊位元流；如果一仿射模式被用於該當前塊；生成一幀間候選列表，其中該幀間候選列表包括至少一運動候選，該至少一運動候選被用於生成與該當前塊相關的一當前運動資訊；藉由調整至少一編解碼控制設置以及與該當前塊相關的該當前運動資訊來使用一縮減參考資料導出該當前塊的該多重假設預測的至少一假設的至少一預測子；以及在該視訊編碼器側對與該當前塊相關的該當前運動資訊進行編碼，或者在該視訊解碼器側對與該當前塊相關的該當前運動資訊進行解碼，其中，該至少一編解碼控制設置對應於用於在一子像素位置導出一參考像素的一插值濾波器的一濾波器抽頭設置以得到該縮減參考資料。
  2. 根據申請專利範圍第1項所述之視訊編解碼的幀間預測方法，其中，該至少一編解碼控制設置對應於一預測方向設置。
  3. 根據申請專利範圍第2項所述之視訊編解碼的幀間預測方法，其中，如果用於導出該至少一多重假設候選的一目標幀間候選是雙向預測，該目標幀間候選不被允許用於導出該至少一多重假設候選。
  4. 根據申請專利範圍第2項所述之視訊編解碼的幀間預測方法，其中，如果用於導出該至少一多重假設候選的一目標幀間候選是雙向預測，該目標幀間候選被用作單向預測以導出該至少一多重假設候選。
  5. 根據申請專利範圍第4項所述之視訊編解碼的幀間預測方法，其中，該目標幀間候選被分成兩個單向預測候選以導出該至少一多重假設候選。
  6. 根據申請專利範圍第1項所述之視訊編解碼的幀間預測方法，其中，關於處理用於導出該至少一多重假設候選的一目標幀間候選的一個或多個規則被預定義，隱式地確定或明確地指示。
  7. 根據申請專利範圍第6項所述之視訊編解碼的幀間預測方法，其中，該一個或多個規則由在一編解碼單元級別、一編解碼樹單元級別、一片段級別、一圖像級別、一序列參數集合、一圖像級別或一圖像參數集合中發送的一標誌明確地指示，其中該標誌在該視訊編碼側被發送或在該視訊解碼側被解析。
  8. 根據申請專利範圍第1項所述之視訊編解碼的幀間預測方法，其中一較短插值濾波器被應用。
  9. 根據申請專利範圍第8項所述之視訊編解碼的幀間預測方法，其中，該較短插值濾波器對應於一2抽頭插值濾波器。
  10. 根據申請專利範圍第8項所述之視訊編解碼的幀間預測方法，其中，該較短插值濾波器從對應於一較長插值濾波器的一常規插值濾波器中生成。
  11. 根據申請專利範圍第1項所述之視訊編解碼的幀間預測方法，其中，該至少一編解碼控制設置對應於與將被獲取的一參考塊相關的塊大小，該參考塊被用於導出在包括多個子像素位置的多個位置處的該當前塊的多個運動補償樣本，其中該參考塊包括額外行，額外列或兩者以導出該等子像素位置處的該等運動補償樣本，以及其中該額外行，額外列或兩者都被減少。
  12. 根據申請專利範圍第11項所述之視訊編解碼的幀間預測方法，其中，被減少的該額外行，額外列或兩者從減少的獲取的參考塊的一個或多個邊界填充。
  13. 根據申請專利範圍第11項所述之視訊編解碼的幀間預測方法，其中，額外行，額外列被減少到零或減少到1行和1列。
  14. 根據申請專利範圍第1項所述之視訊編解碼的幀間預測方法，其中，至少一編解碼控制設置對應於一參考圖像設置。
  15. 根據申請專利範圍第14項所述之視訊編解碼的幀間預測方法，其中，如果一目標幀間候選參考與該當前塊相同的一參考圖像，該目標幀間候選被用於導出該至少一多重假設候選。
  16. 根據申請專利範圍第14項所述之視訊編解碼的幀間預測方法，其中，如果用於導出該至少一多重假設候選的一目標幀間候選參考與該當前塊不相同的一參考圖像，該目標幀間候選不被允許用於導出該至少一多重假設候選。
  17. 根據申請專利範圍第14項所述之視訊編解碼的幀間預測方法，其中，如果用於導出該至少一多重假設候選的一目標幀間候選參考與該當前塊不相同的一參考圖像，運動向量縮放被應用於該目標幀間候選的一目標運動向量以產生參考與該當前塊相同的一參考圖像的一縮放的運動向量。
  18. 根據申請專利範圍第1項所述之視訊編解碼的幀間預測方法，其中，該至少一編解碼控制設置對應於運動限制設置。
  19. 根據申請專利範圍第18項所述之視訊編解碼的幀間預測方法，其中，如果該第一預測子和該至少一第二預測子有一相同參考圖像索引，該第一預測子和該至少一第二預測子被組合以導出該至少一多重假設候選。
  20. 根據申請專利範圍第18項所述之視訊編解碼的幀間預測方法，其中，如果該第一預測子和該至少一第二預測子有一相同參考圖像索引以及該第一預測子的一第一運動向量和該至少一第二預測子的一第二運動向量位於一預定義區域內，該第一預測子和該至少一第二預測子被組合以導出該至少一多 重假設候選。
  21. 根據申請專利範圍第1項所述之視訊編解碼的幀間預測方法，其中該幀間候選列表從跳躍模式、合併模式、先進運動向量預測模式、仿射合併模式、仿射先進運動向量預測模式、或子塊合併模式中導出。
  22. 根據申請專利範圍第1項所述之視訊編解碼的幀間預測方法，其中該第一假設和該至少一第二假設僅在該當前塊中一子區域被組合。
  23. 一種視訊編解碼裝置，該裝置包括一個或多個電子電路或處理器，被設置用於：在一視訊編碼器側接收與一當前圖像中的一當前塊相關的一輸入資料，或者在一視訊解碼器側接收與包括該當前圖像中的該當前塊的一壓縮資料相對應的一視訊位元流；如果一仿射模式被用於該當前塊；生成一幀間候選列表，其中該幀間候選列表包括至少一運動候選，該至少一運動候選被用於生成與該當前塊相關的一當前運動資訊；藉由調整至少一編解碼控制設置以及與該當前塊相關的該當前運動資訊使用一縮減參考資料導出該當前塊的該多重假設預測的至少一假設的至少一預測子；以及在該視訊編碼器側對與該當前塊相關的該當前運動資訊進行編碼，或者在該視訊解碼器側對與該當前塊相關的該當前運動資訊進行解碼，其中，該至少一編解碼控制設置對應於用於在一子像素位置導出一參考像素的一插值濾波器的一濾波器抽頭設置以得到該縮減參考資料。
TW108125411A 2018-07-18 2019-07-18 一種視訊編解碼的幀間預測方法及裝置 TWI720551B (zh)

Applications Claiming Priority (8)

Application Number Priority Date Filing Date Title
US201862699760P 2018-07-18 2018-07-18
US62/699,760 2018-07-18
US201862714787P 2018-08-06 2018-08-06
US62/714,787 2018-08-06
US201862745485P 2018-10-15 2018-10-15
US62/745,485 2018-10-15
PCT/CN2019/096550 WO2020015706A1 (en) 2018-07-18 2019-07-18 Method and apparatus of motion compensation bandwidth reduction for video coding system utilizing multi-hypothesis
WOPCT/CN2019/096550 2019-07-18

Publications (2)

Publication Number Publication Date
TW202007155A TW202007155A (zh) 2020-02-01
TWI720551B true TWI720551B (zh) 2021-03-01

Family

ID=69164150

Family Applications (1)

Application Number Title Priority Date Filing Date
TW108125411A TWI720551B (zh) 2018-07-18 2019-07-18 一種視訊編解碼的幀間預測方法及裝置

Country Status (5)

Country Link
US (2) US11218721B2 (zh)
EP (1) EP3824631A4 (zh)
CN (1) CN112544082B (zh)
TW (1) TWI720551B (zh)
WO (1) WO2020015706A1 (zh)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112236995B (zh) * 2018-02-02 2024-08-06 苹果公司 基于多假设运动补偿技术的视频编码、解码方法及编码器、解码器
US11924440B2 (en) * 2018-02-05 2024-03-05 Apple Inc. Techniques of multi-hypothesis motion compensation
KR20230128587A (ko) * 2018-10-27 2023-09-05 후아웨이 테크놀러지 컴퍼니 리미티드 서브블록 병합 후보를 위한 개별적인 병합 목록 및 비디오 코딩을 위한 인트라-인터 기술 조화
KR102625145B1 (ko) 2018-12-17 2024-01-16 삼성전자주식회사 예측 모드를 시그널링하는 비디오 신호 처리 방법 및 장치
CN114342408A (zh) * 2019-08-26 2022-04-12 北京字节跳动网络技术有限公司 视频编码中帧内编码模式的扩展
WO2023274181A1 (en) * 2021-06-28 2023-01-05 Beijing Bytedance Network Technology Co., Ltd. Method, device, and medium for video processing
US12120335B2 (en) * 2021-08-24 2024-10-15 Tencent America LLC Hardware friendly design for intra mode coding
WO2023172243A1 (en) * 2022-03-07 2023-09-14 Google Llc Multi-frame motion compensation synthesis for video coding
WO2023192335A1 (en) * 2022-03-28 2023-10-05 Beijing Dajia Internet Information Technology Co., Ltd. Methods and devices for candidate derivation for affine merge mode in video coding
KR20230147901A (ko) * 2022-04-15 2023-10-24 삼성전자주식회사 영상 부호화/복호화 방법 및 장치
WO2023246408A1 (en) * 2022-06-23 2023-12-28 Mediatek Inc. Methods and apparatus for video coding using non-adjacent motion vector prediction
WO2024022145A1 (en) * 2022-07-28 2024-02-01 Mediatek Inc. Method and apparatus of amvp with merge mode for video coding
WO2024072195A1 (ko) * 2022-09-28 2024-04-04 엘지전자 주식회사 영상 인코딩/디코딩 방법 및 장치, 그리고 비트스트림을 저장한 기록 매체
WO2024072194A1 (ko) * 2022-09-29 2024-04-04 엘지전자 주식회사 영상 인코딩/디코딩 방법 및 장치, 그리고 비트스트림을 저장한 기록 매체
WO2024080781A1 (ko) * 2022-10-12 2024-04-18 엘지전자 주식회사 영상 인코딩/디코딩 방법 및 장치, 그리고 비트스트림을 저장한 기록 매체
KR20240140018A (ko) * 2023-03-15 2024-09-24 한국전자통신연구원 영상 부호화/복호화를 위한 방법 및 비트스트림을 저장하는 기록 매체

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102934440A (zh) * 2010-05-26 2013-02-13 Lg电子株式会社 用于处理视频信号的方法和设备
CN104521237A (zh) * 2012-08-07 2015-04-15 高通股份有限公司 用于可缩放视频译码及3d视频译码的多假设运动补偿

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3478560B2 (ja) * 1993-04-23 2003-12-15 キヤノン株式会社 ファクシミリ装置、及びファクシミリ装置の制御方法
JP2003333600A (ja) * 2002-05-09 2003-11-21 Matsushita Electric Ind Co Ltd 画像符号化方法および画像復号方法
WO2005022919A1 (en) 2003-08-26 2005-03-10 Thomson Licensing S.A. Method and apparatus for decoding hybrid intra-inter coded blocks
WO2008005102A2 (en) * 2006-05-13 2008-01-10 Sap Ag Consistent set of interfaces derived from a business object model
CN101491107B (zh) 2006-07-07 2012-07-18 艾利森电话股份有限公司 一种对图像元素组进行解码的方法及其相关的编码器、解码器
US8422555B2 (en) 2006-07-11 2013-04-16 Nokia Corporation Scalable video coding
WO2009126260A1 (en) * 2008-04-11 2009-10-15 Thomson Licensing Methods and apparatus for template matching prediction (tmp) in video encoding and decoding
CN101557514B (zh) * 2008-04-11 2011-02-09 华为技术有限公司 一种帧间预测编解码方法、装置及系统
US9445121B2 (en) * 2008-08-04 2016-09-13 Dolby Laboratories Licensing Corporation Overlapped block disparity estimation and compensation architecture
CN101854554A (zh) 2010-06-13 2010-10-06 上海交通大学 基于图像修复预测的视频编解码系统
CN102186070B (zh) 2011-04-20 2013-06-05 北京工业大学 分层结构预判的快速视频编码方法
US9282338B2 (en) 2011-06-20 2016-03-08 Qualcomm Incorporated Unified merge mode and adaptive motion vector prediction mode candidates selection
GB2492337B (en) * 2011-06-27 2018-05-09 British Broadcasting Corp Video encoding and decoding using reference pictures
US9736489B2 (en) 2011-09-17 2017-08-15 Qualcomm Incorporated Motion vector determination for video coding
US9451277B2 (en) * 2012-02-08 2016-09-20 Qualcomm Incorporated Restriction of prediction units in B slices to uni-directional inter prediction
US9491459B2 (en) 2012-09-27 2016-11-08 Qualcomm Incorporated Base layer merge and AMVP modes for video coding
JP6763664B2 (ja) 2012-10-01 2020-09-30 ジーイー ビデオ コンプレッション エルエルシー エンハンスメント層作動パラメータのためのベース層ヒントを使用するスケーラブルビデオ符号化
US9374578B1 (en) 2013-05-23 2016-06-21 Google Inc. Video coding using combined inter and intra predictors
US10003815B2 (en) * 2013-06-03 2018-06-19 Qualcomm Incorporated Hypothetical reference decoder model and conformance for cross-layer random access skipped pictures
CN103338372A (zh) 2013-06-15 2013-10-02 浙江大学 一种视频处理方法及装置
CN104662905B (zh) 2013-07-08 2019-06-11 三星电子株式会社 使用多个假设估计因子的帧间预测方法及其装置
EP2941005A1 (en) * 2014-04-29 2015-11-04 Thomson Licensing Method and apparatus for building an estimate of an original image from a low-quality version of the original image and an epitome
US9609343B1 (en) 2013-12-20 2017-03-28 Google Inc. Video coding using compound prediction
WO2016072775A1 (ko) 2014-11-06 2016-05-12 삼성전자 주식회사 비디오 부호화 방법 및 장치, 비디오 복호화 방법 및 장치
KR102264767B1 (ko) * 2015-07-27 2021-06-14 미디어텍 인크. 인트라 블록 복사 모드를 이용한 비디오 코딩을 위한 시스템의 방법
US10715827B2 (en) * 2017-01-06 2020-07-14 Mediatek Inc. Multi-hypotheses merge mode
CN112236995B (zh) * 2018-02-02 2024-08-06 苹果公司 基于多假设运动补偿技术的视频编码、解码方法及编码器、解码器
WO2020108640A1 (en) * 2018-11-29 2020-06-04 Huawei Technologies Co., Ltd. Encoder, decoder and corresponding methods of most probable mode list construction for blocks with multi-hypothesis prediction
US11122272B2 (en) * 2018-12-26 2021-09-14 Mediatek Inc. Triangle prediction with applied-block settings and motion storage settings

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102934440A (zh) * 2010-05-26 2013-02-13 Lg电子株式会社 用于处理视频信号的方法和设备
CN104521237A (zh) * 2012-08-07 2015-04-15 高通股份有限公司 用于可缩放视频译码及3d视频译码的多假设运动补偿

Also Published As

Publication number Publication date
US20210329287A1 (en) 2021-10-21
EP3824631A1 (en) 2021-05-26
CN112544082A (zh) 2021-03-23
TW202007155A (zh) 2020-02-01
CN112544082B (zh) 2023-12-15
EP3824631A4 (en) 2022-07-06
WO2020015706A1 (en) 2020-01-23
US11218721B2 (en) 2022-01-04
US20220086478A1 (en) 2022-03-17
US11917185B2 (en) 2024-02-27

Similar Documents

Publication Publication Date Title
TWI720551B (zh) 一種視訊編解碼的幀間預測方法及裝置
TWI670970B (zh) 在視訊編解碼中預測子細化的候選跳過的方法和裝置
TWI700922B (zh) 用於視訊編解碼系統中的子塊運動補償的視訊處理方法和裝置
TWI720492B (zh) 使用雙向cu加權的視訊編解碼的方法和裝置
CN110581999B (zh) 色度解码器侧运动矢量细化
CN108028939B (zh) 用于视频编解码的解码器侧的运动推导的方法和装置
TWI687096B (zh) 用於視訊編解碼之運動向量限制方法和裝置
TWI720532B (zh) 在視訊編解碼系統中視訊處理的方法以及裝置
TWI792152B (zh) 視訊編解碼系統中的視訊處理方法和裝置
TW202025737A (zh) 仿射模式中自適應運動矢量分辨率的快速算法
TWI738248B (zh) 運動細化以及子分區基礎填充的視訊處理的方法以及裝置
TWI734254B (zh) 視訊編碼之多重假設方法和裝置
TW202002642A (zh) 在視訊編解碼中具有高級控制之候選重組
KR20210089155A (ko) 페어와이즈 평균 후보 계산에서 라운딩
TWI736923B (zh) 擴展Merge模式
TWI734158B (zh) 用於視訊編解碼的利用運動向量差的合併方法和裝置
TWI720753B (zh) 簡化的三角形合併模式候選列表導出的方法以及裝置
TWI738081B (zh) 視訊編碼系統中結合多重預測子用於區塊預測之方法和裝置
TWI738292B (zh) 用於視頻編解碼系統的簡化仿射子塊處理的方法及裝置
TWI729497B (zh) 在視頻編解碼系統中組合多個預測子進行塊預測的方法和裝置
CN118285098A (zh) 用于视频处理的方法、装置和介质