TWI719542B - 一種視訊編碼/解碼方法及裝置 - Google Patents

一種視訊編碼/解碼方法及裝置 Download PDF

Info

Publication number
TWI719542B
TWI719542B TW108125410A TW108125410A TWI719542B TW I719542 B TWI719542 B TW I719542B TW 108125410 A TW108125410 A TW 108125410A TW 108125410 A TW108125410 A TW 108125410A TW I719542 B TWI719542 B TW I719542B
Authority
TW
Taiwan
Prior art keywords
prediction
candidate list
mode
current block
candidate
Prior art date
Application number
TW108125410A
Other languages
English (en)
Other versions
TW202007147A (zh
Inventor
江嫚書
徐志瑋
Original Assignee
聯發科技股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 聯發科技股份有限公司 filed Critical 聯發科技股份有限公司
Publication of TW202007147A publication Critical patent/TW202007147A/zh
Application granted granted Critical
Publication of TWI719542B publication Critical patent/TWI719542B/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

視訊解碼器從位元流接收像素塊的待解碼資料，該待解碼資料將被解碼作為視訊的當前圖像的當前塊。視訊解碼器基於從第一候選列表中選擇的第一預測模式來產生當前塊的第一預測。視訊解碼器基於從第二候選列表中選擇的第二預測模式來產生當前塊的第二預測。視訊解碼器基於第一預測和第二預測產生當前塊的組合預測。視訊解碼器藉由使用組合預測來重構當前塊。

Description

一種視訊編碼/解碼方法及裝置
本發明涉及視訊處理。更具體地說，涉及使用多重假設執行幀間預測的像素塊編解碼方法。
除非本文另有說明，否則本部分中描述的方法不是下面列出的申請專利範圍的習知技術，並且不包括在本部分中作為習知技術。
高效率視訊編解碼(High-Efficiency Video Coding，HEVC)是由視訊編解碼聯合協作小組(Joint Collaborative Team on Video Coding，JCT-VC)開發的國際視訊編解碼標準。HEVC是基於基於混合塊的運動補償離散餘弦變換(Discrete Cosine Transform，簡稱DCT)類似的變換的編解碼架構。用於壓縮的基礎單元，稱為編解碼單元(coding unit，簡稱CU)，是由像素組成的2Nx2N正方形塊。每個CU可被遞歸地分成四個較小的CU，直到達到預定義的最小尺寸。每個CU包含一個或多個預測單元(prediction unit，簡稱PU)。每個PU對應於CU中的像素塊。
為了達到混合編解碼架構的最佳的編解碼效率，HEVC對每個PU採用幀內預測模式和/或幀間預測模式。對於幀內預測模式，空間相鄰重構像素被用於產生35種方向的方向預測。對於幀間預測模式，運動資訊被用於重構時間參考幀，時間重構參考幀被用於產生運動補償預測。運動資訊可包括運動向量、運動向量預測子、運動向量差值、和用於選擇多個參考幀的多個參考索引 等。
有三種類型的幀間預測模式：跳躍(Skip)模式，合併(Merge)模式，以及先進運動向量預測(advanced motion vector prediction，簡稱AMVP)模式。在AMVP模式，根據MV=MVP+MVD，用於PU的運動補償預測的運動向量從運動向量預測(motion vector prediction，簡稱MVP)和運動向量差值(motion vector difference，簡稱MVD，或殘差運動資料)導出。對於由AMVP預測的PU，MVP從包括兩個空間候選和一個時間候選的MVP候選集合中選擇。用於識別MVP選擇的索引被編碼並與相應的MVD一起作為運動資訊被傳輸。來自用於雙向預測或單向預測的參考幀列表L0和/或L1中的用於選擇參考幀的參考索引(或用於選擇多個參考幀的多個參考索引)同樣作為運動資訊被編碼或傳輸。
當PU由跳躍或合併模式編解碼時，除了所選擇的候選的合併索引之外，運動資訊不被發送。這是因為跳躍和合併模式利用運動推斷方法(即，MV=MVP+MVD=MVP，其中MVD為0)以從選擇自參考幀列表L0或L1(在片段頭中指示)的空間相鄰塊(空間候選)或時間相鄰圖像(時間候選)中的同位塊獲取運動資訊。在跳躍PU的情況下，正在被編解碼的塊的殘差訊號被省略。為了藉由使用AMVP、合併模式或跳躍模式來轉發(relay)像素塊的運動資訊，索引被用來從候選運動預測子列表來選擇MVP(或運動預測子)。在合併模式或跳躍模式，合併索引被用來從包括四個空間候選和一個時間候選的候選運動預測子列表中選擇MVP。合併索引被傳輸，運動預測子不被傳輸。
以下發明內容僅是說明性的，不打算以任何方式加以限制。也就是說，以下發明內容被提供以介紹此處所描述的新且非顯而易見的技術的概念、重點、好處和優勢。選擇而不是所有的實施方式在下面的詳細說明中進行進一 步描述。因此，以下發明內容不用於決定所要求主題的本質特徵，也不用於決定所要求主題的範圍。
本公開的一些實施例提供了一種視訊解碼器，其從位元流接收像素塊的待解碼資料，該待解碼資料將被解碼為視訊的當前圖像的當前塊。視訊解碼器基於從包括一個或一個以上候選幀間預測模式的第一候選列表中選擇的第一預測模式產生當前塊的第一預測。視訊解碼器基於從包括基於當前塊的屬性識別的一個或一個以上候選幀內預測模式的第二候選列表中選擇的第二預測模式產生當前塊的第二預測。視訊解碼器基於第一預測和第二預測產生當前塊的組合預測。視訊解碼器藉由使用組合預測來重構當前塊。在一些實施例中，視訊解碼器基於位元流中的顯式標誌確定是否生成第二預測。
視訊解碼器可基於當前塊的寬度、高度或大小來確定是否產生第二預測。視訊解碼器可基於當前塊的寬度、高度或大小或基於所選第一預測模式的方向來確定第二候選列表的排序。視訊解碼器還可基於當前塊的寬度、高度或大小來確定當前塊的第二候選列表的候選的數量。視訊解碼器可藉由使用最短碼字來發送第二候選的特定位置處的候選。
在一些實施例中，當當前塊的大小小於閾值時，第二候選列表包括不多於一個候選幀內預測模式，並且該一個候選幀內預測模式是基於當前塊的寬度和當前塊的高度之間的比率識別。在一些實施例中，組合預測僅適用於當前塊的子區域，子區域的大小基於當前塊的大小來確定。
100:當前塊
600:視訊圖像
602:參考幀
604:參考幀
606:參考幀
608:參考幀
610:當前塊
620:組合預測
622:第一預測
624:第二預測
632:第一候選列表
634:第二候選列表
642:第一候選
644:候選
646:運動候選
700:塊
710:第一預測單元
720:第二預測單元
730:子區域
740:子區域
750:子區域
810:較小塊
811:候選列表
812:候選列表
820:較大塊
821:候選列表
822:候選列表
900:塊
910:預測單元
920:預測單元
930:子區域
940:重疊區域
950:子區域
1010:較小塊
1011:候選列表
1020:較大塊
1021:候選列表
1100:編碼器
1105:視訊源
1108:減法器
1110:變換模組
1111:量化模組
1112:量化係數
1113:預測像素資料
1114:逆量化模組
1115:逆變換模組
1116:變換係數
1117:重構像素資料
1119:重構殘差
1120:幀內圖像估計模組
1125:幀內圖像預測模組
1130:運動補償模組
1135:運動估計模組
1140:幀間預測模組
1145:環內濾波器
1150:重構圖像緩衝器
1165:MV緩衝器
1175:MV預測模組
1190:熵編碼器
1195:位元流
1210:組合預測模組
1220:MH模式控制器
1230:輔助運動補償模組
1300:過程
1310、1320、1325、1328、1330、1335、1340、1345、1350、1360、1370、1380、1390:步驟
1400:視訊解碼器
1405:逆量化模組
1410:逆變換模組
1412:量化係數
1413:預測像素資料
1416:變換係數
1417:解碼像素資料
1419:重構殘差訊號
1425:幀內圖像預測模組
1430:運動補償模組
1440:幀間預測模組
1445:環內濾波器
1450:解碼圖像緩衝器
1455:顯示裝置
1465:MV緩衝器
1475:MV預測模組
1490:熵解碼器
1495:位元流
1510:組合預測模組
1520:MH模式控制器
1530:輔助運動補償模組
1600:過程
1610、1620、1625、1630、1635、1640、1645、1650、1660、1670、1680、1690:步驟
1700:電子系統
1705:匯流排
1710:處理單元
1715:GPU
1720:系統記憶體
1725:網路
1730:唯讀記憶體
1735:永久存放裝置
1740:輸入裝置
1745:輸出裝置
下列圖示用以提供本發明的進一步理解，並被納入且構成本發明的一部分。這些圖示說明了本發明的實施方式，並與說明書一起用以解釋本發明的原理。為了清楚地說明本發明的概念，與實際實施方式中的尺寸相比一些 元素可以不按照比例被示出，這些圖示無需按照比例繪製。
第1圖示出HEVC中用於幀間預測模式的MVP候選集合。
第2圖示出包括組合雙向預測合併候選的合併候選列表。
第3圖示出包括縮放合併候選的合併候選列表。
第4圖示出零向量候選被添加到合併候選列表或AMVP候選列表的示例。
第5圖示出不同方向的幀內預測模式。
第6a-b圖各自概念性地示出使用多重假設模式來對像素塊進行編碼或解碼。
第7a-b圖各自概念性地示出當僅塊的子區域使用幀內的MH模式的組合預測時塊的編解碼。
第8a-b圖各自概念性地示出與示例性實施例一致的不同大小的塊的幀內的MH模式的應用。
第9a-b圖各自概念性地示出當僅塊的子區域使用幀間的MH模式的組合預測時塊的編解碼。
第10a-b圖各自概念性地示出與用於示例性實施例的不同大小的塊的幀間的MH模式的應用。
第11圖示出可實現MH模式的視訊編碼器的示例。
第12a-b圖各自示出當對像素塊進行編碼時可實現MH模式的視訊編碼器的部分。
第13a-b圖各自概念性地示出使用MH模式對像素塊進行編碼的過程。
第14圖示出可實現MH模式的視訊解碼器的示例。
第15a-b圖各自示出當對像素塊進行解碼時可實現MH模式的視訊解碼器的部分。
第16a-b圖各自概念性地示出使用MH模式對像素塊進行解碼的過程。
第17圖概念性地示出用於實現本公開的一些實施例的電子系統。
在下面詳細的說明書中，為了透徹理解相關教示內容，藉由舉例的方式進行說明大量具體的細節。基於本文所描述的教示內容的任何改變、推導和/或拓展均在本發明的保護範圍內。在一些例子中，為了避免不必要地混淆本發明的教示內容的各方面，在相對較高的級別而無細節上描述已知的方法、程式、元件和/或關於此處所公開的一個或者複數個示例性實施方式的電路。
幀間預測模式
第1圖示出HEVC中的幀間預測模式的MVP候選集合(即，跳躍，合併和AMVP)。該圖示出了正被編碼或解碼的視訊圖像或幀的當前塊100。當前塊100(其可以是PU或CU)指的是用於導出AMVP模式、合併模式或跳躍模式的空間和時間MVP的相鄰塊。
對於跳躍模式和合併模式，多達四個空間合併索引從A0、A1、B0和B1導出，並且一個時間合併索引從TBR或TCTR導出(首先使用TBR，如果TBR不可用，則使用TCTR代替)。如果四個空間合併索引中的任一不可用，則位置B2作為替換被用來導出合併索引。在四個空間合併索引和一個時間合併索引被導出之後，冗餘合併索引被刪除。如果非冗餘合併索引的數量小於5，額外候選從原始候選中被導出以及被添加到候選列表中。有三種類型的導出候選：
1.組合雙向預測合併候選(導出候選類型1)
2.縮放雙向預測合併候選(導出候選類型2)
3.零向量合併/AMVP候選(導出候選類型3)
對於導出候選類型1，藉由組合原始合併候選，組合雙向預測合併候選被創建。具體地，如果當前片段是B片段，則藉由組合來自列表0和列表1的候選，另一合併候選被生成。第2圖示出包括組合雙向預測合併候選的合併候選列表。如圖所示，具有mvL0(列表0中的運動向量)和refIdxL0(列表0中的參考圖像索引，即圖2中的ref0)或mvL1(列表1中的運動向量)和refIdxL1(列表1 中的參考圖像索引，即圖2中的ref1)的兩個原始候選被用於創建雙向預測合併候選。
對於導出的候選類型2，藉由縮放原始合併候選，縮放的合併候選被創建。第3圖示出包括縮放的合併候選的合併候選列表。如圖所示，原始合併候選具有mvLX(列表X中的運動向量，X可以是0或1)和refIdxLX(列表X中的參考圖像索引，X可以是0或1，即圖3中的ref0或ref1)。例如，原始候選A是具有mvL0_A和參考圖像索引ref0的列表0單向預測MV。候選A最初被複製到列表L1並且具有參考圖像索引ref0'。藉由基於ref0和ref0'來縮放mvL0_A，縮放的MV mvL0'_A被計算。在列表L0中具有mvL0_A和ref0以及在列表L1中具有mvL0'_A和ref0'的縮放雙向預測合併候選被創建並且被添加到合併候選列表中。同樣地，在列表0中具有mvL1'_A和ref1'並且在列表1中具有mvL1_A和ref1的縮放雙向預測合併候選被創建並且被添加到合併候選列表。
對於導出候選類型3，藉由組合零向量和參考索引零向量，候選被創建。如果創建的零向量候選不重複，則其被添加到合併/AMVP候選列表中。第4圖示出零向量候選被添加到合併候選列表或AMVP候選列表的示例。
幀內預測模式
幀內預測方法利用與當前預測單元(prediction unit，簡稱PU)相鄰的一參考層和幀內預測模式之一來產生當前PU的預測子。幀內預測方向可在包含多個預測方向的模式集合中選擇。對於藉由幀內預測被編解碼的每個PU，一索引被使用並且被編碼以選擇幀內預測模式之一。相應的預測將被生成，然後殘差可被導出和變換。
第5圖示出不同方向的幀內預測模式。該等幀內預測模式被稱為方向模式，並且不包括DC模式或平面模式。如圖所示，有33種方向模式(V：垂直方向；H：水平方向)，所以H，H+1~H+8，H-1~H-7，V，V+1~V+8，V-1~V-8 被使用。通常，方向模式可表示為H+k或V+k模式，其中k=±1，±2，......，±8，(在一些實施例中，幀內預測模式具有65個方向模式，使得k的範圍從±1到±16)。
在HEVC中的35個幀內預測模式中，3種模式被認為是用於預測當前預測塊中的幀內預測模式的最可能模式(most probable mode，簡稱MPM)。這三種模式被選擇作為MPM集合。例如，在左預測塊中使用的幀內預測模式和在上方預測塊中使用的幀內預測模式被用作MPM。當兩個相鄰塊中的幀內預測模式使用相同的幀內預測模式時，幀內預測模式可被用作MPM。當兩個相鄰塊中只有一個可用並以方向模式編碼時，緊鄰該方向模式的兩個相鄰方向可被用作MPM。DC模式和平面模式也被認為是用於填充MPM集合中的可用點的MPM，尤其是如果上方或頂部相鄰塊不可用或未以幀內預測編解碼，或者如果相鄰塊中的幀內預測模式不是方向模式。如果當前預測塊的幀內預測模式是MPM集合中的模式之一，則1或2位元被用來發送是哪一種模式。否則，當前塊的幀內預測模式與MPM集合中的任一條目不同，並且當前塊將被編解碼為非MPM模式。共有32種這樣的非MPM模式和(5位元)固定長度編解碼方法被用於發送該模式。
多重假設模式
本公開的一些實施例提供了用於改進幀間預測的多重假設模式，其是用於跳躍和/或合併模式的改進方法。在原始的跳躍和合併模式中，一合併索引用於從合併候選列表中選擇一運動候選，其可以是由候選自身導出的單向預測或雙向預測。在一些實施例中，所生成的運動補償預測子被稱為第一假設(或第一預測)。在多重假設模式下，除了第一個假設之外，第二假設也會產生。預測子的第二假設可藉由來自運動候選的運動補償或幀間預測模式(例如，合併或跳躍模式)來生成。預測子的第二假設也可藉由幀內模式的幀內預測模式生成。當多重假設模式被支援時，一個或多個多重假設候選可被用於跳躍和/或合併模式。當第二假設(或第二預測)藉由幀內預測模式生成時，多重 假設模式被稱為幀內的MH模式或MH幀內。當第二假設藉由運動候選的運動補償或幀間預測模式(例如，合併或跳躍模式)生成時，多重假設模式被稱為幀間的MH模式或MH模式幀間(或者也稱為合併的MH模式或MH合併)。
對於幀內的MH模式，每個多重假設候選(或稱為具有多重假設的每個候選)包含一運動候選和一幀內預測模式，其中該運動候選從候選列表I中選擇並且該幀內預測模式從候選列表II中選出。也就是說，一運動候選可匹配一個或多個幀內預測模式。
對於幀間的MH模式，每個多重假設候選(或稱為具有多重假設的每個候選)包含兩個運動候選。在一些實施例中，候選列表I與當前塊的合併候選列表相同，並且MH模式幀間的多重假設候選的兩個運動候選從候選列表I中選擇。在一些實施例中，候選列表I是合併候選列表的子集合，多重假設候選的第一運動候選從合併候選列表中選擇，並且相同的多重假設候選的第二運動候選從候選列表I中選擇。
第6a-b圖各自概念性地示出藉由使用多重假設模式對像素塊進行編碼或解碼。該圖示出了當前正由視訊編解碼器編碼或解碼的視訊圖像600。視訊圖像600包括當前正被編碼或解碼為當前塊的像素塊610。當前塊610由MH模式編解碼，具體地，組合預測620基於當前塊610的第一預測622(第一假設)和當前塊610的第二預測624(第二假設)生成。然後，當前塊610被用來重構預測620。
圖6a示出了藉由使用幀內的MH模式進行編解碼的當前塊610。具體地，第一預測藉由基於參考幀602和604中的至少一個的幀間預測來獲得。第二預測藉由基於當前塊610的相鄰像素606的幀內預測來獲得。如圖所示，第一預測622基於幀間預測模式或從包括一個或多個候選幀間預測模式的第一候選列表632(候選列表I)中選擇的運動候選642(第一預測模式)生成。第二預測624基 於從包括一個或多個候選幀內預測模式的第二候選列表634(候選列表II)中選擇的幀內預測模式644(第二預測模式)生成。
圖6b示出了藉由使用幀間的MH模式進行編解碼的當前塊610。具體地，第一預測622藉由基於參考幀602和604中的至少一個的幀間預測來獲得。第二預測624藉由基於參考幀606和608中的至少一個的幀間預測來獲得。如圖所示，第一預測622基於幀間預測模式或從第一候選列表632(候選列表I)中選擇的運動候選642(第一預測模式)生成。第二預測624基於幀間預測模式或從第一候選列表632(候選列表I)中選擇的運動候選646(第二預測模式)生成。
在一些實施例中，當幀內的MH模式被支援時，一標誌被發送以表示幀內的MH模式是否被應用。此標誌可由位元流中的語法元素表示或指示。在一些實施例中，如果標誌開啟，則一額外的幀內模式索引被發送以指示來自候選列表II的幀內預測模式。
在一些實施例中，對於MH幀內或MH幀間，用於選擇第一預測模式或第二預測模式的索引被單獨且清楚地發送，例如，作為編解碼視訊圖像的位元流中的兩個語法元素。例如，第一語法元素可用於指示從第一候選列表632中選擇第一候選642，並且第二語法元素可用於指示從第二候選列表634(或第一候選列表632)中選擇第二候選644。
在一些實施例中，當幀內的MH模式被應用時，候選列表I可與用於一般合併模式的候選列表或者用於一般合併模式的候選列表的子集合相同。例如，候選列表I可僅包含空間候選(例如，A0，A1，B0，B1和B2)和/或時間候選(TBR和TCTR)。再例如，候選列表I可排除未在HEVC中使用的擴展模式。在一些實施例中，當幀內的MH模式被應用時，候選列表II可與用於一般幀內模式(除了平面和DC模式之外的33或65個方向模式)的候選列表或者用於一般幀內模式的候選列表的子集合相同。
在一些實施例中，幀內的MH模式被支援而無需額外的語法或是只需要一標誌被發送以指示用於幀內模式的MH模式是否被應用(如果標誌被開啟，則額外的幀內模式索引不需要被發送，可以隱性地指示來自候選列表II的幀內預測模式)。例如，第一候選列表632和第二候選列表634被合併到合併候選列表中，使得幀內的MH模式的每個候選可被插入或包括在合併候選列表中並且由合併索引指示或選擇用於原始的跳躍和合併模式。合併候選列表的長度(L)可保持相同或者被擴展到L+N，其中N是正數(用於MH模式的插入的額外候選)，並且可根據預定規則例如塊寬度和/或塊高度變化。
在一些實施例中，幀內的MH模式被支援而無需額外的語法。幀內的MH模式的每個候選可根據預定義的規則或順序插入到合併候選列表中，並且由原始跳躍和合併模式的合併索引指示或選擇，也就是說，一單獨的合併索引可被來選擇一單個假設(例如，B1)的單個幀間預測模式或者選擇一幀間預測和一幀內預測作為MH幀內的一對(例如，B1，平面)。在一些實施例中，根據預定義規則，幀內的MH模式的每個候選可被插入在合併候選列表中相應運動個候選的相鄰處，使得合併候選列表形成如下：A0，(A0，平面)，(A0，DC)，...，A1，(A1，平面)，(A1，DC)，......，B0，(B0，平面)，(B0，DC)，...，B1，(B1，平面)，(B0，DC)，...，其中候選列表I={A0，A1，B0，B1，...}，候選列表II={平面，DC，...}，以及(A0，平面)，(A0，DC)，(A1，平面)，(A1，DC)，(B0，平面)，(B0，DC)，(B1，平面)，(B0，DC)中的每個表示多重假設候選(或稱為具有多重假設的候選)。在一些實施例中，根據預定義規則，幀內的MH模式的候選可被插入到合併候選列表的特定位置。例如，幀內的MH模式的候選可遵循空間候選，時間候選，候選類型1，候選類型2或候選類型3等。在一些實施例中，幀內的MH模式的候選可被插入到合併候選列表的任一位置或以預定義的順序插入。
在一些實施例中，當幀內的MH模式被應用時，一幀內預測模式基於預定義的順序從候選列表II中選擇。例如，第二候選列表634的特定位置處的幀內預測模式(例如，在候選列表II的前面或開頭處)隱式地確定為所選擇的幀內預測模式或者藉由使用最短碼字來發送。在第6a圖的示例中，第二候選列表634中的候選644可被隱式地選擇作為幀內的MH模式的幀內預測模式或者被分配最短碼字，因為候選644在第二候選列表的開頭處或前面。
候選列表II中的候選的順序可取決於或者基於諸如相應運動候選的方向(從候選列表I中選擇)或當前塊610的寬度、高度或大小的標準來建立。例如，當塊寬度遠大于塊高度時，幀內的MH模式的候選，其幀內方向模式接近垂直方向，可被插入在候選列表II中候選的幀內方向模式接近水平方向的候選之前；杏則，相反的方式被採用。換句話說，當塊寬度與塊高度之間的比率大於特定閾值時，候選列表II中的候選被設置成使得接近垂直方向(例如，方向模式“V”，“V-1”等)的幀內模式被放置在接近水平方向(例如，方向模式“H”，“H-1”等)的幀內模式之前；當塊寬度與塊高度之間的比率小於特定閾值時，候選列表II中的候選被設置成使得接近水平方向的幀內模式被放置在接近垂直方向的幀內模式的之前。再例如，對於那些具有相同運動候選的幀內預測模式，當運動候選的MVP來自左相鄰塊時，幀內方向模式接近水平方向的候選可被插入在幀內方向模式接近垂直方向的候選之前。
候選列表II的大小或候選列表II內的幀內/方向模式的數量可隨著塊寬度或塊高度或一般幀內模式的可用模式的數量而變化。例如，當塊大小大於預定閾值時，一幀內模式索引被發送以從候選列表II中的多個幀內預測模式指示或選擇一幀內預測模式；否則，僅一個幀內預測模式被允許存在於MH幀內的候選列表II中。在一些實施例中，當候選列表II僅包含一個候選幀內模式時，從幀內的MH模式的候選列表II中選擇的目標幀內預測模式可被隱式地分配而不是 顯式地發送。對於那些小塊，該候選幀內預測模式基於塊寬度和塊高度之間的比率來識別。例如，如果塊寬度遠大於塊高度(例如，寬度/高度的比率大於閾值)，則該幀內預測模式被分配垂直模式(例如，幀內方向模式“V”)；如果塊高度遠大於塊寬度(例如，寬度/高度的比率小於閾值)，則該幀內預測模式被分配水平模式(例如，幀內方向模式“H”)。對於其他小塊，該幀內預測模式被分配平面模式。
在一些實施例中，當塊部分設置被應用於MH模式(諸如幀內的MH模式或合併的MH模式)時，整個塊中僅子區域被添加該假設。子區域可由幾個連續的子塊或幾個單獨的子塊形成。例如，子區域包括不包含邊界的塊區域。又例如，子區域包括靠近塊中心的子塊。再例如，子區域包括角落處的子塊。又例如，子區域包括沿一個方向的子塊，例如對角線方向，反向對角線方向，水平方向，垂直方向，或來自33或65個幀內方向模式的任一方向。
圖7a-b各自概念性地示出當僅塊的子區域使用MH模式(例如幀內的MH模式或合併的MH模式)的組合預測時，塊700的編解碼。第7a圖示出了塊700中的兩個預測單元710和720。第一預測單元710被示為塊700的右上部分處的三角形，並且第二預測單元720被示為塊700的左下部分處的三角形。預測單元710藉由幀間預測來編解碼，而預測單元720可藉由幀間預測或幀內預測來編解碼。
第7b圖示出當MH模式(諸如MH幀內或合併的MH模式)被開啟時被編解碼的塊700。如圖所示，塊700被劃分為三個子區域730，740和750。子區域730對應於預測單元710並且僅藉由幀間預測(例如，合併模式)而不使用幀內預測來編解碼。子區域750對應於預測單元720，並且藉由幀內預測或幀間預測來編解碼。子區域740是預測單元710和預測720的重疊區域。如果預測單元720藉由幀內預測被編解碼，則重疊區域740藉由幀內的MH模式被編解碼，即，藉由 第一預測單元710的幀間預測和第二預測單元720的幀內預測的組合預測。如果預測單元720藉由幀間預測被編解碼，則重疊區域740藉由幀間的MH模式(也稱為合併的MH模式或MH合併)被編解碼，即，藉由第一預測單元710的幀間預測和第二預測單元720的幀間預測的組合預測。
在一些實施例中，應用MH模式的組合預測(諸如MH幀內或合併的MH模式)的重疊子區域(例如，塊700的子區域740)的大小基於塊的大小而變化或基於當前塊的大小來確定。重疊子區域的大小可被稱為塊部分設置。具體地，塊的部分(即，重疊子區域740)可根據諸如塊寬度或塊高度或塊大小的特定標準來擴展或縮小。在一些實施例中，對於較小的塊，用於MH模式的子區域小於用於較大塊的MH模式的子區域。
第8a-b圖各自概念性地示出與示例性實施例一致的不同大小的塊的幀內的MH模式的應用。附圖示出了具有不同大小的子區域的不同大小塊，該等塊應用了MH幀內。附圖還示出了具有多個候選列表的不同大小的塊，該等候選列表具有用於應用MH幀內的不同數量的候選。具體地，候選列表I和/或候選列表II的大小隨塊的大小、高度或寬度而變化。
第8a圖示出由幀內的MH模式編解碼的4×4塊810。如圖所示，塊810的右上三個子塊或像素(圖示為無陰影部分)藉由幀間預測被編解碼，而塊810的左下三個子塊或像素(圖示為黑暗部分)藉由幀內預測被編解碼。預測塊810的中間十個像素或子塊(圖示為斜線部分)藉由MH模式的組合被編解碼。由於幀內的MH模式被使用，幀間預測模式和幀內預測模式分別從候選列表811(候選列表I)和候選列表812(候選列表II)中選擇。由於候選列表812僅具有一個候選，因此當使用MH幀內時，該候選的選擇可被推斷出無需在位元流中發送顯式信令。
第8b圖示出由幀內的MH模式編解碼的較大的8×8塊820。如圖所 示，塊820的右上十五個子塊或像素(圖示為無陰影部分)藉由幀間預測被編解碼，而塊820的左下十五個子塊或像素(圖示為黑暗部分)藉由幀內預測被編解碼。塊820的中間34個像素或子塊(圖示為斜線部分)藉由組合預測被編解碼。由於幀內的MH模式被使用，幀間預測模式和幀內預測模式分別從候選列表821(候選列表I)和候選列表822(候選列表II)中選擇。對於8x8塊820，候選列表I有7個候選，候選列表II有5個候選。
較大塊820具有比較小塊810更大的重疊區域(其中子塊或像素藉由組合預測被編解碼)。此外，較大塊820的至少一候選列表(候選列表I和/或候選列表II)比較小塊810的至少一候選列表具有更多的候選。
第9a-b圖各自概念性地示出了當僅塊的子區域使用MH幀間的組合預測(也稱為合併的MH模式或MH合併)時塊900的編解碼。第9a圖示出塊900中的兩個預測單元910和920。預測單元910被示為塊900的右上部分處的三角形，並且預測單元920被示為塊900的左下部分處的三角形。藉由第一幀間預測模式預測單元910被編解碼，藉由第二幀內預測模式預測單元920被編解碼。
第9b圖示出當MH幀間開啟時正在被編解碼的塊900。如圖所示，塊910被劃分為三個子區域930，940和950。子區域930對應於預測單元910並且由第一幀間預測模式進行編解碼。子區域950對應於預測單元920並且由第二幀間預測模式進行編解碼。子區域940是預測單元910和預測920的重疊區域，並且由第一和第二幀間預測模式的組合預測進行編解碼。
在一些實施例中，應用組合預測的重疊子區域(例如，塊900的子區域940)的大小基於塊的大小而變化，或者可基於當前塊的大小來確定。重疊子區域的大小可被稱為塊部分設置。具體地，塊的部分(即，重疊子區域940)可根據諸如塊寬度或塊高度或塊大小的特定標準來擴展或縮小。在一些實施例中，對於較小塊，其子區域小於較大塊的子區域。
第10a-b圖每個概念性地示出與示例性實施例一致的用於不同大小的塊的MH幀間(也稱為合併的MH模式或MH合併)的應用。該等附圖示出了具有不同大小的子區域的不同大小的應用了MH幀間塊。該等附圖還示出具有多個候選列表的不同大小的塊，該等候選列表具有用於應用MH幀內的不同數量的候選。
第10a圖示出由幀間的MH模式編解碼的4×4塊1010。如圖所示，塊1010的右上三個子塊或像素(圖示為無陰影部分)藉由第一幀間預測模式被編碼，塊1010的左下三個子塊或像素(圖示為黑暗部分)藉由第二幀間預測模式被編解碼。塊1010的中間十個像素或子塊(圖示為斜線部分)藉由組合預測被編解碼。用於塊1010的MH幀間的第一幀間預測模式和第二幀間預測模式從候選列表1011(候選列表I)中選擇。
第10b圖示出由幀間的MH模式編解碼的較大8×8塊1020。如圖所示，塊1020的右上15個子塊或像素(圖示為無陰影部分)藉由第一幀間預測模式被編解碼，塊1020的左下15個子塊或像素(圖示為黑暗部分)藉由第二幀間預測模式被編解碼。藉塊1020的中間34個像素或子塊(圖示為斜線部分)由組合預測(或幀間的MH模式)被編解碼。用於塊1020的MH幀間的第一和第二幀間預測模式從候選列表1021(候選列表I)中選擇。
較大塊1020具有比較小塊1010更大的重疊區域(其中子塊或像素由組合預測或MH幀間編解碼)。在一些實施例中，較小塊1010的候選列表1011(具有三個候選的列表I)小於較大塊1020的候選列表1021(具有七個候選的候選列表I)。
在一些實施例中，塊具有禁止設置，該禁止設置指定用於禁用幀內的MH模式或合併的MH模式的條件。該些條件可取決於塊寬度、塊高度或塊大小。
在一些實施例中，當對幀間預測、幀內預測或其組合進行相加或平均以在MH幀內或MH合併(例如，對於重疊區域740)下產生組合預測時，不同像素或子塊位置處的幀間預測值和/或幀內預測值，可根據像素或子塊的位置進行不同的加權。在一些實施例中，僅藉由幀間預測或幀內預測進行編碼的塊的區域可被實現為當執行幀內的MH模式時用於幀內預測或幀間預測的權重為零的區域。
在一些實施例中，當使用第二幀間預測添加或平均第一幀間預測以在MH合併(例如，對於重疊區域940)下產生組合預測時，來自第一運動候選的幀間預測值可與來自不同像素或子塊位置處的第二運動候選的幀間預測值進行不同的加權，其取決於像素或子塊的位置。在一些實施例中，僅藉由來自第一運動候選的幀間預測或來自第二運動候選的幀間預測進行編碼的塊的區域可被實現為當執行幀間的MH模式時用於來自第二運動候選的幀間預測或來自第一運動候選的幀間預測的權重為零的區域。
在一些實施例中，當運動設置被應用於合併的MH模式時，由滿足預定義運動條件的運動候選生成的假設可被用於合併的MH模式。運動條件可以是參考圖像與其他假設的參考圖像相同或者運動向量在預定義區域內，或者上述的任一組合。
當幀內的MH模式或合併的MH模式被支援時，諸如預測方向設置、不同的抽頭設置、塊部分設置、運動設置、禁止設置或上述的任一組合的一些設置可被用於幀內的MH模式或合併的MH模式的假設中的任一或全部。該等設置可被用於滿足幀內的MH模式或合併的MH模式的不同的運動補償頻寬或計算複雜度。該等設置可根據隱式或顯式信令被啟用。在一實施例中，隱式賦值可取決於塊寬度或塊高度或塊大小。例如，該等設置被用於小塊而不是大塊。在一些實施例中，顯式信令可取決於用於編碼視訊圖像的位元流的CU級別、片 段級別、圖像級別、序列參數集合(sequence parameter set，簡稱SPS)級別或圖像參數集合(picture parameter set，簡稱PPS)級別的標誌或語法元素。
在一些實施例中，當預測方向設置被應用於幀內的MH模式或合併的MH模式時，僅具有一預定義參考列表的單向預測被用於幀內的MH模式或合併的MH模式的假設。在一些實施例中，當不同的抽頭設置被應用於幀內的MH模式或合併的MH模式時，用於運動補償(motion compensation，簡稱MC)的較短長度的子像素插值濾波器可被用於替換MC的原始插值濾波器。例如，整數像素MC可被用於代替子像素MC。
在一些實施例中，當禁止設置被用於MH模式(諸如幀內的MH模式或合併的MH模式)時，額外的假設不被添加(例如，第一預測或第二預測不被添加)。也就是說，在某些條件下，禁止設實可被視為禁用幀內的MH模式或合併的MH模式。該等條件可取決於塊寬度或塊高度或塊大小。例如，當塊小於NxM時，幀內的MH模式或合併的MH模式被禁用，其中N可以是4或8並且M可以是4或8。例如，當塊大於NxM時，幀內的MH模式或合併的MH模式被禁用，其中N可以是4、8、16、32、64或128並且M可以是4、8、16、32、64或128。在一些實施例中，NxM可以表示為由NxM的結果生成的塊大小閾值。例如，對於塊區域大於16、32、64、128、256、512或1024，幀內的MH模式或合併的MH模式被禁用。例如，對於塊區域小於16、32、64、128、256、512或1024，幀內的MH模式或合併的MH模式被禁用。在一些實施例中，N和M分別對應到塊的長和寬，其中N可以是4、8、16、32、64或128並且M可以是4、8、16、32、64或128。例如，對於塊的長大於N或/和寬大於M，幀內的MH模式或合併的MH模式被禁用。例如，對於塊的長小於N或/和寬小於M，幀內的MH模式或合併的MH模式被禁用。在一些實施例中，MH模式被禁用則不需要發送一標誌以指示MH模式是否被應用。
在一些實施例中，幀內的MH模式或合併的MH模式的組合設置可具有許多可能的組合。示例組合是不同的抽頭設置和塊部分設置。也就是說，不同長度的子像素插值濾波器可被應用於塊的不同部分。例如，對於塊邊界上的子區域，整數像素MC被使用，對於靠近塊中心的子區域，較長長度的子像素插值濾波器被使用，對於其餘子區域，較短長度的子像素插值濾波器被使用。
任一上述提出的方法可在編碼器和/或解碼器中實現。例如，任一所提出的方法可在編碼器的幀間編碼模組或幀內編碼模組，解碼器的運動補償模組或合併候選導出模組中實現。或者，任一所提出的方法可實現為耦合到編碼器的幀間編碼模組或幀內編碼模組和/或解碼器的運動補償模組或合併候選導出模組的電路。
視訊編碼器示例
第11圖示出可實現MH模式(MH幀內和/或MH幀間)的示例視訊編碼器1100。如圖所示，視訊編碼器1100從視訊源1105接收輸入視訊訊號並將訊號編碼到位元流1195中。視訊編碼器1100具有若干元件或模組，用於編碼來自視訊源1105的訊號，包括以下至少部分：變換模組1110，量化模組1111，逆量化模組1114，逆變換模組1115，幀內圖像估計模組1120，幀內預測模組1125，運動補償模組1130，運動估計模組1135，環內濾波器1145，重構圖像緩衝器1150，MV緩衝器1165和MV預測模組1175，以及熵編碼器1190。運動補償模組1130和運動估計模組1135是幀間預測模組1140的一部分。
在一些實施例中，模組1110-1190是由計算設備或電子設備的一個或多個處理單元(例如，處理器)執行的軟體指令的模組。在一些實施例中，模組1110-1190是由電子設備的一個或多個積體電路(integrated circuits，簡稱IC)實現的硬體電路的模組。儘管模組1110-1190被示為單獨的模組，但是其中一些模組可被組合成單個模組。
視訊源1105提供原始視訊訊號，其呈現每個視訊幀的像素資料而無需壓縮。減法器1108計算視訊源1105的原始視訊像素資料和來自運動補償模組1130或幀內預測模組1125的預測像素資料1113之間的差值。變換模組1110轉換差值(或殘差像素資料或殘差訊號1109)為變換係數1116(例如，藉由執行離散余弦變換(Discrete Cosine transform，簡稱DCT)，離散正弦變換(Discrete Sine Transform，簡稱DST)或任一其他變換函數)。量化模組1111將變換係數1116量化為量化資料(或量化係數)1112，其由熵編碼器1190編碼到位元流1195中。
逆量化模組1114對量化資料(或量化係數)1112進行去量化以獲得變換係數，並且逆變換模組1115對變換係數1116執行逆變換以產生重構殘差1119。重構殘差1119與預測像素資料1113相加來產生重構像素資料1117。在一些實施例中，重構像素資料1117被臨時存儲在行緩衝器(未示出)中，用於幀內圖像預測和空間MV預測。重構的像素由環內濾波器1145濾波並存儲在重構圖像緩衝器1150中。在一些實施例中，重構圖像緩衝器1150是視訊編碼器1100外部的記憶體。在一些實施例中，重構圖像緩衝器1150是視訊編碼器1100內部的記憶體。
幀內圖像估計模組1120基於重構像素資料1117執行幀內預測以產生幀內預測資料。幀內預測資料被提供給熵編碼器1190以被編碼成位元流1195。幀內預測模組1125還使用幀內預測資料來產生預測像素資料1113。
運動估計模組1135藉由產生多個MV來執行幀間預測，以參考存儲在重構圖像緩衝器1150中的先前解碼的幀的像素資料。該等MV被提供給運動補償模組1130以產生預測的像素資料。
代替對位元流中的完整真實的MV進行編碼，視訊編碼器1100使用MV預測來產生預測的MV，並且用於運動補償的MV與預測的MV之間的差值被編碼為殘差運動資料並被存儲在位元流1195中。
MV預測模組1175基於用於對先前視訊幀進行編碼而生成的參考 MV(即，用於執行運動補償的運動補償MV)來生成預測的MV。MV預測模組1175從MV緩衝器1165獲取來自先前視訊幀的參考MV。視訊編碼器1100將生成用於當前視訊幀的MV存儲在MV緩衝器1165中作為用於生成預測MV的參考MV。
MV預測模組1175使用參考MV來創建預測的MV。預測MV可藉由空間MV預測或時間MV預測來計算。預測MV與當前幀的運動補償MV(motion compensation motion vector，簡稱MC MV)之間的差值(殘差運動資料)由熵編碼器1190編碼到位元流1195中。
熵編碼器1190藉由使用諸如上下文自我調整二進位算術編碼(context-adaptive binary arithmetic coding，簡稱CABAC)或霍夫曼編碼的熵編碼技術將各種參數和資料編碼到位元流1195中。熵編碼器1190將各種報頭元素，標誌與量化變換係數1112和殘差運動資料作為語法元素編碼到位元流1195中。位元流1195又被存儲在存放裝置中或藉由通信媒體，如網路，傳輸到解碼器。
環內濾波器1145對重構像素資料1117執行濾波或平滑操作以減少編解碼的偽像，特別是在像素塊的邊界處。在一些實施例中，執行的濾波操作包括解塊或採樣自適應偏移(sample adaptive offset，簡稱SAO)。在一些實施例中，濾波操作包括自適應環路濾波器(adaptive loop filter，簡稱ALF)。
第12a圖說明可在編碼像素塊時實施幀內的MH模式的視訊編碼器1100的一些部分。如圖所示，視訊編碼器1100包括組合預測模組1210，其產生預測像素資料1113。組合預測模組1210接收由圖像內預測模組1125產生的幀內預測值。組合預測模組1210還接收來自運動補償模組1130的幀間預測值。用於藉由運動補償模組1130和幀內圖像預測模組1125對像素塊進行編碼的運動資訊和模式方向被保存在記憶體中以供相同的模組用於後續塊作為合併模式或MH幀內的候選。
當幀內的MH模式被啟用時(對於塊或塊的一部分)，MH模式控 制器1220控制幀內圖像預測模組1125和運動補償模組1130的操作。MH模式控制器1220創建幀間預測模式列表(候選列表I)和幀內預測模式列表(候選列表II)。基於各種因素確定或識別每個列表的候選，包括當前塊的大小、寬度或高度，和/或相應的運動候選的方向。
MH模式控制器1220從候選列表I中選擇幀間預測候選，並從候選列表II中選擇幀內預測候選。運動補償模組1130基於從候選列表I中選擇的候選來執行幀間預測。幀內圖像預測模組1125基於從候選列表II中選擇的候選來執行幀內預測。幀間預測和幀內預測的結果在組合預測模組1210處組合(例如，平均)以生成預測像素資料1113。
MH模式控制器還向熵編碼器1190提供資訊以作為語法元素插入到位元流中。該語法元素可發送幀內的MH模式是否被啟用。該語法元素還可明確地發送來自MH幀內的候選列表I和II的幀間預測和幀內預測候選的選擇。用於發送幀間預測和幀內預測候選的選擇的語法可包括單個索引，該單個索引可從包括候選列表I和候選列表II兩者的組合列表中選擇幀間預測和幀內預測候選。如果候選列表I或候選列表II僅具有一個候選，則用於發送幀內預測候選和/或幀間預測候選的選擇的語法(隱式信令)可被省略。
第12b圖說明可在編碼像素塊時實施幀間的MH模式視訊編碼器1100的一些部分。如圖所示，視訊編碼器1100包括組合預測模組1210，其產生預測像素資料1113。組合預測模組1210從運動補償模組1130接收第一組幀間預測值。組合預測模組1210還接收來自相同的運動補償模組1130或輔助運動補償模組1230的第二組幀間預測值。用於藉由運動補償模組1130(和輔助運動補償模組1230)對像素塊進行編碼的兩組運動資訊被保存在記憶體中以供相同模組用於後續塊作為合併模式或MH幀間的候選。
當幀間的MH模式被啟用時(對於塊或塊的一部分)，MH模式控 制器1220控制運動補償模組1130(和輔助運動補償模組1230)的操作。MH模式控制器1220創建幀間預測模式列表(候選列表I)。列表中的候選基於各種因素確定或識別，包括當前塊的大小、寬度或高度，和/或相應的運動候選的方向。
MH模式控制器1220從候選列表I中選擇第一幀間預測候選和第二幀間預測候選。運動補償模組1130基於從候選列表I中選擇的第一幀間預測候選來執行第一幀間預測。運動補償模組1130(或輔助運動補償模組1230)基於從候選列表I中選擇的第二幀間預測候選來執行第二幀間預測。第一幀間預測和第二幀間預測的結果在組合預測模組1210處被組合(例如，平均)以生成預測像素資料1113。
MH模式控制器還向熵編碼器1190提供資訊以作為語法元素插入到位元流中。該語法元素可發送幀間的MH模式是否被啟用。該語法元素還可明確地發送來自MH幀間的候選列表I的第一幀間預測和第二幀間預測候選的選擇。用於發送第一和第二幀間預測候選的選擇的語法可包括從候選列表I中選擇第一幀間預測候選的一單個索引和從候選列表I中選擇第二幀間預測候選的一單個索引。用於發送第一和第二幀間預測候選的選擇的語法可包括從候選列表I中選擇兩個幀間預測候選的一單個索引。如果候選列表I只有一個候選，用於發送選擇幀間預測候選的語法(隱式信令)可被省略。
第13a-b圖中各自概念性地示出使用MH模式對像素塊進行編碼的過程1300。在一些實施例中，實現編碼器1100的計算設備的一個或多個處理單元(例如，處理器)藉由執行存儲在電腦可讀介質中的指令來執行過程1300。在一些實施例中，實現編碼器1100的電子設備執行過程1300。
編碼器接收(在步驟1310處)像素塊的原始像素或視訊資料，該原始像素或視訊資料將被編碼為當前圖像的當前塊。編碼器基於從第一候選列表中選擇的第一預測模式來生成(在步驟1320)當前塊的第一預測。第一候選列 表(例如，候選列表I)包括一個或多個候選幀間預測模式。第一候選列表可與合併候選列表相同，或者可以是合併候選列表的子集合。如果MH幀間被使用，則第一預測是第一幀間預測，並且第一預測模式是第一幀間預測模式。
編碼器確定(在步驟1325)是否對當前塊應用幀內的MH模式。如果幀內的MH模式被應用於當前塊，則過程進行到步驟1330。否則，編碼器確定(在步驟1328)是否啟用用於當前塊的幀間的模式。如果幀間的MH模式被應用於當前塊，則過程進行到步驟1370。編碼器可根據塊的屬性(例如，塊高度，寬度或大小)大於或小於特定閾值確定是啟用幀間還是幀內的MH模式。如果MH模式(幀內或幀間)不被應用，則藉由使用單個假設預測(幀內或幀間)或藉由幀內編解碼而不進行預測，編碼器在不使用MH模式的情況下重構(在步驟1390)當前塊。
在步驟1330，編碼器識別包括一個或多個幀內預測模式的第二候選列表。編碼器可基於塊的屬性或第一預測模式的方向來識別第二候選列表(例如，候選列表II)的候選。例如，第二候選列表中的候選的排序可基於第一預測模式的方向來確定(例如，當用於第一預測模式的運動候選是來自左相鄰塊時，或者第二候選列表中的第一幀內預測模式的方向為水平時)。另一示例，第二候選列表中的候選的數量可基於當前塊的寬度、高度或大小來確定。
編碼器確定(在步驟1335)第二候選列表中是否僅存在一個候選。如果是這樣，則過程進行到步驟1340。如果第二候選列表中有一個以上的候選，則過程進行到步驟1345。在一些其他實施例中，第二候選列表中總是只有一個候選，並且不需要執行步驟1335。
在步驟1340，編碼器選擇第二候選列表中的唯一候選作為第二預測模式，而不在位元流中明確地發送。然後該過程進行到步驟1350。
在步驟1345，編碼器從第二候選列表中選擇第二預測模式。該選 擇由將被包括在位元流中作為語法元素的碼字來發送。根據候選在列表中的排序，不同的碼字被分配給第二候選列表中的不同候選。列表中第一候選被分配了最短的碼字。然後該過程進行到步驟1350。
在步驟1350，編碼器基於選擇的第二預測模式(藉由執行幀內預測)生成當前塊的第二預測。然後，編碼器藉由使用基於當前塊的第一預測和第二預測生成的組合預測來對當前塊進行編碼(在步驟1360)。在一些實施例中，幀內的MH模式的組合預測僅適用於當前塊的一部分，諸如兩個預測單元之間的重疊區域，如第7a-b圖和第8a-b圖所示。在一些實施例中，當生成組合預測時，幀間預測值和幀內預測值可被不同地加權。在一些實施例中，此種加權可基於當前塊中的像素或子塊的位置而變化。
在第13b圖的步驟1370中，編碼器基於第二幀間預測模式生成當前塊的第二幀間預測，該第二幀間預測模式是從包括一個或多個候選幀間預測模式的第二候選列表中選擇的。第二候選列表可以是第一候選列表的子集合。第二候選列表也可以是與第一候選列表相同的幀間預測模式的列表。然後，過程進行到步驟1380。
編碼器藉由使用基於當前塊的第一幀間預測和第二幀間預測而生成的組合預測來對當前塊進行編碼(步驟1380)。在一些實施例中，幀間的MH模式的組合預測僅適用於當前塊的一部分，諸如兩個預測單元之間的重疊區域，如第9a-b圖和第10a-b圖所示。在一些實施例中，當生成組合預測時，兩個幀間預測的幀間預測值可被不同地加權。在一些實施例中，此種加權可基於當前塊中的圖像素或子塊的位置而變化。
視訊解碼器示例
第14圖說明可實施MH模式(MH幀內和/或MH幀間)的示例視訊解碼器1400。如圖所示，視訊解碼器1400是圖像解碼或視訊解碼電路，其接收位 元流1495並將位元流的內容解碼為視訊幀的像素資料以供顯示。視訊解碼器1400具有用於解碼位元流1495的若干元件或模組，包括逆量化模組1405，逆變換模組1410，幀內預測模組1425，運動補償模組1430，環內濾波器1445，解碼圖像緩衝器1450，MV緩衝器1465，MV預測模組1475和解析器1490中的至少一部分。運動補償模組1430是幀間預測模組1440的一部分。
在一些實施例中，模組1410-1490是由計算設備的一個或多個處理單元(例如，處理器)執行的軟體指令的模組。在一些實施例中，模組1410-1490是由電子設備的一個或多個IC實現的硬體電路的模組。儘管模組1410-1490在圖示中為單獨的模組，但是特定模組可被組合為單個模組。
解析器1490(或熵解碼器)接收位元流1495，並根據由視訊編碼或圖像編碼標準定義的語法執行初始解析。解析的語法元素包括各種報頭元素，標誌以及量化資料(或量化係數)1412。解析器1490藉由使用諸如上下文自我調整二進位算術編解碼(context-adaptive binary arithmetic coding，簡稱CABAC)或霍夫曼編碼的熵編解碼技術解析各種語法元素。
逆量化模組1405對量化資料(或量化係數)1412進行逆量化以獲得變換係數，並且逆變換模組1410對變換係數1416執行逆變換以產生重構殘差訊號1419。重構的殘差訊號1419被添加至來自幀內預測模組1425或運動補償模組1430的預測像素資料1413，以產生解碼像素資料1417。解碼像素資料由環內濾波器1445濾波並被存儲在解碼圖像緩衝器1450中。在一些實施例中，解碼圖像緩衝器1450是視訊解碼器1400外部的記憶體。在一些實施例中，解碼圖像緩衝器1450是視訊解碼器1400內部的記憶體。
幀內預測模組1425從位元流1495接收幀內預測資料，據此，幀內預測模組1425從存儲在解碼圖像緩衝器1450中的解碼像素資料1417中生成預測像素資料1413。在一些實施例中，解碼像素資料1417還存儲在用於幀內預測和空 間MV預測的行緩衝器(未示出)中。
在一些實施例中，解碼圖像緩衝器1450的內容被用於顯示。顯示裝置1455或者獲取解碼圖像緩衝器1450的內容以直接顯示，或者將解碼圖像緩衝器1450的內容獲取到顯示緩衝器。在一些實施例中，顯示裝置藉由像素傳輸從解碼圖像緩衝器1450接收像素值。
運動補償模組1430根據運動補償MV(MC MV)從存儲在解碼圖像緩衝器1450中的解碼像素資料1417中生成預測像素資料1413。藉由將從位元流1495接收到的殘差運動資料與從MV預測模組1475接收到的預測MV相加，該等運動補償MV被解碼。
MV預測模組1475基於用於解碼先前的視訊幀而生成的參考MV(例如，用於執行運動補償的運動補償MV)來生成預測的MV。MV預測模組1475從MV緩衝器1465獲取先前視訊幀的參考MV。視訊解碼器1400將用於解碼當前視訊幀而生成的運動補償MV存儲在MV緩衝器1465中，作為用於產生預測MV的參考MV。
環內濾波器1445對解碼像素資料1417執行濾波或平滑操作，以減少編碼的偽像，特別是在像素塊的邊界處。在一些實施例中，執行的濾波操作包括解塊和/或樣本自我調整偏移(sample adaptive offset，簡稱SAO)。在一些實施例中，濾波操作包括自我調整環路濾波器(adaptive loop filter，簡稱ALF)。
第15a圖示出視訊解碼器1400的可在解碼像素塊時實施幀內的MH模式的部分。如圖所示，視訊解碼器1400包括組合預測模組1510，其產生預測像素資料1413。組合預測模組1510接收由幀內圖像預測模組1425產生的幀內預測值。組合預測模組1510還接收來自運動補償模組1430的幀間預測值。由運動補償模組1430和幀內圖像預測模組1425用於解碼像素塊的運動資訊和模式方向被保存在記憶體中，以供相同模組用於後續塊作為合併模式或MH模式的候選。
當幀內的MH模式被啟用時(對於塊或塊的一部分)，MH模式控制器1520控制幀內圖像預測模組1425和運動補償模組1430的操作。MH模式控制器1520創建幀間預測模式的列表(候選列表I)和幀內預測模式的列表(候選列表II)。每個列表的候選基於各種因素來確定或識別，包括當前塊的大小，寬度或高度，和/或相應運動候選的方向。
MH模式控制器1520從候選列表I中選擇幀間預測候選，並從候選列表II中選擇幀內預測候選。運動補償模組1430基於從候選列表I中選擇的候選執行幀間預測。幀內圖像預測模組1425基於從候選列表I中選擇的候選執行幀內預測。幀間預測和幀內預測的結果在組合預測模組1510處被組合(例如，被平均)以生成預測像素資料1413。
MH模式控制器1520基於位元流中的語法元素從解析器1490接收資訊。該語法元素可發送幀內的MH模式是否被啟用。該語法元素還可明確地發送從MH幀內的候選列表I和II中選擇幀間預測和幀內預測候選。用於發送幀間預測候選和幀內預測候選的語法可包括從候選列表I中選擇幀間預測候選的一單個索引和從候選列表II中選擇幀內預測候選的一單個索引。用於發送幀間預測和幀內預測候選的選擇的語法可包括一單個索引，該單個索引從包括候選列表I和候選列表II兩者的一組合列表中選擇幀間預測和幀內預測候選。如果候選列表I或候選列表II僅具有一個候選，則用於發送幀內預測候選和/或幀間預測候選的選擇的語法(隱式信令)可被省略。
第15b圖示出視訊解碼器1400的可在解碼像素塊時實施幀間的MH模式的部分。如圖所示，視訊解碼器1400包括組合預測模組1510，其產生預測像素資料1413。組合預測模組1510從運動補償模組1430接收第一組幀間預測值。組合預測模組1510還接收來自同一運動補償模組1430或輔助運動補償模組1530的第二組幀間預測值。由運動補償模組1430(和輔助運動補償模組1530)用 於編碼像素塊的兩組運動資訊被保存在記憶體中，以供相同模組用於後續塊用作合併模式或MH幀間的候選。
當幀間的MH模式(對於該塊或該塊的一部分)被啟用時，MH模式控制器1520控制運動補償模組1430(和輔助運動補償模組1530)的操作。MH模式控制器1520創建幀間預測模式的列表(候選列表I)。列表中的候選根據各種因素確定或辨識，這些因素包括當前塊的大小、寬度或高度和/或相應運動候選的方向(如果運動候選來自左側相鄰塊，則方向是水平的)。
MH模式控制器1520從候選列表I中選擇第一幀間預測候選和第二幀間預測候選。運動補償模組1430基於從候選列表I中選擇的第一幀間預測候選來執行第一幀間預測。相同的運動補償模組1430(或輔助運動補償模組1530)基於從候選列表I中選擇的第二幀間預測候選執行第二幀間預測。第一幀間預測和第二幀間預測的結果在組合預測模組1510處組合(例如，被平均)以生成預測像素資料1413。
MH模式控制器從位元流中的語法元素接收由熵解碼器1490解析的資訊。該語法元素可發送幀間的MH模式是否被啟用。該語法元素還可明確地發送從MH幀間的候選列表I中選擇第一幀間預測和第二幀間預測候選。用於發送選擇第一和第二幀間預測候選的語法可包括一單個索引，該單個索引從候選列表I中選擇兩個幀間預測候選。如果候選列表I只有一個候選，用於發送選擇幀間預測候選的語法(隱式信令)可被省略。
第16a-b圖各自概念性地示出使用MH模式對像素塊進行解碼的過程1600。在一些實施例中，實現解碼器1400的計算設備的一個或多個處理單元(例如，處理器)藉由執行存儲在電腦可讀介質中的指令來執行過程1600。在一些實施例中，實現解碼器1400的電子設備執行過程1600。
解碼器接收(在步驟1610處)用於解碼像素塊的待解碼資料，該 待解碼資料將被解碼作為當前圖像的當前塊。解碼器基於從第一候選列表中選擇的第一預測模式來生成(在步驟1620)當前塊的第一預測。第一候選列表(例如，候選列表I)包括一個或多個候選幀間預測模式。第一候選列表可與合併候選列表相同，或者可以是合併候選列表的子集合。如果MH幀間被使用，則第一預測是第一幀間預測，並且第一預測模式是第一幀間預測模式。
解碼器確定(在步驟1625)是否對當前塊應用幀內的MH模式。如果幀內的MH模式被應用於當前塊，則過程進行到步驟1630。否則，解碼器確定(在步驟1628)是否啟用用於當前塊的幀間的模式。如果幀間的MH模式被應用於當前塊，則過程進行到步驟1670。解碼器可基於塊的屬性(例如，塊高度、寬度或大小)大於或小於特定閾值來確定是啟用幀間的MH模式還是幀內的MH模式。如果MH模式(幀內的或幀間的)不被應用，則解碼器在不使用幀內的MH模式的情況下重構(在步驟1690)當前塊，諸如藉由使用單個假設預測(幀內或幀間)或藉由不需預測的幀內編解碼。
在步驟1630，解碼器識別包括一個或多個幀內預測模式的第二候選列表。解碼器可基於塊的屬性或第一預測模式的方向來識別第二候選列表(例如，候選列表II)的候選。例如，第二候選列表中的候選的排序可基於第二候選列表中的候選與第一預測模式的方向(即，運動方向)的角距離來確定。對於另一示例，第二候選列表中的候選的數量可基於當前塊寬度、高度或大小來確定。
解碼器確定(在步驟1635)第二候選列表中是否僅存在一個候選。如果是，則過程進行到步驟1640。如果在第二候選列表中有一個以上的候選，則過程進行到步驟1645。
在步驟1640，解碼器隱式地選擇第二候選列表中的唯一候選作為第二預測模式。換句話說，解碼器選擇/使用唯一候選而不使用在位元流中的語 法元素。然後該過程進行到步驟1650。
在步驟1645，解碼器從第二候選列表中選擇第二預測模式。該選擇可基於在位元流中發送的碼字作為語法元素。根據候選在列表中的排序，不同的碼字被分配給第二候選列表中的不同候選。列表中第一位候選被分配了最短的碼字。然後該過程進行到步驟1650。
在步驟1650，解碼器基於選擇的第二預測模式(藉由執行幀內預測)生成當前塊的第二預測。然後，解碼器藉由使用基於當前塊的第一預測和第二預測生成的組合預測來重構(在步驟1660)當前塊。在一些實施例中，幀內的MH模式的組合預測僅適用於當前塊的一部分，諸如兩個預測單元之間的重疊區域，如第7a-b圖和第8a-b圖所示。在一些實施例中，當生成組合預測時，幀間預測值和幀內預測值可被不同地加權。在一些實施例中，此種加權可基於當前塊中的像素或子塊的位置而變化。
在步驟1670，解碼器基於從包括一個或多個候選幀間預測模式的第二候選列表中選擇的第二幀間預測模式，生成當前塊的第二幀間預測。第二候選列表可以是第一候選列表的子集合。第二候選列表也可以是與第一候選列表相同的幀間預測模式的列表。
然後解碼器藉由使用基於當前塊的第一幀間預測和第二幀間預測生成的組合預測來重構(在步驟1680處)當前塊。在一些實施例中，幀間的MH模式的組合預測僅適用於當前塊的一部分，諸如兩個預測單元之間的重疊區域，如第9a-b圖和第10a-b圖。在一些實施例中，當生成組合預測時，兩個幀間預測的幀間預測值可被不同地加權。在一些實施例中，這種加權可基於當前塊中的像素或子塊的位置而變化。
電子系統示例
許多上述特徵和應用被實現為被指定為記錄在電腦可讀存儲介 質(也稱為電腦可讀介質)上的一組指令的軟體過程。當這些指令由一個或多個計算或處理單元(例如，一個或多個處理器，處理器的核心或其他處理單元)執行時，他們使處理單元執行指令中指示的動作。電腦可讀介質的示例包括但不限於唯讀光碟驅動器(compact disc read-only memory，簡稱CD-ROM)，快閃記憶體驅動器，隨機存取記憶體(random-access memory，簡稱RAM)晶片，硬碟驅動器，可擦可程式設計唯讀記憶體(erasable programmable read only memory，簡稱EPROM)，電可擦可程式設計唯讀記憶體(electrically erasable programmable read-only menory，簡稱EEPROM)等。電腦可讀介質不包括無線或藉由有線連接傳遞的載波和電訊號。
在本說明書中，術語“軟體”意味著包括唯讀記憶體中的韌體或者存儲在磁存儲裝置中的應用程式，該應用程式可以被讀入到記憶體中以用於處理器進行處理。同時，在一些實施例中，複數個軟體發明可以作為更大程式的子部分來實現，而保留不同的軟體發明。在一些實施例中，複數個軟體發明可以作為獨立的程式來實現。最後，一起實現此處所描述的軟體發明的獨立的程式的任何結合是在本發明的範圍內。在一些實施例中，當軟體程式被安裝以在一個或者複數個電子系統上進行操作時，軟體程式定義了一個或者複數個特定的機器實現方式，該機器實現方式執行和實施該軟體程式的操作。
第17圖概念性地示出實現本公開的一些實施例的電子系統1700。電子系統1700可以是電腦(例如，臺式電腦，個人電腦，平板電腦等)，電話，個人數位助理(personal digital assistant，簡稱PDA)或任何其他種類的電子設備。這種電子系統包括各種類型的電腦可讀介質以及用於各種其他類型的電腦可讀介質的介面。電子系統1700包括匯流排1705，處理單元1710，圖形處理單元(graphics-processing unit，簡稱GPU)1715，系統記憶體1720，網路1725，唯讀記憶體1730，永久存放裝置1735，輸入裝置1740，以及輸出裝置1745。
匯流排1705集體表示與電子系統1700通信連接的眾多內部裝置的所有系統匯流排，外圍裝置匯流排和晶片組匯流排。例如，匯流排1705藉由GPU1715通信連接，唯讀記憶體1730，系統記憶體1720和永久存放裝置1735與處理單元1710通信連接。
從這些各種記憶體單元，處理單元1710取回要執行的指令和要處理的資料，以便執行本公開的處理。在不同實施例中，處理單元1710可以是單個處理器或多核處理器。一些指令被傳遞到GPU 1715並由GPU 1715執行。GPU 1715可以卸載各種計算或補充由處理單元1710提供的圖像處理。
唯讀記憶體1730存儲處理單元1710和電子系統的其他模組所需的靜態資料和指令。另一方面，永久存放裝置1735是讀寫記憶裝置。該裝置是非揮發性記憶體單元，即使在電子系統1700關閉時也存儲指令和資料。本公開的一些實施例使用大容量記憶裝置(諸如磁片或光碟及其相應的磁碟機)作為永久存放裝置1735。
實施例使用卸除式存放裝置(例如軟碟，快閃記憶體裝置等，及其相應的磁碟機)作為永久存放裝置。與永久存放裝置1735類似，系統記憶體1720是讀寫記憶體裝置。然而，與永久存放裝置1735不同，系統記憶體1720是揮發性(volatile)讀寫記憶體，例如隨機存取記憶體。系統記憶體1720存儲處理器在運行時需要的一些指令和資料。在一些實施例中，根據本公開的過程存儲在系統記憶體1720，永久存放裝置1735和/或唯讀記憶體1730中。例如，各種記憶體單元包括用於根據處理多媒體剪輯的指令。在一些實施例中。從這些各種記憶體單元，處理單元1710取回要執行的指令和要處理的資料，用以執行一些實施例的過程。
匯流排1705還連接到輸入裝置1740和輸出裝置1745。輸入裝置1740使使用者能夠向電子系統傳送資訊和選擇命令。輸入裝置1740包括字母數位 鍵盤和指示裝置(也稱為“游標控制裝置”)，相機(例如，網路攝像頭)，麥克風或用於接收語音命令等的類似裝置。輸出裝置1745顯示由電子系統生成的圖像或否則輸出資料。輸出裝置1745包括印表機和顯示裝置，例如陰極射線管(cathod ray tube，簡稱CRT)或液晶顯示器(liquid crystal display，簡稱LCD)，以及揚聲器或類似的音訊輸出裝置。一些實施例包括諸如同時用作輸入裝置和輸出裝置的觸控式螢幕等裝置。
最後，如第17圖所示，匯流排1705還通過網路介面卡(未示出)將電子系統1700耦合到網路1725。以這種方式，電腦可以是電腦網路的一部分(例如局域網(local area network，簡稱LAN)，廣域網路(wide area network，簡稱WAN)或內聯網)，或多個網路中的一個網路，比如說網際網路。電子系統1700的任何或所有元件可以與本公關結合使用。
一些實施例包括電子元件，例如，微處理器、存儲裝置和記憶體，其將電腦程式指令存儲到機器可讀介質或者電腦可讀介質(可選地被稱為電腦可讀存儲介質、機器可讀介質或者機器可讀存儲介質)。電腦可讀介質的一些示例包括RAM、ROM、唯讀光碟(read-only compact disc，CD-ROM)，可燒錄光碟(recordable compact disc，CD-R)、可讀寫光碟(rewritable compact disc，CD-RW)、唯讀數位通用光碟(read-only digital versatile disc)(例如，DVD-ROM，雙層DVD-ROM)、各種可記錄/可讀寫DVD(例如DVD RAM、DVD-RW、DVD+RW等)、快閃記憶體(如SD卡、迷你SD卡，微SD卡等)、磁性和/或固態硬碟、唯讀和可燒錄藍光®(Blu-Ray®)盤、超高密度光碟和其他任何光學介質或磁介質，以及軟碟。電腦可讀介質可以存儲由至少一個處理單元執行的電腦程式，並且包括用於執行各種操作的指令集。電腦程式或電腦代碼的示例包括機器代碼，例如編譯器產生的機器代碼，以及包含由電腦、電子元件或微處理器使用注釋器(interpreter)而執行的高級代碼的文檔。
當以上討論主要是指執行軟體的微處理器或多核處理器時，很多上述的功能和應用程式由一個或複數個積體電路執行，如特定應用的積體電路(application specific integrated circuit,ASIC)或現場可程式設計閘陣列(field programmable gate array,FPGA)。在一些實施例中，這種積體電路執行存儲在該電路本身上的指令。此外，一些實施例執行存儲在可程式設計邏輯器件(programmable logic device,PLD)，ROM或RAM裝置中的軟體。
如本發明的說明書和任一申請專利範圍所使用，術語“電腦”、“伺服器”、“處理器”和“記憶體”均指電子裝置或其他技術裝置。這些術語不包括人或群體。出於說明的目的，術語顯示或顯示裝置指在電子裝置上進行顯示。如本發明的說明書和任一申請專利範圍中所使用，術語“電腦可讀介質”、“電腦可讀媒質”和“機器可讀介質”完全局限於有形的、實體的物體，其以電腦可讀的形式存儲資訊。這些術語不包括任何無線訊號、有線下載訊號和其他任何短暫訊號。
在結合許多具體細節的情況下描述了本發明時，本領域通常知識者將認識到，本發明可以以其他具體形式而被實施，而不脫離本發明的精神。此外，大量的圖(包括第13a-b圖和第16a-b圖)概念性示出了處理過程。這些過程的具體操作可以不以所示及所描述的確切順序來被執行。這些具體操作可以不在一個連續的操作系列中被執行，並且不同的具體操作可以在不同的實施例中被執行。另外，該處理可使用幾個子處理而被實現，或者作為更大的巨集處理的一部分。因此，本領域通常知識者將能理解的是，本發明不受前述說明性細節的限制，而是由申請專利範圍加以界定。
附加的說明
本文所描述的主題有時表示不同的元件，其包含在或者連接到其他不同的元件。可以理解的是，所描述的結構僅是示例，實際上可以由許多其 他結構來實施，以實現相同的功能，從概念上講，任何實現相同功能的組件的排列實際上是“相關聯的”，以便實現所需功能。因此，不論結構或中間部件，為實現特定的功能而組合的任何兩個元件被視為“相互關聯”，以實現所需的功能。同樣，任何兩個相關聯的元件被看作是相互“可操作連接”或“可操作耦接”，以實現特定功能。能相互關聯的任何兩個組件也被視為相互“可操作地耦接”，以實現特定功能。能相互關聯的任何兩個組件也被視為相互“可操作地耦合”以實現特定功能。可操作連接的具體例子包括但不限於物理可配對和/或物理上相互作用的元件，和/或無線可交互和/或無線上相互作用的元件，和/或邏輯上相互作用和/或邏輯上可交互的元件。
此外，關於基本上任何複數和/或單數術語的使用，本領域的技術人員可以根據上下文和/或應用從複數轉換為單數和/或從單數到複數。為清楚起見，本發明明確闡述了不同的單數/複數排列。
此外，本領的通常知識者可以理解，通常，本發明所使用的術語特別是申請專利範圍中的，如申請專利範圍的主題，通常用作“開放”術語，例如，“包括”應解釋為“包括但不限於”，“有”應理解為“至少有”“包括”應解釋為“包括但不限於”等。本領域的通常知識者可以進一步理解，若計畫介紹特定數量的申請專利範圍內容，將在申請專利範圍內明確表示，並且，在沒有這類內容時將不顯示。例如，為幫助理解，下面申請專利範圍可能包含短語“至少一個”和“一個或複數個”，以介紹申請專利範圍的內容。然而，這些短語的使用不應理解為暗示使用不定冠詞“a”或“an”介紹申請專利範圍內容，而限制了任何特定神專利範圍。甚至當相同的申請專利範圍包括介紹性短語“一個或複數個”或“至少有一個”，不定冠詞，例如“a”或“an”，則應被解釋為表示至少一個或者更多，對於用於介紹申請專利範圍的明確描述的使用而言，同樣成立。此外，即使明確引用特定數量的介紹性內容，本領域通常知識者可 以認識到，這樣的內容應被解釋為表示所引用的數量，例如，沒有其他修改的“兩個引用”，意味著至少兩個引用，或兩個或兩個以上的引用。此外，在使用類似於“A、B和C中的至少一個”的表述的情況下，通常如此表述是為了本領域通常知識者可以理解該表述，例如，“系統包括A、B和C中的至少一個”將包括但不限於單獨具有A的系統，單獨具有B的系統，單獨具有C的系統，具有A和B的系統，具有A和C的系統，具有B和C的系統，和/或具有A、B和C的系統，等。本領域通常知識者進一步可理解，無論在說明書中，申請專利範圍中或者附圖中，由兩個或兩個以上的替代術語所表現的任何分隔的單詞和/或短語應理解為，包括這些術語中的一個，其中一個，或者這兩個術語的可能性。例如，“A或B”應理解為，“A”，或者“B”，或者“A和B”的可能性。
從前述可知，出於說明目的，本發明已描述了各種實施方案，並且在不偏離本發明的範圍和精神的情況下，可以進行各種變形。因此，此處所公開的各種實施方式不用於限制，真實的範圍和申請由申請專利範圍表示。
1600:過程
1610、1620、1625、1630、1635、1640、1645、1650、1660:步驟

Claims (18)

  1. 一種視訊解碼的方法，包括：從一位元流接收一像素塊的一待解碼資料，該待解碼資料將被解碼作為一視訊的一當前圖像的一當前塊；基於從一第一候選列表中選擇的一第一預測模式生成該當前塊的一第一預測，其中該第一候選列表為一合併候選列表，一合併索引被用於從該合併候選列表中選擇一運動候選以生成該第一預測；基於一第二預測模式生成該當前塊的一第二預測，其中該第二預測模式被隱式地分配為一幀內預測模式；基於該第一預測和該第二預測生成該當前塊的一組合預測；以及使用該組合預測對該當前塊進行重構。
  2. 根據申請專利範圍第1項所述之視訊解碼的方法，其中，該第一候選列表包括一個或多個候選幀間預測模式。
  3. 根據申請專利範圍第2項所述之視訊解碼的方法，其中，該第一候選列表與該當前塊的一合併候選列表相同。
  4. 根據申請專利範圍第2項所述之視訊解碼的方法，其中，該第一候選列表是該當前塊的一合併候選列表的一子集合。
  5. 根據申請專利範圍第1項所述之視訊解碼的方法，其中，該幀內預測模式是從一第二候選列表中選擇的。
  6. 根據中請專利範圍第1項所述之視訊解碼的方法，還包括：基於該位元流中的一顯式標誌確定是否生成該第二預測。
  7. 根據申請專利範圍第6項所述之視訊解碼的方法，還包括：基於該當前塊的一寬度、一高度或一大小來確定是否從該位元流中解析該顯式標誌。
  8. 根據申請專利範圍第1項所述之視訊解碼的方法，還包括：基於該當前塊的一寬度、一高度或一大小來確定是否生成該第二預測。
  9. 根據申請專利範圍第5項所述之視訊解碼的方法，其中，該第二預測模式基於該第二候選列表的排序被選擇，該第二候選列表的排序基於該當前塊的一寬度、一高度或一大小被確定。
  10. 根據申請專利範圍第1項所述之視訊解碼的方法，其中，該第二預測模式基於所選擇的該第一預測模式被選擇。
  11. 根據申請專利範圍第5項所述之視訊解碼的方法，其中，該第二候選列表的候選的數量基於該當前塊的一寬度、一高度或一大小被確定。
  12. 根據申請專利範圍第5項所述之視訊解碼的方法，其中，該第二候選列表包括不多於一個候選幀內預測模式。
  13. 根據申請專利範圍第12項所述之視訊解碼的方法，其中，該候選幀內預測模式基於該當前塊的一寬度和該當前塊的一高度之間的一比率被辨識。
  14. 根據申請專利範圍第1項所述之視訊解碼的方法，其中，該第一候選列表是該當前塊的一合併候選列表的一子集合，該合併候選列表包括多個空間候選不包括時間候選。
  15. 根據申請專利範圍第1項所述之視訊解碼的方法，其中，該組合預測適用於該當前塊的一子區域且不位於該當前塊的該子區域之外，以及該子區域的一大小基於該當前塊的一寬度、一高度或一大小被確定。
  16. 一種視訊編碼方法，包括：接收一像素塊的一原始像素資料，該原始像素資料將被編碼為一位元流中一視訊的一當前圖像的一當前塊；基於從一第一候選列表中選擇的一第一預測模式生成該當前塊的一第一預 測，其中該第一候選列表為一合併候選列表，一合併索引被用於從該合併候選列表中選擇一運動候選以生成該第一預測；基於一第二預測模式生成該當前塊的一第二預測，其中該第二預測模式被隱式地分配為一幀內預測模式；基於該第一預測和該第二預測生成該當前塊的一組合預測；使用該組合預測將該當前塊編碼到該位元流中。
  17. 一種電子裝置，包括：一視訊解碼電路可用於：從一位元流接收一像素塊的一待解碼資料，該待解碼資料將被解碼作為一視訊的一當前圖像的一當前塊；基於從一第一候選列表中選擇的一第一預測模式生成該當前塊的一第一預測，其中該第一候選列表為一合併候選列表，一合併索引被用於從該合併候選列表中選擇一運動候選以生成該第一預測；基於一第二預測模式生成該當前塊的一第二預測，其中該第二預測模式被隱式地分配為一幀內預測模式；基於該第一預測和該第二預測生成該當前塊的一組合預測；以及使用該組合預測對該當前塊進行重構。
  18. 一種視訊編解碼方法，包括：接收一資料，該資料將被編碼或解碼為一視訊的一當前圖像的一當前塊；基於從一第一候選列表中選擇的一第一預測模式生成該當前塊的一第一預測，其中該第一候選列表為一合併候選列表，一合併索引被用於從該合併候選列表中選擇一運動候選以生成該第一預測；基於一第二預測模式生成該當前塊的一第二預測，其中該第二預測模式被隱式地分配為一幀內預測模式； 基於該第一預測和該第二預測生成該當前塊的一組合預測；以及使用該組合預測對該當前塊進行重構或將該當前塊編碼到一位元流中。
TW108125410A 2018-07-18 2019-07-18 一種視訊編碼/解碼方法及裝置 TWI719542B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201862699760P 2018-07-18 2018-07-18
US62/699,760 2018-07-18
US16/513,835 2019-07-17
US16/513,835 US11051010B2 (en) 2018-07-18 2019-07-17 Merge candidates with multiple hypothesis

Publications (2)

Publication Number Publication Date
TW202007147A TW202007147A (zh) 2020-02-01
TWI719542B true TWI719542B (zh) 2021-02-21

Family

ID=69163327

Family Applications (1)

Application Number Title Priority Date Filing Date
TW108125410A TWI719542B (zh) 2018-07-18 2019-07-18 一種視訊編碼/解碼方法及裝置

Country Status (7)

Country Link
US (2) US11051010B2 (zh)
EP (1) EP3821599A4 (zh)
CN (1) CN112400319B (zh)
BR (1) BR112021000698A8 (zh)
MX (1) MX2021000504A (zh)
TW (1) TWI719542B (zh)
WO (1) WO2020015699A1 (zh)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8867854B2 (en) * 2008-10-01 2014-10-21 Electronics And Telecommunications Research Institute Image encoder and decoder using undirectional prediction
US11503315B2 (en) * 2016-08-19 2022-11-15 Lg Electronics Inc. Method and apparatus for encoding and decoding video signal using intra prediction filtering
KR102444294B1 (ko) * 2018-05-10 2022-09-16 삼성전자주식회사 부호화 방법 및 그 장치, 복호화 방법 및 그 장치
GB2577056B (en) * 2018-09-11 2022-12-14 British Broadcasting Corp Bitstream decoder
US11997311B2 (en) * 2018-09-17 2024-05-28 Hfi Innovation Inc. Methods and apparatuses of combining multiple predictors for block prediction in video coding systems
TWI822862B (zh) * 2018-09-23 2023-11-21 大陸商北京字節跳動網絡技術有限公司 8參數仿射模型
CN112840645B (zh) * 2018-10-10 2023-12-12 寰发股份有限公司 视频编码系统中组合多个预测子用于块预测的方法及装置
CN112956202A (zh) 2018-11-06 2021-06-11 北京字节跳动网络技术有限公司 利用几何分割的帧间预测的扩展
US11122272B2 (en) * 2018-12-26 2021-09-14 Mediatek Inc. Triangle prediction with applied-block settings and motion storage settings
WO2020139061A1 (ko) * 2018-12-28 2020-07-02 인텔렉추얼디스커버리 주식회사 화면 간 예측 부호화 및 복호화 방법 및 장치
CN113170166B (zh) 2018-12-30 2023-06-09 北京字节跳动网络技术有限公司 具有几何分割的帧间预测在视频处理中有条件的应用
JP7425808B2 (ja) 2019-06-04 2024-01-31 北京字節跳動網絡技術有限公司 動き候補リスト構築プロセスの条件付き実行
CN114175636B (zh) 2019-07-14 2024-01-12 北京字节跳动网络技术有限公司 自适应参数集中的自适应环路滤波的指示
CN117596389A (zh) * 2019-09-28 2024-02-23 北京字节跳动网络技术有限公司 视频编解码中的几何分割模式
WO2022242646A1 (en) * 2021-05-17 2022-11-24 Beijing Bytedance Network Technology Co., Ltd. Method, device, and medium for video processing
WO2023200561A1 (en) * 2022-04-13 2023-10-19 Qualcomm Incorporated Methods for adaptive signaling of maximum number of merge candidates in multiple hypothesis prediction

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107113425A (zh) * 2014-11-06 2017-08-29 三星电子株式会社 视频编码方法和设备以及视频解码方法和设备

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007503775A (ja) * 2003-08-26 2007-02-22 トムソン ライセンシング ハイブリッド・イントラ・インター符号化ブロックを符号化する方法及び装置
CN101491107B (zh) 2006-07-07 2012-07-18 艾利森电话股份有限公司 一种对图像元素组进行解码的方法及其相关的编码器、解码器
US8422555B2 (en) 2006-07-11 2013-04-16 Nokia Corporation Scalable video coding
KR102108078B1 (ko) 2010-05-26 2020-05-08 엘지전자 주식회사 비디오 신호의 처리 방법 및 장치
CN101854554A (zh) * 2010-06-13 2010-10-06 上海交通大学 基于图像修复预测的视频编解码系统
CN102186070B (zh) 2011-04-20 2013-06-05 北京工业大学 分层结构预判的快速视频编码方法
US9282338B2 (en) * 2011-06-20 2016-03-08 Qualcomm Incorporated Unified merge mode and adaptive motion vector prediction mode candidates selection
GB2492337B (en) * 2011-06-27 2018-05-09 British Broadcasting Corp Video encoding and decoding using reference pictures
US9736489B2 (en) * 2011-09-17 2017-08-15 Qualcomm Incorporated Motion vector determination for video coding
US9635356B2 (en) 2012-08-07 2017-04-25 Qualcomm Incorporated Multi-hypothesis motion compensation for scalable video coding and 3D video coding
US9491459B2 (en) * 2012-09-27 2016-11-08 Qualcomm Incorporated Base layer merge and AMVP modes for video coding
KR102379609B1 (ko) * 2012-10-01 2022-03-28 지이 비디오 컴프레션, 엘엘씨 향상 레이어 모션 파라미터들에 대한 베이스-레이어 힌트들을 이용한 스케일러블 비디오 코딩
US9374578B1 (en) 2013-05-23 2016-06-21 Google Inc. Video coding using combined inter and intra predictors
US9609343B1 (en) * 2013-12-20 2017-03-28 Google Inc. Video coding using compound prediction
KR102355224B1 (ko) * 2014-03-16 2022-01-25 브이아이디 스케일, 인크. 무손실 비디오 코딩의 시그널링을 위한 방법 및 장치

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107113425A (zh) * 2014-11-06 2017-08-29 三星电子株式会社 视频编码方法和设备以及视频解码方法和设备

Also Published As

Publication number Publication date
US20200029073A1 (en) 2020-01-23
EP3821599A4 (en) 2022-07-06
CN112400319B (zh) 2024-04-26
US11051010B2 (en) 2021-06-29
WO2020015699A1 (en) 2020-01-23
TW202007147A (zh) 2020-02-01
US20210274166A1 (en) 2021-09-02
BR112021000698A2 (pt) 2021-04-13
EP3821599A1 (en) 2021-05-19
CN112400319A (zh) 2021-02-23
BR112021000698A8 (pt) 2023-02-07
MX2021000504A (es) 2021-04-12
US11553173B2 (en) 2023-01-10

Similar Documents

Publication Publication Date Title
TWI719542B (zh) 一種視訊編碼/解碼方法及裝置
TWI690200B (zh) 畫面內合併預測
TWI737201B (zh) 用於發信合併工具的方法及裝置
TWI690195B (zh) 硬體友善限制之運動向量細化修正
TWI749503B (zh) 核心轉換和次級轉換間之交互作用及其裝置
CN110169061B (zh) 编解码电子装置与方法
TWI729526B (zh) 用於多重假設之幀內預測
TWI711300B (zh) 照度補償方法及相應之視訊處理裝置
TWI749467B (zh) 幀內塊複製合併列表簡化
TWI734268B (zh) 用於多重-參考行預測與多重-假設預測之發信
TW201944777A (zh) 隱式變換設置
TWI743801B (zh) 運動向量差值導數傳訊技術
CN114073083A (zh) 用于帧间预测中的合并模式候选的全局运动
TW201939947A (zh) 視訊編解碼中的智能模式分配
TW202402054A (zh) 用於候選清單的相似性閾值