TWI729402B - 加權交織預測 - Google Patents

加權交織預測 Download PDF

Info

Publication number
TWI729402B
TWI729402B TW108118903A TW108118903A TWI729402B TW I729402 B TWI729402 B TW I729402B TW 108118903 A TW108118903 A TW 108118903A TW 108118903 A TW108118903 A TW 108118903A TW I729402 B TWI729402 B TW I729402B
Authority
TW
Taiwan
Prior art keywords
block
sub
prediction
prediction block
patent application
Prior art date
Application number
TW108118903A
Other languages
English (en)
Other versions
TW202005389A (zh
Inventor
張凱
張莉
劉鴻彬
王悅
Original Assignee
大陸商北京字節跳動網絡技術有限公司
美商字節跳動有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 大陸商北京字節跳動網絡技術有限公司, 美商字節跳動有限公司 filed Critical 大陸商北京字節跳動網絡技術有限公司
Publication of TW202005389A publication Critical patent/TW202005389A/zh
Application granted granted Critical
Publication of TWI729402B publication Critical patent/TWI729402B/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/573—Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/583—Motion compensation with overlapping blocks

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

一種視頻解碼方法，包括：確定視頻塊的預測塊，該預測塊是第一中間預測塊和第二中間預測塊的加權組合；並且使用該預測塊從視頻塊的編碼表示生成視頻塊。第一中間預測塊是根據第一劃分模式將視頻塊分割成第一組子塊生成的。第二中間預測塊是根據第二劃分模式將視頻塊分割成第二組子塊生成的，其中第一劃分模式和第二劃分模式彼此不同。

Description

加權交織預測
本申請文件涉及視頻編碼技術、設備和系統。
[優先權資訊]
根據適用的《專利法》和/或《巴黎公約》的規定，本申請及時要求於2018年5月31日以國際專利申請號PCT/CN2018/089242提交的在先中國專利申請的優先權和利益，該申請在提交後遂被放棄。將國際專利申請號PCT/CN2018/089242的全部公開以引用方式併入本文，作為本申請公開的一部分。
運動補償(MC)是一種視頻處理中的技術，給出先前的和/或將來的幀，通過考慮相機和/或視頻中的對象的運動來預測視頻中的幀。運動補償可以用於視頻資料的編碼以實現視頻壓縮。
本文件公開了與視頻編碼或解碼中基於子塊的運動預測相關的方法、系統和設備。
在一個典型的方面，公開了一種視頻處理方法。該方法包括：確定視頻塊的預測塊，該預測塊是至少第一中間預測塊和第二中間預測塊的加權組合；以及從預測塊生成視頻塊的編碼表示；第一中間預測塊是根據第一劃分模式將視頻塊分割成第一組子塊生成的；第二中間預測塊是根據第二劃分模式將視頻塊分割成第二組子塊生成的，其中第一劃分模式和第二劃分模式彼此不同。
在另一個典型的方面，公開了一種視頻處理方法。該方法包括：確定視頻塊的預測塊，該預測塊是至少第一中間預測塊和第二中間預測塊的加權組合；以及使用預測塊從視頻塊的編碼表示生成視頻塊；第一中間預測塊是根據第一劃分模式將視頻塊分割成第一組子塊生成的；第二中間預測塊是根據第二劃分模式將視頻塊分割成第二組子塊生成的，其中第一劃分模式和第二劃分模式彼此不同。
在另一個典型的方面，一種裝置，包括：處理器，其被配置為實現上述公開的方法。
在又一個典型的方面，本文所述的各種技術可以實現為一種電腦程式產品，其儲存在非暫時性電腦可讀媒體上，該電腦程式產品包括用於實現本文所述方法的程式代碼。
在又一個典型的方面，一種視頻解碼裝置，其可以實現本文所述的方法。
在附圖、說明書和申請專利範圍中闡述一個或多個實施 例的細節。
100、200、300、400、501~505:塊
101、A、B、C、D、E:子塊
V0、V1、V2、V3、V4、1001、1002、MV0、MV1:運動向量
500、600、700、1000、1100:CU
601、701~704、711~714:子CU
650、1010、1011、1110:參考圖片
651:相應塊
800、900、1500、1550:方法
802、804、902、904、1502~1512、1552~1556:步驟
1003、1004、TD0、TD1:時間距離
1200:運動估計
1300:當前塊
1301:模式0
1302:模式1
1303:預測塊P0
1304:預測塊P1
1305:最終預測塊P
1600:電腦系統
1605:(多個)處理器
1610:儲存器
1615:網路適配器
1625:互連
1700:移動設備
1701:處理器/控制器
1702:儲存器
1703:I/O介面和感測器
1704:顯示器
1900:裝置
1902、1910:視頻
1904:預處理
1906:編碼器
1908:後處理塊
圖1是示出基於子塊的預測的示例的示意圖。
圖2示出了由兩個控制點運動向量描述的塊的仿射運動場的示例。
圖3示出了塊的每個子塊的仿射運動向量場的示例。
圖4示出了在AF_INTER模式中塊400的運動向量預測的示例。
圖5A示出了當前編碼單元(CU)的候選塊的選擇順序的示例。
圖5B示出了在AF_MERGE模式中當前CU的候選塊的另一個示例。
圖6示出了CU的可選時域運動向量預測(ATMVP)運動預測處理的示例。
圖7示出了具有四個子塊和相鄰塊的一個CU的示例。
圖8是視頻處理的示例方法的流程圖。
圖9是視頻處理的示例方法的流程圖。
圖10示出了在幀速率上轉換(FRUC)方法中使用的雙向匹配的示例。
圖11示出了在FRUC方法中使用的模板匹配的示例。
圖12示出了FRUC方法中的單向運動估計(ME)的示例。
圖13示出了根據所公開的技術的具有兩個劃分模式的交織預測的示例。
圖14A示出了根據所公開的技術其中將塊劃分為4×4個子塊的示例劃分模式。
圖14B示出了根據所公開的技術其中將塊劃分為8×8個子塊的示例劃分模式。
圖14C示出了根據所公開的技術其中將塊劃分為4×8個子塊的示例劃分模式。
圖14D示出了根據所公開的技術其中將塊劃分為8×4個子塊的示例劃分模式。
圖14E示出了根據所公開的技術其中將塊劃分為不一致的子塊的示例劃分模式。
圖14F示出了根據所公開的技術其中將塊劃分為不一致的子塊的另一個示例劃分模式。
圖14G示出了根據所公開的技術其中將塊劃分為不一致的子塊的又一個示例劃分模式。
圖15A是根據所公開的技術提高基於塊的運動預測視頻系統的帶寬使用和預測精度的方法的示例流程圖。
圖15B是根據所公開的技術提高基於塊的運動預測視頻系統的帶寬使用和預測精度的方法的另一個示例流程圖。
圖16是圖示可以用於實現本公開技術的各個部分的電腦系統或其他控制設備的架構的示例的示意圖。
圖17示出可以用於實現本公開技術的各個部分的移動設備的示例實施例的框圖。
圖18是示出視頻編碼或解碼裝置的功能塊的框圖。
全域運動補償是視頻壓縮中運動補償技術的變體之一，並且可以用來預測相機的運動。然而，在視頻文件的幀內的移動對象並沒有通過全域運動補償的各種實現充分地表示出來。局部運動估計，諸如塊運動補償可以用於解釋幀內的移動對象，其中幀被劃分成像素塊以用於執行運動預測。
基於塊運動補償開發出的基於子塊的預測通過高效視頻 編碼(HEVC)附錄I(3D-HEVC)首次引入視頻編碼標準。
圖1是示出了基於預測的子塊的示例的示意圖。使用基於子塊的預測，將塊100諸如編碼單元(CU)或預測單元(PU)劃分為幾個不重疊的子塊101。不同的子塊可以被分配不同的運動訊息，諸如參考索引或運動向量(MV)。然後對每個子塊分別執行運動補償。
為了探索HEVC之外的未來視頻編碼技術，視頻編碼專家組(VCEG)和運動圖像專家組(MPEG)於2015年聯合成立了聯合視頻探索小組(JVET)。JVET採用了許多方法，並且將其添加到了名為聯合探索模型(JEM)的參考軟體中。在JEM中，基於子塊的預測在多種編碼技術中被採用，諸如仿射預測、可選時域運動向量預測(ATMVP)、空時運動向量預測(STMVP)、雙向光流(BIO)，以及幀速率上轉換(FRUC)，其詳細討論如下。
仿射預測
在HEVC中，僅平移運動模型應用於運動補償預測(MCP)。然而，相機和對象可能具有多種運動，例如放大/縮小、旋轉、透視運動和/或其他不規則運動。另一方面，JEM應用了簡化的仿射變換運動補償預測。
圖2示出了由兩個控制點運動向量V0和V1描述的塊200的仿射運動場的示例。塊200的運動向量場(MVF)可以由以下等式描述：
Figure 108118903-A0305-02-0008-1
如圖2所示，( v 0x ,v 0y )是左上角控制點的運動向量，並且( v 1x ,v 1y )是右上角控制點的運動向量。為了簡化運動補償預測，可以應用基於子塊的仿射變換預測。子塊尺寸M×N推導如下：
Figure 108118903-A0305-02-0008-2
這裡，MvPre是運動向量分數精度(例如，JEM中的1/16)。( v 2x ,v 2y )是左下控制點的運動向量，其根據等式(1)計算。如果需要，M和N可以被向下調節使其分別作為w和h的除數。
圖3示出了塊300的每個子塊的仿射MVF的示例。為了推導出每個M×N子塊的運動向量，可以根據等式(1)計算每個子塊的中心樣本的運動向量，並且四捨五入到運動向量分數精度(例如，JEM中的1/16)。然後可以應用運動補償插值濾波器，利用推導出的運動向量生成各子塊的預測。在MCP之後，對每個子塊的高精度運動向量進行取整，並將其保存為與正常運動向量相同的精度。
在JEM中，有兩個仿射運動模式：AF_INTER模式和AF_MERGE模式。對於寬度和高度都大於8的CU，可以應用AF_INTER模式。在位流中，CU級別的仿射標志被發信令 (signal)，以指示是否使用AF_INTER模式。在AF_INTER模式中，使用相鄰的塊構造具有運動向量對{(v 0 ,v 1 )|v 0 ={v A ,v B ,v c },v 1 ={v D ,v E }}的候選列表。
圖4示出了在AF_INTER模式中塊400的運動向量預測(MVP)的示例。如圖4所示，v0從子塊A、B或C的運動向量中選擇。可以根據參考列表對相鄰塊的運動向量進行縮放。也可以根據相鄰塊參考的圖片順序計數(POC)、當前CU參考的POC和當前CU的POC之間的關係對運動向量進行縮放。從相鄰的子塊D和E中選擇v1的方法類似。當候選列表的數目小於2時，該列表由複製每個AMVP候選組成的運動向量對來填充。當候選列表大於2時，可以首先根據相鄰的運動向量對候選進行排序(例如，基於一對候選中兩個運動向量的相似性)。在一些實現中，保留前兩個候選。在一些實施例中，使用速率失真(RD)成本檢查來確定選擇哪個運動向量對候選作為當前CU的控制點運動向量預測(CPMVP)。可以在位流中發信令指示CPMVP在候選列表中的位置的索引。在確定了當前仿射CU的CPMVP後，應用仿射運動估計，並且找到控制點運動向量(CPMV)。然後，在比特流中對CPMV和CPMVP的差异發信令。
當在AF_MERGE模式下應用CU時，它從有效的相鄰重構塊中獲取用仿射模式編碼的第一個塊。圖5A示出了當前CU 500的候選塊的選擇順序的示例。如圖5A所示，選擇順序可以是從當前CU 500的左(501)、上(502)、右上(503)、左下(504)到 左上(505)。圖5B示出了在AF_MERGE模式中當前CU 500的候選塊的另一個示例。如果相鄰的左下塊501以仿射模式編碼，如圖5B所示，則導出包含子塊501的CU左上角、右上角和左下角的運動向量v2、v3和v4。當前CU 500左上角的運動向量v0是基於v2、v3和v4計算的。可以相應地計算當前CU右上方的運動向量v1。
根據等式(1)中的仿射運動模型計算當前CU的CPMV v0和v1後，可以生成當前CU的MVF。為了識別當前CU是否使用AF_MERGE模式編碼，當至少有一個相鄰的塊以仿射模式編碼時，可以在比特流中發信令仿射標志。
可選時域運動向量預測(ATMVP)
在ATMVP方法中，通過從小於當前CU的塊中提取多組運動訊息(包括運動向量和參考指數)，修改時間運動向量預測(TMVP)方法。
圖6示出了CU 600的ATMVP運動預測過程的示例。ATMVP方法分兩步預測CU 600內子CU 601的運動向量。第一步是用時間向量識別參考圖片650中的相應塊651。參考圖片650也稱為運動源圖片。第二步是將當前的CU 600劃分成子CU 601，並從每個子CU對應的塊中獲取每個子CU的運動向量和參考指數。
在第一步中，參考圖片650和對應的塊由當前CU 600的空間相鄰塊的運動訊息確定。為了避免相鄰塊的重複掃描處理， 使用當前CU 600的MERGE候選列表中的第一MERGE候選。第一可用的運動向量及其相關聯的參考索引被設置為時間向量和運動源圖片的索引。這樣，與TMVP相比，可以更準確地識別對應的塊，其中對應的塊(有時稱為並置塊)始終位於相對於當前CU的右下角或中心位置。
在第二步中，通過將時間向量添加到當前CU的坐標中，通過運動源圖片650中的時間向量識別子CU 651的對應塊。對於每個子CU，使用其對應塊的運動訊息(例如，覆蓋中心樣本的最小運動網格)來導出子CU的運動訊息。在識別出對應的N×N塊的運動訊息後，用與HEVC的TMVP同樣方式，將其轉換為當前子CU的運動向量和參考指數，其中應用運動縮放和其他程式。例如，解碼器檢查是否滿足低延遲條件(例如，當前圖片的所有參考圖片的POC都小於當前圖片的POC)，並且可能使用運動向量MVx(例如，與參考圖片列表X對應的運動向量)來預測每個子CU的運動向量MVy(例如，X等於0或1並且Y等於1-X)。
空時運動向量預測(STMVP)
在STMVP方法中，子CU的運動向量按照光柵掃描順序遞歸導出。圖7示出具有四個子塊的一個CU和相鄰塊的示例。考慮8×8的CU 700，其包括四個4×4子CU A(701)、B(702)、C(703)和D(704)。當前幀中相鄰的4×4塊標記為a(711)、b(712)、c(713)和d(714)。
子CU A的運動推導由識別其兩個空間鄰居開始。第一鄰 居是子CU A 701上方的N×N塊(塊c 713)。如果該塊c(713)不可用或內部編碼，則檢查子CU A(701)上方的其他N×N塊(從左到右，從塊c 713處開始)。第二個鄰居是子CU A 701左側的一個塊(塊b 712)。如果塊b(712)不可用或是內部編碼，則檢查子CU A 701左側的其他塊(從上到下，從塊b 712處開始)。每個列表從相鄰塊獲得的運動訊息被縮放到給定列表的第一參考幀。接下來，按照HEVC中規定的與TMVP相同的程式，推導出子塊A 701的時間運動向量預測(TMVP)。提取塊D 704處的並置塊的運動訊息並進行相應的縮放。最後，在檢索和縮放運動訊息後，對每個參考列表分別平均所有可用的運動向量。將平均運動向量指定為當前子CU的運動向量。
雙向光流(BIO)
雙向光流(BIO)法是在分塊運動補償之上對雙向預測進行的樣本方向運動細化。在一些實現中，樣本級的運動細化不使用信令。
設I (k)為塊運動補償後到參考k(k=0，1)的亮度值，並且
Figure 108118903-A0305-02-0012-4
/
Figure 108118903-A0305-02-0012-6
，
Figure 108118903-A0305-02-0012-5
/
Figure 108118903-A0305-02-0012-7
分別為I (k)梯度的水平分量和垂直分量。假設光流是有效的，則運動向量場(v x ,v y )由下式給出：
Figure 108118903-A0305-02-0012-3
將此光流等式與每個樣品運動軌跡的埃爾米特插值相結合，得到唯一的三階多項式，該多項式在末端同時匹配函數值I (k) 和其導數
Figure 108118903-A0305-02-0013-9
/
Figure 108118903-A0305-02-0013-10
，
Figure 108118903-A0305-02-0013-11
/
Figure 108118903-A0305-02-0013-12
。該多項式在t=0時的值是BIO預測：
Figure 108118903-A0305-02-0013-8
幀速率上轉換(FRUC)
對於CU，當其MERGE標志為真時，可以對FRUC標志發信令。當FRUC標志為假時，可以對MERGE索引發信令並且使用常規MERGE模式。當FRUC標志為真時，可以對另一個FRUC模式標志發信令來指示將使用哪種方法(例如，雙向匹配或模板匹配)來導出該塊的運動訊息。
在編碼器端，基於對正常MERGE候選所做的RD成本選擇決定是否對CU使用FRUC MERGE模式。例如，通過使用RD成本選擇來檢查CU的多個匹配模式(例如，雙向匹配和模板匹配)。導致最低成本的模式進一步與其它CU模式相比較。如果FRUC匹配模式是最有效的模式，那麼對於CU，FRUC標志設置為真，並且使用相關的匹配模式。
通常，FRUC MERGE模式中的運動推導處理有兩個步驟：首先執行CU級運動搜索，然後執行子CU級運動細化。在CU級，基於雙向匹配或模板匹配，導出整個CU的初始運動向量。首先，生成MV候選列表，並且選擇導致最低匹配成本的候選作為進一步CU級細化的起點。然後在起始點附近執行基於雙向匹配或模板匹配的局部搜索。將最小匹配成本的MV結果作為整個CU的MV值。隨後，以導出的CU運動向量為起點，進一步在子CU 級細化運動訊息。
例如，對於W×H CU運動訊息推導執行以下推導過程。在第一階段，推導出了整個W×H CU的MV。在第二階段，該CU進一步被分成M×M子CU。M的值按照(16)計算，D是預先定義的劃分深度，在JEM中預設設置為3。然後導出每個子CU的MV值。
Figure 108118903-A0305-02-0014-13
圖10示出在幀速率上轉換(FRUC)法中使用的雙向匹配的示例。通過在兩張不同的參考圖片(1010，1011)中沿當前CU(1000)的運動軌跡找到兩個塊之間最接近的匹配，使用雙向匹配來獲得當前CU的運動訊息。在連續運動軌跡假設下，指向兩個參考塊的運動向量MV0(1001)和MV1(1002)與當前圖片和兩個參考圖片之間的時間距離(例如，TD0(1003)和TD1(1004))成正比。在一些實施例中，當當前圖片1000暫時位於兩個參考圖片(1010，1011)之間並且當前圖片到兩個參考圖片的時間距離相同時，雙向匹配成為基於鏡像的雙向MV。
圖11示出在FRUC方法中使用的模板匹配的示例。模板匹配可以用於通過找到當前圖片中的模板(例如，當前CU的頂部和/或左側相鄰塊)與參考圖片1110中的塊(例如，與模板大小相同)之間的最接近匹配來獲取當前CU 1100的運動訊息。除了上述的FRUC MERGE模式外，模板匹配也可以應用於AMVP模式。 在JEM和HEVC中，AMVP都具有兩個候選。通過模板匹配方法，可以導出新的候選。如果通過模板匹配新導出的候選與第一個現有的AMVP候選不同，則將其插入AMVP候選列表的最開始處，並且然後將列表大小設置為2(例如，通過刪除第二個現有AMVP候選)。當應用於AMVP模式時，僅應用CU級搜索。
CU級設置的MV候選可以包括以下：(1)原始AMVP候選，如果當前CU處於AMVP模式，(2)所有MERGE候選，(3)插值MV場(稍後描述)中的數個MV，以及頂部和左側相鄰運動向量。
當使用雙向匹配時，MERGE候選的每個有效MV可以用作輸入，以生成假設為雙向匹配的MV對。例如，MERGE候選在參考列表A處的一個有效MV為(MVa，refa)。然後在另一個參考列表B中找到其配對的雙向MV的參考圖片refb，使得refa和refb在時間上位於當前圖片的不同側。如果參考列表B中的參考refb不可用，則將參考refb確定為與參考refa不同的參考，並且其到當前圖片的時間距離是列表B中的最小距離。確定參考refb後，通過基於當前圖片和參考refa、參考refb之間的時間距離縮放MVa導出MVb。
在一些實現中，還可以將來自插值MV場中的四個MV添加到CU級候選列表中。更具體地，添加當前CU的位置(0，0)，(W/2，0)，(0，H/2)和(W/2，H/2)處插值的MV。當在AMVP模式下應用FRUC時，原始的AMVP候選也添加到CU級的MV 候選集。在一些實現中，在CU級，可以將AMVP CU的15個MV和MERGE CU的13個MV添加到候選列表中。
在子CU級設置的MV候選包括從CU級搜索確定的MV，(2)頂部、左側、左上方和右上方相鄰的MV，(3)參考圖片中並置的MV的縮放版本，(4)一個或多個ATMVP候選(例如，最多四個)和(5)一個或多個STMVP候選(例如，最多四個)。來自參考圖片的縮放MV如下導出。兩個列表中的參考圖片都被遍歷。參考圖片中子CU的並置位置處的MV被縮放為起始CU級MV的參考。ATMVP和STMVP候選可以是前四個。在子CU級，一個或多個MV(例如，最多17個)被添加到候選列表中。
插值MV場的生成
在對幀進行編碼之前，基於單向ME生成整個圖片的內插運動場。然後，該運動場可以隨後用作CU級或子CU級的MV候選。
在一些實施例中，兩個參考列表中每個參考圖片的運動場在4×4的塊級別上被遍歷。圖12示出了在FRUC方法中的單向運動估計(ME)1200的示例。對於每個4×4塊，如果與塊相關聯的運動通過當前圖片中的4×4塊，並且該塊沒有被分配任何內插運動，則根據時間距離TD0和TD1將參考塊的運動縮放到當前圖片(與HEVC中TMVP的MV縮放相同方式)，並且在當前幀中將該縮放運動指定給該塊。如果沒有縮放的MV指定給4×4塊，則在插值運動場中將塊的運動標記為不可用。
插值和匹配成本
當運動向量指向分數採樣位置時，需要運動補償插值。為了降低複雜度，對雙向匹配和模板匹配都使用雙線性插值而不是常規的8抽頭HEVC插值。
匹配成本的計算在不同的步驟處有點不同。當從CU級的候選集中選擇候選時，匹配成本可以是雙向匹配或模板匹配的絕對和差(SAD)。在確定起始MV後，雙向匹配在子CU級搜索的匹配成本C如下計算：
Figure 108118903-A0305-02-0017-14
這裡，w是權重係數。在一些實施例中，w可以被經驗地設置為4。MV和MVs分別指示當前MV和起始MV。仍然可以將SAD用作模式匹配在子CU級搜索的匹配成本。
在FRUC模式下，MV通過僅使用亮度(luma)樣本導出。導出的運動將用於亮度(luma)和色度(chroma)，用於MC幀間預測。確定MV後，對亮度使用8抽頭(8-taps)插值濾波器並且對色度使用4抽頭(4-taps)插值濾波器執行最終MC。
MV細化是基於模式的MV搜索，以雙向匹配成本或模板匹配成本為標準。在JEM中，支持兩種搜索模式一無限制中心偏置菱形搜索(UCBDS)和自適應交叉搜索，分別在CU級別和子CU級別進行MV細化。對於CU級和子CU級的MV細化，都在四分之一亮度樣本MV精度下直接搜索MV，接著是八分之一亮度 樣本MV細化。將CU和子CU步驟的MV細化的搜索範圍設置為8個亮度樣本。
在雙向匹配MERGE模式下，應用雙向預測，因為CU的運動訊息是基於在兩個不同的參考圖片中沿著當前CU運動軌跡的兩個塊之間的最近匹配得出的。在模板匹配MERGE模式下，編碼器可以從列表0的單向預測、列表1的單向預測或者雙向預測中為CU做出選擇。該選擇可以基於如下的模板匹配成本：如果costBi<=factor*min(cost0,cost1)則使用雙向預測；否則，如果cost0<=cost1則使用列表0中的單向預測；否則，使用列表1中的單向預測；這裡，cost0是列表0模板匹配的SAD，cost1是列表2模板匹配的SAD，並且costBi是雙向模板匹配的SAD。例如，當factor的值等於1.25時，意味著選擇過程朝雙向預測偏移。幀間預測方向選擇可應用於CU級模板匹配處理。
以上討論的基於子塊的預測技術可用於在子塊尺寸較小時獲得每個子塊更精確的運動訊息。然而，較小的子塊在運動補償中施加了更高的帶寬要求。另一方面，對於較小的子塊，推導的運動訊息可能不準確，尤其是當塊中存在一些雜訊時。因此，在一個塊內具有固定的子塊大小可能是次優的。
本文描述了可以在各種實施例中使用的技術，以使用非均勻和/或可變子塊大小來解決固定子塊大小引入的帶寬和精度問題。這些技術(也被稱為交織預測)使用不同的劃分塊的方法，以便在不增加帶寬消耗的情況下更可靠地獲取運動訊息。
使用交織預測技術，將塊劃分為具有一個或多個劃分模式的子塊。劃分模式表示將塊劃分為子塊的方法，包括子塊的大小和子塊的位置。對於每個劃分模式，可以通過基於劃分模式推導出每個子塊的運動訊息來生成相應的預測塊。因此，在一些實施例中，即使對於一個預測方向，也可以通過多個劃分模式生成多個預測塊。在一些實施例中，對於每個預測方向，可能只應用一個劃分模式。
圖13示出根據所公開的技術的具有兩個劃分模式的交織預測的示例。當前塊1300可以劃分成多個模式。例如，如圖13所示，當前塊被劃分成模式0(1301)和模式1(1302)。生成兩個預測塊P0(1303)和P1(1304)。通過計算P0(1303)和P1(1304)的加權和，可以生成當前塊1300的最終預測塊P(1305)。
一般來說，給定X個劃分模式，當前塊的X個預測塊(表示為P 0 ，P 1 ，，…，P X-1 )可以以X個劃分模式由基於子塊的預測生成。當前塊的最終預測(表示為P)可生成為：
Figure 108118903-A0305-02-0019-15
這裡，(x,y)是塊中像素的坐標，並且w i (x,y)是P i 的權重 係數。通過示例而不是限制，權重可以表示為：
Figure 108118903-A0305-02-0020-16
N是非負值。可選地，等式(8)中的位移操作也可以表示為：
Figure 108118903-A0305-02-0020-17
權重之和是2的冪，通過執行移位操作而不是浮點除法，可以更有效地計算加權和P。
劃分模式可以具有不同的子塊形狀、尺寸或位置。在一些實施例中，劃分模式可以包括不規則的子塊大小。圖14A-圖14G顯示了16×16塊的幾個劃分模式的示例。在圖14A中，根據所公開的技術將塊劃分為4×4個子塊。這種模式也用於JEM。圖14B示出根據所公開的技術將塊劃分為8×8個子塊的劃分模式的示例。圖14C示出根據所公開的技術將塊劃分為8×4個子塊的劃分模式的示例。圖14D示出根據所公開的技術將塊劃分為4×8個子塊的劃分模式的示例。在圖14E中，根據所公開的技術將塊的一部分劃分為4x4子塊。塊邊界上的像素被劃分成更小的子塊，其大小如2×4,4×2或2×2。一些子塊可以合併以形成更大的子塊。圖14F示出了相鄰子塊(如4x4子塊和2x4子塊)的示例，這些子塊合併後形成尺寸為6×4、4×6或6×6的較大子塊。在圖14G中，塊的一部分被劃分為8×8子塊。而塊邊界處的像素被劃分為 較小的子塊如8×4、4×8或4×4。
基於子塊的預測中，子塊的形狀和大小可以基於編碼塊的形狀和/或大小和/或編碼塊訊息來確定。編碼塊訊息可以包括塊和/或子塊上使用的一種編碼算法，諸如運動補償預測是否是(1)仿射預測方法，(2)可選時域運動向量預測方法，(3)空時運動向量預測方法，(4)雙向光流方法，或(5)幀速率上轉換方法。例如，在一些實施例中，當當前塊的大小為M×N時，子塊的大小為4×N(或8×N等)，即子塊與當前塊具有相同的高度。在一些實施例中，當當前塊的大小為M×N時，子塊的大小為M×4(或M×8等)，即子塊與當前塊具有相同的寬度。在一些實施例中，當當前塊的大小為M×N(其中M>N)時，子塊的大小為A×B，其中A>B(例如，8×4)。或者，子塊的大小為B×A(例如，4×8)。
在一些實施例中，當前塊的大小為M×N。當M×N<=T(或min(M，N)<=T，或max(M，N)<=T等)時，子塊的大小為A×B；當M×N>T(或min(M，N)>T，或max(M，N)>T等)時，子塊的大小為C×D，其中A<=C，B<=D。例如，如果M×N<=256，子塊的大小可以是4×4。在一些實現中，子塊的大小為8×8。
在一些實施例中，可以基於幀間預測的方向確定是否應用交織預測。例如，在一些實施例中，交織預測可以適用於雙向預測，但不適用於單向預測。另一個示例是，當應用多重假設時，當有多於一個參考塊時，交織預測可以應用於一個預測方向。
在一些實施例中，還可以基於幀間預測方向來確定如何應用交織預測。在一些實施例中，對於兩個不同的參考列表，具有基於子塊預測的雙向預測塊被劃分為具有兩種不同劃分模式的子塊。例如，當從參考列表0(L0)預測時，雙向預測塊被劃分為4×8子塊，如圖14D所示。從參考列表1(L1)預測時，同一塊劃分為8×4子塊，如圖14C所示。最終預測P計算為：
Figure 108118903-A0305-02-0022-18
這裡，P0和P1分別是來自L0和L1的預測值。w0和w1分別是來自L0和L1的加權值。如等式(16)所示，加權值可以確定為：w0(x,y)+w1(x,y)=1<<N(其中N為非負整數值)。由於每個方向預測使用的子塊較少(例如4×8子塊，而不是8×8子塊)，因此與現有的基於子塊的方法相比，計算需要較小的帶寬。通過使用較大的子塊，預測結果也不太容易受到雜訊干擾的影響。
在一些實施例中，對於相同的參考列表，具有基於子塊預測的單向預測塊被劃分為具有兩個或多個不同劃分模式的子塊。例如，對於列表L(L=0或1)的預測，P L 計算如下：
Figure 108118903-A0305-02-0022-19
這裡，XL是列表L的劃分模式數。
Figure 108118903-A0305-02-0022-20
是用第i個劃分模式生成的預測，並且
Figure 108118903-A0305-02-0022-21
是
Figure 108118903-A0305-02-0022-22
的加權值。例如，當XL為2時，列表L應用兩種劃分模式。在第一種劃分模式中， 將塊劃分為如圖14D所示4×8子塊，在第二種劃分模式中，將塊劃分為如圖14C所示的8×4子塊。
在一些實施例中，基於子塊預測的雙向預測塊被視為分別來自L0和L1的兩個單向預測塊的組合。來自每個列表的預測可以按照如上面的示例中的描述導出。最終預測P可計算為：
Figure 108118903-A0305-02-0023-23
這裡參數a和b是應用於兩個內部預測塊的兩個附加權重。在這個特定的示例中，a和b都可以設置為1。與上面的示例類似，由於每個方向的預測使用較少子塊(例如，4×8子塊，而不是8×8子塊)，因此帶寬使用優於現有的基於子塊的方法或與現有的基於子塊的方法相同。同時，通過採用較大的子塊可以改善預測結果。
在一些實施例中，可以在每個單向預測塊中使用單獨的不均勻模式。例如，對於每個列表L(例如，L0或L1)，塊被劃分為不同的模式(例如，如圖14E或圖14F所示)。使用較少數量的子塊減少了對帶寬的需求。子塊的不均勻性也增加了預測結果的魯棒性。
在一些實施例中，對於多假設編碼塊，對於每個預測方向(或參考圖片列表)可以有多個由不同的劃分模式生成的預測塊。可以使用多個預測塊並應用附加權重生成最終預測。例如， 附加權重可以設置為1/M，其中M是生成的預測塊的總數。
在一些實施例中，編碼器可以確定是否以及如何應用交織預測。然後，編碼器可以在序列級、圖片級、視圖級、切片級、編碼樹單元(CTU)(也稱為最大編碼單元(LCU))級、CU級、PU級、樹單元(TU)級或區域級(可能包括多個CU/PU/TU/LCU)向解碼器發送與確定相對應的訊息。這些訊息可以在序列參數集(SPS)、視圖參數集(VPS)、圖片參數集(PPS)、切片報頭(SH)、CTU/LCU、CU、PU、TU或區域的第一個塊中發信令。
在某些實現中，交織預測適用於現有的子塊方法，諸如仿射預測、ATMVP、STMVP、FRUC、或BIO。在這種情況下，不需要額外的信令成本。在一些實現中，可以將交織預測生成的新子塊MERGE候選項插入到MERGE列表中，例如交織預測+ATMVP、交織預測+STMVP、交織預測+FRUC等。
在一些實施例中，當前塊要使用的劃分模式可以基於來自空間和/或時間相鄰塊的訊息來推導。例如，編碼器和解碼器都可以採用一組預先確定的規則來獲得基於時間鄰接(例如，同一塊的先前使用的劃分模式)或空間鄰接(例如，相鄰塊使用的劃分模式)的劃分模式，而不是依賴於編碼器來發送相關訊息。
在一些實施例中，加權值w可以被固定。例如，所有的劃分模式都可以平均加權：w i (x,y)=1。在一些實施例中，加權值可以基於塊的位置以及使用的分割模式來確定。例如，對於不同的(x,y)，w i (x,y)可能不同。在一些實施例中，加權值可以進一步取 決於基於子塊預測的編碼技術(例如，仿射或ATMVP)和/或其他編碼訊息(例如，跳躍或非跳躍模式和/或MV訊息)。
在一些實施例中，編碼器可以確定加權值，並在序列級、圖片級、切片級、CTU/LCU級、CU級、PU級或區域級(可能包括多個CU/PU/TU/LCU)將這些值發送給解碼器。對加權值可以在序列參數集(SPS)、圖片參數集(PPS)、切片頭段(SH)、CTU/LCU、CU、PU或區域的第一個塊中發信令。在一些實施例中，加權值可以從空間和/或時間相鄰塊的加權值導出。
應當注意的是，本文公開的交織預測技術可以應用於基於子塊預測的一種、部分或全部編碼技術。例如，交織預測技術可以應用於仿射預測，而其他基於子塊預測的編碼技術(例如，ATMVP、STMVP、FRUC或BIO)不使用交織預測。作為另一個示例，所有仿射、ATMVP和STMVP應用本文公開的交織預測技術。
圖15A是根據所公開的技術提高視頻系統中運動預測的方法1500的示例流程圖。方法1500包括在1502從視頻幀中選擇一組像素以形成塊。方法1500包括在1504根據第一模式將塊分割成第一組子塊。方法1500包括在1506基於第一組子塊生成第一中間預測塊。方法1500包括在1508根據第二模式將塊劃分成第二組子塊。第二組中至少一個子塊具有與第一組中的一個子塊的大小不同的大小。方法1500包括在1510基於第二組子塊生成第二中間預測塊。方法1500還包括在1512基於第一中間預測塊 和第二中間預測塊確定預測塊。
圖8是視頻處理的示例方法800的流程圖。方法800包括確定(802)視頻塊的預測塊，該預測塊是至少第一中間預測塊和第二中間預測塊的加權組合，並且從預測塊生成(804)視頻塊的編碼表示。第一中間預測塊是根據第一模式將視頻塊分割成第一組子塊而生成的。第二中間預測塊是根據第二模式將視頻塊分割成第二組子塊生成的，其中第一模式和第二模式彼此不同。
圖9是視頻處理的示例方法900的流程圖。該方法包括確定(902)視頻塊的預測塊，該預測塊是第一中間預測塊和第二中間預測塊的加權組合，並且使用該預測塊從視頻塊的編碼表示生成(904)視頻塊。第一中間預測塊是根據第一模式將視頻塊分割成第一組子塊而生成的。第二中間預測塊是根據第二模式將視頻塊分割成第二組子塊生成的，其中第一模式和第二模式彼此不同。
在一些實施例中，使用(1)仿射預測方法、(2)可選時域運動向量預測法、(3)空時運動向量預測法、(4)雙向光流法、或(5)幀速率上轉換法中的至少一種生成第一中間預測塊或第二中間預測塊。
在一些實施例中，第一組或第二組中的子塊具有矩形形狀。在一些實施例中，第一組子塊中的子塊具有不均勻的形狀。在一些實施例中，第二組子塊中的子塊具有不均勻的形狀。
在一些實施例中，所述方法包括基於塊的尺寸確定第一 模式或第二模式。在一些實施例中，所述方法包括基於來自與該塊在時間上或空間上相鄰的第二個塊的訊息確定第一模式或第二模式。
在一些實施例中，對於在第一方向中的塊的運動預測，執行將塊分割成第一組子塊。在一些實施例中，對於在第二方向中的塊的運動預測，執行將塊分割成第二組子塊。
如等式(7)所述，在一些實施例中，加權組合是從X個預測塊生成的，每個預測塊都基於將視頻塊劃分為子塊的X個劃分模式之一，其中X是大於1的整數。在這種實施例中，加權組合可以數學上表示為等式(7)。參考等式(8)至等式(12)描述了權重選擇的更多方面。
在一些實施例中，對於在第一方向中的塊的運動預測，執行將塊分割成第一組子塊，並將塊分割成第二組子塊。在一些實施例中，該方法還包括：通過根據第三模式將塊劃分為第三組子塊，在第二方向上對塊進行運動預測；基於第三組子塊生成第三中間預測塊；根據第四模式將塊劃分為第四組子塊，其中第四組中的至少一個子塊與第三組中的子塊大小不同；基於第四組子塊生成第四中間預測塊；基於第三中間預測塊和第四中間預測塊確定第二預測塊；以及基於預測塊和第二預測塊確定第三預測塊。
在一些實施例中，該方法包括在基於塊的運動預測視頻系統中向編碼設備發送用於對塊進行分割的第一模式和第二模式的訊息。在一些實施例中，傳輸第一模式和第二模式的訊息在以 下之一執行：(1)序列級、(2)圖片級、(3)視圖級、(4)切片級、(5)編碼樹單元、(6)最大編碼單元級、(7)編碼單元級、(8)預測單元級、(10)樹單元級、或(11)區域級。
在一些實施例中，確定預測結果包括：將第一組權重應用於第一中間預測塊以獲得第一加權預測塊；將第二組權重應用於第二中間預測塊以獲得第二加權預測塊；以及計算第一加權預測塊和第二加權預測塊的加權和以得到預測塊。
在一些實施例中，第一組權重或第二組權重包括固定權重值。在一些實施例中，第一組權重或第二組權重是基於來自與該塊在時間上或空間上相鄰的另一塊的訊息確定的。在一些實施例中，使用用於生成第一預測塊或第二預測塊的編碼算法確定第一組權重或第二組權重。在一些實現中，第一組權重中的至少一個值與第一組權重中的另一個值不同。在一些實現中，第二組權重中的至少一個值與第二組權重中的另一個值不同。在一些實現中，權重之和等於二的冪。
在一些實施例中，該方法包括將權重傳輸到基於塊的運動預測視頻系統中的編碼設備。在一些實施例中，傳輸權重在以下之一執行：(1)序列級、(2)圖片級、(3)視圖級、(4)切片級、(5)編碼樹單元、(6)最大編碼單元級、(7)編碼單元級、(8)預測單元級、(10)樹單元級、或(11)區域級。
圖15B是根據所公開的技術提高視頻系統中基於塊的運動預測的方法1550的示例流程圖。方法1550包括在1552處從視 頻幀中選擇一組像素以形成塊。方法1550包括在1554處基於塊的大小或者與該塊空間或時間相鄰的另一個塊的訊息將塊劃分為多個子塊。多個子塊中的至少一個子塊的大小與其他子塊不同。方法1550還包括在1556處通過對多個子塊應用編碼算法生成運動向量預測。在一些實施例中，編碼算法包括(1)仿射預測方法、(2)可選時域運動向量預測方法、(3)空時運動向量預測方法、(4)雙向光流法、或(5)幀速率上轉換法中的至少一種。
在方法1500和1550中，可以實施部分交織。使用該方案，將預測樣本的第一個子集中的樣本計算為第一中間預測塊的加權組合，並且預測樣本的第二個子集中的樣本是從基於子塊的預測中複製出來，其中第一個子集和第二個子集基於分割模式。第一個子集和第二個子集可以一起構成整個預測塊，例如，當前正在處理的塊。如圖18A到18C所示，在各種示例中，排除在交織之外的第二個子集可以由(a)角子塊或(b)子塊的最上面和最下面一行或(c)子塊的最左邊或最右邊的列組成。當前正在處理的塊的大小可以作為決定是否從交織預測中排除某些子塊的條件。
如本文進一步所述，編碼處理可以避免檢查從父塊拆分的塊的仿射模式，其中父塊本身使用不同於仿射模式的模式編碼。
圖16是圖示可以用於實現本公開技術的各個部分的電腦系統或其他控制設備1600的結構的示例的示意圖。在圖16中，電腦系統1600包括通過互連1625連接的一個或多個處理器1605 和儲存器1610。互連1625可以表示由適當的橋、適配器或控制器連接的任何一條或多條單獨的物理匯流排、點對點連接或兩者。因此，互連1625可以包括例如系統匯流排、外圍組件互連(PCI)匯流排、超傳輸或工業標準體系結構(ISA)匯流排、小型電腦系統介面(SCSI)匯流排、通用串行匯流排(USB)、IIC(I2C)匯流排或電氣與電子工程師協會(IEEE)標準674匯流排(有時被稱為“火線”)。
處理器1605可以包括中央處理器(CPU)，來控制例如主機的整體操作。在一些實施例中，處理器1605通過執行儲存在儲存器1610中的軟體或韌體來實現這一點。處理器1605可以是或可以包括一個或多個可編程通用或專用微處理器、數位訊號處理器(DSP)、可編程控制器、專用集成電路(ASIC)、可編程邏輯器件(PLD)等，或這些器件的組合。
儲存器1610可以是或包括電腦系統的主儲存器。儲存器1610表示任何適當形式的隨機存取儲存器(RAM)、只讀儲存器(ROM)、閃存等，或這些設備的組合。在使用中，儲存器1610除其他外可包含一組機器指令，當處理器1605執行該指令時，使處理器1605執行操作以實現本公開技術的實施例。
通過互連1625連接到處理器1605的還有(可選的)網路適配器1615。網路適配器1615為電腦系統1600提供與遠程設備(諸如儲存客戶機和/或其他儲存服務器)通訊的能力，並且可以是例如以太網適配器或光纖通道適配器。
圖17示出了可以用於實施本公開技術的各個部分的移動設備1700的示例實施例的框圖。移動設備1700可以是筆記本電腦、智能手機、平板電腦、攝像機或其他能夠處理視頻的設備。移動設備1700包括處理器或控制器1701來處理資料，以及與處理器1701通訊的儲存器1702來儲存和/或緩衝資料。例如，處理器1701可以包括中央處理器(CPU)或微控制器單元(MCU)。在一些實現中，處理器1701可以包括現場可編程閘陣列(FPGA)。在一些實現中，移動設備1700包括或與圖形處理單元(GPU)、視頻處理單元(VPU)和/或無線通訊單元通訊，以實現智能手機設備的各種視覺和/或通訊資料處理功能。例如，儲存器1702可以包括並儲存處理器可執行代碼，當處理器1701執行該代碼時，將移動設備1700配置為執行各種操作，例如接收訊息、命令和/或資料、處理訊息和資料，以及將處理過的訊息/資料發送或提供給另一個資料設備，諸如執行器或外部顯示器。為了支持移動設備1700的各種功能，儲存器1702可以儲存訊息和資料，諸如指令、軟體、值、圖像以及處理器1701處理或引用的其他資料。例如，可以使用各種類型的隨機存取儲存器(RAM)設備、只讀儲存器(ROM)設備、閃存設備和其他合適的儲存媒體來實現儲存器1702的儲存功能。在一些實現中，移動設備1700包括輸入/輸出(I/O)單元1703，來將處理器1701和/或內存1702與其他模組、單元或設備進行介面。例如，I/O單元1703可以與處理器1701和內存1702進行介面，以利用與典型資料通訊標準兼容的各種無線介面，例 如，在雲中的一台或多台電腦和用戶設備之間。在一些實現中，移動設備1700可以通過I/O單元1703使用有線連接與其他設備進行介面。移動設備1700還可以與其他外部介面(例如資料儲存器)和/或可視或音頻顯示設備1704連接，以檢索和傳輸可由處理器處理、由儲存器儲存或由顯示設備1704或外部設備的輸出單元上顯示的資料和訊息。例如，顯示設備1704可以根據所公開的技術顯示基於MVP修改的視頻幀(例如，包括如圖13所示的預測塊1305的視頻幀)。
在一些實施例中，視頻解碼器裝置可以實施視頻解碼方法，其中使用本文所述的改進的基於塊的運動預測進行視頻解碼。該方法可以包括使用來自視頻幀的一組像素形成視頻塊。塊可以根據第一模式分割成第一組子塊。第一中間預測塊可以對應於第一組子塊。塊可以包括根據第二模式的第二組子塊。第二組中至少有一個子塊的大小與第一組中的一個子塊的大小不同。該方法還可以基於第一中間預測塊和從第二組子塊生成的第二中間預測塊來確定預測塊。該方法的其他特徵可能與上述方法1500相似。
在一些實施例中，視頻解碼的解碼器端的方法可以通過使用視頻幀的塊，利用基於塊的運動預測來提高預測的視頻質量，其中塊對應一組像素塊。基於塊的大小或來自與該塊在空間或時間上相鄰的另一塊的訊息，可以將塊劃分為多個子塊，其中多個子塊的至少一個子塊的大小與其他子塊的大小不同。解碼器 可以使用通過對多個子塊應用編碼算法生成的運動向量預測。該方法的其他特徵參考圖15B和相應的說明做出了描述。
在一些實施例中，可以使用實現在如圖16和圖17所述的硬體平臺上的解碼裝置來實現視頻解碼方法。
包含在編碼器實施例中的技術示例
在一些實施例中，交織預測不應用於運動估計(ME)處理。
例如，6參數仿射預測的ME處理中不應用交織預測。
例如，如果當前塊的大小滿足以下某些條件，則ME處理中不應用交織預測。這裡，假定當前塊的寬度和高度分別為W和H，並且T、T1和T2為整數值：W>=T1且H>=T2；W<=T1且H<=T2；W>=T1或H>=T2；W<=T1或H<=T2；W+H>=T W+H<=T W×H>=T W×H<=T
例如，如果當前塊與父塊分離，並且父塊在編碼器處不選擇仿射模式，則在ME過程中省略交織預測。
或者，如果當前塊與父塊分離，並且父塊在編碼器處不 選擇仿射模式，則編碼器處不檢查仿射模式。
表1說明了對隨機訪問(RA)配置使用常規2x2仿射預測的示例性能結果。
Figure 108118903-A0305-02-0034-24
表2說明了根據本技術的實施例，將交織預測應用於單向預測得到的示例性能結果。表3說明了根據本技術的實施例，將交織預測應用於雙向預測得到的示例性能結果。
Figure 108118903-A0305-02-0034-25
表3 雙向預測中交織預測的示例測試結果
Figure 108118903-A0305-02-0035-26
如表2和表3所示，與傳統的基於2x2仿射預測的編碼相比，交織預測以更低的複雜度實現了主要的編碼增益。特別地，與2 x 2仿射方法(0.47%)相比，應用於雙向預測的交織預測獲得0.38%的編碼增益。與2 x 2仿射方法中的136%和114%相比，2 x 2仿射方法的編碼時間和解碼時間分別為103%和102%。
圖18顯示了實施本文公開的交織預測技術的示例裝置1900的功能框圖。例如，裝置1900可以是接收視頻1902的視頻編碼器或轉碼器。接收到的視頻1902可以是以壓縮視頻或未壓縮視頻形式。視頻1902可以通過網路介面或從儲存設備接收。視頻1902(未壓縮或壓縮形式中的任一種)可能對應於一定尺寸的視頻幀。裝置1900可以對視頻1902執行預處理1904操作。預處理1904可以是可選的，並且可以包括諸如解密、顏色空間轉換、質量增強過濾等內容。編碼器1906可以將視頻1902轉換為編碼表示，該編碼表示可以通過後處理塊1908選擇性地進行後處理以產生輸出視頻。例如，編碼器1906可以在視頻1902的塊上執行交 織預測。塊可以表示任何尺寸的視頻區域，但通常被選擇以在像素數量上具有固定數量的水平和垂直尺寸(例如，128x128或16x16等)。在一些情況下，塊可能代表編碼單元。可選的後處理塊可能包括過濾、加密、打包等。輸出視頻1910可以儲存在儲存設備上，或者可以通過網路介面傳輸。
從上述來看，應當理解的是，為了便於說明，本發明公開的技術的具體實施例已經在本文中進行了描述，但是可以在不偏離本發明範圍的情況下進行各種修改。因此，除了的之外，本發明公開的技術不限於申請專利範圍的限定。
本文中公開的和其他描述的實施例、模組和功能操作可以在數位電子電路、或電腦軟體、韌體或硬體中實現，包括本文中所公開的結構及其結構等效體，或其中一個或多個的組合。公開的實施例和其他實施例可以實現為一個或多個電腦程式產品，即一個或多個編碼在電腦可讀媒體上的電腦程式指令的模組，以供資料處理裝置執行或控制資料處理裝置的操作。電腦可讀媒體可以是機器可讀儲存設備、機器可讀儲存基板、儲存設備、影響機器可讀傳播訊號的物質組成或其中一個或多個的組合。術語“資料處理裝置”包括用於處理資料的所有裝置、設備和機器，包括例如可編程處理器、電腦或多處理器或電腦組。除硬體外，該裝置還可以包括為電腦程式創建執行環境的代碼，例如，構成處理器韌體的代碼、協定疊、資料庫管理系統、操作系統或其中一個或多個的組合。傳播訊號是人為產生的訊號，例如機器產生 的電訊號、光學訊號或電磁訊號，生成這些訊號以對訊息進行編碼，以便傳輸到適當的接收裝置。
電腦程式(也稱為程式、軟體、軟體應用、腳本或代碼)可以用任何形式的編程語言(包括編譯語言或解釋語言)編寫，並且可以以任何形式部署，包括作為獨立程式或作為模組、組件、子程式或其他適合在計算環境中使用的單元。電腦程式不一定與文件系統中的文件對應。程式可以儲存在保存其他程式或資料的文件的部分中(例如，儲存在標記語言文檔中的一個或多個腳本)、專用於該程式的單個文件中、或多個協調文件(例如，儲存一個或多個模組、子程式或部分代碼的文件)中。電腦程式可以部署在一台或多台電腦上來執行，這些電腦位於一個站點上或分布在多個站點上，並通過通訊網路互連。
本文中描述的處理和邏輯流可以通過一個或多個可編程處理器執行，該處理器執行一個或多個電腦程式，通過在輸入資料上操作並生成輸出來執行功能。處理和邏輯流也可以通過特殊用途的邏輯電路來執行，並且裝置也可以實現為特殊用途的邏輯電路，例如，FPGA(現場可編程閘陣列)或ASIC(專用集成電路)。
例如，適於執行電腦程式的處理器包括通用和專用微處理器，以及任何類型數位電腦的任何一個或多個。通常，處理器將從只讀儲存器或隨機存取儲存器或兩者接收指令和資料。電腦的基本元件是執行指令的處理器和儲存指令和資料的一個或多個 儲存設備。通常，電腦還將包括一個或多個用於儲存資料的大容量儲存設備，例如，磁碟、磁光碟或光碟，或通過操作耦合到一個或多個大容量儲存設備來從其接收資料或將資料傳輸到一個或多個大容量儲存設備，或兩者兼有。然而，電腦不一定具有這樣的設備。適用於儲存電腦程式指令和資料的電腦可讀媒體包括所有形式的非易失性儲存器、媒體和儲存器設備，包括例如半導體儲存器設備，例如EPROM、EEPROM和閃存設備；磁碟，例如內部硬碟或可移動磁碟；磁光磁碟；以及CDROM和DVD-ROM光碟。處理器和儲存器可以由專用邏輯電路來補充，或合併到專用邏輯電路中。
雖然本專利文件包含許多細節，但不應將其解釋為對任何發明或申請專利範圍範圍的限制，而應解釋為對特定發明的特定實施例的特徵的描述。本專利文件在單獨實施例的上下文描述的某些特徵也可以在單個實施例中組合實施。相反，在單個實施例的上下文中描述的各種功能也可以在多個實施例中單獨實施，或在任何合適的子組合中實施。此外，儘管上述特徵可以描述為在某些組合中起作用，甚至最初要求是這樣，但在某些情況下，可以從組合中刪除申請專利範圍組合中的一個或多個特徵，並且申請專利範圍的組合可以指向子組合或子組合的變體。
同樣，儘管圖紙中以特定順序描述了操作，但這不應理解為要獲得想要的結果必須按照所示的特定順序或順序執行此類操作，或執行所有說明的操作。此外，本專利文件所述實施例中 各種系統組件的分離不應理解為在所有實施例中都需要這樣的分離。僅描述了一些實現和示例，其他實現、增強和變體可以基於本專利文件中描述和說明的內容做出。
800‧‧‧方法
802~804‧‧‧步驟

Claims (28)

  1. 一種視頻處理方法，包括：確定視頻塊的預測塊，所述預測塊是至少第一中間預測塊和第二中間預測塊的加權組合；以及使用所述預測塊生成所述視頻塊的編碼表示；其中所述第一中間預測塊是根據第一劃分模式將所述視頻塊分割成第一組子塊生成的；並且其中所述第二中間預測塊是根據第二劃分模式將所述視頻塊分割成第二組子塊生成的，其中所述第一劃分模式和所述第二劃分模式彼此不同。
  2. 如申請專利範圍第1項所述的方法，還包括：在所述編碼表示中包括關於用於所述加權組合的權重的訊息。
  3. 如申請專利範圍第1項所述的方法，還包括：在所述編碼表示中包括關於所述第一劃分模式和/或所述第二劃分模式的訊息。
  4. 一種視頻處理方法，包括：確定視頻塊的預測塊，所述預測塊是至少第一中間預測塊和第二中間預測塊的加權組合；以及使用所述預測塊從所述視頻塊的編碼表示生成視頻塊；其中所述第一中間預測塊是根據第一劃分模式將所述視頻塊分割成第一組子塊生成的；並且 其中所述第二中間預測塊是根據第二劃分模式將所述視頻塊分割成第二組子塊生成的，其中所述第一劃分模式和所述第二劃分模式彼此不同。
  5. 如申請專利範圍第4項所述的方法，還包括：解析所述編碼表示，以獲取關於用於所述加權組合的權重的訊息。
  6. 如申請專利範圍第4項所述的方法，還包括：從所述編碼表示解析關於所述第一劃分模式和/或所述第二劃分模式的訊息。
  7. 如申請專利範圍第1至6項中任一項所述的方法，其中使用仿射預測方法生成所述第一中間預測塊和/或所述第二中間預測塊。
  8. 如申請專利範圍第1至6項中任一項所述的方法，其中使用可選時域運動向量預測方法生成所述第一中間預測塊和/或所述第二中間預測塊。
  9. 如申請專利範圍第1至6項中任一項所述的方法，其中使用空時運動向量預測方法生成所述第一中間預測塊和/或所述第二中間預測塊。
  10. 如申請專利範圍第1至6項中任一項所述的方法，其中使用雙向光流方法生成所述第一中間預測塊和/或所述第二中間預測塊。
  11. 如申請專利範圍第1至6項中任一項所述的方法，其中使用幀速率上轉換方法生成所述第一中間預測塊和/或所述第二中間預測塊。
  12. 如申請專利範圍第1至6項中任一項所述的方法，其中所述權重包括應用到所述第一中間預測塊的第一權重和應用到所述第二中間預測塊的第二權重。
  13. 如申請專利範圍第1至6項中任一項所述的方法，其中所述權重包括應用到所述第一中間預測塊內的樣本的第一權重和應用到所述第二中間預測塊內的樣本的第二權重。
  14. 如申請專利範圍第1至6項中任一項所述的方法，其中，所述加權組合是從X個預測塊生成的，每個所述預測塊基於將所述視頻塊劃分為子塊的X個劃分模式之一，其中X是大於1的整數；並且其中在所述視頻塊中的像素位置(x,y)的表示為 P(x,y)的所述加權組合為：
    Figure 108118903-A0305-02-0043-27
     其中P 0,P 1,...,P X-1代表基於所述X劃個分模式的中間子塊的預測，並且 w i (x,y)為P i 的加權值。
  15. 如申請專利範圍第14項所述的方法，其中，
    Figure 108118903-A0305-02-0043-28
     其中N是整數，並且<<是移位操作。
  16. 如申請專利範圍第14項所述的方法，其中取決於像素位置，所述權重值( w 0 (x,y), w 1 (x,y))是(1，3)、(3，1)或(2，2)。
  17. 如申請專利範圍第16項所述的方法，其中將恆定的2D數組權重[4][4]設置為等於{{1，2，2，1}、{2，3，3，2}、{2，3，3，2}{1，2，2，1}}，並且( w 0 (x,y), w 1 (x,y))設置為等於(權重[x&3][x&3]、4-權重[xS&3][yS&3])。
  18. 如申請專利範圍第12項所述的方法，其中所述權重的值取決於所述對應中間預測塊的位置。
  19. 如申請專利範圍第12項所述的方法，其中所述第一權重或所述第二權重取決於所述第一劃分模式或所述第二劃分模式。
  20. 如申請專利範圍第12項所述的方法，其中基於所述編碼表示中的附加訊息確定所述第一權重或所述第二權重。
  21. 如申請專利範圍第11項所述的方法，所述附加訊息包括跳躍/非跳躍模式或運動向量訊息。
  22. 如申請專利範圍第11項所述的方法，其中基於與所述視頻幀相關聯的編碼算法確定所述第一權重或所述第二權重。
  23. 如申請專利範圍第20項所述的方法，其中所述編碼算法包括(1)仿射預測方法、(2)可選時域運動向量預測方法、(3)空時運動向量預測方法、(4)雙向光流方法、或(5)幀速率上轉換方法。
  24. 如申請專利範圍第1至6項中任一項所述的方法，其中所述權重包括在(1)序列級、(2)圖像級、(3)視圖級、(4)切片級、(5)編碼樹單元、(6)最大編碼單元級、(7)編碼單元級、(8)預測單元級、(10)樹單元級或(11)視頻區域級的所述編碼表示中。
  25. 如申請專利範圍第1至6項中任一項所述的方法，其中所述編碼表示包括序列參數集(SPS)、圖像參數集(PPS)、切片報頭(SH)、編碼樹單元、編碼單元、預測單元或區域的初始塊中的權重。
  26. 如申請專利範圍第14項所述的方法，其中從空間或時間相鄰的視頻塊繼承所述權重w i (x,y)。
  27. 一種視頻處理裝置，包括被配置為實現如申請專利範圍第1至26項中任一項所述的方法的處理器。
  28. 一種電腦程式產品，其儲存在非暫時性電腦可讀媒體上，所述電腦程式產品包括用於實現如申請專利範圍第1至26項中任一項所述的方法的程式代碼。
TW108118903A 2018-05-31 2019-05-31 加權交織預測 TWI729402B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
WOPCT/CN2018/089242 2018-05-31
CN2018089242 2018-05-31

Publications (2)

Publication Number Publication Date
TW202005389A TW202005389A (zh) 2020-01-16
TWI729402B true TWI729402B (zh) 2021-06-01

Family

ID=67145839

Family Applications (2)

Application Number Title Priority Date Filing Date
TW108118903A TWI729402B (zh) 2018-05-31 2019-05-31 加權交織預測
TW108118968A TWI750475B (zh) 2018-05-31 2019-05-31 基於交織預測的視頻處理方法、裝置及記錄媒體

Family Applications After (1)

Application Number Title Priority Date Filing Date
TW108118968A TWI750475B (zh) 2018-05-31 2019-05-31 基於交織預測的視頻處理方法、裝置及記錄媒體

Country Status (4)

Country Link
US (2) US11871022B2 (zh)
CN (3) CN115334318A (zh)
TW (2) TWI729402B (zh)
WO (2) WO2019229683A1 (zh)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019229683A1 (en) 2018-05-31 2019-12-05 Beijing Bytedance Network Technology Co., Ltd. Concept of interweaved prediction
CN110602493B (zh) * 2018-09-19 2022-06-10 北京达佳互联信息技术有限公司 一种仿射运动补偿的交织预测的方法及设备
CN111083484B (zh) 2018-10-22 2024-06-28 北京字节跳动网络技术有限公司 基于子块的预测
CN111093073B (zh) 2018-10-24 2024-04-19 北京字节跳动网络技术有限公司 用于子块运动矢量预测的基于搜索的运动候选推导
WO2020098643A1 (en) 2018-11-12 2020-05-22 Beijing Bytedance Network Technology Co., Ltd. Simplification of combined inter-intra prediction
CN117319644A (zh) 2018-11-20 2023-12-29 北京字节跳动网络技术有限公司 基于部分位置的差计算
CN113170093B (zh) 2018-11-20 2023-05-02 北京字节跳动网络技术有限公司 视频处理中的细化帧间预测
CN113056920B (zh) 2018-11-22 2024-05-24 北京字节跳动网络技术有限公司 基于子块的帧间预测的协调方法
WO2020140948A1 (en) 2019-01-02 2020-07-09 Beijing Bytedance Network Technology Co., Ltd. Motion vector derivation between dividing patterns
US11025951B2 (en) * 2019-01-13 2021-06-01 Tencent America LLC Method and apparatus for video coding
WO2020143826A1 (en) * 2019-01-13 2020-07-16 Beijing Bytedance Network Technology Co., Ltd. Interaction between interweaved prediction and other coding tools
CN113273217A (zh) 2019-02-03 2021-08-17 北京字节跳动网络技术有限公司 非对称四叉树分割
WO2020177756A1 (en) 2019-03-06 2020-09-10 Beijing Bytedance Network Technology Co., Ltd. Size dependent inter coding
US11323731B2 (en) * 2019-03-08 2022-05-03 Tencent America LLC Method and apparatus for video coding
CN115190317A (zh) 2019-04-02 2022-10-14 抖音视界有限公司 解码器侧运动矢量推导
JP7481430B2 (ja) 2019-08-13 2024-05-10 北京字節跳動網絡技術有限公司 サブブロックに基づくインター予測における動き精度
WO2021052505A1 (en) 2019-09-22 2021-03-25 Beijing Bytedance Network Technology Co., Ltd. Reference picture resampling in video processing
US11622122B2 (en) 2020-03-19 2023-04-04 FG Innovation Company Limited Video coding device and method for determining an MVP candidate list

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7801217B2 (en) * 2002-10-01 2010-09-21 Thomson Licensing Implicit weighting of reference pictures in a video encoder
WO2015010317A1 (zh) * 2013-07-26 2015-01-29 北京大学深圳研究生院 一种基于p帧的多假设运动补偿方法
US9635356B2 (en) * 2012-08-07 2017-04-25 Qualcomm Incorporated Multi-hypothesis motion compensation for scalable video coding and 3D video coding
WO2017197146A1 (en) * 2016-05-13 2017-11-16 Vid Scale, Inc. Systems and methods for generalized multi-hypothesis prediction for video coding

Family Cites Families (69)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6807231B1 (en) * 1997-09-12 2004-10-19 8×8, Inc. Multi-hypothesis motion-compensated video image predictor
US6489995B1 (en) 1998-10-22 2002-12-03 Sony Corporation Method and apparatus for motion vector concealment
EP1629436B8 (en) 2003-03-28 2006-10-04 Digital Accelerator Corporation Overcomplete basis transform-based motion residual frame coding method and apparatus for video compression
US8107535B2 (en) 2003-06-10 2012-01-31 Rensselaer Polytechnic Institute (Rpi) Method and apparatus for scalable motion vector coding
US20060120461A1 (en) 2004-12-06 2006-06-08 Roy Knight Two processor architecture supporting decoupling of outer loop and inner loop in video decoder
US8457203B2 (en) * 2005-05-26 2013-06-04 Ntt Docomo, Inc. Method and apparatus for coding motion and prediction weighting parameters
CN101491107B (zh) 2006-07-07 2012-07-18 艾利森电话股份有限公司 一种对图像元素组进行解码的方法及其相关的编码器、解码器
WO2008084817A1 (ja) 2007-01-09 2008-07-17 Kabushiki Kaisha Toshiba 画像符号化と復号化の方法及び装置
CN101350920A (zh) 2007-07-17 2009-01-21 北京华辰广正科技发展有限公司 一种面向全景视频的全局运动估计方法
KR101408698B1 (ko) 2007-07-31 2014-06-18 삼성전자주식회사 가중치 예측을 이용한 영상 부호화, 복호화 방법 및 장치
KR20090097688A (ko) * 2008-03-12 2009-09-16 삼성전자주식회사 영상의 인트라 예측 부호화/복호화 방법 및 장치
CN101252686B (zh) 2008-03-20 2010-04-14 上海交通大学 基于交织预测的视频帧内无损编解码方法及系统
CN101626505B (zh) 2008-07-11 2012-06-20 浙江大学 二重预测的模式处理方法和装置
JP5029543B2 (ja) 2008-09-09 2012-09-19 富士通株式会社 符号化装置および符号化プログラム
CN101833768A (zh) 2009-03-12 2010-09-15 索尼株式会社 对视频中的运动矢量进行可靠性分类的方法和系统
CN101621693B (zh) 2009-07-31 2011-01-05 重庆大学 一种结合目标分割和不规则块补偿的帧频提升方法
JP5234368B2 (ja) 2009-09-30 2013-07-10 ソニー株式会社 画像処理装置および方法
US8817884B2 (en) 2009-11-20 2014-08-26 Texas Instruments Incorporated Techniques for perceptual encoding of video frames
US8879632B2 (en) 2010-02-18 2014-11-04 Qualcomm Incorporated Fixed point implementation for geometric motion partitioning
US8837592B2 (en) * 2010-04-14 2014-09-16 Mediatek Inc. Method for performing local motion vector derivation during video coding of a coding unit, and associated apparatus
US9883203B2 (en) 2011-11-18 2018-01-30 Qualcomm Incorporated Adaptive overlapped block motion compensation
WO2014039778A2 (en) * 2012-09-07 2014-03-13 Vid Scale, Inc. Reference picture lists modification
GB2509705B (en) 2013-01-04 2016-07-13 Canon Kk Encoding and decoding methods and devices, and corresponding computer programs and computer readable media
US9967559B1 (en) 2013-02-11 2018-05-08 Google Llc Motion vector dependent spatial transformation in video coding
ES2698515T3 (es) 2013-03-15 2019-02-05 Qualcomm Inc Predictor para la intra-codificación de mapas de profundidad
CN105103554A (zh) 2013-03-28 2015-11-25 华为技术有限公司 用于保护视频帧序列防止包丢失的方法
EP2997732A1 (en) 2013-05-15 2016-03-23 VID SCALE, Inc. Single loop decoding based inter layer prediction
US9497439B2 (en) 2013-07-15 2016-11-15 Ati Technologies Ulc Apparatus and method for fast multiview video coding
US9544601B2 (en) 2013-10-15 2017-01-10 Qualcomm Incorporated Wedgelet pattern extension for depth intra coding
KR20170113713A (ko) 2013-12-13 2017-10-12 브이아이디 스케일, 인크. 보간을 이용하는 루마 및 크로마의 위상 정렬을 위한 컬러 색역 스케일러블 비디오 코딩 디바이스 및 방법
WO2015100522A1 (en) 2013-12-30 2015-07-09 Mediatek Singapore Pte. Ltd. Methods for inter-component residual prediction
US11070810B2 (en) 2014-03-14 2021-07-20 Qualcomm Incorporated Modifying bit depths in color-space transform coding
US9860559B2 (en) 2014-03-17 2018-01-02 Mediatek Singapore Pte. Ltd. Method of video coding using symmetric intra block copy
CN106256125B (zh) 2014-05-05 2019-11-19 联发科技（新加坡）私人有限公司 确定残余转换树表达的方法及装置
US20150373350A1 (en) 2014-06-20 2015-12-24 Qualcomm Incorporated Temporal motion vector prediction (tmvp) indication in multi-layer codecs
CN104168483A (zh) 2014-07-08 2014-11-26 大连民族学院 一种视频压缩方法及系统
WO2016008157A1 (en) 2014-07-18 2016-01-21 Mediatek Singapore Pte. Ltd. Methods for motion compensation using high order motion model
WO2016029399A1 (en) 2014-08-28 2016-03-03 Qualcomm Incorporated Object selection based on region of interest fusion
CN107079157B (zh) 2014-09-12 2020-12-22 Vid拓展公司 用于视频编码的分量间去相关
JP6352141B2 (ja) 2014-09-30 2018-07-04 Kddi株式会社 動画像符号化装置、動画像復号装置、動画像圧縮伝送システム、動画像符号化方法、動画像復号方法、およびプログラム
AU2015327521B2 (en) 2014-09-30 2018-07-26 Hfi Innovation Inc. Method of lookup table size reduction for depth modelling mode in depth coding
US10057578B2 (en) 2014-10-07 2018-08-21 Qualcomm Incorporated QP derivation and offset for adaptive color transform in video coding
US9998742B2 (en) 2015-01-27 2018-06-12 Qualcomm Incorporated Adaptive cross component residual prediction
EP3251352A1 (en) 2015-01-29 2017-12-06 VID SCALE, Inc. Escape color coding for palette coding mode
US10924743B2 (en) 2015-02-06 2021-02-16 Microsoft Technology Licensing, Llc Skipping evaluation stages during media encoding
CN106303544B (zh) 2015-05-26 2019-06-11 华为技术有限公司 一种视频编解码方法、编码器和解码器
EP3297286A4 (en) 2015-09-10 2018-04-18 Samsung Electronics Co., Ltd. Video encoding and decoding method and device
EP3357227A1 (en) 2015-10-02 2018-08-08 VID SCALE, Inc. Color correction with a lookup table
US10045023B2 (en) 2015-10-09 2018-08-07 Telefonaktiebolaget Lm Ericsson (Publ) Cross component prediction in video coding
US10306258B2 (en) 2016-01-29 2019-05-28 Google Llc Last frame motion vector partitioning
ES2737841B1 (es) 2016-02-25 2021-07-27 Kt Corp Método y aparato para procesar señales de vídeo
US10567759B2 (en) 2016-03-21 2020-02-18 Qualcomm Incorporated Using luma information for chroma prediction with separate luma-chroma framework in video coding
US10390026B2 (en) * 2016-03-25 2019-08-20 Google Llc Smart reordering in recursive block partitioning for advanced intra prediction in video coding
CN107566848B (zh) 2016-06-30 2020-04-14 华为技术有限公司 编解码的方法及装置
US20190273943A1 (en) 2016-10-10 2019-09-05 Sharp Kabushiki Kaisha Systems and methods for performing motion compensation for coding of video data
CN108109629A (zh) 2016-11-18 2018-06-01 南京大学 一种基于线性预测残差分类量化的多描述语音编解码方法和系统
US20210136400A1 (en) 2016-11-29 2021-05-06 Mediatek Inc. Method and apparatus of merge mode derivation for video coding
CN108271023B (zh) 2017-01-04 2021-11-19 华为技术有限公司 图像预测方法和相关设备
US12063387B2 (en) 2017-01-05 2024-08-13 Hfi Innovation Inc. Decoder-side motion vector restoration for video coding
US10582209B2 (en) * 2017-03-30 2020-03-03 Mediatek Inc. Sub-prediction unit temporal motion vector prediction (sub-PU TMVP) for video coding
WO2019002215A1 (en) 2017-06-26 2019-01-03 Interdigital Vc Holdings, Inc. MULTIPLE PREDICTION CANDIDATES FOR MOTION COMPENSATION
US20190246122A1 (en) 2018-02-08 2019-08-08 Qualcomm Incorporated Palette coding for video coding
WO2019229683A1 (en) 2018-05-31 2019-12-05 Beijing Bytedance Network Technology Co., Ltd. Concept of interweaved prediction
KR102701593B1 (ko) 2018-06-21 2024-08-30 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 칼라 컴포넌트 간의 서브 블록 mv 상속
US11070813B2 (en) 2018-06-29 2021-07-20 Intel Corporation Global motion estimation and modeling for accurate global motion compensation for efficient video processing or coding
WO2020008325A1 (en) 2018-07-01 2020-01-09 Beijing Bytedance Network Technology Co., Ltd. Improvement of interweaved prediction
US11477476B2 (en) 2018-10-04 2022-10-18 Qualcomm Incorporated Affine restrictions for the worst-case bandwidth reduction in video coding
WO2020140948A1 (en) 2019-01-02 2020-07-09 Beijing Bytedance Network Technology Co., Ltd. Motion vector derivation between dividing patterns
US11153590B2 (en) 2019-01-11 2021-10-19 Tencent America LLC Method and apparatus for video coding

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7801217B2 (en) * 2002-10-01 2010-09-21 Thomson Licensing Implicit weighting of reference pictures in a video encoder
US9635356B2 (en) * 2012-08-07 2017-04-25 Qualcomm Incorporated Multi-hypothesis motion compensation for scalable video coding and 3D video coding
WO2015010317A1 (zh) * 2013-07-26 2015-01-29 北京大学深圳研究生院 一种基于p帧的多假设运动补偿方法
WO2017197146A1 (en) * 2016-05-13 2017-11-16 Vid Scale, Inc. Systems and methods for generalized multi-hypothesis prediction for video coding

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Jianle Chen et.al.," Algorithm Description of Joint Exploration Test Model 7 (JEM 7)", Joint Video Exploration Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11, 7th Meeting: Torino, ITALY, 13–21 July 2017 *
Jianle Chen et.al.," Algorithm Description of Joint Exploration Test Model 7 (JEM 7)", Joint Video Exploration Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11, 7th Meeting: Torino, ITALY, 13–21 July 2017。
Markus Flierl, Thomas Wiegand and Bernd Girod," MULTIHYPOTHESIS PICTURES FOR H.26L", The Proceedings of International Conference on Image Processing, ICIP 2001, THESSALONIKI, GREECE, Oct. 7~10,2001 *
Markus Flierl, Thomas Wiegand and Bernd Girod," MULTIHYPOTHESIS PICTURES FOR H.26L", The Proceedings of International Conference on Image Processing, ICIP 2001, THESSALONIKI, GREECE, Oct. 7~10,2001。

Also Published As

Publication number Publication date
WO2019229705A1 (en) 2019-12-05
CN110557640A (zh) 2019-12-10
TW202005384A (zh) 2020-01-16
TWI750475B (zh) 2021-12-21
US20240107053A1 (en) 2024-03-28
CN110557640B (zh) 2022-09-02
US11871022B2 (en) 2024-01-09
CN110557643B (zh) 2022-08-30
TW202005389A (zh) 2020-01-16
US20210092431A1 (en) 2021-03-25
WO2019229683A1 (en) 2019-12-05
CN110557643A (zh) 2019-12-10
CN115334318A (zh) 2022-11-11

Similar Documents

Publication Publication Date Title
TWI729402B (zh) 加權交織預測
CN112913241B (zh) 解码器侧运动矢量推导的限制
TWI729422B (zh) 色彩分量間的子區塊移動向量繼承
TWI731363B (zh) 高效的仿射Ｍｅｒｇｅ運動向量推導
CN112997495B (zh) 当前图片参考中的取整
TW202013966A (zh) 色度解碼器側運動向量細化
TWI722465B (zh) 子塊的邊界增強
TWI705696B (zh) 交織預測的改善
CN110876063B (zh) 交织预测的快速编码方法
CN110557639B (zh) 交织预测的应用
CN110876064B (zh) 部分交织的预测
TWI850252B (zh) 部分交織的預測
TW202017377A (zh) 視頻編碼和解碼中的仿射模式