TWI670966B - 用於視訊編解碼的適應性雙預測的方法及裝置 - Google Patents

用於視訊編解碼的適應性雙預測的方法及裝置 Download PDF

Info

Publication number
TWI670966B
TWI670966B TW106145050A TW106145050A TWI670966B TW I670966 B TWI670966 B TW I670966B TW 106145050 A TW106145050 A TW 106145050A TW 106145050 A TW106145050 A TW 106145050A TW I670966 B TWI670966 B TW I670966B
Authority
TW
Taiwan
Prior art keywords
motion vector
weighting factor
block
final
current block
Prior art date
Application number
TW106145050A
Other languages
English (en)
Other versions
TW201840183A (zh
Inventor
陳慶曄
莊子德
徐志瑋
黃毓文
Original Assignee
聯發科技股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 聯發科技股份有限公司 filed Critical 聯發科技股份有限公司
Publication of TW201840183A publication Critical patent/TW201840183A/zh
Application granted granted Critical
Publication of TWI670966B publication Critical patent/TWI670966B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/109—Selection of coding mode or of prediction mode among a plurality of temporal predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/523—Motion estimation or motion compensation with sub-pixel accuracy
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/537—Motion estimation other than block-based

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本發明公開了一種視訊編解碼的方法及裝置，其使用廣義雙預測。根據一方法，廣義雙預測被拓展以用於解碼器側運動向量細化，其中不相等加權因數對被允許以形成當前塊的範本或者最終預測子。在另一方法中，廣義雙預測被拓展成基於樣式運動向量推導，其中不相等加權因數對被允許以將由基於基於樣式運動向量推導而推導出的運動向量所指向的參考塊進行組合。在又一方法中，廣義雙預測用於合併模式。當所選擇的最終合併運動向量預測對應於使用不等加權因數對的雙預測時，使用當前塊的複數個相鄰重構像素及複數個相應運動補償像素，推導出新的加權因數對。在再一方法中，加權因數對集的尺寸依存於塊尺寸。

Description

用於視訊編解碼的適應性雙預測的方法及裝置 【優先權聲明】
本發明要求在2016年12月22日提出的申請號為62/437,763的美國臨時專利申請的優先權。上述美國臨時專利申請整體以引用方式併入本文中。
本發明涉及使用廣義雙預測(generalized bi-prediction，GBi)的運動補償以用於畫面間編解碼。具體地，本發明涉及拓展的廣義雙預測技術，其支持解碼器側運動推導畫面間編解碼工具以進一步提高廣義雙預測編解碼性能。
在使用運動補償畫面間預測的現有視訊編解碼系統中，運動資訊通常自編碼器側傳輸至解碼器，使得解碼器可以正確地執行運動補償畫面間預測。在此類系統中，運動資訊將消耗一些已編解碼位元。為了提高編解碼效率，VCEG-AZ07(Jianle Chen,et al.,Further improvements to HMKTA-1.0,ITU-Telecommunications Standardization Sector,Study Group 16 Question 6,Video Coding Experts Group(VCEG),52nd Meeting：19-26 June 2015,Warsaw,Poland)中公開了解碼器側運動向量推導方法。根據VCEG-AZ07，解碼器側運動向量推導方法使 用兩個資訊框率向上轉換(Frame Rate Up-Conversion，FRUC)模式。資訊框率向上轉換模式中的一個稱為用於B片段的雙邊匹配，資訊框率向上轉換模式中的另一個稱為用於P片段或者B片段的範本匹配。
第1圖示出了資訊框率向上轉換雙邊匹配模式的示例，其中當前塊110的運動資訊基於兩個參考圖像而被推導出。當前塊的運動資訊被推導出，透過在兩個不同參考圖像(即Ref0和Ref1)中沿著當前塊的運動軌跡140查找兩個塊(即塊120和塊130)之間的最佳匹配。在假設連續運動軌跡的前提下，指向兩個參考塊的與Ref0相關的運動向量MV0和與Ref1相關的運動向量MV1將與當前圖像(即Cur pic)與兩個參考圖像之間的時間距離，即TD0和TD1成比例。
第2圖示出了範本匹配資訊框率向上轉換模式的示例。當前圖像(即Cur pic)中的當前塊210的相鄰區域(即220a和220b)用作範本，以與參考圖像(第2圖中的Ref0)中的相應範本(即230a和230b)匹配。範本220a/範本220b與範本230a/範本230b之間的最佳匹配將確定解碼器推導出的運動向量240。雖然第2圖中顯示了Ref0，但是Ref1也可以用作參考圖像。
根據VCEG-AZ07，當merge_flag或者skip_flag為真時，FRUC_mrg_flag被發信。如果FRUC_mrg_flag為1，則FRUC_mrg_mode被發信以表示雙邊匹配合併模式還是範本匹配合併模式被選擇。如果FRUC_mrg_flag為0，則在這種情況中，意味著常規合併模式被使用，並且合併索引被發信。在 視訊編解碼中，為了提高編解碼效率，使用運動向量預測(motion vector prediction，MVP)，塊的運動向量可以被預測，其中候選列表被生成。合併候選列表可以用於以合併模式對塊進行編解碼。當合併模式用於編解碼塊時，塊的運動資訊(例如運動向量)可以由合併運動向量(motion vector，MV)列表中的候選運動向量中的一個替代。因此，不是直接發送塊的運動資訊，而是合併索引被發信到解碼器側。解碼器保持相同的合併列表，並使用合併索引以檢測出如合併索引所發信的合併候選。通常，合併候選列表包括較少數量的候選，並且發送合併索引比發送運動資訊有效得多。當塊以合併模式被編解碼時，透過發信合併索引，而不是顯性發送運動資訊，這個塊的運動資訊與相鄰塊的運動資訊“合併”。然而，預測殘值仍被發送。在預測殘值為0或者非常小的情況中，預測殘值被“跳過”(即跳過模式)，並且塊由具有合併索引的跳過模式編解碼，以識別出合併列表中的合併運動向量。
雖然術語資訊框率向上轉換指的是用於資訊框率向上轉換的運動向量推導，但是底層技術用於解碼器推導出一個或複數個合併運動向量候選，而無需顯性發送運動資訊。因此，在本發明中，資訊框率向上轉換也稱為解碼器推導運動資訊。由於範本匹配方法是基於樣式(pattern-based)運動向量推導技術，因此在本發明中，資訊框率向上轉換的範本匹配方法也稱為基於樣式運動向量推導(Pattern-based MV Derivation，PMVD)。
在解碼器側運動向量推導方法中，透過掃描所有 參考資訊框中的所有運動向量，一種稱為時間推導運動向量預測的新的時間運動向量預測被推導出。為了推導出LIST_0時間推導運動向量預測，對於LIST_0參考資訊框中的每個LIST_0運動向量而言，運動向量被縮放成指向當前資訊框。當前資訊框中由此已縮放運動向量指向的4x4塊是目標當前塊。運動向量被進一步縮放成指向LIST_0中的refIdx等於0的參考圖像，以用於當前目標塊。進一步已縮放運動向量被存儲在用於目標當前塊的LIST_0運動向量場。第3A圖和第3B圖示出了推導出分別用於LIST_0和LIST_1的時間推導運動向量預測的示例。在第3A圖和第3B圖中，每個小方形塊對應於4x4塊。時間推導運動向量預測流程掃描所有參考圖像中的所有4x4塊中的所有運動向量，以生成當前資訊框的時間推導LIST_0運動向量預測和時間推導LIST_1運動向量預測。例如，在第3A圖中，塊310、塊312和塊314分別對應於當前圖像(即Cir.pic)的4x4塊、索引等於0的LIST_0參考圖像的4x4塊和索引等於1(即refidx=0)的LIST_0參考圖像的4x4塊。索引等於1(即refidx=1)的LIST_0參考圖像中的兩個塊的運動向量320和運動向量330是已知的。隨後，透過分別縮放運動向量320和運動向量330，時間推導運動向量預測322和時間推導運動向量預測332可以被推導出。隨後，已縮放運動向量預測被分配給相應的塊。同理，在第3B圖中，塊340、塊342和塊344分別對應於當前圖像(即Cir.pic)的4x4塊、索引等於0(即refidx=0)的LIST_1參考圖像的4x4塊和索引等於1(即refidx=1)的LIST_1參考圖像的4x4塊。索引 等於1的LIST_1參考圖像中的兩個塊的運動向量350和運動向量360是已知的。隨後，透過分別縮放運動向量350和運動向量360，時間推導運動向量預測352和時間推導運動向量預測362可以被推導出。
對於雙邊匹配合併模式和範本匹配合併模式，兩階段匹配被使用。第一階段是預測單元(prediction unit，PU)層匹配，第二階段是子預測單元層匹配。在預測單元層匹配中，LIST_0和LIST_1中的複數個原始運動向量分別被選擇。這些運動向量包括來自於合併候選(即常規合併候選，例如HEVC標準中所指定的這些)的運動向量和來自於時間推導運動向量預測的運動向量。兩個不同起始運動向量集被生成以用於兩個列表。對於一個列表中的每個運動向量，透過包括此運動向量及透過將此運動向量縮放到另一列表而推導出的鏡像運動向量，一運動向量對被生成。對於每個運動向量對，透過使用此運動向量對，兩個參考塊被補償。這兩個塊的絕對差之和(sum of absolutely differences，SAD)被計算。具有最小絕對差之和的運動向量對被選擇為最佳運動向量對。
在最佳運動向量被推導以用於預測單元之後，菱形搜索被執行以細化運動向量對。細化精度為1/8像素。細化搜索範圍被限制在±1像素之內。最終運動向量對是預測單元層推導運動向量對。菱形搜索是快速塊匹配運動估計演算法，其在視訊編解碼的領域中是眾所周知的。因此，菱形搜索的細節此處不再重複。
對於第二階段的子預測單元層搜索，當前預測單 元被分割成子預測單元。子預測單元的深度(例如，3)被發信在序列參數集(sequence parameter set，SPS)中。最小子預測單元尺寸是4x4塊。對於每個子預測單元，LIST_0和LIST_1中的複數個起始運動向量被選擇，其包括如下運動向量：預測單元層推導運動向量、0運動向量、當前子預測單元和右下塊的HEVC同位時間運動向量預測(temporal motion vector prediction，TMVP)、當前子預測單元的時間推導運動向量預測以及左側預測單元/子預測單元和上方預測單元/子預測單元的運動向量。透過使用如預測單元層搜索相似的機制，子預測單元的最佳運動向量對被確定。菱形搜索被執行，以細化運動向量對。此子塊的運動補償被執行，以生成用於此子預測單元的預測子。
對於範本匹配，上方4列和左側4行的重構像素用於形成範本。範本匹配被執行，以查找最佳匹配範本及其相應運動向量。兩階段匹配也用於範本匹配。在預測單元層匹配中，LIST_0和LIST_1中的複數個原始運動向量分別被選擇。這些運動向量包括來自於合併候選(即常規合併候選，例如HEVC標準中所指定的這些)的運動向量和來自於時間推導運動向量預測的運動向量。兩個不同起始運動向量集被生成以用於兩個列表。對於一個列表中的每個運動向量，具有此運動向量的範本的絕對差之和成本被計算。具有最小成本的運動向量是最佳運動向量。隨後，菱形搜索被執行，以細化運動向量。細化精度為1/8像素。細化搜索範圍被限制在±1像素之內。最終運動向量是預測單元層推導運動向量。LIST_0和LIST_1中的運動向量單獨被生成。
對於第二階段的子預測單元層搜索，當前預測單元被分割成子預測單元。子預測單元的深度(例如，3)被發信在序列參數集中。最小子預測單元尺寸是4x4塊。對於位於左側預測單元分界線或者頂部預測單元分界線處的每個預測單元，LIST-0和LIST_1中的複數個起始運動向量被選擇，其包括如下運動向量：預測單元層推導運動向量、0運動向量、當前子預測單元和右下塊的HEVC同位時間運動向量預測、當前子預測單元的時間推導運動向量預測以及左側預測單元/子預測單元和上方預測單元/子預測單元的運動向量。透過使用如預測單元層搜索相似的機制，子預測單元的最佳運動向量對被確定。菱形搜索被執行，以細化運動向量對。此子塊的運動補償被執行，以生成用於此子預測單元的預測子。對於不位於左側預測單元分界線或者頂部預測單元分界線處的這些預測單元，第二階段的子預測單元層搜索不被使用，並且相應運動向量被設置成等於第一階段中的運動向量。
在此解碼器運動向量推導方法中，範本匹配也用於生成畫面間模式編解碼的運動向量預測。當參考圖像被選擇時，範本匹配被執行以在所選擇的參考圖像上查找最佳範本。其相應運動向量是推導運動向量預測。此運動向量預測被插入到先進運動向量預測(advanced motionvectorprediction,AMVP)中的第一位置處。先進運動向量預測簡稱AMVP，並且先進運動向量預測是一種編解碼工具，以用於以畫面間編解碼模式對當前塊的運動向量進行編解碼。根據先進運動向量預 測，使用自候選列表選擇的運動向量預測子，當前運動向量被預測地編解碼。當前運動向量與候選列表中的所選擇的運動向量候選之間的運動向量差被編解碼。
在JVET-D0029(Xu Chen,et al.,“Decoder-Side Motion Vector Refinement Based on Bilateral Template Matching”,Joint Video Exploration Team(JVET)of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11, 4th Meeting：Chengdu,CN,15-21 October 2016,Document：JVET-D0029)中，公開了基於雙邊範本匹配的解碼器側運動向量細化(Decoder-Side Motion Vector Refinement，DMVR)。如第4圖所示，透過使用來自於MV0和MV1的參考塊(即410和420)的雙預測，範本被生成。換言之，透過結合兩個參考塊(即410和420)，解碼器側運動向量細化的範本被形成，其不同於第2圖中的PMVD的範本匹配所生成的範本。如第5圖所示，使用範本500作為新的當前塊，並執行運動估計以分別在參考圖像0和參考圖像1中查找最佳匹配塊(分別是510和520)。細化運動向量稱為MV0’和MV1’。隨後，細化運動向量(即MV0’和MV1’)用於生成當前塊的最終雙預測預測塊。
在JVET-C0047(Chun-Chi Chen,et al.,“Generalized bi-prediction for inter coding”,Joint Video Exploration Team(JVET)of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11,3rd Meeting：Geneva,CH,26 May-1 June 2016,Document：JVET-C0047)中，公開了用於畫面間編解碼的廣義雙預測。傳統地，雙預測中的兩個預測子的加權因數相等。然而，廣義雙預測支持不同加權因數以用於這兩個預測子。例如，更大加權因數可以用於L0預測子，更小加權因數可以用於L1預測子。可選地，更大加權因數可以用於L1預測子，更小加權因數可以用於L0預測子。所支持的加權因數的集合可以被預先定義，並且所選擇的加權因數被發信以用於雙預測畫面間編碼單元(coding unit，CU)，或者基於合併候選選擇被推導出。在JVET-C0047中，此集合可以是{3,4,5},{2,3,4,5,6}或者{-2,2,3,4,5,6,10}。
在JVET-C0047中，廣義雙預測不支持解碼器側運動推導畫面間編解碼工具，例如，解碼器側運動向量細化或者基於樣式運動向量推導。這些解碼器側運動推導畫面間編解碼工具已被顯示用於提高編解碼性能。因此，需要開發技術以透過支持解碼器側運動推導畫面間編解碼工具而擴展廣義雙預測方法，以進一步提高廣義雙預測編解碼性能。
本發明公開了一種視訊編解碼的方法及裝置，其使用解碼器側運動向量細化或者基於樣式運動向量推導。根據一方法，當廣義雙預測被使用時，使用不相等加權因數對，用於解碼器側運動向量細化的參考塊0和參考塊1可以被組合，以形成當前塊的當前範本或者最終運動向量預測，或者透過使用不相等加權因數對將細化參考塊0和細化參考塊1進行組合，用於解碼器側運動向量細化的最終預測子可以被生成。當運動向量預測候選用於合併候選列表時，根據合併候選的選擇，不相等加權因數對可以被確定。在一個實施例中，使用不 相等加權因數對，僅最終預測子被形成，而使用相等加權因數對，當前範本被形成。在又一實施例中，使用不相等加權因數對，當前塊的當前範本被生成。在又一實施例中，根據分別計算為當前塊的當前範本與細化參考塊0之間的差和當前塊的當前範本與細化參考塊1之間的差的兩個失真的比例，不相等加權因數對被選擇。
在另一方法中，廣義雙預測被拓展到基於樣式運動向量推導，以用於以合併模式編解碼的塊。包括複數個運動向量預測候選的合併候選列表被推導出，其中使用基於樣式運動向量推導，用於一個運動向量預測候選的至少一個運動向量被推導出。若所選擇的最終運動向量預測候選是雙預測預測子，根據所選擇的最終運動向量預測候選的相應加權因數對，加權因數對可以被選擇。利用選擇的加權因數對，通過將與最終運動向量預測候選的兩個運動向量相關的兩個參考塊相結合，最終預測子被產生。若所選擇的最終運動向量預測候選是使用雙邊匹配推導出的雙預測預測子，最終運動向量預測候選的第一運動向量對應於真實運動向量，且最終運動向量預測候選的第二運動向量對應於鏡像運動向量，則相比於與最終運動向量預測候選的第二運動向量相關的第二參考塊，將更大的加權因數應用到與最終運動向量預測候選的第一運動向量相關的第一參考塊。
根據又一方法，當廣義雙預測用於合併模式時，若所選擇的最終運動向量預測候選是使用不等加權因數對的雙預測預測子，則使用當前塊的複數個相鄰重構像素及複數個 相應運動補償像素，新的加權因數對被推導出。透過使用新的加權因數對將與最終運動向量預測候選的兩個運動向量相關的兩個參考塊進行組合，最終預測子被生成。若最終運動向量預測候選是使用相等加權因數對的雙預測預測子，則相等加權仍然用於生成最終預測子。在最小化當前塊的複數個相鄰重構像素與複數個相應運動補償像素之間的失真的不同加權因數對中，新的加權因數對可以被選擇。例如，當前塊的複數個相鄰重構像素可以包括位於當前塊上方的重構像素列和位於當前塊的左側的重構像素行。
在再一實施例中，廣義雙預測與先進運動向量預測模式一起被使用。根據本發明，加權因數對集被確定，且加權因數對集的尺寸依存於當前塊的塊尺寸。包括複數個運動向量預測候選的先進運動向量預測候選列表被推導出。若所選擇的最終運動向量預測候選是雙預測預測子，則透過使用自加權因數對集選擇的目標加權因數對將與最終運動向量預測候選的兩個運動向量相關的兩個參考塊進行組合，最終預測子被生成。例如，更大尺寸的加權因數對集可以用於更大尺寸的塊尺寸。在一個實施例中，在當前塊的塊尺寸小於閾值尺寸時，加權因數對集僅包括一個相等加權因數對。與加權因數對集的尺寸的塊尺寸依存相關的資訊可以被發信或者預定義在視訊位元流的序列層、圖像層或者片段層中。
110、210‧‧‧當前塊
120、130、310、312、314、340、342、344‧‧‧塊
140‧‧‧運動軌跡
220a、220b、230a、230b、500‧‧‧範本
240、320、330、350、360‧‧‧運動向量
322、332、352、362‧‧‧時間推導運動向量預測
410、420‧‧‧參考塊
510、520‧‧‧最佳匹配塊
610~650、710~760、810~860、910~950‧‧‧步驟
第1圖是使用雙邊匹配技術的運動補償的示例，其中當前 塊由沿著運動軌跡的兩個參考塊預測。
第2圖是使用範本匹配技術的運動補償的示例，其中當前塊的範本與參考圖像中的參考範本匹配。
第3A圖是用於LIST_0參考圖像的時間運動向量預測推導流程的示例。
第3B圖是用於LIST_1參考圖像的時間運動向量預測推導流程的示例。
第4圖是解碼器側運動向量細化的示例，其中範本透過使用來自於與原始運動向量MV0和原始運動向量MV1相關的參考塊(即410和420)的雙預測而被生成。
第5圖是透過使用第4圖中生成的範本作為新的當前塊並執行運動估計以分別在參考圖像0和參考圖像1中查找最佳匹配塊的解碼器側運動向量細化的示例。
第6圖是根據本發明實施例的使用解碼器側運動向量細化和廣義雙預測的視訊編解碼系統的示例性流程圖。
第7圖是根據本發明實施例的使用基於樣式運動向量推導和廣義雙預測的視訊編解碼系統的示例性流程圖。
第8圖是根據本發明實施例的使用廣義雙預測的視訊編解碼系統的示例性流程圖，其中新的加權因數對用於使用合併模式編解碼的塊，且所選擇的合併運動向量預測候選對應於具有不相等的加權因數對的雙預測。
第9圖是根據本發明實施例的使用廣義雙預測的視訊編解碼系統的示例性流程圖，其中加權因數對集的尺寸依存當前塊的塊尺寸。
以下描述為本發明的較佳實施例。以下實施例僅用來舉例闡釋本發明的一般原理，並非用以限定本發明。本發明的保護範圍當視申請專利範圍所界定為准。
在本發明中，公開了幾種方法，以允許廣義雙預測利用來自於解碼器側運動推導畫面間編解碼工具的更好編解碼性能，例如，解碼器側運動向量細化或者基於樣式運動向量推導。
方法1：結合廣義雙預測與解碼器側運動向量細化
根據JVET-C0047和JVET-D0029，解碼器側運動向量細化中僅支持相等的加權因數。為了在解碼器側運動向量細化中支持廣義雙預測，當解碼器側運動向量細化被使用時，根據本方法，不同的加權因數可以被使用。在一個實施例中，解碼器側運動向量細化用於合併模式，加權因數對選擇自合併候選推導出。在此情況中，所選擇的加權因數對將僅被使用以生成最終預測子，而無需改變細化流程。如解碼器側運動向量細化所知，基於當前範本，細化運動向量對(即第5圖中的MV0’和MV1’)被推導出。不相等的加權因數對被應用到細化參考塊(即第5圖中的塊510和塊520)。另外，當前範本透過結合兩個原始參考塊(即第4圖或者第5圖中的塊410和塊420)而被推導出。在本實施例中，當前範本透過使用傳統方法(即使用相等加權)而被推導出，使得細化流程保持與傳統方法相同。在另一實施例中，所選擇的加權因數還可以用於生成運動向量細化的範本。換言之，不相等加權因數對可以被應 用到兩個原始參考塊，以生成當前塊的範本。在再一實施例中，當不相等加權因數對被使用時，透過使用分別被計算為最終參考塊與範本之間的差的兩個失真之間的比例，最終預測子被生成。換句話說，第一失真被計算為與第一細化運動向量MV0’相關的第一細化參考塊(即第5圖中的塊510)與當前塊的範本(510)之間的差。第二失真被計算為與第二細化運動向量MV1’相關的第二細化參考塊(即第5圖中的塊520)與當前塊的範本(510)之間的差。透過確定這兩個失真的比例，適當的加權因數對可以被選擇出。例如，如果第一失真比第二失真大得多，則所選擇的加權因數對的第一加權因數比所選擇的加權因數對的第二加權因數大得多。
方法2：結合廣義雙預測與基於樣式運動向量推導
根據JVET-C0047和VCEG-AZ07，基於樣式運動向量推導中僅支持相等加權因數。為了在基於樣式運動向量推導模式上拓展廣義雙預測。在一個實施例中，基於合併候選中的選擇，加權因數可以被推導出。例如，在範本匹配中，如果最佳合併候選是第一合併候選，則此合併候選的加權因數將用於生成最終預測子。例如，如果MV0是雙邊匹配中的選擇的第一運動向量，且L0的加權因數是5，則等於(5,3)的加權因數對被使用。又例如，在雙邊匹配中，如果最佳候選是L1的第二合併候選中的MV1，則此合併候選中的L1的加權因數(例如，3)用於生成最終預測子(即本示例中的加權因數對(5,3))。在另一實施例中，由於僅一個運動向量為真實運動向量，而另一個透過使用雙邊匹配中的鏡像方法而生成，更大加權因數總 是被分配到由真實運動向量所指向的參考塊。例如，如果在雙邊匹配中，MV0是所選擇的真實運動向量，則L0的加權因數為5，並且等於(5,3)的加權因數對被使用。
方法3：廣義雙預測改善以用於合併模式
根據現有方法，如果一個編碼單元以合併模式被編解碼，則基於合併候選選擇，加權因數被推導出。根據本發明的方法，如果所選擇的合併候選的加權因數相等，則相等的加權因數被應用以形成用於當前塊的預測子。否則，如果所選擇的合併候選的加權因數不等，則透過使用相鄰重構像素和相應運動補償像素，加權因數被推導出。例如，用不同的加權因數，位於當前編碼單元的上方列與左側行的相鄰重構像素和在參考塊中的對應的運動補償像素之間的失真可以被計算出。不同加權因數對中的最佳加權因數對被選擇出。最佳加權因數對可以對應於實現最小失真的一個加權因數對。
方法4：廣義雙預測改善以用於發信
根據現有方法，加權因數的選擇被發信以用於先進運動向量預測的已編解的編碼單元。然而，由於編碼單元尺寸變得更大，發信一個索引的開銷變得更小。因此，本發明公開了一種方法，其中所支持的加權因數依存于編碼單元尺寸。例如，對於具有大於64x64的尺寸的編碼單元，5種不同的加權因數對可以被使用。如果編碼單元尺寸小於64x64，但大於8x8，則僅3種加權因數對可以被支持。如果編碼單元尺寸小於8x8，則僅相等加權因數可以被使用。換言之，在此情況中，僅一個加權因數對被允許。編碼單元尺寸約束和用於不同編碼 單元尺寸的支持的加權因數對可以被預定義或者發信在序列層、圖像層或者片段層。
第6圖示出了根據本發明實施例的使用解碼器側運動向量細化和廣義雙預測的視訊編解碼系統的示例性流程圖。本流程圖以及本發明中的其他流程圖中所示的步驟可以被實作為在編碼器側處和/或解碼器側處的一個或複數個處理器(例如，一個或複數個CPU)上可執行的程式碼。本流程圖中所示的步驟也可以基於執行流程中步驟的諸如一個或複數個電子設備或處理器的硬體而被實作。根據本方法，在步驟610中，接收與當前圖像中的當前塊相關的輸入資料，其中當前塊以雙預測模式被編解碼。在步驟620中，確定指向列表0參考圖像中的參考塊0的原始運動向量0，以及指向列表1參考圖像中的參考塊1的原始運動向量1，其中原始運動向量0和原始運動向量1對應於當前塊的雙預測向量。在步驟630中，使用第一加權因數對，將參考塊0和參考塊1進行組合，以形成當前塊的當前範本。在步驟640中，確定指向列表0參考圖像中的細化參考塊0的細化運動向量0，以及指向列表1參考圖像中的細化參考塊1的細化運動向量1，其中細化運動向量0產生當前塊的當前範本與細化參考塊0之間的最小第一範本成本，並且細化運動向量1產生當前塊的當前範本與列表1參考圖像中的細化參考塊1之間的最小第二範本成本。在步驟650中，透過使用第二加權因數對將細化參考塊0與細化參考塊1進行組合，生成當前塊的最終預測子，其中第一加權因數對和第二加權因數對中的至少一個屬於包括至少一個不相等加權 因數對的加權因數對集。
第7圖示出了根據本發明實施例的使用基於樣式運動向量推導和廣義雙預測的視訊編解碼系統的示例性流程圖。在步驟710中，接收與當前圖像中的當前塊相關的輸入資料。在步驟720中，推導出包括運動向量預測候選的合併候選列表，其中用於一個運動向量預測候選的至少一個運動向量是使用基於樣式運動向量推導推導出的一個基於樣式運動向量。在步驟730中，檢測所選擇的最終運動向量預測候選是否是雙預測預測子。如果結果是“是”，則執行步驟740-步驟760。否則(即來自於步驟730的“否”路徑)，則跳過步驟740-步驟760。在步驟740中，根據所選擇的最終運動向量預測候選的相應加權因數對，選擇一加權因數對。在步驟750中，透過使用加權因數對將與最終運動向量預測候選的兩個運動向量相關的兩個參考塊進行組合，生成最終預測子。在步驟760中，使用最終預測子，對當前塊進行編碼或者解碼。
第8圖示出了根據本發明實施例的使用廣義雙預測的視訊編解碼系統的示例性流程圖，其中新的加權因數對用於使用合併模式編解碼的塊，且所選擇的合併運動向量預測候選對應於具有不等加權因數對的雙預測。在步驟810中，接收與當前圖像中的當前塊相關的輸入資料。在步驟820中，推導出包括運動向量預測候選的合併候選列表。在步驟830中，檢測所選擇的最終運動向量預測候選是否是使用不相等加權因數對的雙預測預測子。如果結果是“是”，則執行步驟840-步驟860。否則(即來自於步驟830的“否”路徑)，則跳過步驟840- 步驟860。在步驟840中，使用當前塊的相鄰重構像素及相應運動補償像素，推導出新的加權因數對。在步驟850中，透過使用新的加權因數對將與最終運動向量預測候選的兩個運動向量相關的兩個參考塊進行組合，生成最終預測子。在步驟860中，使用最終預測子，對當前塊進行編碼或者解碼。
第9圖示出了根據本發明實施例的使用廣義雙預測的視訊編解碼系統的示例性流程圖，其中加權因數對集的尺寸依存當前塊的塊尺寸。在步驟910中，接收與當前圖像中的當前塊相關的輸入資料。在步驟920中，確定加權因數對集，其中加權因數對集的尺寸依存於當前塊的塊尺寸。在步驟930中，推導出包括運動向量預測候選的先進運動向量預測候選列表。在步驟940中，如果所選擇的最終運動向量預測候選是雙預測預測子，則透過使用自加權因數對集選擇的目標加權因數對將與最終運動向量預測候選的兩個運動向量相關的兩個參考塊進行組合，生成最終預測子。在步驟950中，使用最終預測子，對當前塊進行編碼或者解碼。
所示的流程圖用於示出根據本發明的視訊編解碼的示例。在不脫離本發明的精神的情況下，所屬領域中具有通常知識者可以修改每個步驟、重組這些步驟、將一個步驟進行分離或者組合這些步驟而實施本發明。在本發明中，具體的語法和語義已被使用以示出實現本發明實施例的示例。在不脫離本發明的精神的情況下，透過用等同的語法和語義來替換該語法和語義，具有習知技術者可以實施本發明。
上述說明，使得所屬領域中具有習知技術者能夠 在特定應用程式的內容及其需求中實施本發明。對所屬領域中具有習知技術者來說，所描述的實施例的各種變形將是顯而易見的，並且本文定義的一般原則可以應用於其他實施例中。因此，本發明不限於所示和描述的特定實施例，而是將被賦予與本文所公開的原理和新穎特徵相一致的最大範圍。在上述詳細說明中，說明了各種具體細節，以便透徹理解本發明。儘管如此，將被本領域的具有習知技術者理解的是，本發明能夠被實踐。
如上所述的本發明的實施例可以在各種硬體、軟體代碼或兩者的結合中實現。例如，本發明的實施例可以是整合在視訊壓縮晶片內的電路，或者是整合到視訊壓縮軟體中的程式碼，以執行本文所述的處理。本發明的一個實施例也可以是在數位訊號處理器(Digital Signal Processor，DSP)上執行的程式碼，以執行本文所描述的處理。本發明還可以包括由電腦處理器、數位訊號處理器、微處理器或現場可程式設計閘陣列(field programmable gate array，FPGA)所執行的若干函數。根據本發明，透過執行定義了本發明所實施的特定方法的機器可讀軟體代碼或者固件代碼，這些處理器可以被配置為執行特定任務。軟體代碼或固件代碼可以由不同的程式設計語言和不同的格式或樣式開發。軟體代碼也可以編譯為不同的目標平臺。然而，執行本發明的任務的不同的代碼格式、軟體代碼的樣式和語言以及其他形式的配置代碼，不會背離本發明的精神和範圍。
本發明可以以不脫離其精神或本質特徵的其他具 體形式來實施。所描述的例子在所有方面僅是說明性的，而非限制性的。因此，本發明的範圍由申請專利範圍來表示，而不是前述的描述來表示。請求項的含義以及相同範圍內的所有變化都應納入其範圍內。

Claims (20)

  1. 一種視訊編解碼的方法，使用解碼器側運動向量細化，該方法包括：接收與當前圖像中的當前塊相關的輸入資料，其中該當前塊以雙預測模式被編解碼；確定指向列表0參考圖像中的參考塊0的原始運動向量0，以及指向列表1參考圖像中的參考塊1的原始運動向量1，其中該原始運動向量0和該原始運動向量1均對應於該當前塊的雙預測向量；使用第一加權因數對，將該參考塊0和該參考塊1進行組合，以形成該當前塊的當前範本；確定該列表0參考圖像中的細化參考塊0的細化運動向量0，以及該列表1參考圖像中的細化參考塊1的細化運動向量1，其中該細化運動向量0產生該當前塊的該當前範本與該細化參考塊0之間的最小第一範本成本，並且該細化運動向量1產生該當前塊的該當前範本與該列表1參考圖像中的該細化參考塊1之間的最小第二範本成本；以及透過使用第二加權因數對將該細化參考塊0與該細化參考塊1進行組合，生成該當前塊的最終預測子；其中，該第一加權因數對和該第二加權因數對中的至少一個屬於包括至少一個不相等加權因數對的加權因數對集。
  2. 如申請專利範圍第1項所述之視訊編解碼的方法，其中，當該當前塊以合併模式被編解碼時，該第一加權因數對、該第二加權因數對及其組合基於複數個合併候選中的選擇 而被推導出。
  3. 如申請專利範圍第1項所述之視訊編解碼的方法，其中，僅該第二加權因數對包括至少一個不相等加權因數對，並且該第一加權因數對被限制成相等加權。
  4. 如申請專利範圍第1項所述之視訊編解碼的方法，其中，該第一加權因數對包括至少一個不等加權因數對，且使用一個不相等加權因數對，該當前塊的該當前範本而被生成。
  5. 如申請專利範圍第1項所述之視訊編解碼的方法，其中，若一個不相等加權因數對用於該第一加權因數對、該第二加權因數對或其組合，則根據分別計算為該當前塊的該當前範本與該細化參考塊0之間的差以及該當前塊的該當前範本與該細化參考塊1之間的差的兩個失真的比例，該一個加權因數對被選擇。
  6. 一種視訊編解碼的裝置，使用解碼器側運動向量細化，該裝置包括一個或複數個電子電路或處理器，用於：接收與當前圖像中的當前塊相關的輸入資料，其中該當前塊以雙預測模式被編解碼；確定指向列表0參考圖像中的參考塊0的原始運動向量0，以及指向列表1參考圖像中的參考塊1的原始運動向量1，其中該原始運動向量0和該原始運動向量1均對應於該當前塊的雙預測向量；使用第一加權因數對，將該參考塊0和該參考塊1進行組合，以形成該當前塊的當前範本；確定該列表0參考圖像中的細化參考塊0的細化運動向量 0，以及該列表1參考圖像中的細化參考塊1的細化運動向量1，其中該細化運動向量0產生該當前塊的該當前範本與該細化參考塊0之間的最小第一範本成本，並且該細化運動向量1產生該當前塊的該當前範本與該列表1參考圖像中的該細化參考塊1之間的最小第二範本成本；以及透過使用第二加權因數對將該細化參考塊0與該細化參考塊1進行組合，生成該當前塊的最終預測子；其中，該第一加權因數對和該第二加權因數對中的至少一個屬於包括至少一個不相等加權因數對的加權因數對集。
  7. 一種視訊編解碼的方法，使用廣義雙預測以用於合併模式，該方法包括：接收與當前圖像中的當前塊相關的輸入資料；推導出包括複數個運動向量預測候選的合併候選列表，其中用於一個運動向量預測候選的至少一個運動向量是使用基於樣式運動向量推導而推導出的一個基於樣式運動向量；若自該合併候選列表選擇的最終運動向量預測候選是雙預測預測子，則：根據該最終運動向量預測候選的相應加權因數對，選擇加權因數對；透過使用該加權因數對將與該最終運動向量預測候選的兩個運動向量相關的兩個參考塊進行組合，生成最終預測子；以及使用該最終預測子，對該當前塊進行編碼或者解碼。
  8. 如申請專利範圍第7項所述之視訊編解碼的方法，其中，若該最終運動向量預測候選是使用雙邊匹配推導出的該雙預測預測子，該最終運動向量預測候選的第一運動向量對應於真實運動向量，且該最終運動向量預測候選的第二運動向量對應於鏡像運動向量，則生成該最終預測子包括：相比於與該最終運動向量預測候選的該第二運動向量相關的第二參考塊，將更大的加權因數應用到與該最終運動向量預測候選的該第一運動向量相關的第一參考塊。
  9. 一種視訊編解碼的裝置，使用廣義雙預測以用於合併模式，該裝置包括一個或複數個電子電路或處理器，用於：接收與當前圖像中的當前塊相關的輸入資料；推導出包括複數個運動向量預測候選的合併候選列表，其中用於一個運動向量預測候選的至少一個運動向量是使用基於樣式運動向量推導而推導出的一個基於樣式運動向量；若自該合併候選列表選擇的最終運動向量預測候選是雙預測預測子，則：根據該最終運動向量預測候選的相應加權因數對，選擇加權因數對；透過使用該加權因數對將與該最終運動向量預測候選的兩個運動向量相關的兩個參考塊進行組合，生成最終預測子；以及使用該最終預測子，對該當前塊進行編碼或者解碼。
  10. 一種視訊編解碼的方法，使用廣義雙預測以用於合併模式， 該方法包括：接收與當前圖像中的當前塊相關的輸入資料；推導出包括複數個運動向量預測候選的合併候選列表；若自該合併候選列表選擇的最終運動向量預測候選是使用不相等加權因數對的雙預測預測子，則：使用該當前塊的複數個相鄰重構像素及複數個相應運動補償像素，推導出新的加權因數對；透過使用該新的加權因數對將與該最終運動向量預測候選的兩個運動向量相關的兩個參考塊進行組合，生成最終預測子；以及使用該最終預測子，對該當前塊進行編碼或者解碼。
  11. 如申請專利範圍第10項所述之視訊編解碼的方法，其中，推導出該新的加權因數對包括：在最小化該當前塊的該等相鄰重構像素與複數個相應運動補償像素之間的失真的不同加權因數對中選擇該新的加權因數對。
  12. 如申請專利範圍第11項所述之視訊編解碼的方法，其中，該當前塊的該等相鄰重構像素包括位於該當前塊上方的重構像素列和位於該當前塊的左側的重構像素行。
  13. 如申請專利範圍第10項所述之視訊編解碼的方法，其中，還包括：若該最終運動向量預測候選是使用相等加權因數對的雙預測預測子，則透過使用該相等加權因數對將與該最終運動向量預測候選的該兩個運動向量相關的該兩個參考塊進行 組合，生成該最終預測子。
  14. 一種視訊編解碼的裝置，使用廣義雙預測以用於合併模式，該裝置包括一個或複數個電子電路或處理器，用於：接收與當前圖像中的當前塊相關的輸入資料；推導出包括複數個運動向量預測候選的合併候選列表；若自該合併候選列表選擇的最終運動向量預測候選是使用不相等加權因數對的雙預測預測子，則：使用該當前塊的複數個相鄰重構像素及複數個相應運動補償像素，推導出新的加權因數對；透過使用該新的加權因數對將與該最終運動向量預測候選的兩個運動向量相關的兩個參考塊進行組合，生成最終預測子；以及使用該最終預測子，對該當前塊進行編碼或者解碼。
  15. 如申請專利範圍第14項所述之視訊編解碼的裝置，其中，該一個或複數個電子電路或處理用於：若該最終運動向量預測候選是使用相等加權因數對的雙預測預測子，則透過使用該相等加權因數對將與該最終運動向量預測候選的該兩個運動向量相關的該兩個參考塊進行組合，生成該最終預測子。
  16. 一種視訊編解碼的方法，使用廣義雙預測以用於先進運動向量預測模式，該方法包括：接收與當前圖像中的當前塊相關的輸入資料；確定加權因數對集，其中加權因數對集的尺寸依存於該當前塊的塊尺寸； 推導出包括複數個運動向量預測候選的先進運動向量預測候選列表；若自該先進運動向量預測候選列表選擇的最終運動向量預測候選是雙預測預測子，則透過使用自加權因數對集選擇的目標加權因數對將與該最終運動向量預測候選的兩個運動向量相關的兩個參考塊進行組合，生成最終預測子；以及使用該最終預測子，對該當前塊進行編碼或者解碼。
  17. 如申請專利範圍第16項所述之視訊編解碼的方法，其中，更大尺寸的該加權因數對集用於更大尺寸的塊尺寸。
  18. 如申請專利範圍第16項所述之視訊編解碼的方法，其中，在該當前塊的該塊尺寸小於閾值尺寸時，該加權因數對集僅包括一個相等加權因數對。
  19. 如申請專利範圍第16項所述之視訊編解碼的方法，其中，與該加權因數對集的尺寸的塊尺寸依存相關的資訊被發信或者預定義在視訊位元流的序列層、圖像層或者片段層中。
  20. 一種視訊編解碼的裝置，使用廣義雙預測以用於合併模式，該裝置包括一個或複數個電子電路或處理器，用於：接收與當前圖像中的當前塊相關的輸入資料；確定加權因數對集，其中加權因數對集的尺寸依存於該當前塊的塊尺寸；推導出包括複數個運動向量預測候選的先進運動向量預測候選列表；若自該合併候選列表選擇的最終運動向量預測候選是雙預 測預測子，則透過使用自加權因數對集選擇的目標加權因數對將與該最終運動向量預測候選的兩個運動向量相關的兩個參考塊進行組合，生成最終預測子；以及使用該最終預測子，對該當前塊進行編碼或者解碼。
TW106145050A 2016-12-22 2017-12-21 用於視訊編解碼的適應性雙預測的方法及裝置 TWI670966B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201662437763P 2016-12-22 2016-12-22
US62/437,763 2016-12-22
US15/848,154 US10750203B2 (en) 2016-12-22 2017-12-20 Method and apparatus of adaptive bi-prediction for video coding
US15/848,154 2017-12-20

Publications (2)

Publication Number Publication Date
TW201840183A TW201840183A (zh) 2018-11-01
TWI670966B true TWI670966B (zh) 2019-09-01

Family

ID=62630855

Family Applications (1)

Application Number Title Priority Date Filing Date
TW106145050A TWI670966B (zh) 2016-12-22 2017-12-21 用於視訊編解碼的適應性雙預測的方法及裝置

Country Status (2)

Country Link
US (2) US10750203B2 (zh)
TW (1) TWI670966B (zh)

Families Citing this family (56)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3484159A4 (en) 2016-07-05 2019-12-04 KT Corporation METHOD AND APPARATUS FOR PROCESSING VIDEO SIGNAL
CN117528108A (zh) * 2016-11-28 2024-02-06 英迪股份有限公司 图像编码方法、图像解码方法及用于传送比特流的方法
EP3451665A1 (en) * 2017-09-01 2019-03-06 Thomson Licensing Refinement of internal sub-blocks of a coding unit
CN109996081B (zh) 2017-12-31 2023-09-12 华为技术有限公司 图像预测方法、装置以及编解码器
CN111771377B (zh) * 2018-01-30 2024-09-20 松下电器（美国）知识产权公司 编码装置
WO2019190907A1 (en) * 2018-03-30 2019-10-03 Vid Scale, Inc Template-based inter prediction techniques based on encoding and decoding latency reduction
EP3794819A4 (en) * 2018-05-23 2022-12-07 HFI Innovation Inc. METHOD AND APPARATUS FOR VIDEO CODING WITH BI-DIRECTIONAL CU WEIGHTS
WO2019234598A1 (en) 2018-06-05 2019-12-12 Beijing Bytedance Network Technology Co., Ltd. Interaction between ibc and stmvp
JP7096373B2 (ja) 2018-06-07 2022-07-05 北京字節跳動網絡技術有限公司 部分的コスト計算
EP3804324A4 (en) 2018-06-11 2022-08-03 HFI Innovation Inc. BIDIRECTIONAL OPTICAL FLOW METHOD AND APPARATUS FOR VIDEO CODING
WO2019244117A1 (en) 2018-06-21 2019-12-26 Beijing Bytedance Network Technology Co., Ltd. Unified constrains for the merge affine mode and the non-merge affine mode
TWI729422B (zh) 2018-06-21 2021-06-01 大陸商北京字節跳動網絡技術有限公司 色彩分量間的子區塊移動向量繼承
CN117354506A (zh) 2018-06-29 2024-01-05 英迪股份有限公司 对图像解码和编码的方法及非暂态计算机可读存储介质
US10638153B2 (en) * 2018-07-02 2020-04-28 Tencent America LLC For decoder side MV derivation and refinement
TWI719519B (zh) * 2018-07-02 2021-02-21 大陸商北京字節跳動網絡技術有限公司 對於dmvr的塊尺寸限制
MX2021001833A (es) * 2018-08-17 2021-05-12 Hfi Innovation Inc Metodos y aparatos de procesamiento de video con prediccion bidireccional en sistemas de codificacion de video.
WO2020047788A1 (en) * 2018-09-05 2020-03-12 Huawei Technologies Co., Ltd. Method and apparatus for coding image of video sequence, and terminal device
CN116743992A (zh) * 2018-09-13 2023-09-12 华为技术有限公司 用于视频译码中的条件性解码器侧运动矢量修正的装置和方法
MX2021000686A (es) 2018-09-19 2021-03-25 Huawei Tech Co Ltd Metodo para omitir refinamiento con base en la similitud de parches en el refinamiento de vector de movimiento del lado del decodificador basado en interpolacion bilineal.
GB2591906B (en) 2018-09-24 2023-03-08 Beijing Bytedance Network Tech Co Ltd Bi-prediction with weights in video coding and decoding
TW202029755A (zh) 2018-09-26 2020-08-01 美商Ｖｉｄ衡器股份有限公司 視訊編碼雙預測
MX2021003793A (es) * 2018-10-02 2021-05-27 Interdigital Vc Holdings Inc Prediccion ponderada y bi-prediccion generalizada.
WO2020084461A1 (en) * 2018-10-22 2020-04-30 Beijing Bytedance Network Technology Co., Ltd. Restrictions on decoder side motion vector derivation based on coding information
CN111083489B (zh) 2018-10-22 2024-05-14 北京字节跳动网络技术有限公司 多次迭代运动矢量细化
CN112889284A (zh) 2018-10-22 2021-06-01 北京字节跳动网络技术有限公司 基于子块的解码器侧运动矢量推导
WO2020084507A1 (en) 2018-10-23 2020-04-30 Beijing Bytedance Network Technology Co., Ltd. Harmonized local illumination compensation and modified inter prediction coding
WO2020084508A1 (en) 2018-10-23 2020-04-30 Beijing Bytedance Network Technology Co., Ltd. Harmonization between local illumination compensation and inter prediction coding
WO2020094150A1 (en) 2018-11-10 2020-05-14 Beijing Bytedance Network Technology Co., Ltd. Rounding in current picture referencing
WO2020098644A1 (en) * 2018-11-12 2020-05-22 Beijing Bytedance Network Technology Co., Ltd. Bandwidth control methods for inter prediction
CN113039796B (zh) * 2018-11-17 2023-09-19 北京字节跳动网络技术有限公司 视频处理中的广义双向预测模式
CN113170093B (zh) * 2018-11-20 2023-05-02 北京字节跳动网络技术有限公司 视频处理中的细化帧间预测
US11146810B2 (en) * 2018-11-27 2021-10-12 Qualcomm Incorporated Decoder-side motion vector refinement
CN111263152B (zh) 2018-11-30 2021-06-01 华为技术有限公司 视频序列的图像编解码方法和装置
CN113454999B (zh) * 2019-01-02 2024-07-02 北京字节跳动网络技术有限公司 划分模式之间的运动矢量推导
WO2020147747A1 (en) 2019-01-15 2020-07-23 Beijing Bytedance Network Technology Co., Ltd. Weighted prediction in video coding
CN113302919A (zh) * 2019-01-17 2021-08-24 北京字节跳动网络技术有限公司 在视频处理中使用虚拟候选预测和加权预测
WO2020151764A1 (en) * 2019-01-27 2020-07-30 Beijing Bytedance Network Technology Co., Ltd. Improved method for local illumination compensation
CN113383548A (zh) 2019-02-03 2021-09-10 北京字节跳动网络技术有限公司 Mv精度和mv差编解码之间的相互作用
PL3909247T3 (pl) * 2019-02-08 2024-08-12 Beijing Dajia Internet Information Technology Co., Ltd. Sposób i urządzenie do selektywnego stosowania udoskonalania wektora ruchu po stronie dekodera dla kodowania wideo
EP3909239A4 (en) * 2019-02-14 2022-04-20 Beijing Bytedance Network Technology Co., Ltd. SELECTIVE SIZE APPLICATION OF DECODER SIDE REFINING TOOLS
US11166037B2 (en) 2019-02-27 2021-11-02 Mediatek Inc. Mutual excluding settings for multiple tools
US11190797B2 (en) * 2019-03-01 2021-11-30 Qualcomm Incorporated Constraints on decoder-side motion vector refinement based on weights for bi-predicted prediction
WO2020177727A1 (en) 2019-03-05 2020-09-10 Huawei Technologies Co., Ltd. Dmvr using decimated prediction block
CN113545073B (zh) * 2019-03-05 2023-07-11 华为技术有限公司 在解码侧运动修正搜索期间使用扩展样本
KR102635518B1 (ko) 2019-03-06 2024-02-07 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 변환된 단예측 후보의 사용
EP3912354A4 (en) * 2019-03-08 2022-03-16 Huawei Technologies Co., Ltd. SEARCH REGION FOR MOTION VECTOR REFINEMENT
WO2020181476A1 (zh) * 2019-03-11 2020-09-17 华为技术有限公司 视频图像预测方法及装置
CN112672156B (zh) * 2019-03-11 2022-07-29 杭州海康威视数字技术股份有限公司 一种编解码方法、装置及其设备
US20220150532A1 (en) * 2019-03-11 2022-05-12 Telefonaktiebolaget Lm Ericsson (Publ) Motion refinement and weighted prediction
CN118118657A (zh) * 2019-03-13 2024-05-31 Lg 电子株式会社 基于dmvr的帧间预测方法和设备
US11985324B2 (en) 2019-03-14 2024-05-14 Hfi Innovation Inc. Methods and apparatuses of video processing with motion refinement and sub-partition base padding
WO2020211755A1 (en) * 2019-04-14 2020-10-22 Beijing Bytedance Network Technology Co., Ltd. Motion vector and prediction sample refinement
KR20220098294A (ko) * 2019-06-17 2022-07-11 베이징 다지아 인터넷 인포메이션 테크놀로지 컴퍼니 리미티드 비디오 코딩에서의 디코더 측 모션 벡터 개선을 위한 방법들 및 장치들
JP7471328B2 (ja) * 2019-06-21 2024-04-19 ホアウェイ・テクノロジーズ・カンパニー・リミテッド エンコーダ、デコーダ、および対応する方法
US11863774B2 (en) * 2021-01-15 2024-01-02 Tencent America LLC Method and apparatus for video coding
US20240015278A1 (en) * 2022-07-08 2024-01-11 Tencent America LLC Method and apparatus for bi-prediction with sample adaptive weights

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8824558B2 (en) * 2010-11-23 2014-09-02 Mediatek Inc. Method and apparatus of spatial motion vector prediction
EP3754982B1 (en) * 2011-09-29 2024-05-01 SHARP Kabushiki Kaisha Image decoding device, image decoding method, image encoding method and image encoding device for performing bi-prediction to uni-prediction conversion
EP3174301A1 (en) * 2011-10-17 2017-05-31 Kabushiki Kaisha Toshiba Decoding device and decoding method
US9491460B2 (en) * 2013-03-29 2016-11-08 Qualcomm Incorporated Bandwidth reduction for video coding prediction
JP6469588B2 (ja) * 2013-12-19 2019-02-13 シャープ株式会社 残差予測装置、画像復号装置、画像符号化装置、残差予測方法、画像復号方法、および画像符号化方法
KR102469145B1 (ko) * 2015-10-13 2022-11-21 삼성전자주식회사 영상을 부호화 또는 복호화하는 방법 및 장치
CN115118971A (zh) * 2016-05-13 2022-09-27 Vid拓展公司 用于视频编码的通用式多假设预测的系统及方法
US10560712B2 (en) * 2016-05-16 2020-02-11 Qualcomm Incorporated Affine motion prediction for video coding
US10728572B2 (en) * 2016-09-11 2020-07-28 Lg Electronics Inc. Method and apparatus for processing video signal by using improved optical flow motion vector
WO2018056602A1 (ko) * 2016-09-22 2018-03-29 엘지전자 주식회사 영상 코딩 시스템에서 인터 예측 방법 및 장치
WO2018056763A1 (ko) * 2016-09-23 2018-03-29 엘지전자(주) 템플릿 기반 가중치를 이용하여 예측을 수행하는 방법 및 장치
US10880552B2 (en) * 2016-09-28 2020-12-29 Lg Electronics Inc. Method and apparatus for performing optimal prediction based on weight index
US10701366B2 (en) * 2017-02-21 2020-06-30 Qualcomm Incorporated Deriving motion vector information at a video decoder
US10523964B2 (en) * 2017-03-13 2019-12-31 Qualcomm Incorporated Inter prediction refinement based on bi-directional optical flow (BIO)
US20180332298A1 (en) * 2017-05-10 2018-11-15 Futurewei Technologies, Inc. Bidirectional Prediction In Video Compression

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
C.-C. Chen et al., "Generalized bi-prediction for inter coding," Joint Video Exploration Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11, 3rd Meeting: Geneva, CH, 26 May – 1 June 2016. (JVET-C0047).。
Ｘ. Chen et al., "Decoder-Side Motion Vector Refinement Based on Bilateral Template Matching," Joint Video Exploration Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11, 4th Meeting: Chengdu, CN, 15–21 October 2016. (JVET-D0029).
Ｘ. Chen et al., "Decoder-Side Motion Vector Refinement Based on Bilateral Template Matching," Joint Video Exploration Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11, 4th Meeting: Chengdu, CN, 15–21 October 2016. (JVET-D0029). C.-C. Chen et al., "Generalized bi-prediction for inter coding," Joint Video Exploration Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11, 3rd Meeting: Geneva, CH, 26 May – 1 June 2016. (JVET-C0047). *

Also Published As

Publication number Publication date
US20200344491A1 (en) 2020-10-29
TW201840183A (zh) 2018-11-01
US10750203B2 (en) 2020-08-18
US20180184117A1 (en) 2018-06-28
US11146815B2 (en) 2021-10-12

Similar Documents

Publication Publication Date Title
TWI670966B (zh) 用於視訊編解碼的適應性雙預測的方法及裝置
TWI670970B (zh) 在視訊編解碼中預測子細化的候選跳過的方法和裝置
US20200077088A1 (en) Method and apparatus of decoder side motion derivation for video coding
TWI674794B (zh) 用於視訊編解碼的運動細化的方法以及裝置
US11381834B2 (en) Video processing methods and apparatuses for sub-block motion compensation in video coding systems
TWI677237B (zh) 用於視訊編解碼的雙向模板運動向量微調的方法及裝置
TWI687096B (zh) 用於視訊編解碼之運動向量限制方法和裝置
TWI720753B (zh) 簡化的三角形合併模式候選列表導出的方法以及裝置
TW201944781A (zh) 視訊編解碼系統中具有重疊塊運動補償的視訊處理的方法以及裝置
TWI738236B (zh) 視訊編碼中具有運動精化的雙向預測視訊處理方法和裝置
KR102463478B1 (ko) 비디오 코딩 시스템을 위한 아핀 인터 예측 방법 및 장치