TWI670970B - 在視訊編解碼中預測子細化的候選跳過的方法和裝置 - Google Patents

在視訊編解碼中預測子細化的候選跳過的方法和裝置 Download PDF

Info

Publication number
TWI670970B
TWI670970B TW107101218A TW107101218A TWI670970B TW I670970 B TWI670970 B TW I670970B TW 107101218 A TW107101218 A TW 107101218A TW 107101218 A TW107101218 A TW 107101218A TW I670970 B TWI670970 B TW I670970B
Authority
TW
Taiwan
Prior art keywords
motion
motion vector
target
block
current block
Prior art date
Application number
TW107101218A
Other languages
English (en)
Other versions
TW201832557A (zh
Inventor
莊子德
徐志瑋
陳慶曄
Original Assignee
聯發科技股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 聯發科技股份有限公司 filed Critical 聯發科技股份有限公司
Publication of TW201832557A publication Critical patent/TW201832557A/zh
Application granted granted Critical
Publication of TWI670970B publication Critical patent/TWI670970B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/533—Motion estimation using multistep search, e.g. 2D-log search or one-at-a-time search [OTS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/523—Motion estimation or motion compensation with sub-pixel accuracy
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/55—Motion estimation with spatial constraints, e.g. at image or region borders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/56—Motion estimation with initialisation of the vector search, e.g. estimating a good candidate to initiate a search
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/573—Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本發明公開了使用具有降低頻寬的運動細化的方法和裝置。根據一方法，透過使用包括目標運動補償參考塊的參考資料在多個運動向量候選中進行搜索，使用預測子細化流程以生成當前塊的運動細化，其中如果目標運動向量候選需要來自於位於有效參考塊外部的目標運動補償參考塊的目標參考資料，則將目標運動向量候選從在多個運動向量候選進行搜索中排除，或者將更靠近當前塊的相應塊的中心的替換運動向量候選用作目標運動向量候選的替換。在另一方法中，如果目標運動向量候選屬於一個或多個目標分數像素位置，則將縮短抽頭長度的插值濾波器應用于目標運動向量候選。

Description

在視訊編解碼中預測子細化的候選跳過的方法和裝置 【優先權聲明】
本發明要求於2017年01月12日提交的申請號為62/445,287美國臨時專利申請案的優先權。此美國臨時專利申請案以引用方式包含在本文中。
本發明涉及使用預測子細化(predictor refine)流程的運動補償，例如基於模型的運動向量推導(Pattern-based MV Derivation，PMVD)，雙向光流(Bi-directional Optical flow，BIO)或者解碼器側運動向量細化(Decoder-side MV Refinement，DMVR)，以細化預測塊的運動。特別地，本發明涉及與解碼器側運動向量細化流程相關的降低頻寬。
基於模型的運動向量推導
在VCEG-AZ07(Jianle Chen,et al.,Further improvements to HMKTA-1.0,ITU-Telecommunications Standardization Sector,Study Group 16 Question 6,Video Coding Experts Group(VCEG),52nd Meeting：19-26 June 2015, Warsaw,Poland)中公開了一種基於模型的運動向量推導方法。根據VCEG-AZ07，解碼器側運動向量推導方法使用兩個幀率向上轉換(Frame Rate Up-Conversion，FRUC)模式。幀率向上轉換模式中的一個被稱為雙邊匹配，以用於B片段，且幀率向上轉換模式中的另一個被稱為模板匹配，以用於P片段或B片段。第1圖示出了幀率向上轉換雙邊匹配模式的示例，其中當前塊110的運動資訊是基於兩個參考圖像被推導出。當前塊的運動資訊是透過在兩個不同參考圖像(即Ref0和Ref1)中沿著當前塊110的運動軌跡查找兩個塊(即120和130)之間的最佳匹配而被推導出。在連續運動軌跡的假設下，指向參考塊120和參考塊130的與Ref0相關的運動向量MV0以及與Ref1相關的運動向量MV1應該與當前圖像(即Cur pic)和兩個參考圖像(Ref0和Ref1)之間的時間距離，即TD0與TD1成比例。
第2圖示出了幀率向上轉換模板匹配模式的示例。將當前圖像(即Cur pic)中的當前塊210的相鄰區域(即220a和220b)用作模板，以與參考圖像(即圖2中的Ref0)中的相應模板(即230a和230b)匹配。模板220a/模板220b與模板230a/模板230b之間的最佳匹配將確定解碼器推導運動向量240。雖然第2圖中只有呈現Ref0，Ref1也可用作參考圖像。
根據VCEG-AZ07，當merge_flag或skip_flag為真時，FRUC_mrg_flag被發信(signaled)。如果FRUC_mrg_flag為1，那麼FRUC_merge_mode被發信以指示雙邊匹配合併模式或模板匹配合併模式是否被選擇。如果FRUC_mrg_flag為0，意味著在此情況下常規合併模式被使用，且一合併索引被發信。在視訊編解碼中，為了提高編解碼效率，會使用運動向量預測(motion vector prediction，MVP)去預測塊的運動向量，過程中會生成一候選列表。合併候選列表可以用於合併模式編解碼塊。當合併模式用於編解碼塊時，塊的運動資訊(如運動向量(motion vector，MV))可以由合併運動向量列表中的一個候選運動向量來表示。因此，不是直接傳輸塊的運動資訊，而是將合併索引傳輸至解碼器側。解碼器維持一相同的合併列表且使用合併索引檢索(retrieve)出由合併索引發信的合併候選。一般而言，合併候選列表包括少量候選，且傳輸合併索引比傳輸運動資訊有效得多。當塊以合併模式被編解碼時，透過發信合併索引，而不是顯性地傳輸，其運動資訊與相鄰塊的運動資訊“合併”。可是，預測殘差仍被傳輸。在預測殘差為零或非常小的情況下，預測殘差被“跳過(skipped)”(即跳過模式)，且塊採用具有合併索引的跳過模式被編解碼，以識別出合併列表中的合併運動向量。
雖然術語FRUC是指幀率向上轉換的運動向量推導，但底層技術旨在用於解碼器推導一個或複數個合併運動向量候選而無需顯性地傳輸運動資訊。因此，在本申請中幀率向上轉換也被稱為解碼器推導運動向量。由於模板匹配方法是一種基於模型的運動向量推導技術，故在本發明中幀率向上轉換的模板匹配方法也被稱為基於模型的運動向量推導。
在解碼器側運動向量推導方法中，透過掃描所有 參考圖像中的所有運動向量，稱為時間推導運動向量預測的新時間運動向量預測被推導。為了推導LIST_0時間推導運動向量預測，對於LIST_0參考圖像中的每個LIST_0運動向量，此運動向量被縮放以指向當前圖像。當前圖像中被已縮放運動向量指向的4x4塊是目標當前塊。此運動向量進一步被縮放以指向用於目標當前塊的LIST_0中refldx等於0的參考圖像。該進一步縮放的運動向量被存儲於LIST_0運動向量場中以用於目標當前塊。第3A圖和第3B圖示出了分別推導LIST_0和LIST_1的時間推導運動向量預測的示例。在第3A圖和第3B圖中，每個小正方形塊對應一4x4塊。時間推導運動向量預測流程掃描所有參考圖像中所有4x4塊內的所有運動向量，以生成當前圖像的時間推導LIST_0運動向量預測和時間推導LIST_1運動向量預測。例如，在第3A圖中，塊310、塊312以及塊314分別對應於當前圖像(即Cur.pic)、索引等於0(即refidx=0)的LIST_0參考圖像以及索引等於1(即refidx=1)的LIST_0參考圖像的4x4塊。索引等於1的LIST_0參考圖像中的兩個塊的運動向量320和運動向量330是已知的。然後，分別透過縮放運動向量320和運動向量330，時間推導運動向量預測322和時間推導運動向量預測332可以被推導出。已縮放運動向量預測接著被分配給相應塊。類似地，在第3B圖中，塊340、塊342以及塊344分別對應於當前圖像(Cur.pic)、索引等於0(即refidx=0)的LIST_1參考圖像以及索引等於1(即refidx=1)的LIST_1參考圖像的4x4塊。索引等於1的LIST_1參考圖像中的兩個塊的運動向量350和運動向量360 是已知的。然後，分別透過縮放運動向量350和運動向量360，時間推導運動向量預測352和時間推導運動向量預測362可以被推導出。
對於雙邊匹配合併模式和模板匹配合併模式，採用雙階段匹配(two-stage matching)。第一階段為預測單元層(PU-level)匹配，且第二階段為子預測單元層匹配。在預測單元層匹配中，LIST_0和LIST_1中的複數個初始運動向量被分別選擇。這些運動向量包括來自於合併候選的運動向量(即常規合併候選，例如HEVC標準中指定的那些)和來自於時間推導運動向量預測的運動向量。兩個不同的起始運動向量集被生成以用於兩個列表。對於一個列表中的每個運動向量，透過包括此運動向量以及透過縮放此運動向量到另一列表而推導出的鏡像運動向量，一運動向量對被生成。對於每個運動向量對，使用此運動向量對，兩個參考塊被補償。這兩個塊的絕對差之和(sum of absolutely differences，SAD)被計算出。具有最小絕對差之和的運動向量對被選擇作為最佳運動向量對。
在最佳運動向量被推導出以用於預測單元之後，菱形搜索(diamond search)被執行以細化運動向量對。細化精度為1/8像素。細化搜索範圍被限制在±1像素內。最終運動向量對是預測單元層推導的運動向量對。菱形搜索是一種視訊編解碼領域所熟知的快速塊匹配運動估計演算法。因此，菱形搜索演算法的細節在此不做贅述。
對於第二階段的子預測單元層搜索，當前預測單元被分割成子預測單元。子預測單元的深度(例如3)被發信 在序列參數集(sequence parameter set，SPS)中。最小子預測單元尺寸為4x4塊。對於每個子預測單元，在LIST_0和LIST_1中複數個起始運動向量被選擇，其包括預測單元層推導運動向量的運動向量、零運動向量、當前子預測單元和右下塊的HEVC同位(collocated)TMVP、當前子預測單元的時間推導運動向量預測、以及左側預測單元/子預測單元和上方預測單元/子預測單元的運動向量。透過使用如預測單元層搜索類似的機制，子預測單元的最佳運動向量對被確定。菱形搜索被執行以細化運動向量對。子預測單元的運動補償被執行以生成此子預測單元的預測子。
對於模板匹配合併模式，上方4列和左側4行的重建(reconstructed)像素用於形成模板。模板匹配被執行以找到最佳匹配的模板及其相應運動向量。雙階段匹配也被應用於模板匹配。在預測單元層匹配中，LIST_0和LIST_1中的複數個起始運動向量被分別選擇。這些運動向量包含來自於合併候選的運動向量(即常規合併候選，例如HEVC標準中指定的那些)和來自於時間推導運動向量預測的運動向量。兩個不同的起始運動向量集被生成以用於兩個列表。對於一個列表中的每個運動向量，具有此運動向量的模板的絕對差之和成本被計算。具有最小成本的運動向量為最佳運動向量。接著菱形搜索被執行以細化此運動向量。細化精度為1/8像素。細化搜索範圍被限制在±1像素內。最終運動向量是預測單元層推導的運動向量。LIST_0和LIST_1中的運動向量被分別生成。
對於第二階段子預測單元層搜索，當前預測單元 被分割成子預測單元。子預測單元的深度(例如3)被發信在序列參數集中。最小子預測單元尺寸為4x4塊。對於位於左側預測單元分界線處或頂部預測單元分界線處的每個子預測單元，在LIST_0和LIST_1中複數個起始運動向量被選擇，其包括預測單元層推導運動向量的運動向量、零運動向量、當前子預測單元和右下塊的HEVC同位TMVP、當前子預測單元的時間推導的運動向量預測、以及左側預測單元/子預測單元和上方預測單元/子預測單元的運動向量。透過使用如預測單元層搜索類似的機制，子預測單元的最佳運動向量對被確定。菱形搜索被執行以細化此運動向量對。此子預測單元的運動補償被執行以生成此子預測單元的預測子。對於不位於左側預測單元分界線或頂部預測單元分界線處的預測單元，第二階段子預測單元層搜索不被使用，且相應運動向量被設為等於第一階段中的運動向量。
在此解碼器運動向量推導方法中，模板匹配也用於生成用於畫面間模式編解碼的運動向量預測。當參考圖像被選擇時，模板匹配被執行以在所選擇的參考圖像上查找最佳模板。其相應運動向量是推導運動向量預測。此運動向量預測被插入到AMVP的第一位置。AMVP表示高級運動向量預測，其中使用候選列表，當前運動向量被預測性編解碼(coded predictively)。當前運動向量與候選列表中所選擇的運動向量候選之間的運動向量差被編解碼。
雙向光流(Bi-directional Optical Flow,BIO)
雙向光流是JCTVC-C204(E.Alshina,et al., Bi-directional optical flow,Joint Collaborative Team on Video Coding(JCT-VC)of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11,3rd Meeting：Guangzhou,CN,7-15 October,2010,Document：JCTVC-C204)和VCEG-AZ05(E.Alshina,et al.,Known tools performance investigation for next generation video coding,ITU-T SG 16 Question 6,Video Coding Experts Group(VCEG),52nd Meeting：19-26 June 2015,Warsaw,Poland,Document：VCEG-AZ05)中公開的運動估計/運動補償技術。雙向光流基於如第4圖中所示的光流和穩態運動的假設推導出樣本層運動細化，其中B片段(slice)(即雙向預測片段)420中當前像素422由參考圖像0中一個像素和參考圖像1中的一個像素進行預測。如第4圖所示，當前像素422由參考圖像1(即410)中的像素B(即412)和參考圖像0(即430)中的像素A(即432)進行預測。在第4圖中，v x 和v y 是在x方向和y方向上的像素位移向量，其是使用雙向光流模型被推導出。其僅適用於真實雙向預測塊，其由對應於先前資訊框和後續資訊框的兩個參考圖像預測而來。在VCEG-AZ05中，雙向光流使用5x5視窗以推導出每個樣本的運動細化。因此，對於NxN塊，(N+4)x(N+4)塊的運動補償結果和相應的梯度資訊被需要以推導出NxN塊的基於樣本的運動細化。根據VCEG-AZ05，6抽頭梯度濾波器(6-Tap gradient filter)和6抽頭插值濾波器被使用，以生成雙向光流的梯度資訊。因此，雙向光流的計算複雜度遠遠高於傳統的雙向預測的計算複雜度。為了進一步提高雙向光流的性能，提出了以下方法。
在VCEG-AZ05中，雙向光流是在HEVC參考軟體上實現的，並且其總是適用於以真實雙向預測的塊。在HEVC中，用於亮度分量的一個8抽頭插值濾波器和用於色度分量的一個4抽頭插值濾波器被用於執行分數(fractional)運動補償。考慮到雙向光流中一個8×8編碼單元(coding unit，CU)中的一個待處理像素的一個5×5視窗，在最壞情況下所需頻寬從每個當前像素的(8+7)x(8+7)x 2/(8x8)=7.03個參考像素增加到(8+7+4)x(8+7+4)x 2/(8x8)=11.288個參考像素。
解碼器側運動向量细化
在JVET-D0029(Xu Chen,et al.,“Decoder-Side Motion Vector Refinement Based on Bilateral Template Matching”,Joint Video Exploration Team(JVET)of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11,4th Meeting：Chengdu,CN,15-21 October 2016,Document：JVET-D0029)中，公開了基於雙邊模板匹配的解碼器側運動向量細化。如第5圖所示，透過使用來自於MV0和MV1的參考塊(即510和520)的雙向預測，一模板被生成。如第6圖所示，使用此模板作為新的當前塊並執行運動估計以分別在參考圖像0和參考圖像1中查找更好的匹配塊(即分別為610和620)。細化運動向量是MV0'和MV1'。然後，細化運動向量(即MV0'和MV1')用於生成當前塊的最終雙向預測預測塊。
在解碼器側運動向量細化中，其使用雙階段搜索(two-stage search)細化當前塊的運動向量。如第7圖所示，對於當前塊，當前運動向量候選(在由方形符號710表示的當前 像素位置處)的成本先被評估。在第一階段搜索中，在當前像素位置周圍，整數像素(integer-pixel)搜索被執行。八個候選(由第7圖中的八個大圓圈720表示)被評估。兩個相鄰大圓圈之間或方形符號與其相鄰大圓圈之間的水平距離和垂直距離中至少一個為一個像素。在第一階段中，具有最低成本的最佳候選被選擇為最佳運動向量候選(例如，在由圓圈730表示的位置處的候選)。在第二階段，如第7圖中的八個小圓圈所示，在第一階段中的最佳運動向量候選周圍，二分之一像素正方形搜索被執行。具有最低成本的最佳運動向量候選被選擇為最終運動補償的最終運動向量。
為了補償分數運動向量，在HEVC和JEM-4.0(即，用於JVET的參考軟體)中，8抽頭插值濾波器被使用。在JEM-4.0中，運動向量精度為1/16像素。16個8抽頭濾波器被使用。濾波器係數如下。
0/16-像素：{0,0,0,64,0,0,0,0}
1/16-像素：{0,1,-3,63,4,-2,1,0}
2/16-像素：{-1,2,-5,62,8,-3,1,0}
3/16-像素：{-1,3,-8,60,13,-4,1,0}
4/16-像素：{-1,4,-10,58,17,-5,1,0}
5/16-像素：{-1,4,-11,52,26,-8,3,-1}
6/16-像素：{-1,3,-9,47,31,-10,4,-1}
7/16-像素：{-1,4,-11,45,34,-10,4,-1}
8/16-像素：{-1,4,-11,40,40,-11,4,-1}
9/16-像素：{-1,4,-10,34,45,-11,4,-1}
10/16-像素：{-1,4,-10,31,47,-9,3,-1}
11/16-像素：{-1,3,-8,26,52,-11,4,-1}
12/16-像素：{0,1,-5,17,58,-10,4,-1}
13/16-像素：{0,1,-4,13,60,-8,3,-1}
14/16-像素：{0,1,-3,8,62,-5,2,-1}
15/16-像素：{0,1,-2,4,63,-3,1,0}
需要降低頻寬需求以用于採用基於模型的運動向量推導、雙向光流、解碼器側運動向量細化或其他運動细化流程的系统。
本發明公開了使用預測子細化流程以細化運動的方法及裝置，例如基於模型的運動向量推導、雙向光流或者解碼器側運動向量細化。根據本發明的一個方法，在來自於參考圖像列表的目標參考圖像中確定與當前塊相關的目標運動補償參考塊，其中目標運動補償參考塊包括位於目標參考圖像中當前塊的相應塊周圍以用於執行當前塊的任意分數運動向量所需的插值濾波器的額外周圍像素。指定與目標運動補償參考塊相關的有效參考塊。透過使用包括目標運動補償參考塊的參考資料在複數個運動向量候選中進行搜索，使用基於模型的運動向量推導流程、雙向光流流程或解碼器側運動向量細化流程以生成當前塊的運動細化，其中如果目標運動向量候選需要來自於位於有效參考塊外部的目標運動補償參考塊的目標參考資料，則將目標運動向量候選從在複數個運動向量候選搜索中排除，或者將更靠近當前塊的相應塊的中心的替換運動向量候 選用作為目標運動向量候選的替換。根據運動細化，基於運動補償預測對當前塊進行編碼或解碼。
在一個實施例中，解碼器側運動向量細化流程用於生成運動細化，有效參考塊等於目標運動補償參考塊。在另一個實施例中，解碼器側運動向量細化流程用於生成運動細化，有效參考塊對應於目標運動補償參考塊加上位於目標運動補償參考塊周圍的像素環。一表格根據位於與每個分數像素位置的插值濾波器相關的當前塊的相應塊的每側周圍的周圍像素的數量來指定有效參考塊。
在一個實施例中，兩個不同的有效參考塊用於兩個不同的運動細化流程，其中兩個不同的運動細化流程從包括基於模型的運動向量推導流程、雙向光流流程或解碼器側運動向量細化流程的組中選擇。與在目標運動向量候選需要來自於位於有效參考塊外部的目標運動補償參考塊的目標參考資料的情況下將目標運動向量候選從在複數個運動向量候選搜索中排除或者將更靠近當前塊的相應塊的中心的替換運動向量候選用作目標運動向量候選的替換相關的一流程僅被應用到大於一閾值的當前塊或者以雙向預測編解碼的當前塊。
在一個實施例中，當雙階段運動細化流程被使用時，在第二階段運動細化流程期間待搜索的複數個第二階段運動向量候選對應於將偏移添加到第一階段運動細化流程中推導出的相應非替換運動向量候選。在另一個實施例中，當雙階段運動細化流程被使用時，在第二階段運動細化流程期間待搜索的複數個第二階段運動向量候選對應於將偏移添加到第一 階段運動細化流程中推導出的替換運動向量候選。
根據本發明的另一方法，在來自於參考圖像列表的目標參考圖像中確定與當前塊相關的目標運動補償參考塊，其中目標運動補償參考塊包括位於目標參考圖像中當前塊的相應塊周圍以用於執行當前塊的任意分數運動向量所需的插值濾波器的額外周圍像素。選擇一個或複數個目標分數像素位置。透過使用包括目標運動補償參考塊的參考資料在複數個運動向量候選中進行搜索，使用基於模型的運動向量推導流程、雙向光流流程或解碼器側運動向量細化流程以生成當前塊的運動細化，其中如果目標運動向量候選屬於一個或複數個目標分數像素位置，則將縮短抽頭長度的插值濾波器應用于目標運動向量候選。一個或複數個目標分數像素位置對應於從(1/filter_precision)到((filter_precision/2)/filter_precision)的複數個像素位置和從((filter_precision/2+1)/filter_precision)到((filter_precision-1)/filter_precision)的複數個像素位置，其中，filter_precision對應于運動向量精度。
根據本發明的另一方法，基於與當前塊相關的預測方向是雙向預測還是單向預測，將當前塊分割成複數個子塊，以用於包含基於子塊的運動估計/運動補償的所選擇的運動估計/運動補償流程。確定與複數個子塊相關的運動資訊。根據與複數個子塊相關的運動資訊，使用運動補償預測對複數個子塊進行編碼或解碼。用於雙向預測的複數個子塊的最小塊尺寸大於用於單向預測的複數個子塊中的最小塊尺寸。
110、210‧‧‧當前塊
120、130、510、520、825‧‧‧參考塊
140‧‧‧運動軌跡
220a、220b、230a、230b‧‧‧模板
240‧‧‧解碼器推導運動向量
310、312、314、340、342、344、810‧‧‧塊
320、330、350、360‧‧‧運動向量
322、332、352、362‧‧‧時間推導運動向量預測
410‧‧‧參考圖像1
412‧‧‧像素B
420‧‧‧B片段
422、710‧‧‧當前像素
430‧‧‧參考圖像0
432‧‧‧像素A
610、620‧‧‧匹配塊
720‧‧‧候選
730‧‧‧最佳運動向量候選
820‧‧‧環形區域
830‧‧‧參考像素區域
840‧‧‧L形區域
910~950、1010~1050、1110~1140‧‧‧步驟
第1圖示出了使用雙邊匹配技術的運動補償的示例，其中當前塊由兩個參考塊沿運動軌跡進行預測。
第2圖示出了使用模板匹配技術的運動補償的示例，其中，當前塊的模板與參考圖像中的參考模板匹配。
第3A圖示出了LIST_0參考圖像的時間運動向量預測的推導流程的示例。
第3B圖示出了LIST_1參考圖像的時間運動向量預測的推導流程的示例。
第4圖示出了推導出用於運動細化的偏移運動向量的雙向光流的示例。
第5圖示出了解碼器側運動向量細化的示例，其中，模板透過使用來自MV0和MV1的參考塊的雙向預測而先被生成。
第6圖示出了透過使用第5圖中生成的模板作為新當前塊並執行運動評估以分別從參考圖像0和參考圖像1中查找更好的匹配塊的解碼器側運動向量細化的示例。
第7圖示出了用於細化解碼器側運動向量細化的當前塊的運動向量的雙階段搜索的示例。
第8圖示出了具有分数運動向量的MxN塊的解碼器側運動向量细化所需的參考數據的示例，其中(M+L-1)*(N+L-1)參考塊是運動補償所需。
第9圖示出了根據本發明實施例的使用諸如基於模型的運動向量推導、雙向光流或解碼器側運動向量細化的預測子細化流程以用降低的系統頻寬細化運動的視訊編解碼系統的示例 性流程圖。
第10圖示出了根據本發明實施例的使用諸如基於模型的運動向量推導、雙向光流或解碼器側運動向量細化的預測子細化流程以用降低的系統頻寬細化運動的視訊編解碼系統的示例性流程圖，其中如果目標運動向量候選屬於一個或複數個指定的目標分數像素位置，則將縮短抽頭長度的插值濾波器應用于目標運動向量候選。
第11圖示出了根據本發明實施例的使用包含具有降低系統頻寬的基於子塊的運動估計/運動補償的所選擇運動估計/運動補償流程以細化運動的視訊編解碼系統的示例性流程圖，其中基於與當前塊相關的預測方向是雙向預測還是單向預測，將當前塊分割成複數個子塊。
以下描述為本發明的較佳實施例。以下實施例僅用來舉例闡釋本發明的技術特徵，並非用以限定本發明。本發明的保護範圍當視申請專利範圍所界定為准。
如前所述，不同預測子細化技術，例如基於模式的運動向量推導、雙向光流或解碼器側運動向量細化，需要訪問額外的參考資料，其導致增加系統頻寬。例如，如第8圖所示，對於具有分數運動向量的MxN塊810，運動補償需要(M+L-1)*(N+L-1)參考塊825，其中L是插值濾波器抽頭長度。在HEVC中，L等於8。對於解碼器側運動向量細化搜索，位於參考塊825外部具有一個像素寬度的環形區域820被需要以用於(M+L-1)*(N+L-1)參考塊825加上環形區域820內的第一 階段搜索。對應於參考塊825加上環形區域820的區域被稱為參考像素區域830。如果最佳候選位於左上側而不是中心候選，則環形區域820外部的額外資料可以被需要。例如，額外的L形區域840(即額外的一個(M+L-1)像素列和(N+L-1)像素行)被需要。支援預測子細化工具所需的額外參考像素意味著額外的頻寬。在本發明中，公開了降低與基於模型的運動向量推導、雙向光流和解碼器側運動向量細化相關的系統頻寬的技術。
在JEM-4.0中，當8抽頭濾波器被使用時，並非每個濾波器都具有8個係數。例如，在3/16像素濾波器中，濾波器只有7個係數，在1/16像素濾波器中，濾波器只有6個係數。因此，對於一些運動向量候選，實際所需的參考像素小於第8圖中提到的參考像素。例如，如果中心運動向量候選位於(11/16,11/16)處，則其需要(M+7)*(N+7)像素塊。對於第一階段搜索，八個運動向量候選位於(11/16±1,11/16±1)(即(11/16,11/16+1)、(11/16,11/16-1)、(11/16+1,11/16+1)、(11/16+1,11/16)、(11/16+1,11/16-1)、(11/16-1,11/16+1)、(11/16-1,11/16)、(11/16-1,11/16-1))，並且其需要(M+7+1+1)*(N+7+1+1)像素塊(即，第8圖中的參考區域830)。如果最佳候選是(11/16+1,11/16)，則第二階段搜索的八個候選是(11/16+1±8/16,11/16±8/16)(即，(11/16+1,11/16)、(11/16+1,11/16-8/16)、(11/16+1+8/16,11/16+8/16)、(11/16+1+8/16,11/16)、(11/16+1+8/16,11/16-8/16)、(11/16+1-8/16,11/16+8/16)、(11/16+1-8/16,11/16)、(11/16+1-8/16,11/16-8/16))。對於(11/16 +1+8/16,11/16)候選，則3/16像素濾波器被使用。該3/16像素濾波器只有7個係數，其中只有3個係數位於當前像素的右邊，這意味著不存在(11/16+1+8/16,11/16)候選的運動補償所需的額外參考像素。因此，分數運動向量位置和濾波器係數將影響細化所需的像素數量。為了降低頻寬，下面公開了三種方法。
方法-1：候選跳過
為了降低頻寬需求，提出了跳過搜索需要額外記憶體訪問的候選。一表格被創建以列出右邊和左邊中多少像素用於濾波器。例如，表1顯示了當前像素左側和右側所需的像素。對於預測子細化工具(例如，基於模型的運動向量推導、解碼器側運動向量細化和雙向光流)，有效的參考塊先被定義。例如，有效參考塊可以是(M+(L-1))*(N+(L-1))塊(即第8圖中的參考區域825)或(M+L+1)*(N+L+1)塊(即，第8圖中的參考區域830)以用於解碼器側運動向量細化情況。在細化流程中，如果候選需要位於有效塊外部的參考像素，則此候選被跳過。在解碼器側運動向量細化的情況中，跳過決策可以基於如表1中所列的濾波器的分數運動向量位置和像素要求而被做出。例如，如果一維插值被使用並且(M+(L-1)+1+1)*(N+(L-1)+1+1)像素塊被定義為有效塊，則這意味著有效塊包括當前像素的左側(L/2)+1像素至右側(L/2)+1像素。在JEM-4.0中，L為8，其意味著存在當前像素左側的5個像素和當前像素右側的5個像素。對於左邊和右邊的所需像素，我們可以使用下面的等式。
左：integer_part_of(refine_offset+fractional_part_of_org_MV)+Filter_required_pixel_left[(fractional_part_of(refine_offset+fractional_part_of_org_MV)%filter_precision] (1)
右：integer_part_of(refine_offset+fractional_part_of_org_MV)+Filter_required_pixel_right[(fractional_part_of(refine_offset+fractional_part_of_org_MV)%filter_precision) (2)
例如，從表1中，如果中心MV_x候選為3/16，則左邊需要4個像素，右邊需要3個像素。對於第一階段搜索，對應於(3/16+1)候選和(3/16-1)候選的MV_x需要被搜索。對於對應於(3/16-1)候選的MV_x，其需要多於一個像素用於左邊像素，即5個像素。對於(3/16+1)候選的MV_x，其需要多於一個像素用於右邊像素，即4個像素。因此，(3/16+1)候選和(3/16-1)候選均可用於搜索。如果最佳MV_x候選為(3/16-1)，則距離最佳MV_x候選二分之一像素距離處的候選(即(3/16-1+8/16)候選和(3/16-1-8/16)候選)需要被搜索。對於對應(3/16-1-8/16)候選的MV_x，MV_x相當於(-2+11/16)。根據等式(1)和等式(2)，integer_part_of(refine_offset+fractional_part_of_org_MV)是2，且(fractional_part_of(refine_offset+fractional_part_of_org_MV)% filter_precision是11，其中filter_precision是16。其需要2+4個像素用於左邊，其中2是來自於該“-2”，而4是來自於“11/16像素濾波器”，因此對應於(3/16-1-8/16)候選的MV_x需要比有效塊更多的參考像素，並且對應於(3/16-1-8/16)候選者的MV_x應該被跳過。
方法-2：候選替換
類似於方法-1，有效塊先被定義，並根據等式(1)和(2)，所需的像素被計算出。然而，如果候選是無效的，則不是跳過此候選，而是提出移動此候選以更靠近中心(原始)運動向量。例如，如果候選的MV_x為(X-1)並且是無效的，其中X是原始運動向量並且“-1”是細化偏移，則候選位置被平移到(X-8/16)或(X-12/16)或X至(X-1)之間的任意候選(例如最接近(X-1)的有效候選)。這樣，在不需要額外頻寬的情況下，可以檢查相似數量的候選。在一個實施例中，對於第二階段搜索，如果其第一階段候選是一替換候選，則參考第一階段偏移應該使用未替換的偏移。例如，如果第一階段搜索的原始候選為(X-1)並且不是有效候選，則其由(X-12/16)替換。對於第二階段候選，其仍然可以使用(X-1±8/16)以用於第二階段搜索。在另一個實施例中，對於第二階段搜索，如果第一階段候選是一替換候選，則參考第一階段偏移應該使用已替換偏移。例如，如果第一階段搜索的原始候選為(X-1)並且不是有效候選，則其被替換為(X-12/16)。對於第二階段候選，其可以使用(X-12/16±8/16)以用於第二階段搜索。在另一個實施例中，如果第一階段候選是一替換候選，則第二階段搜索的偏移可以被降低。
在方法-1和方法-2中，不同的編解碼工具可以具有不同的有效參考塊設置。例如，對於解碼器側運動向量細化，有效塊可以是(M+L-1)*(N+L-1)塊。對於基於模型的運動向量推導，有效塊可以是(M+L-1+O)*(N+L-1+P)塊，其中O和P可以為4。
在基於模型的運動向量推導中，雙階段搜索被執行。第一階段是預測單元層搜索。第二階段是子預測單元層搜索。在所提出的方法中，有效參考塊約束被使用以用於第一階段搜索和第二階段搜索。這兩個階段的有效參考塊可以相同。
所提出的方法-1和方法-2可以被限定為被應用於某些編碼單元或預測單元。例如，所提出的方法可以被應用於編碼單元面積大於64或256的編碼單元，或者被應用於雙向預測塊。
方法-3：更短的濾波器抽頭設計
在方法-3中，提出了減少從(1/filter_precision)至((filter_precision/2-1)/filter_precision)的濾波器位置和從((filter_precision/2+1)/filter_precision)至((filter_precision-1)/filter_precision)的濾波器位置所需的像素。例如，在JEM-4.0中，提出了降低對應於1/16像素至7/16像素的濾波器所需的像素以及對應於9/16像素至15/16像素的濾波器所需的像素。如果將6抽頭濾波器用於對應於1/16像素至7/16像素的濾波器以及對應於9/16像素至15/16像素的濾波器，則解碼器側運動向量細化的第二階段搜索不需要額外的頻寬。
基於預測方向的預測單元分割
在一些編解碼工具中，如果某些約束條件被滿足，則當前預測單元將被分割成複數個子預測單元。例如，在JEM-4.0中，高級TMVP(advance TMVP，ATMVP)、基於模型的運動向量推導、雙向光流和仿射預測/補償將把當前預測 單元分割成子預測單元。為了降低最壞情況頻寬，提出了根據預測方向將當前預測單元分割成不同尺寸。例如，最小尺寸/面積/寬度/高度為M以用於雙向預測塊，最小尺寸/面積/寬度/高度為N以用於單向預測塊。例如，雙向預測的最小面積可以為64，單向預測的最小面積可以為16。又例如，雙向預測的最小寬度/高度可以為8，單向預測的最小寬度/高度可為是4。
在另一示例中，對於ATMVP合併模式，如果運動向量候選是雙向預測，則最小子預測單元面積為64。如果運動向量候選是單向預測，則最小子預測單元面積可以為16。
第9圖示出了根據本發明實施例的使用諸如基於模型的運動向量推導、雙向光流或解碼器側運動向量細化的預測子細化流程以用降低系統頻寬細化運動/預測的視訊編解碼系統的示例性流程圖。本流程圖中所示的步驟以及本發明中的其他流程圖可以被實現為在編碼器側和/或解碼器側處的一個或複數個處理器(例如，一個或複數個CPU)上可執行的程式碼。本流程圖中所示的步驟還可以基於硬體被實現，例如用於執行本流程圖中的步驟的一個或複數個電子設備或處理器。根據本方法，在步驟910中，接收與當前圖像中的當前塊相關的輸入資料。在步驟920中，在來自於參考圖像列表的目標參考圖像中確定與當前塊相關的目標運動補償參考塊，其中目標運動補償參考塊包括位於目標參考圖像中當前塊的相應塊周圍以用於執行當前塊的任意分數運動向量所需的插值濾波器的額外周圍像素。在步驟930中，指定與目標運動補償參考塊相關的有效參考塊。在步驟940中，透過使用包括目標運動補償 參考塊的參考資料在複數個運動向量候選中進行搜索，使用諸如基於模型的運動向量推導流程、雙向光流流程或解碼器側運動向量細化流程的預測子細化流程以生成當前塊的運動細化，其中如果目標運動向量候選需要來自於位於有效參考塊外部的目標運動補償參考塊的目標參考資料，則將目標運動向量候選從在複數個運動向量候選中進行搜索中排除，或者將更靠近當前塊的相應塊的中心的替換運動向量候選用作為目標運動向量候選的替換。在步驟950中，根據運動細化，基於運動補償預測對當前塊進行編碼或解碼。
第10圖示出了根據本發明實施例的使用諸如基於模型的運動向量推導、雙向光流或解碼器側運動向量細化的預測子細化流程以用於降低系統頻寬細化運動的視訊編解碼系統的示例性流程圖，其中如果目標運動向量候選屬於一個或複數個指定的目標分數像素位置，則將縮短抽頭長度的插值濾波器應用于目標運動向量候選。根據本方法，在步驟1010中，接收與當前圖像中的當前塊相關的輸入資料。在步驟1020中，在來自於參考圖像列表的目標參考圖像中確定與當前塊相關的目標運動補償參考塊，其中目標運動補償參考塊包括位於目標參考圖像中當前塊的對應塊周圍的額外周圍像素以用於執行當前塊的任意分數運動向量所需的插值濾波器。在步驟1030中，選擇一個或複數個目標分數像素位置。在步驟1040中，透過使用包括目標運動補償參考塊的參考資料在複數個運動向量候選中進行搜索，使用諸如基於模型的運動向量推導流程、雙向光流流程或解碼器側運動向量細化流程的預測子細化 流程以生成當前塊的運動細化，其中如果目標運動向量候選屬於一個或複數個目標分數像素位置，則將縮短抽頭長度的插值濾波器應用于目標運動向量候選。在步驟1050中，根據運動細化，基於運動補償預測對當前塊進行編碼或解碼。
第11圖示出了根據本發明實施例的使用包含諸如高級時間運動向量預測、基於模型的運動向量推導、雙向光流或仿射預測/補償且具有降低系統頻寬的基於子塊的運動估計/運動補償的所選擇運動估計/運動補償流程以細化運動的視訊編解碼系統的示例性流程圖，其中根據與當前塊相關的預測方向是雙向預測還是單向預測，將當前塊分割成子塊。根據本方法，在步驟1110中，接收與當前圖像中的當前塊相關的輸入資料。在步驟1120中，基於與當前塊相關的預測方向是雙向預測還是單向預測，將當前塊分割成複數個當前子塊，以用於包含基於子塊的運動估計/運動補償的所選擇的運動估計/運動補償流程。在步驟1130中，確定與複數個子塊相關的運動資訊。在步驟1140中，根據與複數個子塊相關的運動資訊，使用運動補償預測對複數個子塊進行編碼或解碼。
所示的流程圖用於示出根據本發明的視訊編解碼的示例。在不脫離本發明的精神的情況下，所屬領域中通常知識者可以修改每個步驟、重組這些步驟、將一個步驟進行分離或者組合這些步驟而實施本發明。在本發明中，具體的語法和語義已被使用以示出實現本發明實施例的示例。在不脫離本發明的精神的情況下，透過用等同的語法和語義來替換該語法和語義，具有習知技術者可以實施本發明。
上述說明，使得所屬領域中具有習知技術者能夠在特定應用程式的內容及其需求中實施本發明。對所屬領域中通常知識者來說，所描述的實施例的各種變形將是顯而易見的，並且本文定義的一般原則可以應用於其他實施例中。因此，本發明不限於所示和描述的特定實施例，而是將被賦予與本文所公開的原理和新穎特徵相一致的最大範圍。在上述詳細說明中，說明了各種具體細節，以便透徹理解本發明。儘管如此，將被本領域的通常知識者理解的是，本發明能夠被實踐。
如上所述的本發明的實施例可以在各種硬體、軟體代碼或兩者的結合中實現。例如，本發明的實施例可以是整合在視訊壓縮晶片內的電路，或者是整合到視訊壓縮軟體中的程式碼，以執行本文所述的處理。本發明的一個實施例也可以是在數位訊號處理器(Digital Signal Processor，DSP)上執行的程式碼，以執行本文所描述的處理。本發明還可以包括由電腦處理器、數位訊號處理器、微處理器或現場可程式設計閘陣列(field programmable gate array，FPGA)所執行的若干函數。根據本發明，透過執行定義了本發明所實施的特定方法的機器可讀軟體代碼或者固件代碼，這些處理器可以被配置為執行特定任務。軟體代碼或固件代碼可以由不同的程式設計語言和不同的格式或樣式開發。軟體代碼也可以編譯為不同的目標平臺。然而，執行本發明的任務的不同的代碼格式、軟體代碼的樣式和語言以及其他形式的配置代碼，不會背離本發明的精神和範圍。
本發明可以以不脫離其精神或本質特徵的其他具 體形式來實施。所描述的例子在所有方面僅是說明性的，而非限制性的。因此，本發明的範圍由申請專利範圍來表示，而不是前述的描述來表示。請求項的含義以及相同範圍內的所有變化都應納入其範圍內。

Claims (25)

  1. 一種視訊編解碼方法，使用預測子細化流程以細化塊的運動，該方法包括：接收與當前圖像中的當前塊相關的輸入資料；在來自於參考圖像列表的目標參考圖像中確定與該當前塊相關的目標運動補償參考塊，其中該目標運動補償參考塊包括位於該目標參考圖像中該當前塊的相應塊周圍的額外周圍像素以用於執行該當前塊的任意分數運動向量所需的插值濾波器；指定與該目標運動補償參考塊相關的有效參考塊；透過使用包括該目標運動補償參考塊的參考資料在複數個運動向量候選中進行搜索，使用預測子細化流程以生成該當前塊的運動細化，其中如果目標運動向量候選需要來自於位於該有效參考塊外部的該目標運動補償參考塊的目標參考資料，則將該目標運動向量候選從在複數個運動向量候選搜索中排除，或者將更靠近當前塊的相應塊的中心的替換運動向量候選用作為該目標運動向量候選的替換；以及根據該運動細化，基於運動補償預測對該當前塊進行編碼或解碼。
  2. 如申請專利範圍第1項所述之視訊編解碼方法，其中，該預測子細化流程對應於基於模型運動向量推導、雙向光流或解碼器側運動向量細化。
  3. 如申請專利範圍第2項所述之視訊編解碼方法，其中，該解碼器側運動向量細化用於生成該運動細化，該有效參考塊等於該目標運動補償參考塊。
  4. 如申請專利範圍第2項所述之視訊編解碼方法，其中，該解碼器側運動向量細化用於生成該運動細化，該有效參考塊對應於該目標運動補償參考塊加上位於該目標運動補償參考塊周圍的像素環。
  5. 如申請專利範圍第1項所述之視訊編解碼方法，其中，一表格根據位於與每個分數像素位置的該插值濾波器相關的該當前塊的該相應塊的每側周圍的周圍像素的數量來指定該有效參考塊。
  6. 如申請專利範圍第1項所述之視訊編解碼方法，其中，兩個不同的有效參考塊用於兩個不同的運動細化流程，其中該兩個不同的運動細化流程自包括基於模型運動向量推導、雙向光流或解碼器側運動向量細化的組選擇。
  7. 如申請專利範圍第1項所述之視訊編解碼方法，其中，與在該目標運動向量候選需要來自於位於有效參考塊外部的該目標運動補償參考塊的目標參考資料的情況下，將該目標運動向量候選從在複數個運動向量候選搜索中排除或者將更靠近該當前塊的該相應塊的中心的替換運動向量候選用作該目標運動向量候選的替換相關的一流程僅被應用到大於一閾值的該當前塊或者以雙向預測編解碼的該當前塊。
  8. 如申請專利範圍第1項所述之視訊編解碼方法，其中，當雙階段運動細化流程被使用時，在第二階段運動細化流程期間待搜索的複數個第二階段運動向量候選對應於將偏移添加到第一階段運動細化流程中推導出的相應非替換運動向量候選。
  9. 如申請專利範圍第1項所述之視訊編解碼方法，其中，當雙階段運動細化流程被使用時，在第二階段運動細化流程期間待搜索的複數個第二階段運動向量候選對應於將偏移添加到第一階段運動細化流程中推導出的該替換運動向量候選。
  10. 一種視訊編解碼裝置，使用預測子細化流程以細化塊的運動，該視訊編解碼裝置包括一個或複數個電子電路或處理器，被配置為：接收與當前圖像中的當前塊相關的輸入資料；在來自於參考圖像列表的目標參考圖像中確定與該當前塊相關的目標運動補償參考塊，其中該目標運動補償參考塊包括位於該目標參考圖像中該當前塊的相應塊周圍的額外周圍像素以用於執行該當前塊的任意分數運動向量所需的插值濾波器；指定與該目標運動補償參考塊相關的有效參考塊；透過使用包括該目標運動補償參考塊的參考資料在複數個運動向量候選中進行搜索，使用預測子細化流程以生成該當前塊的運動細化，其中如果目標運動向量候選需要來自於位於該有效參考塊外部的該目標運動補償參考塊的目標參考資料，則將該目標運動向量候選從在複數個運動向量候選搜索中排除，或者將更靠近當前塊的相應塊的中心的替換運動向量候選用作為該目標運動向量候選的替換；以及根據該運動細化，基於運動補償預測對該當前塊進行編碼或解碼。
  11. 如申請專利範圍第10項所述之視訊編解碼裝置，其中，該預測子細化流程對應於基於模型運動向量推導、雙向光流或解碼器側運動向量細化。
  12. 一種非暫時性電腦可讀介質，存儲有複數個程式指令，使得一裝置的處理電路執行一視訊編解碼方法，且該方法包括：接收與當前圖像中的當前塊相關的輸入資料；在來自於參考圖像列表的目標參考圖像中確定與該當前塊相關的目標運動補償參考塊，其中該目標運動補償參考塊包括位於該目標參考圖像中該當前塊的相應塊周圍的額外周圍像素以用於執行該當前塊的任意分數運動向量所需的插值濾波器；指定與該目標運動補償參考塊相關的有效參考塊；透過使用包括該目標運動補償參考塊的參考資料在複數個運動向量候選中進行搜索，使用該預測子細化流程以生成該當前塊的運動細化，其中如果目標運動向量候選需要來自於位於該有效參考塊外部的該目標運動補償參考塊的目標參考資料，則將該目標運動向量候選從在複數個運動向量候選搜索中排除，或者將更靠近當前塊的相應塊的中心的替換運動向量候選用作為該目標運動向量候選的替換；以及根據該運動細化，基於運動補償預測對該當前塊進行編碼或解碼。
  13. 如申請專利範圍第12項所述之非暫時性電腦可讀介質，其中，該預測子細化流程對應於基於模型運動向量推導、雙向光流或解碼器側運動向量細化。
  14. 一種視訊編解碼方法，使用預測子細化流程以細化塊的運動，該方法包括：接收與當前圖像中的當前塊相關的輸入資料；在來自於參考圖像列表的目標參考圖像中確定與該當前塊相關的目標運動補償參考塊，其中該目標運動補償參考塊包括位於該目標參考圖像中該當前塊的相應塊周圍的額外周圍像素以用於執行該當前塊的任意分數運動向量所需的插值濾波器；選擇一個或複數個目標分數像素位置；透過使用包括該目標運動補償參考塊的參考資料在複數個運動向量候選中進行搜索，使用該預測子細化流程以生成該當前塊的運動細化，其中如果目標運動向量候選屬於該一個或複數個目標分數像素位置，則將縮短抽頭長度的插值濾波器應用於該目標運動向量候選；以及根據該運動細化，基於運動補償預測對該當前塊進行編碼或解碼。
  15. 如申請專利範圍第14項所述之視訊編解碼方法，其中，該預測子細化流程技術對應於基於模型運動向量推導、雙向光流或解碼器側運動向量細化。
  16. 如申請專利範圍第14項所述之視訊編解碼方法，其中，該一個或複數個目標分數像素位置對應於從(1/filter_precision)到((filter_precision/2)/filter_precision)的複數個像素位置和從((filter_precision/2+1)/filter_precision)到((filter_precision-1)/filter_precision)的複數個像素位置，其中，該filter_precision對應于運動向量精度。
  17. 一種視訊編解碼裝置，使用預測子細化流程以細化塊的運動，該視訊編解碼裝置包括一個或複數個電子電路或處理器，被配置為：接收與當前圖像中的當前塊相關的輸入資料；在來自於參考圖像列表的目標參考圖像中確定與該當前塊相關的目標運動補償參考塊，其中該目標運動補償參考塊包括位於該目標參考圖像中該當前塊的相應塊周圍的額外周圍像素以用於執行該當前塊的任意分數運動向量所需的插值濾波器；選擇一個或複數個目標分數像素位置；透過使用包括該目標運動補償參考塊的參考資料在複數個運動向量候選中進行搜索，使用該預測子細化流程以生成該當前塊的運動細化，其中如果目標運動向量候選屬於該一個或複數個目標分數像素位置，則將縮短抽頭長度的插值濾波器應用於該目標運動向量候選；以及根據該運動細化，基於運動補償預測對該當前塊進行編碼或解碼。
  18. 如申請專利範圍第17項所述之視訊編解碼裝置，其中，該預測子細化流程對應於基於模型運動向量推導、雙向光流或解碼器側運動向量細化。
  19. 一種非暫時性電腦可讀介質，存儲有複數個程式指令，使得一裝置的處理電路執行一視訊編解碼方法，且該方法包括：接收與當前圖像中的當前塊相關的輸入資料；在來自於參考圖像列表的目標參考圖像中確定與該當前塊相關的目標運動補償參考塊，其中該目標運動補償參考塊包括位於該目標參考圖像中該當前塊的相應塊周圍的額外周圍像素以用於執行該當前塊的任意分數運動向量所需的插值濾波器；選擇一個或複數個目標分數像素位置；透過使用包括該目標運動補償參考塊的參考資料在複數個運動向量候選中進行搜索，使用解碼器側預測子細化流程以生成該當前塊的運動細化，其中如果目標運動向量候選屬於該一個或複數個目標分數像素位置，則將縮短抽頭長度的插值濾波器應用於該目標運動向量候選；以及根據該運動細化，基於運動補償預測對該當前塊進行編碼或解碼。
  20. 如申請專利範圍第19項所述之非暫時性電腦可讀介質，其中，該預測子細化流程對應於基於模型運動向量推導、雙向光流或解碼器側運動向量細化。
  21. 一種視訊編解碼方法，使用子塊分割以細化當前塊的預測子，該方法包括：接收與當前圖像中的當前塊相關的輸入資料；基於與該當前塊相關的預測方向是雙向預測還是單向預測，將該當前塊分割成複數個子塊，以用於包含基於子塊的運動估計/運動補償的所選擇的運動估計/運動補償流程；確定與該複數個子塊相關的運動資訊；以及根據與該複數個子塊相關的運動資訊，使用運動補償預測對該複數個子塊進行編碼或解碼。
  22. 如申請專利範圍第21項所述之視訊編解碼方法，其中，用於雙向預測的該複數個子塊的最小塊尺寸大於用於單向預測的該複數個子塊中的最小塊尺寸。
  23. 如申請專利範圍第21項所述之視訊編解碼方法，其中，所選擇的運動估計/運動補償流程屬於包括高級時間運動向量預測、基於模型運動向量推導、雙向光流或仿射預測/補償的組。
  24. 一種視訊編解碼裝置，使用子塊分割以細化當前塊的運動，該視訊編解碼裝置包括一個或複數個電子電路或處理器，被配置為：接收與當前圖像中的當前塊相關的輸入資料；基於與該當前塊相關的預測方向是雙向預測還是單向預測，將該當前塊分割成複數個子塊，以用於包含基於子塊的運動估計/運動補償的所選擇的運動估計/運動補償流程；確定與該複數個子塊相關的運動資訊；以及根據與該複數個子塊相關的運動資訊，使用運動補償預測對該複數個子塊進行編碼或解碼。
  25. 一種非暫時性電腦可讀介質，存儲有複數個程式指令，使得一裝置的處理電路執行一視訊編解碼方法，且該方法包括：接收與當前圖像中的當前塊相關的輸入資料；基於與該當前塊相關的預測方向是雙向預測還是單向預測，將該當前塊分割成複數個當前子塊，以用於包含基於子塊的運動估計/運動補償的所選擇的運動估計/運動補償流程；確定與該複數個子塊相關的運動資訊；以及根據與該複數個子塊相關的運動資訊，使用運動補償預測對該複數個當前子塊進行編碼或解碼。
TW107101218A 2017-01-12 2018-01-12 在視訊編解碼中預測子細化的候選跳過的方法和裝置 TWI670970B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201762445287P 2017-01-12 2017-01-12
US62/445,287 2017-01-12
US15/868,995 US20180199057A1 (en) 2017-01-12 2018-01-11 Method and Apparatus of Candidate Skipping for Predictor Refinement in Video Coding
US15/868,995 2018-01-11

Publications (2)

Publication Number Publication Date
TW201832557A TW201832557A (zh) 2018-09-01
TWI670970B true TWI670970B (zh) 2019-09-01

Family

ID=62781940

Family Applications (1)

Application Number Title Priority Date Filing Date
TW107101218A TWI670970B (zh) 2017-01-12 2018-01-12 在視訊編解碼中預測子細化的候選跳過的方法和裝置

Country Status (6)

Country Link
US (1) US20180199057A1 (zh)
EP (1) EP3566446A4 (zh)
CN (2) CN110169070B (zh)
PH (1) PH12019501634A1 (zh)
TW (1) TWI670970B (zh)
WO (1) WO2018130206A1 (zh)

Families Citing this family (97)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10785494B2 (en) * 2017-10-11 2020-09-22 Qualcomm Incorporated Low-complexity design for FRUC
CN111602393B (zh) * 2018-01-15 2022-10-21 三星电子株式会社 编码方法及其设备以及解码方法及其设备
CN117294837A (zh) 2018-04-02 2023-12-26 深圳市大疆创新科技有限公司 用于图像处理的方法和图像处理装置
WO2019234600A1 (en) 2018-06-05 2019-12-12 Beijing Bytedance Network Technology Co., Ltd. Interaction between pairwise average merging candidates and intra-block copy (ibc)
WO2019234674A1 (en) * 2018-06-07 2019-12-12 Beijing Bytedance Network Technology Co., Ltd. Integer motion compensation
US10863190B2 (en) * 2018-06-14 2020-12-08 Tencent America LLC Techniques for memory bandwidth optimization in bi-predicted motion vector refinement
CN113115046A (zh) 2018-06-21 2021-07-13 北京字节跳动网络技术有限公司 分量相关的子块分割
WO2019244117A1 (en) 2018-06-21 2019-12-26 Beijing Bytedance Network Technology Co., Ltd. Unified constrains for the merge affine mode and the non-merge affine mode
US10965951B2 (en) 2018-06-22 2021-03-30 Avago Technologies International Sales Pte. Limited Memory latency management for decoder-side motion refinement
EP3817387A4 (en) * 2018-06-22 2021-07-07 Sony Corporation IMAGE PROCESSING DEVICE AND METHOD
TWI719519B (zh) 2018-07-02 2021-02-21 大陸商北京字節跳動網絡技術有限公司 對於dmvr的塊尺寸限制
US10638153B2 (en) * 2018-07-02 2020-04-28 Tencent America LLC For decoder side MV derivation and refinement
MX2021000265A (es) * 2018-07-17 2021-03-25 Panasonic Ip Corp America Prediccion de vectores de movimiento para codificacion de video.
CN115842912A (zh) 2018-08-04 2023-03-24 抖音视界有限公司 不同解码器侧运动矢量推导模式之间的交互
TW202025743A (zh) * 2018-09-06 2020-07-01 大陸商北京字節跳動網絡技術有限公司 兩步幀間預測
CA3111679C (en) * 2018-09-19 2023-10-03 Huawei Technologies Co., Ltd. Method for skipping refinement based on patch similarity in bilinear interpolation based decoder-side motion vector refinement
CN110933419B (zh) * 2018-09-20 2022-07-01 杭州海康威视数字技术股份有限公司 一种运动矢量确定、边界强度确定方法和设备
CN114727114B (zh) * 2018-09-21 2024-04-09 华为技术有限公司 运动矢量的确定方法和装置
US11595639B2 (en) 2018-09-21 2023-02-28 Lg Electronics Inc. Method and apparatus for processing video signals using affine prediction
TWI815973B (zh) * 2018-09-23 2023-09-21 大陸商北京字節跳動網絡技術有限公司 具有自我調整運動向量解析度的運動向量精度指示的信令通知
TWI818086B (zh) 2018-09-24 2023-10-11 大陸商北京字節跳動網絡技術有限公司 擴展Merge預測
US20210400298A1 (en) * 2018-09-28 2021-12-23 Lg Electronics Inc. Method and apparatus for processing video signal by using affine prediction
CN111010569B (zh) 2018-10-06 2023-02-28 北京字节跳动网络技术有限公司 Bio中的时间梯度计算的改善
KR102637604B1 (ko) 2018-10-08 2024-02-16 엘지전자 주식회사 신택스 디자인 방법 및 신택스를 이용하여 코딩을 수행하는 장치
CN112956197A (zh) * 2018-10-22 2021-06-11 北京字节跳动网络技术有限公司 基于编解码信息的解码器侧运动矢量推导的限制
WO2020084475A1 (en) 2018-10-22 2020-04-30 Beijing Bytedance Network Technology Co., Ltd. Utilization of refined motion vector
CN111083484A (zh) * 2018-10-22 2020-04-28 北京字节跳动网络技术有限公司 基于子块的预测
WO2020084512A1 (en) * 2018-10-23 2020-04-30 Beijing Bytedance Network Technology Co., Ltd. Affine motion information derivation from neighboring block
MX2021004715A (es) 2018-11-05 2021-06-04 Beijing Bytedance Network Tech Co Ltd Interpolacion para interprediccion con refinamiento.
CN111418207B (zh) * 2018-11-06 2024-04-19 北京字节跳动网络技术有限公司 依赖块尺寸的对运动信息的存储
CN112970262B (zh) 2018-11-10 2024-02-20 北京字节跳动网络技术有限公司 三角预测模式中的取整
CN111436227B (zh) 2018-11-12 2024-03-29 北京字节跳动网络技术有限公司 在视频处理中使用组合帧间-帧内预测
CN112997493B (zh) * 2018-11-13 2024-01-05 北京字节跳动网络技术有限公司 用于单一类型运动候选列表的构建方法
CN113170171B (zh) * 2018-11-20 2024-04-12 北京字节跳动网络技术有限公司 组合帧间帧内预测模式的预测细化
WO2020103852A1 (en) 2018-11-20 2020-05-28 Beijing Bytedance Network Technology Co., Ltd. Difference calculation based on patial position
WO2020103943A1 (en) * 2018-11-22 2020-05-28 Beijing Bytedance Network Technology Co., Ltd. Using collocated blocks in sub-block temporal motion vector prediction mode
US11146810B2 (en) * 2018-11-27 2021-10-12 Qualcomm Incorporated Decoder-side motion vector refinement
CN111010572A (zh) * 2018-12-04 2020-04-14 北京达佳互联信息技术有限公司 一种视频编码方法和装置及设备
WO2020114517A1 (en) * 2018-12-08 2020-06-11 Beijing Bytedance Network Technology Co., Ltd. Shifting on affine parameters
CN115834903A (zh) * 2018-12-13 2023-03-21 华为技术有限公司 一种帧间预测的方法及装置
WO2020125754A1 (en) * 2018-12-21 2020-06-25 Beijing Bytedance Network Technology Co., Ltd. Motion vector derivation using higher bit-depth precision
EP3854093A4 (en) 2019-01-02 2021-10-27 Huawei Technologies Co., Ltd. HARDWARE- AND SOFTWARE-FRIENDLY SYSTEM AND PROCESS FOR DECODER SIDE MOTION VECTOR REFINEMENT WITH DECODER SIDE BIPREDICTIVE OPTICAL FLOW-BASED PIXEL CORRECTION FOR BIPRODICTIVE MOTION COMPENSATION
CN111357290B (zh) * 2019-01-03 2023-08-22 北京大学 视频图像处理方法与装置
CN113302938A (zh) * 2019-01-11 2021-08-24 北京字节跳动网络技术有限公司 整数mv运动补偿
WO2020147747A1 (en) * 2019-01-15 2020-07-23 Beijing Bytedance Network Technology Co., Ltd. Weighted prediction in video coding
JP7072088B2 (ja) * 2019-02-08 2022-05-19 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 符号化装置及び復号装置
JP7232345B2 (ja) * 2019-02-08 2023-03-02 ベイジン・ダジア・インターネット・インフォメーション・テクノロジー・カンパニー，リミテッド ビデオ符号化のための双方向オプティカルフローおよびデコーダ側動きベクトル補正を選択的に適用する方法およびデバイス
WO2020164577A1 (en) * 2019-02-14 2020-08-20 Beijing Bytedance Network Technology Co., Ltd. Selective application of decoder side refining tools
PL3912357T3 (pl) * 2019-02-20 2024-03-25 Beijing Dajia Internet Information Technology Co., Ltd. Ograniczone wyprowadzanie wektora ruchu dla długotrwałych obrazów odniesienia w kodowaniu wideo
CN114845102B (zh) * 2019-02-22 2023-07-07 华为技术有限公司 光流修正的提前终止
EP3912355A4 (en) * 2019-03-05 2022-08-17 Huawei Technologies Co., Ltd. DMVR USING A DECIMATED PREDICTION BLOCK
KR102635518B1 (ko) 2019-03-06 2024-02-07 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 변환된 단예측 후보의 사용
EP3912354A4 (en) * 2019-03-08 2022-03-16 Huawei Technologies Co., Ltd. SEARCH REGION FOR MOTION VECTOR REFINEMENT
CN112672156B (zh) 2019-03-11 2022-07-29 杭州海康威视数字技术股份有限公司 一种编解码方法、装置及其设备
MX2021011043A (es) * 2019-03-12 2021-10-13 Beijing Dajia Internet Information Tech Co Ltd Aplicaciones restringidas y ajustadas de modo de interprediccion e intraprediccion combinadas.
WO2020185034A1 (ko) * 2019-03-13 2020-09-17 현대자동차주식회사 델타 움직임벡터를 유도하는 방법 및 영상 복호화 장치
TWI738248B (zh) * 2019-03-14 2021-09-01 聯發科技股份有限公司 運動細化以及子分區基礎填充的視訊處理的方法以及裝置
WO2020187198A1 (en) * 2019-03-17 2020-09-24 Beijing Bytedance Network Technology Co., Ltd. Prediction refinement based on optical flow
KR20210125578A (ko) 2019-03-18 2021-10-18 텐센트 아메리카 엘엘씨 비디오 코딩을 위한 방법 및 장치
US11343525B2 (en) * 2019-03-19 2022-05-24 Tencent America LLC Method and apparatus for video coding by constraining sub-block motion vectors and determining adjustment values based on constrained sub-block motion vectors
WO2020197085A1 (ko) * 2019-03-22 2020-10-01 엘지전자 주식회사 Bdof 기반의 인터 예측 방법 및 장치
WO2020197083A1 (ko) * 2019-03-22 2020-10-01 엘지전자 주식회사 Dmvr 및 bdof 기반의 인터 예측 방법 및 장치
KR102600746B1 (ko) 2019-04-01 2023-11-09 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 히스토리 기반 움직임 벡터 예측을 위한 보간 필터 사용
CN113647099B (zh) 2019-04-02 2022-10-04 北京字节跳动网络技术有限公司 解码器侧运动矢量推导
CN113728651B (zh) 2019-04-02 2022-10-25 北京字节跳动网络技术有限公司 视频处理中的自适应环路滤波
WO2020211755A1 (en) * 2019-04-14 2020-10-22 Beijing Bytedance Network Technology Co., Ltd. Motion vector and prediction sample refinement
CN113711609B (zh) * 2019-04-19 2023-12-01 北京字节跳动网络技术有限公司 利用光流的预测细化过程中的增量运动矢量
CN113711608B (zh) * 2019-04-19 2023-09-01 北京字节跳动网络技术有限公司 利用光流的预测细化过程的适用性
EP3922015A4 (en) 2019-04-19 2022-07-20 Beijing Bytedance Network Technology Co., Ltd. GRADIENT CALCULATION IN VARIOUS MOTION VECTOR REFINEMENTS
CN113728646A (zh) * 2019-04-25 2021-11-30 北京达佳互联信息技术有限公司 用于利用光流的预测细化的方法和装置
JP7303330B2 (ja) 2019-04-28 2023-07-04 北京字節跳動網絡技術有限公司 対称動きベクトル差分符号化
WO2020221256A1 (en) * 2019-04-28 2020-11-05 Beijing Bytedance Network Technology Co., Ltd. Symmetric motion vector difference coding
BR112021022174A2 (pt) * 2019-05-11 2021-12-21 Beijing Bytedance Network Tech Co Ltd Método para processar dados de vídeo, aparelho para processar dados de vídeo, meio de armazenamento e meio de gravação
JP7431253B2 (ja) * 2019-05-16 2024-02-14 北京字節跳動網絡技術有限公司 動き情報精緻化のサブ領域に基づいた決定
CN114026852A (zh) * 2019-06-07 2022-02-08 北京达佳互联信息技术有限公司 用于视频编解码的子块时间运动矢量预测
CN114009021A (zh) * 2019-06-20 2022-02-01 北京达佳互联信息技术有限公司 用于视频编解码的预测相关残差缩放的方法和装置
CN114051732A (zh) * 2019-07-27 2022-02-15 北京达佳互联信息技术有限公司 用于视频编解码中的解码器侧运动矢量细化的方法和装置
CN114208184A (zh) 2019-08-13 2022-03-18 北京字节跳动网络技术有限公司 基于子块的帧间预测中的运动精度
BR112022002480A2 (pt) 2019-08-20 2022-04-26 Beijing Bytedance Network Tech Co Ltd Método para processamento de vídeo, aparelho em um sistema de vídeo, e, produto de programa de computador armazenado em uma mídia legível por computador não transitória
US11736720B2 (en) * 2019-09-03 2023-08-22 Tencent America LLC Motion vector refinement methods for video encoding
WO2021051046A1 (en) 2019-09-14 2021-03-18 Bytedance Inc. Quantization parameter for chroma deblocking filtering
JP2021052225A (ja) * 2019-09-20 2021-04-01 Kddi株式会社 画像復号装置、画像復号方法及びプログラム
JP2021052241A (ja) * 2019-09-20 2021-04-01 Kddi株式会社 画像復号装置、画像復号方法及びプログラム
JP7267885B2 (ja) * 2019-09-20 2023-05-02 Kddi株式会社 画像復号装置、画像復号方法及びプログラム
CN114402618A (zh) * 2019-09-27 2022-04-26 北京达佳互联信息技术有限公司 用于视频编解码中的解码器端运动矢量细化的方法和装置
CN114651442A (zh) * 2019-10-09 2022-06-21 字节跳动有限公司 视频编解码中的跨分量适应性回路滤波
KR20220073745A (ko) 2019-10-14 2022-06-03 바이트댄스 아이엔씨 비디오 처리에서 크로마 잔차 및 필터링의 공동 코딩
JP7482220B2 (ja) 2019-10-18 2024-05-13 北京字節跳動網絡技術有限公司 サブピクチャのパラメータセットシグナリングにおける構文制約
EP4055827A4 (en) 2019-12-09 2023-01-18 ByteDance Inc. USING QUANTIFICATION GROUPS IN VIDEO CODING
WO2021138293A1 (en) 2019-12-31 2021-07-08 Bytedance Inc. Adaptive color transform in video coding
CN115398892A (zh) * 2020-03-23 2022-11-25 抖音视界有限公司 仿射merge和仿射运动矢量预测模式的预测细化
CN112218075B (zh) * 2020-10-17 2022-10-28 浙江大华技术股份有限公司 候选列表的填充方法、电子设备、计算机可读存储介质
CN112383677B (zh) * 2020-11-04 2023-04-28 三星电子（中国）研发中心 视频处理方法及装置
CN117616754A (zh) * 2021-06-15 2024-02-27 抖音视界有限公司 用于视频处理的方法、设备和介质
WO2023040993A1 (en) * 2021-09-16 2023-03-23 Beijing Bytedance Network Technology Co., Ltd. Method, device, and medium for video processing
WO2023060913A1 (en) * 2021-10-15 2023-04-20 Beijing Bytedance Network Technology Co., Ltd. Method, device, and medium for video processing
WO2023116778A1 (en) * 2021-12-22 2023-06-29 Beijing Bytedance Network Technology Co., Ltd. Method, apparatus, and medium for video processing

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080117972A1 (en) * 2006-11-21 2008-05-22 Avinash Ramachandran Motion refinement engine with selectable partitionings for use in video encoding and methods for use therewith
US20100111182A1 (en) * 2008-10-03 2010-05-06 Qualcomm Incorporated Digital video coding with interpolation filters and offsets

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9307122B2 (en) * 2006-09-27 2016-04-05 Core Wireless Licensing S.A.R.L. Method, apparatus, and computer program product for providing motion estimation for video encoding
US9699456B2 (en) * 2011-07-20 2017-07-04 Qualcomm Incorporated Buffering prediction data in video coding
US10757437B2 (en) * 2014-07-17 2020-08-25 Apple Inc. Motion estimation in block processing pipelines
CN106537918B (zh) * 2014-08-12 2019-09-20 英特尔公司 用于视频编码的运动估计的系统和方法
CN114466193A (zh) * 2016-03-16 2022-05-10 联发科技股份有限公司 视频编码的样式基础的运动向量推导之方法及装置
US11638027B2 (en) * 2016-08-08 2023-04-25 Hfi Innovation, Inc. Pattern-based motion vector derivation for video coding
WO2019072368A1 (en) * 2017-10-09 2019-04-18 Huawei Technologies Co., Ltd. LIMITED MEMORY ACCESS WINDOW FOR MOTION VECTOR REFINEMENT

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080117972A1 (en) * 2006-11-21 2008-05-22 Avinash Ramachandran Motion refinement engine with selectable partitionings for use in video encoding and methods for use therewith
US20100111182A1 (en) * 2008-10-03 2010-05-06 Qualcomm Incorporated Digital video coding with interpolation filters and offsets

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Xu Chen et.al, <Decoder-Side Motion Vector Refinement Based on Bilateral Template Matching>, Joint Video Exploration Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 4th Meeting: Chengdu, CN, 15–21 October 2016 *
Xu Chen et.al, <Decoder-Side Motion Vector Refinement Based on Bilateral Template Matching>, Joint Video Exploration Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 4th Meeting: Chengdu, CN, 15–21 October 2016,

Also Published As

Publication number Publication date
EP3566446A1 (en) 2019-11-13
EP3566446A4 (en) 2021-02-10
CN113965762A (zh) 2022-01-21
CN110169070B (zh) 2021-11-09
CN110169070A (zh) 2019-08-23
WO2018130206A1 (en) 2018-07-19
PH12019501634A1 (en) 2020-02-24
US20180199057A1 (en) 2018-07-12
TW201832557A (zh) 2018-09-01

Similar Documents

Publication Publication Date Title
TWI670970B (zh) 在視訊編解碼中預測子細化的候選跳過的方法和裝置
TWI670966B (zh) 用於視訊編解碼的適應性雙預測的方法及裝置
EP3556096B1 (en) Method and apparatus of motion refinement for video coding
JP7324841B2 (ja) ビデオ・データ処理方法、装置、記憶媒体及び記憶方法
TWI720460B (zh) 在視訊編解碼中具有高級控制之候選重組
TWI720551B (zh) 一種視訊編解碼的幀間預測方法及裝置
CN108028939B (zh) 用于视频编解码的解码器侧的运动推导的方法和装置
JP2021530154A (ja) 効率的なアフィンマージ動きベクトル導出
CN112868240A (zh) 并置的局部照明补偿和修改的帧间预测编解码
CN113302918A (zh) 视频编解码中的加权预测
CN113287317A (zh) 并置的局部照明补偿和修改的帧间编解码工具
TW201902222A (zh) 用於視訊編解碼之運動向量限制方法和裝置
TWI738236B (zh) 視訊編碼中具有運動精化的雙向預測視訊處理方法和裝置
TWI720753B (zh) 簡化的三角形合併模式候選列表導出的方法以及裝置
CN113316935A (zh) 使用局部照明补偿的运动候选列表
US11985330B2 (en) Method and apparatus of simplified affine subblock process for video coding system
CN112514383A (zh) 用于视频编解码的利用运动向量差的合并方法和装置
WO2020003260A1 (en) Boundary enhancement for sub-block
KR102463478B1 (ko) 비디오 코딩 시스템을 위한 아핀 인터 예측 방법 및 장치

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees