TW202002645A - 用於視頻編解碼的雙向光流的方法以及裝置 - Google Patents

用於視頻編解碼的雙向光流的方法以及裝置 Download PDF

Info

Publication number
TW202002645A
TW202002645A TW108120033A TW108120033A TW202002645A TW 202002645 A TW202002645 A TW 202002645A TW 108120033 A TW108120033 A TW 108120033A TW 108120033 A TW108120033 A TW 108120033A TW 202002645 A TW202002645 A TW 202002645A
Authority
TW
Taiwan
Prior art keywords
gradients
gradient
block
derive
current block
Prior art date
Application number
TW108120033A
Other languages
English (en)
Other versions
TWI717753B (zh
Inventor
蘇郁琪
陳慶曄
莊子德
賴貞延
Original Assignee
聯發科技股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 聯發科技股份有限公司 filed Critical 聯發科技股份有限公司
Publication of TW202002645A publication Critical patent/TW202002645A/zh
Application granted granted Critical
Publication of TWI717753B publication Critical patent/TWI717753B/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H04N19/463—Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

公開了一種使用雙向光流(BIO)用於真實雙向預測塊的方法以及裝置。根據本發明的一個方法，梯度被限制於一預定位元深度以減少計算複雜度。根據另一方法，梯度和與/或L0與L1插值圖元之間的差值的資料範圍由一預定位元深度進行移位(shift)。該預定位元深度可以被隱含決定或在序列級、圖像級或切片級在一位元流中發信。該預定位元深度也可基於輸入位元深度決定。

Description

用於視頻編解碼的雙向光流的方法以及裝置
本發明涉及使用雙向光流(Bi-directional Optical flow，BIO)來細化雙向預測塊的運動的運動補償。特別地，本發明涉及與BIO處理有關的計算複雜度減少。
雙向光流(BIO或BDOF)是在JCTVC-C204(E.Alashina等人，Bi-directional optical flow，2010年10月7-15日，中國廣州舉行的ITU-T SG 16 WP3以及ISO/IEC JTC 1/SC 29/WG 11的視頻編解碼聯合協作小組第三次會議，文獻：JCTVC-C204)以及VCEG-AZ05(E.Alashina等人，Known tools performance investigation for next generation video coding，2015年6月19-26日，波蘭華沙舉行的ITU-T SG 16 問題6，視頻編解碼專家組(VCEG)，第52次會議，文獻：VCEG-AZ05)中公開的運動估計/補償技術。基於如第1圖示出的光流以及穩定運動的假設，BIO推導樣本級(sample-level)運動細化(motion refinement)，其中B切片120(雙向預測切片(slice))中當前圖元122由參考圖像0(130)中的一個圖元以及參考圖像1(110)中的一個圖元預測。如第1圖所示，當前圖元122由參考圖像1(110)中的圖元B(112)以及參考圖像0(130)中的圖元A(132)預測。在第1圖中，vx 以及vy 是x方向以及y方向上的圖元位移向量，其使用雙向光流(BIO)模型來推導。其僅被應用於真實的雙向預測塊，該雙向預測塊根據對應於先前圖像以及後續圖像的兩個參考圖像來預測。在VCEG-AZ05中，BIO利用5x5視窗(window)來推導每一樣本的運動細化。因此，對於NxN塊，需要(N+4)x(N+4)塊的運動補償結果以及對應的梯度資訊來推導NxN塊的基於樣本的運動細化。根據VCEG-AZ05，6抽頭梯度濾波器以及6抽頭插值濾波用於生成BIO的梯度資訊。因此，BIO的計算複雜度遠高於傳統的雙向預測。為了進一步改善BIO的性能，提出了後續的方法。
在HEVC傳統的雙向預測中，使用等式(1)生成預測子，其中P(0)以及P(1)分別是列表0以及列表1的預測子。
Figure 02_image001
(1)
在JCTVC-C204以及VECG-AZ05中，使用等式(2)生成BIO預測子。
Figure 02_image003
Figure 02_image005
(2)
在等式(2)中，Ix (0) 以及Ix (1) 分別表示列表0以及列表1預測子在x方向上的梯度；Iy (0) 以及Iy (1) 分別表示列表0以及列表1預測子在y方向上的梯度；vx 以及vy 分別表示在x以及y方向上的偏移(offset)或位移(displacement)。vx 以及vy 的推導過程在下文中示出。首先，成本函數被定義為diffCost(x,y)來找到最佳值vx 以及vy 。為了找到最佳值vx 以及vy 來最小化成本函數diffCost(x,y)，使用了一個5x5視窗。vx 以及vy 的求解可以藉由使用S1、S2、S3、S5以及S6來表示。
Figure 02_image007
(3)
最小成本函數mindiffCost(x,y)可以根據以下來推導：
Figure 02_image009
. (4)
藉由求解等式(3)以及(4)，可以根據等式(5)來求解vx 以及vy ：
Figure 02_image011
(5) 其中：
Figure 02_image013
在上述等式中，
Figure 02_image015
對應於列表0圖像中在(x,y)處圖元的x方向上的梯度，
Figure 02_image017
對應於列表1圖像中在(x,y)處圖元的在x方向上的梯度，
Figure 02_image019
對應於列表0圖像中在(x,y)處圖元的y方向上的梯度，
Figure 02_image021
對應於列表1圖像中在(x,y)處圖元的在y方向上的梯度。
在一些相關領域中，S2可以被忽略，以及vx 以及vy 可以根據以下等式來求解：
Figure 02_image023
(6) 其中：
Figure 02_image025
在上述等式中，參數S1、S2、S3、S5以及S6與x方向上的梯度以及y方向上的梯度有關。例如，S1根據列表0中參考塊的x方向上的梯度與列表1中參考塊的x方向上的梯度之和來計算。該和的平方被用作S1。S5根據列表0中參考塊的y方向上的梯度與列表1中參考塊的y方向上的梯度之和來計算。該和的平方用作S5。為了簡便，參數S1、S2、S3、S5以及S6在本公開中被稱為梯度參數(gradient parameter)。實際上，梯度參數S1、S2、S3、S5以及S6通常使用具有預定位元深度(pre-defined bit-depth)的固定點表示。vx 以及vy 的推導將需要乘法、加法以及除法操作。其中，除法操作的實施成本更高。
我們可以發現在BIO進程中所需要的位元元深度較大，尤其是計算S1、S2、S3、S5以及S6時。例如，如果視頻序列中圖元值的位元元深度是10位元並且梯度的位元深度由分數插值濾波器或梯度濾波器而增加，那麼需要16位元元來表示x方向上的梯度或y方向上的梯度。這16位元可以進一步由等於4的梯度偏移來減小，使得一個梯度需要12個位元元來表示值。即使梯度的量級(magntitude)可以由梯度偏移減少到12位元元，所需要的BIO操作的位元元深度仍很大。需要一個13位元元乘13位元的乘法器來計算S1、S2以及S5。需要另一個13位元元乘17位元的乘法器來獲得S3以及S6。當視窗尺寸大時，需要超過32個位元元來表示S1、S2、S3、S5以及S6。為了減少所需要的位元元深度，本發明中公開了各種方法。 廣義雙向預測(Generalized bi-prediction，GBi)
在JVET-C0047(C.Chen等人，2016年5月26日-6月1日，瑞士加內瓦舉行的ITU-T SG 16 WP3 以及ISO/IEC JTC 1/SC 29/WG 11的聯合視訊勘探小組(JVET)第三次會議，“Generalized bi-prediction for inter coding”，文獻：JVET-C0047)中公開了廣義雙向預測(GBi)。GBi的概念是允許使用不同的權重分別用於來自L0到L1的預測子，而不是傳統雙向預測中使用相等的權重。預測子生成可以被概括在等式(1)以及等式(2)中。 PTraditionalBiPred = (PL0 + PL1 + RoundingOffset) >> shiftNum (7) PGBi = (w0 * PL0 + w1 * PL1 + RoundingOffsetGBi ) >> shiftNumGBi . (8)
在上述等式中，PTraditionalBiPred 以及PGBi 分別是傳統雙向預測以及GBi的最終預測子，PL0 以及PL1 是來自L0以及L1的預測子，w0 以及w1 是為L0以及L1選擇的GBi權重，以及RoundingOffset, shiftNum, RoundingOffset1以及shiftNum1用於分別歸一化(normalize)傳統雙向預測與GBi中最終預測子。對於AMVP模式(即，正常的幀間預測模式)，如果一個CU在雙向預測模式中被編解碼，GBi的權重選擇被顯性發信用於這個CU。對於合併(Merge)模式，權重選擇從合併候選中繼承。
公開了一種使用雙向光流(BIO)用於真實雙向預測塊的方法以及裝置。根據本發明的一個方法，接收與一當前圖像中一當前塊有關的輸入資料，其中該當前塊使用雙向預測進行編解碼。決定來自參考圖像列表0的一第一參考圖像中與該當前塊有關的一第一參考塊，以及決定來自參考圖像列表1的一第二參考圖像中與該當前塊有關的一第二參考塊，其中該第一參考塊與該第二參考塊由真實雙向運動向量指出。基於該第一參考塊推導複數個第一x梯度以及複數個第一y梯度，以及基於該第二參考塊推導複數個第二x梯度以及複數個第二y梯度。將與該等第一x梯度、該等第一y梯度、該等第二x梯度以及該等第二y梯度有關的資料範圍限制到一預定位元深度來生成複數個範圍受限的第一x梯度、複數個範圍受限的第一y梯度、複數個範圍受限的第二x梯度以及複數個範圍受限的第二y梯度。基於第一資訊推導一組梯度參數，其中該第一資訊包括該等範圍受限的第一x梯度、該等範圍受限的第一y梯度、該等範圍受限的第二x梯度以及該等範圍受限的第二y梯度。基於該組梯度參數推導x運動偏移以及y運動偏移。基於第二資訊生成用於該當前塊的一已細化預測子，其中該第二資訊包括該x運動偏移以及該y運動偏移。基於該已細化預測子對該當前塊進行編碼或解碼。
在一個實施例中，如果該等第一x梯度、該等第一y梯度、該等第二x梯度以及該等第二y梯度大於一最大值或小於一最小值，該等第一x梯度、該等第一y梯度、該等第二x梯度以及該等第二y梯度被剪切到由該預定位元深度指示的一允許值。
根據另一個方法，基於該第一參考塊推導複數個第一x梯度以及複數個第一y梯度，以及基於該第二參考塊推導複數個第二x梯度以及複數個第二y梯度。基於該等第一x梯度以及該等第二x梯度推導複數個x梯度和；基於該等第一y梯度以及該等第二y梯度推導複數個y梯度和；推導該第一參考塊與該第二參考塊中插值圖元之間的參考差值，以及其中用於該等x梯度和與該等y梯度和、該參考差值或其兩者的一資料範圍由一第一預定位元深度進行移位。使用第一資訊推導x運動偏移以及y運動偏移，其中該第一資訊包括該等x梯度和、該等y梯度和以及該參考差值。基於第二資訊生成該當前塊的一已細化預測子，其中該第二資訊包括x運動偏移以及該y運動偏移。基於該已細化預測子對該當前塊進行編碼或解碼。
在一個實施例中，在由該第一預定位元深度移位之前，用於該等x梯度和與該等y梯度和、該參考差值或其兩者的該資料範圍被限制於一第二預定位元深度。在另一個實施例中，在由該第一預定位元深度移位之後，用於該等x梯度和與該等y梯度和、該參考差值或其兩者的該資料範圍被限制於一第二預定位元深度。
在上述方法中，該第一預定位元深度可以被隱含地決定。該第一預定位元深度可以根據輸入位元深度來決定。該第一預訂位元深度可以在序列級、圖像級或切片級在一位元流中被發信。
後續的描述是實施本發明的最佳實施方式。所作之描述是出於說明本發明一般原理的目的因此不應做限制性理解。本發明的範圍由參考所附申請專利範圍最佳決定。
如之前所提到的，雙向光流(BIO或BDOF)技術細化雙向運動向量來改善運動補償性能。然而，BIO或BDOF進程涉及複雜的操作。此外，這些操作涉及高精度的乘法器。為了減少複雜度，在實際中可以使用一些複雜度減少技術。例如，在一個應用中，根據下列等式，與梯度有關的資料範圍藉由右移位L0與L1插值圖元之間的差值以及和，來減少資料範圍：
Figure 02_image027
, (9)
Figure 02_image029
, (10)
Figure 02_image031
, (11)
Figure 02_image033
, (12)
Figure 02_image035
, (13)
在上述等式中： shift = max(4, (bitDepth - 8)),以及 shiftA = max(1, (bitDepth - 11)). 方法1：限制梯度的資料範圍
雖然梯度移位可以減少梯度的資料範圍以及控制梯度的精度，僅藉由使用梯度移位不足以限制梯度的資料範圍。因此，公開了一方法來限制梯度的資料範圍到預定位元深度。如果梯度大於所允許的最大值或小於所允許的最小值，梯度被剪切到所允許的值。例如，我們可以限制梯度的資料範圍到10位元，以致乘法器可以被減少到11位元乘11位元以及11位元乘17位元。在另一個實施例中，梯度的資料範圍被限制到8位元，以致乘法器可以被減少到9位元乘9位元以及9位元乘17位元。根據輸入位元深度，資料範圍可以是被隱含定義的值，或者在序列級、圖像級或切片級在位元流中被顯性發信到解碼器。在另一個實施例中，當梯度大於所允許的最大值或小於所允許的最小值時，BIO進程被跳過。 方法2：限制梯度和與/或L0與L1插值圖元之間的差值的資料範圍
BIO進程中乘法器的輸入是L0與L1梯度之和或者L0與L1插值圖元之間的差值。根據這一方法，限制被強加於L0與L1梯度之和或者L0與L1插值圖元之間的差值的資料範圍，而不是直接強加於梯度以及插值圖元。在一個實施例中，限制以某個預定位元深度被強加到L0與L1梯度之和與/或L0與L1插值圖元之間差值的資料範圍。例如，我們可以分別限制L0與L1梯度之和與/或L0與L1插值圖元的差值的資料範圍到10位元，以致乘法器可以減少到10位元乘10位元以及10位元乘10位元。在另一個實施例中，梯度的資料範圍被限制到8位元，以致乘法器可以被減少到8位元乘8位元以及8位元乘8位元。資料範圍約束可以僅被應用於L0與L1梯度之和，僅被應用於L0與L1插值圖元之間的差值，或者應用於兩者。L0與L1梯度之和與在L0與L1插值圖元之間的差值的資料範圍可以是相同的或者可以是不同的。根據輸入位元深度，資料範圍可以是隱含預定的值，或者在序列級、圖像級或切片級在位元流中被顯性發信到解碼器。在另一個實施例中，當L0與L1梯度之和或者在L0與L1插值圖元之間的差值大於所允許的最大值或者小於所允許的最小值時，BIO進程可以被跳過。
在一個實施例中，超出所允許範圍的這些資料不被用於推導BIO進程中的位移。在另一個實施例中，超出所允許範圍的這些資料不被用於推導BIO進程中的位移並且這些資料不被BIO細化。
在一個實施例中，方法1與方法2被組合到一起來減少到所需要的位元元深度。例如，我們限制梯度的資料範圍以及在L0與L1插值圖元之間的差值的資料範圍到10位元。因此，乘法器可以被減少到11位元乘11位元以及11位元乘10位元。在另一個實施例中，當梯度的資料範圍或者在L0與L1插值圖元之間的差值大於所允許的最大值或小於所允許的最小值時，BIO進程可以被跳過。 方法3：移位梯度和與/或在L0與L1插值圖元之間的差值的資料範圍
在一個實施例中，我們提出以某個預定位元深度移位梯度和的資料範圍。例如，我們可以將梯度和的資料範圍右移位4位元以致乘法器可以被減少到8位元乘8位元以及8位元乘15位元。在另一個實施例中，我們也可以將L0與L1插值圖元之間的差值的資料範圍右移位。例如，L0與L1插值圖元之間的差值的資料範圍可以被右移位4位元以致乘法器可以被減少到12位元乘12位元以及12位元乘11位元。在一個實施例中，梯度和以及L0與L1插值圖元之間的差值的資料範圍兩者都可以被移位。例如，梯度和以及L0與L1插值圖元之間的差值的資料範圍兩者都可以被右移位4位元以致乘法器可以被減少到8位元乘8位元以及8位元乘11位元。在另一個示例中，我們將梯度和右移位4位元以及將L0與L1插值圖元之間的差值右移位7位元。這樣，乘法器可以被減少到8位元乘8位元以及8位元乘8位元。根據輸入位元深度，用於梯度和或L0與L1之間差值的移位數可以是隱含預定的值，或者可以在序列級、圖像級或切片級在位元流中被顯性發信到解碼器。 方法4：限制以及移位梯度和的資料範圍與/或限制以及移位L0與L1插值圖元之間的差值
在一個實施例中，我們提出以某個預定位元深度限制梯度和的資料範圍並且隨後將其移位。剪切以及移位操作的順序可以被切換以及剪切值與移位值可以根據應用的需求被設置為任意數。例如，我們可以限制梯度和的資料範圍到10位元並且隨後將該梯度和右移位2位元。因此，乘法器可以被減少到8位元乘8位元以及8位元乘15位元。在另一個實施例中，L0與L1之間的差值的資料範圍可以被剪切到12位元並且隨後將所生成的值右移位1位元。乘法器變成12位元乘12位元以及12位元乘11位元。在一個實施例中，我們可以限制以及移位梯度和以及L0與L1插值圖元之間的差值。例如，我們可以限制梯度和的資料範圍到10位元並且隨後將梯度後右移位2位元。接下來，我們限制L0與L1插值圖元之間的差值的資料範圍到12位元並且隨後將其右移位1位元。這樣，乘法器被減少到8位元乘8位元以及8位元乘11位元。此外，所有參數S1、S2、S3、S5以及S6可以以32位元來表示。用於限制資料範圍以及移位梯度和以及L0與L1插值圖元之間差值的操作的組合的更多示例被示於表1中。根據輸入位元，用於梯度和的資料範圍或者L0與L1之間差值的所限制的範圍以及移位值可以是隱含預定的值，或者在序列級、圖像級或者切片級的位元流中被顯性發信到解碼器。 表 1
Figure 108120033-A0304-0001
 方法5：直接計算參考圖元的梯度
根據現行慣例，藉由使用兩種不同的方法計算梯度。第一個方法是將一個運動相位相關的濾波器(motion-phase-dependent filter)應用到參考圖元。根據這一方法，需要一組額外的梯度濾波器以及一組額外的插值濾波器來執行梯度計算。另一個方法是應用一個固定濾波器(如3抽頭濾波器或5抽頭濾波器)來插值圖元。這樣，不需要額外的濾波器組用於梯度計算。然而，引入了插值圖元與梯度計算之間的資料相關性。為了移除這一資料相關性，我們提出直接將一個固定濾波器應用到參考圖元。在一個實施例中，MV首先被舍入(rounded)到整數MV。梯度藉由直接將一個固定濾波器(如3-抽頭濾波器或5抽頭濾波器)應用到參考圖元而不先考慮MV的分數部分來導出。例如，如果MV是(0.25,-0.25)，那麼舍入的MV變成(0,0)。如果濾波係數等於[-1,0,1]的3抽頭濾波器被用於計算梯度，水準梯度藉由使用在位置(1,0)以及(-1,0)的參考圖元計算，以及垂直梯度藉由使用在位置(0,1)以及(0,-1)的參考圖元計算。藉由使用這一方法，插值圖元與梯度計算之間的資料相關性被移除。
在另一個實施例中，在由MV指出的位置附近的四個最近的整數參考圖元被用於計算梯度。例如，如果MV是(0.25,-0.25)，那麼在位置(0,0)、(1,0)、(0,-1)以及(1,-1)的參考圖元被用於計算梯度。藉由平均在位置(0,0)以及(1,0)的參考圖元之間的差值以及在位置(0,-1)以及(1,-1)的參考圖元之間的差值推導水準梯度。藉由平均在位置(0,-1)以及(0,0)的參考圖元之間的差值以及在位置(1,-1)以及(1,0)的參考圖元之間的差值推導垂直梯度。在另一個實施例中，由MV指出的位置周圍的三個最近的整數參考圖元被用於計算梯度。例如，如果MV是(0.25,-0.25)，那麼在位置(0,0)、(1,0)以及(0,-1)的參考圖元被用於計算梯度。藉由計算在位置(0,0)與(1,0)的參考圖元之間的差值推導水準梯度。藉由計算在位置(0,-1)以及(0,0)的參考圖元之間的差值推導垂直梯度。
在另一個實施例中，預定權重對(predefined weighting pair)可以被應用於計算梯度。例如，如果MV是(0.25,-0.25)，那麼在位置(0,0)、(1,0)、(0,-1)以及(1,-1)的參考圖元被用於計算梯度。藉由在位置(0,0)與(1,0)參考圖元之間的差值乘以權重(如0.25)與在位置(0,-1)與(1,-1)的參考圖元之間的差值乘以權重(如，0.75)之和來推導水準梯度。藉由在位置(0,-1)與(0,0)的參考圖元之間的差值乘以權重(如，0.25)以及在位置(1,-1)與(1,0)的參考圖元之間的差值乘以權重(如，0.75)來推導垂直梯度。權重對的值可以是其和等於1的任意兩個數(如，[0.25,0.75])。 方法6：在水準插值濾波器後計算梯度
在方法5中，藉由直接應用一個固定濾波器到參考圖元我們可以完全移除資料相關性。同時分數MV的梯度精度將被忽略。例如，即使複數個MV具有不同的分數部分，該些MV將被首先舍入到整數MV以及該些舍入的MV變成指向相同參考圖元。為了減少資料相關性並保留分數MV的一些梯度精度，我們提出將一個固定濾波器應用到在水準插值濾波器後生成的輸出圖元，在其中考慮MV的水準分數部分。例如，參考圖元將由水準插值濾波器來生成，其中藉由考慮MV的水準分數部分，應用一個固定濾波器(如，3抽頭濾波器或5抽頭濾波器)到輸出圖元來推導梯度。 方法7：GBi與BIO之間的交互
在BIO中，L0與L1插值圖元將基於光流的理論更新，而GBi允許L0與L1插值圖元的不同權重用於預測塊的最終混合。兩個編解碼工具均旨在增強雙向預測模式中的預測性能。我們可以使能兩個編解碼工具之一來避免性能受到另一個影響同時節省執行時間。在一個實施例中，當BIO啟用時，GBi可以被禁用。這樣，L0與L1的相等權重某種程度上滿足BIO中L0與L1局部運動向量的相等偏移的假設。
在一些情況中，當前圖像的來自L0的參考圖像與來自L1的參考圖像之間的差值是完全不同。這樣，在BIO中來自L0與L1的局部運動向量的相等移動的假設是不正確的。在一個實施例中，我們可以同時禁用GBi以及BIO來從這兩個編解碼工具中獲得額外的編解碼增益(coding gain)。在另一個實施例中，當BIO被禁用時，僅部分權重選擇可以被使用。在另一個實施例中，當BIO被啟用時的所支援的GBi權重可以與當BIO被禁用時的GBi權重不同。當BIO被啟用時，所支援的GBi權重可以是預定的或者被發信到解碼器。選擇方法可以基於當前圖像與來自L0與L1的參考圖像之間的圖像計數(picture of count，POC)差值。例如，如果來自L0參考圖像、當前圖像以及來自L1的參考圖像的POC分別是1、2以及7，那麼當前圖像與來自L0的參考圖像之間的POC的差值(稱為diff_POC0)以及當前圖像與來自L1的參考圖像之間的POC的差值(稱為diff_POC1)分別是1和5。diff_POC0與diff_POC1之間的差值是4，稱為diff_POC0_POC1。如果diff_POC0_POC1大於預定閾值，BIO可以用來自GBi的某個所選擇的權重來啟用。決定所選擇權重的條件可以由QP(量化參數)、POC、時間層ID或這些因素的任何組合有關的資訊來決定。
前述提出的任何方法可以在編碼器或解碼器中實施。例如，任何提出的方法可以在編碼器的幀間預測模組或重構進程，與/或解碼器的幀間預測模組或重構進程中實施。或者，任何提出的方法可以被實施為耦合到編碼器的幀間預測模組或重構進程與/或解碼器的幀間預測模組或重構進程的電路。
第2圖示出了根據本發明實施例的使用雙向光流(BIO)來細化雙向預測塊運動的視頻編解碼(例如，編碼與/或解碼)系統的示例性流程圖，其中梯度的資料範圍被限制為預定位元深度。流程圖以及本公開其他流程圖示出的步驟可以被實施為可在編碼器側與/或解碼器側的一或複數個處理器(如，一或複數個CPU)上可執行的程式碼。流程圖中所示出的步驟也可以基於硬體來實施，如被安排來執行流程圖中步驟的一或複數個電子裝置或處理器。根據這一方法，在步驟210，接收與一當前圖像中一當前塊有關的輸入資料，其中該當前塊使用雙向預測進行編解碼(例如，編碼或解碼)。在步驟220中，決定來自參考圖像列表0的一第一參考圖像中與該當前塊有關的一第一參考塊以及決定來自參考圖像列表1的一第二參考圖像中與該當前塊有關的一第二參考塊，其中該第一參考塊與該第二參考塊由真實的雙向運動向量指出。在步驟230中，基於該第一參考塊推導複數個第一x梯度以及複數個第一y梯度，以及基於該第二參考塊推導複數個第二x梯度以及複數個第二y梯度。在步驟240中，與該等第一x梯度、該等第一y梯度、該等第二x梯度以及該等第二y梯度有關的資料範圍被限制為一預定位元深度來生成複數個範圍受限的第一x梯度、複數個範圍受限的第一y梯度、複數個範圍受限的第二x梯度以及複數個範圍受限的第二y梯度。在步驟250中，基於第一資訊生成一組梯度參數，其中該第一資訊包括該等範圍受限的第一x梯度、該等範圍受限的第一y梯度、該等範圍受限的第二x梯度以及該等範圍受限的第二y梯度。在步驟260，基於該組梯度參數推導x運動偏移以及y運動偏移。在步驟270，基於第二資訊生成用於該當前塊的一已細化預測子，其中該第二資訊包括該x運動偏移以及該y運動偏移。在步驟280中，基於該已細化預測子對該當前塊進行編碼或解碼。
第3圖示出了根據本發明實施例的使用雙向光流(BIO)來細化雙向預測塊的預測子的視頻編解碼(例如，編碼與/或解碼)系統的示例性流程圖，其中梯度和的資料範圍與/或L0與L1插值圖元之間的差值的資料範圍被移位。根據這一方法，在步驟310，接收與一當前圖像中一當前塊有關的輸入資料，其中該當前塊使用雙向預測進行編解碼(例如，編碼與/或解碼)。在步驟320，決定來自參考圖像列表0的一第一參考圖像中與該當前塊有關的一第一參考塊以及決定來自參考圖像列表1的一第二參考圖像中與該當前塊有關的一第二參考塊，其中該第一參考塊與該第二參考塊由真實的雙向運動向量指出。在步驟330，基於該第一參考塊推導複數個第一x梯度以及複數個第一y梯度，基於該第二參考塊推導複數個第二x梯度以及複數個第二y梯度。在步驟340，基於該等第一x梯度以及該等第二x梯度推導複數個x梯度和，基於該等第一y梯度以及該等第二y梯度推導複數個y梯度和；以及推導該第一參考塊與該第二參考塊中插值圖元之間的參考差值；其中用於該等x梯度和與該等y梯度和、該參考差值或其兩者的一資料範圍由一第一預定位元深度進行移位。在步驟350中，使用第一資訊推導x運動偏移以及y運動偏移，其中該第一資訊包括該等x梯度和、該等y梯度和以及該參考差值。在步驟360，基於第二資訊生成用於該當前塊的一已細化預測子，其中該第二資訊包括x運動偏移以及y運動偏移。在步驟370，基於該已細化預測子對該當前塊進行編碼或解碼。
上述示出的流程圖旨在說明根據本發明的視頻編解碼的示例。在不背離本發明的精神的情況下，本領域習知技術者可以修正每一步驟、重新排列複數個步驟、拆分部分或組合步驟來實施本發明。在本公開中，已經使用了特定的語法與語義來說明示例來實施本發明的實施例。在不背離本發明精神的情況下，本領域習知技術者可以藉由用相等的語法與語義替換該語義與語義來實施本發明。
上述描述被提出來使能本領域普通技術人員來以特定應用的上下文中所提供的以及其需求來實施本發明。對所描述實施例的各種修正對本領域技術人員將是顯而易見的，以及本文定義的一般原則可以被應用於其他實施例。因此，本發明不旨在限制於所示出以及所描述的特定實施例，而是與本文公開的原理以及新穎特徵的最寬範圍一致。在上述細節描述中，各種具體細節被示出以提供本發明的透徹理解。然而，本領域技術人員將能理解，可以實施本發明。
如上所描述的本發明的實施例可以以各種硬體、軟體代碼或其兩者組合的方法來實施。例如，本發明的實施例可以是整合到視訊壓縮晶片的一或複數個電子電路或者整合到視訊壓縮軟體來執行本文所描述的處理的程式碼。本發明的實施例也可以是將在數位訊號處理器(DSP)上執行本文所描述的處理的程式碼。本發明也涉及由電腦處理器、數位訊號處理器、微處理器或現場可程式設計閘陣列(FPGA)執行的許多功能。這些處理器可以用於執行根據本發明的特定人物，藉由執行定義由本發明實施的特定方法的機器可讀軟體代碼或韌體代碼。軟體代碼或韌體代碼可以以不同的程式語言以及不同的格式或風格進行開發。軟體代碼也可以被編譯以用於不同的目標平臺。然而，軟體代碼不同的代碼格式、風格以及語言以及配置代碼來執行根據本發明任務的其他方式將不背離本發明的精神以及範圍。
在不背離本發明精神或基本特徵的情況下，可以以其他具體的形式實施。所描述的示例在所有方面僅被認為是說明性的而非限制性的。因此，本發明的範圍由所附申請專利範圍而非前述的描述來指示。申請專利範圍的等同含義以及範圍內的所有變化都包括在其範圍內。
110‧‧‧參考圖像1 112、132‧‧‧圖元 114、134‧‧‧圖元位移向量 120‧‧‧雙向預測切片 122‧‧‧當前圖元 130‧‧‧參考圖像0 210~280、310~370‧‧‧步驟
第1圖示出了雙向光流(BIO)的示例來推導運動細化的偏移運動向量。 第2圖示出了根據本發明實施例的使用雙向光流(BIO)來細化雙向預測塊的運動的視頻編解碼系統的示例性流程圖，其中梯度的資料範圍(data range)被限制於預定位元深度。 第3圖示出了根據本發明實施例的使用雙向雙流(BIO)來細化雙向預測塊的預測子的視頻編解碼系統的示例性流程圖，其中梯度和(gradient sum)與/或L0與L1插值圖元之間的差值的資料範圍被移位。
210~280‧‧‧步驟

Claims (13)

  1. 一種使用雙向光流(BIO)用於真實雙向預測塊的視頻編解碼方法，該方法包括： 接收與一當前圖像中一當前塊有關的輸入資料，其中該當前塊使用雙向預測進行編解碼； 決定來自參考圖像列表0的一第一參考圖像中與該當前塊有關的一第一參考塊以及決定來自參考圖像列表1的一第二參考圖像中與該當前塊有關的一第二參考塊，其中該第一參考塊以及該第二參考塊由真實的雙向運動向量指出； 基於該第一參考塊推導複數個第一x梯度以及複數個第一y梯度，以及基於該第二參考塊推導複數個第二x梯度以及複數個第二y梯度； 限制與該等第一x梯度、該等第一y梯度、該等第二x梯度以及該等第二y梯度有關的資料範圍於一預定位元深度來生成複數個範圍受限的第一x梯度、複數個範圍受限的第一y梯度、複數個範圍受限的第二x梯度以及複數個範圍受限的第二y梯度； 基於第一資訊推導一組梯度參數，其中該第一資訊包括該等範圍受限的第一x梯度、該等範圍受限的該第一y梯度、該等範圍受限的第二x梯度、該等範圍受限的第二y梯度； 基於該組梯度參數推導x運動偏移以及y運動偏移； 基於第二資訊生成用於該當前塊的一已細化預測子，其中該第二資訊包括該x運動偏移以及該y運動偏移；以及 基於該已細化預測子編碼或解碼該當前塊。
  2. 如申請專利範圍第1項所述之使用雙向光流用於真實雙向預測塊的視頻編解碼方法，其中如果該等第一x梯度、該等第一y梯度、該等第二x梯度以及該等第二y梯度大於一最大值或小於一最小值，該等第一x梯度、該等第一y梯度、該等第二x梯度以及該等第二y梯度被剪切到由該預定位元深度指示的一允許值。
  3. 如申請專利範圍第1項所述之使用雙向光流用於真實雙向預測塊的視頻編解碼方法，其中該預定位元深度被隱含決定。
  4. 如申請專利範圍第1項所述之使用雙向光流用於真實雙向預測塊的視頻編解碼方法，其中該預定位元深度是根據輸入位元深度來決定。
  5. 如申請專利範圍第1項所述之使用雙向光流用於真實雙向預測塊的視頻編解碼方法，其中該預定位元深度在一序列級、圖像級或切片級於一位元流中被發信。
  6. 一種使用雙向光流(BIO)用於真實雙向預測塊的視頻編解碼的裝置，該視頻編解碼裝置包括一或複數個電子電路或處理器，用於： 接收與一當前圖像中一當前塊有關的輸入資料，其中該當前塊使用雙向預測進行編解碼； 決定來自參考圖像列表0的一第一參考圖像中與該當前塊有關的一第一參考塊以及決定來自參考圖像列表1的一第二參考圖像中與該當前塊有關的一第二參考塊，其中該第一參考塊以及該第二參考塊由真實的雙向運動向量指出； 基於該第一參考塊推導複數個第一x梯度以及複數個第一y梯度，以及基於該第二參考塊推導複數個第二x梯度以及複數個第二y梯度； 限制與該等第一x梯度、該等第一y梯度、該等第二x梯度以及該等第二y梯度有關的資料範圍於一預定位元深度來生成複數個範圍受限的第一x梯度、複數個範圍受限的第一y梯度、複數個範圍受限的第二x梯度以及複數個範圍受限的第二y梯度； 基於第一資訊推導一組梯度參數，其中該第一資訊包括該等範圍受限的第一x梯度、該等範圍受限的該第一y梯度、該等範圍受限的第二x梯度、該等範圍受限的第二y梯度； 基於該組梯度參數推導x運動偏移以及y運動偏移； 基於第二資訊生成用於該當前塊的一已細化預測子，其中該第二資訊包括該x運動偏移以及該y運動偏移；以及 基於該已細化預測子編碼或解碼該當前塊。
  7. 一種使用雙向雙流(BIO)用於真實雙向預測塊的視頻編解碼方法，該方法包括： 接收與一當前圖像中一當前塊有關的輸入資料，其中該當前塊使用雙向預測進行編解碼； 決定來自參考圖像列表0的一第一參考圖像中與該當前塊有關的一第一參考塊以及決定來自參考圖像列表1中一第二參考圖像中與該當前塊有關的一第二參考塊，其中該第一參考塊與該第二參考塊由真實的雙向運動向量指出； 基於該第一參考塊推導複數個第一x梯度以及複數個第一y梯度，基於該第二參考塊推導複數個第二x梯度以及複數個第二y梯度； 基於該等第一x梯度以及該等第二x梯度推導複數個x梯度和，基於該等第一y梯度以及該等第二y梯度推導複數個y梯度和；以及推導在該第一參考塊與該第二參考塊中複數個插值圖元之間的複數個參考差值；其中用於該等x梯度和與該等y梯度和、該等參考差值或其兩者的一資料範圍由一第一預定位元深度進行移位； 使用第一資訊推導x運動偏移以及y運動偏移，其中該第一資訊包括該等x梯度和、該等y梯度和以及該等參考差值； 基於第二資訊生成用於該當前塊的一已細化預測子，其中該第二資訊包括該x運動偏移以及該y運動偏移；以及 基於該已細化預測子編碼或解碼該當前塊。
  8. 如申請專利範圍第7項所述之使用雙向雙流用於真實雙向預測塊的視頻編解碼方法，其中該第一預定位元深度被隱含地決定。
  9. 如申請專利範圍第7項所述之使用雙向雙流用於真實雙向預測塊的視頻編解碼方法，其中該第一預定位元深度是基於輸入位元深度來決定。
  10. 如申請專利範圍第7項所述之使用雙向雙流用於真實雙向預測塊的視頻編解碼方法，其中該第一預定位元深度在一序列級、圖像級或切片級在一位元流中被發信。
  11. 如申請專利範圍第7項所述之使用雙向雙流用於真實雙向預測塊的視頻編解碼方法，其中在由該第一預定位元深度移位之前，用於該等x梯度和與該等y梯度和、該等參考差值或其兩者的該資料範圍被限制於一第二預定位元深度。
  12. 如申請專利範圍第7項所述之使用雙向雙流用於真實雙向預測塊的視頻編解碼方法，其中在由該第一預定位元深度移位之後，用於該x梯度和與該y梯度和、該參考差值或其兩者的該資料範圍被限制於一第二預定位元深度。
  13. 一種使用雙向光流(BIO)用於真實雙向預測塊的視頻編解碼的裝置，該視頻編解碼裝置包括一或複數個電子電路或處理器，用於： 接收與一當前圖像中一當前塊有關的輸入資料，其中該當前塊使用雙向預測進行編解碼； 決定來自參考圖像列表0的一第一參考圖像中與該當前塊有關的一第一參考塊以及決定來自參考圖像列表1中一第二參考圖像中與該當前塊有關的一第二參考塊，其中該第一參考塊與該第二參考塊由真實的雙向運動向量指出； 基於該第一參考塊推導複數個第一x梯度以及複數個第一y梯度，基於該第二參考塊推導複數個第二x梯度以及複數個第二y梯度； 基於該等第一x梯度以及該等第二x梯度推導複數個x梯度和，基於該等第一y梯度以及該等第二y梯度推導複數個y梯度和；以及推導在該第一參考塊與該第二參考塊中複數個插值圖元之間的複數個參考差值；其中用於該等x梯度和與該等y梯度和、該等參考差值或其兩者的一資料範圍由一第一預定位元深度進行移位； 使用第一資訊推導x運動偏移以及y運動偏移，其中該第一資訊包括該等x梯度和、該等y梯度和以及該等參考差值； 基於第二資訊生成用於該當前塊的一已細化預測子，其中該第二資訊包括該x運動偏移以及該y運動偏移；以及 基於該已細化預測子編碼或解碼該當前塊。
TW108120033A 2018-06-11 2019-06-11 用於視頻編解碼的雙向光流的方法以及裝置 TWI717753B (zh)

Applications Claiming Priority (10)

Application Number Priority Date Filing Date Title
US201862683098P 2018-06-11 2018-06-11
US62/683,098 2018-06-11
US201862703959P 2018-07-27 2018-07-27
US62/703,959 2018-07-27
US201862717982P 2018-08-13 2018-08-13
US62/717,982 2018-08-13
US201862719186P 2018-08-17 2018-08-17
US62/719,186 2018-08-17
PCT/CN2019/090560 WO2019238008A1 (en) 2018-06-11 2019-06-10 Method and apparatus of bi-directional optical flow for video coding
WOPCT/CN2019/090560 2019-06-10

Publications (2)

Publication Number Publication Date
TW202002645A true TW202002645A (zh) 2020-01-01
TWI717753B TWI717753B (zh) 2021-02-01

Family

ID=68842690

Family Applications (1)

Application Number Title Priority Date Filing Date
TW108120033A TWI717753B (zh) 2018-06-11 2019-06-11 用於視頻編解碼的雙向光流的方法以及裝置

Country Status (7)

Country Link
US (1) US11153599B2 (zh)
EP (1) EP3804324A4 (zh)
KR (1) KR102596104B1 (zh)
CN (1) CN112272952B (zh)
MX (1) MX2020013386A (zh)
TW (1) TWI717753B (zh)
WO (1) WO2019238008A1 (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117615147A (zh) * 2016-07-14 2024-02-27 三星电子株式会社 视频解码方法及其装置以及视频编码方法及其装置
US11310520B2 (en) * 2018-09-04 2022-04-19 Hfi Innovation Inc. Method and apparatus of motion-vector rounding unification for video coding system
KR20210071958A (ko) 2018-09-21 2021-06-16 브이아이디 스케일, 인크. 양방향 옵티컬 플로우를 위한 복잡도 감소 및 비트 폭 제어
MX2021004715A (es) 2018-11-05 2021-06-04 Beijing Bytedance Network Tech Co Ltd Interpolacion para interprediccion con refinamiento.
KR20210091304A (ko) * 2018-11-21 2021-07-21 인터디지털 브이씨 홀딩스 인코포레이티드 화상 인코딩 및 디코딩을 위한 방법 및 디바이스
US11523109B2 (en) * 2019-05-02 2022-12-06 Tencent America LLC Method and apparatus for improvements of affine prof
WO2021050234A1 (en) * 2019-09-12 2021-03-18 Alibaba Group Holding Limited Method and apparatus for signaling video coding information
WO2021050226A1 (en) * 2019-09-12 2021-03-18 Alibaba Group Holding Limited Method and apparatus for encoding or decoding video

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101475365B1 (ko) 2007-04-09 2014-12-23 가부시키가이샤 엔.티.티.도코모 화상 예측 부호화 장치, 화상 예측 부호화 방법, 화상 예측 부호화 프로그램, 화상 예측 복호 장치, 화상 예측 복호 방법 및 화상 예측 복호 프로그램
EP2557795A4 (en) 2010-04-06 2015-07-08 Samsung Electronics Co Ltd METHOD AND APPARATUS FOR ENCODING A VIDEO AND METHOD AND APPARATUS FOR DECODING A VIDEO
KR101770317B1 (ko) 2013-04-08 2017-09-05 지이 비디오 컴프레션, 엘엘씨 성분-간 예측
WO2015015058A1 (en) 2013-07-31 2015-02-05 Nokia Corporation Method and apparatus for video coding and decoding
WO2017036399A1 (en) 2015-09-02 2017-03-09 Mediatek Inc. Method and apparatus of motion compensation for video coding based on bi prediction optical flow techniques
KR102432085B1 (ko) 2015-09-23 2022-08-11 노키아 테크놀로지스 오와이 360도 파노라마 비디오를 코딩하는 방법, 장치 및 컴퓨터 프로그램 제품
US10375413B2 (en) 2015-09-28 2019-08-06 Qualcomm Incorporated Bi-directional optical flow for video coding
KR20170058838A (ko) 2015-11-19 2017-05-29 한국전자통신연구원 화면간 예측 향상을 위한 부호화/복호화 방법 및 장치
CN114827599A (zh) * 2016-02-03 2022-07-29 Oppo广东移动通信有限公司 运动图像解码装置、编码装置、以及预测图像生成装置
KR20180129860A (ko) * 2016-04-25 2018-12-05 엘지전자 주식회사 영상 코딩 시스템에서 인터 예측 방법 및 장치
WO2017197146A1 (en) 2016-05-13 2017-11-16 Vid Scale, Inc. Systems and methods for generalized multi-hypothesis prediction for video coding
JP6938612B2 (ja) 2016-07-12 2021-09-22 エレクトロニクス アンド テレコミュニケーションズ リサーチ インスチチュートＥｌｅｃｔｒｏｎｉｃｓ Ａｎｄ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎｓ Ｒｅｓｅａｒｃｈ Ｉｎｓｔｉｔｕｔｅ 画像復号方法、画像符号化方法、及び非一時的なコンピュータ可読の記録媒体
US11153594B2 (en) 2016-08-29 2021-10-19 Apple Inc. Multidimensional quantization techniques for video coding/decoding systems
WO2018054269A1 (en) 2016-09-22 2018-03-29 Mediatek Inc. Method and apparatus for video coding using decoder side intra prediction derivation
US10880570B2 (en) 2016-10-05 2020-12-29 Qualcomm Incorporated Systems and methods of adaptively determining template size for illumination compensation
WO2018070632A1 (ko) 2016-10-11 2018-04-19 엘지전자 주식회사 영상 코딩 시스템에서 영상 디코딩 방법 및 장치
US10986367B2 (en) 2016-11-04 2021-04-20 Lg Electronics Inc. Inter prediction mode-based image processing method and apparatus therefor
CN110115032B (zh) 2016-12-22 2021-07-20 联发科技股份有限公司 用于视频编解码的运动细化的方法以及装置
US10750203B2 (en) 2016-12-22 2020-08-18 Mediatek Inc. Method and apparatus of adaptive bi-prediction for video coding
US10931969B2 (en) 2017-01-04 2021-02-23 Qualcomm Incorporated Motion vector reconstructions for bi-directional optical flow (BIO)
US10523964B2 (en) 2017-03-13 2019-12-31 Qualcomm Incorporated Inter prediction refinement based on bi-directional optical flow (BIO)
WO2018166357A1 (en) * 2017-03-16 2018-09-20 Mediatek Inc. Method and apparatus of motion refinement based on bi-directional optical flow for video coding
US20180332298A1 (en) 2017-05-10 2018-11-15 Futurewei Technologies, Inc. Bidirectional Prediction In Video Compression
CN117478884A (zh) * 2017-07-03 2024-01-30 Vid拓展公司 用于视频编解码的设备、方法
WO2019234578A1 (en) 2018-06-05 2019-12-12 Beijing Bytedance Network Technology Co., Ltd. Asymmetric weighted bi-predictive merges
US11523109B2 (en) * 2019-05-02 2022-12-06 Tencent America LLC Method and apparatus for improvements of affine prof

Also Published As

Publication number Publication date
US11153599B2 (en) 2021-10-19
KR20210018942A (ko) 2021-02-18
EP3804324A4 (en) 2022-08-03
TWI717753B (zh) 2021-02-01
EP3804324A1 (en) 2021-04-14
CN112272952A (zh) 2021-01-26
US20210250604A1 (en) 2021-08-12
WO2019238008A1 (en) 2019-12-19
MX2020013386A (es) 2021-03-09
KR102596104B1 (ko) 2023-10-30
CN112272952B (zh) 2022-07-01

Similar Documents

Publication Publication Date Title
TWI717753B (zh) 用於視頻編解碼的雙向光流的方法以及裝置
JP7104188B2 (ja) Ｄｍｖｒのためのブロックサイズ制限
US11109061B2 (en) Method and apparatus of motion compensation based on bi-directional optical flow techniques for video coding
WO2018166357A1 (en) Method and apparatus of motion refinement based on bi-directional optical flow for video coding
KR102356234B1 (ko) 선형 컴포넌트 샘플 예측을 위한 새로운 샘플 세트들 및 새로운 다운-샘플링 방식들
TWI674794B (zh) 用於視訊編解碼的運動細化的方法以及裝置
WO2017036399A1 (en) Method and apparatus of motion compensation for video coding based on bi prediction optical flow techniques
WO2020035054A1 (en) Methods and apparatuses of video processing with bi-direction predicition in video coding systems
JP5977439B2 (ja) 簡易化したルマ（ｌｕｍａ）に基づくクロマイントラ予測の方法および装置
MX2014008778A (es) Decodificador de video, codificador de video, metodo de decodificacion de video, y metodo de codificacion de video.
US11985330B2 (en) Method and apparatus of simplified affine subblock process for video coding system
CN114009044A (zh) 用于基于矩阵的帧内预测的简化下采样
CN114402619A (zh) 光流预测细化(prof)的方法和装置
EP4022923A1 (en) Methods and apparatuses for prediction refinement with optical flow, bi-directional optical flow, and decoder-side motion vector refinement
WO2023221993A1 (en) Method and apparatus of decoder-side motion vector refinement and bi-directional optical flow for video coding
CN113966617A (zh) 对mip缩减预测的样本值裁剪
CN114270859A (zh) 图像解码装置、图像解码方法及程序
CN114270867A (zh) 图像解码装置、图像解码方法及程序
CN114270855A (zh) 图像解码装置、图像解码方法及程序