TWI834722B - 雙向光流複雜度降低及位元寬度控制的裝置及方法 - Google Patents

雙向光流複雜度降低及位元寬度控制的裝置及方法 Download PDF

Info

Publication number
TWI834722B
TWI834722B TW108133511A TW108133511A TWI834722B TW I834722 B TWI834722 B TW I834722B TW 108133511 A TW108133511 A TW 108133511A TW 108133511 A TW108133511 A TW 108133511A TW I834722 B TWI834722 B TW I834722B
Authority
TW
Taiwan
Prior art keywords
array
component
horizontal
gradient
prediction
Prior art date
Application number
TW108133511A
Other languages
English (en)
Other versions
TW202025751A (zh
Inventor
修曉宇
賀玉文
言 葉
羅健聰
Original Assignee
美商Ｖｉｄ衡器股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 美商Ｖｉｄ衡器股份有限公司 filed Critical 美商Ｖｉｄ衡器股份有限公司
Publication of TW202025751A publication Critical patent/TW202025751A/zh
Application granted granted Critical
Publication of TWI834722B publication Critical patent/TWI834722B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/563—Motion estimation with padding, i.e. with filling of non-object values in an arbitrarily shaped picture block or region for estimation purposes

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

描述了用於降低在視訊寫碼中使用雙向光流(BIO)的複雜度的系統及方法。在一些實施例中，在BIO運動精化過程中引入位元寬度縮減步驟以縮減用於BIO計算的最大位元寬度。在一些實施例中，使用簡化的內插濾波器來產生目前寫碼單元周圍的延伸區域中的預測樣本。在一些實施例中，不同的內插濾波器用於垂直內插與水平內插。在一些實施例中，對於具有小高度的寫碼單元及/或對於使用子塊級訊框間預測技術(例如，高級時間運動向量預測(ATMVP)或仿射預測)而被預測的寫碼單元，BIO被禁止。

Description

雙向光流複雜度降低及位元寬度控制的裝置及方法
相關申請案的交叉引用
本申請案是非臨時申請案並根據35 U.S.C.§ 119(e)主張以下申請案的權益：美國臨時專利申請案No.62/734,763(2018年9月21日申請)、美國臨時專利申請案No.62/738,655(2018年9月28日申請)以及美國臨時專利申請案No.62/789,331(2019年1月7日申請)，所有這些申請案的標題均為“雙向光流複雜度降低及位元寬度控制(Complexity Reduction and Bit-Width Control for Bi-Directional Optical Flow)”，所有這些申請案的全部內容藉由引用而被併入本文。
視訊寫碼系統廣泛用於壓縮數位視訊信號以減少這種信號的儲存需要及/或傳輸頻寬。在各種類型的視訊寫碼系統中，例如基於塊的系統、基於小波的系統以及基於物件的系統，現今基於塊的混合視訊寫碼系統最廣泛地被使用及部署。基於塊的視訊寫碼系統的範例包括國際視訊寫碼標準，例如MPEG1/2/4部分2、H.264/MPEG-4部分10 AVC、VC-1以及高效視訊寫碼(HEVC)，其由ITU-T/SG16/Q.6/VCEG以及ISO/IEC/MPEG的JCT-VC(視訊寫碼聯合協作團隊)開發。
HEVC標準的第一版本在2013年10月完成，與前一代視訊寫碼標準H.264/MPEG AVC相比，其提供了大約50%的位元速率節省或等效的感知品質。儘管HEVC標準比其前任提供了顯著的寫碼改進，但是有證據顯示，可以利用附加寫碼工具實現優於HEVC的寫碼效率。基於此，VCEG以及MPEG這兩者都開始探索新的寫碼技術，以用於未來的視訊寫碼標準化。聯合視訊探索小組(JVET)已在2015年10月由ITU-T VECG以及ISO/IEC MPEG組建，以開始對能夠實現寫碼效率的實質增強的先進技術的重要研究。JVET藉由在HEVC測試模型(HM)上集成若干附加寫碼工具來維護稱為聯合探索模型(JEM)的參考軟體。
在2017年10月，ITU-T以及ISO/IEC提出了關於具有超過HEVC的能力的視訊壓縮的聯合提案(CfP)。在2018年4月，在第10次JVET會議中接收並評估了23個CfP回應，其證明了壓縮效率增益超過HEVC約40%。基於這樣的評估結果，JVET啟動了新的專案來開發新一代的視訊寫碼標準，其被稱為通用視訊寫碼(VVC)。在同月，建立了一個參考軟體代碼庫，稱為VVC測試模型(VTM)，用於演示VVC標準的參考實施。同時，為了便於新寫碼工具的評估，還產生了稱為基準集(BMS)的另一參考軟體庫。在該BMS代碼庫中，提供較高寫碼效率以及中等實施複雜度的附加編碼工具的列表被包括在VTM之上，並且在VVC標準化過程期間評估類似寫碼技術時被用作基準。具體地，有5個JEM寫碼工具被集成在BMS-2.0中，包括4×4不可分離的二次變換(NSST)、廣義雙向預測(GBi)、雙向光流(BIO)、解碼器側運動向量精化(DMVR)以及目前圖像參考(CPR)。
本文描述的實施例包括在視訊編碼及解碼(統稱為“寫碼”)中使用的方法。在一些實施例中，提供了一種視訊寫碼方法，其中該方法包括：對於使用雙向光流所寫碼的視訊中的至少一個目前塊：基於來自第一參考圖像的第一預測信號陣列來計算第一水平梯度陣列；基於來自第二參考圖像的第二預測信號陣列來計算第二水平梯度陣列；藉由包括對(i)該第一水平梯度陣列以及(ii)該第二水平梯度陣列的和執行右位元移位的方法來計算縮減位元寬度的水平中間參數陣列；至少部分地基於該縮減位元寬度的水平中間參數陣列來計算至少水平運動精化；以及至少使用該水平運動精化以利用有雙向光流來產生該目前塊的預測。
在一些實施例中，該方法更包括：藉由包括計算第一預測信號陣列以及第二預測信號陣列之間的差的方法來計算信號差參數陣列；以及藉由對(i)該信號差參數陣列與(ii)該水平梯度中間參數陣列的按元素相乘的分量求和來計算信號水平梯度相關參數(correlation parameter)；其中計算該水平運動精化包括對該信號水平梯度相關參數進行位元移位以獲得該水平運動精化。
在一些這樣的實施例中，計算該信號差參數陣列包括：在計算該第一預測信號陣列與該第二預測信號陣列之間的該差之前，對該第一預測信號陣列以及該第二預測信號陣列中的每一個執行右位元移位。
在一些實施例中，該方法更包括：基於來自第一參考圖像的第一預測信號陣列來計算第一垂直梯度陣列；基於來自第二參考圖像的第二預測信號陣列來計算第二垂直梯度陣列；藉由包括對(i)該第一垂直梯度陣列以及(ii)該第二垂直梯度陣列的和執行右位元移位的方法來計算縮減位元寬度的垂直中間參數陣列；以及至少部分地基於該縮減位元寬度的水平中間參數陣列以及該縮減位元寬度的垂直中間參數陣列來計算垂直運動精化；其中使用該水平運動精化以及該垂直運動精化來產生該目前塊的該預測。
一些這樣的實施例更包括：藉由包括對(i)該水平中間參數陣列與(ii)該垂直中間參數陣列的按元素相乘的分量求和的方法來計算交叉梯度相關參數；其中計算該垂直運動精化包括確定(i)該水平運動精化與(ii)該交叉梯度相關參數的乘積。
在一些此類實施例中，確定(i)該水平運動精化與(ii)該交叉梯度相關參數的該乘積包括：將該交叉梯度相關參數分離成最高有效位元MSB參數部分以及最低有效位元LSB參數部分；確定(i)該水平運動精化與(ii)該MSB參數部分的MSB乘積；確定(i)該水平運動精化與(ii)該LSB參數部分的LSB乘積；執行該MSB乘積的左位元移位以產生經位元移位的MSB乘積；以及將該LSB乘積與該經位元移位的MSB乘積相加。
在一些實施例中，利用雙向光流產生該目前塊的預測包括：對於該目前塊中的每個樣本，基於以下計算雙向光流樣本偏移：(i)該第一水平梯度陣列，(ii)該第一垂直梯度陣列，(iii)該第二水平梯度陣列，(iv)該第二垂直梯度陣列，(v)該水平運動精化，以及(vi)該垂直運動精化；以及對於該目前塊中的每個樣本，計算至少該第一預測信號陣列、該第二預測信號陣列以及該雙向光流樣本偏移的和。
在一些實施例中，計算該梯度陣列、、、中的每個梯度陣列包括利用該預測信號陣列、內部的各自的最近邊界樣本填充該預測信號陣列外部的樣本。
在一些實施例中，計算該信號差參數陣列的至少一些值包括利用該預測信號陣列、內部的各自的最近邊界樣本填充該預測信號陣列外部的樣本。在一些實施例中，計算該水平中間參數陣列的至少一些值包括利用該水平梯度陣列、內部的各自的最近邊界樣本填充該水平梯度陣列外部的梯度值。
在一些實施例中，計算該垂直中間參數陣列的至少一些值包括利用該垂直梯度陣列、內部的各自的最近邊界樣本填充該垂直梯度陣列外部的梯度值。
在一些實施例中，針對該目前塊中的每一子塊，計算該信號水平梯度相關參數以及該交叉梯度相關參數。
本文描述的實施例可由編碼器或由解碼器執行以產生視訊塊的預測。
在一些實施例中，對於使用雙向光流所寫碼的該視訊中的至少一個目前塊，基於來自第一參考圖像的第一預測信號計算第一梯度分量(例如：∂I (0) /∂x或∂I (0) /∂y)。第二梯度分量(例如，∂I (1) /∂x或∂I (1) /∂y)是基於來自第二參考圖像的第二預測信號計算的。對該第一以及第二梯度分量求和，並對所得到的和執行向下的位元移位，以產生縮減位元寬度相關參數(例如，Ψx 或Ψy )。至少部分地基於該縮減位元寬度相關參數來計算BIO運動精化。使用所計算的運動精化以利用雙向光流對該塊進行預測。
在一些實施例中，對於使用雙向光流所寫碼的視訊中的至少一個目前塊，藉由從基於第二參考圖像的第二預測信號(例如，I(1) )減去基於第一參考圖像的第一預測信號(例如，I(0) )並且執行所得到的差的向下位元移位來產生縮減位元寬度相關參數(例如，θ )。至少部分地基於該縮減位元寬度相關參數來計算BIO運動精化。使用所計算的運動精化以利用雙向光流對該塊進行預測。
在一些實施例中，對於使用雙向光流所寫碼的視訊中的至少一個目前塊，藉由對來自第一參考圖像的第一預測(例如，I(0) )信號執行向下位元移位來產生縮減位元寬的第一預測信號。藉由對來自第二參考圖像的第二預測信號(例如，I(1) )執行向下位元移位來產生縮減位元寬度的第二預測信號。藉由從該縮減位元寬度的第二預測信號中減去該縮減位元寬度的第一預測信號，產生縮減位元寬度相關參數(例如θ )。至少部分地基於該縮減位元寬度相關參數來計算BIO運動精化，並且使用所計算的運動精化以利用雙向光流對該塊進行預測。
在一些實施例中，對於使用雙向光流所寫碼的視訊中的至少一個目前塊，基於來自第一參考圖像的縮減位元寬度的第一預測信號來計算縮減位元寬度的第一梯度分量。基於來自第二參考圖像的縮減位元寬度的第二預測信號來產生縮減位元寬度的第二梯度分量。將第一以及第二縮減位元寬度的梯度分量相加，以產生縮減位元寬度相關參數。至少部分地基於該縮減位元寬度相關參數來計算運動精化，並且使用所計算的運動精化以利用雙向光流預測該塊。
在一些實施例中，對於使用雙向光流所寫碼的視訊中的至少一個目前塊，針對該目前塊中的樣本產生第一以及第二運動補償預測信號，其中針對該目前塊中的樣本的第一以及第二運動補償預測信號是使用具有第一分接頭數量的第一內插濾波器產生的。還針對該目前塊周圍的延伸區域中的樣本產生第一運動補償預測信號以及第二運動補償預測信號，其中使用具有比該第一分接頭數量低的第二分接頭數量的第二內插濾波器來產生針對該目前塊外部的樣本的該第一運動補償預測信號以及該第二運動補償預測信號。至少部分地基於該第一以及第二運動補償預測信號來計算運動精化，並且使用所計算的運動精化以利用雙向光流來預測該塊。
在一些實施例中，對於使用雙向光流所寫碼的視訊中的至少一個目前塊，產生第一以及第二運動補償預測信號，其中使用具有第一分接頭數量的水平內插濾波器以及具有低於該第一分接頭數量的第二分接頭數量的垂直內插濾波器來產生用於該目前塊中的樣本的該第一以及第二運動補償預測信號。至少部分地基於該第一以及第二運動補償預測信號來計算運動精化，並且使用所計算的運動精化以利用雙向光流預測該塊。
在一些實施例中，對於使用雙向光流所寫碼的視訊中的至少一個目前塊，產生第一以及第二運動補償預測信號。使用具有第一分接頭數量的水平內插濾波器以及具有第二分接頭數量的垂直內插濾波器來產生該目前塊中的樣本的該第一以及第二運動補償預測信號。該水平濾波器以及垂直濾波器以預定的順序被應用，並且在該順序中被較早應用的濾波器具有比在該順序中被較晚應用的濾波器更高的分接頭數。至少部分地基於該第一以及第二運動補償預測信號來計算運動精化，並且使用所計算的運動精化以利用雙向光流預測該塊。
在一些實施例中，提供一種對包括複數寫碼單元的視訊進行寫碼的方法。對於使用雙向預測所寫碼的視訊中的複數寫碼單元，至少對於具有的高度不大於臨界高度的寫碼單元，禁止雙向光流(例如，對於具有四的高度的寫碼單元，可以禁止BIO)。對雙向光流被禁止的雙向預測寫碼單元，執行沒有雙向光流的雙向預測(Bi-prediction)。針對雙向光流未被禁止的雙向預測寫碼單元(例如，針對雙向光流未被禁止的至少一個雙向預測寫碼單元)，執行利用雙向光流的雙向預測。
在一些實施例中，對於使用雙向光流所寫碼的視訊中的至少一個目前塊，針對該目前塊中的樣本產生第一以及第二運動補償預測信號。針對該目前塊周圍的延伸區域中的樣本，產生第一值及第二值，其中該延伸區域不包含遠離該目前塊一個以上的列或行的樣本。至少部分地基於該第一以及第二運動補償預測信號以及該延伸區域中的樣本的該第一以及第二值來計算運動精化。使用所計算的運動精化以利用雙向光流預測該塊。
在一些實施例中，提供一種對包括複數寫碼單元的視訊進行寫碼的方法。對於該視訊中使用雙向預測所寫碼的複數寫碼單元，至少對於使用子塊級別訊框間預測技術(例如高級時間運動向量預測以及仿射預測)而被預測的寫碼單元，禁止雙向光流。對雙向光流被禁止的該雙向預測寫碼單元，執行沒有雙向光流的雙向預測。針對雙向光流未被禁止的雙向預測寫碼單元(例如，針對雙向光流未被禁止的雙向預測寫碼單元中的至少一個)，執行利用雙向光流的雙向預測。
在一些實施例中，對於使用雙向光流所寫碼的視訊中的至少一個目前塊，針對該目前塊中的樣本，產生第一運動補償預測信號以及第二運動補償預測信號。使用具有第一分接頭數量的水平內插濾波器以及具有該第一分接頭數量的垂直內插濾波器來產生該目前塊中的樣本的該第一以及第二運動補償預測信號。還針對該目前塊周圍的延伸區域中的樣本產生第一運動補償預測信號以及第二運動補償預測信號，其中使用具有第一分接頭數量的水平內插濾波器以及具有第二分接頭數量的垂直內插濾波器來產生針對目前塊外部的樣本的該第一運動補償預測信號以及第二運動補償預測信號，其中第二分接頭數量的低於第一分接頭數量。至少部分地基於該第一以及第二運動補償預測信號來計算運動精化。使用所計算的運動精化以利用雙向光流預測該塊。
在另外的實施例中，提供編碼器系統以及解碼器系統以執行本文描述的方法。編碼器系統或解碼器系統可以包括處理器以及儲存用於執行本文描述的方法的指令的非暫時性電腦可讀媒體。附加實施例包括一種儲存使用本文描述的方法編碼的視訊的非暫時性電腦可讀儲存媒體。
圖1A是示出了可在其中實施一個或複數所揭露的實施例的範例性通信系統100的圖式。該通信系統100可以是將例如語音、資料、視訊、訊息發送、廣播等的內容提供給複數無線使用者的多重存取系統。該通信系統100可以經由系統資源(包括無線頻寬)的共用使得複數無線使用者能夠存取這些內容。例如，該通信系統100可以使用一種或多種通道存取方法，例如分碼多重存取(CDMA)、分時多重存取(TDMA)、分頻多重存取(FDMA)、正交FDMA(OFDMA)、單載波FDMA(SC-FDMA)、零尾唯一字DFT-擴展 OFDM(ZT UW DTS-s OFDM)、唯一字OFDM(UW-OFDM)、資源塊濾波OFDM、濾波器組多載波(FBMC)等等。
如圖1A所示，通信系統100可以包括無線傳輸/接收單元(WTRU) 102a、102b、102c、102d、RAN 104/113、CN 106/115、公共交換電話網路(PSTN) 108、網際網路110以及其他網路112，但應理解的是所揭露的實施例涵蓋任意數量的WTRU、基地台、網路及/或網路元件。WTRU 102a、102b、102c、102d中的每一個可以是被配置為在無線環境中操作及/或通信的任何類型的裝置。例如，WTRU 102a、102b、102c、102d（其任一者可以被稱為“站”及/或“STA”）可以被配置為傳輸及/或接收無線信號、並且可以包括使用者設備(UE)、行動站、固定或行動訂戶單元、基於訂戶的單元、呼叫器、行動電話、個人數位助理(PDA)、智慧型電話、膝上型電腦、小筆電、個人電腦、無線感測器、熱點或Mi-Fi裝置、物聯網(IoT)裝置、手錶或其他可穿戴裝置、頭戴式顯示器(HMD)、車輛、無人機、醫療設備以及應用(例如遠端手術)、工業設備以及應用(例如，在工業及/或自動處理鏈環境中操作的機器人及/或其他無線裝置)、消費電子裝置、以及在商業及/或工業無線網路上操作的裝置等等。WTRU 102a、102b、102c、以及102d中的任一者可以可互換地稱為UE。
通信系統100還可以包括基地台114a及/或基地台114b。基地台114a、114b中的每一個可以是被配置為與WTRU 102a、102b、102c、102d中的至少一者無線地介接以促進存取一個或複數通信網路(例如，CN 106/115、網際網路110及/或其他網路112)的任何類型的裝置。例如，基地台114a、114b可以是基地台收發信站(BTS)、節點B、e節點B、本地節點B、本地e節點B、gNB、NR節點B、網站控制器、存取點(AP)、無線路由器等。儘管基地台114a、114b每個均被描述為單一元件，但應當理解的是基地台114a、114b可以包括任何數量的互連基地台及/或網路元件。
基地台114a可以是RAN 104/113的一部分，其還可以包括例如基地台控制器(BSC)、無線電網路控制器(RNC)、中繼節點等的其他基地台及/或網路元件(未示出)。基地台114a及/或基地台114b可以被配置為在可以被稱為胞元(未示出)的一個或複數載波頻率上傳送及/或接收無線信號。這些頻率可在許可頻譜、未經許可頻譜、或許可頻譜以及未經許可頻譜的組合中。胞元可以將無線服務的覆蓋範圍提供給可相對固定或可隨時間而改變的特定地理區域。胞元還可以被劃分成胞元扇區。例如，與基地台114a相關聯的胞元可以被劃分成三個扇區。因此，在一種實施例中，基地台114a可以包括三個收發器，例如針對該胞元的每個扇區都有一個收發器。在一種實施例中，基地台114a可以使用多輸入多輸出(MIMO)技術、並且可以使用針對胞元的每個扇區的複數收發器。例如，波束成形可以用於在期望的空間方向上傳送及/或接收信號。
基地台114a、114b可以經由空中介面116以與WTRU 102a、102b、102c、102d中的一者或多者通信，該空中介面116可以是任何合適的無線通信鏈路(例如，射頻(RF)、微波、釐米波、微米波、紅外(IR)、紫外(UV)、可見光等)。空中介面116可以使用任何合適的無線電存取技術(RAT)來建立。
更具體地，如上所述，通信系統100可以是多重存取系統、並且可以使用一種或多種通道存取方案，例如CDMA、TDMA、FDMA、OFDMA、SC-FDMA等。例如，在RAN 104/113中的基地台114a以及WTRU 102a、102b、102c可以實施例如通用行動電信系統(UMTS)地面無線電存取(UTRA)之類的無線電技術，該無線電技術可以使用寬頻CDMA(WCDMA)來建立空中介面115/116/117。WCDMA可以包括例如高速封包存取(HSPA)及/或演進型HSPA(HSPA+)的通信協定。HSPA可以包括高速下鏈(DL)封包存取(HSDPA)及/或高速UL封包存取(HSUPA)。
在一種實施例中，基地台114a以及WTRU 102a、102b、102c可以實施例如演進型UMTS地面無線電存取(E-UTRA)之類的無線電技術，其可以使用長期演進(LTE)及/或高級LTE(LTE-A)及/或專業版高級LTE(LTE-A Pro)來建立空中介面116。
在一種實施例中，基地台114a以及WTRU 102a、102b、102c可以實施例如NR無線電存取的無線電技術，該無線電技術可以使用新無線電(NR)來建立空中介面116。
在一種實施例中，基地台114a以及WTRU 102a、102b、102c可以實施多種無線電存取技術。例如，基地台114a以及WTRU 102a、102b、102c可以例如使用雙連接(DC)原理以一起實施LTE無線電存取以及NR無線電存取。因此，WTRU 102a、102b、102c使用的空中介面可以由多種類型的無線電存取技術、及/或發送到/自多種類型的基地台(例如，eNB以及gNB)的傳輸來表徵。
在其他實施例中，基地台114a以及WTRU 102a、102b、102c可以實施例如IEEE 802.11(即，無線保真(WiFi)、IEEE 802.16(即，全球互通微波存取(WiMAX))、CDMA2000、CDMA2000 1X、CDMA2000 EV-DO、暫行標準2000(IS-2000)、暫行標準95(IS-95)、暫行標準856(IS-856)、全球行動通信系統(GSM)、GSM增強型資料率演進(EDGE)、GSM EDGE (GERAN)之類的無線電技術。
圖1A中的基地台114b可以是例如無線路由器、本地節點B、本地e節點B或者存取點、並且可以使用任何合適的RAT以用於促進在例如商業區、家庭、車輛、校園、工業設施、空中走廊(例如，供無人機使用)、道路之類的局部區域的無線連接。在一種實施例中，基地台114b以及WTRU 102c、102d可以實施例如IEEE 802.11之類的無線電技術以建立無線區域網路(WLAN)。在一種實施例中，基地台114b以及WTRU 102c、102d可以實施例如IEEE 802.15 之類的無線電技術以建立無線個人區域網路(WPAN)。在又一種實施例中，基地台114b以及WTRU 102c、102d可以使用基於蜂巢的RAT(例如，WCDMA、CDMA2000、GSM、LTE、LTE-A、LTE-A Pro、NR等)以建立微微胞元(picocell)或毫微微胞元(femtocell)。如圖1A所示，基地台114b可以具有至網際網路110的直接連接。因此，基地台114b可不需要經由CN 106/115來存取網際網路110。
RAN 104/113可以與CN 106/115通信，該CN 106/115可以是被配置成將語音、資料、應用及/或網際網路協定語音(VoIP)服務提供到WTRU 102a、102b、102c、102d中的一者或多者的任何類型的網路。資料可以具有不同的服務品質(QoS)要求，例如不同的輸送量要求、潛時要求、容錯要求、可靠性要求、資料輸送量要求、移動性要求等。CN 106/115可以提供呼叫控制、帳單服務、基於移動位置的服務、預付費呼叫、網際網路連接、視訊分配等、及/或執行高階安全性功能，例如使用者驗證。儘管圖1A中未示出，但應理解的是RAN 104/113及/或CN 106/115可以直接或間接地與其他RAN進行通信，這些其他RAN使用與RAN 104/113相同的RAT或者不同的RAT。例如，除了連接到可以採用NR無線電技術的RAN 104/113，CN 106/115也可以與使用GSM、UMTS、CDMA2000、WiMAX、E-UTRA、或者WiFi無線電技術的另一RAN(未示出)通信。
CN 106/115也可以充當WTRU 102a、102b、102c、102d存取PSTN 108、網際網路110及/或其他網路112的閘道。PSTN 108可以包括提供普通老式電話服務(POTS)的電路交換電話網路。網際網路110可以包括使用公共通信協定的互連電腦網路及裝置的全球系統，該公共通信協定例如是傳輸控制協定(TCP)/網際網路協定(IP)網際網路協定套件中的TCP、使用者資料報協定(UDP)及/或IP。網路112可以包括由其他服務提供方擁有及/或操作的無線及/或有線通信網路。例如，網路112可以包括連接到一個或複數RAN的另一CN，該一個或複數RAN可以使用與RAN 104/113相同的RAT或者不同的RAT。
通信系統100中的WTRU 102a、102b、102c、102d中的一些或者全部可以包括多模式能力(即WTRU 102a、102b、102c、102d可以包括用於經由不同的無線鏈路以與不同的無線網路進行通信的複數收發器)。例如，圖1A中顯示的WTRU 102c可以被配置為與可使用基於蜂巢的無線電技術的基地台114a進行通信、並且與可使用IEEE 802無線電技術的基地台114b進行通信。
圖1B是範例性WTRU 102的系統圖。如圖1B所示，WTRU 102可以包括處理器118、收發器120、傳輸/接收元件122、揚聲器/麥克風124、小鍵盤126、顯示器/觸控板128、非可移記憶體130、可移記憶體132、電源134、全球定位系統(GPS)晶片組136以及其他週邊設備138等。應該理解的是，在保持與實施例一致的情況下，WTRU 102可以包括上述元件的任何子組合。
處理器118可以是通用處理器、專用處理器、常規處理器、數位訊號處理器(DSP)、複數微處理器、與DSP核心相關聯的一或複數微處理器、控制器、微控制器、專用積體電路(ASIC)、現場可程式閘陣列(FPGA)電路、任何其它類型的積體電路(IC)、狀態機等。處理器118可以執行信號編碼、資料處理、功率控制、輸入/輸出處理、及/或使WTRU 102能夠在無線環境中操作的任何其他功能。處理器118可以耦合到收發器120，該收發器120可以耦合到傳輸/接收元件122。儘管圖1B中將處理器118以及收發器120描述為獨立的元件，但是應當理解的是處理器118以及收發器120可以被一起集成到電子封裝或者晶片中。
傳輸/接收元件122可以被配置為經由空中介面116將信號傳輸到基地台(例如，基地台114a)、或者從基地台(例如，基地台114a)接收信號。例如，在一種實施例中，傳輸/接收元件122可以是被配置為傳輸及/或接收RF信號的天線。例如，在一種實施例中，傳輸/接收元件122可以是被配置為傳輸及/或接收例如IR、UV或者可見光信號的放射器/偵測器。在又一種實施例中，傳輸/接收元件122可以被配置為傳輸及/或接收RF信號以及光信號兩者。應當理解，傳輸/接收元件122可以被配置為傳輸及/或接收無線信號的任何組合。
儘管傳輸/接收元件122在圖1B中被描述為單一元件，但是WTRU 102可以包括任何數量的傳輸/接收元件122。更具體地，WTRU 102可以使用MIMO技術。因此，在一種實施例中，WTRU 102可以包括兩個或更多個傳輸/接收元件122(例如，複數天線)以用於經由空中介面116傳輸及/或接收無線信號。
收發器120可以被配置為對將由傳輸/接收元件122傳送的信號進行調變、並且被配置為對由傳輸/接收元件122接收的信號進行解調。如上所述，WTRU 102可以具有多模式能力。因此，收發器120可以包括複數收發器以使WTRU 102能夠經由複數RAT（例如NR以及IEEE 802.11）進行通信。
WTRU 102的處理器118可以被耦合到揚聲器/麥克風124、小鍵盤126及/或顯示器/觸控板128(例如，液晶顯示(LCD)顯示單元或者有機發光二極體(OLED)顯示單元)、並且可以從上述裝置接收使用者輸入資料。處理器118還可以向揚聲器/麥克風124、小鍵盤126、及/或顯示器/觸控板128輸出使用者資料。處理器118可以存取來自任何類型的合適的記憶體中的資訊、以及在任何類型的合適的記憶體中儲存資料，該記憶體例如可以是非可移記憶體130及/或可移記憶體132。非可移記憶體130可以包括隨機存取記憶體(RAM)、唯讀記憶體(ROM)、硬碟或者任何其他類型的記憶體儲存裝置。可移記憶體132可以包括用戶身份模組(SIM)卡、記憶條、安全數位(SD)記憶卡等。在其他實施例中，處理器118可以存取來自實際上未位於WTRU 102上(例如位於伺服器或者家用電腦(未示出)上)的記憶體的資訊、以及在上述記憶體中儲存資料。
處理器118可以從電源134接收電能、並且可以被配置成將該電能分配給WTRU 102中的其他元件及/或對在WTRU 102中的其他元件的電能進行控制。電源134可以是任何用於給WTRU 102供電的裝置。例如，電源134可以包括一個或複數乾電池(例如，鎳鎘(NiCd)、鎳鋅(NiZn)、鎳氫(NiMH)、鋰離子(Li-ion)等)、太陽能電池、燃料電池等。
處理器118還可以耦合到GPS晶片組136，該GPS晶片組136可以被配置為提供關於WTRU 102的目前位置的位置資訊(例如，經度以及緯度)。作為來自GPS晶片組136的資訊的補充或者替代，WTRU 102可以經由空中介面116從基地台(例如，基地台114a、114b)接收位置資訊、及/或基於從兩個或更多個相鄰基地台接收到的信號的時序來確定其位置。應當理解，在與實施例保持一致的同時，WTRU 102可以用任何合適的位置確定方法來獲取位置資訊。
處理器118還可以耦合到其他週邊設備138，該週邊設備138可以包括提供附加特徵、功能及/或無線或有線連接的一個或複數軟體及/或硬體模組。例如，週邊設備138可以包括加速度計、電子指南針(e-compass)、衛星收發器、數位相機(用於照片及/或視訊)、通用序列匯流排(USB)埠、震動裝置、電視收發器、免持耳機、藍牙®模組、調頻(FM)無線電單元、數位音樂播放器、媒體播放器、視訊遊戲機模組、網際網路瀏覽器、虛擬實境及/或增強現實(VR/AR)裝置、活動追蹤器等等。週邊設備138可以包括一個或複數感測器，感測器可以是以下中的一者或多者：陀螺儀、加速計、霍爾效應感測器、磁力計、方位感測器、接近感測器、溫度感測器、時間感測器、地理位置感測器、高度計、光感測器、觸控感測器、磁力計、氣壓計、手勢感測器、生物感測器、及/或濕度感測器。
WTRU 102可以包括全雙工無線電，對於該全雙工無線電，一些或全部信號(例如，與用於UL(例如，用於傳輸)以及下鏈(例如用於接收)兩者的特定子訊框相關聯)的傳輸及接收可以是並行及/或同時的。全雙工無線電可以包括干擾管理單元，以經由硬體(例如扼流器)或經由處理器(例如，單獨的處理器(未示出)或者經由處理器118)的信號處理來減少及/或基本上消除自干擾。在一種實施例中，WRTU 102可以包括一些或全部信號的傳輸及接收(例如，與用於UL(例如，用於傳輸)或下鏈(例如，用於接收)的特定子訊框相關聯)的半雙工無線電。
儘管WTRU在圖1A至圖1B中被描述為無線終端，但是可以預期的是，在某些代表性的實施例中，這樣的終端可(例如，暫時地或永久地)使用與通信網路的有線通信介面。
在代表性實施例中，該其他網路112可以是WLAN。
參考圖1A至圖1B以及對應描述，這裡描述的一種或多種或所有功能可以由一個或複數仿真裝置(未示出)執行。仿真裝置可以是被配置為仿真本文描述的一個或複數或所有功能的一個或複數裝置。例如，仿真裝置可以用於測試其他裝置及/或模擬網路及/或WTRU功能。
仿真裝置可以被設計為實施實驗室環境中及/或操作者網路環境中的其他裝置的一個或複數測試。例如，一個或複數仿真裝置可在完全或部分地實施及/或部署為有線及/或無線通信網路的一部分的同時執行一個或複數或所有功能，以測試通信網路內的其他裝置。一個或複數仿真裝置可以在作為有線及/或無線通信網路的一部分暫時實施/部署的同時執行一個或複數或所有功能。仿真裝置可以為了測試的目的直接耦合到另一個裝置及/或可以使用空中無線通信執行測試。
一個或複數仿真裝置可以執行包括所有功能的一個或複數功能，而不是作為有線及/或無線通信網路的一部分來實施/部署。例如，仿真裝置可以在測試實驗室及/或非部署(例如，測試)的有線及/或無線通信網路中的測試場景被使用以實施一個或複數元件的測試。一個或複數仿真裝置可以是測試裝置。仿真裝置可以使用經由RF電路(例如，其可以包括一個或複數天線)的直接RF耦合及/或無線通信來傳輸及/或接收資料。實施方式 基於塊 的視訊寫碼
與HEVC類似，VVC被建立在基於塊的混合視訊寫碼框架上。圖2A給出了基於塊的混合視訊編碼系統的方塊圖。輸入視訊訊號103被逐塊(稱為寫碼單元(CU))處理。在VTM-1.0中，CU可以高達128×128像素。然而，與僅基於四叉樹來分塊的HEVC不同，在VTM-1.0中，寫碼樹單元(CTU)被分成複數CU以適應基於四叉樹/二叉樹/三叉樹而變化的局部特性。另外，HEVC中的複數分區單元類型的概念被移除，且在VVC中不再存在CU、預測單元(PU)以及變換單元(TU)的區分。相反，每一CU總是用作預測以及變換這兩者的基本單元，而無需進一步分區。在多類型樹結構中，首先用四叉樹結構對一個CTU進行分區。然後，每個四叉樹葉節點可以進一步由二叉樹以及三叉樹結構進行分區。如圖3A至圖3E中所示，存在五種分割類型：四元分區、水平二元分區、垂直二元分區、水平三元分區以及垂直三元分區。
如圖2A所示，可以執行空間預測(161)及/或時間預測(163)。空間預測(或“訊框內預測”)使用來自相同視訊圖像/切片中的已寫碼相鄰塊的樣本(其被稱為參考樣本)的像素來預測目前視訊塊。空間預測減少了視訊訊號中固有的空間冗餘。時間預測(也稱為“訊框間預測”或“運動補償預測”)使用來自已寫碼視訊圖像的經重建像素來預測目前視訊塊。時間預測減少了視訊訊號中固有的時間冗餘。用於給定CU的時間預測信號通常由表明了目前CU與其時間參考之間的運動量以及方向的一個或複數運動向量(MV)所傳訊。此外，如果支援複數參考圖像，則附加地發送參考圖像索引，該參考圖像索引用於識別時間預測信號來自參考圖像儲存器(165)中的哪個參考圖像。在空間及/或時間預測之後，編碼器中的模式決策塊(181)例如基於速率失真最佳化方法來選擇最佳預測模式。然後從目前視訊塊中減去(117)預測塊；並且使用變換(105)對預測殘差進行去相關並對其進行量化(107)。量化的殘差係數被逆量化(111)以及逆變換(113)以形成重建的殘差，然後將該重建的殘差加回到預測塊(127)以形成CU的重建信號。在將經重建CU放入參考圖像儲存器(165)中且用於寫碼未來視訊塊之前，可對其應用(167)進一步環內濾波，例如解塊濾波器、樣本適應性偏移SAO以及適應性環內濾波器(ALF)。為了形成輸出視訊位元流121，寫碼模式(訊框間或訊框內)、預測模式資訊、運動資訊以及量化的殘差係數都被發送到熵寫碼單元(109)，以被進一步壓縮以及包裝以形成位元流。
圖2B給出基於塊的視訊解碼器的功能方塊圖。視訊位元流202首先在熵解碼單元208被拆開以及熵解碼。寫碼模式以及預測資訊被發送到空間預測單元260 (如果是訊框內寫碼的)或時間預測單元262 (如果是訊框間寫碼的)以形成預測塊。殘餘變換係數被發送到逆量化單元210以及逆變換單元212以重建該殘餘塊。然後，在226處，將該預測塊以及該殘差塊加在一起。該重建塊在其被儲存在參考圖像儲存器264中之前可以進一步經過環內濾波。然後，參考圖像儲存器中的重建視訊被發送出去以驅動顯示裝置、以及用於預測未來的視訊塊。
如前所述，BMS-2.0遵守與圖2A以及圖2B所示的VTM-2.0相同的編碼/解碼工作流程。然而，若干寫碼模組(尤其是與時間預測相關聯的寫碼模組)進一步被增強，以提高寫碼效率。本揭露內容涉及降低計算複雜度並解決與BMS-2.0中現有BIO工具相關聯的大位元寬度問題。下面介紹該BIO工具的主要設計方面，然後對現有BIO實施方式的計算複雜度以及位元寬度進行更詳細的分析。基於光流模型 的雙向預測
視訊寫碼中的常規雙向預測是從已重建的參考圖像獲得的兩個時間預測塊的簡單組合。然而，由於基於塊的運動補償(MC)的限制，可能存在可在兩個預測塊的樣本之間觀察到的剩餘小運動，因此降低了運動補償預測的效率。為了解決這個問題，在BMS-2.0中應用了雙向光流(BIO)以減少這種運動對塊內的每個樣本的影響。具體地，BIO是在使用雙向預測時在基於塊的運動補償預測之上執行的按照樣本的運動精化。在目前BIO設計中，對於一個塊中的每個樣本的精化運動向量的導出是基於經典光流模型的。設從參考圖像列表k (k = 0, 1 )導出的預測塊的座標(x, y) 處的樣本值為，並且以及是該樣本的水平梯度以及垂直梯度。給定該光流模型，可以藉由下式導出(x, y) 處的運動精化：
(1)
在圖4中，(MVx0 , MVy0 ) 以及(MVx1 , MVy1 ) 表明用於產生兩個預測塊以及的塊級運動向量。此外，樣本位置(x, y) 處的運動精化可藉由將運動精化補償(圖4中的A 以及B )之後的樣本的值之間的差最小化來計算，如以下所示：
(2)
另外，為了確保導出的運動精化的規律性，假設該運動精化對於一個小單元(即，4×4塊)內的樣本是一致的。在BMS-2.0中，藉由最小化每個4×4塊周圍的6×6視窗內部的來導出的值，如以下所示：
(3)
為了解決(3)中指出的最佳化問題，BIO使用漸進方法，該方法首先最佳化水平方向上的運動精化，然後最佳化垂直方向上的運動精化。這導致：
(4)
其中是輸出小於或等於輸入的最大值的地板函數，並且是運動精化臨界值，以防止由於寫碼雜訊以及不規則的局部運動而導致的誤差傳播，其等於。運算子( ? : ) 是三元條件運算子；如果a 的值為真，則形式(a ? b : c) 的運算式評估到b ，否則其評估到c 。如果c>a ，函數clip3(a,b,c) 返回a ，如果b>c ，則其返回b 。值、、以及被進一步計算為：
,         (5)
其中
(6)
在BMS-2.0中，水平以及垂直方向上的(6)中的BIO梯度可藉由計算在每個L0/L1預測塊的一個樣本位置處的兩個相鄰樣本(在水平或垂直方式上依賴於正被導出的梯度的方向)之間的差而被直接獲得，例如：
(7)
在(5)中，是內部BIO過程的位元深度增加以保持資料精確度，其在BMS-2.0中被設定為5。另外，為了避免除以較小值，調節參數在(4)中被定義為：
(8)
其中BD 是輸入視訊的位元深度。基於由(4)導出的運動精化，可藉由基於光流等式(1)沿著運動軌跡內插L0/L1預測樣本來計算目前CU的最終雙向預測信號，其被指定為：
(9)
其中是雙向光流樣本偏移；是被應用來組合L0及L1預測信號以用於雙向預測的右移位，其可被設定為等於；是可以被設定為的位元深度偏移，其可被設定為；以及是將輸入值捨入到最接近的整數值的捨入函數。BIO 的位元寬度分析
與其先前的標準HEVC一樣，對於VVC中的雙向預測CU，如果MV指向分數樣本位置，則L0/L1預測信號（即，以及）以中間高精確度(即，16位元)產生，以保持隨後的平均運算的精確度。另外，在兩個MV中的任一者為整數的情況下，在應用平均之前，將對應預測樣本(其直接從參考圖像獲取)的精確度增加到該中間精確度。在給定中間位元深度的雙向預測信號的情況下，假設輸入視訊是10位元，表1總結了BIO過程的每個階段所需的中間參數的位元寬度，如在“基於光流模型的雙向預測”部分中所示的。 表1. BMS-2.0 (10位元輸入視訊)中BIO設計的中間參數的位元寬度
操作 參數 位元寬度
L0/L1預測 16
梯度推導 13
13
相關參數計算 17
14
14
27
27
35
28
36
求和 33
33
41
34
42
運動精化推導 9
43
9
最終的雙向預測產生 22
22
從表1可以看出，整個BIO過程的極限位元寬度發生在(4)中的垂直運動精化的計算處，其中(42位元)被減去(9位元)與(33位元)的乘積。因此，現有BIO設計的最大位元寬度等於42+ 1 = 43位元。另外，當乘法(即，)取作為輸入時，使用33位元乘法器來計算的值。因此，在BMS-2.0中的目前BIO的直接實施可以要求33位元乘法器，並且對於中間參數，具有43位元的最大位元寬度。BIO 的計算複雜度分析
在這一部分中，對現有BIO設計執行計算複雜度分析。具體地，根據BMS-2.0中的目前BIO實施，計算在應用BIO下產生最終運動補償預測的操作(例如，乘法以及加法)的數量。此外，為了便於以下討論，假設由BIO預測的目前CU的大小等於W×H，其中W是CU的寬度，H是CU的高度。L0 以及 L1 預測樣本的產生
如(3)所示，為了導出每個4×4塊的局部運動精化，需要為樣本周圍的6×6周圍視窗中的所有樣本計算樣本值以及梯度值。因此，為了導出CU內的所有樣本的局部運動精化，BIO使用(W+2)×(H+2)個樣本的梯度。另外，如(7)中所示，藉由直接計算兩個相鄰樣本之間的差來獲得水平以及垂直梯度。因此，為了計算(W+2)×(H+2)梯度值，L0以及L1預測方向中的預測樣本的總數等於(W+4)×(H+4)。由於目前運動補償是基於2D可分離有限脈衝回應(FIR) 8分接頭濾波器，所以用於產生L0以及L1預測樣本的乘法及加法的數量都等於((W+4)×(H+4+7)×8+(W+4)×(H+4)×8)×2。梯度計算
如(7)所示，由於梯度是直接從兩個相鄰預測樣本計算的，因此每個樣本僅需要一次加法。考慮到水平以及垂直梯度都是在L0以及L1的(W+2)×(H+2)的延伸區域中導出的，梯度導出所需的加法的總數等於((W+2)×(H+2))×2×2。相關參數計算
如等式(5)以及(6)所示，有五個相關參數(即，、、、以及)，其藉由BIO針對延伸區域(W+2)×(H+2)中的所有樣本而被計算。另外，存在用於計算每個樣本位置處的五個參數的五次乘法以及三次加法。因此，用於計算該相關參數的乘法以及加法的總數分別等於((W+2)×(H+2))×5以及((W+2)×(H+2))×3。求和
如上所述，分別為目前CU內的每一4×4塊導出BIO運動精化。為了導出每個4×4塊的運動精化，計算6×6周圍區域內部的五個相關參數的和。因此，在這個階段，五個相關參數的求和總共使用(W/4)×(H/4)×6×6×5次加法。 運動精化推導
如(4)所示，為了導出每個4×4塊的局部運動精化，存在用於將調節參數加到以及的兩次加法。另外，存在一次乘法以及加法來計算的值。因此，為了導出CU內部所有4×4塊的運動精化，所使用的乘法以及加法的數量分別等於(W/4)×(H/4)以及(W/4)×(H/4)×3。雙向預測信號的產生
如(9)所示，給定所導出的運動精化，進一步使用兩次乘法以及六次加法來導出每一樣本位置處的最終預測樣本值。因此，在這個階段，總共執行W×H×2次乘法以及W×H×6次加法。在一些實施例中解決的問題
如上所述，BIO可以藉由改善在運動補償階段使用的運動向量的粒度以及精確度來提高雙向預測的效率。雖然BIO可以有效地提高寫碼性能，但是其給實際的硬體實施帶來了顯著的複雜度增加。在本揭露內容中，確定了在BMS-2.0中的目前BIO設計中存在的以下複雜度問題。用於 BIO 的高中間位元寬度以及大乘法器
與HEVC標準一樣，當預測塊的MV指向參考圖像中的分數樣本位置時，在運動補償階段應用2D可分離FIR濾波器來對預測塊的預測樣本進行內插。具體而言，首先在水平方向應用一個內插濾波器，以根據MV的水平分數分量導出中間樣本；然後，根據該MV的垂直分數分量，在上述水平分數樣本的頂部垂直地應用另一內插濾波器。假設輸入是10位元視訊(即，BD = 10 )，表2藉由假設水平以及垂直MV都指向半樣本位置(其對應於來自運動補償過程的內插樣本的最壞情況位元寬度)，提供了VTM/BMS-2.0中的運動補償預測過程的位元寬度測量。具體地，在第一步驟中，藉由將與正負濾波器係數相關聯的輸入參考樣本的值分別設定為最大輸入值(即，)以及最小輸入值(即，)，計算該第一內插過程(水平內插)之後的中間資料的最壞情況的位元寬度。然後，藉由將用於第二內插(垂直內插)的輸入資料的值設定為從該第一內插輸出的最差可能值，獲得該第二內插過程的最壞情況位元寬度。 表2用於運動補償內插的中間資料的位元寬度
操作 每一操作之後的位元寬度
輸入 10
水平內插 17
(BD -8)-位元的第一次右移位 15
垂直內插 22
6-位元的第二次右移位 16
從表2可以看出，運動補償內插的最大位元寬度存在於垂直內插過程中，其中輸入資料是15位元，濾波器係數是7位元有符號值；因此，來自垂直內插的輸出資料的位元寬度為22位元。另外，假定垂直內插過程的輸入資料是15位元，那麼15位元乘法器足以用於在運動補償階段產生中間分數樣本值。
然而，如上所分析的，現有BIO設計要求33位元乘法器、並具有43位元中間參數以維持中間資料的精確度。與表2相比，這兩個數字都比常規運動補償內插的數字高得多。實際上，這種顯著的位元寬度增加(特別是所需乘法器的位元寬度增加)對於硬體以及軟體都是非常昂貴的，因此增加了BIO的實施成本。BIO 的高計算複雜度
基於以上複雜度分析，表3以及表4描述了根據目前BIO對於不同CU大小的每個樣本需要執行的乘法以及加法的數量、並且將它們與對應於VTM/BMS-2.0中最壞情況計算複雜度的常規4×4雙向預測CU的複雜度統計進行比較。對於4×4雙向預測的CU，假設內插濾波器的長度(例如，8)，乘法以及加法的總數等於(4×(4+7)×8+4×4×8)×2= 960 (即，每個樣本60)以及(4×(4+7)×8+4×4×8)×2+4×4×2=992 (即，每個樣本62)。 表3. BMS-2.0中的BIO針對每個樣本執行的乘法的數量。最後一行示出了BIO乘法相對於4×4雙向預測運動補償的乘法的百分比
CU大小 (W×H) BIO 百分比
L0/L1 預測 梯度 相關性 求和 運動精化 最終的雙向預測 總數
4×4 184.0 0 11.3 0 0.1 2 197.3 329%
4×8 124.0 0 9.4 0 0.1 2 135.4 226%
8×4 138.0 0 9.4 0 0.1 2 149.4 249%
4×16 94.0 0 8.4 0 0.1 2 104.5 174%
16×4 115.0 0 8.4 0 0.1 2 125.5 209%
4×32 79.0 0 8.0 0 0.1 2 89.0 148%
32×4 103.5 0 8.0 0 0.1 2 113.5 189%
4×64 71.5 0 7.7 0 0.1 2 81.3 135%
64×4 97.8 0 7.7 0 0.1 2 107.5 179%
4×128 67.8 0 7.6 0 0.1 2 77.4 129%
128×4 94.9 0 7.6 0 0.1 2 104.6 174%
8×8 93.0 0 7.8 0 0.1 2 102.9 171%
8×16 70.5 0 7.0 0 0.1 2 79.6 133%
16×8 77.5 0 7.0 0 0.1 2 86.6 144%
8×32 59.3 0 6.6 0 0.1 2 68.0 113%
32×8 69.8 0 6.6 0 0.1 2 78.5 131%
8×64 53.6 0 6.4 0 0.1 2 62.1 104%
64×8 65.9 0 6.4 0 0.1 2 74.4 124%
8×128 50.8 0 6.3 0 0.1 2 59.2 99%
128×8 63.9 0 6.3 0 0.1 2 72.3 121%
16×16 58.8 0 6.3 0 0.1 2 67.1 112%
16×32 49.4 0 6.0 0 0.1 2 57.4 96%
32×16 52.9 0 6.0 0 0.1 2 60.9 102%
16×64 44.7 0 5.8 0 0.1 2 52.6 88%
64×16 49.9 0 5.8 0 0.1 2 57.8 96%
16×128 42.3 0 5.7 0 0.1 2 50.1 84%
128×16 48.5 0 5.7 0 0.1 2 56.2 94%
表4.在BMS-2.0中藉由BIO對每個樣本執行的加法的數量。最後一行顯示BIO加法相對於4×4雙向預測運動補償的加法的百分比
CU大小(W×H) BIO 百分比
L0/L1預測 梯度 相關性 求和 運動精化 最終的雙向預測 總數
4×4 184.0 9.0 6.8 11.3 0.2 6 217.2 350%
4×8 124.0 7.5 5.6 11.3 0.2 6 154.6 249%
8×4 138.0 7.5 5.6 11.3 0.2 6 168.6 272%
4×16 94.0 6.8 5.1 11.3 0.2 6 123.3 199%
16×4 115.0 6.8 5.1 11.3 0.2 6 144.3 233%
4×32 79.0 6.4 4.8 11.3 0.2 6 107.6 174%
32×4 103.5 6.4 4.8 11.3 0.2 6 132.1 213%
4×64 71.5 6.2 4.6 11.3 0.2 6 99.8 161%
64×4 97.8 6.2 4.6 11.3 0.2 6 126.0 203%
4×128 67.8 6.1 4.6 11.3 0.2 6 95.9 155%
128×4 94.9 6.1 4.6 11.3 0.2 6 123.0 198%
8×8 93.0 6.3 4.7 11.3 0.2 6 121.4 196%
8×16 70.5 5.6 4.2 11.3 0.2 6 97.8 158%
16×8 77.5 5.6 4.2 11.3 0.2 6 104.8 169%
8×32 59.3 5.3 4.0 11.3 0.2 6 86.0 139%
32×8 69.8 5.3 4.0 11.3 0.2 6 96.5 156%
8×64 53.6 5.2 3.9 11.3 0.2 6 80.1 129%
64×8 65.9 5.2 3.9 11.3 0.2 6 92.3 149%
8×128 50.8 5.1 3.8 11.3 0.2 6 77.1 124%
128×8 63.9 5.1 3.8 11.3 0.2 6 90.3 146%
16×16 58.8 5.1 3.8 11.3 0.2 6 85.0 137%
16×32 49.4 4.8 3.6 11.3 0.2 6 75.2 121%
32×16 52.9 4.8 3.6 11.3 0.2 6 78.7 127%
16×64 44.7 4.6 3.5 11.3 0.2 6 70.2 113%
64×16 49.9 4.6 3.5 11.3 0.2 6 75.5 122%
16×128 42.3 4.6 3.4 11.3 0.2 6 67.8 109%
128×16 48.5 4.6 3.4 11.3 0.2 6 73.9 119%
如表3以及表4所示，與常規雙向預測的最壞情況複雜度相比，藉由在BMS-2.0中賦能現有BIO，計算複雜度會顯示出顯著的增加。峰值複雜度增加來自4×4雙向預測的CU，其中在賦能BIO下乘法以及加法的數量是最壞情況雙向預測的數量的329%以及350%。範例性實施例的概述
為了解決至少一些上述問題，在本部分中提出了在維持BIO的寫碼增益的同時降低基於BIO的運動補償預測的複雜度的方法。首先，為了降低實施成本，本揭露內容中提出了位元寬度控制方法以用於降低硬體BIO實施的內部位元寬度。在一些提出的方法中，可以利用15位元乘法器以及32位元以內的中間值來實施賦能了BIO的運動補償預測。
其次，提出了藉由使用簡化的濾波器以及減少用於BIO運動精化的延伸預測樣本的數量來降低該BIO的計算複雜度的方法。
另外，在一些實施例中，提出了針對CU大小(與常規雙向預測相較下，其導致計算複雜度顯著增加)禁止BIO操作。基於那些複雜度降低的組合，當BIO被賦能時，運動補償預測的最壞情況計算複雜度(例如，乘法以及加法的數量)可被降低到與常規雙向預測的最壞情況複雜度大致相同的等級。範例性 BIO 位元寬度控制方法
如上所述，在BMS-2.0中目前BIO的實施可使用33位元乘法器以及43位元位元寬度的中間參數，這遠高於HEVC的運動補償內插。這使得實施BIO的硬體以及軟體的成本非常高。在此部分中，提出了位元寬度控制方法以減少BIO所需的位元寬度。在範例性方法中，首先分別將(6)中的水平中間參數陣列、垂直中間參數陣列以及信號差參數陣列中的一個或複數向下移位以及位元，以減少中間參數的總位元寬度，如以下所描繪的：
(10)
此外，為了進一步降低位元寬度，可以去除原始-位元內部位元深度增加。隨著這種改變，在(5)中用於計算水平梯度相關參數()、交叉梯度相關參數()、信號水平梯度相關參數()、垂直梯度相關參數()以及信號垂直梯度相關參數()的等式可以實施如下：
      ,       (11)
考慮到不同數量的右移位(即，以及)被應用於,以及，並且，、、、的值被不同的因數縮減，這可能改變所導出的運動精化的幅度。因此，可以將附加的左移位引入到(4)以提供所導出的運動精化的正確幅度範圍。具體地，在範例性方法中，水平運動精化以及垂直運動精化可以被導出為：
(12)
注意，與(4)不同，調節參數以及不適用於此實施例。此外，為了減小的動態範圍，與原始BIO設計的(4)中的相比，在本實施例中應用更小的運動精化臨界值。在(12)中，該乘積取作為輸入，其位元寬度可以大於16位元，使得可以調用一個多於16位元的乘法器來計算的值。為了避免這種情況，提出了將交叉梯度相關參數的值劃分為兩部分：第一部分包含最低有效位元，第二部分包含其它位元。基於此，該值可以表示為：
                         ,   (13)
然後，將(13)代入(12)，垂直運動精化的計算變為：
(14)
最後，由於在(11)中去除了原始位元內部位元深度增加，所以在(9)中被應用以增強雙向預測樣本的差量的導出可以被修改為：
(15)
實際上，可以應用不同的、以及值，以實現中間位元寬度以及計算成本之間的不同折衷。在本揭露內容的一些實施例中，提出了如下設定三個參數的值： ．被設定為3及被設定為6，以提供中間BIO參數的合理內部位元寬度。 ．被設定為12，使得BIO中涉及的所有乘法可以藉由一個15位元乘法器來進行，該乘法器與用於HEVC的運動補償的乘法器相同。
假設輸入視訊是10位元，表5總結了當將位元寬度控制方法的範例應用於BIO時的中間參數的位元寬度。如表5所示，利用所提出的範例性位元寬度控制方法，整個BIO過程的內部位元寬度不超過32位元。另外，具有最差可能輸入的乘法發生在輸入為15位元且輸入為4位元的(14)中的乘積處。因此，當該範例性方法被應用於BIO時，一個15位元乘法器就足夠了。 表5. 所提出的位元寬度控制方法的中間參數的位元寬度(10位元輸入視訊)
操作 參數 位元寬度
L0/L1預測 16
梯度推導 13
13
相關參數計算 11
11
11
21
21
21
21
21
求和 27
27
27
27
27
運動精化推導 30
4
15
12
30
30
31
4
最終的雙向預測產生 17
17
最後，在(10)中，藉由在L0以及L1預測樣本之間的差之上應用右移位來計算BIO參數。由於的值都是16位元，它們的差可以是一個17位元值。這種設計對於基於SIMD的軟體實施而言可能不是非常友好。例如，128位元SIMD暫存器僅能平行處理4個樣本。因此，在另一範例性方法中，提出了當計算信號差參數陣列時，在計算該差之前首先應用該右移位，即：
(16)
在這樣的實施例中，每個操作的輸入值不大於16位元，使得可以平行處理更多的樣本。例如藉由使用等式(16)，8個樣本可以由一個128位元SIMD暫存器同時處理。在一些實施例中，類似的方法也被應用於等式(7)中的梯度計算，使得在計算L0以及L1預測樣本之間的差之前，應用4位元右移位以最大化每個SIMD計算的酬載。具體地，藉由這樣做，梯度值可以被計算為：
(17)
用於降低 BIO 計算複雜度的範例性方法
如上所示，與常規雙向預測的最壞情況計算複雜度相比，BMS-2.0中的現有BIO設計帶來了較大的複雜度增加(例如，乘法以及加法的數量)。以下，提出了用於降低BIO的最壞情況計算複雜度的方法。藉由使用簡化的濾波器以產生延伸樣本來降低 BIO 複雜度
如上所述，假設目前CU是W×H，可計算在延伸區域(W+2)×(H+2)中的樣本的梯度，以用於導出該CU內部的所有4×4塊的運動精化。在現有的BIO設計中，用於運動補償的相同內插濾波器(8分接頭濾波器)被用於產生那些延伸樣本。如表3以及表4所示，由於在延伸區域中的樣本的內插而導致的複雜度是BIO的複雜度瓶頸。因此，為了降低BIO複雜度，提出使用具有較短分接頭長度的簡化內插濾波器，而不是使用8分接頭內插濾波器，以在BIO CU的延伸周圍區域中產生樣本。另一方面，由於延伸樣本的產生可能需要從參考圖像存取更多參考樣本，因此這可增加BIO的記憶體頻寬。為了避免記憶體頻寬增加，可應用BMS-2.0的目前BIO中所使用的參考樣本填充，其中CU的正常運動補償的常規參考區域(即，(W+7)×(H+7))外部的參考樣本由該常規參考區域的最近邊界樣本填充。為了計算填充參考樣本的大小，假設用於產生延伸樣本的簡化濾波器的長度是N，則沿著常規參考區域的上、左、下以及右邊界中的每一個的填充參考樣本的數量M等於：
(18)
如等式(18)所示，藉由使用8分接頭濾波器來產生延伸預測樣本，在常規參考區域的邊界上的參考樣本在每個方向上被向外填充2列或行。圖5示出了使用簡化的濾波器以及參考樣本填充以藉由BIO產生延伸區域中的樣本。如圖5中可見，該簡化的濾波器僅用於產生在延伸區域中的預測樣本。對於在目前CU的區域內部的位置，其預測樣本仍藉由應用預設8分接頭內插而被產生以維持BIO寫碼效率。特別地，作為本揭露內容的一個實施例，提出了使用雙線性內插濾波器(即，2分接頭濾波器)來產生延伸樣本，這進一步減少了用於BIO的操作的數量。圖6示出了使用雙線性濾波器來內插用於BIO的延伸樣本的情況。可由預設8分接頭濾波器內插該CU內部的預測樣本。如圖6所示，由於減小了濾波器長度，雙線性濾波器不需要存取常規參考區域外部的附加參考樣本來對延伸區域中的所需樣本進行內插。因此，在這種情況中可以避免參考樣本填充，這可以進一步降低BIO操作的複雜度。
另外，基於表3以及表4中的不同CU大小的複雜度統計的比較，可發現複雜度增加對於具有較小高度的CU大小而言會較大。例如，儘管8×4以及4×8 CU包含相同數量的樣本，但是它們呈現不同的複雜度增加百分比。具體地，對於8×4 CU，在賦能BIO之後，乘法以及加法的數量分別增加149%以及172%；然而，對於4×8 CU，各自的複雜度增加分別為126%以及149%。這種複雜度差異是由以下事實引起的：在目前運動補償設計中，首先應用水平內插濾波器，然後應用垂直內插濾波器。當所應用的MV指向垂直方向上的分數位置時，會從水平內插產生更多中間樣本且將其用作垂直內插的輸入。因此，由於在延伸區域中產生更多參考樣本而導致的複雜度影響對於具有較小高度的CU大小而言相對更顯著。
在一些實施例中，提出了禁止具有小高度的某些CU大小以減少最差情況的BIO複雜度。除了上述藉由簡單地禁止特定CU大小的方法之外，解決垂直內插過程中增加的運算量的另一方式是簡化用於垂直內插的內插濾波器。在目前設計中，在水平以及垂直方向兩者上應用相同的8分接頭內插濾波器。為了降低複雜度，在一些實施例中，提出了當BIO被賦能時，為水平以及垂直方向上的內插濾波器使用不同的內插濾波器；且應用於第二濾波過程(例如，垂直內插)的濾波器大小小於應用於第一濾波過程(例如，水平內插)的濾波器大小。例如，4分接頭色度內插濾波器可以用於取代目前8分接頭內插濾波器以用於垂直內插。藉由這樣做，可以為延伸區域中預測樣本的產生提供大約一半的複雜度降低。在CU內，可使用用於垂直內插的8分接頭濾波器來產生樣本。為了進一步降低複雜度，可以使用具有甚至更小大小的內插濾波器，例如雙線性濾波器。
在一個特定範例中，此處稱為選項一，為了降低BIO最壞情況複雜度，提出了使用雙線性濾波器來產生BIO的延伸區域中的樣本值，且針對具有4的高度(即，4×4、8×4、16×4、32×4、64×4以及128×4)的CU以及4×8 CU，完全禁止BIO。表6以及表7描繪了選項一用於針對不同CU大小執行每樣本的乘法以及加法的數量，且將其與常規雙向預測的最差情況數量進行比較。在表6以及表7中，醒目標示的列表示了BIO針對其而被禁止的CU大小。對於這些列，對應的BIO相關操作被設定為0，並且其各自的複雜度與相同大小的CU的常規雙向預測相同。如可以看到的，在選項一中，峰值計算複雜度來自8×8 BIO CU，其中乘法以及加法的數量是常規雙向預測的最壞情況複雜度的110%以及136%。 表6. 藉由所提出的選項一的BIO方法對每個樣本執行的乘法的數量。最後一行示出了乘法相對於4×4雙向預測運動補償的乘法的百分比
CU大小 (W×H) BIO 百分比
L0/L1 預測 梯度 相關性 求和 運動精化 最終的雙向預測 總數
4×4 60.0 0 0 0 0 0 60.0 100%
4×8 46.0 0 0 0 0 0 46.0 77%
8×4 60.0 0 0 0 0 0 60.0 100%
4×16 50.8 0 8.4 0 0.1 2 61.3 102%
16×4 60 0 0 0 0 0 60.0 100%
4×32 45.4 0 8.0 0 0.1 2 55.4 92%
32×4 60.0 0 0 0 0 0 60.0 100%
4×64 42.7 0 7.7 0 0.1 2 52.5 87%
64×4 60.0 0 0 0 0 0 60.0 100%
4×128 41.3 0 7.6 0 0.1 2 51.0 85%
128×4 60.0 0 0 0 0 0 60.0 100%
8×8 56.3 0 7.8 0 0.1 2 66.1 110%
8×16 46.1 0 7.0 0 0.1 2 55.2 92%
16×8 53.6 0 7.0 0 0.1 2 62.7 105%
8×32 41.1 0 6.6 0 0.1 2 49.8 83%
32×8 52.3 0 6.6 0 0.1 2 61.0 102%
8×64 38.5 0 6.4 0 0.1 2 47.0 78%
64×8 51.7 0 6.4 0 0.1 2 60.2 100%
8×128 37.3 0 6.3 0 0.1 2 45.7 76%
128×8 51.3 0 6.3 0 0.1 2 59.7 100%
16×16 43.8 0 6.3 0 0.1 2 52.2 87%
16×32 38.9 0 6.0 0 0.1 2 46.9 78%
32×16 42.7 0 6.0 0 0.1 2 50.7 84%
16×64 36.5 0 5.8 0 0.1 2 44.3 74%
64×16 42.1 0 5.8 0 0.1 2 49.9 83%
16×128 35.2 0 5.7 0 0.1 2 43.0 72%
128×16 41.8 0 5.7 0 0.1 2 49.6 83%
表7. 藉由所提出的選項一的BIO方法對每個樣本執行的加法的數量。最後一行示出了BIO加法相對於4×4雙向預測運動補償的加法的百分比
CU大小 (W×H) BIO 百分比
L0/L1預測 梯度 相關性 求和 運動精化 最終的雙向預測 總數
4×4 60 0.0 0.0 0.0 0.0 2 62.0 100%
4×8 46 0.0 0.0 0.0 0.0 2 48.0 77%
8×4 60 0.0 0.0 0.0 0.0 2 62.0 100%
4×16 50.8 6.8 5.1 11.3 0.2 6 80.0 129%
16×4 60 0.0 0.0 0.0 0.0 2 62.0 100%
4×32 45.4 6.4 4.8 11.3 0.2 6 74.0 119%
32×4 60 0.0 0.0 0.0 0.0 2 62.0 100%
4×64 42.7 6.2 4.6 11.3 0.2 6 71.0 114%
64×4 60 0.0 0.0 0.0 0.0 2 62.0 100%
4×128 41.3 6.1 4.6 11.3 0.2 6 69.4 112%
128×4 60 0.0 0.0 0.0 0.0 2 62.0 100%
8×8 56.3 6.3 4.7 11.3 0.2 6 84.6 136%
8×16 46.1 5.6 4.2 11.3 0.2 6 73.4 118%
16×8 53.6 5.6 4.2 11.3 0.2 6 80.9 130%
8×32 41.1 5.3 4.0 11.3 0.2 6 67.8 109%
32×8 52.3 5.3 4.0 11.3 0.2 6 79.0 127%
8×64 38.5 5.2 3.9 11.3 0.2 6 65.0 105%
64×8 51.7 5.2 3.9 11.3 0.2 6 78.1 126%
8×128 37.3 5.1 3.8 11.3 0.2 6 63.6 103%
128×8 51.3 5.1 3.8 11.3 0.2 6 77.7 125%
16×16 43.8 5.1 3.8 11.3 0.2 6 70.1 113%
16×32 38.9 4.8 3.6 11.3 0.2 6 64.7 104%
32×16 42.7 4.8 3.6 11.3 0.2 6 68.5 110%
16×64 36.5 4.6 3.5 11.3 0.2 6 62.0 100%
64×16 42.1 4.6 3.5 11.3 0.2 6 67.6 109%
16×128 35.2 4.6 3.4 11.3 0.2 6 60.7 98%
128×16 41.8 4.6 3.4 11.3 0.2 6 67.2 108%
藉由減小延伸區域的大小來降低 BIO 複雜度
如圖5及圖6所示，上述BIO複雜度降低方法仍可操作以在目前CU的每一邊界周圍內插兩個額外列/行的預測樣本。儘管使用簡化的濾波器來減少操作的數量，但是由於需要內插的樣本的數量，這仍然導致一定的複雜度增加。為了進一步降低BIO複雜度，在一些實施例中，提出了用於在每個CU邊界上將延伸樣本的數量從兩列/行減少到一個單列/行的方法。具體而言，一些實施例僅使用(W+2)×(H+2)個樣本來進一步降低複雜度，而不是由目前BIO使用(W+4)×(H+4)個樣本。然而，如(7)中所示，每個樣本的梯度計算會使用其左右相鄰者(對於水平梯度)或上下相鄰者(對於垂直梯度)的樣本值。因此，藉由將延伸區域大小減小為(W+2)×(H+2)，一種方法僅能計算CU內部的樣本的梯度值，使得無法直接對位於CU區域的四個角處的4×4塊執行現有的BIO運動精化。為了解決此問題，在一些實施例中，應用一種方法，其中CU外部的樣本位置的梯度(即，以及)以及樣本值(即，)這兩者被設定為等於CU內部的其最近相鄰者的梯度以及樣本值。圖7示出了樣本值以及梯度的這種填充過程。在圖7中，暗區塊表示CU內部的預測樣本，且白色區塊表示延伸區域中的預測樣本。
在圖中所示的範例中，在延伸區域中僅產生一個單一列/行的額外預測樣本，使得可準確地導出CU區域(即，圖7中的暗塊)內部的所有樣本的梯度。然而，對於四個CU角處的子塊(例如，圖7中由加粗的黑色正方形包圍的子塊)，因為其BIO運動精化是從子塊的周圍局部區域(例如，圖7中由虛線黑色正方形包圍的區域)導出的，所以它們使用延伸區域中的一些樣本(例如，圖7中的白色區塊)的梯度資訊，然而該梯度資訊是缺失的。為了解決此問題，這些缺失的梯度藉由複製其在CU區域內部最近的邊界樣本的梯度值來填充，如圖7中的箭頭所指出的。另外，如果僅填充梯度，則可能導致用於延伸區域中的樣本位置的梯度以及樣本值未對準的問題，即，樣本值是其真實樣本值，而梯度是其在CU內部的相鄰樣本的梯度。這可能降低導出的BIO運動精化的精確度。因此，為了避免這種未對準，在BIO推導過程期間，可填充延伸區域中的樣本的樣本值以及梯度這兩者。
為了實現更大的複雜度降低，在一些實施例中，將所提出的填充方法與使用簡化的內插濾波器的方法以及如上所述的針對某些CU大小禁止BIO的方法組合。在一個特定範例中，此處稱為選項二，提出了藉由使用經填充的樣本以及梯度以用於BIO推導且應用雙線性濾波器以在CU邊界周圍的一個額外列/行中產生經延伸的樣本以將經延伸的樣本區域減小到(W+2)×(H+2)。此外，不允許將BIO應用於高度為4的CU (即，4×4、8×4、16×4、32×4、64×4以及128×4)以及4×8 CU。表8以及表9描繪在應用此方法之後針對不同CU大小的每一樣本使用的乘法以及加法的對應數量，且將它們與常規雙向預測的最壞情況數量進行比較。類似於表6以及表7，醒目標示的列表示BIO針對其而被禁止的CU大小。可以看出，藉由選項二，乘法以及加法的數量是常規雙向預測的最壞情況複雜度的103%以及129%。 表8. 藉由提出的選項二的BIO方法對每個樣本執行的乘法的數量
CU大小(W×H) BIO 百分比
L0/L1預測 梯度 相關性 求和 運動精化 最終的雙向預測 總數
4×4 60 0 0 0 0 0 60.0 100%
4×8 46 0 0 0 0 0 46.0 77%
8×4 60 0 0 0 0 0 60.0 100%
4×16 45.1 0 8.4 0 0.1 2 61.3 93%
16×4 60 0 0 0 0 0 60.0 100%
4×32 40.6 0 8.0 0 0.1 2 55.4 84%
32×4 60 0 0 0 0 0 60.0 100%
4×64 38.3 0 7.7 0 0.1 2 52.5 80%
64×4 60 0 0 0 0 0 60.0 100%
4×128 37.1 0 7.6 0 0.1 2 51.0 78%
128×4 60 0 0 0 0 0 60.0 100%
8×8 51.6 0 7.8 0 0.1 2 66.1 103%
8×16 42.8 0 7.0 0 0.1 2 55.2 87%
16×8 50.3 0 7.0 0 0.1 2 62.7 99%
8×32 38.4 0 6.6 0 0.1 2 49.8 79%
32×8 49.7 0 6.6 0 0.1 2 61.0 97%
8×64 36.2 0 6.4 0 0.1 2 47.0 75%
64×8 49.3 0 6.4 0 0.1 2 60.2 96%
8×128 35.1 0 6.3 0 0.1 2 45.7 73%
128×8 49.2 0 6.3 0 0.1 2 59.7 96%
16×16 41.7 0 6.3 0 0.1 2 52.2 83%
16×32 37.3 0 6.0 0 0.1 2 46.9 76%
32×16 41.1 0 6.0 0 0.1 2 50.7 82%
16×64 35.2 0 5.8 0 0.1 2 44.3 72%
64×16 40.8 0 5.8 0 0.1 2 49.9 81%
16×128 34.1 0 5.7 0 0.1 2 43.0 70%
128×16 40.6 0 5.7 0 0.1 2 49.6 81%
表9. 藉由提出的選項二的BIO方法對每個樣本執行的加法的數量
CU大小(W×H) BIO 百分比
L0/L1預測 梯度 相關性 求和 運動精化 最終的雙向預測 總數
4×4 60 0.0 0.0 0.0 0.0 2 62.0 100%
4×8 46 0.0 0.0 0.0 0.0 2 48.0 77%
8×4 60 0.0 0.0 0.0 0.0 2 62.0 100%
4×16 45.1 6.8 5.1 11.3 0.2 6 80.0 120%
16×4 60 0.0 0.0 0.0 0.0 2 62.0 100%
4×32 40.6 6.4 4.8 11.3 0.2 6 74.0 112%
32×4 60 0.0 0.0 0.0 0.0 2 62.0 100%
4×64 38.3 6.2 4.6 11.3 0.2 6 71.0 107%
64×4 60 0.0 0.0 0.0 0.0 2 62.0 100%
4×128 37.1 6.1 4.6 11.3 0.2 6 69.4 105%
128×4 60 0.0 0.0 0.0 0.0 2 62.0 100%
8×8 51.6 6.3 4.7 11.3 0.2 6 84.6 129%
8×16 42.8 5.6 4.2 11.3 0.2 6 73.4 113%
16×8 50.3 5.6 4.2 11.3 0.2 6 80.9 125%
8×32 38.4 5.3 4.0 11.3 0.2 6 67.8 105%
32×8 49.7 5.3 4.0 11.3 0.2 6 79.0 123%
8×64 36.2 5.2 3.9 11.3 0.2 6 65.0 101%
64×8 49.3 5.2 3.9 11.3 0.2 6 78.1 122%
8×128 35.1 5.1 3.8 11.3 0.2 6 63.6 99%
128×8 49.2 5.1 3.8 11.3 0.2 6 77.7 122%
16×16 41.7 5.1 3.8 11.3 0.2 6 70.1 110%
16×32 37.3 4.8 3.6 11.3 0.2 6 64.7 102%
32×16 41.1 4.8 3.6 11.3 0.2 6 68.5 108%
16×64 35.2 4.6 3.5 11.3 0.2 6 62.0 98%
64×16 40.8 4.6 3.5 11.3 0.2 6 67.6 107%
16×128 34.1 4.6 3.4 11.3 0.2 6 60.7 96%
128×16 40.6 4.6 3.4 11.3 0.2 6 67.2 107%
在另一實施例中，提出了仍使用預設8分接頭濾波器以內插BIO CU的延伸區域中的預測樣本。然而，為了降低BIO複雜度，延伸區域的大小從(W+4)×(H+4)減小到(W+2)×(H+2)，即，CU的頂部、左部、底部以及右部邊界中的每一者上一個額外列/行。此外，如圖7所示，為了計算缺失梯度並避免預測樣本與梯度之間的未對準，在BIO推導過程期間，將延伸區域中樣本的樣本值以及梯度兩者都被向外填充。此外，類似於選項一及二，可禁止某些塊大小(例如，具有高度等於4的所有CU以及大小為4×8、4×16、8×8、16×8的CU)。
在另一實施例中，提出了丟棄BIO CU的延伸區域中的所有預測樣本，使得BIO過程僅涉及目前CU區域內部的預測樣本的內插。藉由這樣做，用於產生預測樣本的BIO的相應操作與常規雙向預測的操作相同。然而，由於內插樣本的數量減少，目前CU上的邊界樣本的梯度無法藉由正常BIO過程導出。在此情況下，提出了將CU的內部預測樣本的梯度值填充為CU邊界上的樣本的梯度。
在本揭露內容的另一實施例中，本文中稱為選項三，其提出了藉由使用經填充的樣本以及梯度用於BIO推導來將經延伸的樣本區域減小到(W+2)×(H+2)，且應用與用於常規運動補償相同的8分接頭內插以在CU邊界周圍的一個額外列/行中產生經延伸的樣本。另外，在選項三中，對於具有4的高度的CU (即，4×4、8×4、16×4、32×4、64×4以及128×4)以及對於4×8 CU，BIO被禁止。
對於上述方法，儘管延伸區域的大小從(W+4)×(H+4)減小到(W+2)×(H+2)，但那些方法仍可操作以在BIO CU的邊界周圍的一個額外列/行中插入額外樣本。如表8以及表9所示，這些方法仍然會給總BIO複雜度帶來一些不可忽略的複雜度增加。為了進一步降低BIO計算複雜度，在一些實施例中提出了直接使用位於整數樣本位置(沒有內插)且直接從參考圖像獲取的參考樣本作為延伸區域中的樣本、且使用其來導出目前CU的邊界樣本的梯度值。圖10示出了整數參考樣本被用作延伸樣本以用於BIO推導的實施例。如圖10所示，藉由應用預設的8分接頭內插濾波器來產生CU區域(陰影塊)內部的樣本。但是，對於延伸區域中的樣本(無陰影的塊)，不是使用內插濾波器(例如雙線性濾波器或8分接頭內插濾波器)，而是將其樣本值直接設定為等於參考圖像中整數樣本位置處的對應樣本值。藉由這樣做，可以避免由延伸樣本的內插引入的所有操作，這可以為BIO提供顯著的複雜度降低。在另一實施例中，不是使用整數參考樣本，而是提出了直接將延伸區域中的樣本設定為等於其在CU邊界上的最接近的相鄰樣本。
因為在上述方法中，僅使用一列/一行的額外預測樣本以用於BIO推導，所以在一些實施例中，仍可應用如圖7中所示的填充方法以便在BIO推導過程期間將CU邊界上的樣本的樣本值以及梯度兩者填充到延伸區域。在一些此類實施例中，可針對某些CU大小禁止BIO以便降低最壞情況BIO複雜度。例如，在一些實施例中，對於高度為4 (即，4×4、8×4、16×4、32×4、64×4以及128×4)的CU以及對於4×8的CU，BIO可以被禁止。針對藉由子塊模式預測的 CU 而禁止 BIO
在HEVC中，每一預測單元具有用於預測方向的至多一個MV。相反，在目前VTM/BMS-2.0中包括兩種子塊級訊框間預測技術，其包括高級時間運動向量預測(ATMVP)以及仿射模式。在那些寫碼模式中，將視訊塊進一步分割成複數小子塊，單獨導出每一子塊的運動資訊。然後，在運動補償階段，使用每個子塊的運動資訊來產生塊的預測信號。另一方面，BMS-2.0中的目前BIO可以在CU級運動補償預測之上提供4×4子塊級的運動精化。由於用子塊寫碼的CU的運動場的精細粒度，來自BIO的精化運動的額外寫碼益處可能非常有限。在一些實施例中，針對藉由該子塊模式寫碼的CU而禁止BIO。針對使用預定預測模式的 CU ，禁止 BIO
在VVC中，若干訊框間雙向預測模式是基於這樣的假設的：運動是線性的且列表-0以及列表-1的運動向量是對稱的。這些模式包括與MVD模式合併(MMVD)(在S. Jeong等人在2018年10月的JVET-L0054中“CE4極限運動向量運算式(試驗4.5.4)(CE4 Ultimate motion vector expression (Test 4.5.4))”一文中描述)以及具有雙邊匹配的解碼器側MV推導(在S. Esenlik等人在2018年10月的JVET-L0670的“用於VVC中包含的簡化DMVR(Simplified DMVR for inclusion in VVC)”一文中描述)。由於這些模式使用對稱運動產生預測，因此在這些預測之上應用BIO可能不是有效率的。為了降低複雜度，在一些實施例中，對於使用對稱模式(例如MMVD或具有雙邊匹配的解碼器側MV推導)而被預測的寫碼單元，BIO被禁止。
訊框內模式的多假設預測被描述於：M.-S. Chiang等人在2018年10月的JVET-L0100中的“CE10.1.1：用於改進AMVP模式、跳過或合併模式以及訊框內模式的多假設預測(CE10.1.1: Multi-hypothesis prediction for improving AMVP mode, skip or merge mode, and intra mode)”。訊框內模式的多假設預測組合了一個訊框內預測以及一個訊框間合併索引預測。由於一個預測是從訊框內預測獲得的，因此在一些實施例中，對於使用此訊框間以及訊框內組合的多假設預測而被預測的寫碼單元，BIO被禁止。
多假設訊框間預測被描述於：M. Winken等人在2018年10月的JVET-L0679中的“CE10相關：具有簡化的AMVP過程的多假設訊框間預測(CE10-related: Multi-Hypothesis Inter Prediction with simplified AMVP process)”。在多假設訊框間預測中，針對一個經訊框間合併寫碼的CU，傳訊至多兩個額外MV。對於一個CU，最多有四個MV：來自顯式傳訊的兩個MV；以及來自合併候選者的由合併索引表明的兩個MV。那些複數訊框間預測與加權平均結合。在這種情況下，該預測可能足夠好。為了降低複雜度，在一些實施例中，對於使用此多假設訊框間預測模式而被預測的寫碼單元，可以禁止BIO。經寫碼的位元流結構
圖8是示出了經寫碼的位元流結構的範例的示圖。經寫碼的位元流1300由若干NAL (網路抽象層)單元1301組成。NAL單元可以包含經寫碼的樣本資料(例如寫碼切片1306)或者高階語法中繼資料，例如參數集資料、切片標頭資料1305或補充增強資訊資料1307 (其可以被稱為SEI訊息)。參數集是含有基本語法元素的高階語法結構，該基本語法元素可應用於複數位元流層(例如，視訊參數集1302 (VPS))、或可應用於一個層內的經寫碼的視訊序列(例如，序列參數集1303 (SPS))、或可應用於一個經寫碼的視訊序列內的若干經寫碼的圖像(例如，圖像參數集1304 (PPS))。該參數集可以與該視訊位元流的經寫碼的圖像一起發送、或者經由其它方式(包括使用可靠通道的帶外傳輸、硬寫碼等)發送。切片標頭1305也是高階語法結構，其可以包含一些相對小的、或僅對於某些切片或圖像類型或相關的圖像相關資訊。SEI訊息1307可攜帶解碼過程可能不需要但可用於各種其它目的資訊，例如圖像輸出時序或顯示以及丟失偵測以及隱藏。通信裝置及系統
圖9是示出了通信系統的範例的示圖。該通信系統1400可以包括編碼器1402、通信網路1404以及解碼器1406。該編碼器1402可以經由連接1408以與網路1404通信，該連接可以是有線連接或無線連接。編碼器1402可類似於圖2A的基於塊的視訊編碼器。編碼器1402可以包括單層編解碼器(例如，圖2A)或多層編解碼器。解碼器1406可經由連接1410以與網路1404通信，該連接可以是有線連接或無線連接。解碼器1406可類似於圖2B的基於塊的視訊解碼器。解碼器1406可包括單層編解碼器(例如，圖2B)或多層編解碼器。
該編碼器1402及/或解碼器1406可併入到各種各樣的有線通信裝置及/或無線傳輸/接收單元(WTRU)中，例如(但不限於)數位電視、無線廣播系統、網路元件/終端、伺服器(例如內容或web伺服器(例如超文字傳送協定(HTTP)伺服器))、個人數位助理(PDA)、膝上型或桌上型電腦、平板電腦、數位相機、數位記錄裝置、視訊遊戲裝置、視訊遊戲控制台、蜂巢式或衛星無線電電話、數位媒體播放器及/或類似裝置。
該通信網路1404可以是合適類型的通信網路。例如，通信網路1404可以是向複數無線使用者提供例如語音、資料、視訊、訊息傳遞、廣播等內容的多重存取系統。通信網路1404可以使複數無線使用者能夠經由共用包括無線頻寬的系統資源來存取這樣的內容。例如，通信網路1404可以採用一種或多種通道存取方法，例如分碼多重存取(CDMA)、分時多重存取(TDMA)、分頻多重存取(FDMA)、正交FDMA (OFDMA)、單載波FDMA (SC-FDMA)及/或類似方法。通信網路1404可以包括複數連接的通信網路。通信網路1404可包括網際網路及/或一個或複數私人商業網路，例如蜂巢網路、WiFi熱點、及/或網際網路服務提供者(ISP)網路等。編碼器系統以及解碼器系統及方法
在一些實施例中，提供了一種用於視訊的編碼或解碼的方法。該方法包括：對於使用雙向光流所寫碼的視訊中的至少一個目前塊：基於來自第一參考圖像的第一預測信號來計算第一梯度分量；基於來自第二參考圖像的第二預測信號來計算第二梯度分量；對該第一以及第二梯度分量求和，並對所得到的和執行向下位元移位，以產生縮減位元寬度相關參數；至少部分地基於該縮減位元寬度相關參數來計算運動精化；以及使用所計算的運動精化以利用雙向光流來預測該塊。
在某些實施例中，該第一梯度分量是∂I (0) /∂x，該第二梯度分量是∂I (1) /∂x，以及該縮減位元寬度相關參數是：。
在某些實施例中，該第一梯度分量是∂I (0) /∂y，該第二梯度分量是∂I (1) /∂y，以及該縮減位元寬度相關參數是：。
在一些實施例中，提供了一種對視訊進行編碼或解碼的方法。該方法包括：對於使用雙向光流所寫碼的視訊中的至少一個目前塊：藉由從基於第二參考圖像的第二預測信號中減去基於第一參考圖像的第一預測信號來產生縮減位元寬度相關參數，並對所得到的差執行向下位元移位；至少部分地基於該縮減位元寬度相關參數來計算運動精化；以及使用所計算的運動精化以利用雙向光流來預測該塊。
在一些實施例中，該第一預測信號是I (0) ，該第二預測信號是I (1) ，以及該縮減位元寬度相關參數是：。
在一些實施例中，提供了一種對視訊進行編碼或解碼的方法。該方法包括：對於使用雙向光流所寫碼的視訊中的至少一個目前塊：計算水平運動精化為： 計算垂直運動精化為： 以及使用所計算的水平以及垂直運動精化以利用雙向光流來預測該塊。在一些這樣的實施方案中，,,,以及。
在一些實施例中，提供了一種用於編碼或解碼視訊的方法。該方法包括：對於使用雙向光流所寫碼的視訊中的至少一個目前塊：藉由對來自第一參考圖像的第一預測信號執行向下位元移位來產生縮減位元寬度的第一預測信號；藉由對來自第二參考圖像的第二預測信號執行向下位元移位來產生縮減位元寬度的第二預測信號；藉由從該縮減位元寬度的第二預測信號中減去該縮減位元寬度的第一預測信號來產生縮減位元寬度相關參數；至少部分地基於該縮減位元寬度相關參數來計算運動精化；以及使用所計算的運動精化以利用雙向光流來預測該塊。在一些這樣的實施例中，該縮減位元寬度相關參數是：。
在一些實施例中，提供了一種對視訊進行編碼的方法。該方法包括：對於使用雙向光流所寫碼的視訊中的至少一個目前塊：基於來自第一參考圖像的縮減位元寬度的第一預測信號來計算縮減位元寬度的第一梯度分量；基於來自第二參考圖像的縮減位元寬度的第二預測信號來計算縮減位元寬度的第二梯度分量；對該第一以及第二縮減位元寬度的梯度分量進行求和以產生縮減位元寬度相關參數；至少部分地基於該縮減位元寬度相關參數來計算運動精化；以及使用所計算的運動精化以利用雙向光流來預測該塊。
在一些這樣的實施例中，該縮減位元寬度的第一梯度分量是∂I (0) /∂x，該縮減位元寬度的第二梯度分量是∂I (1) /∂x，以及該縮減位元寬度相關參數是：。
在某些實施例中，該縮減位元寬度的第一梯度分量是∂I (0) /∂y，該縮減位元寬度的第二梯度分量是∂I (1) /∂y，以及該縮減位元寬度相關參數是：。
在一些實施例中，基於來自第一參考圖像的縮減位元寬度的第一預測信號來計算該縮減位元寬度的第一梯度分量包括計算： 以及基於來自第二參考圖像的縮減位元寬度的第二預測信號來計算該縮減位元寬度的第二梯度分量包括計算：
在一些實施例中，基於來自第一參考圖像的縮減位元寬度的第一預測信號來計算該縮減位元寬度的第一梯度分量包括計算： 以及基於來自第二參考圖像的縮減位元寬度的第二預測信號來計算該縮減位元寬度的第二梯度分量包括計算：
在一些實施例中，提供了一種對視訊進行寫碼的方法，其中該方法包括：對於使用雙向光流所寫碼的視訊中的至少一個目前塊：產生用於該目前塊中的樣本的第一運動補償預測信號以及第二運動補償預測信號，其中使用具有第一分接頭數量的第一內插濾波器產生用於該目前塊中的樣本的該第一運動補償預測信號以及該第二運動補償預測信號；針對該目前塊周圍的延伸區域中的樣本產生第一運動補償預測信號以及第二運動補償預測信號，其中針對該目前塊外部的樣本的該第一運動補償預測信號以及該第二運動補償預測信號是使用具有比該第一分接頭數量少的第二分接頭數量的第二內插濾波器產生的；至少部分地基於該第一以及第二運動補償預測信號來計算運動精化；以及使用所計算的運動精化以利用雙向光流來預測該塊。
在一些實施例中，該第一內插濾波器是8分接頭濾波器，且該第二內插濾波器是2分接頭濾波器。在一些實施例中，該第二內插濾波器是雙線性內插濾波器。
在一些實施例中，提供了一種對視訊進行寫碼的方法，其中該方法包括：對於使用雙向光流所寫碼的視訊中的至少一個目前塊：產生第一以及第二運動補償預測信號，其中使用具有第一分接頭數量的水平內插濾波器以及具有第二分接頭數量的垂直內插濾波器來產生用於該目前塊中的樣本的第一以及第二運動補償預測信號，其中第二分接頭數量低於第一分接頭數量；至少部分地基於該第一以及第二運動補償預測信號來計算運動精化；以及使用所計算的運動精化以利用雙向光流來預測該塊。
在一些實施例中，一種對視訊進行寫碼的方法包括：對於使用雙向光流所寫碼的視訊中的至少一個目前塊：產生第一以及第二運動補償預測信號，其中使用具有第一分接頭數量的水平內插濾波器以及具有第二分接頭數量的垂直內插濾波器來產生用於該目前塊中的樣本的該第一以及第二運動補償預測信號，其中以預定順序應用水平以及垂直濾波器，且其中在該順序中較早應用的濾波器具有比在該順序中較晚應用的濾波器高的分接頭數量；至少部分地基於該第一以及第二運動補償預測信號來計算運動精化；以及使用所計算的運動精化以利用雙向光流來預測該塊。
在一些實施例中，提供一種對包括複數寫碼單元的視訊進行寫碼的方法，該方法包括針對使用雙向預測所寫碼的該視訊中的複數寫碼單元：至少針對具有四的高度的寫碼單元，禁止雙向光流；對於雙向光流被禁止的該雙向預測寫碼單元，執行沒有雙向光流的雙向預測；以及對於雙向光流未被禁止的該雙向預測寫碼單元，利用雙向光流執行雙向預測。在一些此類實施例中，對於具有八的高度以及四的寬度的寫碼單元，雙向光流被進一步禁止。
在一些實施例中，提供一種對包括複數寫碼單元的視訊進行寫碼的方法。該方法包含：針對使用雙向預測所寫碼的該視訊中的複數寫碼單元：至少對於具有的高度不大於臨界值高度的寫碼單元，禁止雙向光流；對於雙向光流被禁止的該雙向預測寫碼單元，執行沒有雙向光流的雙向預測；以及對於雙向光流未被禁止的該雙向預測寫碼單元，利用雙向光流執行雙向預測。
在一些實施例中，提供了一種對視訊進行寫碼的方法。該方法包括：對於使用雙向光流所寫碼的該視訊中的至少一個目前塊：針對該目前塊中的樣本，產生第一運動補償預測信號以及第二運動補償預測信號；針對該目前塊周圍的延伸區域中的樣本，產生第一值及第二值，其中該延伸區域不包含遠離該目前塊一個以上列或行的樣本；至少部分地基於該第一以及第二運動補償預測信號以及該延伸區域中的樣本的該第一以及第二值來計算運動精化；以及使用所計算的運動精化以利用雙向光流來預測該塊。
在一些此類實施例中，產生該延伸區域中的樣本的該第一值包括將該延伸區域中的每一第一樣本值設定為等於其在該目前塊中的各自的最近相鄰者的該第一預測樣本值。在一些實施例中，產生該延伸區域中的樣本的該第二值包括將該延伸區域中的每一第二樣本值設定為等於其在該目前塊中的各自的最近相鄰者的該第二預測樣本值。
一些實施例進一步包括：在該目前塊周圍的該延伸區域中的樣本處產生第一梯度值及第二梯度值，其中：在該延伸區域中的樣本處產生該第一梯度值包括將該延伸區域中的每一第一梯度值設定為等於使用該第一預測信號以在該目前塊中的其各自的最近相鄰者處計算的梯度值；且在該延伸區域中的樣本處產生該第二梯度值包括將該延伸區域中的每一第二梯度值設定為等於使用該第二預測信號以在該目前塊中的其各自的最近相鄰者處計算的梯度值。
在一些實施例中，提供一種對包括複數寫碼單元的視訊進行寫碼的方法。該方法包含：針對使用雙向預測所寫碼的該視訊中的複數寫碼單元：至少針對使用子塊級訊框間預測技術預測的該寫碼單元，禁止雙向光流；對於雙向光流被禁止的該雙向預測寫碼單元，執行沒有雙向光流的雙向預測；以及對於雙向光流未被禁止的該雙向預測寫碼單元，利用雙向光流執行雙向預測。
在一些此類實施例中，至少針對使用高級時間運動向量預測(ATMVP)而被預測的寫碼單元，禁止雙向預測。
在一些實施例中，至少針對使用仿射而被預測的寫碼單元，禁止雙向預測。
在一些實施例中，提供一種對包括複數寫碼單元的視訊進行寫碼的方法。該方法包含：針對使用雙向預測所寫碼的該視訊中的複數寫碼單元：至少對於具有四的高度的寫碼單元，禁止雙向光流；對於雙向光流被禁止的該雙向預測寫碼單元，執行沒有雙向光流的雙向預測；以及對於雙向光流未被禁止的該雙向預測寫碼單元，利用雙向光流執行雙向預測，其中對於每個目前寫碼單元，利用雙向光流執行雙向預測包括：產生用於該目前寫碼單元中的樣本的第一以及第二運動補償預測信號，其中使用具有第一分接頭數量的第一內插濾波器產生用於該目前塊中的樣本的該第一以及第二運動補償預測信號；針對該目前寫碼單元周圍的延伸區域中的樣本，產生第一運動補償預測信號以及第二運動補償預測信號，其中使用具有比該第一分接頭數量少的第二分接頭數量的第二內插濾波器來產生針對該目前寫碼單元外部的樣本的該第一運動補償預測信號以及該第二運動補償預測信號；至少部分地基於該第一以及第二運動補償預測信號來計算運動精化；以及使用所計算的運動精化以利用雙向光流來預測該目前寫碼單元。
在一些此類實施例中，該第一內插濾波器是8分接頭濾波器且該第二內插濾波器是2分接頭濾波器。在一些實施例中，該第二內插濾波器是雙線性內插濾波器。
在一些實施例中，對於具有八的高度以及四的寬度的寫碼單元，進一步禁止雙向光流。
在一些實施例中，提供一種對包括複數寫碼單元的視訊進行寫碼的方法。該方法包含：針對使用雙向預測所寫碼的該視訊中的複數寫碼單元：至少對於具有四的高度的寫碼單元，禁止雙向光流；對於雙向光流被禁止的該雙向預測寫碼單元，執行沒有雙向光流的雙向預測；以及對於雙向光流未被禁止的該雙向預測寫碼單元，利用雙向光流執行雙向預測，其中對於每個目前寫碼單元，利用雙向光流執行雙向預測包括：為該目前寫碼單元中的樣本產生第一以及第二運動補償預測信號；產生該目前寫碼單元周圍的延伸區域中的樣本的第一值及第二值，其中該延伸區域不包括遠離該目前寫碼單元多於一列或一行的樣本；至少部分地基於該第一以及第二運動補償預測信號以及該延伸區域中的樣本的該第一以及第二值來計算運動精化；以及使用所計算的運動精化以利用雙向光流來預測該目前寫碼單元。
在一些實施例中，產生該延伸區域中的樣本的該第一值包括將該延伸區域中的每一第一樣本值設定為等於其在該目前寫碼單元中的各自的最近相鄰者的該第一預測樣本值。
在一些實施例中，產生該延伸區域中的樣本的該第二值包括將該延伸區域中的每一第二樣本值設定為等於其在該目前寫碼單元中的各自的最近相鄰者的該第二預測樣本值。
一些實施例進一步包括在該目前寫碼單元周圍的該延伸區域中的樣本處產生第一梯度值及第二梯度值，其中：在該延伸區域中的樣本處產生該第一梯度值包括將該延伸區域中的每一第一梯度值設定為等於使用該第一預測信號以在該目前寫碼單元中其各自的最近相鄰者處計算的梯度值；且在該延伸區域中的樣本處產生該第二梯度值包括將該延伸區域中的每一第二梯度值設定為等於使用該第二預測信號以在該目前寫碼單元中在其各自的最近相鄰者處計算的梯度值。
在一些此類實施例中，對於具有八的高度以及四的寬度的寫碼單元，雙向光流被進一步禁止。
在一些實施例中，提供了一種對視訊進行寫碼的方法，該方法包括：對於使用雙向光流所寫碼的視訊中的至少一個目前塊：產生用於該目前塊中的樣本的第一運動補償預測信號以及第二運動補償預測信號，其中使用具有第一分接頭數量的水平內插濾波器以及具有該第一分接頭數量的垂直內插濾波器來產生用於該目前塊中的樣本的該第一運動補償預測信號以及該第二運動補償預測信號；針對該目前塊周圍的延伸區域中的樣本，產生第一運動補償預測信號以及第二運動補償預測信號，其中針對該目前塊外部的樣本的該第一運動補償預測信號以及該第二運動補償預測信號是使用具有該第一分接頭數量的水平內插濾波器以及具有比該第一分接頭數量低的第二分接頭數量的垂直內插濾波器來產生的；至少部分地基於該第一以及第二運動補償預測信號來計算運動精化；使用所計算的運動精化以利用雙向光流來預測該塊。
在一些實施例中，提供一種對包括複數寫碼單元的視訊進行寫碼的方法，該方法包括：針對使用雙向預測所寫碼的該視訊中的複數寫碼單元：至少針對使用對稱預測模式而被預測的該寫碼單元，禁止雙向光流；對於雙向光流被禁止的該雙向預測寫碼單元，執行沒有雙向光流的雙向預測；以及對於雙向光流未被禁止的該雙向預測寫碼單元，利用雙向光流執行雙向預測。
在一些實施例中，至少針對使用與MVD模式的合併(MMVD)而被預測的寫碼單元，禁止雙向預測。在一些實施例中，至少針對使用具有雙邊匹配的解碼器側MV導出所預測的寫碼單元，禁止雙向預測。
在一些實施例中，提供一種對包括複數寫碼單元的視訊進行寫碼的方法。該方法包含：針對使用雙向預測所寫碼的該視訊中的複數寫碼單元：至少針對使用訊框內模式的多假設預測而被預測的寫碼單元，禁止雙向光流；對於雙向光流被禁止的該雙向預測寫碼單元，執行沒有雙向光流的雙向預測；以及對於雙向光流未被禁止的該雙向預測寫碼單元，利用雙向光流執行雙向預測。
在一些實施例中，提供一種用於對包括複數寫碼單元的視訊進行寫碼的方法。該方法包括：針對使用雙向預測所寫碼的該視訊中的複數寫碼單元：至少針對使用多假設訊框間預測而被預測的寫碼單元，禁止雙向光流；對於雙向光流被禁止的該雙向預測寫碼單元，執行沒有雙向光流的雙向預測；以及對於雙向光流未被禁止的該雙向預測寫碼單元，利用雙向光流執行雙向預測。
注意，所描述的實施例中的一個或複數的各種硬體元件被稱為“模組”，其實施(即，執行、實行等)在此結合各自的模組描述的各種功能。如本文所使用的，模組包括相關領域中具有通常知識者認為適合於給定實施方式的硬體(例如，一或複數處理器、一或複數微處理器、一或複數微控制器、一或複數微晶片、一或複數專用積體電路(ASIC)、一或複數現場可程式閘陣列(FPGA)、一或複數記憶體裝置)。每個所描述的模組還可以包括可執行用於執行被描述為由各自的模組執行的一或複數功能的指令，並且注意，這些指令可以採取硬體(即，硬連線的)指令、韌體指令、及/或軟體指令等的形式或包括它們、並且可以被儲存在任何合適的非暫時性電腦可讀媒體或媒體中，其例如通常被稱為RAM、ROM等。
雖然在上文中描述了採用特定組合或順序的特徵以及元素，但是本領域中具有通常知識者將會認識到，每一個特徵或元素既可以單獨使用，也可以與其他特徵及元素進行任何組合來使用。此外，這裡描述的方法可以在引入電腦可讀媒體中以供電腦或處理器運行的電腦程式、軟體或韌體中實施。電腦可讀儲存媒體的範例包括但不限於唯讀記憶體(ROM)、隨機存取記憶體(RAM)、暫存器、快取記憶體、半導體儲存裝置、例如內部硬碟以及可移光碟之類的磁性媒體、磁光媒體、以及例如CD-ROM光碟以及數位多功能光碟(DVD)的的光學媒體。與軟體關聯的處理器可以用於實施在WTRU、UE、終端、基地台、RNC或任何主機電腦中使用的射頻收發器。
100、1400:通信系統 102、102a、102b、102c、102d:無線傳輸/接收單元(WTRU) 103:輸入視訊訊號 104/113:無線電存取網路(RAN) 105:變換 106/115:核心網路(CN) 107:量化 108:公共交換電話網路(PSTN) 109:熵寫碼單元 110:網際網路 111:逆量化 113:逆變換 112:其他網路 114a、114b:基地台 116:空中介面 118:處理器 120:收發器 121、202、1300:位元流 122:傳輸/接收元件 124:揚聲器/麥克風 126:小鍵盤 127:預測塊 128:顯示器/觸控板 130:非可移記憶體 132:可移記憶體 134:電源 136:全球定位系統(GPS)晶片組 138:週邊設備 161:空間預測 165、264:參考圖像儲存器 208:熵解碼單元 210:逆量化單元 212:逆變換單元 1301:NAL(網路抽象層)單元 1302:視訊參數集(VPS) 1303:序列參數集(SPS) 1304:圖像參數集(PPS) 1305:切片標頭 1306:樣本資料 1307:補充增強資訊(SEI)資料 1402:編碼器 1404:通信網路 1406:解碼器 1408、1410:連接
圖1A是示出了在其中可實施一個或複數揭露的實施例的範例性通信系統的系統圖。 圖1B是示出了根據一種實施例可在圖1A所示的通信系統內使用的範例性無線傳輸/接收單元(WTRU)的系統圖。 圖2A是基於塊的視訊編碼器(例如用於VVC的編碼器)的功能方塊圖。 圖2B是基於塊的視訊解碼器(例如用於VVC的解碼器)的功能方塊圖。 圖3A至圖3E示出了多類型樹結構中的塊分區：四元分區(圖3A)；垂直二元分區(圖3B)；水平二元分區(圖3C)；垂直三元分區(圖3D)；水平三元分區(圖3E)。 圖4是使用雙向光流(BIO)的預測的示意圖。 圖5示出了根據一些實施例的使用簡化的濾波器來產生用於BIO的延伸樣本的方法。 圖6示出了根據一些實施例的使用簡化的濾波器來產生用於BIO的延伸樣本的方法。 圖7示出了根據一些實施例的樣本以及梯度填充，其用於減少一個BIO寫碼單元(CU)的延伸區域中的內插樣本的數量。 圖8是示出了一寫碼位元流結構的範例的示圖。 圖9是示出了範例性通信系統的示圖。 圖10示出了使用整數樣本作為延伸樣本以用於BIO推導。

Claims (20)

  1. 一種視訊編碼方法，包括：基於來自一第一參考圖像的一第一預測信號陣列，獲得第一分量梯度的一第一陣列；基於來自一第二參考圖像的一第二預測信號陣列，獲得第一分量梯度的一第二陣列；獲得一第一分量中間參數陣列，其包括針對該第一分量中間參數陣列中的每個樣本，對(i)第一分量梯度的該第一陣列中的一對應樣本以及(ii)第一分量梯度的該第二陣列中的一對應樣本的一和執行一右位元移位；至少部分地基於該第一分量中間參數陣列，獲得至少一第一分量運動精化；以及使用至少該第一分量運動精化以用雙向光流來產生一視訊中的一目前塊的一預測。
  2. 如請求項1所述的方法，其中該第一分量中間參數陣列是一水平中間參數陣列，且該第一分量運動精化是一水平運動精化，更包括：藉由獲得該第一預測信號陣列以及該第二預測信號陣列之間的一差，獲得一信號差參數陣列；以及藉由對(i)該信號差參數陣列與(ii)該水平梯度中間參數陣列的一按元素乘法的分量求和，獲得一信號水平梯度相關參數；其中獲得該水平運動精化包括對該信號水平梯度相關參數進行位元移位以獲得該水平運動精化。
  3. 如請求項2所述的方法，其中獲得該信號差參數陣列包括：在獲得該第一預測信號陣列與該第二預測信號陣列之間的該差之前，對該第一預測信號陣列以及該第二預測信號陣列中的每一個執行一右位元移位。
  4. 如請求項1-3中任一項所述的方法，其中該第一分量是一水平分量，第一分量梯度的該第一陣列為一第一水平梯度陣列，第一分量梯度的該第二陣列為一第二水平梯度陣列，該第一分量中間參數陣列為藉由對(i)該第一水平梯度陣列以及(ii)該第二水平梯度陣列的一和執行一右位元移位而獲得的一水平中間參數陣列，以及該第一分量運動精化為一水平運動精化，該方法更包括：基於來自該第一參考圖像的該第一預測信號陣列，獲得一第一垂直梯度陣列；基於來自該第二參考圖像的該第二預測信號陣列，獲得一第二垂直梯度陣列；藉由對(i)該第一垂直梯度陣列以及(ii)該第二垂直梯度陣列的一和執行一右位元移位，獲得一垂直中間參數陣列；以及至少部分地基於該水平中間參數陣列以及該垂直中間參數陣列，獲得一垂直運動精化；其中該目前塊的該預測是使用該水平運動精化以及該垂直運動精化而產生。
  5. 如請求項4所述的方法，更包括：藉由對(i)該水平中間參數陣列與(ii)該垂直中間參數陣列的一按元素乘法的分量求和，獲得一交叉梯度相關參數；其中獲得該垂直運動精化包括確定(i)該水平運動精化與(ii)該交叉梯度相關參數的一乘積。
  6. 一種包括一或更多處理器的視訊編碼器，被配置以執行： 基於來自一第一參考圖像的一第一預測信號陣列，獲得第一分量梯度的一第一陣列；基於來自一第二參考圖像的一第二預測信號陣列，獲得第一分量梯度的一第二陣列；獲得一第一分量中間參數陣列，其包括針對該第一分量中間參數陣列中的每個樣本，對(i)第一分量梯度的該第一陣列中的一對應樣本以及(ii)第一分量梯度的該第二陣列中的一對應樣本的一和執行一右位元移位；至少部分地基於該第一分量中間參數陣列，獲得至少一第一分量運動精化；以及使用至少該第一分量運動精化以用雙向光流來產生一視訊中的一目前塊的一預測。
  7. 如請求項6所述的視訊編碼器，其中該第一分量中間參數陣列是一水平中間參數陣列，且該第一分量運動精化是一水平運動精化，該編碼器更被配置以執行：藉由獲得該第一預測信號陣列以及該第二預測信號陣列之間的一差，獲得一信號差參數陣列；以及藉由對(i)該信號差參數陣列與(ii)該水平梯度中間參數陣列的一按元素乘法的分量求和，獲得一信號水平梯度相關參數；其中獲得該水平運動精化包括對該信號水平梯度相關參數進行位元移位以獲得該水平運動精化。
  8. 如請求項7所述的視訊編碼器，其中獲得該信號差參數陣列包括：在獲得該第一預測信號陣列與該第二預測信號陣列之間的該差之前，對該第一預測信號陣列以及該第二預測信號陣列中的每一個執行一右位元移位。
  9. 如請求項5-8中任一項所述的視訊編碼器，其中該第一分量是一水平分量，第一分量梯度的該第一陣列為一第一水平梯度陣列，第一分量梯度的該第二陣列為一第二水平梯度陣列，該第一分量中間參數陣列為藉由對(i)該第一水平梯度陣列以及(ii)該第二水平梯度陣列的一和執行一右位元移位而獲得的一水平中間參數陣列，以及該第一分量運動精化為一水平運動精化，該視訊編碼器更配置以執行：基於來自該第一參考圖像的該第一預測信號陣列，獲得一第一垂直梯度陣列；基於來自該第二參考圖像的該第二預測信號陣列，獲得一第二垂直梯度陣列；藉由對(i)該第一垂直梯度陣列以及(ii)該第二垂直梯度陣列的一和執行一右位元移位，獲得一垂直中間參數陣列；以及至少部分地基於該水平中間參數陣列以及該垂直中間參數陣列，獲得一垂直運動精化；其中該目前塊的該預測是使用該水平運動精化以及該垂直運動精化而產生。
  10. 如請求項9所述的視訊編碼器，更配置以執行：藉由對(i)該水平中間參數陣列與(ii)該垂直中間參數陣列的一按元素乘法的分量求和，獲得一交叉梯度相關參數；其中獲得該垂直運動精化包括確定(i)該水平運動精化與(ii)該交叉梯度相關參數的一乘積。
  11. 一種視訊解碼方法，包括：基於來自一第一參考圖像的一第一預測信號陣列，獲得第一分量梯度的一第一陣列； 基於來自一第二參考圖像的一第二預測信號陣列，獲得第一分量梯度的一第二陣列；獲得一第一分量中間參數陣列，其包括針對該第一分量中間參數陣列中的每個樣本，對(i)第一分量梯度的該第一陣列中的一對應樣本以及(ii)第一分量梯度的該第二陣列中的一對應樣本的一和執行一右位元移位；至少部分地基於該第一分量中間參數陣列，獲得至少一第一分量運動精化；以及使用至少該第一分量運動精化利用雙向光流來產生一視訊中的一目前塊的一預測。
  12. 如請求項11所述的方法，其中該第一分量中間參數陣列是一水平中間參數陣列，且該第一分量運動精化是一水平運動精化，該方法更包括：藉由獲得該第一預測信號陣列以及該第二預測信號陣列之間的一差，獲得一信號差參數陣列；以及藉由對(i)該信號差參數陣列與(ii)該水平梯度中間參數陣列的一按元素乘法的分量求和，獲得一信號水平梯度相關參數；其中獲得該水平運動精化包括對該信號水平梯度相關參數進行位元移位以獲得該水平運動精化。
  13. 如請求項12所述的方法，其中獲得該信號差參數陣列包括：在獲得該第一預測信號陣列與該第二預測信號陣列之間的該差之前，對該第一預測信號陣列以及該第二預測信號陣列中的每一個執行一右位元移位。
  14. 如請求項11-13中任一項所述的方法，其中該第一分量是一水平分量，第一分量梯度的該第一陣列為一第一水平梯度陣列，第一分量梯度的該第二陣列為一第二水平梯度陣列，該第一分量中間參數陣列為藉由對(i)該第一水平梯度陣列以及(ii)該第二水平梯度陣列的一和執行一右位元移位而獲得的一 水平中間參數陣列，以及該第一分量運動精化為一水平運動精化，該方法更包括：基於來自該第一參考圖像的該第一預測信號陣列，獲得一第一垂直梯度陣列；基於來自該第二參考圖像的該第二預測信號陣列，獲得一第二垂直梯度陣列；藉由對(i)該第一垂直梯度陣列以及(ii)該第二垂直梯度陣列的一和執行一右位元移位，獲得一垂直中間參數陣列；以及至少部分地基於該水平中間參數陣列以及該垂直中間參數陣列，獲得一垂直運動精化；其中該目前塊的該預測是使用該水平運動精化以及該垂直運動精化而產生。
  15. 如請求項14所述的方法，更包括：藉由對(i)該水平中間參數陣列與(ii)該垂直中間參數陣列的一按元素乘法的分量求和，獲得一交叉梯度相關參數；其中獲得該垂直運動精化包括確定(i)該水平運動精化與(ii)該交叉梯度相關參數的一乘積。
  16. 一種包括一或更多處理器的視訊解碼器，被配置以執行：基於來自一第一參考圖像的一第一預測信號陣列，獲得第一分量梯度的一第一陣列；基於來自一第二參考圖像的一第二預測信號陣列，獲得第一分量梯度的一第二陣列； 獲得一第一分量中間參數陣列，其包括針對該第一分量中間參數陣列中的每個樣本，對(i)第一分量梯度的該第一陣列中的一對應樣本以及(ii)第一分量梯度的該第二陣列中的一對應樣本的一和執行一右位元移位；至少部分地基於該第一分量中間參數陣列，獲得至少一第一分量運動精化；以及使用至少該第一分量運動精化以用雙向光流來產生一視訊中的一目前塊的一預測。
  17. 如請求項16所述的視訊解碼器，其中該第一分量中間參數陣列是一水平中間參數陣列，且該第一分量運動精化是一水平運動精化，該解碼器更配置以執行：藉由獲得該第一預測信號陣列以及該第二預測信號陣列之間的一差，獲得一信號差參數陣列；以及藉由對(i)該信號差參數陣列與(ii)該水平梯度中間參數陣列的一按元素乘法的分量求和，獲得一信號水平梯度相關參數；其中獲得該水平運動精化包括對該信號水平梯度相關參數進行位元移位以獲得該水平運動精化。
  18. 如請求項17所述的視訊解碼器，其中獲得該信號差參數陣列包括：在獲得該第一預測信號陣列與該第二預測信號陣列之間的該差之前，對該第一預測信號陣列以及該第二預測信號陣列中的每一個執行一右位元移位。
  19. 如請求項15-18中任一項所述的視訊解碼器，其中該第一分量是一水平分量，第一分量梯度的該第一陣列為一第一水平梯度陣列，第一分量梯度的該第二陣列為一第二水平梯度陣列，該第一分量中間參數陣列為藉由對(i)該第一水平梯度陣列以及(ii)該第二水平梯度陣列的一和執行一右位元移位而獲 得的一水平中間參數陣列，以及該第一分量運動精化為一水平運動精化，該視訊解碼器更配置以執行：基於來自該第一參考圖像的該第一預測信號陣列，獲得一第一垂直梯度陣列；基於來自該第二參考圖像的該第二預測信號陣列，獲得一第二垂直梯度陣列；藉由對(i)該第一垂直梯度陣列以及(ii)該第二垂直梯度陣列的一和執行一右位元移位，獲得一垂直中間參數陣列；以及至少部分地基於該水平中間參數陣列以及該垂直中間參數陣列，獲得一垂直運動精化；其中該目前塊的該預測是使用該水平運動精化以及該垂直運動精化而產生。
  20. 如請求項19所述的視訊解碼器，更配置以執行：藉由對(i)該水平中間參數陣列與(ii)該垂直中間參數陣列的一按元素乘法的分量求和，獲得一交叉梯度相關參數；其中獲得該垂直運動精化包括確定(i)該水平運動精化與(ii)該交叉梯度相關參數的一乘積。
TW108133511A 2018-09-21 2019-09-18 雙向光流複雜度降低及位元寬度控制的裝置及方法 TWI834722B (zh)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
US201862734763P 2018-09-21 2018-09-21
US62/734763 2018-09-21
US201862738655P 2018-09-28 2018-09-28
US62/738655 2018-09-28
US201962789331P 2019-01-07 2019-01-07
US62/789331 2019-01-07

Publications (2)

Publication Number Publication Date
TW202025751A TW202025751A (zh) 2020-07-01
TWI834722B true TWI834722B (zh) 2024-03-11

Family

ID=68104762

Family Applications (2)

Application Number Title Priority Date Filing Date
TW108133511A TWI834722B (zh) 2018-09-21 2019-09-18 雙向光流複雜度降低及位元寬度控制的裝置及方法
TW112132633A TW202402055A (zh) 2018-09-21 2019-09-18 雙向光流複雜度降低及位元寬度控制的裝置及方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
TW112132633A TW202402055A (zh) 2018-09-21 2019-09-18 雙向光流複雜度降低及位元寬度控制的裝置及方法

Country Status (8)

Country Link
US (4) US11470308B2 (zh)
EP (1) EP3854089A1 (zh)
JP (2) JP7311589B2 (zh)
KR (1) KR20210071958A (zh)
CN (1) CN112715030B (zh)
IL (1) IL281581A (zh)
TW (2) TWI834722B (zh)
WO (1) WO2020061082A1 (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020061082A1 (en) 2018-09-21 2020-03-26 Vid Scale, Inc. Complexity reduction and bit-width control for bi-directional optical flow
WO2020084460A1 (en) 2018-10-22 2020-04-30 Beijing Bytedance Network Technology Co., Ltd. Decoder side motion vector derivation in the presence of multi-hypothesis prediction
CN117241017A (zh) 2018-11-05 2023-12-15 北京字节跳动网络技术有限公司 数字视频编解码的方法、设备和系统
WO2020130710A1 (ko) * 2018-12-21 2020-06-25 한국전자통신연구원 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
KR102489605B1 (ko) * 2019-01-09 2023-01-17 베이징 다지아 인터넷 인포메이션 테크놀로지 컴퍼니 리미티드 조합된 인터 및 인트라 예측을 위한 시스템 및 방법
FI3909247T3 (fi) * 2019-02-08 2024-06-20 Beijing Dajia Internet Information Tech Co Ltd Menetelmät ja laitteet selektiivisen kaksisuuntaisen optisen virtauksen ja dekooderisivun liikevektoritarkennuksen soveltamiseksi videokoodauksessa
KR20220112864A (ko) * 2019-03-15 2022-08-11 베이징 다지아 인터넷 인포메이션 테크놀로지 컴퍼니 리미티드 양방향 광 흐름을 위한 비트-폭 제어를 위한 방법 및 디바이스
GB2585039A (en) * 2019-06-25 2020-12-30 Sony Corp Image data encoding and decoding
US11736720B2 (en) * 2019-09-03 2023-08-22 Tencent America LLC Motion vector refinement methods for video encoding
WO2021054886A1 (en) * 2019-09-20 2021-03-25 Telefonaktiebolaget Lm Ericsson (Publ) Methods of video encoding and/or decoding with bidirectional optical flow simplification on shift operations and related apparatus
CN114079784A (zh) * 2020-08-20 2022-02-22 Oppo广东移动通信有限公司 帧间预测方法、编码器、解码器以及计算机存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018166357A1 (en) * 2017-03-16 2018-09-20 Mediatek Inc. Method and apparatus of motion refinement based on bi-directional optical flow for video coding

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06168239A (ja) 1992-11-27 1994-06-14 Toshiba Corp 文書作成装置
JP2991878B2 (ja) * 1992-11-27 1999-12-20 三菱電機株式会社 オプティカルフロー演算回路
EP2375751A1 (en) 2010-04-12 2011-10-12 Panasonic Corporation Complexity reduction of edge-detection based spatial interpolation
US10306240B2 (en) * 2015-06-08 2019-05-28 Vid Scale, Inc. Intra block copy mode for screen content coding
CN107925760A (zh) 2015-08-23 2018-04-17 Lg 电子株式会社 基于间预测模式的图像处理方法及其装置
US10341659B2 (en) * 2016-10-05 2019-07-02 Qualcomm Incorporated Systems and methods of switching interpolation filters
US10986367B2 (en) * 2016-11-04 2021-04-20 Lg Electronics Inc. Inter prediction mode-based image processing method and apparatus therefor
WO2018113658A1 (en) * 2016-12-22 2018-06-28 Mediatek Inc. Method and apparatus of motion refinement for video coding
US10931969B2 (en) * 2017-01-04 2021-02-23 Qualcomm Incorporated Motion vector reconstructions for bi-directional optical flow (BIO)
US10701366B2 (en) * 2017-02-21 2020-06-30 Qualcomm Incorporated Deriving motion vector information at a video decoder
AU2018271194B2 (en) * 2017-05-17 2021-04-08 Kt Corporation Method and device for video signal processing
US11616976B2 (en) * 2017-06-09 2023-03-28 Electronics And Telecommunications Research Institute Video encoding/decoding method and device, and recording medium storing bit stream
US10904565B2 (en) * 2017-06-23 2021-01-26 Qualcomm Incorporated Memory-bandwidth-efficient design for bi-directional optical flow (BIO)
CN110832858B (zh) * 2017-07-03 2023-10-13 Vid拓展公司 用于视频编解码的设备、方法
CN111052742A (zh) * 2017-09-30 2020-04-21 深圳市大疆创新科技有限公司 图像处理
US10776688B2 (en) * 2017-11-06 2020-09-15 Nvidia Corporation Multi-frame video interpolation using optical flow
US11109053B2 (en) * 2018-03-05 2021-08-31 Panasonic Intellectual Property Corporation Of America Encoding method, decoding method, encoder, and decoder
MX2020013386A (es) 2018-06-11 2021-03-09 Hfi Innovation Inc Metodo y aparato de flujo optico bidireccional para la codificacion de video.
TWI730380B (zh) 2018-08-17 2021-06-11 聯發科技股份有限公司 在視訊編解碼系統中利用雙向預測處理視訊的方法、設備和可讀介質
WO2020061082A1 (en) 2018-09-21 2020-03-26 Vid Scale, Inc. Complexity reduction and bit-width control for bi-directional optical flow

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018166357A1 (en) * 2017-03-16 2018-09-20 Mediatek Inc. Method and apparatus of motion refinement based on bi-directional optical flow for video coding

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
期刊 A. Alshin and E. Alshina "Bi-directional Optical Flow for Future Video Codec," 2016 Data Compression Conference (DCC) pp. 83-90, doi: 10.1109/DCC.2016.125 2016 Data Compression Conference (DCC) 2016/04/01 第4節 *

Also Published As

Publication number Publication date
TW202025751A (zh) 2020-07-01
IL281581A (en) 2021-05-31
US11470308B2 (en) 2022-10-11
US20230053233A1 (en) 2023-02-16
US20230050213A1 (en) 2023-02-16
KR20210071958A (ko) 2021-06-16
US11968358B2 (en) 2024-04-23
US20240205389A1 (en) 2024-06-20
CN112715030A (zh) 2021-04-27
EP3854089A1 (en) 2021-07-28
TW202402055A (zh) 2024-01-01
US20220038679A1 (en) 2022-02-03
JP7311589B2 (ja) 2023-07-19
JP2022501906A (ja) 2022-01-06
WO2020061082A1 (en) 2020-03-26
JP2023118924A (ja) 2023-08-25
CN112715030B (zh) 2024-04-23
US12003703B2 (en) 2024-06-04

Similar Documents

Publication Publication Date Title
TWI834722B (zh) 雙向光流複雜度降低及位元寬度控制的裝置及方法
TWI805788B (zh) 降低解碼器側運動精化的寫碼潛時的方法及裝置
CN112106367A (zh) 基于编码和解码时延减少的基于模板的帧间预测技术
EP3922025B1 (en) Systems, apparatus and methods for inter prediction refinement with optical flow
US20240107024A1 (en) Affine motion model derivation method
US20220191502A1 (en) Methods and apparatus for prediction refinement for decoder side motion vector refinement with optical flow
EP3987778B1 (en) Precision refinement for motion compensation with optical flow
US20220182634A1 (en) Methods and systems for post-reconstruction filtering
JP2022534569A (ja) オプティカルフローを用いたブロック境界予測リファインメント
US20220132136A1 (en) Inter prediction bandwidth reduction method with optical flow compensation
RU2803895C2 (ru) Уточнение прогнозирования с компенсацией движения с помощью оптического потока
TWI846813B (zh) 光流相互預測精化裝置及方法
RU2811563C2 (ru) Системы, устройства и способы для уточнения интерпрогнозирования с помощью оптического потока