TWI711299B - 利用部分成本計算的視頻解碼方法和裝置 - Google Patents

利用部分成本計算的視頻解碼方法和裝置 Download PDF

Info

Publication number
TWI711299B
TWI711299B TW108119966A TW108119966A TWI711299B TW I711299 B TWI711299 B TW I711299B TW 108119966 A TW108119966 A TW 108119966A TW 108119966 A TW108119966 A TW 108119966A TW I711299 B TWI711299 B TW I711299B
Authority
TW
Taiwan
Prior art keywords
current video
video area
motion information
prediction
area
Prior art date
Application number
TW108119966A
Other languages
English (en)
Other versions
TW202005383A (zh
Inventor
劉鴻彬
張莉
張凱
王悅
Original Assignee
大陸商北京字節跳動網絡技術有限公司
美商字節跳動有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 大陸商北京字節跳動網絡技術有限公司, 美商字節跳動有限公司 filed Critical 大陸商北京字節跳動網絡技術有限公司
Publication of TW202005383A publication Critical patent/TW202005383A/zh
Application granted granted Critical
Publication of TWI711299B publication Critical patent/TWI711299B/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/436—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation using parallelised computational arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/523—Motion estimation or motion compensation with sub-pixel accuracy
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/53—Multi-resolution motion estimation; Hierarchical motion estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/537—Motion estimation other than block-based
    • H04N19/543—Motion estimation other than block-based using regions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/567—Motion estimation based on rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/587—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

一種解碼包括視頻的數位表示的位元流的方法，包括： 從位元流解碼當前視頻塊的運動資訊；基於一個或多個範本中的每個範本中的圖元位置的部分集，使用一個或多個範本估計當前視頻塊的匹配成本，其中該一個或多個範本中的每個範本包括具有多個樣本的視頻塊；以及使用具有最小匹配成本的範本來細化當前視頻塊的運動資訊。

Description

利用部分成本計算的視頻解碼方法和裝置
本發明是有關於一種視頻編碼技術，且特別是有關於一種解碼方法、視頻編解碼裝置及電腦程式產品。
相關申請的交叉引用
根據適用的《專利法》和/或《巴黎公約》的規定，本申請是為了及時要求2018年6月7日提交的在先美國臨時專利申請No.62/682,150的優先權和權益。美國臨時專利申請No.62/682,150的全部公開以引用方式併入本公開，作為本申請的公開的一部分。
儘管視訊壓縮技術取得了進步，但數位視訊仍在互聯網和其他數位通信網路上占最大的頻寬使用量。隨著能夠接收和顯示視頻的連接使用者設備的數量增加，預計數位視訊使用所需的頻寬將繼續增長。
本發明提供一種與視頻編碼中的解碼器側運動向量推導(Decoder Side Motion Vector Derivation，DMVD)相關的技術。該技術可以應用于現有的視頻編碼標準，如HEVC、或最終確定的標準(多功能視頻編碼(Versatile Video Coding，VVC))。該技術也可以應用于未來的視頻編碼標準或視頻轉碼器。
在一個示例方面，公開了一種解碼包括視頻的數位表示的位元流的方法。該方法包括：從位元流解碼當前視頻塊的運動資訊；基於一個或多個範本中的每個範本中的圖元位置的部分集，使用一個或多個範本估計當前視頻塊的匹配成本，其中該一個或多個範本中的每個範本包括具有多個樣本的視頻塊；以及使用具有最小匹配成本的範本來細化當前塊的運動資訊。
在另一示例方面，公開了一種解碼包括視頻的數位表示的位元流的方法。該方法包括：從位元流解碼當前視頻塊的運動資訊；確定當前視頻塊的尺寸，根據當前視頻塊的尺寸小於第一尺寸的確定，基於一個或多個範本中的每個範本中的圖元位置的部分集，使用一個或多個範本估計當前視頻塊的匹配成本，其中該一個或多個範本中的每個範本包括具有多個樣本的視頻塊；以及根據當前視頻塊的尺寸不小於第一尺寸的確定，基於一個或多個範本中的每個範本中的所有圖元位置，使用一個或多個範本估計當前視頻塊的匹配成本，其中該一個或多個範本中的每個範本包括具有多個樣本的視頻塊；以及使用具有最小匹配成本的範本 來細化當前塊的運動資訊。
在另一示例方面，公開了一種解碼包括視頻的數位表示的位元流的方法。該方法包括：從位元流解碼當前視頻塊的運動資訊；確定當前視頻塊的尺寸，根據當前視頻塊的尺寸大於第一尺寸的確定，基於一個或多個範本中的每個範本中的圖元位置的部分集，使用一個或多個範本估計當前視頻塊的匹配成本，其中該一個或多個範本中的每個範本包括具有多個樣本的視頻塊；以及根據當前視頻塊的尺寸不大於第一尺寸的確定，基於一個或多個範本中的每個範本中的所有圖元位置，使用一個或多個範本估計當前視頻塊的匹配成本，其中該一個或多個範本中的每個範本包括具有多個樣本的視頻塊；以及使用具有最小匹配成本的範本來細化當前塊的運動資訊。
在另一示例方面，公開了一種解碼包括視頻的數位表示的位元流的方法。該方法包括：從位元流解碼當前視頻塊的運動資訊，確定當前視頻塊的形狀，根據當前視頻塊的形狀是第一形狀的確定，基於一個或多個範本中的每個範本中的圖元位置的部分集，使用一個或多個範本估計當前視頻塊的匹配成本，其中該一個或多個範本中的每個範本包括具有多個樣本的視頻塊；根據當前視頻塊的形狀是第二形狀的確定，基於一個或多個範本中的每個範本中的圖元位置的部分集，使用一個或多個範本估計當前視頻塊的匹配成本，其中該一個或多個範本中的每個範本包括具有多個樣本的視頻塊；以及根據當前塊的形狀是第三形狀的確 定，基於一個或多個範本中的每個範本中的所有圖元位置，使用一個或多個範本估計當前視頻塊的匹配成本，其中該一個或多個範本中的每個範本包括具有多個樣本的視頻塊；以及使用具有最小匹配成本的範本來細化當前塊的運動資訊。
在又一示例方面，公開了一種裝置，包括被配置為實施上述方法中的每一個的處理器。
在再一示例方面，這些方法可以以電腦可運行指令的形式體現並存儲在電腦可讀程式介質上。
在本文檔中進一步描述了這些和其他方面。
1500、1600、1700、1800:方法
1502:從位元流解碼當前視頻塊的運動資訊的步驟
1504:估計當前視頻塊的匹配成本的步驟
1506:使用具有最小匹配成本的範本來細化當前視頻塊的運動資訊的步驟
1602:從位元流解碼當前視頻塊的運動資訊的步驟
1604:當前視頻塊的尺寸<第一尺寸的步驟
1606:基於範本中的圖元位置的部分集估計當前視頻塊的匹配成本的步驟
1608:基於範本中所有圖元位置估計當前視頻塊的匹配成本的步驟
1610:使用具有最小匹配成本的範本細化當前視頻塊的運動 資訊的步驟
1702:從位元流解碼當前視頻塊的運動資訊的步驟
1704:當前視頻塊的尺寸>第一尺寸的步驟
1706:基於範本中的圖元位置的部分集估計當前視頻塊的匹配成本的步驟
1708:基於範本中的所有圖元位置估計當前視頻塊的匹配成本的步驟
1710:使用具有最小匹配成本的範本來細化當前視頻塊的運動資訊的步驟
1802:從位元流解碼當前視頻塊的運動資訊的步驟
1804:當前視頻塊的形狀是一組所選擇的形狀之一？的步驟
1806:基於範本中的圖元位置的部分集估計當前視頻塊的匹配成本的步驟
1808:基於範本中的所有圖元位置估計當前視頻塊的匹配成 本的步驟
1810:使用具有最小匹配成本的範本來細化當前視頻塊的運 動資訊的步驟
1900:硬體設備
1902:處理器
1904:記憶體
1906:視頻處理電路
圖1示出了用於Merge候選列表建構的推導過程的示例。
圖2示出了空間Merge候選的示例位置。
圖3示出了考慮空間Merge候選的冗餘校驗的候選對的示例。
圖4A和4B示出了N×2N和2N×N個分區的第二PU的示例位置。
圖5是用於時間Merge候選的運動向量縮放的示例說明。
圖6示出了時間Merge候選C0和C1的候選位置的示例。
圖7示出了組合的雙向預測Merge候選的示例。
圖8示出了運動向量預測候選的示例推導過程。
圖9示出了用於空間運動向量候選的運動向量縮放的示例說明。
圖10示出了雙邊匹配的示例。
圖11示出了範本匹配的示例。
圖12示出了FRUC中的單邊ME的示例。
圖13示出了基於雙邊範本匹配的DMVR的示例。
圖14示出了範本匹配中的簡化範本的示例。
圖15是視頻解碼的示例方法的流程圖。
圖16是視頻解碼的另一示例方法的流程圖。
圖17是視頻解碼的又一示例方法的流程圖。
圖18是視頻解碼的再一示例方法的流程圖。
圖19是視頻解碼裝置的框圖。
圖20示出了視訊編碼器的示例實施方式。
本文檔提供了可由視頻位元流的解碼器使用的各種技術，以改善解壓縮或解碼的數位視訊的品質。此外，視訊編碼器還可在編碼處理期間實施這些技術，以便重建用於進一步編碼的經解碼的幀。
為了便於理解，在本文檔中使用章節標題，並且不將實施例和技術限制於對應部分。這樣，來自一個部分的實施例可以與來自其他部分的實施例組合。此外，雖然一些實施例詳細描述 了視頻編碼步驟，但是應該理解，將由解碼器實施解碼撤銷(undo)編碼的對應步驟。此外，術語視頻處理包括視頻編碼或壓縮、視頻解碼或解壓縮以及視頻轉碼，其中視頻圖元從一種壓縮格式表示為另一壓縮格式或以不同的壓縮位元速率表示。
1.技術框架
視頻編碼標準主要通過開發眾所周知的ITU-T和ISO/IEC標準而發展。ITU-T產生了H.261和H.263，ISO/IEC產生了MPEG-1和MPEG-4 Visual，兩個組織聯合產生了H.262/MPEG-2視頻和H.264/MPEG-4高級視頻編碼(Advanced Video Coding，AVC)和H.265/HEVC標準。從H.262開始，視頻編碼標準基於利用時間預測加變換編碼的混合視頻編碼結構。為了探索HEVC之外的未來視頻編碼技術，由VCEG和MPEG于2015年聯合成立了聯合視頻探索團隊(Joint Video Exploration Team，JVET)。從那時起，許多新方法被JVET採用並被引入名為聯合搜索模型(Joint Exploration Model，JEM)的參考軟體中。在2018年4月，VCEG(Q6/16)和ISO/IEC JTC1 SC29/WG11(MPEG)之間的聯合視頻專家組(Joint Video Expert Team,JVET)被創建用於VVC標準，目標是與HEVC相比降低50%的位元速率。
2.HEVC/H.265中的幀間預測
每個幀間預測的預測單元(Prediction Unit，PU)具有用於一個或兩個參考圖片清單的運動參數。運動參數包括運動向 量和參考圖片索引。也可以使用inter_pred_idc來訊號通知兩個參考圖片清單中的一個的使用。可以將運動向量明確地編碼為相對於預測器的增量。
當用跳過模式對編碼單元(Coding Unit，CU)進行編碼時，一個PU與CU相關聯，並且不存在顯著的殘差係數、沒有編碼的運動向量增量或參考圖片索引。指定Merge模式，從而從相鄰PU獲得當前PU的運動參數，包括空間和時間候選。Merge模式可以應用於任何幀間預測的PU，而不僅應用於跳過模式。Merge模式的替代是運動參數的顯式傳輸，其中，對於每個PU，明確地用訊號通知運動向量(更準確地說，與運動向量預測器相比的運動向量差)、每個參考圖片清單的對應參考圖片索引和參考圖片清單使用。在本文檔中，這種模式被稱為高級運動向量預測(Advanced Motion Vector Prediction，AMVP)。
當信令指示將使用兩個參考圖片清單中的一個時，從一個樣本塊產生PU。這被稱為“單向預測(uni-prediction)”。單向預測可用於P條帶和B條帶兩者。
當信令指示將使用兩個參考圖片清單時，從兩個樣本塊產生PU。這被稱為“雙向預測(bi-prediction)”。雙向預測僅適用於B條帶。
以下文本提供了HEVC中指定的幀間預測模式的詳細資訊。描述將從Merge模式開始。
2.1.1 Merge模式
2.1.1.1 Merge模式的候選推導
當使用Merge模式預測PU時，從位元流解析指向Merge候選列表中的條目的索引並將其用於檢索運動資訊。該列表的建構(construction)在HEVC標準中指定，並且可以根據以下步驟順序進行總結：
步驟1：初始候選推導
步驟1.1：空間候選推導
步驟1.2：空間候選的冗餘校驗
步驟1.3：時間候選推導
步驟2：插入額外的候選
步驟2.1：創建雙向預測候選
步驟2.2：插入零運動候選
這些步驟也在圖1中示意性地描繪。對於空間Merge候選推導，在位於五個不同位置的候選當中選擇最多四個Merge候選。對於時間Merge候選推導，在兩個候選當中選擇最多一個Merge候選。由於在解碼器處假設恒定數量的候選用於每個PU，因此當從步驟1獲得的候選的數量未達到在條帶報頭中用訊號通知的最大Merge候選數量(MaxNumMergeCand)時，生成額外的候選。由於候選的數量是恒定的，因此使用截斷的一元二值化(Truncated Unary binarization，TU)來編碼最佳Merge候選的索引。如果CU的尺寸等於8，則當前CU的所有PU共用單個Merge候選列表，其與2N×2N預測單元的Merge候選列表相同。
在下文中，詳細描述了與上述步驟相關的操作。
2.1.1.2 空間候選推導
在空間Merge候選的推導中，在位於圖2描繪的位置的候選當中選擇最多四個Merge候選。推導的順序是A1、B1、B0、A0和B2。僅當位置A1、B1、B0、A0的任何PU不可用(例如，因為它屬於另一條帶或區塊)或者是幀內編碼時，才考慮位置B2。在添加位置A1處的候選之後，對剩餘候選的添加進行冗餘校驗，其確保具有相同運動資訊的候選被排除在清單之外，使得編碼效率提高。為了降低計算複雜度，在所提到的冗餘校驗中並未考慮所有可能的候選對。相反，僅考慮圖3中用箭頭連接的對，並且僅在用於冗餘校驗的對應候選具有不一樣的運動資訊時，才將候選添加到列表。重複運動資訊的另一來源是與不同於2N×2N的分區相關聯的“第二PU”。作為示例，圖4A和圖4B描繪了分別針對N×2N和2N×N的情況的第二PU。當當前PU被分區為N×2N時，位置A1處的候選不被考慮用於列表建構。實際上，通過添加該候選將導致具有相同運動資訊的兩個預測單元，這對於在編碼單元中僅具有一個PU是多餘的。類似地，當當前PU被分區為2N×N時，不考慮位置B1。
2.1.1.3 時間候選推導
在該步驟中，只有一個候選被添加到列表中。具體地，在該時間Merge候選的推導中，基於共同定位的PU來推導縮放的運動向量，該共同定位的PU屬於給定參考圖片清單內與當前圖片具有最小POC差的圖片。在條帶報頭中明確地用訊號通知 要用於推導共同定位的PU的參考圖片清單。如圖5中的虛線所示獲得用於時間Merge候選的縮放的運動向量，其是使用POC距離tb和td從共同定位的PU的運動向量縮放的，其中tb被定義為當前圖片的參考圖片與當前圖片之間的POC差，td被定義為是共同定位的圖片的參考圖片與共同定位的圖片之間的POC差。時間Merge候選的參考圖片索引被設置為等於零。HEVC規範中描述了縮放過程的實際實現。對於B條帶，獲得兩個運動向量，一個用於參考圖片清單0，另一用於參考圖片清單1，並且結合該兩個運動向量以獲得雙向預測Merge候選。
在屬於參考幀的共同定位的PU(Y)中，在候選C0和C1之間選擇時間候選的位置，如圖6所示。如果位置C0處的PU不可用、是幀內編碼的、或者在當前CTU行之外，則使用位置C1。否則，位置C0用於時間Merge候選的推導。
2.1.1.4 插入額外的候選
除了空間和時間Merge候選之外，還存在兩種額外類型的Merge候選：組合的雙向預測Merge候選和零Merge候選。通過利用空間和時間Merge候選來生成組合的雙向預測Merge候選。組合的雙向預測Merge候選僅用於B條帶。通過將初始候選的第一參考圖片清單運動參數與另一候選的第二參考圖片清單運動參數組合來生成組合的雙向預測候選。如果這兩個元組提供不同的運動假設，它們將形成一個新的雙向預測候選。作為示例，圖7描繪了當原始列表(左側)中具有mvL0和refIdxL0或 mvL1和refIdxL1的兩個候選被用於創建添加到最終列表(右側)的組合的雙向預測Merge候選的情況。在HEVC規範中定義了關於被認為生成這些額外的Merge候選的組合的許多規則。
插入零運動候選以填充Merge候選列表中的剩餘條目，從而達到MaxNumMergeCand容量。這些候選具有零空間位移和參考圖片索引，該參考圖片索引從零開始並且每當新的零運動候選被添加到列表時增加。這些候選使用的參考幀的數量是1和2，分別用於單向和雙向預測。最後，不對這些候選執行冗餘校驗。
2.1.1.5 用於並行處理的運動估計區域
為了加速編碼處理，可以並存執行運動估計，從而同時推導給定區域內的所有預測單元的運動向量。從空間鄰域推導Merge候選可能干擾並行處理，因為一個預測單元直到其相關聯的運動估計完成時才能從相鄰PU推導運動參數。為了減輕編碼效率和處理等待時間之間的折衷，HEVC定義運動估計區域(Motion Estimation Region，MER)，其尺寸在圖片參數集中使用“log2_parallel_merge_level_minus2”語法元素訊號通知。當定義MER時，落入同一區域的Merge候選被標記為不可用，因此在列表建構中不予考慮。
2.1.2 AMVP
AMVP利用運動向量與相鄰PU的時空相關性，其用於運動參數的顯式傳輸。對於每個參考圖片清單，通過首先校驗在 時間上相鄰的PU位置的上方，左側的可用性，移除冗餘候選並添加零向量以使候選列表為恒定長度來建構運動向量候選列表。然後，編碼器可以從候選列表中選擇最佳預測器，並發送指示所選候選的對應索引。與Merge索引信令類似，使用截斷的一元來編碼最佳運動向量候選的索引。在這種情況下要編碼的最大值是2(參見圖8)。在以下部分中，提供了關於運動向量預測候選的推導過程的細節。
2.1.2.1 AMVP候選的推導
圖8總結了運動向量預測候選的推導過程。
在運動向量預測中，考慮兩種類型的運動向量候選：空間運動向量候選和時間運動向量候選。對於空間運動向量候選推導，最終基於位於圖2所示的五個不同位置的每個PU的運動向量推導兩個運動向量候選。
對於時間運動向量候選推導，從兩個候選中選擇一個運動向量候選，其是基於兩個不同的共同定位的位置推導的。在產生時空候選的第一列表之後，移除列表中的重複的運動向量候選。如果潛在候選的數量大於2，則從列表中移除相關聯的參考圖片清單內的其參考圖片索引大於1的運動向量候選。如果時空運動向量候選的數量小於2，則將額外的零運動向量候選添加到列表中。
2.1.2.2 空間運動向量候選
在空間運動向量候選的推導中，在五個潛在候選當中考 慮最多兩個候選，其從位於如圖2所示的位置的PU中推導，那些位置與運動Merge的位置相同。將當前PU的左側的推導順序定義為A0、A1，以及縮放的A0、縮放的A1。將當前PU的上側的推導順序定義為B0、B1、B2，縮放的B0、縮放的B1、縮放的B2。因此，對於每一側，存在可以用作運動向量候選的四種情況，其中兩種情況不需要使用空間縮放，兩種情況使用空間縮放。四種不同的情況總結如下：
沒有空間縮放
- (1)相同的參考圖片清單，以及相同的參考圖片索引(相同的POC)
- (2)不同的參考圖片清單，但相同的參考圖片(相同的POC)
空間縮放
- (3)相同的參考圖片清單，但不同的參考圖片(不同的POC)
- (4)不同的參考圖片清單，以及不同的參考圖片(不同的POC)
首先校驗無空間縮放的情況，然後校驗空間縮放。當POC在相鄰PU的參考圖片與當前PU的參考圖片之間不同而不管參考圖片清單時，考慮空間縮放。如果左候選的所有PU都不可用或者是幀內編碼的，則允許對上述運動向量進行縮放以幫助左和上MV候選的並行推導。否則，不允許對上述運動向量進行 空間縮放。
在空間縮放過程中，以與時間縮放類似的方式縮放相鄰PU的運動向量，如圖9所示。主要區別是將參考圖片清單和當前PU的索引作為輸入給出；實際縮放過程與時間縮放過程相同。
2.1.2.3 時間運動向量候選
除了參考圖片索引推導之外，用於推導時間Merge候選的所有過程與用於推導空間運動向量候選的過程相同(參見圖6)。將參考圖片索引用訊號通知給解碼器。
2.2 JEM中的新的幀間預測方法
2.2.1 模式匹配的運動向量推導
模式匹配的運動向量推導(Pattern Matched Motion Vector Derivation，PMMVD)模式是基於畫面播放速率上轉換(Frame-Rate Up Conversion，FRUC)技術的特殊Merge模式。利用該模式，在解碼器側推導塊的運動資訊，而不是發訊號通知塊的運動資訊。
當CU的Merge標誌為真時，向CU訊號通知FRUC標誌。當FRUC標誌為假時，訊號通知Merge索引並使用常規Merge模式。當FRUC標誌為真時，訊號通知的額外的FRUC模式標誌以指示將使用哪種方法(雙邊匹配或範本匹配)來推導該塊的運動資訊。
在編碼器側，關於是否對CU使用FRUC Merge模式的 決定是基於對正常Merge候選所做的RD成本選擇。即，通過使用RD成本選擇來校驗CU的兩種匹配模式(雙邊匹配和範本匹配)兩者。引起最小成本的匹配模式與其他CU模式進一步比較。如果FRUC匹配模式是最有效的模式，則對於CU將FRUC標誌設置為真，並且使用相關的匹配模式。
FRUC Merge模式中的運動推導過程具有兩個步驟：首先執行CU級運動搜索，然後進行子CU級運動細化。在CU級，基於雙邊匹配或範本匹配，推導整個CU的初始運動向量。首先，生成MV候選列表，並且選擇引起最小匹配成本的候選作為進一步CU級細化的起點。然後，在起點附近執行基於的雙邊匹配或範本匹配的局部搜索，並且將最小匹配成本的MV結果作為整個CU的MV。隨後，以推導的CU運動向量作為起點，進一步在子CU級細化運動資訊。
例如，對於W×H CU運動資訊推導執行以下推導過程。在第一階段，推導整個W×H CU的MV。在第二階段，該CU進一步被劃分成M×M個子CU。M的值的計算方法如(1)所示，D是預定義的劃分深度，在JEM中默認設置為3。然後推導每個子CU的MV。
Figure 108119966-A0305-02-0017-1
如圖10所示，通過在兩個不同參考圖片中沿當前CU的運動軌跡找到兩個塊之間的最接近匹配，使用雙邊匹配來推導當前CU的運動資訊。在連續運動軌跡的假設下，指向兩個參考塊 的運動向量MV0和MV1應當與當前圖片和兩個參考圖片之間的時間距離(即TD0和TD1)成比例。作為特殊情況，當當前圖片在時間上在兩個參考圖片之間並且從當前圖片到兩個參考圖片的時間距離相同時，雙邊匹配成為基於鏡像的雙向MV。
如圖11所示，範本匹配用於通過找到當前圖片中的範本(當前CU的頂部和/或左側相鄰塊)與參考圖片中的塊(與範本的尺寸相同)之間的最接近匹配來推導當前CU的運動資訊。除了上述FRUC Merge模式之外，範本匹配也應用於AMVP模式。在JEM中，正如在HEVC中所做的那樣，AMVP有兩個候選。通過範本匹配方法，新的候選被推導出。如果由範本匹配新推導的候選與第一現有AMVP候選不同，則將其插入AMVP候選列表的最開始處，然後將列表尺寸設置為2(意味著移除第二現有AMVP候選)。當應用于AMVP模式時，僅應用CU級搜索。
2.2.2 CU級MV候選集
在CU級處設置的MV候選包括：
(i)如果當前CU處於AMVP模式，則為原始AMVP候選
(ii)所有Merge候選，
(iii)在2.2.4節中介紹的插值MV場中的幾個MV。
(iv)頂部和左側相鄰運動向量
當使用雙邊匹配時，將Merge候選的每個有效MV用作輸入，以生成假設雙邊匹配的情況下的MV對。例如，在參考列 表A中，Merge候選的一個有效MV是(MVa，refa)。然後，在其他參考列表B中找到其配對的雙邊MV的參考圖片refb，使得refa和refb在時間上位於當前圖片的不同側。如果這樣的refb在參考列表B中不可用，則refb被確定為與refa不同的參考，並且其到當前圖片的時間距離是清單B中的最小值。在確定refb之後，通過基於當前圖片refa和refb之間的時間距離來縮放MVa來推導MVb。
來自插值MV場的四個MV也被添加到CU級候選列表。更具體地，添加當前CU的位置(0,0)、(W/2,0)、(0，H/2)和(W/2，H/2)處的插值MV。
當FRUC應用于AMVP模式時，原始AMVP候選也被添加到CU級MV候選集。
在CU級，對於AMVP CU，最多將15個MV添加到候選列表，對於Merge CU，最多將13個MV添加到候選列表。
2.2.3 子CU級MV候選集
在子CU級處設置的MV候選包括：(i)從CU級搜索確定的MV，(ii)頂部、左側、左上角和右上角的相鄰MV，(iii)來自參考圖片的並置MV的縮放版本，(iv)最多4個ATMVP候選，(v)最多4個STMVP候選
來自參考圖片的縮放MV如下推導。遍歷兩個清單中的所有參考圖片。參考圖片中的子CU的並置位置處的MV被縮放 到起始CU級MV的參考。
ATMVP和STMVP候選僅限於前四個。
在子CU級，最多將17個MV添加到候選列表中。
2.2.4 插值MV場的生成
在對幀進行編碼之前，基於單邊ME為整個圖片生成插值運動場。然後，運動場可以稍後用作CU級或子CU級MV候選。
首先，兩個參考清單中的每個參考圖片的運動場以4×4塊級遍歷。對於每個4×4塊，如果與塊相關聯的運動通過當前圖片中的4×4塊(如圖12所示)並且塊未被分配任何插值運動，則參考塊的運動根據時間距離TD0和TD1(以與HEVC中的TMVP的MV縮放的方式相同的方式)被縮放到當前圖片，並且將縮放的運動分配給當前幀中的塊。如果沒有縮放的MV被分配給4×4塊，則在插值運動場中將塊的運動標記為不可用。
2.2.5 插值和匹配成本
當運動向量指向分數樣本位置時，需要運動補償插值。為了降低複雜度，替代常規8抽頭HEVC插值，將雙線性插值用於雙邊匹配和範本匹配。
匹配成本的計算在不同步驟處有點不同。當從CU級的候選集中選擇候選時，匹配成本是雙邊匹配或範本匹配的絕對和差(Absolute Sum Difference，SAD)。在確定起始MV之後，子CU級搜索的雙邊匹配的匹配成本計算如下： C=SAD+w．(|MV x -MV x s |+|MV y -MV y s |) (2)
其中w是根據經驗設置為4的加權因數，MV和MV s 分別指示當前MV和起始MV。SAD仍用作子CU級搜索的範本匹配的匹配成本。
在FRUC模式中，僅通過使用亮度樣本來推導MV。推導的運動將用於MC幀間預測的亮度和色度兩者。在確定MV之後，使用用於亮度的8抽頭插值濾波器和用於色度的4抽頭插值濾波器來執行最終MC。
2.2.6 MV細化
MV細化是基於模式的MV搜索，以雙邊匹配成本或範本匹配成本為標準。在JEM中，支援兩種搜索模式-無限制中心偏置菱形搜索(Unrestricted Center-Biased Diamond Search，UCBDS)和自我調整交叉搜索，分別在CU級和子CU級進行MV細化。對於CU和子CU級MV細化兩者，以四分之一亮度樣本MV精度直接搜索MV，並且接著是八分之一亮度樣本MV細化。將用於CU和子CU步驟的MV細化的搜索範圍設置為等於8個亮度樣本。
2.2.7 範本匹配FRUC Merge模式中預測方向的選擇
在雙邊匹配Merge模式中，始終應用雙向預測，因為CU的運動資訊是基於在兩個不同的參考圖片中沿當前CU的運動軌跡的兩個塊之間的最近匹配推導的。對於範本匹配Merge模式沒有這樣的限制。在範本匹配Merge模式中，編碼器可以從清 單0中的單向預測、列表1中的單向預測或雙向預測當中為CU選擇。選擇基於如下的範本匹配成本：如果costBi<=factor*min(cost0,cost1)則使用雙向預測；否則，如果cost0<=cost1則使用列表0中的單向預測；否則，使用列表1中的單向預測； 其中cost0是清單0範本匹配的SAD，cost1是清單1範本匹配的SAD，costBi是雙向預測範本匹配的SAD。factor的值等於1.25，這意味著選擇過程偏向於雙向預測。
幀間預測方向選擇僅應用於CU級範本匹配過程。
2.2.8 解碼器側運動向量細化
在雙向預測操作中，對於一個塊區域的預測，將分別使用list0的運動向量(MV)和list1的MV形成的兩個預測塊進行組合以形成單個預測訊號。在解碼器側運動向量細化(Decoder-Side Motion Vector Refinement，DMVR)方法中，通過雙邊範本匹配過程進一步細化雙向預測的兩個運動向量。雙邊範本匹配應用在解碼器中，以在雙邊範本和參考圖片中的重建樣本之間執行基於失真的搜索，以便獲得細化的MV而無需傳輸附加的運動資訊。
在DMVR中，分別從列表0的初始MV0和列表1的 MV1，將雙邊範本生成為兩個預測塊的加權組合(即平均)，如圖13所示。範本匹配操作包括計算所生成的範本與參考圖片中的(在初始預測塊周圍的)樣本區域之間的成本度量。對於兩個參考圖片中的每個，將產生最小範本成本的MV考慮為該列表的更新MV以替換原始MV。在JEM中，對每個列表搜索九個MV候選。該九個MV候選包括原始MV和8個與原始MV在水準或垂直方向上或兩個方向上具有一個亮度樣本偏移的環繞的MV。最後，將兩個新的MV，即如圖13中所示的MV0'和MV1'，用於生成最終的雙向預測結果。將絕對差之和(SAD)用作成本度量。請注意，當計算由一個環繞的MV生成的預測塊的成本時，實際上使用取整的MV(到整數圖元)而不是真實MV來獲得預測塊。
將DMVR應用於雙向預測的Merge模式，其中一個MV來自過去的參考圖片，另一MV來自未來的參考圖片，而無需傳輸額外的語法元素。在JEM中，當對CU啟用LIC、仿射運動、FRUC或子CU Merge候選時，不應用DMVR。
2.2.9 問題的示例
如DMVR和FRUC的DMVD方法執行運動估計以推導或細化運動資訊，這對於解碼器來說非常複雜。在運動估計期間，它們有一個共同的問題：對於塊中的所有圖元計算範本和候選塊之間的差(絕對差、平方差等)並將其相加，然後用於選擇最佳匹配塊。這不是必需的，因為部分圖元的差可能足以選擇最 佳候選塊或MV。同時，通常在運動向量的推導或細化中僅使用亮度分量，而不考慮色度分量。
對於DMVR，它有另一複雜度問題：它執行兩次運動補償，一次用於生成範本，以及另一次用於生成最終預測塊。結果，對於每個參考圖片清單(即，預測方向)，它執行兩次水準插值和垂直插值兩者，以防初始MV和細化的MV僅具有分數分量。這極大地增加了最壞情況的複雜度。同時，DMVR僅在Merge模式下工作，而不能在AMVP模式下工作。在MV細化中，它將訊號通知的MV(從Merge候選推導的MV)作為起始MV，並校驗其環繞的MV。然而，沒有考慮訊號通知的MV的MV精度。在AMVR中，可能選擇低精度MV。例如，假設最高允許的MV精度是1/4圖元，在AMVR中，可以使用4圖元或1圖元MV。在這種情況下，DMVR可用於細化MV精度。與可以在子塊級應用的FRUC不同，除了ATMVP和STMVP情況之外，DMVR在塊級執行，這可能導致編碼性能損失。
對於FURC，當執行雙邊匹配時，考慮起始MV和候選MV之間的MV差以抑制不可靠的運動向量，如等式2。將MV差乘以固定的加權因數，這可能不合理。對於較大的塊，SAD起主導作用並且MV差是可忽略的，並且對於較小的塊，MV差可能太大。
2.2.10 示例實施例
我們提議了幾個方面來降低DMVD方法的複雜度並提 高編碼性能。所公開的方法可以應用于現有的DMVD方法，但也可以應用於解碼器側的運動/模式推導的未來方法。
第一，僅針對解碼器側運動估計中的部分圖元，即，在運動資訊推導或細化過程中，計算範本和候選塊之間的成本(例如，考慮失真和MV的差、失真或成本)。第二，對於DMVR，插值次數減少。第三，使用所公開的技術的一些實施例將DMVR應用於AMVP模式。第四，對於不同的塊尺寸，MV差的權重因數可以不同。
以下列舉的示例提供了一些方式，通過這些方式，可以將所公開的技術體現到視頻解碼過程中。
將prec表示為運動向量精度，當prec等於N時，它意味著運動向量具有1/2^N圖元精度。N可以是正整數、零或負整數。
1.僅針對運動資訊推導或細化過程中的部分所選擇的行計算範本和候選塊之間的成本(例如，差)。
a.在一個示例中，所選擇的行定義為所有每N行的第i行，其中N>1並且1<=i<=N。例如，N等於2並且i等於1。
b.在一個示例中，對於具有N行的每個組，組內的某些行用作所選擇的行。例如，利用每4行的第一行和第二行。
c.在一個示例中，針對塊的任意所選擇的行計算成本，例如，第一行和最後一行，或者前兩行和後兩行。
d.選擇部分行時，可以對所有塊尺寸應用相同的規則。 可替代地，可以對不同的塊尺寸和/或塊形狀(例如，正方形或矩形或塊寬度和塊高度之間的比率)應用不同的規則。
i.在一個示例中，在成本計算期間，對於更大的塊尺寸，跳過更多行，反之亦然。例如，當塊尺寸小於16×16(即，寬度*高度<16*16)時，針對每2行的第一行計算差，但是對於其他塊尺寸針對每4行的第一行計算差。
ii.在一個示例中，在成本計算期間，對於具有較大高度的塊形狀，跳過更多行，反之亦然。例如，當塊的高度小於16時，針對每2行的第一行計算成本，但是對於其他塊尺寸，針對每4行的第一行計算成本。
iii.在一個示例中，這種簡化僅應用於一個或幾個最小塊尺寸(即，最小寬度*高度)以抑制最壞情況的複雜度。例如，簡化僅應用於面積小於8×8的塊。
iv.在一個示例中，這種簡化僅應用於一個或幾個最大塊尺寸。例如，簡化僅應用於面積大於32×32的塊。
v.在一個示例中，這種簡化僅應用於具有最大塊高度或寬度的一個或幾個塊形狀。
vi.在一個示例中，這種簡化僅應用於一些所選擇的塊形狀。
2.對於塊的每一行或塊的每個所選擇的行，計算所有列或僅部分列的成本。
a.在一個示例中，計算每個T列的M個連續列(可以 在任何有效列Y處開始)的成本，其中T>0，1<=M<=T，1<=Y<=T-M+1。例如，T=8，M=4並且Y=1。
b.在一個示例中，計算每T列的M個所選擇的列的成本。
c.在一個示例中，計算行的M個任意所選擇的列(例如，前K列和後L列)的成本。
d.選擇部分列時，可以將相同的規則應用於所有塊尺寸。或者，可以將不同的規則應用於不同的塊尺寸和/或塊形狀(例如，正方形或矩形或塊寬度和塊高度之間的比率)。
i.在一個示例中，在成本計算期間，對於更大的塊尺寸跳過更多列，反之亦然。例如，當塊尺寸小於16×16時，計算每8列的前4列的差，但是針對其他塊尺寸計算每16列的前4列的差。當列小於8或16時，僅使用前4列計算差。
ii.在一個示例中，在成本計算期間，對於具有較大寬度的塊形狀跳過更多列，反之亦然。例如，當塊的寬度小於16時，計算每8列的前4列的成本，但是針對其他塊尺寸計算每16列的前4列的成本。
iii.在一個示例中，這種簡化僅應用於一個或幾個最小塊尺寸以抑制最壞情況的複雜度。
iv.在一個示例中，這種簡化僅應用於一個或幾個最大塊尺寸。
v.在一個示例中，這種簡化僅應用於具有最大塊寬度的一個或幾個塊形狀。
vi.在一個示例中，這種簡化僅應用於一些所選擇的塊形 狀。
3.在DMVR中，當生成範本時，使用具有整數水準分量或垂直分量的MV或整數MV來執行運動補償，而不是如在JEM中那樣使用真實MV。
a.在一個示例中，對於兩個預測方向，MV(水準分量和垂直分量兩者)取整為整數精度。
b.在一個示例中，一個預測方向的MV被取整為整數精度，而其他預測方向的MV不改變。
c.在一個示例中，對於每個預測方向，僅將一個MV分量(水準分量或垂直分量)取整為整數精度。
d.在一個示例中，一個預測方向的MV被取整為整數精度，並且另一預測方向的僅一個MV分量被取整為整數精度。
e.在一個示例中，不改變一個預測方向的MV，並且將其他預測方向的僅一個MV分量取整為整數精度。
f.將fmv表示為分數mv，並將imv表示為取整的整數精度mv。 將sign(x)表示為x的sign，並且
Figure 108119966-A0305-02-0028-3
。
i.imv=(fmv+(1≪(prec-1)))≫prec
ii.可替代地，imv=fmv≫prec
iii.可替代地，imv=(fmv+sign(fmv) * (1≪(prec-1)))≫prec
g.這種簡化可以應用於所有塊尺寸或僅應用於一個或幾個塊尺寸和/或某些塊形狀。
i.在一個示例中，將其應用於一個或幾個最小塊尺寸，如JEM或BMS(基準集)中的4×4、或HEVC中的4×8和8×4。
ii.在一個示例中，將其應用於一個或幾個最大塊尺寸。
iii.在一個示例中，將其應用於某些所選擇的塊尺寸。
4.可替代地，在DMVR中，當生成範本時，在運動補償中使用較短抽頭的插值濾波器(諸如雙線性濾波器)。
5.提議DMVR以子塊級執行。塊可以以不同方式劃分成子塊。
a.在一個示例中，所有塊被劃分成固定的M×N子塊尺寸，例如，4×4、或4×8或8×4或8×8或8×16或16×8或16×16等。當塊寬度/高度是子塊寬度/高度的整數倍時，它被劃分成子塊；否則，它不會被劃分為子塊。
b.在一個示例中，塊被劃分為具有相等尺寸的K個子塊，其中K>=2。例如，M×N塊被劃分為4個(M/2)×(N/2)個子塊、或者2個(M/2)×N個子塊、或2個M×(N/2)個子塊。
c.在一個示例中，劃分方法取決於塊尺寸或塊形狀或其他編碼資訊。例如，8×32塊被劃分成4×8個子塊，32×8塊被劃分成8×4個子塊。
d.在一個示例中，當生成子塊的範本時，可以利用整個塊的推導的運動資訊，如在當前塊級DMVR中。
i.可替代地，可以利用具有或不具有整個塊的推導的運動資訊的相鄰(多個)子塊的細化運動資訊來形成範本。
e.在一個示例中，子塊的搜索點還可以考慮來自其他(多個)子塊的細化的運動資訊。
6.在一個示例中，(在PMMVD中)範本匹配使用的範本僅包括當前塊上方的圖元，而不包括當前塊左側的圖元，如圖14所示。
7.在現有的DMVD方法中，僅考慮亮度分量來推導或細化運動向量。提議還考慮色度分量。用Ci表示給定運動向量的三個顏色分量的成本(其中i指示顏色分量索引)。
a.最終成本被定義為Wi * Ci，其中Wi指示第i個顏色分量的權重。
b.可替代地，最終成本被定義為(W0 * C0+W1 * (C1+C2))。在一些示例中，W0或W1等於1。
c.在一個示例中，當將DMVR應用于色度分量時，可以應用運動向量的取整，使得可以利用整數運動向量，而不需要對色度分量應用插值。
d.在一個示例中，當將DMVR應用于色度分量時，如果需要插值，則可以應用較短抽頭的插值濾波器(諸如雙線性濾波器)。
8.上述方法可以應用於某些顏色分量或所有顏色分量。
a.可以將不同的規則應用於不同的顏色分量，或者亮度和色度分量可以利用不同的規則。
b.可替代地，可以在序列參數集、圖片參數集、條帶報頭等中進一步訊號通知如何以及是否應用上述方法。
圖15是視頻解碼的示例方法1500的流程圖。方法1500包括從位元流解碼(1502)當前視頻塊的運動資訊；基於一個或多個範本中的每個範本中的圖元位置的部分集，使用一個或多個範本估計(1504)當前視頻塊的匹配成本，其中該一個或多個範本中的每個範本包括具有多個樣本的視頻塊；以及使用具有最小匹配成本的範本來細化(1506)當前視頻塊的運動資訊。
圖16是視頻解碼的示例方法1600的流程圖。方法1600包括從 位元流解碼(1602)當前視頻塊的運動資訊；確定(1604)當前視頻塊的尺寸是否小於第一尺寸，基於一個或多個範本中的每個範本中的圖元位置的部分集，使用一個或多個範本估計(1606)當前視頻塊的匹配成本，其中該一個或多個範本中的每個範本包括具有多個樣本的視頻塊；如果當前視頻塊的尺寸小於第一尺寸，則基於一個或多個範本中的每個範本的所有圖元位置使用一個或多個範本估計(1608)當前視頻塊的匹配成本，其中，一個或多個範本中的每個範本包括具有多個樣本的視頻塊；如果當前視頻塊的尺寸不小於第一尺寸，則使用具有最小匹配成本的範本來細化(1610)當前視頻塊的運動資訊。
圖17是視頻解碼的示例方法1700的流程圖。方法1700包括從位元流解碼(1702)當前視頻塊的運動資訊，確定(1704)當前視頻塊的尺寸是否大於第一尺寸；基於一個或多個範本中的每個範本中的圖元位置的部分集，使用一個或多個範本估計(1706)當前視頻塊的匹配成本，其中該一個或多個範本中的每個範本包括具有多個樣本的視頻塊；如果當前視頻塊的尺寸大於第一尺寸，則基於一個或多個範本中的每個範本的所有圖元位置使用一個或多個範本估計(1708)當前視頻塊的匹配成本，其中，一個或多個範本中的每個範本包括具有多個樣本的視頻塊；如果當前視頻塊的尺寸不大於第一尺寸，則使用具有最小匹配成本的範本來細化(1710)當前視頻塊的運動資訊。
圖18是視頻解碼的示例方法1800的流程圖。方法1800包括從位元流解碼(1802)當前視頻塊的運動資訊；確定(1804)當前視頻塊的形狀是否是一組所選擇的形狀之一；基於一個或多個範本中的每個範本中 的圖元位置的部分集，使用一個或多個範本估計(1806)當前視頻塊的匹配成本，其中一個或多個範本中的每個範本包括具有多個樣本的視頻塊；如果當前視頻塊的形狀是一組所選擇的形狀之一，則基於一個或多個範本中的每個範本的所有圖元位置使用一個或多個範本估計(1808)當前視頻塊的匹配成本，其中一個或多個範本中的每個範本包括具有多個樣本的視頻塊；如果當前視頻塊的形狀不是一組所選擇的形狀之一，則使用具有最小匹配成本的範本來細化(1810)當前視頻塊的運動資訊。
關於上述方法，在一些實施例中，圖元位置的部分集包括一個或多個範本中的每一個的行的子集。在一些實施例中，圖元位置的部分集包括來自一個或多個範本中的每一個的N行每組的每第i行。
2.2.10 節提供了可以通過方法1500、1600、1700或1800實施的額外的示例實施例和變型。
圖19示出了可用以實施本發明所公開的技術的各個部分的硬體設備1900的示例實施例的框圖。硬體設備1900可以是筆記型電腦、智慧手機、平板電腦、攝像機或能夠處理視頻的其他類型的設備。設備1900包括處理資料的處理器或控制器1902，以及與處理器1902通信、存儲和/或緩衝資料的記憶體1904。例如，處理器1902可以包括中央處理單元(Central Processing Unit，CPU)或微控制器單元(Microcontroller Unit，MCU)。在一些實施方式中，處理器1902可包含現場可程式設計閘陣列(Field-Programmable Gate-Array，FPGA)。在一些實施方式中，設備1900包括或與圖形處理單元(Graphics Processing Unit，GPU)、視頻處理單元(Video Processing Unit，VPU)和/或無線通訊單元通信，以實現智慧手機 設備的各種視覺和/或通信資料處理功能。例如，記憶體1904可以包括並存儲處理器可運行代碼，該代碼在由處理器1902運行時，將設備1900配置為執行各種操作，例如諸如接收資訊、命令和/或資料，處理資訊和資料，以及將處理過的資訊/資料發送或提供給另一設備，諸如執行器或外部顯示器。為了支援設備1900的各種功能，記憶體1904可以存儲資訊和資料，諸如指令、軟體、值、圖像以及處理器1902處理或引用的其他資料。例如，可以使用各種類型的隨機存取記憶體(Random Access Memory，RAM)設備、唯讀記憶體(Read Only Memory，ROM)設備、快閃記憶體設備和其他合適的存儲介質來實施記憶體1904的存儲功能。設備1900還可以包括專用視頻處理電路1906，用於執行重複計算功能，諸如變換和解碼。設備1900可用於實施方法1500、1600、1700或1800。
圖20是示出視訊編碼器的示例實施方式的框圖。視訊編碼器對使用諸如變換、運動估計和殘差誤差編碼的編碼工具編碼的視頻圖片進行操作。在編碼器處對編碼的視頻幀進行重構(運動補償)，並將其用作用於其他視頻圖片的幀間編碼的參考圖片。本文檔中描述的技術可以由視訊編碼器或視頻解碼器使用諸如關於圖19所描述的硬體平臺來實施。
從前述內容可以理解，本文已經出於說明的目的描述了當前所公開的技術的具體實施例，但是在不脫離本發明的範圍的情況下可以做出各種修改。因此，除了所附權利要求之外，當前所公開的技術不受限制。
本文檔中描述的公開的和其他實施例、模組和功能性操作可以在數位電子電路中實施，或者在電腦軟體、固件或硬體中實施，包括本文檔中公開的結構及其結構等同物，或者以他們的一個或多個的組合實施。 所公開的和其他實施例可以被實施為一個或多個電腦程式產品，即，在電腦可讀介質上編碼的一個或多個電腦程式指令模組，用於由資料處理裝置運行或控制資料處理裝置的操作。電腦可讀介質可以是機器可讀存放裝置、機器可讀存儲基板、記憶體設備、影響機器可讀傳播訊號的物質的合成、或者它們中的一個或多個的組合。術語“資料處理裝置”包括用於處理資料的所有裝置、設備和機器，包括例如可程式設計處理器、電腦或者多個處理器或電腦。除了硬體之外，裝置可以包括為所討論的電腦程式創建運行環境的代碼，例如，構成處理器固件、協定棧、資料庫管理系統、作業系統及其一個或多個的組合的代碼。傳播訊號是人工生成的訊號，例如機器生成的電訊號、光訊號或電磁訊號，其被生成以對資訊進行編碼以便傳輸到合適的接收器裝置。
電腦程式(也稱為程式、軟體、軟體應用、腳本或代碼)可以用任何形式的程式設計語言(包括編譯語言或解釋語言)編寫，並且可以以任何形式部署，包括作為獨立程式或作為模組、元件、副程式或其他適合在計算環境中使用的單元。電腦程式不一定與檔案系統中的文件相對應。程式可以存儲在保存其他程式或資料的檔的部分中(例如，存儲在標記語言文檔中的一個或多個腳本)、專用於所討論的程式的單個檔中、或多個協調檔(例如，存儲一個或多個模組、副程式或部分代碼的檔)中。電腦程式可以部署在一台或多台電腦上來執行，這些電腦位於一個網站或分佈在多個網站並通過通信網路互連。
本文檔中描述的處理和邏輯流可以由一個或多個可程式設計處理器執行，該一個或多個處理器運行一個或多個電腦程式，通過對輸入資 料進行操作並生成輸出來執行功能。處理和邏輯流也可以由專用邏輯電路來執行，並且裝置也可以實施為專用邏輯電路，例如，FPGA(現場可程式設計閘陣列)或ASIC(專用積體電路)。
例如，適用於運行電腦程式的處理器包括通用和專用微處理器、以及任何類型的數位電腦的任何一個或多個處理器。通常，處理器將從唯讀記憶體或隨機存取記憶體或兩者接收指令和資料。電腦的基本元件是執行指令的處理器和存儲指令和資料的一個或多個存放裝置。通常，電腦還將包括一個或多個用於存儲資料的大型存放區設備，例如，磁片、磁光碟或光碟，或可操作地耦合到一個或多個大型存放區設備，以從其接收資料或向其傳送資料，或兩者兼有。然而，電腦不一定需要具有這樣的設備。適用於存儲電腦程式指令和資料的電腦可讀介質包括所有形式的非易失性記憶體、介質和記憶體設備，包括例如半導體記憶體設備，例如EPROM、EEPROM和快閃記憶體設備；磁片，例如內部硬碟或抽取式磁碟；磁光碟；以及CD ROM和DVD-ROM光碟。處理器和記憶體可以由專用邏輯電路來補充，或合併到專用邏輯電路中。
雖然本專利文檔包含許多細節，但不應將其解釋為對任何發明或要求保護的範圍的限制，而應解釋為特定于特定發明的特定實施例的特徵的描述。本專利文檔在分離的實施例的上下文描述的某些特徵也可以在單個實施例中組合實施。相反，在單個實施例的上下文中描述的各種功能也可以在多個實施例中單獨地實施，或在任何合適的子組合中實施。此外，雖然特徵可以被描述為在某些組合中起作用，甚至最初這樣要求保護，但在某些情況下，可以從要求保護的組合中刪除組合中的一個或多個 特徵，並且要求保護的組合可以指向子組合或子組合的變體。
同樣，儘管在附圖中以特定順序描述了操作，但這不應理解為要獲得期望的結果必須按照所示的特定順序或次序順序來執行這些操作，或執行所有示出的操作。此外，本專利文檔所述實施例中的各種系統元件的分離不應理解為在所有實施例中都需要這樣的分離。
僅描述了一些實施方式和示例，其他實施方式、增強和變體可以基於本專利文檔中描述和說明的內容做出。

Claims (22)

  1. 一種視頻處理方法，包括：對於當前視頻區域和所述當前視頻區域的位元流表示之間的轉換，為所述當前視頻區域推導運動資訊；執行解碼端運動向量細化(DMVR)處理，以基於所述運動資訊為所述當前視頻區域生成細化運動資訊；以及基於所述細化運動資訊執行所述轉換；其中所述DMVR處理包括基於與所述當前視頻區域相關聯的一個或多個預測區域中的每一個預測區域的圖元位置的部分集，計算當前視頻區域的匹配成本，所述部分集包括來自所述一個或多個預測區域中的每個預測區域的每組N行中的部分行或每組N列中的部分列。
  2. 一種視頻處理方法，包括：對於當前視頻區域和所述當前視頻區域的位元流表示之間的轉換，為所述當前視頻區域推導運動資訊；確定所述當前視頻區域的大小；執行解碼端運動向量細化(DMVR)處理，以基於所述運動資訊為所述當前視頻區域生成細化運動資訊；以及基於所述細化運動資訊執行所述轉換；其中根據所述當前視頻區域的大小小於第一大小的確定，所述DMVR處理包括基於與所述當前視頻區域相關聯的一個或多個預測區域中的每一個預測區域的圖元位置的部分集，計算當前視頻區域的匹配成本；或者根據所述當前視頻區域的大小不小於第一大小的確定，所述DMVR處理包括 基於與所述當前視頻區域相關聯的一個或多個預測區域中的每一個預測區域的所有圖元位置，計算當前視頻區域的匹配成本。
  3. 一種視頻處理方法，包括：對於當前視頻區域和所述當前視頻區域的位元流表示之間的轉換，為所述當前視頻區域推導運動資訊；確定所述當前視頻區域的大小；執行解碼端運動向量細化(DMVR)處理，以基於所述運動資訊為所述當前視頻區域生成細化運動資訊；以及基於所述細化運動資訊執行所述轉換；其中根據所述當前視頻區域的大小大於第一大小的確定，所述DMVR處理包括基於與所述當前視頻區域相關聯的一個或多個預測區域中的每一個預測區域的圖元位置的部分集，計算當前視頻區域的匹配成本；或者根據所述當前視頻區域的大小不大於第一大小的確定，所述DMVR處理包括基於與所述當前視頻區域相關聯的一個或多個預測區域中的每一個預測區域的所有圖元位置，計算當前視頻區域的匹配成本。
  4. 一種視頻處理方法，包括：對於當前視頻區域和所述當前視頻區域的位元流表示之間的轉換，為所述當前視頻區域推導運動資訊；確定所述當前視頻區域的形狀；執行解碼端運動向量細化(DMVR)處理，以基於所述運動資訊為所述當前視頻區域生成細化運動資訊；以及基於所述細化運動資訊執行所述轉換； 其中根據所述當前視頻區域的形狀是第一形狀的確定，所述DMVR處理包括基於與所述當前視頻區域相關聯的一個或多個預測區域中的每一個預測區域的圖元位置的部分集，計算當前視頻區域的匹配成本；或者根據所述當前視頻區域的形狀是第二形狀的確定，所述DMVR處理包括基於與所述當前視頻區域相關聯的一個或多個預測區域中的每一個預測區域的所有圖元位置，計算當前視頻區域的匹配成本。
  5. 如申請專利範圍第1項到第4項中任一項所述的方法，所述匹配成本是基於絕對和差(SAD)。
  6. 如申請專利範圍第1項到第4項中任一項所述的方法，其中所述圖元位置的部分集包括來自所述一個或多個預測區域中的每個預測區域的每組N行的每第i行，其中：N是大於1的整數；i是大於或等於1且小於或等於N的整數。
  7. 如申請專利範圍第1項到第4項中任一項所述的方法，其中所述圖元位置的部分集包括來自所述一個或多個預測區域中的每個預測區域的每組N行的前i行，其中：N是大於1的整數；i是大於或等於1且小於或等於N的整數。
  8. 如申請專利範圍第1項到第4項中任一項所述的方法，其中所述圖元位置的部分集包括來自所述一個或多個預測區域中的每個預測區域的每組N行的i行的子集，其中：N是大於1的整數； i是大於或等於1且小於或等於N的整數。
  9. 如申請專利範圍第1項到第4項中任一項所述的方法，還包括對於另一視頻區域執行所述DMVR處理，其中所述DMVR處理包括基於與所述另一視頻區域相關聯的一個或多個預測區域中的每一個預測區域的圖元位置的另一部分集，計算所述另一視頻區域的匹配成本。
  10. 如申請專利範圍第9項所述的方法，其中，所述當前視頻區域和所述另一視頻區域具有相同的大小，並且所述部分集和所述另一部分集是不同的。
  11. 如申請專利範圍第9項所述的方法，其中，所述當前視頻區域和所述另一視頻區域具有不同的大小，並且所述部分集和所述另一部分集是不同的。
  12. 如申請專利範圍第9項所述的方法，其中，所述當前視頻區域和所述另一視頻區域具有不同的形狀，並且所述部分集和所述另一部分集是不同的。
  13. 如申請專利範圍第11項所述的方法，其中，所述部分集包括與所述當前視頻區域相關聯的所述一個或多個預測區域中的每個預測區域的行的第一子集，並且所述另一部分集包括與所述另一視頻區域相關聯的所述一個或多個預測區域中的每個預測區域的行的第二子集，其中所述第一子集不同於所述第二子集。
  14. 如申請專利範圍第1項到第4項中任一項所述的方法，其中所述圖元位置的部分集包括來自所述一個或多個預測區域中的每個預測區域的每組N列的每第Y列開始的M個連續列的集合，其中： N>0；1<=M<=N；並且1<=Y<=N-M+1。
  15. 如申請專利範圍第1項到第4項中任一項所述的方法，其中所述圖元位置的部分集包括來自所述一個或多個預測區域中的每個預測區域的每組N列的前M列，其中M和N是整數。
  16. 如申請專利範圍第1項到第4項中任一項所述的方法，其中所述轉換包括將所述當前視頻區域編碼至所述當前視頻區域的位元流表示。
  17. 如申請專利範圍第1項到第4項中任一項所述的方法，其中所述轉換包括從所述當前視頻區域的位元流表示解碼出所述當前視頻區域。
  18. 一種視頻處理裝置，包括：第一單元，用於對於當前視頻區域和所述當前視頻區域的位元流表示之間的轉換，為所述當前視頻區域推導運動資訊；第二單元，用於執行解碼端運動向量細化(DMVR)處理，以基於所述運動資訊為所述當前視頻區域生成細化運動資訊；以及第三單元，基於所述細化運動資訊執行所述轉換；其中所述DMVR處理包括基於與所述當前視頻區域相關聯的一個或多個預測區域中的每一個預測區域的圖元位置的部分集，計算當前視頻區域的匹配成本，所述部分集包括來自所述一個或多個預測區域中的每個預測區域的每組N行中的部分行或每組N列中的部分列。
  19. 如申請專利範圍第18項所述的裝置，其中所述轉換包括將所述當前視頻區域編碼至所述當前視頻區域的位元流表示。
  20. 如申請專利範圍第18項所述的裝置，其中所述轉換包括從所述當前視頻區域的位元流表示解碼出所述當前視頻區域。
  21. 一種視頻處理裝置，包括處理器和存儲有指令的非暫時性記憶體，其中所述指令在由所述處理器執行時使所述處理器實現如申請專利範圍第1項至第17項中的任一項所限定的方法。
  22. 一種電腦可讀存儲介質，其上存儲有電腦程式，所述程式在由處理器運行時使所述處理器實施如申請專利範圍第1項至第17項中任一項所述的方法。
TW108119966A 2018-06-07 2019-06-10 利用部分成本計算的視頻解碼方法和裝置 TWI711299B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201862682150P 2018-06-07 2018-06-07
US62/682,150 2018-06-07

Publications (2)

Publication Number Publication Date
TW202005383A TW202005383A (zh) 2020-01-16
TWI711299B true TWI711299B (zh) 2020-11-21

Family

ID=67402974

Family Applications (7)

Application Number Title Priority Date Filing Date
TW108119998A TWI736907B (zh) 2018-06-07 2019-06-10 改進的模式匹配的運動向量推導
TW108119991A TWI718555B (zh) 2018-06-07 2019-06-10 子塊解碼器側運動向量細化
TW108119966A TWI711299B (zh) 2018-06-07 2019-06-10 利用部分成本計算的視頻解碼方法和裝置
TW108119995A TWI736905B (zh) 2018-06-07 2019-06-10 色度解碼器側運動向量細化
TW108119997A TWI736906B (zh) 2018-06-07 2019-06-10 運動向量精度細化
TW108119988A TWI727338B (zh) 2018-06-07 2019-06-10 用信號通知的運動向量精度
TW108119983A TWI707579B (zh) 2018-06-07 2019-06-10 整數運動補償

Family Applications Before (2)

Application Number Title Priority Date Filing Date
TW108119998A TWI736907B (zh) 2018-06-07 2019-06-10 改進的模式匹配的運動向量推導
TW108119991A TWI718555B (zh) 2018-06-07 2019-06-10 子塊解碼器側運動向量細化

Family Applications After (4)

Application Number Title Priority Date Filing Date
TW108119995A TWI736905B (zh) 2018-06-07 2019-06-10 色度解碼器側運動向量細化
TW108119997A TWI736906B (zh) 2018-06-07 2019-06-10 運動向量精度細化
TW108119988A TWI727338B (zh) 2018-06-07 2019-06-10 用信號通知的運動向量精度
TW108119983A TWI707579B (zh) 2018-06-07 2019-06-10 整數運動補償

Country Status (8)

Country Link
US (3) US20200374543A1 (zh)
EP (2) EP4351140A1 (zh)
JP (2) JP7096373B2 (zh)
KR (2) KR102605638B1 (zh)
CN (8) CN110581992B (zh)
GB (1) GB2589222B (zh)
TW (7) TWI736907B (zh)
WO (7) WO2019234674A1 (zh)

Families Citing this family (58)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2588004B (en) 2018-06-05 2023-03-01 Beijing Bytedance Network Tech Co Ltd Interaction between IBC and affine
WO2019234674A1 (en) 2018-06-07 2019-12-12 Beijing Bytedance Network Technology Co., Ltd. Integer motion compensation
WO2019244117A1 (en) 2018-06-21 2019-12-26 Beijing Bytedance Network Technology Co., Ltd. Unified constrains for the merge affine mode and the non-merge affine mode
CN113115046A (zh) 2018-06-21 2021-07-13 北京字节跳动网络技术有限公司 分量相关的子块分割
CN112313956A (zh) * 2018-06-22 2021-02-02 索尼公司 图像处理装置和方法
EP3791588A1 (en) 2018-06-29 2021-03-17 Beijing Bytedance Network Technology Co. Ltd. Checking order of motion candidates in lut
KR20210024502A (ko) 2018-06-29 2021-03-05 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 Hmvp 후보를 병합/amvp에 추가할 때의 부분/풀 프루닝
CN110662056B (zh) 2018-06-29 2022-06-07 北京字节跳动网络技术有限公司 哪个查找表需要更新或不更新
JP7460617B2 (ja) 2018-06-29 2024-04-02 北京字節跳動網絡技術有限公司 Ｌｕｔ更新条件
TWI723444B (zh) 2018-06-29 2021-04-01 大陸商北京字節跳動網絡技術有限公司 使用一個或多個查找表來按順序存儲先前編碼的運動信息並使用它們來編碼後面的塊的概念
CN110662057B (zh) 2018-06-29 2022-06-21 北京字节跳动网络技术有限公司 视频处理方法、装置、设备以及存储比特流的方法
EP3797516A1 (en) 2018-06-29 2021-03-31 Beijing Bytedance Network Technology Co. Ltd. Interaction between lut and amvp
WO2020003278A1 (en) 2018-06-29 2020-01-02 Beijing Bytedance Network Technology Co., Ltd. Update of look up table: fifo, constrained fifo
EP4307679A3 (en) 2018-07-02 2024-06-19 Beijing Bytedance Network Technology Co., Ltd. Luts with intra prediction modes and intra mode prediction from non-adjacent blocks
TWI719519B (zh) 2018-07-02 2021-02-21 大陸商北京字節跳動網絡技術有限公司 對於dmvr的塊尺寸限制
TW202025760A (zh) 2018-09-12 2020-07-01 大陸商北京字節跳動網絡技術有限公司 要檢查多少個hmvp候選
CN110944196B (zh) 2018-09-24 2023-05-30 北京字节跳动网络技术有限公司 简化的基于历史的运动矢量预测
WO2020084476A1 (en) 2018-10-22 2020-04-30 Beijing Bytedance Network Technology Co., Ltd. Sub-block based prediction
WO2020084552A1 (en) 2018-10-24 2020-04-30 Beijing Bytedance Network Technology Co., Ltd. Motion candidate derivation based on spatial neighboring block in sub-block motion vector prediction
WO2020094150A1 (en) 2018-11-10 2020-05-14 Beijing Bytedance Network Technology Co., Ltd. Rounding in current picture referencing
WO2020098644A1 (en) 2018-11-12 2020-05-22 Beijing Bytedance Network Technology Co., Ltd. Bandwidth control methods for inter prediction
CN117319644A (zh) 2018-11-20 2023-12-29 北京字节跳动网络技术有限公司 基于部分位置的差计算
CN113170171B (zh) 2018-11-20 2024-04-12 北京字节跳动网络技术有限公司 组合帧间帧内预测模式的预测细化
KR102660160B1 (ko) 2018-11-22 2024-04-24 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 서브 블록 기반 인터 예측을 위한 조정 방법
CN111263152B (zh) 2018-11-30 2021-06-01 华为技术有限公司 视频序列的图像编解码方法和装置
CN113273186A (zh) 2019-01-10 2021-08-17 北京字节跳动网络技术有限公司 Lut更新的调用
CN113383554B (zh) 2019-01-13 2022-12-16 北京字节跳动网络技术有限公司 LUT和共享Merge列表之间的交互
CN113302937B (zh) 2019-01-16 2024-08-02 北京字节跳动网络技术有限公司 运动候选推导
WO2020156538A1 (en) 2019-02-03 2020-08-06 Beijing Bytedance Network Technology Co., Ltd. Interaction between mv precisions and mv difference coding
WO2020164580A1 (en) 2019-02-14 2020-08-20 Beijing Bytedance Network Technology Co., Ltd. Size selective application of decoder side refining tools
US11190797B2 (en) * 2019-03-01 2021-11-30 Qualcomm Incorporated Constraints on decoder-side motion vector refinement based on weights for bi-predicted prediction
WO2020177755A1 (en) 2019-03-06 2020-09-10 Beijing Bytedance Network Technology Co., Ltd. Usage of converted uni-prediction candidate
FI3941060T3 (fi) * 2019-03-12 2023-10-02 Lg Electronics Inc Dmvr:ään ja bdof:ään perustuva keskinäinen ennustusmenetelmä ja -laite
CN113615193B (zh) 2019-03-22 2024-06-25 北京字节跳动网络技术有限公司 Merge列表构建和其他工具之间的交互
KR102610709B1 (ko) 2019-04-02 2023-12-05 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 디코더 측 움직임 벡터 유도
CN113906753B (zh) 2019-04-24 2023-12-01 字节跳动有限公司 编解码视频的量化残差差分脉冲编解码调制表示的约束
CN113796069B (zh) * 2019-05-01 2024-03-08 字节跳动有限公司 使用量化残差差分脉冲编解码调制编解码的帧内编解码视频
EP3949387A4 (en) 2019-05-02 2022-05-18 ByteDance Inc. SIGNALING IN A TRANSFORM JUMP MODE
CN113785306B (zh) 2019-05-02 2024-06-14 字节跳动有限公司 基于编解码树结构类型的编解码模式
EP3997877A4 (en) 2019-08-13 2023-05-24 Beijing Bytedance Network Technology Co., Ltd. MOTION ACCURACY IN SUBBLOCK-BASED INTERPREDICTION
US11736720B2 (en) * 2019-09-03 2023-08-22 Tencent America LLC Motion vector refinement methods for video encoding
CN114762330A (zh) 2019-09-22 2022-07-15 北京字节跳动网络技术有限公司 视频的子图片编码和解码
CN111050182B (zh) * 2019-12-27 2022-02-18 浙江大华技术股份有限公司 运动矢量的预测方法、视频编码方法及相关设备、装置
US12113987B2 (en) * 2020-12-22 2024-10-08 Qualcomm Incorporated Multi-pass decoder-side motion vector refinement
CN113014925B (zh) * 2021-01-27 2022-08-23 重庆邮电大学 一种h.266/vvc帧间编码cu快速划分方法及存储介质
US11671616B2 (en) 2021-03-12 2023-06-06 Lemon Inc. Motion candidate derivation
US11936899B2 (en) * 2021-03-12 2024-03-19 Lemon Inc. Methods and systems for motion candidate derivation
US20240205386A1 (en) * 2021-04-09 2024-06-20 Interdigital Ce Patent Holdings, Sas Intra block copy with template matching for video encoding and decoding
CN117616756A (zh) * 2021-06-04 2024-02-27 抖音视界有限公司 用于视频处理的方法、设备和介质
CN117426095A (zh) * 2021-06-04 2024-01-19 抖音视界有限公司 用于视频处理的方法、设备和介质
WO2023284695A1 (en) * 2021-07-14 2023-01-19 Beijing Bytedance Network Technology Co., Ltd. Method, apparatus, and medium for video processing
WO2023020588A1 (en) * 2021-08-19 2023-02-23 Mediatek Singapore Pte. Ltd. Template matching based motion vector refinement in video coding system
WO2023088473A1 (en) * 2021-11-22 2023-05-25 Beijing Bytedance Network Technology Co., Ltd. Method, apparatus, and medium for video processing
WO2023088472A1 (en) * 2021-11-22 2023-05-25 Beijing Bytedance Network Technology Co., Ltd. Method, apparatus, and medium for video processing
WO2023202569A1 (en) * 2022-04-19 2023-10-26 Mediatek Inc. Extended template matching for video coding
US20240137552A1 (en) * 2022-10-10 2024-04-25 Tencent America LLC Method and apparatus for extended decoder side motion vector refinement
US20240195993A1 (en) * 2022-12-09 2024-06-13 Comcast Cable Communications, Llc Coding unit prediction using template matching costs
WO2024211098A1 (en) * 2023-04-03 2024-10-10 Google Llc Sub-block based motion vector refinement

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110103482A1 (en) * 2009-11-02 2011-05-05 Chung-Ang University Industry-Academy Cooperation Foundation Fast motion estimation apparatus and method based on adaptive search range and partial matching error
US8755437B2 (en) * 2011-03-17 2014-06-17 Mediatek Inc. Method and apparatus for derivation of spatial motion vector candidate and motion vector prediction candidate
US20150264387A1 (en) * 2014-03-17 2015-09-17 Qualcomm Incorporated Method for motion estimation of non-natural video data
US9497481B2 (en) * 2010-02-09 2016-11-15 Nippon Telegraph And Telephone Corporation Motion vector predictive encoding method, motion vector predictive decoding method, moving picture encoding apparatus, moving picture decoding apparatus, and programs thereof
US20180098079A1 (en) * 2016-10-05 2018-04-05 Qualcomm Incorporated Systems and methods of adaptively determining template size for illumination compensation

Family Cites Families (68)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5661524A (en) * 1996-03-08 1997-08-26 International Business Machines Corporation Method and apparatus for motion estimation using trajectory in a digital video encoder
US5987180A (en) * 1997-09-26 1999-11-16 Sarnoff Corporation Multiple component compression encoder motion search method and apparatus
US6876703B2 (en) * 2000-05-11 2005-04-05 Ub Video Inc. Method and apparatus for video coding
CN101448162B (zh) * 2001-12-17 2013-01-02 微软公司 处理视频图像的方法
US7720151B2 (en) * 2003-02-11 2010-05-18 Texas Instruments Incorporated Motion estimation using early decision for goodness of estimation with quick convergence feedback
US7145950B2 (en) * 2003-07-14 2006-12-05 Primax Electronics Ltd. Method of motion vector determination in digital video compression
US7724827B2 (en) * 2003-09-07 2010-05-25 Microsoft Corporation Multi-layer run level encoding and decoding
US7627037B2 (en) 2004-02-27 2009-12-01 Microsoft Corporation Barbell lifting for multi-layer wavelet coding
GB0500174D0 (en) * 2005-01-06 2005-02-16 Kokaram Anil Method for estimating motion and occlusion
EP1835749A1 (en) 2006-03-16 2007-09-19 THOMSON Licensing Method for coding video data of a sequence of pictures
WO2007124491A2 (en) * 2006-04-21 2007-11-01 Dilithium Networks Pty Ltd. Method and system for video encoding and transcoding
US8428118B2 (en) * 2006-08-17 2013-04-23 Ittiam Systems (P) Ltd. Technique for transcoding MPEG-2/MPEG-4 bitstream to H.264 bitstream
US8553758B2 (en) * 2007-03-02 2013-10-08 Sony Corporation Motion parameter engine for true motion
WO2009032255A2 (en) * 2007-09-04 2009-03-12 The Regents Of The University Of California Hierarchical motion vector processing method, software and devices
US9225996B2 (en) * 2007-12-19 2015-12-29 Vixs Systems, Inc. Motion refinement engine with flexible direction processing and methods for use therewith
US8228990B2 (en) * 2008-01-16 2012-07-24 Sony Corporation Template matching scheme using multiple predictors as candidates for intra-prediction
JP2011515060A (ja) * 2008-03-09 2011-05-12 エルジー エレクトロニクス インコーポレイティド ビデオ信号のエンコーディングまたはデコーディング方法及び装置
US8638395B2 (en) * 2009-06-05 2014-01-28 Cisco Technology, Inc. Consolidating prior temporally-matched frames in 3D-based video denoising
US8520731B2 (en) * 2009-06-05 2013-08-27 Cisco Technology, Inc. Motion estimation for noisy frames based on block matching of filtered blocks
EP2465265B8 (en) * 2009-08-12 2019-01-23 InterDigital VC Holdings, Inc. Methods and apparatus for improved intra chroma encoding and decoding
TWI566586B (zh) * 2009-10-20 2017-01-11 湯姆生特許公司 一序列形象的現時區塊之寫碼方法和重建方法
US20110176611A1 (en) 2010-01-15 2011-07-21 Yu-Wen Huang Methods for decoder-side motion vector derivation
WO2012083487A1 (en) * 2010-12-21 2012-06-28 Intel Corporation System and method for enhanced dmvd processing
US8976873B2 (en) * 2010-11-24 2015-03-10 Stmicroelectronics S.R.L. Apparatus and method for performing error concealment of inter-coded video frames
US9380314B2 (en) * 2010-12-20 2016-06-28 Texas Instruments Incorporated Pixel retrieval for frame reconstruction
CN102710934B (zh) * 2011-01-22 2015-05-06 华为技术有限公司 一种运动预测或补偿方法
US9549182B2 (en) 2012-07-11 2017-01-17 Qualcomm Incorporated Repositioning of prediction residual blocks in video coding
EP2911397A1 (en) 2012-09-28 2015-08-26 Intel Corporation Inter-layer pixel sample prediction
KR101653511B1 (ko) 2012-09-28 2016-09-01 인텔 코포레이션 인터-레이어 잔차 예측
US9294777B2 (en) 2012-12-30 2016-03-22 Qualcomm Incorporated Progressive refinement with temporal scalability support in video coding
US9521425B2 (en) 2013-03-19 2016-12-13 Qualcomm Incorporated Disparity vector derivation in 3D video coding for skip and direct modes
US9762927B2 (en) * 2013-09-26 2017-09-12 Qualcomm Incorporated Sub-prediction unit (PU) based temporal motion vector prediction in HEVC and sub-PU design in 3D-HEVC
US9667996B2 (en) 2013-09-26 2017-05-30 Qualcomm Incorporated Sub-prediction unit (PU) based temporal motion vector prediction in HEVC and sub-PU design in 3D-HEVC
US10531116B2 (en) * 2014-01-09 2020-01-07 Qualcomm Incorporated Adaptive motion vector resolution signaling for video coding
EP3139605A4 (en) * 2014-04-28 2017-05-17 Panasonic Intellectual Property Corporation of America Encoding method, decoding method, encoding apparatus, and decoding apparatus
CN104780383B (zh) * 2015-02-02 2017-09-19 杭州电子科技大学 一种3d‑hevc多分辨率视频编码方法
US10200711B2 (en) * 2015-03-27 2019-02-05 Qualcomm Incorporated Motion vector derivation in video coding
WO2016206748A1 (en) * 2015-06-25 2016-12-29 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Refinement of a low-pel resolution motion estimation vector
MY197611A (en) * 2015-09-25 2023-06-28 Huawei Tech Co Ltd Apparatus and method for video motion compensation
JP2019519148A (ja) * 2016-05-13 2019-07-04 ヴィド スケール インコーポレイテッド ビデオ符号化のための一般化された多重仮説予測（Ｇｅｎｅｒａｌｉｚｅｄ Ｍｕｌｔｉ−Ｈｙｐｏｔｈｅｓｉｓ Ｐｒｅｄｉｃｔｉｏｎ）のためのシステムおよび方法
US10602191B2 (en) * 2016-05-13 2020-03-24 Gopro, Inc. Apparatus and methods for video compression
US10944963B2 (en) 2016-05-25 2021-03-09 Arris Enterprises Llc Coding weighted angular prediction for intra coding
US10523949B2 (en) * 2016-05-25 2019-12-31 Arris Enterprises Llc Weighted angular prediction for intra coding
EP3264768A1 (en) * 2016-06-30 2018-01-03 Thomson Licensing Method and apparatus for video coding with adaptive motion information refinement
US11638027B2 (en) 2016-08-08 2023-04-25 Hfi Innovation, Inc. Pattern-based motion vector derivation for video coding
US10750203B2 (en) 2016-12-22 2020-08-18 Mediatek Inc. Method and apparatus of adaptive bi-prediction for video coding
US10911761B2 (en) 2016-12-27 2021-02-02 Mediatek Inc. Method and apparatus of bilateral template MV refinement for video coding
EP3343925A1 (en) * 2017-01-03 2018-07-04 Thomson Licensing Method and apparatus for encoding and decoding motion information
US20180199057A1 (en) 2017-01-12 2018-07-12 Mediatek Inc. Method and Apparatus of Candidate Skipping for Predictor Refinement in Video Coding
US10701366B2 (en) 2017-02-21 2020-06-30 Qualcomm Incorporated Deriving motion vector information at a video decoder
US10523964B2 (en) * 2017-03-13 2019-12-31 Qualcomm Incorporated Inter prediction refinement based on bi-directional optical flow (BIO)
US10602180B2 (en) 2017-06-13 2020-03-24 Qualcomm Incorporated Motion vector prediction
WO2019001741A1 (en) 2017-06-30 2019-01-03 Huawei Technologies Co., Ltd. MOTION VECTOR REFINEMENT FOR MULTI-REFERENCE PREDICTION
EP3451664A1 (en) * 2017-09-01 2019-03-06 Thomson Licensing Motion compensation at a finer precision than motion vector differential
CN107483960B (zh) * 2017-09-15 2020-06-02 信阳师范学院 一种基于空间预测的运动补偿帧率上转换方法
US10785494B2 (en) * 2017-10-11 2020-09-22 Qualcomm Incorporated Low-complexity design for FRUC
US11750832B2 (en) * 2017-11-02 2023-09-05 Hfi Innovation Inc. Method and apparatus for video coding
WO2019107916A1 (ko) 2017-11-30 2019-06-06 엘지전자 주식회사 영상 코딩 시스템에서 인터 예측에 따른 영상 디코딩 방법 및 장치
CN111971966A (zh) * 2018-03-30 2020-11-20 韩国电子通信研究院 图像编码/解码方法和设备以及存储比特流的记录介质
US20190306502A1 (en) 2018-04-02 2019-10-03 Qualcomm Incorporated System and method for improved adaptive loop filtering
US10779002B2 (en) 2018-04-17 2020-09-15 Qualcomm Incorporated Limitation of the MVP derivation based on decoder-side motion vector derivation
US10469869B1 (en) 2018-06-01 2019-11-05 Tencent America LLC Method and apparatus for video coding
WO2019234674A1 (en) 2018-06-07 2019-12-12 Beijing Bytedance Network Technology Co., Ltd. Integer motion compensation
TWI719519B (zh) 2018-07-02 2021-02-21 大陸商北京字節跳動網絡技術有限公司 對於dmvr的塊尺寸限制
WO2020084462A1 (en) 2018-10-22 2020-04-30 Beijing Bytedance Network Technology Co., Ltd. Restrictions on decoder side motion vector derivation based on block size
WO2020084461A1 (en) 2018-10-22 2020-04-30 Beijing Bytedance Network Technology Co., Ltd. Restrictions on decoder side motion vector derivation based on coding information
WO2020093999A1 (en) 2018-11-05 2020-05-14 Beijing Bytedance Network Technology Co., Ltd. Inter prediction with refinement in video processing
JP2022547599A (ja) 2019-09-12 2022-11-14 アリババ グループ ホウルディング リミテッド 映像符号化情報をシグナリングするための方法及び装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110103482A1 (en) * 2009-11-02 2011-05-05 Chung-Ang University Industry-Academy Cooperation Foundation Fast motion estimation apparatus and method based on adaptive search range and partial matching error
US9497481B2 (en) * 2010-02-09 2016-11-15 Nippon Telegraph And Telephone Corporation Motion vector predictive encoding method, motion vector predictive decoding method, moving picture encoding apparatus, moving picture decoding apparatus, and programs thereof
US8755437B2 (en) * 2011-03-17 2014-06-17 Mediatek Inc. Method and apparatus for derivation of spatial motion vector candidate and motion vector prediction candidate
US20150264387A1 (en) * 2014-03-17 2015-09-17 Qualcomm Incorporated Method for motion estimation of non-natural video data
US20180098079A1 (en) * 2016-10-05 2018-04-05 Qualcomm Incorporated Systems and methods of adaptively determining template size for illumination compensation

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
RAPAKA K. et al: "AhG8: On fast inter search method for screen content coding", Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 17th Meeting: Valencia, ES, 27 March – 4 April 2014 *
RAPAKA K. et al: "AhG8: On fast inter search method for screen content coding", Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 17th Meeting: Valencia, ES, 27 March – 4 April 2014。

Also Published As

Publication number Publication date
CN110581999A (zh) 2019-12-17
TWI736905B (zh) 2021-08-21
EP3788788A1 (en) 2021-03-10
KR20210018896A (ko) 2021-02-18
KR102605638B1 (ko) 2023-11-22
US20220030265A1 (en) 2022-01-27
TW202013966A (zh) 2020-04-01
WO2019234672A1 (en) 2019-12-12
CN110581997A (zh) 2019-12-17
TW202019180A (zh) 2020-05-16
CN110581999B (zh) 2022-03-25
GB2589222A (en) 2021-05-26
CN110581992B (zh) 2022-06-14
US20200374544A1 (en) 2020-11-26
CN110581998A (zh) 2019-12-17
CN110581996B (zh) 2022-03-25
US11159816B2 (en) 2021-10-26
JP2022123085A (ja) 2022-08-23
CN114827626A (zh) 2022-07-29
CN110581994B (zh) 2022-07-19
US12075084B2 (en) 2024-08-27
TWI718555B (zh) 2021-02-11
WO2019234676A1 (en) 2019-12-12
JP2021528896A (ja) 2021-10-21
TW202005383A (zh) 2020-01-16
WO2019234671A1 (en) 2019-12-12
CN110582000A (zh) 2019-12-17
KR20230161539A (ko) 2023-11-27
CN110581998B (zh) 2023-04-14
GB2589222B (en) 2023-01-25
WO2019234674A1 (en) 2019-12-12
CN110581997B (zh) 2021-10-12
WO2019234673A1 (en) 2019-12-12
US20200374543A1 (en) 2020-11-26
CN110582000B (zh) 2022-03-25
TWI736907B (zh) 2021-08-21
EP4351140A1 (en) 2024-04-10
TW202002652A (zh) 2020-01-01
WO2019234668A1 (en) 2019-12-12
TW202002637A (zh) 2020-01-01
CN110581996A (zh) 2019-12-17
TW202013967A (zh) 2020-04-01
JP7417670B2 (ja) 2024-01-18
WO2019234669A1 (en) 2019-12-12
GB202018865D0 (en) 2021-01-13
TWI727338B (zh) 2021-05-11
CN110581992A (zh) 2019-12-17
TW202013979A (zh) 2020-04-01
TWI707579B (zh) 2020-10-11
TWI736906B (zh) 2021-08-21
CN110581994A (zh) 2019-12-17
JP7096373B2 (ja) 2022-07-05

Similar Documents

Publication Publication Date Title
TWI711299B (zh) 利用部分成本計算的視頻解碼方法和裝置
TWI731362B (zh) 擴展Merge模式與其他視頻編碼工具之間的交互
CN112913239A (zh) 基于参考图片的解码器侧运动矢量推导
TWI719522B (zh) 用於視頻編碼的對稱性雙向預測模式
CN113796084B (zh) 运动矢量和预测样点细化
TWI850252B (zh) 部分交織的預測