TWI734147B - 基於更新的運動矢量的運動預測 - Google Patents

基於更新的運動矢量的運動預測 Download PDF

Info

Publication number
TWI734147B
TWI734147B TW108125900A TW108125900A TWI734147B TW I734147 B TWI734147 B TW I734147B TW 108125900 A TW108125900 A TW 108125900A TW 108125900 A TW108125900 A TW 108125900A TW I734147 B TWI734147 B TW I734147B
Authority
TW
Taiwan
Prior art keywords
block
current block
obmc
prediction
motion
Prior art date
Application number
TW108125900A
Other languages
English (en)
Other versions
TW202023283A (zh
Inventor
劉鴻彬
張莉
張凱
王悅
Original Assignee
大陸商北京字節跳動網絡技術有限公司
美商字節跳動有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 大陸商北京字節跳動網絡技術有限公司, 美商字節跳動有限公司 filed Critical 大陸商北京字節跳動網絡技術有限公司
Publication of TW202023283A publication Critical patent/TW202023283A/zh
Application granted granted Critical
Publication of TWI734147B publication Critical patent/TWI734147B/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/583—Motion compensation with overlapping blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/436—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation using parallelised computational arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/56—Motion estimation with initialisation of the vector search, e.g. estimating a good candidate to initiate a search
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

用於處理視訊資料的設備、系統和方法，包括：確定當前塊和對應的相鄰塊；並且基於當前塊的特性選擇性地實施重疊塊的運動補償（OBMC），以構造當前塊的最終預測塊，作為從當前塊的運動向量導出的預測塊和從一個或多個相鄰塊的運動向量導出的預測塊的加權和；以及基於當前塊的最終預測塊，執行當前塊與包括當前塊的視訊資料的位元流表示之間的轉換。

Description

基於更新的運動矢量的運動預測
本文件涉及視訊編碼和視訊解碼技術、設備和系統。
[相關申請的交叉引用]
根據適用的專利法和/或依據巴黎公約的規則，本申請要求於2018年7月20日提交的題為「基於更新的運動矢量的運動預測」的國際專利申請第PCT/CN2018/096384號的優先權和權益。該國際專利申請第PCT/CN2018/096384號的全部公開內容通過引用併入作為本申請的公開內容的一部分。
儘管視訊壓縮有所進步，但數位視訊仍佔網際網路和其他數位通信網路上最大的頻寬使用。隨著能夠接收和顯示視訊的所連接的使用者設備的數量增加，預計數位視訊使用的頻寬需求將繼續增長。
描述了與數位視訊編碼有關的設備、系統和方法，並且 具體地，描述了基於更新的運動向量的運動預測。所描述的方法可以應用於現有視訊編碼標準(例如，高效視訊編碼(HEVC))和未來視訊編碼標準或視訊轉碼器。
在一個代表性方面，所公開的技術可以用於提供視訊編碼的方法。該方法包括接收當前視訊資料塊的位元流表示，基於第一運動向量和第一參考運動向量和第二參考運動向量的加權和來分別生成更新的第一參考運動向量和更新的第二參考運動向量，其中基於來自第一參考塊的第一參考運動向量和來自第二參考塊的第二參考運動向量導出第一運動向量，並且其中當前塊與第一參考塊和第二參考塊相關聯，並且基於更新的第一參考運動向量和更新的第二參考運動向量來處理位元流表示從而生成當前塊。
在另一個代表性方面，所公開的技術可以用於提供用於處理視訊資料的另一種方法。該方法包括：確定當前塊和對應的相鄰塊；並且基於當前塊的特性選擇性地實施重疊塊的運動補償(OBMC)，以構造當前塊的最終預測塊，作為從當前塊的運動向量導出的預測塊和從一個或多個相鄰塊的運動向量導出的預測塊的加權和；以及基於當前塊的最終預測塊，執行當前塊與包括當前塊的視訊資料的位元流表示之間的轉換。
在又一個代表性方面，上述方法以處理器可執行代碼的形式實施並儲存在電腦可讀程式介質中。
在又一個代表性方面，公開了一種被配置或可操作以執行上述方法的設備。該設備可以包括被程式設計為實施該方法的 處理器。
在又一個代表性方面，視訊解碼器裝置可以實施如本文中所描述的方法。
在附圖、說明書和申請專利範圍中更詳細地描述了所公開技術的上述方面和特徵以及其他方面和特徵。
2800:裝置
2802:處理器
2804:記憶體
2806:視訊處理電路
2600、2700:方法
2610~2630、2710~2730:步驟
圖1示出了構建Merge候選列表的示例。
圖2示出了空間候選的位置的示例。
圖3示出了經受空間Merge候選的冗餘校驗的候選對的示例。
圖4A和圖4B示出了基於當前塊的尺寸和形狀的第二預測單元PU的位置的示例。
圖5示出了用於時間Merge候選的運動向量縮放的示例。
圖6示出了用於時間Merge候選的候選位置的示例。
圖7示出了生成組合的雙向預測Merge候選的示例。
圖8示出了構建運動向量預測候選的示例。
圖9示出了用於空間運動向量候選的運動向量縮放的示例。
圖10示出了使用用於編碼單元(CU)的替代時間運動向量預測(ATMVP)演算法的運動預測的示例。
圖11示出了具有由空時運動向量預測(STMVP)演算法使 用的子塊和相鄰塊的編碼單元(CU)的示例。
圖12A和圖12B示出了當使用重疊塊的運動補償(OBMC)演算法時子塊的示例快照。
圖13示出了用於導出局部亮度補償(LIC)演算法的參數的相鄰樣點的示例。
圖14示出了簡化的仿射運動模型的示例。
圖15示出了每個子塊的仿射運動向量場(MVF)的示例。
圖16示出了用於AF_INTER仿射運動模式的運動向量預測(MVP)的示例。
圖17A和17B示出了用於AF_MERGE仿射運動模式的示例候選。
圖18示出了在模式匹配運動向量推導(PMMVD)模式中的雙邊匹配的示例，模式匹配運動向量推導(PMMVD)模式是基於畫面播放速率上轉換(FRUC)演算法的特殊Merge模式。
圖19示出了在FRUC演算法中的模板匹配的示例。
圖20示出了在FRUC演算法中的單向運動估計的示例。
圖21示出了由雙向光流(BIO)演算法使用的光流軌跡的示例。
圖22A和22B示出了使用不具有塊擴展的雙向光流(BIO)演算法的示例快照。
圖23示出了基於雙邊模板匹配的解碼器側運動向量細化(DMVR)演算法的示例。
圖24示出了在變換係數上下文建模中使用的模板定義的示例。
圖25示出了在PU/CU中的內部和邊界子塊的示例。
圖26示出了根據當前所公開的技術的用於視訊編碼的示例方法的流程圖。
圖27示出了根據當前所公開的技術的用於視訊編碼的另一個示例方法的流程圖。
圖28是用於實施本文件中描述的視覺媒體解碼或視覺媒體編碼技術的硬體平臺的示例的框圖。
由於對更高解析度視訊的需求的增加，視訊編碼方法和技術在現代技術中普遍存在。視訊轉碼器通常包括壓縮或解壓縮數位視訊的電子電路或軟體，並且不斷改進以提供更高的編碼效率。視訊轉碼器將未壓縮視訊轉換為壓縮格式，反之亦然。視訊品質、用於表示視訊的資料量(由位元速率確定)、編碼和解碼演算法的複雜度、對資料丟失和錯誤的敏感性、編輯的簡易性，隨機訪問和端到端延遲(延遲)之間存在複雜的關係。壓縮格式通常符合標準視訊壓縮規範，例如，高效視訊編碼(HEVC)標準(也稱為H.265或MPEG-H第2部分)、要完成的通用視訊編碼標準、或其他當前和/或未來的視訊編碼標準。
所公開的技術的實施例可以應用於現有視訊編碼標準 (例如，HEVC，H.265)和未來的標準以改進壓縮性能。在本文件中使用節標題以改進描述的可讀性，並且不以任何方式將討論或實施例(和/或實現方式)限制於僅相應的節。
1.在HEVC/H.265中的幀間預測的示例
多年來，視訊編碼標準已經顯著改進，並且現在部分地提供高編碼效率和對更高解析度的支援。諸如HEVC和H.265的最新標準基於利用時間預測加變換編碼的混合視訊編碼結構。
1.1 幀間預測的示例
每個幀間預測的PU(預測單元)具有對於一個或兩個參考圖像列表的運動參數。在一些實施例中，運動參數包括運動向量和參考圖像索引。在其他實施例中，也可以使用inter_pred_idc來信令通知對兩個參考圖像列表中一個的使用。在另外的其他實施例中，運動向量可以明確地被編碼為相對於預測器的增量。
當使用跳過(skip)模式編碼CU時，一個PU與該CU相關聯，並且不存在顯著的殘差係數，不存在編碼的運動向量增量或參考圖像索引。指定Merge模式，由此從相鄰PU--包括空間和時間候選--獲得用於當前PU的運動參數。Merge模式可以應用於任何幀間預測的PU，而不僅適用於跳過模式。Merge模式的替代方案是運動參數的顯式傳輸(explicit transmission)，其中運動向量、每個參考圖像列表的對應參考圖像索引、參考圖像列表使用被每個PU地明確地信令通知。
當信令指示要使用兩個參考圖像列表中的一個時，PU從 一個樣點塊產生。這被稱為「單向預測」。單向預測可用於P條帶和B條帶。
當信令指示要使用兩個參考圖像列表時，PU從兩個樣點塊產生。這被稱為「雙向預測」。雙向預測僅可用於B條帶。
1.1.1 構建Merge模式的候選的實施例
當使用Merge模式預測PU時，從位元流解析出指向Merge候選列表(merge candidates list)中的條目的索引，並且該索引被用於檢索運動信息。該列表的構建可以根據以下步驟順序進行總結：
步驟1：初始候選推導
步驟1.1：空間候選推導
步驟1.2：空間候選的冗餘校驗
步驟1.3：時間候選推導
步驟2：附加候選插入
步驟2.1：創建雙向預測候選
步驟2.2：插入零運動候選
圖1示出了基於上面總結的步驟順序構建Merge候選列表的示例。對於空間Merge候選推導，在位於五個不同位置的候選中選擇最多四個Merge候選。對於時間Merge候選推導，在兩個候選中選擇最多一個Merge候選。由於在解碼器處假設每個PU的候選的數量為常數，因此當候選的數量未達到在條帶標頭中信令通知的最大Merge候選數量(MaxNumMergeCand)時，生成附 加的候選。由於候選的數量是恒定的，因此使用二進位一元截斷(TU)來編碼最佳Merge候選的索引。如果CU的尺寸等於8，則當前CU的所有PU共用單個Merge候選列表，該單個Merge候選列表與2N×2N預測單元的Merge候選列表相同。
1.1.2 構建空間Merge候選
在空間Merge候選的推導中，在位於圖2中描繪的位置中的候選中選擇最多四個Merge候選。推導的順序是A1、B1、B0、A0和B2。僅當位置A1、B1、B0、A0的任何PU不可用時(例如，因為該PU屬於另一個條帶(slice)或片(tile))或者是幀內編碼時，才考慮位置B2。在添加位置A1處的候選之後，對剩餘候選的添加進行冗餘校驗，該冗餘校驗確保具有相同運動信息的候選被排除在列表之外，從而改進編碼效率。
為了降低計算複雜度，在所提到的冗餘校驗中並未考慮所有可能的候選對。相反，僅考慮與圖3中的箭頭連結的對，並且如果用於冗餘校驗的對應候選具有不同的運動信息，則該候選僅被添加到列表中。重複的運動信息的另一個來源是與不同於2Nx2N的劃分相關聯的「第二PU」。作為示例，圖4A和4B分別描繪了針對N×2N和2N×N的情況的第二PU。當當前PU被劃分為N×2N時，位置A1處的候選不被考慮用於列表構建。在一些實施例中，添加該候選可以導致具有相同運動信息的兩個預測單元，這對於在編碼單元中僅具有一個PU是冗餘的。類似地，當當前PU被劃分為2N×N時，不考慮位置B1。
1.1.3 構建時間Merge候選
在此步驟中，只有一個候選被添加到列表中。特別地，在該時間Merge候選的推導中，基於共位(co-located)的PU來導出縮放的運動向量，該共位的PU屬於相對於給定參考圖像清單內的當前圖像具有最小POC差異的圖像。在條帶標頭中明確地信令通知用於共位的PU的推導的參考圖像清單。
圖5示出了用於時間Merge候選(如虛線)的縮放的運動向量的推導的示例，該用於時間Merge候選(如虛線)的縮放的運動向量使用POC距離tb和td從共位的PU的運動向量縮放，其中tb被定義為當前圖像的參考圖像與該當前圖像之間的POC差異，並且td被定義為共位元圖像的參考圖像與該共位元圖像之間的POC差異。時間Merge候選的參考圖像索引被設置為等於零。對於B條帶，獲得兩個運動向量並將其組合以產生雙向預測Merge候選，該兩個運動向量中的一個用於參考圖像清單0而另一個用於參考圖像清單1。
如圖6所示，在屬於參考幀的共位的PU(Y)中，在候選C0和C1之間選擇用於時間候選的位置。如果位置C0處的PU不可用、被幀內編碼的或在當前CTU之外，則使用位置C1。否則，在時間Merge候選的推導中使用位置C0。
1.1.4 構建附加類型的Merge候選
除了空時Merge候選之外，還存在兩種附加類型的Merge候選：組合的雙向預測Merge候選和零Merge候選。通過利用空 時Merge候選來生成組合的雙向預測Merge候選。組合的雙向預測Merge候選僅用於B條帶。通過將初始候選的第一參考圖像清單運動參數與另一個候選的第二參考圖像清單運動參數組合來生成組合的雙向預測候選。如果這兩個元組提供不同的運動假設，則它們將形成一個新的雙向預測候選。
圖7示出了該過程的示例，在該過程中原始列表(710，在左方)中具有mvL0和refIdxL0或mvL1和refIdxL1的兩個候選被用於創建組合的雙向預測Merge候選，該組合的雙向預測Merge候選被添加到最終列表(720，在右方)。
零運動候選被插入以填充Merge候選列表中的剩餘條目，並且因此達到MaxNumMergeCand容量。這些候選具有零空間位移和參考圖像索引，該參考圖像索引從零開始並且每當新的零運動候選被添加到列表時增加。這些候選使用的參考幀的數量是分別用於單向和雙向預測的1和2。在一些實施例中，不對這些候選執行冗餘校驗。
1.1.5 用於並行處理的運動估計區域的示例
為了加速編碼過程，可以並存執行運動估計，由此同時導出給定區域內的所有預測單元的運動向量。來自空間相鄰的Merge候選的推導可能干擾並行處理，因為一個預測單元直到其相關聯的運動估計完成才能從相鄰PU導出運動參數。為了減輕編碼效率和處理等待時間之間的折衷，可以定義運動估計區域(MER)。MER的尺寸可以在圖像參數集(PPS)中使用 「log2_parallel_merge_level_minus2」語法元素來信令通知。當MER被定義時，落入同一區域的Merge候選被標記為不可用，並且因此在列表構建中也不被考慮。
1.2 高級運動向量預測(AMVP)的實施例
AMVP利用運動向量與相鄰PU的空時相關性，該空時相關性用於運動參數的顯式傳輸。通過下述操作來構建運動向量候選列表：首先校驗左方、上方在時間上相鄰PU位置的可用性，移除冗餘候選，並添加零向量，以使候選列表為恒定長度。然後，編碼器可以從候選清單中選擇最佳預測器，並傳輸指示所選候選的對應索引。與Merge索引信令類似，使用一元截斷來編碼最佳運動向量候選的索引。在這種情況下要編碼的最大值是2(參見圖8)。在以下的節中，提供了關於運動向量預測候選的推導過程的細節。
1.2.1 構建運動向量預測候選的示例
圖8總結了用於運動向量預測候選的推導過程，並且可以針對具有refidx作為輸入的每個參考圖像清單來實現。
在運動向量預測中，考慮兩種類型的運動向量候選：空間運動向量候選和時間運動向量候選。如圖2先前示出的，對於空間運動向量候選推導，最終基於位於五個不同位置的每個PU的運動向量來導出兩個運動向量候選。
對於時間運動向量候選推導，從基於兩個不同的共位位置導出的兩個候選中選擇一個運動向量候選。在製作空時候選的 第一列表之後，移除列表中的重複的運動向量候選。如果潛在候選的數量大於2，則從列表中移除其在相關聯的參考圖像清單內的參考圖像索引大於1的運動向量候選。如果空時運動向量候選的數量小於2，則將附加的零運動向量候選添加到列表中。
1.2.2 構建空間運動向量候選
在空間運動向量候選的推導中，在五個潛在候選中考慮最多兩個候選，該五個潛在候選來自位於如圖2先前示出的位置的PU，這些位置與運動Merge的那些位置相同。當前PU的左側的推導順序被定義為A0、A1以及縮放的A0、縮放的A1。當前PU的上側的推導順序被定義為B0、B1、B2、縮放的B0、縮放的B1、縮放的B2。因此，對於每一側，存在四種可用作運動向量候選的情況，其中兩種情況不需要使用空間縮放，並且兩種情況使用空間縮放。四種不同的情況總結如下。
無空間縮放
(1)相同的參考圖像清單，以及相同的參考圖像(相同的POC)
(2)不同的參考圖像清單，但是相同的參考圖像(相同的POC)
空間縮放
(3)相同的參考圖像清單，但不同的參考圖像(不同的POC)
(4)不同的參考圖像清單，以及不同的參考圖像(不同 的POC)
首先校驗無空間縮放情況，接下來校驗允許空間縮放的情況。不管參考圖像清單如何，當POC在相鄰PU的參考圖像與當前PU的參考圖像之間是不同的時，考慮空間縮放。如果左方候選的所有PU都不可用或者是被幀內編碼的，則允許對上方運動向量進行縮放，以幫助左方和上方MV候選的並行推導。否則，對上側運動向量不允許空間縮放。
如圖9中的示例所示，對於空間縮放情況，以與時間縮放類似的方式縮放相鄰PU的運動向量。一個差異在於當前PU的參考圖像清單和索引被給出以作為輸入；實際縮放過程與時間縮放過程相同。
1.2.3 構建時間運動向量候選
除了參考圖像索引推導之外，用於時間Merge候選的推導的所有過程與用於空間運動向量候選的推導的過程相同(如圖6中的示例所示)。在一些實施例中，將參考圖像索引信令通知給解碼器。
2.在聯合探索模型(JEM)中的幀間預測方法的示例
在一些實施例中，使用稱為聯合探索模型(JEM)的參考軟體來探索未來的視訊編碼技術。在JEM中，在數個編碼工具中採用基於子塊的預測，諸如仿射預測、替代時間運動向量預測(ATMVP)、空時運動向量預測(STMVP)、雙向光流(BIO)、畫面播放速率上轉換(FRUC)、局部自我調整運動向量解析度 (LAMVR)、重疊塊的運動補償(OBMC)、局部亮度補償(LIC)和解碼器側運動向量細化(DMVR)。
2.1 基於子CU的運動向量預測的示例
在具有四叉樹加二叉樹(QTBT)的JEM中，每個CU可以具有針對每個預測方向的至多一個運動參數的集合。在一些實施例中，通過將大CU劃分為子CU並且導出大CU的所有子CU的運動信息，在編碼器中考慮兩個子CU級別運動向量預測方法。替代時間運動向量預測(ATMVP)方法允許每個CU從比共位元參考圖像中的當前CU小的多個塊中獲取運動信息的多個集合。在空時運動向量預測(STMVP)方法中，通過使用時間運動向量預測器和空間相鄰運動向量來遞迴地導出子CU的運動向量。在一些實施例中，並且為了保留用於子CU運動預測的更準確的運動場，可以禁用參考幀的運動壓縮。
2.1.1 替代時間運動向量預測(ATMVP)的示例
在ATMVP方法中，通過從小於當前CU的塊中獲取運動信息(包括運動向量和參考索引)的多個集合來修改時間運動向量預測(TMVP)方法。
圖10示出了CU 1000的ATMVP運動預測過程的示例。ATMVP方法以兩個步驟預測CU 1000內的子CU 1001的運動向量。第一步驟是使用時間向量識別參考圖像1050中的對應塊1051。參考圖像1050也稱為運動源圖像。第二步驟是將當前CU 1000劃分為子CU 1001，並從對應於每個子CU的塊中獲得運動向量以及每 個子CU的參考索引。
在第一步驟中，參考圖像1050和對應塊由當前CU 1000的空間相鄰塊的運動信息確定。為了避免相鄰塊的重複掃描過程，使用當前CU 1000的Merge候選列表中的第一Merge候選。第一可用運動向量及其相關聯的參考索引被設置為運動源圖像的時間向量和索引。這樣，與TMVP相比，可以更準確地識別對應塊，其中對應塊(有時稱為共位塊)總是相對於當前CU處於右下或中心位置。
在第二步驟中，通過向當前CU的座標添加時間向量，由運動源圖像1050中的時間向量識別子CU 1051的對應塊。對於每個子CU，其對應塊的運動信息(例如，覆蓋中心樣點的最小運動網格)用於導出子CU的運動信息。在識別出對應的N×N塊的運動信息之後，以與HEVC的TMVP相同的方式將其轉換為當前子CU的運動向量和參考索引，在該方式中應用運動縮放和其他過程。例如，解碼器校驗是否滿足低延遲條件(例如，當前圖像的所有參考圖像的POC小於當前圖像的POC)並且可能使用運動向量MVx(例如，對應於參考圖像清單X的運動向量)用於預測每個子CU的運動向量MVy(例如，其中X等於0或1並且Y等於1-X)。
2.1.2 空時運動向量預測(STMVP)的示例
在STMVP方法中，按照光柵掃描順序遞迴地導出子CU的運動向量。圖11示出了具有四個子塊和相鄰塊的一個CU的示例。考慮包括四個4×4子CUA(1101)、B(1102)、C(1103)和 D(1104)的8×8 CU 1100。當前幀中的相鄰4×4塊標記為(1111)、b(1112)、c(1113)和d(1114)。
子CUA的運動推導通過識別其兩個空間鄰居開始。第一鄰居是子CU A 1101上方的N×N塊(塊c 1113)。如果該塊c(1113)不可用或者是幀內編碼，則校驗(從左到右，從塊c 1113開始)子CU A(1101)上方的其他N×N塊。第二鄰居是子CU A 1101左側的塊(塊b 1112)。如果塊b(1112)不可用或者是幀內編碼，則校驗(從上到下，從塊b 1112開始)子CU A 1101左側的其他塊。從每個清單的相鄰塊獲得的運動信息被縮放到給定清單的第一參考幀。接下來，通過遵循與HEVC中指定的TMVP推導相同的過程來導出子塊A 1101的時間運動向量預測器(TMVP)。在塊D 1104處的共位元塊的運動信息被相應地獲取和縮放。最後，在檢索和縮放運動信息之後，對每個參考列表分開平均所有可用運動向量。平均運動向量被指定為當前子CU的運動向量。
2.1.3 子CU運動預測模式信令通知的示例
在一些實施例中，子CU模式被啟用作為附加的Merge候選，並且不需要附加的語法元素來信令通知模式。添加兩個附加的Merge候選以合併每個CU的候選清單以表示ATMVP模式和STMVP模式。在其他實施例中，如果序列參數集指示啟用了ATMVP和STMVP，則可以使用多達七個Merge候選。附加Merge候選的編碼邏輯與HM中的Merege候選的編碼邏輯相同，這意味著，對於P或B條帶中的每個CU，兩個附加Merge候選可能需 要再進行兩次RD校驗。在一些實施例中，例如JEM，Merge索引的所有二進位位元由CABAC(基於上下文的自我調整二進位算術編碼)進行上下文編碼。在其他實施例中，例如，HEVC，僅對第一個二進位數字(bin)進行上下文編碼，並且對剩餘的二進位數字進行上下文旁路編碼。
2.2 自我調整運動向量差異解析度的示例
在一些實施例中，當條帶標頭中的use_integer_mv_flag等於0時，以四分之一亮度樣點為單位，信令通知(PU的運動向量與預測的運動向量之間的)運動向量差異(MVD)。在JEM中，引入了局部自我調整運動向量解析度(LAMVR)。在JEM中，MVD可以以四分之一亮度樣點、整數亮度樣點或四個亮度樣點為單位進行編碼。在編碼單元(CU)級別控制MVD解析度，並且向具有至少一個非零MVD分量的每個CU，有條件地信令通知MVD解析度標誌。
對於具有至少一個非零MVD分量的CU，信令通知第一標記，以指示是否在CU中使用四分之一亮度樣點MV精度。當第一標誌(等於1)指示未使用四分之一亮度樣點MV精度時，信令通知另一個標誌，以指示是否使用整數亮度樣點MV精度或四個亮度樣點MV精度。
當CU的第一MVD解析度標誌為零，或未針對CU編碼(意味著CU中的所有MVD均為零)時，四分之一亮度樣點MV解析度被用於該CU。當CU使用整數亮度樣點MV精度或四個亮 度樣點MV精度時，該CU的AMVP候選列表中的MVP被取整到對應的精度。
在編碼器中，使用CU級別RD校驗來確定將哪個MVD解析度將用於CU。換言之，對於每個MVD解析度，執行CU級RD校驗三次。為了加快編碼器速度，在JEM中應用以下編碼方案。
在具有正常四分之一亮度樣點MVD解析度的CU的RD校驗期間，儲存該當前CU的運動信息(整數亮度樣點精度)。對於具有整數亮度樣點和4個亮度樣點MVD解析度的相同CU，儲存的運動信息(取整後)被用作RD校驗期間進一步小範圍運動向量細化的起點，使得耗時的運動估計過程不重複三次。
有條件地調用具有4個亮度樣點MVD解析度的CU的RD校驗。對於CU，當整數亮度樣點MVD解析度的RD成本遠大於四分之一亮度樣點MVD解析度的RD成本時，跳過該CU的4個亮度樣點MVD解析度的RD校驗。
2.3 較高的運動向量儲存精度的示例
在HEVC中，運動向量精度是四分之一像素(pel)(用於4：2：0視訊的四分之一亮度樣點和八分之一色度樣點)。在JEM中，內部運動向量儲存和Merge候選的精度增加到1/16像素。較高的運動向量精度(1/16像素)用於以跳過模式/Merge模式編碼的CU的運動補償幀間預測。對於使用正常AMVP模式編碼的CU，使用整數像素或四分之一像素運動。
具有與HEVC運動補償內插濾波器相同的濾波器長度和歸一化因數的SHVC上採樣內插濾波器，被用作附加分數像素位置的運動補償內插濾波器。在JEM中色度分量運動向量精度是1/32樣點，通過使用兩個相鄰1/16像素分數位置的濾波器的平均值，來導出1/32像素分數位置的附加內插濾波器。
2.4 重疊塊的運動補償(OBMC)的示例
在JEM中，OBMC可以在CU級別使用語法元素進行開關。當JEM中使用OBMC時，對除去CU的右側邊界和底部邊界的所有運動補償(MC)塊邊界執行OBMC。此外，它應用於亮度和色度分量。JEM中，MC塊對應於編碼塊。當CU使用子CU模式(包括子CU Merge、仿射以及FRUC模式)編碼時，CU的每個子塊是MC塊。為了統一處理CU的邊界，在子塊的尺寸設置為4x4的情況下，對所有MC塊邊界以子塊級別執行OBMC，如圖12A和圖12B所示。
圖12A示出了CU/PU邊界處的子塊，陰影子塊是應用OBMC的位置。類似地，圖12B示出了ATMVP模式中的子PU。
當OBMC應用於當前子塊時，除了當前MV之外，四個相鄰子塊的向量(如果可用且與當前運動向量不完全相同)也會被用於導出當前子塊的預測塊。組合這些基於多個運動向量的多個預測塊以生成當前子塊的最終預測信號。
基於相鄰子塊的運動向量的預測塊被表示為PN，其中N指示相鄰上方、下方、左側和右側的子塊的索引，並且基於當前 子塊的運動向量的預測塊被表示為PC。當PN基於相鄰子塊的運動信息且該運動信息與當前子塊的運動信息相同時，不從PN執行OBMC。否則，將PN的每個樣點添加到PC中的相同樣點中，即將四行/列PN添加到PC。加權因數{1/4,1/8,1/16,1/32}用於PN，並且加權因數{3/4,7/8,15/16,31/32}用於PC。例外是對於小MC塊(即，當編碼塊的高度或寬度等於4或CU使用子CU模式編碼時)僅將PN的兩行/列添加到PC。在這種情況下，加權因數{1/4,1/8}用於PN，並且加權因數{3/4,7/8}用於PC。對於基於垂直(水平)相鄰子塊的運動向量生成的PN，將PN的相同行(列)中的樣點添加到具有相同加權因數的PC。
在JEM中，對於尺寸小於或等於256個亮度樣點的CU，信令通知CU級別標誌以指示是否對當前CU應用OBMC。對於尺寸大於256個亮度樣點或未使用AMVP模式編碼的CU，預設情況下應用OBMC。在編碼器處，當OBMC應用於CU時，在運動估計階段期間考慮其影響。由OBMC使用頂部相鄰塊和左相鄰塊的運動信息形成的預測信號用於補償當前CU的原始信號的頂部邊界和左側邊界，並且然後應用正常運動估計過程。
2.5 局部亮度補償(LIC)的示例
LIC基於用於亮度變化的線性模型，使用縮放因數a和偏移b。並且，針對每個幀間模式編碼的編碼單元(CU)自我調整地啟用或禁用LIC。
當LIC應用於CU時，採用最小平方誤差方法，通過使 用當前CU的相鄰樣點及其對應的參考樣點來導出參數a和b。圖13示出了用於導出IC演算法的參數的相鄰樣點的示例。具體地，並且如圖13所示，使用了該CU的子採樣(2：1子採樣)的相鄰樣點和參考圖像中的對應樣點(其由當前CU或子CU的運動信息識別)。IC參數被導出並被分別應用於每個預測方向。
當使用Merge模式對CU進行編碼時，以類似於Merge模式中的運動信息複製的方式從相鄰塊複製LIC標誌；否則，向該CU信令通知LIC標誌以指示LIC是否適用。
當對圖像啟用LIC時，需要附加的CU級別RD校驗以確定是否對CU應用LIC。當對CU啟用LIC時，分別對整數像素運動搜索和分數像素運動搜索，使用均值移除的絕對差和(mean-removed sum of absolute diffefference，MR-SAD)以及均值移除的絕對哈達瑪變換差和(mean-removed sum of absolute Hadamard-transformed difference，MR-SATD)，而不是SAD和SATD。
為了降低編碼複雜度，在JEM中應用以下編碼方案。
當當前圖像與其參考圖像之間不存在明顯的亮度變化時，對整個圖像禁用LIC。為了識別這種情況，在編碼器處，計算當前圖像與該當前圖像的每個參考圖像的長條圖。如果當前圖像與該當前圖像的每個參考圖像之間的長條圖差異小於給定閾值，則對當前圖像禁用LIC；否則，對當前圖像啟用LIC。
2.6 仿射運動補償預測的示例
在HEVC中，僅將平移運動模型應用於運動補償預測(MCP)。然而，相機和物件可以具有多種運動，例如放大/縮小、旋轉、透視運動和其他不規則的運動。在另一方面，JEM應用簡化的仿射變換運動補償預測。圖14示出了由兩個控制點運動向量V0和V1描述的塊1400的仿射運動場的示例。塊1400的運動向量場(MVF)可以由以下等式描述：
Figure 108125900-A0305-02-0024-1
如圖14所示，(v0x,v0y)是左頂角控制點的運動向量，(v1x,v1y)是右頂角控制點的運動向量。為了簡化運動補償預測，可以應用基於子塊的仿射變換預測。子塊尺寸M×N如以下等式導出：
Figure 108125900-A0305-02-0024-2
其中MvPre是運動向量分數精度(例如，在JEM中為1/16)，(v2x,v2y)是左下控制點的運動向量，根據等式(1)計算。如果需要，可以向下調整M和N，以使其分別為w和h的除數。
圖15示出了塊1500的每個子塊的仿射MVF的示例。為了導出每個M×N子塊的運動向量，可以根據等式(1)計算每個子塊的中心樣點的運動向量，並將其取整為運動向量分數精度(例如，在JEM中為1/16)。然後，可以應用運動補償內插濾波器，以利用導出的運動向量生成每個子塊的預測。在MCP之後，每個子塊的高精度運動向量以與正常運動向量相同的精度被取整並保 存。
在JEM中，存在兩種仿射運動模式：AF_INTER模式和AF_MERGE模式。對於寬度和高度均大於8的CU，可以應用AF_INTER模式。在位元流中信令通知CU級別的仿射標誌，以指示是否使用AF_INTER模式。在AF_INTER模式中，使用相鄰塊構建具有運動向量對{(v0,v1)|v0={vA,vB,vC},v1={vD,vE}}的候選列表。
圖16示出了用於在AF_INTER模式中的塊1600的運動向量預測(MVP)的示例。如圖16所示，從塊A、B或C的運動向量中選擇v0。來自相鄰塊的運動向量可以根據參考清單來縮放。運動向量還可以根據相鄰塊的參考的圖像順序計數(POC)、當前CU的參考的POC和當前CU的POC之間的關係來縮放。從相鄰子塊D和E中選擇v1的方法是類似的。如果候選列表的數量小於2，則由通過重複每個AMVP候選而構建的運動向量對來填充該列表。當候選清單大於2時，首先可以根據相鄰運動向量(例如，基於候選對中的兩個運動向量的相似性)對候選進行分類。在一些實現方式中，保留前兩個候選。在一些實現方式中，速率失真(RD)成本校驗用於確定選擇哪個運動向量對候選作為當前CU的控制點運動向量預測(CPMVP)。可以在位元流中信令通知指示候選列表中的CPMVP的位置的索引。在確定當前仿射CU的CPMVP之後，應用仿射運動估計，並找到控制點運動向量(CPMV)。然後在位元流中信令通知CPMV與CPMVP的差異。
當在AF_MERGE模式中應用CU時，它從有效的相鄰重建塊獲得使用仿射模式編碼的第一塊。圖17A示出了當前CU 1700的候選塊的選擇順序的示例。如圖17A所示，選擇順序可以是從當前CU 1700的左方(1701)、上方(1702)、右上方(1703)、左下方(1704)到左上方(1705)。圖17B示出了在AF_MERGE模式中的當前CU 1700的候選塊的另一個示例。如圖17B所示，如果相鄰左下塊1701以仿射模式編碼，則導出包含子塊1701的CU的左頂角、右上角和左底角的運動向量v2、v3和v4。基於v2、v3和v4來計算當前CU 1700的左頂角的運動向量v0。可以相應地計算當前CU的右上方的運動向量v1。
在根據等式(1)中的仿射運動模型計算當前CU的CPMV v0和v1之後，可以生成該當前CU的MVF。為了識別當前CU是否使用AF_MERGE模式編碼，當存在至少一個相鄰塊以仿射模式編碼時，可以在位元流中信令通知仿射標誌。
2.7 模式匹配的運動向量推導(PMMVD)的示例
PMMVD模式是一種基於畫面播放速率上轉換(FRUC)方法的特殊Merge模式。使用該模式，塊的運動信息不被信令通知，而是在解碼器側導出。
當CU的Merge標誌為真時，可以向該CU信令通知FRUC標誌。當FRUC標誌為假時，可以信令通知Merge索引，並使用常規Merge模式。當FRUC標誌為真時，可以信令通知附加的FRUC模式標誌以指示將使用哪種方法(例如，雙邊匹配或模板匹配) 來導出該塊的運動信息。
在編碼器側，關於是否對CU使用FRUC Merge模式的決定是基於如對正常Merge候選那樣所做的RD成本選擇。例如，通過使用RD成本選擇來校驗CU的多種匹配模式(例如，雙邊匹配和模板匹配)。導致最小成本的匹配模式與其他CU模式進一步比較。如果FRUC匹配模式是最有效的模式，則對於CU將FRUC標誌設置為真，並且使用有關匹配模式。
通常，FRUC Merge模式中的運動推導過程有兩個步驟。首先執行CU級別運動搜索，接下來執行子CU級別運動細化。在CU級別，基於雙邊匹配或模板匹配為整個CU導出初始運動向量。首先，生成MV候選列表，並且選擇導致最小匹配成本的候選作為進一步CU級別細化的起點。然後，圍繞起始點執行基於雙邊匹配或模板匹配的局部搜索。將導致最小匹配成本的MV作為整個CU的MV。隨後，運動信息在子CU級別進一步細化，其中導出的CU運動向量作為起點。
例如，針對W×HCU運動信息推導執行以下推導處理。在第一階段，導出整體W×H CU的MV。在第二階段，CU進一步劃分為M×M子CU。如等式(3)中計算M的值，D是預定義的劃分深度，其在JEM中默認設置為3。然後導出每個子CU的MV。
Figure 108125900-A0305-02-0027-3
圖18示出了畫面播放速率上轉換(FRUC)方法中使用的雙邊匹配的示例。雙邊匹配用於通過在兩個不同參考圖像 (1810,1811)中沿當前CU(1800)的運動軌跡找到兩個塊之間的最接近匹配，來導出當前CU的運動信息。在連續運動軌跡的假設下，指向兩個參考塊的運動向量MV0(1801)和MV1(1802)與在當前圖像和兩個參考圖像之間的時間距離--例如TD0(1803)和TD1(1804)--成比例。在一些實施例中，當當前圖像(1800)在時間上在兩個參考圖像(1810,1811)之間並且從當前圖像到兩個參考圖像的時間距離相同時，雙邊匹配變為基於鏡像的雙向MV。
圖19示出了畫面播放速率上轉換(FRUC)方法中使用的模板匹配的示例。模板匹配可以用於通過找到在當前圖像中的模板(例如，當前CU的頂部相鄰塊和/或左方相鄰塊)與參考圖像1910中的塊(例如，具有與模板相同的尺寸)之間的最接近匹配，來導出當前CU 1900的運動信息。除了上述FRUC Merge模式之外，模板匹配也可以適用於AMVP模式。在JEM和HEVC兩者中，AMVP有兩個候選。使用模板匹配方法，可以導出新的候選。如果由模板匹配的新導出的候選與第一現有AMVP候選不同，則將其插入AMVP候選列表的最開始，並且然後將列表尺寸設置為2(例如，通過移除第二現有AMVP候選)。當應用於AMVP模式時，僅應用CU級別搜索。
CU級別的MV候選集合可以包括：(1)如果當前CU處於AMVP模式，則為原始AMVP候選，(2)所有Merge候選，(3)內插MV域(稍後描述)中的數個MV，以及頂部和左方相鄰的運 動向量。
當使用雙邊匹配時，Merge候選的每個有效MV可以被用作輸入，以在假設雙邊匹配的情況下生成MV對。例如，Merge候選的一個有效MV是在參考列表A中的(MVa，refa)。然後，在其他參考列表B中找到其配對雙邊MV的參考圖像refb，使得refa和refb在時間上位於當前圖像的不同側。如果參考列表B中這樣的refb不可用，則refb被確定為與refa不同的參考，並且refb到當前圖像的時間距離是清單B中的最小值。在確定refb之後，基於當前圖像與refa、refb之間的時間距離通過縮放MVa來導出MVb。
在一些實現方式中，來自內插MV域的四個MV也可以被添加到CU級別候選列表。更具體地，添加當前CU的位置(0,0)、(W/2,0)、(0,H/2)和(W/2,H/2)處的內插MV。當FRUC應用於AMVP模式時，原始AMVP候選也被添加到CU級別MV候選集合。在一些實現方式中，在CU級別，用於AMVP CU的15個MV、用於Merge CU的13個MV可以被添加到候選列表。
子CU級別的MV候選集合包括：(1)從CU級別搜索確定的MV，(2)頂部、左方、左頂和右頂的相鄰MV，(3)來自參考圖像的並列MV的縮放版本，(4)一個或多個ATMVP候選(例如，最多四個)，以及(5)一個或多個STMVP候選(例如，最多四個)。來自參考圖像的縮放MV如下導出。遍歷兩個清單中的參考圖像。參考圖像中的子CU的並列位置處的MV被縮放到起始 CU級別MV的參考。ATMVP和STMVP候選可以是前四個候選。在子CU級別，一個或多個MV(例如，最多十七個)被添加到候選列表中。
內插MV域的生成
在對幀進行編碼之前，基於單邊ME為整個圖像生成內插運動域。然後，運動域可以稍後用作CU級別或子CU級別MV候選。
在一些實施例中，兩個參考清單中的每個參考圖像的運動域以4×4塊級別遍歷。圖20示出了在FRUC方法中的單向運動估計(ME)2000的示例。對於每個4×4塊，如果與塊相關聯的運動通過當前圖像中的4×4塊並且該塊尚未被分配任何內插運動，則參考塊的運動根據時間距離TD0和TD1(與HEVC中的TMVP的MV縮放的方式相同的方式)縮放到當前圖像，並且將縮放的運動分配給當前幀中的塊。如果無縮放的MV被分配到4×4塊，則在內插的運動域中將塊的運動標記為不可用。
內插和匹配成本
當運動向量指向分數樣點位置時，需要運動補償內插。為了降低複雜度，雙邊匹配和模板匹配兩者可以使用雙線性內插而不是常規的8階HEVC內插。
匹配成本的計算在不同的步驟有點不同。當從CU級別的候選集合中選擇候選時，匹配成本可以是雙邊匹配或模板匹配的絕對差值和(SAD)。在確定起始MV之後，如下計算子CU級別 搜索的雙邊匹配的匹配成本C：
Figure 108125900-A0305-02-0031-5
其中w是一個加權因數。在一些實施例中，w根據經驗設置為4，MV和MVs分別指示當前MV和起始MV。SAD可以仍用作子CU級別搜索的模板匹配的匹配成本。
在FRUC模式中，MV通過僅使用亮度樣點導出。導出的運動將用於MC幀間預測的亮度和色度。在確定MV之後，使用用於亮度的8階內插濾波器和用於色度的4階內插濾波器來執行最終MC。
MV細化是以雙邊匹配成本或模板匹配成本為準則的基於模式的MV搜索。在JEM中，支援兩種搜索模式--分別用於CU級別和子CU級別的MV細化的無限制的中心偏置菱形搜索(unrestricted center-biased diamond search，UCBDS)和自我調整交叉搜索(adaptive cross search)。對於CU級別和子CU級別MV細化，以四分之一亮度樣點MV精度直接搜索MV，並且接下來以八分之一亮度樣點MV細化。對於CU步驟和子CU步驟的MV細化的搜索範圍被設置為等於8個亮度樣點。
在雙邊匹配Merge模式中，應用雙向預測，因為基於在兩個不同參考圖像中沿當前CU的運動軌跡的兩個塊之間的最接近匹配來導出CU的運動信息。在模板匹配Merge模式中，編碼器可以在針對CU的來自列表0的單向預測、來自列表1的單向預測或者雙向預測之中進行選擇。選擇可以基於模板匹配成本，如 下：如果costBi<=factor * min(cost0,cost1)
使用雙向預測；否則，如果cost0<=cost1
使用來自列表0的單向預測；否則，使用來自列表1的單向預測；其中cost0是清單0模板匹配的SAD，cost1是清單1模板匹配的SAD，costBi是雙向預測模板匹配的SAD。例如，當factor的值等於1.25時，這意味著選擇過程偏向於雙向預測。幀間預測方向選擇可以應用於CU級別模板匹配過程。
2.8 雙向光流(BIO)的示例
雙向光流(BIO)方法是在用於雙向預測的逐塊運動補償之上執行的逐樣點運動細化。在一些實現方式中，樣點級別運動細化不使用信令通知。
讓I(k)是在塊運動補償之後的參考k(k=0,1)的亮度值，並且將
Figure 108125900-A0305-02-0032-24
/
Figure 108125900-A0305-02-0032-25
、
Figure 108125900-A0305-02-0032-26
/
Figure 108125900-A0305-02-0032-27
分別表示為I(k)梯度的水平分量和垂直分量。假設光流有效，則運動向量場(vx,vy)由以下等式給出。
Figure 108125900-A0305-02-0032-23
將此光流等式與Hermite內插組合，得到每個樣點的運動軌跡，其結果是匹配函數值I(k)和偏導數
Figure 108125900-A0305-02-0032-28
/
Figure 108125900-A0305-02-0032-29
、
Figure 108125900-A0305-02-0032-30
/
Figure 108125900-A0305-02-0032-31
的唯一的三階多項式。在t=0時此多項式的值是BIO預測：
Figure 108125900-A0305-02-0033-47
圖21示出了雙向光流(BIO)方法中的光流軌跡的示例。其中，τ0和τ1表示到參考幀的距離。距離τ0和τ1基於Ref0和Ref1的POC來計算：τ0=POC(當前塊)-POC(Ref0)，τ1=POC(Ref1)-POC(當前塊)。如果兩個預測都來自相同的時間方向(既可以是來自過去的，也可以是來自未來的)，則符號是不同的(例如，τ0．τ1<0)。在這種情況下，如果預測不是來自相同的時刻(例如，τ0≠τ1)，則應用BIO。兩個參考區域都具有非零運動(例如，MVx0,MVy0,MVx1,MVy1≠0)並且塊運動向量與時間距離(例如，MVx0/MVx1=MVy0/MVy1=-τ0/τ1)成正比。
通過最小化點A和點B中的值之間的差異△來確定運動向量場(vx,vy)。圖22A和圖22B示出了運動軌跡和參考幀平面的交點的示例。模型僅使用對於△的局部泰勒展開的第一線性項：
Figure 108125900-A0305-02-0033-22
上述等式中的所有值都取決於表示為(i',j')的樣點位置。假設運動在局部周圍區域是一致的，可以在以當前預測點(i,j)為中心的(2M+1)x(2M+1)方形窗口Ω內最小化△，其中M等於2：
Figure 108125900-A0305-02-0033-7
對於此優化問題，JEM使用簡化方法，首先在垂直方向上進行最小化，並且然後在水平方向上進行最小化。這導致
Figure 108125900-A0305-02-0033-8
Figure 108125900-A0305-02-0034-20
其中，
Figure 108125900-A0305-02-0034-10
為了避免除以零或非常小的值，在等式(9)和等式(10)中引入正則化參數r和m。
r=500．4d-8 (12)
m=700．4d-8 (13)
其中d是視訊樣點的位元深度。
為了保持BIO的記憶體訪問與常規雙向預測運動補償相同，針對當前塊內的位置計算所有預測和梯度值I(k)、
Figure 108125900-A0305-02-0034-32
/
Figure 108125900-A0305-02-0034-33
、
Figure 108125900-A0305-02-0034-34
/
Figure 108125900-A0305-02-0034-35
。圖22A示出了塊2200外部的訪問位置的示例。如圖22A所示，在等式(9)中，以預測塊的邊界上的當前預測點為中心的(2M+1)x(2M+1)方形視窗Ω需要訪問塊外的位置。在JEM中，塊外的I(k)、
Figure 108125900-A0305-02-0034-36
/
Figure 108125900-A0305-02-0034-46
、
Figure 108125900-A0305-02-0034-37
/
Figure 108125900-A0305-02-0034-38
的值被設置為等於塊內最近的可用值。例如，這可以實現為填充區域2201，如圖22B所示。
使用BIO，可以針對每個樣品來細化運動場是可能的。為了降低計算複雜度，可以在JEM中使用基於塊的BIO設計。可以基於4x4塊來計算運動細化。在基於塊的BIO中，可以聚合4x4 塊中的所有樣點在等式(9)中的sn值，並且然後將聚合的sn值用於4x4塊的導出的BIO運動向量偏移。更具體地，以下公式可以用於基於塊的BIO推導：
Figure 108125900-A0305-02-0035-11
其中bk表示屬於預測塊的第k個4x4塊的樣品的集合。由((sn,bk)>>4)替換等式(9)和等式(10)中的sn以導出相關聯的運動向量偏移。
在一些情況下，BIO的MV組(regiment)可能由於雜訊或不規則運動而不可靠。因此，在BIO中，MV組的量級被限制為閾值。基於當前圖像的參考圖像是否都來自一個方向來確定閾值。例如，如果當前圖像的所有參考圖像都來自一個方向，則閾值被設置為12×214-d；否則，它被設置為12×213-d。
可以同時計算BIO的梯度與運動補償內插，該運動補償內插使用與HEVC運動補償過程一致的操作(例如，2D可分離有限脈衝回應FIR)。在一些實施例中，根據塊運動向量的分數部分，此2D可分離FIR的輸入是與運動補償過程和分數位置(fracX,fracY)相同的參考幀樣點。對於水平梯度
Figure 108125900-A0305-02-0035-39
/
Figure 108125900-A0305-02-0035-40
，首先對應於具有去縮放偏移d-8的分數位置fracY，使用BIOfilterS垂直內插信號，然後對應於具有去縮放偏移18-d的分數位置fracX，在水平方向 上應用梯度濾波器BIOfilterG。對於垂直梯度
Figure 108125900-A0305-02-0036-41
/
Figure 108125900-A0305-02-0036-42
，首先對應於具有去縮放偏移d-8的分數位置fracY，使用BIOfilterG垂直應用梯度濾波器，然後對應於具有去縮放偏移18-d的分數位置fracX，在水平方向上使用BIOfilterS來執行信號位移。用於梯度計算BIOfilterG和信號位移BIOfilterF的內插濾波器的長度可以較短(例如，6階)以維持合理的複雜度。表格1示出了可以用於BIO中塊運動向量的不同分數位置的梯度計算的示例濾波器。表格2示出了可以用於BIO中預測信號生成的示例內插濾波器。
Figure 108125900-A0305-02-0036-12
Figure 108125900-A0305-02-0036-13
Figure 108125900-A0305-02-0037-14
在JEM中，當兩個預測來自不同的參考圖像時，BIO可以應用於所有雙向預測的塊。當對CU啟用局部亮度補償(LIC)時，可以禁用BIO。
在一些實施例中，OBMC在正常MC過程之後應用於塊。為了降低計算複雜度，在OBMC過程期間不可以應用BIO。這意味著當使用其自己的MV時BIO應用於塊的MC過程，當在OBMC過程中使用相鄰塊的MV時BIO不應用於MC過程。
2.9 解碼器側運動向量細化(DMVR)的示例
在雙向預測操作中，為了預測一個塊區域，分別使用清單0的運動向量(MV)和列表1的MV形成的兩個預測塊被組合以形成單個預測信號。在解碼器側運動向量細化(DMVR)方法中，雙向預測的兩個運動向量通過雙邊模板匹配過程進一步細化。雙邊模板匹配應用於解碼器中，以在雙邊模板和參考圖像中的重建樣點之間執行基於失真的搜索，以便在不傳輸附加的運動信息 的情況下獲得細化的MV。
如圖23所示，在DMVR中，分別從列表0的初始MV0和列表1的MV1生成雙邊模板，作為兩個預測塊的加權組合(即平均)。模板匹配操作包括計算生成的模板與參考圖像中的樣點區域(在初始預測塊周圍)之間的成本度量。對於兩個參考圖像中的每一個，產生最小模板成本的MV被視為該列表的更新MV以替換原始模板。在JEM中，對於每個列表，搜索九個MV候選。該九個MV候選包括原始MV和8個周圍MV，其中一個亮度樣點在水平或垂直方向上或在兩個方向上偏移到原始MV。最後，如圖23所示，兩個新的MV，即MV0'和MV1'，被用於生成最終的雙向預測結果。絕對差值和(SAD)用作成本度量。
DMVR被應用於雙向預測的Merge模式，在不傳輸附加的語法元素的情況下使用來自過去的參考圖像中的一個MV和來自將來的參考圖像中的另一個MV。在JEM中，當為CU啟用LIC、仿射運動、FRUC或子CU Merge候選時，不應用DMVR。
3．CABAC修改的示例
在JEM中，與HEVC中的設計相比，CABAC包含以下三個主要變化：
- 修改的變換係數的上下文建模
- 具有依賴於上下文的更新速度的多假設概率估計
- 上下文模型的自我調整初始化
3.1 變換係數的上下文建模的示例
在HEVC中，使用非重疊係數群組(CG)對編碼塊的變換係數進行編碼，並且每個CG包含編碼塊的4×4塊的係數。編碼塊內的CG和CG內的變換係數根據預定義的掃描順序進行編碼。具有至少一個非零變換係數的CG的變換係數級別的編碼可以被分成多個掃描通道。在第一通道中，編碼第一個bin(由bin0表示，也稱為significant_coeff_flag，其指示係數的量級大於0)。接下來，可以應用用於上下文編碼第二/第三bin(分別由bin1和bin2表示，也稱為coeff_abs_greater1_flag和coeff_abs_greater2_flag)的兩個掃描通道。最後，如果需要，調用用於編碼符號信息和剩餘值(也稱為coeff_abs_level_remaining)的多於兩個掃描通道。只有前三個掃描通道中的bin以常規模式編碼，並且這些bin在下面的描述中稱為常規bin。
在JEM中，改變常規bin的上下文建模。當在第i個掃描通道(i為0,1,2)中對bin i進行編碼時，上下文索引取決於由本地模板覆蓋的鄰域中的先前編碼係數的第i個bin的值。具體地，基於相鄰係數的第i個bin的總和來確定上下文索引。
如圖24所示，本地模板包含多達五個空間相鄰變換係數，其中x指示當前變換係數的位置，並且xi(i為0至4)指示其五個鄰居。為了捕獲不同頻率的變換係數的特性，可以將一個編碼塊劃分為多達三個區域，並且無論編碼塊尺寸如何，劃分方法都是固定的。例如，當對亮度變換係數的bin0進行編碼時，將一個編碼塊劃分為使用不同顏色標記的三個區域，並列出分配給每個 區域的上下文索引。亮度和色度分量以類似的方式處理，但具有分開的上下文模型集。此外，亮度分量的bin0(即，有效標誌)的上下文模型選擇進一步取決於變換尺寸。
3.2 多假設概率估計的示例
二進位算術編碼器基於與每個上下文模型相關聯的兩個概率估計P0和P1應用「多假設」概率更新模型，並且以不同的自我調整速率獨立地更新如下：
Figure 108125900-A0305-02-0040-15
其中，
Figure 108125900-A0305-02-0040-16
和
Figure 108125900-A0305-02-0040-17
(j=0,1)分別表示解碼bin之前和之後的概率。變數Mi(為4,5,6,7)是控制索引等於i的上下文模型的概率更新速度的參數；並且k表示概率的精度(本文等於15)。
用於二進位算術編碼器中的間隔細分的概率估計P是來自兩個假設的估計的平均值：P=(P 0 new +P 1 new )/2 (16)
在JEM中，控制每個上下文模型的概率更新速度的等式(15)中使用的參數Mi的值被分配如下：在編碼器側，記錄與每個上下文模型相關聯的編碼的bin。在對一個條帶進行編碼之後，對於索引等於i的每個上下文模型，計算使用不同的Mi值(為4,5,6,7)的速率成本，並選擇提供最小速率成本的一個Mi值。為簡單起見，僅在遇到條帶類型和條帶級 別量化參數的新組合時才執行該選擇過程。
針對每個上下文模型i信令通知1位元標誌以指示Mi是否不同於預設值4。當標誌為1時，使用兩個位元來指示Mi是否等於5、6或7。
3.3 上下文模型的初始化的示例
代替在HEVC中使用用於上下文模型的初始化的固定表格，可以通過從先前編碼的圖像複製狀態來初始化用於幀間編碼的條帶的上下文模型的初始概率狀態。更具體地，在對每個圖像的中心定位的CTU進行編碼之後，儲存所有上下文模型的概率狀態以用作後續圖像上的對應上下文模型的初始狀態。在JEM中，從具有與當前條帶相同的條帶類型和相同的條帶級別QP的先前編碼的圖像的儲存狀態中複製每個幀間編碼條帶的初始狀態集。這缺乏損耗穩固性，但在當前的JEM方案中用於編碼效率實驗目的。
4.有關實施例和方法的示例
與所公開的技術有關的方法包括擴展的LAMVR，其中支持的運動向量解析度範圍從1/4像素到4像素(1/4像素、1/2像素、1像素、2像素和4像素)。當信令通知MVD信息時，在CU級別信令通知關於運動向量解析度的信息。
取決於CU的解析度，調整CU的運動向量(MV)和運動向量預測器(MVP)兩者。如果應用的運動向量解析度表示為R(R可以是¼、½、1、2、4)，則MV(MVx，MVy)和MVP(MVPx， MVPy)表示如下：(MVx,MVy)=(Round(MVx/(R*4))*(R*4),Round(MVy/(R*4))*(R*4))
(MVPx,MVPy)=(Round(MVPx/(R*4))*(R*4),Round(MVPy/(R*4))*(R*4))
因為運動向量預測器和MV兩者都由自我調整解析度調整，因此MVD(MVDx，MVDy)也與解析度對準，並且根據解析度信令通知如下：(MVDx,MVDy)=((MVx-MVPx)/(R*4),(MVy-MVPy)/R*4))
在該提議中，運動向量解析度索引(MVR索引)指示MVP索引以及運動向量解析度。結果，所提議的方法沒有MVP索引信令。表格示出了MVR索引的每個值所表示的內容。
Figure 108125900-A0305-02-0042-18
在雙向預測的情況下，AMVR針對每種解析度具有3種模式。AMVR雙向索引指示是否信令通知每個參考列表(列表0或列表1)的MVDx、MVDy。AMVR雙向索引的示例定義如下表所示。
表格4 AMVR雙向索引的示例
Figure 108125900-A0305-02-0043-19
5.現有實現方式的示例
在使用BIO的一個現有實現方式中，清單0中的參考塊/子塊(由refblk0表示)和列表1中的參考塊/子塊(refblk1)之間的計算的MV--由(vx,vy)表示--僅用於當前塊/子塊的運動補償，並且不用於未來編碼塊的運動預測、去方塊、OBMC等，這可能是低效的。
在使用OBMC的另一個現有實現方式中，對於AMVP模式，在編碼器處確定是否對小塊(寬度*高度<=256)啟用OBMC，並且信令通知解碼器。這增加了編碼器的複雜度。同時，對於給定的塊/子塊，當啟用OBMC時，它總是應用於亮度和色度，這可能導致編碼效率下降。
6.用於基於更新的MV的運動預測的示例方法
當前公開的技術的實施例克服了現有實現方式的缺點，從而提供具有更高編碼效率的視訊編碼。基於所公開的技術，使用更新的運動向量的運動預測可以增強現有和未來的視訊編碼標準，在以下針對各種實現方式所描述的示例中闡明。以下提供的所公開技術的示例解釋了一般概念，並不意味著被解釋為限制性 的。在一個示例中，除非明確地相反指示，否則可以組合這些示例中描述的各種特徵。
關於術語，來自列表0和清單1的當前圖像的參考圖像分別表示為Ref0和Ref1。取τ0=POC(當前)-POC(Ref0)，τ1=POC(Ref1)-POC(當前)，並分別由refblk0和refblk1表示來自Ref0和Ref1的當前塊的參考塊。對於當前塊中的子塊中，refblk0中其對應子塊的指向refblk1的MV由(vx,vy)表示。Ref0和Ref1中的子塊的MV分別由(mvL0x,mvL0y)和(mvL1x,mvL1y)表示。如本專利文件中所述，可以將用於運動預測的更新的基於運動向量的方法擴展到現有和未來的視訊編碼標準中。
示例1。提議修改BIO編碼塊的運動信息(例如，與運動補償中使用的不同)，其可以在稍後使用，諸如在隨後運動預測(例如，TMVP)過程中。
(a)在一個示例中，提議縮放在BIO中導出的MV(vx,vy)並將其相加到當前塊/子塊的原始MV(mvLXx,mvLXy)(X=0或1)。更新的MV計算如下：mvL0’x=-vx *(τ0/(τ0+τ1))+mvL0x，mvL0’y=-vy*(τ0/(τ0+τ1))+mvL0y，以及mvL1’x=vx *(τ1/(τ0+τ1))+mvL1x，mvL1’y=vy *(τ1/(τ0+τ1))+mvL1y。
(i)在一個示例中，更新的MV用於未來的運動預測(如在AMVP、Merge和仿射模式中)、去方塊(deblocking)、OBMC等。
(ii)替代地，更新的MV僅可以用於按解碼順序對其非 緊隨的CU/PU的運動預測。
(iii)替代地，更新的MV僅可以在AMVP、Merge或仿射模式中用作TMVP。
示例2。提議對於BIO、DMVR、FRUC、模板匹配或需要從位元流中導出的那些更新MV(或包括MV和/或參考圖像的運動信息)的其他方法，使用更新的運動信息可能受到約束。
(a)如果可以在子塊級別更新運動信息，則可以儲存不同子塊的更新和未更新的運動信息兩者。在一個示例中，可以儲存一些子塊的更新的運動信息，並且對於其他剩餘的子塊，儲存未更新的運動信息。
(b)在一個示例中，如果在子塊級別更新MV(或運動信息)，則僅針對內部子塊(即，不在PU/CU/CTU邊界處的子塊)儲存更新的MV，並且然後將其用於運動預測、去方塊、OBMC等，如圖25所示。
(c)在一個示例中，更新的MV或運動信息不用於運動預測和OBMC。替代地，另外，更新的MV或運動信息不用於去方塊。
(d)在一個示例中，更新的MV或運動信息僅用於運動補償和時間運動預測，如TMVP/ATMVP。
示例3。提議取決於編碼模式、運動信息、PU/CU/塊的尺寸或位置隱式地啟用/禁用OBMC，並且因此不信令通知OBMC標誌。
(a)在一個示例中，如果滿足以下條件中的一個，則對於在AMVP模式或AFFINE_INTER模式中編碼的PU/CU/塊禁用OBMC(其中w和h是PU/CU/塊的寬度和高度)。
(i)w×h<=T
(ii)w<=T && h<=T
(b)在一個示例中，對於在Merge模式和AFFINE_MERGE模式中編碼的PU/CU/塊總是啟用OBMC。
(c)替代地，另外，垂直和水平OBMC分開被禁用/啟用。如果PU/CU/塊的高度小於T，則禁用垂直OBMC。如果PU/CU/塊的寬度小於T，則禁用水平OBMC。
(d)在一個示例中，在對於頂部CTU邊界處的PU/CU/塊/子塊的OBMC中不使用來自上方行的相鄰MV。
(e)在一個示例中，在對於左側CTU邊界處的PU/CU/塊/子塊的OBMC中不使用來自左側列的相鄰MV。
(f)在一個示例中，僅啟用對於單向預測的PU/CU/塊/子塊的OBMC。
(g)在一個示例中，對於其MVD解析度大於或等於整數像素的PU/CU/塊禁用OBMC。
示例4。提議OBMC是否被啟用可以取決於當前PU/CU/塊/子塊及其相鄰PU/CU/塊/子塊的運動信息。
(a)在一個示例中，如果相鄰PU/CU/塊/子塊具有與當前PU/CU/塊/子塊相當不同(quite different)的運動信息，則其運 動信息不在OBMC中使用。
(i)在一個示例中，相鄰PU/CU/塊/子塊具有與當前PU/CU/塊/子塊不同的預測方向或參考圖像。
(ii)在一個示例中，相鄰PU/CU/塊/子塊具有與當前PU/CU/塊/子塊的相同的預測方向和參考圖像，然而，在預測方向X(X=0或1)上的相鄰PU/CU/塊/子塊和當前PU/CU/塊/子塊之間的絕對水平/垂直MV差異大於給定閾值MV_TH。
(b)替代地，如果相鄰PU/CU/塊/子塊具有與當前PU/CU/塊/子塊類似(similar)的運動信息，則其運動信息不在OBMC中使用。
(i)在一個示例中，相鄰PU/CU/塊/子塊具有與當前PU/CU/塊/子塊相同的預測方向和參考圖像，並且在所有預測方向上的相鄰PU/CU/塊/子塊和當前PU/CU/塊/子塊之間的絕對水平/垂直MV差異小於給定閾值MV_TH。
實施例5。提議在ATMVP/STMVP、仿射模式或PU/CU內的每個子塊(尺寸為N×M)具有單獨的運動信息的其他模式中，可以以與子塊尺寸不同的塊尺寸執行OBMC。
(a)在一個示例中，子塊尺寸為4×4，並且OBMC僅在8×8塊邊界處執行。
示例6。提議在OBMC中處理多少行/列可以取決於PU/CU/塊/子塊尺寸。
(a)在一個示例中，如果PU/CU/塊/子塊的寬度大於N，則處理PU/CU/塊/子塊的4個左側列；否則，僅處理PU/CU/塊/子塊的2(或1)個左側列。
(b)在一個示例中，如果PU/CU/塊/子塊的高度大於N，則處理PU/CU/塊/子塊的4個上方行；否則，僅處理PU/CU/塊/子塊的2(或1)個上方行。
示例7。提議獨立地啟用/禁用用於亮度和色度分量的OBMC，並且示例2和3中描述的規則可以單獨地應用於每個分量。
示例8。提議在使用相鄰運動信息生成預測塊時使用短階內插濾波器(如雙線性、4階或6階濾波器)。
(a)在一個示例中，不對稱6階濾波器用於亮度分量。對於子像素位置，左側/上側的4個像素和右側/下側的2個像素用於內插。
示例9。所提議的方法可以應用於某些模式、塊尺寸/形狀和/或某些子塊尺寸。
(a)所提議的方法可以應用於某些模式，諸如傳統的平移運動(即，禁用仿射模式)。
(b)所提議的方法可以應用於某些塊尺寸。
(i)在一個示例中，它僅應用於具有w×h
Figure 108125900-A0305-02-0048-43
T的塊，其中w和h是當前塊的寬度和高度。
(ii)在另一個示例中，它僅應用於w
Figure 108125900-A0305-02-0048-44
T&&h
Figure 108125900-A0305-02-0048-45
T的塊。
實施例10。所提議的方法可以應用於所有色度分量。替代地，它們可以僅應用於某些色度分量。例如，它們可以僅應用於亮度分量。
以上描述的示例可以併入在下面描述的方法的上下文中，例如，方法2600和方法2700，其可以在視訊解碼器處實現。
圖26示出了用於視訊解碼的示例性方法的流程圖。方法2600包括，在步驟2610，接收視訊資料的當前塊的位元流表示。
方法2600包括，在步驟2620，基於第一運動向量與第一參考運動向量和第二參考運動向量的加權和來分別生成更新的第一參考運動向量和更新的第二參考運動向量。在一些實施例中，基於來自第一參考塊的第一參考運動向量和來自第二參考塊的第二參考運動向量來導出第一運動向量，並且當前塊與第一參考塊和第二參考塊相關聯。
方法2600包括，在步驟2630，基於更新的第一參考運動向量和更新的第二參考運動向量來處理位元流表示從而生成當前塊。
在一些實施例中，並且如在示例1的上下文中所描述的，基於使用第一參考運動向量和第二參考運動向量的雙向光流(BIO)細化來導出第一運動向量。在示例中，加權和包括基於當前塊、第一參考塊和第二參考塊的圖像順序計數(POC)的權重。
在一些實施例中，該處理可以基於雙向光流(BIO)細化、解碼器側運動向量細化(DMVR)、畫面播放速率上轉換(FRUC) 技術或模板匹配技術。在一個示例中，對不在當前塊的邊界上的內部子塊生成更新的第一參考運動向量和更新的第二參考運動向量。在另一示例中，對當前塊的子塊的子集生成更新的第一參考運動向量和更新的第二參考運動向量。
在一些實施例中，處理不包括運動預測或重疊塊運動補償(OBMC)。
圖27示出了用於視訊解碼的另一個示例性方法的流程圖。方法2700包括，在步驟2710，確定當前塊和對應的相鄰塊。
方法2700包括，在步驟2720，基於當前塊的特性選擇性地實施重疊塊的運動補償(OBMC)，以構造當前塊的最終預測塊，作為從當前塊的運動向量導出的預測塊和從一個或多個相鄰塊的運動向量導出的預測塊的加權和。
方法2700包括，在步驟2730，基於當前塊的最終預測塊，執行當前塊與包括當前塊的視訊資料的位元流表示之間的轉換。
在一些實施例中，特性包括圖像中當前塊的尺寸(dimension)或當前塊的位置。在其他實施例中，特性包括當前塊的運動信息。在一個示例中，如果當前塊的運動信息與相鄰塊的運動信息不同，則可以不使用OBMC。在另一示例中，如果當前塊的運動信息與相鄰塊的運動信息相同，則可以使用OBMC。
在一些實施例中，並且如在示例7的上下文中所描述的，OBMC可以獨立地應用於亮度和色度分量。在一個示例中，OBMC被應用於當前塊的色度分量，並且其中OBMC不被應用於當前塊 的亮度分量。在另一個示例中，OBMC被應用於當前塊的亮度分量，並且其中OBMC不被應用於當前塊的色度分量。
在一些實施例中，並且如在示例6的上下文中所描述的，處理位元流表示包括使用OBMC處理當前塊的預定數目的行或列，並且其中預定數目基於當前塊的子塊的尺寸。
7．所公開的技術的示例實現方式
圖28是視訊處理裝置2800的框圖。裝置2800可以用於實現本文描述的一種或多種方法。裝置2800可以實施在智慧手機、平板電腦、電腦、物聯網(IoT)接收器等中。裝置2800可以包括一個或多個處理器2802、一個或多個記憶體2804和視訊處理電路2806。(一個或多個)處理器2802可以被配置為實現本文件中描述的一種或多種方法(包括但不限於方法2600和方法2700)。(一個或多個)記憶體2804可以用於儲存用於實現本文描述的方法和技術的資料和代碼。視訊處理電路2806可以用於在硬體電路中實現本文件中描述的一些技術。
在一些實施例中，視訊編碼方法可以使用在如關於圖28所描述的硬體平臺上實現的裝置來實現。
可以在以下示例列表中描述本文件中公開的各種實施例和技術。
一種處理視訊資料的方法，包括：確定當前塊和對應的相鄰塊；並且基於當前塊的特性選擇性地實施重疊塊的運動補償(OBMC)， 以構造當前塊的最終預測塊，作為從當前塊的運動向量導出的預測塊和從一個或多個相鄰塊的運動向量導出的預測塊的加權和；以及基於當前塊的最終預測塊，執行當前塊與包括當前塊的視訊資料的位元流表示之間的轉換。
2．如示例1的方法，其中特性包括以下中的一個或多個：編碼模式、運動信息、當前塊的尺寸、或者當前塊在圖像中的位置。
3．如示例1或2的方法，其中以高級運動向量預測(AMVP)模式或仿射AMVP模式對當前塊進行預測，並且如果滿足以下條件中的至少一個，則OBMC不應用於當前塊：(i)w×h<=S，(ii)w<=T1 && h<=T2，其中w和h是當前塊的寬度和高度，並且S、T1、T2是給定閾值。
4．如示例1或2的方法，其中以Merge模式或仿射Merge模式對當前塊進行預測，OBMC應用於當前塊。
5．如示例1或2的方法，其中OBMC包括垂直OBMC和水平OBMC，並且垂直OBMC和水平OBMC分開地被選擇性地應用於當前塊。
6．如示例5的方法，其中在當前塊的高度小於T1的情況下，垂直OBMC不應用於當前塊，其中T1是給定閾值。
7．如示例5的方法，其中在當前塊的寬度小於T2的情況下，水平OBMC不應用於當前塊，其中T2是給定閾值。
8．如示例1或2的方法，其中當前塊位於頂部編碼樹單元(CTU)邊界，OBMC應用於當前塊，並且來自上方行的相鄰MV不用於OBMC。
9．如示例1或2的方法，其中當前塊位於左側CTU邊界，OBMC應用於當前塊，並且來自左側列的相鄰MV不用於OBMC。
10．如示例1或2的方法，其中當前塊具有大於或等於整數像素的運動向量差異(MVD)解析度，並且OBMC不應用於當前塊。
11．如示例1或2的方法，其中基於所述當前塊的特性選擇性地實施重疊塊的運動補償(OBMC)，以構造所述當前塊的最終預測塊，包括：確定當前塊是否是單向預測塊，以及如果當前塊是單向預測塊，則執行OBMC，否則，不執行OBMC。
12．如示例1或2的方法，其中OBMC應用於當前塊的色度分量，並且其中OBMC不應用於當前塊的亮度分量。
13．如示例1或2的方法，其中OBMC應用於當前塊的亮度分量，並且其中OBMC不應用於當前塊的色度分量。
14．如示例1或2的方法，其中相鄰塊具有與當前塊不 同的預測方向或不同的參考圖像，並且相鄰塊的運動信息不在當前塊的OBMC中使用。
15．如示例1或2的方法，其中相鄰塊的預測方向和參考圖像與當前塊的預測方向和參考圖像相同，在所述預測方向上所述相鄰塊和所述當前塊之間的水平方向或垂直方向絕對運動向量(MV)差異大於給定閾值MV_TH，並且相鄰塊的運動信息不在當前塊的OBMC中使用。
16．如示例1或2的方法，其中相鄰塊的所有預測方向和參考圖像與當前塊的預測方向和參考圖像相同，在所有預測方向上相鄰塊和當前塊之間的水平方向或垂直方向的絕對運動向量(MV)差異小於給定閾值MV_TL，並且相鄰塊的運動信息不在當前塊的OBMC中使用。
17．如示例1或2的方法，其中實施當前塊的預定數目的行或列的OBMC，並且其中預定數目基於當前塊的子塊的尺寸N*M。
18．如示例17的方法，其中如果當前塊的寬度大於N，則處理當前塊的四個左側列；否則，僅處理當前塊的兩個或一個左側列。
19．如示例17的方法，其中如果當前塊的高度大於N，則處理當前塊的四個上方行；否則，僅處理當前塊的兩個或一個上方行。
20．如示例1或2的方法，其中以替代時間運動向量預 測(ATMVP)、空時運動向量預測(STMVP)或仿射模式對當前塊進行預測，其中當前塊內的第一子塊尺寸的每個子塊具有單獨的運動信息，OBMC以與第一子塊尺寸不同的第二子塊尺寸執行。
21．如示例20的方法，其中第一子塊尺寸是4×4，並且OBMC僅在8×8塊的塊邊界處執行。
22．一種視訊系統中的裝置，包括處理器和其上具有指令的非暫時性記憶體，其中指令在由處理器執行時使處理器實現示例1至21中任一項的方法。
23．一種儲存在非暫時性電腦可讀介質上的電腦程式產品，電腦程式產品包括用於實施如示例1至21中任一項的方法的程式碼。
從前述內容可以理解，本文已經出於說明的目的描述了本公開技術的具體實施例，但是在不脫離本發明的範圍的情況下可以進行各種修改。因此，除了所附申請專利範圍之外，本發明所公開的技術不受限制。
本專利文件描述的主題和功能操作的實現方式可以以各種系統實現，以數位電子電路實現，或者以電腦軟體、韌體或硬體實現，包括本說明書中公開的結構及其結構等同物，或者以它們中的一個或多個的組合實現。本說明書所描述的主題的實現方式可以實現為一個或多個電腦程式產品，即，在有形和非暫時性電腦可讀介質上編碼的一個或多個電腦程式指令模組，用於由資 料處理裝置執行或控制資料處理裝置的操作。電腦可讀介質可以是機器可讀存放裝置、機器可讀儲存基板、記憶體設備、影響機器可讀傳播信號的物質組合、或者它們中的一個或多個的組合。術語「資料處理單元」或「資料處理裝置」涵蓋用於處理資料的所有裝置、設備和機器，包括例如可程式設計處理器、電腦或多個處理器或電腦。除了硬體之外，該裝置還可以包括為所討論的電腦程式創建執行環境的代碼，例如，構成處理器韌體、協定疊、資料庫管理系統、作業系統、或者它們中的一個或多個的組合的代碼。
電腦程式(也稱為程式、軟體、軟體應用、腳本或代碼)可以以任何形式的程式設計語言編寫，包括編譯或解釋語言，並且可以以任何形式來部署電腦程式，包括作為獨立程式或作為適合在計算環境中使用的模組、元件、子常式或其他單元。電腦程式不一定對應於文件案系統中的文件。程式可以儲存在保存其他程式或資料的文件的一部分中(例如，儲存在標記語言文件中的一個或多個腳本)，儲存在專用於所討論的程式的單個文件中，或儲存在多個協調文件中(例如，儲存一個或多個模組、副程式或代碼部分的文件)。可以部署電腦程式以在一個電腦上或在位於一個網站上或分佈在多個網站上並由通信網路互連的多個電腦上執行。
本說明書中描述的過程和邏輯流程可以由執行一個或多個電腦程式的一個或多個可程式設計處理器執行，以通過對輸入 資料進行操作並生成輸出來執行功能。過程和邏輯流程也可以由專用邏輯電路執行，並且裝置也可以實現為專用邏輯電路，例如FPGA(現場可程式設計閘陣列)或ASIC(專用積體電路)。
舉例來說，適合於執行電腦程式的處理器包括通用和專用微處理器、以及任何種類的數位電腦的任何一個或多個處理器。通常，處理器將從唯讀記憶體或隨機存取記憶體或兩者接收指令和資料。電腦的基本元件是用於執行指令的處理器和用於儲存指令和資料的一個或多個記憶體設備。通常，電腦還將包括或可操作地耦合到用於儲存資料的一個或多個大型存放區設備，例如磁片、磁光碟或光碟，以從該一個或多個大型存放區設備接收資料，或將資料傳遞到該一個或多個大型存放區設備，或者既接收又傳遞資料。然而，電腦不需要具有這樣的設備。適用於儲存電腦程式指令和資料的電腦可讀介質包括所有形式的非易失性記憶體、介質和記憶體設備，舉例來說，包括半導體記憶體設備，例如EPROM、EEPROM和快閃記憶體設備。處理器和記憶體可以由專用邏輯電路補充或併入專用邏輯電路中。
旨在將說明書與附圖一起僅視為示例性的，其中示例性意味著示例。如本文所使用的，單數形式「一」、「一個」和「該」旨在也包括複數形式，除非上下文另有明確說明。另外，除非上下文另有明確說明，否則「或」的使用旨在包括「和/或」。
雖然本專利文件包含許多細節，但這些細節不應被解釋為對任何發明或可要求保護的範圍的限制，而是作為特定於特定 發明的特定實施例的特徵的描述。在本專利文件中，在分開的實施例的上下文中描述的某些特徵也可以在單個實施例中組合實現。相反，在單個實施例的上下文中描述的各種特徵也可以分開地或以任何合適的子組合在多個實施例中實現。此外，儘管上面的特徵可以描述為以某些組合起作用並且甚至最初如此要求保護，但是在一些情況下，可以從所要求保護的組合中去除來自該組合的一個或多個特徵，並且所要求保護的組合可以指向子組合或子組合的變型。
類似地，雖然在附圖中以特定順序描繪了操作，但是這不應該被理解為要求以所示的特定順序或按循序執行這樣的操作，或者執行所有示出的操作，以實現期望的結果。此外，在本專利文件中描述的實施例中的各種系統元件的分離不應被理解為在所有實施例中都要求這樣的分離。
僅描述了幾個實現方式和示例，並且可以基於本專利文件中描述和示出的內容來做出其他實現方式、增強和變型。
2700:方法
2710~2730:步驟

Claims (22)

  1. 一種處理視訊資料的方法，包括：確定當前塊和對應的相鄰塊；並且基於所述當前塊的特性選擇性地實施重疊塊的運動補償(OBMC)，以構造所述當前塊的最終預測塊，作為從所述當前塊的運動向量導出的預測塊和從一個或多個相鄰塊的運動向量導出的預測塊的加權和；以及基於所述當前塊的最終預測塊，執行所述當前塊與包括所述當前塊的視訊資料的位元流表示之間的轉換，其中所述特性包括以下中的一個或多個：編碼模式、運動信息、所述當前塊的尺寸、或者所述當前塊在圖像中的位置。
  2. 如申請專利範圍第1項所述的方法，其中以高級運動向量預測(AMVP)模式或仿射AMVP模式對所述當前塊進行預測，並且如果滿足以下條件中的至少一個，則所述OBMC不應用於所述當前塊：(i)w×h<=S，(ii)w<=T1 && h<=T2，其中w和h是所述當前塊的寬度和高度，並且S、T1、T2是給定閾值。
  3. 如申請專利範圍第1項所述的方法，其中以Merge模式或仿射Merge模式對所述當前塊進行預測，所述OBMC應用於所述當前塊。
  4. 如申請專利範圍第1項所述的方法，其中所述OBMC包括垂直OBMC和水平OBMC，並且所述垂直OBMC和所述水平OBMC分開地被選擇性地應用於所述當前塊。
  5. 如申請專利範圍第4項所述的方法，其中在所述當前塊的高度小於T1的情況下，所述垂直OBMC不應用於所述當前塊，其中T1是給定閾值。
  6. 如申請專利範圍第4項所述的方法，其中在所述當前塊的寬度小於T2的情況下，所述水平OBMC不應用於所述當前塊，其中T2是給定閾值。
  7. 如申請專利範圍第1項所述的方法，其中所述當前塊位於頂部編碼樹單元(CTU)邊界，所述OBMC應用於所述當前塊，並且來自上方行的相鄰MV不用於OBMC。
  8. 如申請專利範圍第1項所述的方法，其中所述當前塊位於左側CTU邊界，所述OBMC應用於所述當前塊，並且來自左側列的相鄰MV不用於OBMC。
  9. 如申請專利範圍第1項所述的方法，其中所述當前塊具有大於或等於整數像素的運動向量差異(MVD)解析度，並且所述OBMC不應用於所述當前塊。
  10. 如申請專利範圍第1項所述的方法，其中基於所述當前塊的特性選擇性地實施重疊塊的運動補償(OBMC)，以構造所述當前塊的最終預測塊，包括：確定所述當前塊是否是單向預測塊，以及 如果所述當前塊是單向預測塊，則執行所述OBMC，否則，不執行OBMC。
  11. 如申請專利範圍第1項所述的方法，其中所述OBMC應用於所述當前塊的色度分量，並且其中所述OBMC不應用於所述當前塊的亮度分量。
  12. 如申請專利範圍第1項所述的方法，其中所述OBMC應用於所述當前塊的亮度分量，並且其中所述OBMC不應用於所述當前塊的色度分量。
  13. 如申請專利範圍第1項所述的方法，其中所述相鄰塊具有與所述當前塊不同的預測方向或不同的參考圖像，並且所述相鄰塊的運動信息不在所述當前塊的OBMC中使用。
  14. 如申請專利範圍第1項所述的方法，其中所述相鄰塊的預測方向和參考圖像與所述當前塊的預測方向和參考圖像相同，在所述預測方向上所述相鄰塊和所述當前塊之間的水平方向或垂直方向的絕對運動向量(MV)差異大於給定閾值MV_TH，並且所述相鄰塊的運動信息不在所述當前塊的OBMC中使用。
  15. 如申請專利範圍第1項所述的方法，其中所述相鄰塊的所有預測方向和參考圖像與所述當前塊的預測方向和參考圖像相同，在所有預測方向上所述相鄰塊和所述當前塊之間的水平方向或垂直方向的絕對運動向量(MV)差異小於給定閾值MV_TL，並且所述相鄰塊的運動信息不在所述當前塊的OBMC中使用。
  16. 如申請專利範圍第1項所述的方法，其中實施所述當前塊的預定數目的行或列的OBMC，並且其中所述預定數目基於所述當前塊的子塊的尺寸N*M。
  17. 如申請專利範圍第16項所述的方法，其中如果所述當前塊的寬度大於N，則處理所述當前塊的四個左側列；否則，僅處理所述當前塊的兩個或一個左側列。
  18. 如申請專利範圍第16項所述的方法，其中如果所述當前塊的高度大於N，則處理所述當前塊的四個上方行；否則，僅處理所述當前塊的兩個或一個上方行。
  19. 如申請專利範圍第1項所述的方法，其中以可選時間運動向量預測(ATMVP)、空時運動向量預測(STMVP)或仿射模式對所述當前塊進行預測，其中所述當前塊內的第一子塊尺寸的每個子塊具有單獨的運動信息，所述OBMC以與所述第一子塊尺寸不同的第二塊尺寸執行。
  20. 如申請專利範圍第19項所述的方法，其中所述第一子塊尺寸是4×4，並且所述OBMC僅在8×8塊的塊邊界處執行。
  21. 一種視訊系統中的裝置，包括處理器和其上具有指令的非暫時性記憶體，其中所述指令在由所述處理器執行時使所述處理器實施申請專利範圍第1至20項中任一項所述的方法。
  22. 一種儲存在非暫時性電腦可讀介質上的電腦程式產品，所述電腦程式產品包括用於實施如申請專利範圍第1至20項中任一項所述的方法的程式碼。
TW108125900A 2018-07-20 2019-07-22 基於更新的運動矢量的運動預測 TWI734147B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN2018096384 2018-07-20
WOPCT/CN2018/096384 2018-07-20

Publications (2)

Publication Number Publication Date
TW202023283A TW202023283A (zh) 2020-06-16
TWI734147B true TWI734147B (zh) 2021-07-21

Family

ID=68051836

Family Applications (3)

Application Number Title Priority Date Filing Date
TW108125900A TWI734147B (zh) 2018-07-20 2019-07-22 基於更新的運動矢量的運動預測
TW108125902A TWI723472B (zh) 2018-07-20 2019-07-22 基於更新的運動向量的運動預測
TW108125901A TWI709332B (zh) 2018-07-20 2019-07-22 基於更新的運動矢量的運動預測

Family Applications After (2)

Application Number Title Priority Date Filing Date
TW108125902A TWI723472B (zh) 2018-07-20 2019-07-22 基於更新的運動向量的運動預測
TW108125901A TWI709332B (zh) 2018-07-20 2019-07-22 基於更新的運動矢量的運動預測

Country Status (3)

Country Link
CN (3) CN110740327B (zh)
TW (3) TWI734147B (zh)
WO (3) WO2020016858A1 (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220264146A1 (en) * 2019-07-01 2022-08-18 Interdigital Vc Holdings France, Sas Bi-prediction refinement in affine with optical flow
CN111654708B (zh) * 2020-06-07 2022-08-23 咪咕文化科技有限公司 一种运动矢量获取方法、装置及电子设备
CN111901590B (zh) * 2020-06-29 2023-04-18 北京大学 一种用于帧间预测的细化运动矢量存储方法及装置
CN112004097B (zh) * 2020-07-30 2021-09-14 浙江大华技术股份有限公司 帧间预测方法、图像处理装置以及计算机可读存储介质
AU2021409970A1 (en) * 2020-12-22 2023-05-25 Qualcomm Incorporated Overlapped block motion compensation
US20220201282A1 (en) * 2020-12-22 2022-06-23 Qualcomm Incorporated Overlapped block motion compensation
EP4309366A1 (en) * 2021-03-18 2024-01-24 Vid Scale, Inc. Temporal structure-based conditional convolutional neural networks for video compression
US20240155148A1 (en) * 2021-03-18 2024-05-09 Vid Scale, Inc. Motion flow coding for deep learning based yuv video compression

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130128974A1 (en) * 2011-11-18 2013-05-23 Qualcomm Incorporated Adaptive overlapped block motion compensation
US20160219302A1 (en) * 2015-01-26 2016-07-28 Qualcomm Incorporated Overlapped motion compensation for video coding
WO2018056602A1 (ko) * 2016-09-22 2018-03-29 엘지전자 주식회사 영상 코딩 시스템에서 인터 예측 방법 및 장치

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107465922B (zh) * 2011-11-08 2020-10-09 株式会社Kt 利用解码装置对视频信号进行解码的方法
WO2016165069A1 (en) * 2015-04-14 2016-10-20 Mediatek Singapore Pte. Ltd. Advanced temporal motion vector prediction in video coding
CN105578195B (zh) * 2015-12-24 2019-03-12 福州瑞芯微电子股份有限公司 一种h.264帧间预测系统
KR20180129860A (ko) * 2016-04-25 2018-12-05 엘지전자 주식회사 영상 코딩 시스템에서 인터 예측 방법 및 장치

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130128974A1 (en) * 2011-11-18 2013-05-23 Qualcomm Incorporated Adaptive overlapped block motion compensation
US20160219302A1 (en) * 2015-01-26 2016-07-28 Qualcomm Incorporated Overlapped motion compensation for video coding
WO2018056602A1 (ko) * 2016-09-22 2018-03-29 엘지전자 주식회사 영상 코딩 시스템에서 인터 예측 방법 및 장치

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
"CE10.2.3 Generalized OBMC from J0022" Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 11th Meeting: Ljubljana, SI, 10–18 July 2018 *

Also Published As

Publication number Publication date
WO2020016858A1 (en) 2020-01-23
TW202008786A (zh) 2020-02-16
WO2020016857A1 (en) 2020-01-23
WO2020016859A2 (en) 2020-01-23
CN110740321A (zh) 2020-01-31
TW202008787A (zh) 2020-02-16
CN110740327A (zh) 2020-01-31
CN110740321B (zh) 2022-03-25
CN110740327B (zh) 2022-05-31
CN110740332A (zh) 2020-01-31
CN110740332B (zh) 2022-09-13
WO2020016859A3 (en) 2020-03-05
TW202023283A (zh) 2020-06-16
TWI723472B (zh) 2021-04-01
TWI709332B (zh) 2020-11-01

Similar Documents

Publication Publication Date Title
TWI735929B (zh) 更新的mv或推導的mv的裁剪
TWI827681B (zh) 具有自適應運動矢量分辨率的仿射模式的語法重用
TWI706670B (zh) 廣義運動向量差解析度
CN111010569B (zh) Bio中的时间梯度计算的改善
TWI734147B (zh) 基於更新的運動矢量的運動預測
CN117880513A (zh) 基于编解码信息的解码器侧运动矢量推导的限制
TW202025743A (zh) 兩步幀間預測
CN110809164B (zh) Bio中的mv精度