TWI746994B - 用於不同參考列表的不同精確度 - Google Patents

用於不同參考列表的不同精確度 Download PDF

Info

Publication number
TWI746994B
TWI746994B TW108121349A TW108121349A TWI746994B TW I746994 B TWI746994 B TW I746994B TW 108121349 A TW108121349 A TW 108121349A TW 108121349 A TW108121349 A TW 108121349A TW I746994 B TWI746994 B TW I746994B
Authority
TW
Taiwan
Prior art keywords
motion
resolution
value set
accuracy value
patent application
Prior art date
Application number
TW108121349A
Other languages
English (en)
Other versions
TW202002646A (zh
Inventor
劉鴻彬
張莉
張凱
王悅
Original Assignee
大陸商北京字節跳動網絡技術有限公司
美商字節跳動有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 大陸商北京字節跳動網絡技術有限公司, 美商字節跳動有限公司 filed Critical 大陸商北京字節跳動網絡技術有限公司
Publication of TW202002646A publication Critical patent/TW202002646A/zh
Application granted granted Critical
Publication of TWI746994B publication Critical patent/TWI746994B/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/523—Motion estimation or motion compensation with sub-pixel accuracy
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/521—Processing of motion vectors for estimating the reliability of the determined motion vectors or motion vector field, e.g. for smoothing the motion vector field or for correcting motion vectors

Abstract

一種處理視頻位元流的方法，包括確定第一參考圖片清單和第二參考圖片清單。為第一參考圖片清單中的參考圖片選擇第一運動解析度，並為第二參考圖片清單中的參考圖片選擇第二運動解析度。基於第一運動解析度和第二運動解析度，使用運動向量差（Motion Vector Difference，MVD）執行視頻塊與視頻塊的編碼表示之間的轉換。MVD表示預測運動向量和在運動補償處理期間使用的實際運動向量之間的差。第一運動解析度來自第一運動精度值集，且第二運動解析度來自第二運動精度值集。

Description

用於不同參考列表的不同精確度
本發明涉及視頻編碼和解碼技術。 [相關申請的交叉引用] 根據適用的《專利法》和/或《巴黎公約》的規定，本申請是為了及時要求2018年6月19日提交的國際專利申請PCT/CN2018/091792的優先權和權益。出於美國法律的目的，國際專利申請PCT/CN2018/091792的全部公開以引用方式併入本揭露，作為本專利文件的揭露的一部分。
數位視訊在互聯網和其他數位通信網路上佔最大的頻寬使用量。隨著能夠接收和顯示視頻的連接使用者設備的數量增加，預計數位視訊使用所需的頻寬將繼續增長。
所公開的技術可以由視頻解碼器或編碼器實施例使用，以允許靈活的信號通知和使用用於雙向預測編碼的運動向量精度，在該雙向預測編碼中運動向量使用多達兩個參考幀列表。在一個示例方面，可以允許不同的參考列表具有不同的精度。用於每個參考幀的精度可以是內容相關的或由先驗規則集定義。
在一個示例方面，一種處理視頻位元流的方法，包括確定第一參考圖片清單和第二參考圖片清單。為第一參考圖片清單中的參考圖片選擇第一運動解析度，並為第二參考圖片清單中的參考圖片選擇第二運動解析度。基於第一運動解析度和第二運動解析度，使用運動向量差（MVD）執行視頻塊與視頻塊的編碼表示之間的轉換。MVD表示預測運動向量和在運動補償處理期間使用的實際運動向量之間的差。第一運動解析度來自第一運動精度值集，且第二運動解析度來自第二運動精度值集。
在另一示例方面，一種處理視頻位元流的方法，包括：確定第一參考圖片清單和第二參考圖片清單；為第一參考圖片清單中的參考圖片選擇第一運動解析度，並為第二參考圖片清單中的參考圖片選擇第二運動解析度；以及基於第一運動解析度和第二運動解析度，使用運動向量差（Motion Vector Difference，MVD）執行視頻塊與視頻塊的編碼表示之間的轉換；其中MVD表示預測運動向量和在運動補償處理期間使用的實際運動向量之間的差，並且其中第一運動解析度來自第一運動精度值集，且第二運動解析度來自第二運動精度值，第一運動精度值集和第二運動精度值集基於所選擇的第一運動解析度或所選的第二運動解析度而變化。
在另一示例方面，上述方法可以由包括處理器的視頻解碼器裝置實現。
在另一示例方面，上述方法可以由視訊轉碼器裝置實現，該視訊轉碼器裝置包括用於在視頻編碼處理期間對編碼的視頻進行解碼的處理器。
在又一示例方面，這些方法可以以電腦可讀介質的形式體現，該電腦可讀介質具有用於實現存儲在電腦可讀程式介質上的一個或多個方法的處理器可執行指令。
在本發明中進一步描述了這些和其他方面。
本文件提供了可由視頻位元流的解碼器使用的各種技術，以改善解壓縮或解碼的數位視訊的品質。此外，視訊轉碼器還可在編碼處理期間實施這些技術，以便重建用於進一步編碼的經解碼的幀。
為了便於理解，在本文件中使用章節標題，並且不將實施例和技術限制於對應部分。這樣，來自一個部分的實施例可以與來自其他部分的實施例組合。
此外，雖然參考通用視頻編碼（Versatile Video Coding）或其他特定視頻轉碼器描述了某些實施例，但是所公開的技術也適用於其他視頻編碼技術。此外，雖然一些實施例詳細描述了視頻編碼步驟，但是應該理解，將由解碼器實施解碼撤銷（undo）編碼的對應步驟。此外，術語視頻處理包括視頻編碼或壓縮、視頻解碼或解壓縮以及視頻轉碼，其中視頻像素從一種壓縮格式表示為另一壓縮格式或以不同的壓縮位元速率表示。 2. 技術框架
視頻編碼標準主要通過開發眾所周知的ITU-T和ISO / IEC標準而發展。ITU-T產生了H.261和H.263，ISO / IEC產生了MPEG-1和MPEG-4 Visual，兩個組織聯合產生了H.262 / MPEG-2視頻和H.264 / MPEG-4先進視頻編碼（Advanced Video Coding，AVC）和H.265 / HEVC 標準。從H.262開始，視頻編碼標準基於利用時間預測加變換編碼的混合視頻編碼結構。為了探索HEVC之外的未來視頻編碼技術，由VCEG和MPEG於2015年聯合成立了聯合視頻探索團隊（Joint Video Exploration Team，JVET）。從那時起，許多新方法被JVET採用並被引入名為聯合搜索模型（Joint Exploration Model，JEM）的參考軟體中。在2018年4月，VCEG（Q6 / 16）和ISO / IEC JTC1 SC29 / WG11（MPEG）之間的聯合視頻專家組（Joint Video Expert Team, JVET）被創建用於VVC標準，目標是與HEVC相比降低50％的位元速率。 2.1. HEVC / H.265中的幀間預測（Inter Prediction）
每個幀間預測的PU具有用於一個或兩個參考圖片清單的運動參數。運動參數包括運動向量和參考圖片索引。也可以使用inter_pred_idc來信號通知兩個參考圖片清單中的一個的使用。可以將運動向量明確地編碼為相對於預測值的增量。
當用跳過模式對CU進行編碼時，一個PU與CU相關聯，並且不存在顯著的殘差係數、沒有編碼的運動向量增量或參考圖片索引。指定Merge模式，從而從相鄰PU獲得當前PU的運動參數，包括空間和時間候選。Merge模式可以應用於任何幀間預測的PU，而不僅應用於跳過模式。Merge模式的替代是運動參數的顯式傳輸，其中，對於每個PU，明確地用信號通知運動向量（更準確地說，與運動向量預測相比的運動向量差）、每個參考圖片清單的對應參考圖片索引和參考圖片清單使用。在本文件中，這種模式被稱為進階運動向量預測（Advanced Motion Vector Prediction，AMVP）。
當信令指示將使用兩個參考圖片清單中的一個時，從一個樣本塊產生PU。這被稱為“單向預測（uni-prediction）”。單向預測可用於P條帶和B條帶兩者。
當信令指示將使用兩個參考圖片清單時，從兩個樣本塊產生PU。這被稱為“雙向預測（bi-prediction）”。雙向預測僅適用於B條帶。
以下文件提供了HEVC中指定的幀間預測模式的詳細資訊。描述將從Merge模式開始。 2.1.1 Merge模式 2.1.1.1Merge模式的候選推導
當使用Merge模式預測PU時，從位元流解析指向Merge候選清單中的條目的索引並將其用於檢索運動資訊。該列表的建構（construction）在HEVC標準中指定，並且可以根據以下步驟順序進行總結： 步驟1：初始候選推導 步驟1.1：空間候選推導 步驟1.2：空間候選的冗餘校驗 步驟1.3：時間候選推導 步驟2：插入額外的候選 步驟2.1：創建雙向預測候選 步驟2.2：插入零運動候選
這些步驟也在圖1中示意性地描繪。對於空間Merge候選推導，在位於五個不同位置的候選當中選擇最多四個Merge候選。對於時間Merge候選推導，在兩個候選當中選擇最多一個Merge候選。由於在解碼器處假設恆定數量的候選用於每個PU，因此當從步驟1獲得的候選的數量未達到在條帶標題（Slice Header）中用信號通知的最大Merge候選數量（MaxNumMergeCand）時，生成額外的候選。由於候選的數量是恒定的，因此使用截斷的一元二值化（Truncated Unary binarization，TU）來編碼最佳Merge候選的索引。如果CU的尺寸等於8，則當前CU的所有PU共用單個Merge候選列表，其與2N×2N預測單元的Merge候選清單相同。
在下文中，詳細描述了與上述步驟相關的操作。 2.1.1.2空間候選推導
在空間Merge候選的推導中，在位於圖2描繪的位置的候選當中選擇最多四個Merge候選。推導的順序是A1 、B1 、B0 、A0 和B2 。僅當位置A1 、B1 、B0 、A0 的任何PU不可用（例如，因為它屬於另一條帶或區塊）或者是幀內編碼時，才考慮位置B2 。在添加位置A1 處的候選之後，對剩餘候選的添加進行冗餘校驗，其確保具有相同運動資訊的候選被排除在清單之外，使得編碼效率提高。為了降低計算複雜度，在所提到的冗餘校驗中並未考慮所有可能的候選對。相反，僅考慮圖3中用箭頭連接的候選對，並且僅在用於冗餘校驗的對應候選具有不一樣的運動資訊時，才將候選添加到列表。重複運動資訊的另一來源是與不同於2N×2N的分區相關聯的“第二 PU ”。作為示例，圖4A-4B描繪了分別針對N×2N和2N×N的情況的第二PU。當當前PU被分區為N×2N時，位置A1 處的候選不被考慮用於列表建構。實際上，通過添加該候選將導致具有相同運動資訊的兩個預測單元，這對於在編碼單元中僅具有一個PU是多餘的。類似地，當當前PU被分區為2N×N時，不考慮位置B1 。 2.1.1.3時間候選推導
在該步驟中，只有一個候選被添加到列表中。具體地，在該時間Merge候選的推導中，基於共同定位的PU col_PU來推導縮放的運動向量，該共同定位的PU col_PU屬於給定參考圖片清單內與當前圖片具有最小POC差的圖片。在條帶標題中明確地用信號通知要用於推導共同定位的PU的參考圖片清單。如圖5中的虛線所示獲得用於時間Merge候選的縮放的運動向量，其是使用POC距離tb和td從共同定位的PU col_PU的運動向量縮放的，其中tb被定義為當前圖片的參考圖片curr_ref與當前圖片curr_pic之間的POC差，td被定義為是共同定位的圖片的參考圖片col_ref與共同定位的圖片col_pic之間的POC差。時間Merge候選的參考圖片索引被設置為等於零。HEVC規範中描述了縮放過程的實際實現。對於B條帶，獲得兩個運動向量，一個用於參考圖片清單0，另一用於參考圖片清單1，並且結合該兩個運動向量以獲得雙向預測Merge候選。
在屬於參考幀的共同定位的PU（Y）中，在候選C0 和C1 之間選擇時間候選的位置，如圖6所示。如果位置C0 處的PU不可用、是幀內編碼的、或者在當前CTU行之外，則使用位置C1 。否則，位置C0 用於時間Merge候選的推導。 2.1.1.4 插入額外的候選
除了空間和時間Merge候選之外，還存在兩種額外類型的Merge候選：組合的雙向預測Merge候選和零Merge候選。通過利用空間和時間Merge候選來生成組合的雙向預測Merge候選。組合的雙向預測Merge候選僅用於B條帶。通過將初始候選的第一參考圖片清單運動參數與另一候選的第二參考圖片清單運動參數組合來生成組合的雙向預測候選。如果這兩個元組（Tuple）提供不同的運動假設，它們將形成一個新的雙向預測候選。作為示例，圖7描繪了當原始列表（左側）中具有mvL0和refIdxL0或mvL1和refIdxL1的兩個候選被用於創建添加到最終列表（右側）的組合的雙向預測Merge候選的情況。關於被認為生成這些額外的Merge候選的組合有許多規則，在HEVC標準中限定。
插入零運動候選以填充Merge候選列表中的剩餘條目，從而達到MaxNumMergeCand容量。這些候選具有零空間位移和參考圖片索引，該參考圖片索引從零開始並且每當新的零運動候選被添加到列表時增加。這些候選使用的參考幀的數量是1和2，分別用於單向和雙向預測。最後，不對這些候選執行冗餘校驗。 2.1.1.5用於並行處理的運動估計區域
為了加速編碼處理，可以並存執行運動估計，從而同時推導給定區域內的所有預測單元的運動向量。從空間鄰域推導Merge候選可能干擾並行處理，因為一個預測單元直到其相關聯的運動估計完成時才能從相鄰PU推導運動參數。為了減輕編碼效率和處理等待時間之間的折衷，HEVC定義運動估計區域（Motion Estimation Region，MER），其尺寸在圖片參數集中使用“log2_parallel_merge_level_minus2”語法元素信號通知。當定義MER時，落入同一區域的Merge候選被標記為不可用，因此在列表建構中不予考慮。 2.1.2 AMVP
AMVP利用運動向量與相鄰PU的時空相關性，其用於運動參數的顯式傳輸。對於每個參考圖片清單，通過首先校驗在時間上相鄰的PU位置的上方，左側的可用性，移除冗餘候選並添加零向量以使候選列表為恒定長度來建構運動向量候選列表。然後，編碼器可以從候選清單中選擇最佳預測值，並發送指示所選候選的對應索引。與Merge索引信令類似，使用截斷的一元來編碼最佳運動向量候選的索引。在這種情況下要編碼的最大值是2（參見圖8）。在以下部分中，提供了關於運動向量預測候選的推導過程的細節。 2.1.2.1 AMVP候選的推導
圖8總結了運動向量預測候選的推導過程。
在運動向量預測中，考慮兩種類型的運動向量候選：空間運動向量候選和時間運動向量候選。對於空間運動向量候選推導，最終基於位於圖2所示的五個不同位置的每個PU的運動向量推導兩個運動向量候選。
對於時間運動向量候選推導，從兩個候選中選擇一個運動向量候選，其是基於兩個不同的共同定位的位置推導的。在產生時空候選的第一列表之後，移除列表中的重複的運動向量候選。如果潛在候選的數量大於2，則從列表中移除相關聯的參考圖片清單內的其參考圖片索引大於1的運動向量候選。如果時空運動向量候選的數量小於2，則將額外的零運動向量候選添加到列表中。 2.1.2.2空間運動向量候選
在空間運動向量候選的推導中，在五個潛在候選當中考慮最多兩個候選，其從位於如圖2所示的位置的PU中推導，那些位置與運動Merge的位置相同。將當前PU的左側的推導順序定義為A0 、A1 ，以及縮放的A0 、縮放的A1 。將當前PU的上側的推導順序定義為B0 、B1 、B2 ，縮放的B0 、縮放的B1 、縮放的B2 。因此，對於每一側，存在可以用作運動向量候選的四種情況，其中兩種情況不需要使用空間縮放，兩種情況使用空間縮放。四種不同的情況總結如下： 沒有空間縮放 - （1）相同的參考圖片清單，以及相同的參考圖片索引（相同的POC） - （2）不同的參考圖片清單，但相同的參考圖片（相同的POC） 空間縮放 - （3）相同的參考圖片清單，但不同的參考圖片（不同的POC） - （4）不同的參考圖片清單，以及不同的參考圖片（不同的POC）
首先校驗無空間縮放的情況，然後校驗空間縮放。當POC在相鄰PU的參考圖片neigh_ref與當前PU的參考圖片curr_ref之間不同而不管參考圖片清單時，考慮空間縮放。如果左候選的所有PU都不可用或者是幀內編碼的，則允許對上述運動向量進行縮放以幫助左和上MV候選的並行推導。否則，不允許對上述運動向量進行空間縮放。
在空間縮放過程中，以與時間縮放類似的方式縮放相鄰PU neighbor_PU的運動向量，如圖9所示。主要區別是將參考圖片清單和當前PU的索引作為輸入給出；實際縮放過程與時間縮放過程相同。 2.1.2.3時間運動向量候選
除了參考圖片索引推導之外，用於推導時間Merge候選的所有過程與用於推導空間運動向量候選的過程相同（參見圖6）。將參考圖片索引用信號通知給解碼器。 2.2 JEM中的新的幀間預測方法 2.2.1基於子CU的運動向量預測
在具有QTBT的JEM中，每個CU可以針對每個預測方向具有至多一組運動參數。通過將大CU劃分成子CU並且推導大CU的所有子CU的運動資訊，在編碼器中考慮兩個子CU級運動向量預測方法。可選時間運動向量預測（Alternative Temporal Motion Vector Prediction，ATMVP）方法允許每個CU從比並置參考圖片中的當前CU小的多個塊中提取多組運動資訊。在時空運動向量預測（Spatial-Temporal Motion Vector Prediction，STMVP）方法中，通過使用時間運動向量預測和空間相鄰運動向量來遞迴地推導子CU的運動向量。
為了保留用於子CU運動預測的更準確的運動場，當前禁用參考幀的運動壓縮。 2.2.1.1可選時間運動向量預測
在可選時間運動向量預測（ATMVP）方法中，通過從小於當前CU的塊中提取多組運動資訊（包括運動向量和參考索引）來修改運動向量時間運動向量預測（Temporal Motion Vector Prediction，TMVP）。如圖10所示，子CU是方形N×N塊（默認地將N設置為4）。
ATMVP以兩個步驟預測CU內的子CU的運動向量。第一步是利用所謂的時間向量識別參考圖片中的對應塊。參考圖片被稱為運動源圖片。第二步是將當前CU劃分成子CU，並從對應於每個子CU的塊中獲得運動向量以及每個子CU的參考索引，如圖10所示。
在第一步驟中，由當前CU的空間相鄰塊的運動資訊確定參考圖片和對應塊。為了避免相鄰塊的重複掃描過程，使用當前CU的Merge候選列表中的第一Merge候選。第一可用運動向量及其相關聯的參考索引被設置為時間向量 和運動源圖片的索引。這樣，在ATMVP中，與TMVP相比，可以更準確地識別對應塊，其中對應塊（有時稱為並置塊（Collocated Block））總是相對於當前CU位於右下或中心位置。
在第二步驟中，通過向當前CU的座標添加時間向量，通過運動源圖片中的時間向量來識別子CU的對應塊。對於每個子CU，其對應塊（覆蓋中心樣本的最小運動網格）的運動資訊用於推導子CU的運動資訊。在識別出對應的N×N塊的運動資訊之後，以與HEVC的TMVP相同的方式將其轉換為當前子CU的參考索引和運動向量，其中運動縮放和其他過程也適用。例如，解碼器校驗是否滿足低延遲條件（即，當前圖片的所有參考圖片的POC小於當前圖片的POC）並且可能使用運動向量MVx （對應於參考圖片清單X的運動向量）來預測每個子CU的運動向量MVy （其中X等於0或1並且Y等於1-X）。 2.2.1.2時空運動向量預測
在該方法中，按照光柵掃描順序遞迴地推導子CU的運動向量。圖11示出了這個概念。讓我們考慮一個8×8CU（包含四個4x4的子CU：A，B，C和D）。當前幀中的相鄰4x4塊被標記為a，b，c和d。
子CU A的運動推導通過識別其兩個空間鄰居開始。第一鄰居是子CU A上方的N×N塊（塊c）。如果該塊c不可用或者是幀內編碼，則（從塊c開始，從左到右）校驗子CU A上方的其他N×N個塊。第二鄰居是子CU A左側的塊（塊b）。如果塊b不可用或者是幀內編碼，則（從塊b開始，從上到下）校驗子CU A左側的其他塊。從每個清單的相鄰塊獲得的運動資訊被縮放到給定清單的第一參考幀。接下來，通過遵循與HEVC中指定的TMVP推導相同的過程來推導子塊A的時間運動向量預測（Temporal Motion Vector Predictor，TMVP）。提取位置D處的並置塊的運動資訊並對應地縮放。最後，在檢索和縮放運動資訊之後，對於每個參考列表，所有可用的運動向量（最多3個）被分別平均。平均運動向量被指定為當前子CU的運動向量。 2.2.1.3子CU運動預測模式信令
子CU模式被啟用為額外的Merge候選，並且不需要額外的語法元素來信號通知該模式。將兩個額外的Merge候選添加到每個CU的Merge候選清單以表示ATMVP模式和STMVP模式。如果序列參數集指示啟用了ATMVP和STMVP，則最多使用七個Merge候選。額外的Merge候選的編碼邏輯與HM中的Merge候選相同，這意味著，對於P或B條帶中的每個CU，兩個額外的Merge候選需要另外兩個RD校驗。
在JEM中，所有Merge索引的二進位元（bin）都由CABAC進行上下文編碼。而在HEVC中，僅第一個二進位元是上下文編碼的，而剩餘的二進位元是上下文旁路編碼的。 2.2.2自我調整運動向量差分解析度（Adaptive Motion Vector Difference Resolution）
在HEVC中，當條帶標題中的use_integer_mv_flag等於0時，以四分之一亮度樣本為單位信號通知（PU的運動向量和預測運動向量之間的）運動向量差（Motion Vector Difference，MVD）。在JEM中，引入了局部自我調整運動向量解析度（Locally Adaptive Motion Vector Resolution，LAMVR）。在JEM中，MVD可以以四分之一亮度樣本、整數亮度樣本或四亮度樣本為單位進行編碼。在編碼單元（CU）級控制MVD解析度，並且對於具有至少一個非零MVD分量的每個CU有條件地信號通知MVD解析度標誌。
對於具有至少一個非零MVD分量的CU，信號通知第一標記以指示在CU中是否使用四分之一亮度樣本MV精度。當第一標誌（等於1）指示不使用四分之一亮度樣本MV精度時，信號通知另一標誌以指示是使用整數亮度樣本MV精度還是四亮度樣本MV精度。
當CU的第一MVD解析度標誌為零或未針對CU編碼（意味著CU中的所有MVD均為零）時，對於CU使用四分之一亮度樣本MV解析度。當CU使用整數亮度樣本MV精度或四亮度樣本MV精度時，CU的AMVP候選列表中的MVP被取整到對應的精度。
在編碼器中，CU級RD校驗用於確定將哪個MVD解析度用於CU。即，對於每個MVD解析度，執行三次CU級RD校驗。為了加快編碼器速度，在JEM中應用以下編碼方案。 在具有正常四分之一亮度樣本MVD解析度的CU的RD校驗期間，存儲當前CU的運動資訊（整數亮度樣本準確度）。存儲的運動資訊（在取整之後）被用作在RD校驗期間針對具有整數亮度樣本和4亮度樣本MVD解析度的相同CU的進一步小範圍運動向量細化的起點，使得耗時的運動估計過程不重複三次。 有條件地調用具有4亮度樣本MVD解析度的CU的RD校驗。對於CU，當RD成本整數亮度樣本MVD解析度遠大於四分之一亮度樣本MVD解析度時，跳過針對CU的4亮度樣本MVD解析度的RD校驗。 2.2.3更高的運動向量存儲準確度
在HEVC中，運動向量準確度是四分之一像素（4：2：0視頻的四分之一亮度樣本和八分之一色度樣本）。在JEM中，內部運動向量存儲和Merge候選的準確度增加到1/16像素。更高的運動向量準確度（1/16像素）用於以跳過/Merge模式編碼的CU的運動補償幀間預測。對於使用正常AMVP模式編碼的CU，使用整數像素或四分之一像素運動，如3.2.2節所述。
具有與HEVC運動補償插值濾波器相同的濾波器長度和歸一化因數（Normalization Factor）的SHVC上採樣插值濾波器被用作額外的分數像素位置的運動補償插值濾波器。在JEM中色度分量運動向量準確度是1/32樣本，通過使用兩個相鄰的1/16像素分數位置的濾波器的平均來推導1/32像素分數位置的額外的插值濾波器。 2.2.4重疊塊運動補償
重疊塊運動補償（Overlapped Block Motion Compensation OBMC）先前已在H.263中使用。在JEM中，與H.263不同，可以使用CU級的語法來打開和關閉OBMC。當在JEM中使用OBMC時，除了CU的右邊界和下邊界之外，對所有運動補償（Motion Compensation，MC）塊邊界執行OBMC。此外，它還應用於亮度和色度分量。在JEM中，MC塊對應於編碼塊。當用子CU模式（包括子CU Merge、仿射和FRUC模式）編碼CU時，CU的每個子塊是MC塊。為了以統一的方式處理CU邊界，針對所有MC塊邊界以子塊級執行OBMC，其中子塊尺寸被設置為等於4×4，如圖12所示。
當OBMC應用於當前子塊時，除了當前運動向量之外，四個連接的相鄰子塊的運動向量（如果可用且與當前運動向量不同）也用於推導當前子塊的預測塊。組合基於多個運動向量的這些多個預測塊以生成當前子塊的最終預測信號。
將基於相鄰子塊的運動向量的預測塊表示為PN ，其中N指示相鄰的上、下、左 和右 子塊的索引，並且將基於當前子塊的運動向量的預測塊表示為PC 。當PN 是基於包含與當前子塊相同的運動資訊的相鄰子塊的運動資訊時，不從PN 執行OBMC。否則，將每個PN 樣本添加到PC 中的相同樣本中，即將PN 的四行/列添加到PC 。將加權因數{1 / 4，1 / 8，1 / 16，1 / 32}用於PN ，並且將加權因數{3 / 4，7 / 8，15 / 16，31 / 32}用於PC。例外是小MC塊（即，當編碼塊的高度或寬度等於4或用子CU模式編碼CU時），對其僅將PN 的兩行/列添加到PC 。在這種情況下，將加權因數{1 / 4, 1 / 8}用於PN ，並且將加權因數{3 / 4, 7 / 8}用於PC 。對於基於垂直（水準）相鄰子塊的運動向量生成的PN ，將PN 的相同行（列）中的樣本添加到具有相同加權因數的PC 。
在JEM中，對於尺寸小於或等於256個亮度樣本的CU，信號通知CU級標誌以指示是否對當前CU應用OBMC。對於尺寸超過256個亮度樣本或未使用AMVP模式進行編碼的CU，預設應用OBMC。在編碼器處，當將OBMC應用於CU時，在運動估計階段期間考慮其影響。由OBMC使用上側相鄰塊和左側相鄰塊的運動資訊形成的預測信號用於補償當前CU的原始信號的上邊界和左邊界，然後應用正常運動估計處理。 2.2.5局部光照補償
局部光照補償（Local Illumination Compensation，LIC）是基於用於光照變化的線性模型，使用縮放因數a 和偏移b 。並且針對每個幀間模式編碼的編碼單元（CU）自我調整地啟用或禁用它。
當LIC應用於CU時，採用最小平方誤差方法（Least Square Error Method）來通過使用當前CU的相鄰樣本及其對應的參考樣本來推導參數a 和b 。更具體地，如圖13所示，使用CU的子採樣（2：1子採樣）的相鄰樣本和參考圖片中的（由當前CU或子CU的運動資訊識別的）對應樣本。推導IC參數並將其分別應用於每個預測方向。
當用Merge模式編碼CU時，以類似於Merge模式中的運動資訊複製的方式從相鄰塊複製LIC標誌；否則，向CU信號通知LIC標誌以指示是否應用LIC。
當針對圖片啟用LIC時，需要額外的CU級RD校驗以確定是否將LIC應用於CU。當為CU啟用LIC時，分別針對整數像素運動搜索和分數像素運動搜索，使用去均值絕對差之和（Mean-Removed Sum Of Absolute Difference，MR-SAD）和去均值絕對哈達瑪變換差之和（Mean-Removed Sum Of Absolute Hadamard-Transformed Difference，MR-SATD），而不是SAD和SATD。
為了降低編碼複雜度，在JEM中應用以下編碼方案。
當當前圖片與其參考圖片之間沒有明顯的光照變化時，對於整個圖片禁用LIC。為了識別這種情況，在編碼器處計算當前圖片和當前圖片的每個參考圖片的長條圖。如果當前圖片與當前圖片的每個參考圖片之間的長條圖差小於給定閾值，則對當前圖片禁用LIC；否則，對當前圖片啟用LIC。 2.2.6仿射運動補償預測
在HEVC中，僅將平移運動模型（Translation Motion Model）應用於運動補償預測（Motion Compensation Prediction，MCP）。在現實世界中，存在多種運動，例如放大/縮小、旋轉、透視運動和其他不規則運動。在JEM中，應用簡化的仿射變換運動補償預測。如圖14所示，塊的仿射運動場由兩個控制點運動向量描述。
塊的運動向量場（Motion Vector Field，MVF）由以下等式描述：
Figure 02_image001
(1) 其中（v0x ,v0y ）是左上角控制點的運動向量，（v1x ,v1y ）是右上角控制點的運動向量。
為了進一步簡化運動補償預測，應用基於子塊的仿射變換預測。子塊尺寸
Figure 02_image003
如等式2中推導，其中MvPre 是運動向量分數準確度（在JEM中是1/16），（v2x ,v2y ）是根據等式1計算的左下控制點的運動向量。
Figure 02_image005
(2)
在通過等式2推導之後，如果需要，應該向下調整M和N，以使其分別為w和h的除數。
為了推導每個M×N子塊的運動向量，根據等式1計算每個子塊的中心樣本的運動向量，如圖15所示，並取整到1/16分數準確度。然後，應用3.2.3節中提到的運動補償插值濾波器，以利用所推導的運動向量生成每個子塊的預測。
在MCP之後，對每個子塊的高準確度運動向量進行取整，並將其以與正常運動向量相同的準確度保存。
在JEM中，存在兩種仿射運動模式：AF_INTER模式和AF_MERGE模式。對於寬度和高度都大於8的CU，可以應用AF_INTER模式。在位元流中用信號通知CU級的仿射標誌以指示是否使用AF_INTER模式。在該模式中，使用相鄰塊構造具有運動向量對
Figure 02_image007
的候選列表。如圖16所示，從塊A、B或C的運動向量中選擇
Figure 02_image009
。根據參考清單以及用於相鄰塊的參考的POC、用於當前CU的參考的POC和當前CU的POC之間的關係來縮放來自相鄰塊的運動向量。從相鄰塊D和E中選擇
Figure 02_image011
的方法是類似的。如果候選列表的數量小於2，則由通過複製每個AMVP候選而組成的運動向量對來填充列表。當候選清單大於2時，首先根據相鄰運動向量的一致性（候選對中的兩個運動向量的相似性）對候選進行排序，並且僅保留前兩個候選。用RD成本校驗來確定將哪個運動向量對候選選擇為當前CU的控制點運動向量預測（Control Point Motion Vector Prediction，CPMVP）。並且在位元流中用信號通知指示候選清單中的CPMVP的位置的索引。在確定當前仿射CU的CPMVP之後，應用仿射運動估計並找到控制點運動向量（Control Point Motion Vector，CPMV）。然後在位元流中用信號通知CPMV和CPMVP的差。
當在AF_MERGE模式中應用CU時，它從有效的相鄰重建塊獲得用仿射模式編碼的第一個塊。並且候選塊的選擇順序是從左、上、右上、左下到左上，如圖17A所示。如果相鄰左下塊A以仿射模式進行編碼，如圖17B所示，推導包含塊A的CU的左上角、右上角和左下角的運動向量
Figure 02_image013
、
Figure 02_image015
和
Figure 02_image017
。並且根據
Figure 02_image013
、
Figure 02_image015
和
Figure 02_image017
計算當前CU左上角的運動向量
Figure 02_image009
。其次，計算當前CU的右上方的運動向量。
在推導出當前CU
Figure 02_image019
和
Figure 02_image021
之後，根據簡化的仿射運動模型等式1生成當前CU的MVF。為了識別當前CU是否以AF_MERGE模式進行編碼，當至少有一個相鄰塊以仿射模式進行編碼時，在位元流中用信號通知仿射標誌。 2.2.7模式匹配的運動向量推導
模式匹配的運動向量推導（Pattern Matched Motion Vector Derivation，PMMVD）模式是基於畫面播放速率上轉換（Frame-Rate Up Conversion ，FRUC）技術的特殊Merge模式。利用該模式，在解碼器側推導塊的運動資訊，而不是發信號通知塊的運動資訊。
當CU的Merge標誌為真時，向CU信號通知FRUC標誌。當FRUC標誌為假時，信號通知Merge索引並使用常規Merge模式。當FRUC標誌為真時，信號通知額外的FRUC模式標誌以指示將使用哪種方法（雙邊匹配（Bilateral Matching）或範本匹配（Template Matching））來推導該塊的運動資訊。
在編碼器側，關於是否對CU使用FRUC Merge模式的決定是基於對正常Merge候選所做的RD成本選擇。即，通過使用RD成本選擇來校驗CU的兩種匹配模式（雙邊匹配和範本匹配）兩者。引起最小成本的匹配模式與其他CU模式進一步比較。如果FRUC匹配模式是最有效的模式，則對於CU將FRUC標誌設置為真，並且使用相關的匹配模式。
FRUC Merge模式中的運動推導過程具有兩個步驟：首先執行CU級運動搜索，然後進行子CU級運動細化。在CU級，基於雙邊匹配或範本匹配，推導整個CU的初始運動向量。首先，生成MV候選列表，並且選擇引起最小匹配成本的候選作為進一步CU級細化的起點。然後，在起點附近執行基於的雙邊匹配或範本匹配的局部搜索，並且將最小匹配成本的MV結果作為整個CU的MV。隨後，以推導的CU運動向量作為起點，進一步在子CU級細化運動資訊。
例如，對於
Figure 02_image023
CU運動資訊推導執行以下推導過程。在第一階段，推導整個
Figure 02_image023
CU的MV。在第二階段，該CU進一步被劃分成
Figure 02_image025
個子CU。M的值的計算方法如（3）所示，
Figure 02_image027
是預定義的劃分深度，在JEM中默認設置為3。然後推導每個子CU的MV。
Figure 02_image029
(3)
如圖18所示，通過在兩個不同參考圖片中沿當前CU的運動軌跡找到兩個塊之間的最接近匹配，使用雙邊匹配來推導當前CU的運動資訊。在連續運動軌跡的假設下，指向兩個參考塊的運動向量MV0和MV1應當與當前圖片和兩個參考圖片之間的時間距離（即TD0和TD1）成比例。作為特殊情況，當當前圖片在時間上在兩個參考圖片之間並且從當前圖片到兩個參考圖片的時間距離相同時，雙邊匹配成為基於鏡像的雙向MV。
如圖19所示，範本匹配用於通過找到當前圖片中的範本（當前CU的頂部和/或左側相鄰塊）與參考圖片中的塊（與範本的尺寸相同）之間的最接近匹配來推導當前CU的運動資訊。除了上述FRUC Merge模式之外，範本匹配也應用於AMVP模式。在JEM中，正如在HEVC中所做的那樣，AMVP有兩個候選。通過範本匹配方法，新的候選被推導出。如果由範本匹配新推導的候選與第一現有AMVP候選不同，則將其插入AMVP候選列表的最開始處，然後將列表尺寸設置為2（意味著移除第二現有AMVP候選）。當應用於AMVP模式時，僅應用CU級搜索。 2.2.7.1 CU級MV候選集
在CU級處設置的MV候選包括： (i) 如果當前CU處於AMVP模式，則為原始AMVP候選 (ii) 所有Merge候選， (iii) 在3.2.10節中介紹的插值MV場中的幾個MV。 (iv) 頂部和左側相鄰運動向量
當使用雙邊匹配時，將Merge候選的每個有效MV用作輸入，以生成假設雙邊匹配的情況下的MV對。例如，在參考列表A中，Merge候選的一個有效MV是（MVa，refa）。然後，在其他參考列表B中找到其配對的雙邊MV的參考圖片refb，使得refa和refb在時間上位於當前圖片的不同側。如果這樣的refb在參考列表B中不可用，則refb被確定為與refa不同的參考，並且其到當前圖片的時間距離是清單B中的最小值。在確定refb之後，通過基於當前圖片refa和refb之間的時間距離來縮放MVa來推導MVb。
來自插值MV場的四個MV也被添加到CU級候選列表。更具體地，添加當前CU的位置（0,0）、（W / 2,0）、（0，H / 2）和（W / 2，H / 2）處的插值MV。
當FRUC應用於AMVP模式時，原始AMVP候選也被添加到CU級MV候選集。
在CU級，對於AMVP CU，最多將15個MV添加到候選列表，對於MergeCU，最多將13個MV添加到候選列表。 2.2.7.2子CU級MV候選集
在子CU級處設置的MV候選包括： (i) 從CU級搜索確定的MV， (ii) 頂部、左側、左上角和右上角的相鄰MV， (iii) 來自參考圖片的並置MV的縮放版本， (iv) 最多4個ATMVP候選， (v) 最多4個STMVP候選
來自參考圖片的縮放MV如下推導。遍歷兩個清單中的所有參考圖片。參考圖片中的子CU的並置位置處的MV被縮放到起始CU級MV的參考。
ATMVP和STMVP候選僅限於前四個。
在子CU級，最多將17個MV添加到候選列表中。 2.2.7.3插值MV場的生成
在對幀進行編碼之前，基於單邊ME為整個圖片生成插值運動場。然後，運動場可以稍後用作CU級或子CU級MV候選。
首先，兩個參考清單中的每個參考圖片的運動場以4x4塊級遍歷。對於每個4x4塊，如果與塊相關聯的運動通過當前圖片中的4x4塊（如圖20所示）並且塊未被分配任何插值運動，則參考塊的運動根據時間距離TD0和TD1（以與HEVC中的TMVP的MV縮放的方式相同的方式）被縮放到當前圖片，並且將縮放的運動分配給當前幀中的塊。如果沒有縮放的MV被分配給4x4塊，則在插值運動場中將塊的運動標記為不可用。 2.2.7.4插值和匹配成本
當運動向量指向分數樣本位置時，需要運動補償插值。為了降低複雜度，替代常規8抽頭HEVC插值，將雙線性插值用於雙邊匹配和範本匹配。
匹配成本的計算在不同步驟處有點不同。當從CU級的候選集中選擇候選時，匹配成本是雙邊匹配或範本匹配的絕對和差（Absolute Sum Difference， SAD）。在確定起始MV之後，子CU級搜索的雙邊匹配的匹配成本計算如下：
Figure 02_image031
(4) 其中
Figure 02_image033
是根據經驗設置為4的加權因數，
Figure 02_image035
和
Figure 02_image037
分別指示當前MV和起始MV。SAD仍用作子CU級搜索的範本匹配的匹配成本。
在FRUC模式中，僅通過使用亮度樣本來推導MV。推導的運動將用於MC幀間預測的亮度和色度兩者。在確定MV之後，使用用於亮度的8抽頭插值濾波器和用於色度的4抽頭插值濾波器來執行最終MC。 2.2.7.5 MV細化
MV細化是基於模式的MV搜索，以雙邊匹配成本或範本匹配成本為標準。在JEM中，支援兩種搜索模式—無限制中心偏置菱形搜索（Unrestricted Center-Biased Diamond Search，UCBDS）和自我調整交叉搜索，分別在CU級和子CU級進行MV細化。對於CU和子CU級MV細化兩者，以四分之一亮度樣本MV精度直接搜索MV，並且接著是八分之一亮度樣本MV細化。將用於CU和子CU步驟的MV細化的搜索範圍設置為等於8個亮度樣本。 2.2.7.6範本匹配FRUC Merge模式中預測方向的選擇
在雙邊匹配Merge模式中，始終應用雙向預測，因為CU的運動資訊是基於在兩個不同的參考圖片中沿當前CU的運動軌跡的兩個塊之間的最近匹配推導的。對於範本匹配Merge模式沒有這樣的限制。在範本匹配Merge模式中，編碼器可以從清單0中的單向預測、列表1中的單向預測或雙向預測當中為CU選擇。選擇基於如下的範本匹配成本： 如果costBi>=factor* min（ cost0,cost1 ） 則使用雙向預測； 否則，如果cost0>=cost1 則使用列表0中的單向預測； 否則， 使用列表1中的單向預測； 其中cost0是清單0範本匹配的SAD，cost1是清單1範本匹配的SAD，costBi是雙向預測範本匹配的SAD。factor 的值等於1.25，這意味著選擇過程偏向於雙向預測。
幀間預測方向選擇僅應用於CU級範本匹配過程。 2.2.8雙向光流
雙向光流（Bi-directional Optical flow，BIO）是樣本方式的運動細化，其在用於雙向預測的逐塊運動補償之上執行。樣本級運動細化不使用信令。
設
Figure 02_image039
為塊運動補償之後參考k (k =0, 1)的亮度值，並且
Figure 02_image041
,
Figure 02_image043
分別為
Figure 02_image039
梯度的水準分量和垂直分量。假設光流是有效的，則運動向量場
Figure 02_image045
由下式給出：
Figure 02_image047
（5）
將此光流等式與每個樣本運動軌跡的埃爾米特插值相結合，得到唯一的三階多項式，該三階多項式最後匹配函數值
Figure 02_image039
和其導數
Figure 02_image041
，
Figure 02_image043
兩者。該三階多項式在t=0時的值是BIO預測：
Figure 02_image049
（6）
這裡，
Figure 02_image051
和
Figure 02_image053
表示到參考幀的距離，如圖21所示。基於Ref0和Ref1的POC計算距離
Figure 02_image051
和
Figure 02_image053
：
Figure 02_image051
=POC(當前)-POC(Ref0)，
Figure 02_image053
= POC(Ref1) - POC(當前)。如果兩個預測都來自相同的時間方向（兩者都來自過去或都來自未來），則sign是不同的即，
Figure 02_image055
。在這種情況下，僅當預測不是來自相同的時刻（即，
Figure 02_image057
）時才應用BIO，兩個參考區域都具有非零運動（
Figure 02_image059
）並且塊運動向量與時間距離成比例（
Figure 02_image061
）。
通過最小化點A和B（圖9中的運動軌跡和參考幀平面的交叉）中的值之間的差
Figure 02_image063
來確定運動向量場
Figure 02_image045
。模型僅使用
Figure 02_image063
的局部泰勒展開的第一線性項：
Figure 02_image065
(7)
等式7中的所有值都取決於樣本位置
Figure 02_image067
，到目前為止，符號表示中省略了該樣本位置。假設運動在局部周圍區域是一致的，我們在以當前預測點為中心的（2M+1）x（2M+1）的方形窗口
Figure 02_image069
內最小化
Figure 02_image063
，其中M等於2：
Figure 02_image071
(8)
對於該優化問題，JEM使用簡化方法，首先在垂直方向上進行最小化，然後在水準方向上進行最小化。由此產生：
Figure 02_image073
(9)
Figure 02_image075
(10) 其中，
Figure 02_image077
Figure 02_image079
Figure 02_image081
(11)
為了避免除以零或非常小的值，在等式9和10中引入正則化參數r 和m 。
Figure 02_image083
(12)
Figure 02_image085
(13)
這裡d 是視頻樣本的位元深度。
為了使BIO的記憶體訪問與常規雙向預測運動補償保持相同，僅針對當前塊內的位置計算所有預測和梯度值
Figure 02_image087
。在等式11中，以在預測塊的邊界上的當前預測點為中心的（2M+1）x（2M+1）方形窗口
Figure 02_image069
需要訪問塊外部的位置（如圖22A所示）。在JEM中，將塊外部的
Figure 02_image087
的值設置為等於塊內最近的可用值。例如，這可以實施為填充，如圖22B所示。
利用BIO，可以針對每個樣本細化運動場。為了降低計算複雜度，在JEM中使用基於塊的BIO設計。基於4x4的塊計算運動細化。在基於塊的BIO中，聚合4x4的塊中的所有樣本的等式11中的sn 的值，然後將sn 的聚合值用於推導4x4塊的BIO運動向量偏移。更具體地，以下公式用於基於塊的BIO推導：
Figure 02_image089
Figure 02_image091
Figure 02_image093
(14) 其中bk 表示屬於預測塊的第k個4x4塊的樣本集。將等式9和10中的sn 替換為( (sn,bk ) >> 4 )，以推導相關聯的運動向量偏移。
在一些情況下，由於噪音或不規則運動，BIO的MV團（MV regiment）可能不可靠。因此，在BIO中，MV團的尺寸被閾值thBIO截頂。基於當前圖片的參考圖片是否都來自一個方向來確定閾值。如果當前圖片的所有參考圖片都來自一個方向，則將閾值的值設置為
Figure 02_image095
；否則，將其設置為
Figure 02_image097
。
利用使用與HEVC運動補償過程（2D可分離FIR）一致的操作的運動補償插值來同時計算BIO的梯度。根據塊運動向量的分數部分，該2D可分離FIR的輸入是與運動補償過程和分數位置（fracX ， fracY ）相同的參考幀樣本。在水準梯度
Figure 02_image099
的情況下，首先使用與具有去縮放偏移d -8的分數位置fracY 相對應的BIOfilterS 垂直插值信號，然後在水準方向上應用梯度濾波器BIOfilterG ，該BIOfilterG 與具有去縮放偏移18-d 的分數位置fracX 相對應。在垂直梯度
Figure 02_image101
的情況下，首先使用與具有去縮放偏移d -8的分數位置fracY 相對應的BIOfilterG 垂直應用梯度濾波器，然後在水準方向上使用BIOfilterS 執行信號位移，該BIOfilterS 與具有去縮放偏移18-d 的分數位置fracX 相對應。用於梯度計算的插值濾波器BIOfilterG 和用於信號位移的插值濾波器BIOfilterS 的長度較短（6抽頭），以保持合理的複雜度。表1示出了用於BIO中塊運動向量的不同分數位置的梯度計算的濾波器。表2示出了用於BIO中預測信號生成的插值濾波器。 表1：用於BIO中梯度計算的濾波器
Figure 108121349-A0304-0001
 表2：用於BIO中預測信號生成的插值濾波器
Figure 108121349-A0304-0002
在JEM中，當兩個預測來自不同的參考圖片時，BIO應用於所有雙預測塊。當為CU啟用LIC時，禁用BIO。
在JEM中，OBMC在正常MC過程之後應用於塊。為了降低計算複雜性，在OBMC過程中不應用BIO。這意味著BIO僅在使用其自身的MV時才應用於塊的MC過程，並且在OBMC過程中使用相鄰塊的MV時不應用於MC過程。 2.2.9解碼器側運動向量細化
在雙向預測操作中，對於一個塊區域的預測，將分別使用list0的運動向量（MV）和list1的MV形成的兩個預測塊進行組合以形成單個預測信號。在解碼器側運動向量細化（Decoder-Side Motion Vector Refinement，DMVR）方法中，通過雙邊範本匹配過程進一步細化雙向預測的兩個運動向量。雙邊範本匹配應用在解碼器中，以在雙邊範本和參考圖片中的重建樣本之間執行基於失真的搜索，以便獲得細化的MV而無需傳輸附加的運動資訊。
在DMVR中，分別從列表0的初始MV0和列表1的MV1，將雙邊範本生成為兩個預測塊的加權組合（即平均），如圖23所示。範本匹配操作包括計算所生成的範本與參考圖片中的（在初始預測塊周圍的）樣本區域之間的成本度量。對於兩個參考圖片中的每個，將產生最小範本成本的MV考慮為該列表的更新MV以替換原始MV。在JEM中，對每個列表搜索九個MV候選。該九個MV候選包括原始MV和8個與原始MV在水準或垂直方向上或兩個方向上具有一個亮度樣本偏移的環繞的MV。最後，將兩個新的MV，即如圖23中所示的MV0'和MV1'，用於生成最終的雙向預測結果。將絕對差之和（SAD）用作成本度量。請注意，當計算由一個環繞的MV生成的預測塊的成本時，實際上使用取整的MV（到整數像素）而不是真實MV來獲得預測塊。
將DMVR應用於雙向預測的Merge模式，其中一個MV來自過去的參考圖片，另一MV來自未來的參考圖片，而無需傳輸額外的語法元素。在JEM中，當對CU啟用LIC、仿射運動、FRUC或子CU Merge候選時，不應用DMVR。 2.3 CABAC修改
在JEM中，與HEVC中的設計相比，CABAC包含以下三個主要變化：
用於變換係數的修改的上下文建模
具有依賴於上下文的更新速度的多假設機率估計
用於上下文模型的自我調整初始化 2.3.1用於變換係數的上下文建模
在HEVC中，使用非重疊係數組（CG）對編碼塊的變換係數進行編碼，並且每個CG包含編碼塊的4x4塊的係數。編碼塊內的CG和CG內的變換係數根據預定義的掃描順序進行編碼。具有至少一個非零變換係數的CG的變換係數級的編碼可以被分成多個掃描通道。在第一通道中，對第一個二進位符號（由bin0表示，也稱為significant_coeff_flag ，其指示係數的尺寸大於0）進行編碼。接下來，可以應用用於上下文編碼第二/第三二進位符號的兩個掃描通道（分別由bin1和bin2表示，也稱為coeff_abs_greater1_flag 和coeff_abs_greater2_flag ）。最後，如果需要，再調用多於兩次用於編碼符號資訊的掃描通道以及係數級的剩餘值（也稱為coeff_abs_level_remaining ）。只有前三個掃描通道中的二進位符號以常規模式進行編碼，並且這些二進位符號在下面的描述中稱為常規二進位符號。
在JEM中，改變常規二進位符號的上下文建模。當在第i 掃描通道（i 為0、1、2）中對二進位符號i 進行編碼時，上下文索引取決於由局部範本覆蓋的鄰域中的先前編碼係數的第i 個二進位符號的值。更具體地，基於相鄰係數的第i 個二進位符號的總和來確定上下文索引。如圖23所示，局部範本包含多達五個空間相鄰變換係數，其中x表示當前變換係數的位置，xi（i為0到4）指示其五個鄰居。為了捕獲不同頻率處的變換係數的特性，可以將一個編碼塊劃分成多達三個區域，並且無論編碼塊尺寸如何，劃分方法都是固定的。例如，當對亮度變換係數的bin0進行編碼時，如圖24所示，將一個編碼塊劃分成用不同顏色標記的三個區域，並列出分配給每個區域的上下文索引。亮度和色度分量以類似的方式處理，但具有單獨的上下文模型集。此外，亮度分量的bin0（即，有效標記）的上下文模型選擇還取決於變換尺寸。 2.3.2多假設機率估計
二進位算術編碼器基於與每個上下文模型相關聯的兩個機率估計P 0 和P 1 應用“多假設”機率更新模型，並且以不同的自我調整速率獨立地更新如下：
Figure 02_image103
Figure 02_image105
（15） 其中
Figure 02_image107
和
Figure 02_image109
（j = 0,1）分別表示解碼二進位符號之前和之後的機率。變數Mi （為4、5、6、7）是控制索引等於i的上下文模型的機率更新速度的參數；並且k 表示機率的精度（這裡等於15）。用於二進位算術編碼器中的區間細分的機率估計P 是來自兩個假設的估計的平均值：
Figure 02_image111
（16）
在JEM中，如下分配控制每個上下文模型的機率更新速度的等式15中使用的參數Mi 的值。
在編碼器側，記錄與每個上下文模型相關聯的編碼二進位符號。在對一個條帶進行編碼之後，對於每個索引等於i的上下文模型，計算使用不同的Mi 值（為4,5,6,7）的費率成本，並選擇提供最小費率成本的費率。為簡單起見，僅在遇到條帶類型和條帶級量化參數的新組合時才執行該選擇過程。
針對每個上下文模型i ，發1位元標記的信號通知以指示Mi 是否不同於預設值4。當標誌為1時，使用兩個位元來指示Mi 是否等於5、6或7。 2.3.3上下文模型的初始化
代替在HEVC中使用固定表用於上下文模型初始化，可以通過從先前編碼的圖片複製狀態來初始化用於幀間編碼的條帶的上下文模型的初始機率狀態。更具體地，在對每個圖片的中心定位的CTU進行編碼之後，存儲所有上下文模型的機率狀態以用作後續圖片上的對應上下文模型的初始狀態。在JEM中，從具有與當前條帶相同的條帶類型和相同條帶級QP的先前編碼圖片的存儲狀態中複製每個幀間編碼條帶的初始狀態集。這缺乏損耗穩健性，但在當前的JEM方案中用於編碼效率實驗目的。 2.4相關方法
在JVET-J0024中提出了擴展的LAMVR，其中支持的運動向量解析度範圍從1/4像素到4像素（1/4像素、1/2像素、1-像素、2-像素和4像素）。當用信號通知MVD資訊時，在CU級用信號通知關於運動向量解析度的資訊。
取決於CU的解析度，調整CU的運動向量（MV）和運動向量預測（MVP）。如果應用的運動向量解析度表示為R（R可以是¼、½、1、2、4），則MV（MVx 、MVy ）和MVP（MVPx 、MVPy ）表示如下：(MVx , MVy ) = (Round(MVx / (R * 4)) * (R * 4), Round(MVy / (R * 4)) * (R * 4)) (17)(MVPx , MVPy ) = (Round(MVPx / (R * 4)) * (R * 4), Round(MVPy / (R * 4)) * (R * 4)) (18)
由於運動向量預測和MV都通過自我調整解析度調整，因此MVD（MVDx 、MVDy ）也與解析度對準，並且根據解析度用信號通知如下：(MVDx , MVDy ) = ((MVx – MVPx ) / (R * 4), (MVy – MVPy ) / R * 4)) (19)
在該提議中，運動向量解析度索引（MVR索引）指示MVP索引以及運動向量解析度。結果，所提出的方法沒有MVP索引信令。下表顯示了MVR索引的每個值所表示的內容。 表3
Figure 108121349-A0304-0003
在雙向預測的情況下，AMVR針對每種解析度具有3種模式。AMVR Bi-Index指示是否發信號通知每個參考列表（列表0或列表1）的MVDx，MVDy。 本提案中的AMVR Bi-Index定義如下表。 表4
Figure 108121349-A0304-0004
 3.由公開的實施例解決的問題的示例
在LAMVR相關方法中，允許的MVD解析度被限制為1/4像素精度的整數倍，這不是必需的。廣義MVD解析度可能會有所幫助。
另一方面，在LAMVR相關方法中，用信號通知一個索引以指示所選擇的MVD解析度，其在雙預測情況下應用於兩個參考列表。這可能是低效的，因為在一個參考列表中的粗略的MVD解析度加上另一參考列表中的細化的MVD解析度在許多情況下可能是更好的權衡。
同時，如果選擇MVD精度，即使MVP具有更高的精度，MVP也被取整到相同的精度，這可能是低效的。 4.示例解決方案和實施例
為了解決這些問題，我們提出了廣義MVD解析度，並且在雙向預測的情況下針對兩個參考列表分離MVD解析度控制。
以下示例解決方案應被視為解釋一般概念的示例。不應以狹隘的方式解釋這些解決方案。此外，這些解決方案可以以任何方式組合以產生位元流表示，並使用位元流來產生解碼視頻。
將prec0 和prec1 分別表示為參考列表0和參考列表1的MVD精度（或解析度）。當preci 等於N時，這意味著參考列表i 中的MVD具有N像素精度。將MRSet0 和MRSet1 分別表示為參考列表0和參考列表1的候選MVD解析度集。 1. 提議對不同的參考圖片清單（或預測方向）允許運動向量和/或運動向量預測和/或運動向量差的不同精度。 a. 在一個示例中，分別控制prec0 和prec1 ，並且它們可以分別是MRSet0 和MRSet1 中的任何值。MRSet0 和MRSet1 可以如下設計： b. 在一個示例中，MRSet0 和MRSet1 相同。 c. 可替代地，MRSet0 和MRSet1 不同。 i. 在一個示例中，MRSet0 和MRSet1 彼此互補。例如，MRSet0設置為{8、2、1/2}，並且MRSet1 設置為{4、1、1/4}。 ii. 可替代地，MRSet0和MRSet1具有共同的值以及不同的值。例如，MRSet0設置為{2、1/2、1/4}，MRSet1設置為{4、1、1/4}。 iii. 可替代地，首先將MRSet0和MRSet1設置為等於通用候選MVD解析度集MRSet，然後根據prec0進一步修改MRSet1，反之亦然。例如，如果prec0是MRSet中的前M0個最粗略精度之一，則從MRSet1中移除MRSett中的前M1個最精細精度，其中Mi是正整數，並且i等於0或1。 iv. 可替代地，如果prec0是MRSet中前M0個最精細的精度之一，則從MRSet1中移除MRSet中的前M1個最粗略精度。 v. 可替代地，MRSet0設置為等於通用候選MVD解析度集MRSet，並且對於MRSet0中的每個值，MRSet的任意子集被選擇為MRSet1，反之亦然。例如，MRSet0設置為{1/4、1/2、1、2、4}，MRSet1 設計如下： 1. 當prec0 = 1/4或1/2時，MRSet1 = {1/4、1/2、1} 2. 當prec0 = 1時，MRSet1 = {1/2、1、2} 3. 當prec0 = 2或4時，MRSet1 = {1、2、4} vi. 可替代地，可以針對不同的塊尺寸和/或塊形狀和/或編碼模式和/或時間層索引設計不同的MRSet0和MRSet1。 2. 當MRSet0 和MRSet1 不自我調整地改變時，它們可以在VPS / SPS / PPS或條帶標題中信號通知。 a. 可替代地，可以隱式地在編碼器和解碼器處預定義和固定它們。 3. 當MRSet0 或MRSet1 自我調整地改變時，其按照項目2中定義的隱式規則構造，該規則適用於編碼器和解碼器兩者。 4. 可以在塊（例如，CU / PU）級信號通知prec0 和prec1 。 a. 在一個示例中，聯合地信號通知prec0 和prec1 。信號通知一個索引combPrec 以指示prec0 和prec1 。可替代地，此外，combPrec 遵循以下規則進行二值化：其機率越高，二值化串長度越短。 b. 可替代地，可以單獨信號通知prec0 和prec1 。 c.combPrec 、prec0 或prec1 由CABAC編碼器編碼，其中根據相鄰塊的MVD精度自我調整地選擇上下文。 5. 提出MRSet對於不同的參考圖片/幀/場/條帶可以是不同的。例如，對於參考參考圖片X的MV，MRSet是{1、2、4}，但是對於參考參考圖片Y的MV，MRSet是{1/4、1/2、1}。參考圖片X和參考圖片Y可以在不同的參考列表中，或者它們可以在相同的參考列表中。 6. 建議在MVD在參考列表X中為零並且在參考列表1-X中不為零的情況下，則僅針對清單1-X信號通知MVD解析度資訊並且以在單向預測的情況相同方式信號通知，其中X等於0或1。 7. 上述方法可以擴展到多假設預測。 a. 在一個示例中，針對每個參考清單信號通知一個MVD解析度索引。 b. 可替代地，針對每個MV信號通知一個MVD解析度索引。 i. 專案1中定義的規則可以直接擴展，以設計每個MV的候選MVD解析度集。
圖25是視頻位元流處理的示例方法2500的流程圖。視頻位元流處理可以由視頻解碼器執行，該視頻解碼器使用視頻位元流來解壓縮位元以創建可以為使用者存儲或顯示的未壓縮視頻幀。方法2500的視頻位元流處理可以由視訊轉碼器執行，該視訊轉碼器在編碼處理期間實現解碼器以重建編碼視頻幀，如將在解碼器處完成的那樣。
方法2500包括確定（2502）第一參考圖片清單和第二參考圖片清單。在2504，為第一參考圖片清單中的參考圖片選擇第一運動解析度，並為第二參考圖片清單中的參考圖片選擇第二運動解析度。在2506，基於第一運動解析度和第二運動解析度，使用運動向量差（MVD）執行視頻塊與視頻塊的編碼表示之間的轉換。MVD表示預測運動向量和在運動補償處理期間使用的實際運動向量之間的差。第一運動解析度來自第一運動精度值集，且第二運動解析度來自第二運動精度值集。
除了上述方法之外，方法2500還可以包括以下特徵中的一些。
示例1：一種視頻位元流處理方法，包括：確定第一參考圖片清單和第二參考圖片清單；為第一參考圖片清單中的參考圖片選擇第一運動解析度，並為第二參考圖片清單中的參考圖片選擇第二運動解析度；以及基於第一運動解析度和第二運動解析度，使用運動向量差（MVD）執行視頻塊與視頻塊的編碼表示之間的轉換；其中MVD表示預測運動向量和在運動補償處理期間使用的實際運動向量之間的差，並且其中第一運動解析度來自第一運動精度值集，且第二運動解析度來自第二運動精度值集。
示例2：示例1的方法，其中，分別控制第一運動解析度和第二運動解析度，並且其中第一運動解析度和第二運動解析度可以是第一運動精度值集或第二運動精度值集的任何值。
示例3：示例1的方法，其中第一運動精度值集與第二運動精度值集相同。
示例4：示例1的方法，其中第一運動精度值集和第二運動精度值集具有至少一些不同的條目。
示例5：示例1的方法，其中第一運動精度值集和第二運動精度值集彼此互補。
示例6：示例1的方法，其中第一運動精度值集和第二運動精度值集包括第一部分公共條目和彼此不同的附加條目。
示例7：示例1的方法，其中，基於塊尺寸、塊形狀、編碼模式或時域層索引中的一個來創建第一運動精度值集和第二運動精度值集。
示例8：一種視頻位元流處理方法，包括：確定第一參考圖片清單和第二參考圖片清單；為第一參考圖片清單中的參考圖片選擇第一運動解析度，並為第二參考圖片清單中的參考圖片選擇第二運動解析度；以及基於第一運動解析度和第二運動解析度，使用運動向量差（MVD）執行視頻塊與視頻塊的編碼表示之間的轉換；其中MVD表示預測運動向量和在運動補償處理期間使用的實際運動向量之間的差，並且其中第一運動解析度來自第一運動精度值集，且第二運動解析度來自第二運動精度值，第一運動精度值集和第二運動精度值集基於所選擇的第一運動解析度或所選的第二運動解析度而變化。
示例9：示例8的方法，其中，當選擇較大的第一運動解析度時，從第二運動精度值集中去除較小的值。
示例10：示例8的方法，其中，當選擇較小的第一運動解析度時，從第二運動精度值集中去除較大的值。
示例11：示例8的方法，其中，當選擇較大的第二運動解析度時，從第一運動精度值集中去除較小的值。
示例12：示例8的方法，其中，當選擇較小的第二運動解析度時，從第一運動精度值集中去除較大的值。
示例13：示例8的方法，其中通過添加來自第一運動精度值集的運動精度值的子集來形成第二運動精度值集，運動精度值的子集具有接近於所選擇的第一運動解析度的解析度。
示例14：示例8的方法，其中通過添加來自第二運動精度值集的運動精度值的子集來形成第一運動精度值集，運動精度值的子集具有接近於所選擇的第二運動解析度的解析度。
示例15：示例8的方法，其中視頻位元流中的位元欄位標識第一運動精度值集和第二運動精度值集。
示例16：示例15的方法，其中位欄位包括在以下的至少一個中：（1）視頻參數集、（2）序列參數集、（3）圖片參數集或（4）條帶標題。
示例17：示例15或16的方法，其中第一運動精度值集和第二運動精度值集被預定義以供視頻位元流的編碼器和解碼器使用。
示例18：示例8的方法，其中視頻位元流中的位元欄位用於自我調整地改變第一運動精度值集和第二運動精度值集的標識。
示例19：示例8的方法，其中視頻位元流中的組合索引指示第一運動解析度和第二運動解析度，並且其中組合索引是使用二進位化的編碼格式，二進位化對於具有較低發生機率的值使用較少位元。
示例20：示例19的方法，其中組合索引指示第一運動解析度，並且第二運動解析度由基於上下文的自我調整二進位算術編碼（CABAC）編碼器編碼，其中基於相鄰塊的MVD精度自我調整地選擇上下文。
示例21：示例8的方法，其中視頻位元流中的第一索引和第二索引分別指示第一運動解析度和第二運動解析度。
示例22：示例21的方法，其中第一索引或第二索引指示第一運動解析度，並且第二運動解析度將由基於上下文的自我調整二進位算術編碼（CABAC）編碼器編碼，其中基於相鄰塊的MVD精度自我調整地選擇上下文。
示例23：示例8的方法，其中第一運動精度值集和第二運動精度值集對應於允許的運動預測值的公共集合，其中公共集合對於不同的在視頻位元流中編碼的視頻的圖片、幀、場或條帶是不同的。
示例24：示例8的方法，其中回應於第一參考圖片清單或者第二參考圖片清單的MVD等於零，執行轉換選擇性地包括對應於非零MVD的資訊。
示例25：示例1-14的方法，其中執行轉換包括針對多元假設預測執行運動補償。
示例26：一種視頻解碼裝置，包括被配置為實現示例1至25中一個或多個的方法的處理器。
示例27：一種視頻編碼裝置，包括被配置為實現示例1至25中一個或多個的方法的處理器。
示例28：一種電腦程式產品，其上存儲有電腦代碼，代碼在由處理器執行時使處理器實現示例1至25中一個或多個的方法。
從前述內容可以理解，本文已經出於說明的目的描述了當前所公開的技術的具體實施例，但是在不脫離本發明的範圍的情況下可以做出各種修改。因此，除了所附申請專利範圍之外，當前所公開的技術不受限制。
本文件中描述的公開的和其他解決方案、示例、實施例、模組和功能性操作可以在數位電子電路中實施，或者在電腦軟體、固件或硬體中實施，包括本文件中公開的結構及其結構等同物，或者以他們的一個或多個的組合實施。所公開的和其他實施例可以被實施為一個或多個電腦程式產品，即，在電腦可讀介質上編碼的一個或多個電腦程式指令模組，用於由資料處理裝置運行或控制資料處理裝置的操作。電腦可讀介質可以是機器可讀存放裝置、機器可讀存儲基板、記憶體設備、影響機器可讀傳播信號的物質的合成、或者它們中的一個或多個的組合。術語“資料處理裝置”包括用於處理資料的所有裝置、設備和機器，包括例如可程式設計處理器、電腦或者多個處理器或電腦。除了硬體之外，裝置可以包括為所討論的電腦程式創建運行環境的代碼，例如，構成處理器固件、協定棧、資料庫管理系統、作業系統及其一個或多個的組合的代碼。傳播信號是人工生成的信號，例如機器生成的電信號、光信號或電磁信號，其被生成以對資訊進行編碼以便傳輸到合適的接收器裝置。
電腦程式（也稱為程式、軟體、軟體應用、腳本或代碼）可以用任何形式的程式設計語言（包括編譯語言或解釋語言）編寫，並且可以以任何形式部署，包括作為獨立程式或作為模組、元件、副程式或其他適合在計算環境中使用的單元。電腦程式不一定與檔案系統中的文件相對應。程式可以存儲在保存其他程式或資料的檔的部分中（例如，存儲在標記語言文件中的一個或多個腳本）、專用於所討論的程式的單個檔中、或多個協調檔（例如，存儲一個或多個模組、副程式或部分代碼的檔）中。電腦程式可以部署在一台或多台電腦上來執行，這些電腦位於一個網站或分佈在多個網站並通過通信網路互連。
本文件中描述的處理和邏輯流可以由一個或多個可程式設計處理器執行，該一個或多個處理器運行一個或多個電腦程式，通過對輸入資料進行操作並生成輸出來執行功能。處理和邏輯流也可以由專用邏輯電路來執行，並且裝置也可以實施為專用邏輯電路，例如，FPGA（現場可程式設計閘陣列）或ASIC（專用積體電路）。
例如，適用於運行電腦程式的處理器包括通用和專用微處理器、以及任何類型的數位電腦的任何一個或多個處理器。通常，處理器將從唯讀記憶體或隨機存取記憶體或兩者接收指令和資料。電腦的基本元件是執行指令的處理器和存儲指令和資料的一個或多個存放裝置。通常，電腦還將包括一個或多個用於存儲資料的大型存放區設備，例如，磁片、磁光碟或光碟，或可操作地耦合到一個或多個大型存放區設備，以從其接收資料或向其傳送資料，或兩者兼有。然而，電腦不一定需要具有這樣的設備。適用於存儲電腦程式指令和資料的電腦可讀介質包括所有形式的非易失性記憶體、介質和記憶體設備，包括例如半導體記憶體設備，例如EPROM、EEPROM和快閃記憶體設備；磁片，例如內部硬碟或抽取式磁碟；磁光碟；以及CD ROM和DVD-ROM光碟。處理器和記憶體可以由專用邏輯電路來補充，或合併到專用邏輯電路中。
雖然本專利文件包含許多細節，但不應將其解釋為對任何發明或要求保護的範圍的限制，而應解釋為特定於特定發明的特定實施例的特徵的描述。本專利文件在分離的實施例的上下文描述的某些特徵也可以在單個實施例中組合實施。相反，在單個實施例的上下文中描述的各種功能也可以在多個實施例中單獨地實施，或在任何合適的子組合中實施。此外，雖然特徵可以被描述為在某些組合中起作用，甚至最初這樣要求保護，但在某些情況下，可以從要求保護的組合中刪除組合中的一個或多個特徵，並且要求保護的組合可以指向子組合或子組合的變體。
同樣，儘管在附圖中以特定順序描述了操作，但這不應理解為要獲得期望的結果必須按照所示的特定順序或次序順序來執行這些操作，或執行所有示出的操作。此外，本專利文件所述實施例中的各種系統元件的分離不應理解為在所有實施例中都需要這樣的分離。
2500‧‧‧流程 2502、2504、2506‧‧‧步驟 2600‧‧‧視頻解碼裝置 2602‧‧‧處理器 2604‧‧‧記憶體 2606‧‧‧視頻處理電路 A、B、C、D‧‧‧子塊 A、B‧‧‧最小化點 a、b、c、d‧‧‧塊 A0、A1、B0、B1、B2、C0、C1‧‧‧Merge候選 col_pic‧‧‧共同定位的圖片 col_PU‧‧‧共同定位的PU col_ref‧‧‧共同定位的圖片的參考圖片 curr_pic‧‧‧當前圖片 curr_PU‧‧‧當前的PU curr_ref‧‧‧當前圖片的參考圖片 MV0、MV1、
Figure 02_image113
、
Figure 02_image115
、
Figure 02_image117
、
Figure 02_image119
、
Figure 02_image121
、MVx0、MVy0、MVx1、MVy1、MV0'、MV1'‧‧‧運動向量 mvL0、refIdxL0、mvL1、refIdxL1‧‧‧Merge候選列表 neighbor_PU‧‧‧相鄰PU neigh_ref‧‧‧相鄰PU的參考圖片 tb、td‧‧‧POC距離 TD0、TD1‧‧‧時間距離 X0、X1、X2、X3、X4‧‧‧位置 Y‧‧‧共同定位的PU
Figure 02_image051
、
Figure 02_image053
‧‧‧距離
圖1示出了用於Merge候選列表建構的推導過程的示例。 圖2示出了空間Merge候選的示例位置。 圖3示出了考慮空間Merge候選的冗餘校驗的候選對的示例。 圖4A-4B示出了N×2N和2N×N個分區的第二PU的示例位置。 圖5是用於時間Merge候選的運動向量縮放的示例說明。 圖6示出了時間Merge候選C0和C1的候選位置的示例。 圖7示出了組合的雙向預測Merge候選的示例。 圖8示出了運動向量預測候選的示例推導過程。 圖9示出了用於空間運動向量候選的運動向量縮放的示例說明。 圖10示出了用於CU的ATMVP運動預測的示例。 圖11示出了具有四個子塊（A-D）及其相鄰塊（a-d）的一個CU的示例。 圖12是應用OBMC的子塊的圖示。 圖13示出了用於推導IC參數的相鄰樣本的示例。 圖14示出了簡化的仿射運動模型的示例。 圖15示出了每個子塊的仿射MVF的示例。 圖16示出了AF_INTER的MVP的示例。 圖17A-17B示出了AF_MERGE的候選的示例。 圖18示出了雙邊匹配的示例。 圖19示出了範本匹配的示例。 圖20示出了FRUC中的單邊ME的示例。 圖21示出了光流軌跡的示例。 圖22A和22B示出了BIO w/o塊擴展：圖22A訪問塊外的位置，圖22B發出填充以避免額外的記憶體訪問和計算。 圖23示出了基於雙邊範本匹配的DMVR的示例。 圖24示出了上下文自我調整編碼的示例。 圖25是視頻解碼的示例方法的流程圖。 圖26是視頻解碼裝置的框圖。 圖27示出了視訊轉碼器的示例實施方式。
2500‧‧‧流程
2502、2504、2506‧‧‧步驟

Claims (28)

  1. 一種視頻位元流處理方法，包括：確定第一參考圖片清單和第二參考圖片清單；為所述第一參考圖片清單中的參考圖片選擇第一運動解析度，並為所述第二參考圖片清單中的所述參考圖片選擇第二運動解析度；以及基於所述第一運動解析度和所述第二運動解析度，使用運動向量差(Motion Vector Difference，MVD)執行視頻塊與所述視頻塊的編碼表示之間的轉換；其中所述MVD表示預測運動向量和在運動補償處理期間使用的實際運動向量之間的差，並且其中所述第一運動解析度來自第一運動精度值集，且所述第二運動解析度來自第二運動精度值集。
  2. 如申請專利範圍第1項所述的方法，其中，分別控制所述第一運動解析度和所述第二運動解析度，並且其中所述第一運動解析度和所述第二運動解析度可以是所述第一運動精度值集或所述第二運動精度值集的任何值。
  3. 如申請專利範圍第1項所述的方法，其中所述第一運動精度值集與所述第二運動精度值集相同。
  4. 如申請專利範圍第1項所述的方法，其中所述第一運動精度值集和所述第二運動精度值集具有至少一些不同的條目。
  5. 如申請專利範圍第1項所述的方法，其中所述第一運動精度值集和所述第二運動精度值集彼此互補。
  6. 如申請專利範圍第1項所述的方法，其中所述第一運動精度值集和所述第二運動精度值集包括第一部分公共條目和彼此不同的附加條目。
  7. 如申請專利範圍第1項所述的方法，其中，基於塊尺寸、塊形狀、編碼模式或時域層索引中的一個來創建所述第一運動精度值集和所述第二運動精度值集。
  8. 一種視頻位元流處理方法，包括：確定第一參考圖片清單和第二參考圖片清單；為所述第一參考圖片清單中的參考圖片選擇第一運動解析度，並為所述第二參考圖片清單中的所述參考圖片選擇第二運動解析度；以及基於所述第一運動解析度和所述第二運動解析度，使用運動向量差(Motion Vector Difference，MVD)執行視頻塊與所述視頻塊的編碼表示之間的轉換；其中所述MVD表示預測運動向量和在運動補償處理期間使用的實際運動向量之間的差，並且其中所述第一運動解析度來自第一運動精度值集，且所述第二運動解析度來自第二運動精度值，所述第一運動精度值集和所述第二運動精度值集基於所選擇的第一運動解析度或所選的第二運動解析度而變化。
  9. 如申請專利範圍第8項所述的方法，其中，當選擇較大的第一運動解析度時，從所述第二運動精度值集中去除較小的值。
  10. 如申請專利範圍第8項所述的方法，其中，當選擇較小的第一運動解析度時，從所述第二運動精度值集中去除較大的值。
  11. 如申請專利範圍第8項所述的方法，其中，當選擇較大的第二運動解析度時，從所述第一運動精度值集中去除較小的值。
  12. 如申請專利範圍第8項所述的方法，其中，當選擇較小的第二運動解析度時，從所述第一運動精度值集中去除較大的值。
  13. 如申請專利範圍第8項所述的方法，其中通過添加來自所述第一運動精度值集的運動精度值的子集來形成所述第二運動精度值集，所述運動精度值的子集具有接近於所選擇的第一運動解析度的解析度。
  14. 如申請專利範圍第8項所述的方法，其中通過添加來自所述第二運動精度值集的運動精度值的子集來形成所述第一運動精度值集，所述運動精度值的子集具有接近於所選擇的第二運動解析度的解析度。
  15. 如申請專利範圍第8項所述的方法，其中視頻位元流中的位元欄(Bit Field)標識所述第一運動精度值集和所述第二運動精度值集。
  16. 如申請專利範圍第15項所述的方法，其中所述位欄位包括在以下的至少一個中：(1)視頻參數集、(2)序列參數集、(3)圖片參數集或(4)條帶標題(Slice Header)。
  17. 如申請專利範圍第15項或第16項所述的方法，其中所述第一運動精度值集和所述第二運動精度值集被預定義以供所述視頻位元流的編碼器和解碼器使用。
  18. 如申請專利範圍第8項所述的方法，其中視頻位元流中的位元欄用於自我調整地改變所述第一運動精度值集和所述第二運動精度值集的標識。
  19. 如申請專利範圍第8項所述的方法，其中視頻位元流中的組合索引指示所述第一運動解析度和所述第二運動解析度，並且其中所述組合索引是使用二進位化的編碼格式，所述二進位化對於具有較低發生機率的值使用較少位元。
  20. 如申請專利範圍第19項所述的方法，其中所述組合索引指示所述第一運動解析度，並且所述第二運動解析度由基於上下文的自我調整二進位算術編碼(Context-Based Adaptive Binary Arithmetic Coding，CABAC)編碼器編碼，其中基於相鄰塊的MVD精度自我調整地選擇上下文。
  21. 如申請專利範圍第8項所述的方法，其中視頻位元流中的第一索引和第二索引分別指示所述第一運動解析度和所述第二運動解析度。
  22. 如申請專利範圍第21項所述的方法，其中所述第一索引或所述第二索引指示所述第一運動解析度，並且所述第二運動解析度將由基於上下文的自我調整二進位算術編碼(CABAC)編碼器編碼，其中基於相鄰塊的MVD精度自我調整地選擇上下文。
  23. 如申請專利範圍第8項所述的方法，其中所述第一運動精度值集和所述第二運動精度值集對應於允許的運動預測值的公共集合，其中所述公共集合對於在視頻位元流中編碼的視頻的不同圖片、幀、場或標頭是不同的。
  24. 如申請專利範圍第8項所述的方法，其中回應於所述第一參考圖片清單或者所述第二參考圖片清單的MVD等於零，所述執行所述轉換選擇性地包括對應於非零MVD的資訊。
  25. 如申請專利範圍第1項至第16項及第18項至第24項任一項所述的方法，其中所述執行所述轉換包括針對多元假設預測(Multi-Hypothesis Prediction)執行運動補償。
  26. 一種視頻解碼裝置，包括被配置為實現申請專利範圍第1項至第25項中的一項或多項所述的方法的處理器。
  27. 一種視頻編碼裝置，包括被配置為實現申請專利範圍第1項至第25項中的一項或多項所述的方法的處理器。
  28. 一種電腦程式產品，其上存儲有電腦代碼，所述代碼在由處理器執行時使所述處理器實現申請專利範圍第1項至第25項中的一項或多項所述的方法。
TW108121349A 2018-06-19 2019-06-19 用於不同參考列表的不同精確度 TWI746994B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN2018091792 2018-06-19
WOPCT/CN2018/091792 2018-06-19

Publications (2)

Publication Number Publication Date
TW202002646A TW202002646A (zh) 2020-01-01
TWI746994B true TWI746994B (zh) 2021-11-21

Family

ID=67841116

Family Applications (5)

Application Number Title Priority Date Filing Date
TW108121341A TWI731345B (zh) 2018-06-19 2019-06-19 模式相依運動向量差精確集
TW108121362A TW202025776A (zh) 2018-06-19 2019-06-19 不具運動向量預測截斷的選擇運動向量差精確度
TW108121344A TWI706670B (zh) 2018-06-19 2019-06-19 廣義運動向量差解析度
TW108121368A TWI723430B (zh) 2018-06-19 2019-06-19 不同精度的多個候選
TW108121349A TWI746994B (zh) 2018-06-19 2019-06-19 用於不同參考列表的不同精確度

Family Applications Before (4)

Application Number Title Priority Date Filing Date
TW108121341A TWI731345B (zh) 2018-06-19 2019-06-19 模式相依運動向量差精確集
TW108121362A TW202025776A (zh) 2018-06-19 2019-06-19 不具運動向量預測截斷的選擇運動向量差精確度
TW108121344A TWI706670B (zh) 2018-06-19 2019-06-19 廣義運動向量差解析度
TW108121368A TWI723430B (zh) 2018-06-19 2019-06-19 不同精度的多個候選

Country Status (5)

Country Link
US (2) US11477458B2 (zh)
CN (6) CN110620929B (zh)
GB (1) GB2589221B (zh)
TW (5) TWI731345B (zh)
WO (5) WO2019244055A1 (zh)

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020065520A2 (en) 2018-09-24 2020-04-02 Beijing Bytedance Network Technology Co., Ltd. Extended merge prediction
EP3788787A1 (en) 2018-06-05 2021-03-10 Beijing Bytedance Network Technology Co. Ltd. Interaction between ibc and atmvp
WO2019244118A1 (en) 2018-06-21 2019-12-26 Beijing Bytedance Network Technology Co., Ltd. Component-dependent sub-block dividing
TWI739120B (zh) 2018-06-21 2021-09-11 大陸商北京字節跳動網絡技術有限公司 合併仿射模式與非合併仿射模式的統一拘束
CN110891175B (zh) 2018-09-08 2023-04-07 北京字节跳动网络技术有限公司 视频编解码和解码中的仿射模式
KR102635047B1 (ko) 2018-09-19 2024-02-07 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 적응적 움직임 벡터 해상도를 가지는 어파인 모드에 대한 구문 재사용
CN110944181B (zh) 2018-09-23 2023-03-10 北京字节跳动网络技术有限公司 仿射模型的多个假设
WO2020058957A1 (en) 2018-09-23 2020-03-26 Beijing Bytedance Network Technology Co., Ltd. General applications related to affine motion
WO2020058953A1 (en) 2018-09-23 2020-03-26 Beijing Bytedance Network Technology Co., Ltd. Simplified spatial-temporal motion vector prediction
WO2020084470A1 (en) 2018-10-22 2020-04-30 Beijing Bytedance Network Technology Co., Ltd. Storage of motion parameters with clipping for affine mode
WO2020094151A1 (en) 2018-11-10 2020-05-14 Beijing Bytedance Network Technology Co., Ltd. Rounding in pairwise average candidate calculations
CN113016185B (zh) 2018-11-17 2024-04-05 北京字节跳动网络技术有限公司 以运动矢量差分模式控制Merge
CN113196747B (zh) 2018-12-21 2023-04-14 北京字节跳动网络技术有限公司 当前图片参考模式下的信息信令通知
CN113412623A (zh) 2019-01-31 2021-09-17 北京字节跳动网络技术有限公司 记录仿射模式自适应运动矢量分辨率的上下文
WO2020173483A1 (en) * 2019-02-27 2020-09-03 Beijing Bytedance Network Technology Co., Ltd. Improvement on adaptive motion vector difference resolution in intra block copy mode
JP7239732B2 (ja) 2019-04-02 2023-03-14 北京字節跳動網絡技術有限公司 双方向オプティカルフローに基づく映像符号化及び復号化
WO2020211867A1 (en) 2019-04-19 2020-10-22 Beijing Bytedance Network Technology Co., Ltd. Delta motion vector in prediction refinement with optical flow process
CN113728626B (zh) 2019-04-19 2023-05-30 北京字节跳动网络技术有限公司 不同运动矢量细化中的基于区域的梯度计算
CN113711608B (zh) 2019-04-19 2023-09-01 北京字节跳动网络技术有限公司 利用光流的预测细化过程的适用性
CN117676134A (zh) 2019-04-25 2024-03-08 北京字节跳动网络技术有限公司 对运动矢量差的约束
KR20210153048A (ko) 2019-04-28 2021-12-16 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 대칭 모션 벡터 차이 코딩
KR20220023338A (ko) 2019-06-25 2022-03-02 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 모션 벡터 차이에 대한 제약
BR112021025804A2 (pt) * 2019-06-27 2022-02-08 Samsung Electronics Co Ltd Método de decodificação de vídeo, método de codificação de vídeo, e aparelho de decodificação de vídeo
CN114365490A (zh) 2019-09-09 2022-04-15 北京字节跳动网络技术有限公司 高精度图像和视频编解码的系数缩放
CN114731392A (zh) 2019-09-21 2022-07-08 北京字节跳动网络技术有限公司 用于图像和视频编解码的高精度变换和量化
CN112868234A (zh) * 2019-09-24 2021-05-28 深圳市大疆创新科技有限公司 运动估计方法、系统和存储介质
US20230128502A1 (en) * 2021-10-21 2023-04-27 Tencent America LLC Schemes for Adjusting Adaptive Resolution for Motion Vector Difference
WO2023118301A1 (en) * 2021-12-21 2023-06-29 Interdigital Vc Holdings France, Sas Adaptive motion vector resolution (amvr) using depth map or motion map
US20240031596A1 (en) * 2022-07-19 2024-01-25 Tencent America LLC Adaptive motion vector for warped motion mode of video coding

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9930358B2 (en) * 2009-08-21 2018-03-27 Sk Telecom Co., Ltd. Method and apparatus for encoding/decoding images using adaptive motion vector resolution
US20180098089A1 (en) * 2016-10-04 2018-04-05 Qualcomm Incorporated Adaptive motion vector precision for video coding

Family Cites Families (115)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3651941B2 (ja) 1994-11-28 2005-05-25 キヤノン株式会社 画像再生装置
KR100962759B1 (ko) * 2002-01-24 2010-06-09 가부시키가이샤 히타치세이사쿠쇼 동화상 신호의 부호화 방법 및 복호화 방법
WO2007003340A2 (en) * 2005-07-01 2007-01-11 Nero Ag Video encoder and video decoder
US20070025442A1 (en) 2005-07-28 2007-02-01 Sanyo Electric Co., Ltd. Coding method for coding moving images
JP2009089332A (ja) * 2007-10-03 2009-04-23 Sony Corp 動き予測方法及び動き予測装置
US8542727B2 (en) 2007-12-31 2013-09-24 Intel Corporation Systems and apparatuses for performing CABAC parallel encoding and decoding
US20110176611A1 (en) 2010-01-15 2011-07-21 Yu-Wen Huang Methods for decoder-side motion vector derivation
US9237355B2 (en) * 2010-02-19 2016-01-12 Qualcomm Incorporated Adaptive motion resolution for video coding
US8837592B2 (en) * 2010-04-14 2014-09-16 Mediatek Inc. Method for performing local motion vector derivation during video coding of a coding unit, and associated apparatus
JP2012060208A (ja) 2010-09-06 2012-03-22 Nippon Telegr & Teleph Corp <Ntt> 動画像符号化方法，動画像符号化装置，動画像復号方法，動画像復号装置およびそれらのプログラム
CN107071438B (zh) 2010-10-08 2020-09-01 Ge视频压缩有限责任公司 编码器和编码方法与解码器和解码方法
US10327008B2 (en) 2010-10-13 2019-06-18 Qualcomm Incorporated Adaptive motion vector resolution signaling for video coding
WO2012134246A2 (ko) 2011-04-01 2012-10-04 엘지전자 주식회사 엔트로피 디코딩 방법 및 이를 이용하는 디코딩 장치
US10123053B2 (en) 2011-05-23 2018-11-06 Texas Instruments Incorporated Acceleration of bypass binary symbol processing in video coding
CN106686378B (zh) * 2011-06-14 2019-10-08 三星电子株式会社 对图像进行解码的方法和设备
MX365013B (es) * 2011-08-29 2019-05-20 Ibex Pt Holdings Co Ltd Metodo para generar un bloque de prediccion en modo de prediccion de vector de movimiento avanzada (amvp).
CN102291581B (zh) 2011-09-09 2013-09-25 西安电子科技大学 支持帧场自适应运动估计的实现方法
US9736489B2 (en) * 2011-09-17 2017-08-15 Qualcomm Incorporated Motion vector determination for video coding
US9088796B2 (en) 2011-11-07 2015-07-21 Sharp Kabushiki Kaisha Video decoder with enhanced CABAC decoding
US20130170553A1 (en) * 2012-01-04 2013-07-04 Qualcomm Incorporated Coding motion vector difference
US20130177084A1 (en) 2012-01-10 2013-07-11 Qualcomm Incorporated Motion vector scaling in video coding
US9538172B2 (en) 2012-04-11 2017-01-03 Qualcomm Incorporated Grouping bypass coded syntax elements in video coding
US9325991B2 (en) * 2012-04-11 2016-04-26 Qualcomm Incorporated Motion vector rounding
WO2013168407A1 (en) * 2012-05-09 2013-11-14 Panasonic Corporation Method of performing motion vector prediction, encoding and decoding methods, and apparatuses thereof
JP6242385B2 (ja) 2012-05-29 2017-12-06 寰發股▲ふん▼有限公司ＨＦＩ Ｉｎｎｏｖａｔｉｏｎ Ｉｎｃ． サンプルアダプティブオフセット情報（ＳａｍｐｌｅＡｄａｐｔｉｖｅＯｆｆｓｅｔＩｎｆｏｒｍａｔｉｏｎ）の符号化の方法と装置
US9635356B2 (en) * 2012-08-07 2017-04-25 Qualcomm Incorporated Multi-hypothesis motion compensation for scalable video coding and 3D video coding
US9319684B2 (en) 2012-08-21 2016-04-19 Qualcomm Incorporated Alternative transform in scalable video coding
US9313500B2 (en) * 2012-09-30 2016-04-12 Microsoft Technology Licensing, Llc Conditional signalling of reference picture list modification information
BR112015015575A2 (pt) * 2013-01-30 2020-02-04 Intel Corp particionamento adaptativo ao conteúdo para a previsão e codificação para vídeo da próxima geração
WO2015069734A1 (en) 2013-11-05 2015-05-14 Arris Enterprises, Inc. Bit depth variable for high precision data in weighted prediction syntax and semantics
CN103561263B (zh) * 2013-11-06 2016-08-24 北京牡丹电子集团有限责任公司数字电视技术中心 基于运动矢量约束和加权运动矢量的运动补偿预测方法
US20150189321A1 (en) 2014-01-02 2015-07-02 Mediatek Inc. Method of Binarization and Context Adaptive Binary Arithmetic Coding of Depth Coding Syntax
US9749642B2 (en) * 2014-01-08 2017-08-29 Microsoft Technology Licensing, Llc Selection of motion vector precision
US10531116B2 (en) 2014-01-09 2020-01-07 Qualcomm Incorporated Adaptive motion vector resolution signaling for video coding
EP3085085A4 (en) 2014-01-29 2017-11-08 MediaTek Inc. Method and apparatus for adaptive motion vector precision
US9756354B2 (en) * 2014-03-17 2017-09-05 Qualcomm Incorporated Block vector predictor for intra block copying
JP6430542B2 (ja) * 2014-06-16 2018-11-28 クゥアルコム・インコーポレイテッドＱｕａｌｃｏｍｍ Ｉｎｃｏｒｐｏｒａｔｅｄ ３ｄ−ｈｅｖｃにおける簡略化シフティングマージ候補およびマージリスト導出
US10327001B2 (en) 2014-06-19 2019-06-18 Qualcomm Incorporated Systems and methods for intra-block copy
US9854253B2 (en) * 2014-06-30 2017-12-26 Qualcomm Incorporated Method for motion vector difference (MVD) and intra block copy vector difference (BVD) coding of screen content video data
EP3189660B1 (en) 2014-09-30 2023-07-12 HFI Innovation Inc. Method of adaptive motion vector resolution for video coding
US9918105B2 (en) 2014-10-07 2018-03-13 Qualcomm Incorporated Intra BC and inter unification
CN104363451B (zh) 2014-10-27 2019-01-25 华为技术有限公司 图像预测方法及相关装置
JP6837965B2 (ja) * 2014-10-31 2021-03-03 サムスン エレクトロニクス カンパニー リミテッド 符号化装置及び復号装置
US10182240B2 (en) * 2014-11-18 2019-01-15 Mediatek Inc. Method of bi-prediction video coding based on motion vectors from uni-prediction and merge candidate
KR102128216B1 (ko) * 2014-11-20 2020-06-30 에이치에프아이 이노베이션 인크. 모션 벡터 및 블록 벡터 해상도 제어의 방법
CN104661031B (zh) 2015-02-16 2017-12-22 华为技术有限公司 用于视频图像编码和解码的方法、编码设备和解码设备
US10200711B2 (en) * 2015-03-27 2019-02-05 Qualcomm Incorporated Motion vector derivation in video coding
US20160323600A1 (en) 2015-04-30 2016-11-03 Zhan Ma Methods and Apparatus for Use of Adaptive Prediction Resolution in Video Coding
CN106303543B (zh) 2015-05-15 2018-10-30 华为技术有限公司 视频图像编码和解码的方法、编码设备和解码设备
US10148961B2 (en) 2015-05-29 2018-12-04 Qualcomm Incorporated Arithmetic coder with multiple window sizes
KR102390073B1 (ko) 2015-06-08 2022-04-25 브이아이디 스케일, 인크. 스크린 콘텐츠 코딩을 위한 인트라 블록 카피 모드
GB2539212A (en) 2015-06-08 2016-12-14 Canon Kk Handling of non-correct block vectors generated for intra block copy coding mode
CN106331722B (zh) 2015-07-03 2019-04-26 华为技术有限公司 图像预测方法和相关设备
CN105163116B (zh) 2015-08-29 2018-07-31 华为技术有限公司 图像预测的方法及设备
KR20180059443A (ko) 2015-09-24 2018-06-04 엘지전자 주식회사 영상 코딩 시스템에서 움직임 벡터 정제 기반 인터 예측 방법 및 장치
US10812822B2 (en) * 2015-10-02 2020-10-20 Qualcomm Incorporated Intra block copy merge mode and padding of unavailable IBC reference region
WO2017082443A1 (ko) * 2015-11-13 2017-05-18 엘지전자 주식회사 영상 코딩 시스템에서 임계값을 이용한 적응적 영상 예측 방법 및 장치
US20190158870A1 (en) 2016-01-07 2019-05-23 Mediatek Inc. Method and apparatus for affine merge mode prediction for video coding system
WO2017134957A1 (ja) 2016-02-03 2017-08-10 シャープ株式会社 動画像復号装置、動画像符号化装置、および予測画像生成装置
WO2017147765A1 (en) * 2016-03-01 2017-09-08 Mediatek Inc. Methods for affine motion compensation
US10638152B2 (en) 2016-03-15 2020-04-28 Mediatek Inc. Method and apparatus of video coding with affine motion compensation
WO2017156705A1 (en) 2016-03-15 2017-09-21 Mediatek Inc. Affine prediction for video coding
KR102480088B1 (ko) 2016-03-17 2022-12-23 삼성디스플레이 주식회사 양자점 발광 소자
US10939105B2 (en) 2016-03-25 2021-03-02 Panasonic Intellectual Property Management Co., Ltd. Methods and apparatuses for encoding and decoding video using signal dependent adaptive quantization
US10911773B2 (en) * 2016-05-13 2021-02-02 Telefonaktiebolaget Lm Ericsson (Publ) Motion vector difference coding and decoding
US10560712B2 (en) 2016-05-16 2020-02-11 Qualcomm Incorporated Affine motion prediction for video coding
CN115150617A (zh) 2016-05-27 2022-10-04 松下电器（美国）知识产权公司 编码方法及解码方法
EP3264768A1 (en) 2016-06-30 2018-01-03 Thomson Licensing Method and apparatus for video coding with adaptive motion information refinement
CN109691107A (zh) * 2016-09-12 2019-04-26 索尼公司 图像处理装置和图像处理方法
WO2018049594A1 (en) 2016-09-14 2018-03-22 Mediatek Inc. Methods of encoder decision for quad-tree plus binary tree structure
US10462462B2 (en) * 2016-09-29 2019-10-29 Qualcomm Incorporated Motion vector difference coding technique for video coding
US11356693B2 (en) * 2016-09-29 2022-06-07 Qualcomm Incorporated Motion vector coding for video coding
US10778999B2 (en) 2016-09-30 2020-09-15 Qualcomm Incorporated Frame rate up-conversion coding mode with affine motion model
EP3301918A1 (en) 2016-10-03 2018-04-04 Thomson Licensing Method and apparatus for encoding and decoding motion information
US10448010B2 (en) 2016-10-05 2019-10-15 Qualcomm Incorporated Motion vector prediction for affine motion models in video coding
US10701392B2 (en) * 2016-11-22 2020-06-30 Mediatek Inc. Method and apparatus for motion vector sign prediction in video coding
US10694202B2 (en) 2016-12-01 2020-06-23 Qualcomm Incorporated Indication of bilateral filter usage in video coding
CN108235007B (zh) 2016-12-12 2023-06-27 上海天荷电子信息有限公司 各模式使用不同精度同种编码参数的数据压缩方法和装置
WO2018110203A1 (ja) 2016-12-16 2018-06-21 シャープ株式会社 動画像復号装置、および動画像符号化装置
CN116320477A (zh) 2016-12-22 2023-06-23 株式会社Kt 对视频进行解码或编码的方法和发送视频数据的方法
US10757412B2 (en) 2017-01-03 2020-08-25 Avago Technologies International Sales Pte. Limited Architecture flexible binary arithmetic coding system
US10523964B2 (en) 2017-03-13 2019-12-31 Qualcomm Incorporated Inter prediction refinement based on bi-directional optical flow (BIO)
US10595035B2 (en) 2017-03-22 2020-03-17 Qualcomm Incorporated Constraining motion vector information derived by decoder-side motion vector derivation
US10560723B2 (en) 2017-05-08 2020-02-11 Qualcomm Incorporated Context modeling for transform coefficient coding
US11272207B2 (en) 2017-06-12 2022-03-08 Futurewei Technologies, Inc. Selection and signaling of motion vector (MV) precisions
US10602180B2 (en) 2017-06-13 2020-03-24 Qualcomm Incorporated Motion vector prediction
CN110870314B (zh) * 2017-06-26 2024-04-02 交互数字Vc控股公司 用于运动补偿的多个预测器候选
KR20200015885A (ko) 2017-07-04 2020-02-13 삼성전자주식회사 영상 부호화 방법 및 장치, 영상 복호화 방법 및 장치
CA3069635C (en) 2017-07-14 2022-06-14 Mediatek, Inc. Method and apparatus for range derivation in context adaptive binary arithmetic coding
CN116708780A (zh) 2017-08-11 2023-09-05 华为技术有限公司 视频图像编码和解码的方法、装置及设备
US10609384B2 (en) 2017-09-21 2020-03-31 Futurewei Technologies, Inc. Restriction on sub-block size derivation for affine inter prediction
CN111543055A (zh) 2017-10-03 2020-08-14 日本电气株式会社 视频编码设备、视频解码设备、视频编码方法、视频解码方法、程序和视频系统
US11172201B2 (en) 2017-12-18 2021-11-09 Panasonic Intellectual Property Corporation Of America Encoder, decoder, encoding method, and decoding method
US11172229B2 (en) 2018-01-12 2021-11-09 Qualcomm Incorporated Affine motion compensation with low bandwidth
US10757417B2 (en) 2018-01-20 2020-08-25 Qualcomm Incorporated Affine motion compensation in video coding
US11012715B2 (en) * 2018-02-08 2021-05-18 Qualcomm Incorporated Intra block copy for video coding
US20200413040A1 (en) * 2018-03-14 2020-12-31 Electronics And Telecommunications Research Institute Method and device for encoding/decoding image and recording medium having bitstream stored thereon
US10873748B2 (en) 2018-05-12 2020-12-22 Qualcomm Incorporated Storage of high precision motion vectors in video coding
US11509924B2 (en) * 2018-06-01 2022-11-22 Panasonic Intellectual Property Corporation Of America Encoder, decoder, encoding method, and decoding method
EP3788787A1 (en) 2018-06-05 2021-03-10 Beijing Bytedance Network Technology Co. Ltd. Interaction between ibc and atmvp
KR20230018548A (ko) 2018-06-07 2023-02-07 주식회사 윌러스표준기술연구소 적응적 모션 벡터 레졸루션을 이용하는 비디오 신호 처리 방법 및 장치
US11303923B2 (en) 2018-06-15 2022-04-12 Intel Corporation Affine motion compensation for current picture referencing
US20190387247A1 (en) * 2018-06-19 2019-12-19 Qualcomm Incorporated Signaling sub-prediction unit motion vector predictor
US20190045193A1 (en) * 2018-06-29 2019-02-07 Intel Corporation Region-based motion estimation and modeling for accurate region-based motion compensation for efficient video processing or coding
CN116095312A (zh) * 2018-08-04 2023-05-09 北京字节跳动网络技术有限公司 视频处理方法、装置和计算机可读介质
JP2021536686A (ja) 2018-08-29 2021-12-27 ヴィド スケール インコーポレイテッド アフィン動きモデルベースのビデオ符号化のための適応動きベクトル精度
CN110891175B (zh) * 2018-09-08 2023-04-07 北京字节跳动网络技术有限公司 视频编解码和解码中的仿射模式
BR122021009778A2 (pt) 2018-09-10 2021-07-13 Lg Electronics Inc. Método e aparelho de decodificação de imagens com base em predição de movimento afim usando lista de candidatos a mvp afim no sistema de codificação de imagens
KR102635047B1 (ko) 2018-09-19 2024-02-07 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 적응적 움직임 벡터 해상도를 가지는 어파인 모드에 대한 구문 재사용
RU2769146C1 (ru) 2018-09-22 2022-03-28 ЭлДжи ЭЛЕКТРОНИКС ИНК. Способ и устройство для обработки сигналов видео с использованием интер-предсказания
WO2020058962A1 (en) 2018-09-23 2020-03-26 Beijing Bytedance Network Technology Co., Ltd. Signaling of motion vector precision indication with adaptive motion vector resolution
CN111357294B (zh) 2018-10-23 2022-12-30 北京字节跳动网络技术有限公司 基于子块的运动信息列表的简化熵编解码
SG11202104480RA (en) 2018-11-05 2021-05-28 Beijing Bytedance Network Technology Co Ltd Interpolation for inter prediction with refinement
EP3959873A4 (en) * 2019-04-25 2022-08-10 OP Solutions, LLC EFFICIENT CODING OF GLOBAL MOTION VECTORS
CN111050182B (zh) * 2019-12-27 2022-02-18 浙江大华技术股份有限公司 运动矢量的预测方法、视频编码方法及相关设备、装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9930358B2 (en) * 2009-08-21 2018-03-27 Sk Telecom Co., Ltd. Method and apparatus for encoding/decoding images using adaptive motion vector resolution
US20180098089A1 (en) * 2016-10-04 2018-04-05 Qualcomm Incorporated Adaptive motion vector precision for video coding

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Sri Nitchith Akula ET AL, "Description of SDR, HDR and 360° video coding technology proposal considering mobile application scenario by Samsung, Huawei, GoPro, and HiSilicon", 10th JVET MEETING; 10–20 Apr. 2018, (buJoint Video Exploration Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11), 14 April 2018 URL: https://jvet-experts.org/doc_end_user/documents/10_San%20Diego/wg11/JVET-J002 *

Also Published As

Publication number Publication date
WO2019244051A1 (en) 2019-12-26
WO2019244055A1 (en) 2019-12-26
TW202002649A (zh) 2020-01-01
WO2019244052A1 (en) 2019-12-26
CN110620933A (zh) 2019-12-27
CN110620929A (zh) 2019-12-27
CN116347099A (zh) 2023-06-27
TWI723430B (zh) 2021-04-01
TW202002646A (zh) 2020-01-01
TW202025748A (zh) 2020-07-01
US20200359029A1 (en) 2020-11-12
GB2589221A (en) 2021-05-26
CN110620932A (zh) 2019-12-27
WO2019244056A1 (en) 2019-12-26
GB202018864D0 (en) 2021-01-13
US20220021885A1 (en) 2022-01-20
TW202025776A (zh) 2020-07-01
TWI731345B (zh) 2021-06-21
TW202025745A (zh) 2020-07-01
WO2019244054A1 (en) 2019-12-26
CN110620923B (zh) 2022-07-12
CN110620923A (zh) 2019-12-27
CN110620928B (zh) 2022-12-09
CN110620929B (zh) 2023-04-18
CN110620932B (zh) 2022-11-08
CN110620933B (zh) 2022-05-31
CN110620928A (zh) 2019-12-27
TWI706670B (zh) 2020-10-01
GB2589221B (en) 2023-03-22
US11477458B2 (en) 2022-10-18

Similar Documents

Publication Publication Date Title
TWI746994B (zh) 用於不同參考列表的不同精確度
TWI736907B (zh) 改進的模式匹配的運動向量推導
TWI735929B (zh) 更新的mv或推導的mv的裁剪
US11159808B2 (en) Using inter prediction with geometric partitioning for video processing
TWI736923B (zh) 擴展Merge模式
TWI709332B (zh) 基於更新的運動矢量的運動預測
US11956431B2 (en) Conditional application of inter prediction with geometric partitioning in video processing
TW202025743A (zh) 兩步幀間預測
TWI753280B (zh) Bio中的mv精度