TWI731362B - 擴展Merge模式與其他視頻編碼工具之間的交互 - Google Patents

擴展Merge模式與其他視頻編碼工具之間的交互 Download PDF

Info

Publication number
TWI731362B
TWI731362B TW108123171A TW108123171A TWI731362B TW I731362 B TWI731362 B TW I731362B TW 108123171 A TW108123171 A TW 108123171A TW 108123171 A TW108123171 A TW 108123171A TW I731362 B TWI731362 B TW I731362B
Authority
TW
Taiwan
Prior art keywords
candidate
list
mvd
accuracy
candidates
Prior art date
Application number
TW108123171A
Other languages
English (en)
Other versions
TW202017370A (zh
Inventor
劉鴻彬
張莉
張凱
王悅
Original Assignee
大陸商北京字節跳動網絡技術有限公司
美商字節跳動有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 大陸商北京字節跳動網絡技術有限公司, 美商字節跳動有限公司 filed Critical 大陸商北京字節跳動網絡技術有限公司
Publication of TW202017370A publication Critical patent/TW202017370A/zh
Application granted granted Critical
Publication of TWI731362B publication Critical patent/TWI731362B/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/521—Processing of motion vectors for estimating the reliability of the determined motion vectors or motion vector field, e.g. for smoothing the motion vector field or for correcting motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/523—Motion estimation or motion compensation with sub-pixel accuracy

Abstract

描述了用於在視頻編碼中使用擴展Merge模式（EMM）的方法、設備和系統。一種視頻處理的示例性方法，該方法包括構建擴展Merge模式EMM候選清單；基於當前塊的位元流表示中的比特的第一集合來確定由當前塊從清單中繼承的運動資訊；基於當前塊的位元流表示中的比特的第二集合來確定該當前塊被信令通知的運動資訊；並且基於EMM候選列表和被信令通知的運動資訊來執行當前塊與位元流表示之間的轉換，其中EMM候選列表的運動向量差（MVD）精度基於插入EMM候選列表中的至少一個候選。

Description

擴展Merge模式與其他視頻編碼工具之間的交互
本文件涉及視頻編碼技術。 [相關申請的交叉引用] 根據適用的專利法和/或依據巴黎公約的規則，本申請要求於2018年6月29日作為國際專利申請第PCT/CN2018/093646號提交的在先中國專利申請的優先權和權益。該國際專利申請第PCT/CN2018/093646號的全部公開內容通過引用併入作為本申請的公開內容的一部分。
數位視訊佔網際網路和其他數位通信網路上最大的頻寬使用。隨著能夠接收和顯示視頻的所連接的使用者設備的數量增加，預計數位視訊使用的頻寬需求將繼續增長。
所公開的技術可以由視頻解碼器或編碼器實施例用於使用擴展Merge模式，其中一些運動資訊可以被繼承，而一些運動資訊可以被信令通知。
在一個示例方面，公開了一種視頻處理方法。該方法包括構建擴展Merge模式（EMM）候選清單；基於當前塊的位元流表示中的比特的第一集合來確定由當前塊從清單中繼承的運動資訊；基於當前塊的位元流表示中的比特的第二集合來確定該當前塊被信令通知的運動資訊；並且基於EMM候選列表和被信令通知的運動資訊來執行當前塊與位元流表示之間的轉換，其中EMM候選列表的運動向量差（MVD）精度基於插入EMM候選列表中的至少一個候選。
在另一個示例方面，上述方法可以由包括處理器的視頻解碼器裝置實現。
在另一個示例方面，上述方法可以由視訊轉碼器裝置實現，該視訊轉碼器裝置包括用於在視頻編碼過程期間對已編碼的視頻進行解碼的處理器。
在又一個示例方面，這些方法可以以處理器可執行指令的形式實施並存儲在電腦可讀程式介質上。
在本檔中進一步描述了這些方面和其他方面。
本檔提供了可由視頻位元流的解碼器使用的各種技術，以改善解壓縮的或解碼的數位視訊的品質。此外，視訊轉碼器也可在編碼過程期間實現這些技術，以便重建用於進一步編碼的已解碼幀。
為了便於理解，在本檔中使用了節標題，但是並非將實施例和技術限制於對應的節。這樣，來自一個節的實施例可以與來自其他節的實施例組合。2 ．技術框架
視頻編碼標準主要是通過眾所周知的ITU-T和ISO/IEC標準的發展而得以演進。ITU-T產生了H.261和H.263標準，ISO/IEC產生了MPEG-1和MPEG-4 Visual標準，並且兩個組織聯合產生了H.262/MPEG-2視頻標準和H.264/MPEG-4高級視頻編碼（Advanced Video Coding，AVC）標準和H.265/HEVC [00130]標準。自H.262以來，視頻編碼標準基於混合視頻編碼結構，其中利用時間預測加變換編碼。為探索HEVC之外的未來視頻編碼技術，聯合視頻探索團隊（Joint Video Exploration Team, JVET）由VCEG和MPEG于2015年聯合創立。自那時以來，JVET採用了許多新方法，並將其納入了名為聯合探索模型（Joint Exploration Model, JEM）[1][2]的參考軟體中。在2018年4月，VCEG（Q6/16）和ISO/IEC JTC1 SC29/WG11（MPEG）之間的聯合視頻專家團隊（Joint Video Expert Team, JVET）被創建以從事於VVC標準，目標是與HEVC相比降低50％的位元速率。2.1 在 HEVC/H. 265 中的幀間預測
每個幀間預測的PU具有對於一個或兩個參考圖像清單的運動參數。運動參數包括運動向量和參考圖像索引。也可以使用inter_pred_idc 來信令通知對兩個參考圖像清單中一個的使用。運動向量可以被明確地編碼為相對於預測器的增量。
當使用跳過（skip）模式編碼CU時，一個PU與該CU相關聯，並且不存在顯著的殘差係數，不存在編碼的運動向量增量或參考圖像索引。指定Merge模式，由此從相鄰PU——包括空間和時間候選——獲得用於當前PU的運動參數。Merge模式可以應用於任何幀間預測的PU，而不僅適用於跳過模式。Merge模式的替代方案是運動參數的顯式傳輸（explicit transmission），其中運動向量（更確切地說，與運動向量預測器相比的運動向量差異）、每個參考圖像清單的對應參考圖像索引、參考圖像清單使用被每個PU地明確地信令通知。這樣的模式在本檔中被命名為高級運動向量預測（Advanced motion vector prediction, AMVP）。
當信令指示要使用兩個參考圖像清單中的一個時，PU從一個樣點塊產生。這被稱為“單向預測”。單向預測可用於P條帶和B條帶。
當信令指示要使用兩個參考圖像清單時，PU從兩個樣點塊產生。這被稱為“雙向預測”。雙向預測僅可用於B條帶。
以下文本提供了HEVC中指定的幀間預測模式的細節。描述將從Merge模式開始。2.1.1Merge 模式 2.1.1.1Merge 模式的候選的推導
當使用Merge模式預測PU時，從位元流解析出指向Merge候選列表（merge candidates list）中的條目的索引，並且該索引被用於檢索運動資訊。該列表的構建在HEVC標準中規定，並且可以根據以下步驟順序進行總結： 步驟1：初始候選推導 步驟1.1：空間候選推導 步驟1.2：空間候選的冗餘校驗 步驟1.3：時間候選推導 步驟2：附加候選插入 步驟2.1：創建雙向預測候選 步驟2.2：插入零運動候選
這些步驟也在圖1中示意性地描繪。對於空間Merge候選推導，在位於五個不同位置的候選中選擇最多四個Merge候選。對於時間Merge候選推導，在兩個候選中選擇最多一個Merge候選。由於在解碼器處假設每個PU的候選的數量為常數，因此當從步驟1獲得的候選的數量未達到在條帶報頭中信令通知的最大Merge候選數量（MaxNumMergeCand）時，生成附加的候選。由於候選的數量是恒定的，因此使用二進位一元截斷（TUB）來編碼最佳Merge候選的索引。如果CU的尺寸等於8，則當前CU的所有PU共用單個Merge候選列表，該單個Merge候選列表與2N×2N預測單元的Merge候選清單相同。
在下文中，詳細描述了與上述步驟相關聯的操作。2.1.1.2 空間候選推導
在空間Merge候選的推導中，在位於圖2中描繪的位置中的候選中選擇最多四個Merge候選。推導的順序是A1 、B1 、B0 、A0 和B2 。僅當位置A1 、B1 、B0 、A0的任何PU不可用時（例如，因為該PU屬於另一個條帶（slice）或片（tile））或者是幀內編碼時，才考慮位置B2 。在添加位置A1 處的候選之後，對剩餘候選的添加進行冗餘校驗，該冗餘校驗確保具有相同運動資訊的候選被排除在清單之外，從而改善編碼效率。為了降低計算複雜度，在所提到的冗餘校驗中並未考慮所有可能的候選對。相反，僅考慮與圖3中的箭頭連結的對，並且如果用於冗餘校驗的對應候選具有不同的運動資訊，則該候選僅被添加到列表中。重複的運動資訊的另一個來源是與不同於2Nx2N的劃分相關聯的“第二PU” 。作為示例，圖4分別描繪了針對N×2N和2N×N的情況的第二PU。當當前PU被劃分為N×2N時，位置A1 處的候選不被考慮用於列表構建。實際上，通過添加該候選將導致具有相同運動資訊的兩個預測單元，這對於在編碼單元中僅具有一個PU是冗餘的。類似地，當當前PU被劃分為2N×N時，不考慮位置B1 。2.1.1.3 時間候選推導
在此步驟中，只有一個候選被添加到列表中。特別地，在該時間Merge候選的推導中，基於共位（co-located）的PU來匯出縮放的運動向量，該共位的PU屬於相對於給定參考圖像清單內的當前圖像具有最小POC差異的圖像。在條帶報頭中明確地信令通知用於共位的PU的推導的參考圖像清單。如圖5中的虛線所示，獲得用於時間Merge候選的縮放的運動向量，其使用POC距離tb和td從共位的PU的運動向量縮放，其中tb被定義為當前圖像的參考圖像與該當前圖像之間的POC差異，並且td被定義為共位元圖像的參考圖像與該共位元圖像之間的POC差異。時間Merge候選的參考圖像索引被設置為等於零。在HEVC規範[00130]中描述了縮放過程的實際實現。對於B條帶，獲得兩個運動向量並將其組合以產生雙向預測Merge候選，該兩個運動向量中的一個用於參考圖像清單0而另一個用於參考圖像清單1。
如圖6所示，在屬於參考幀的共位的PU(Y)中，在候選C0 和C1 之間選擇用於時間候選的位置。如果位置C0 處的PU不可用、被幀內編碼的或在當前CTU行之外，則使用位置C1 。否則，在時間Merge候選的推導中使用位置C0 。2.1.1.4 附加的候選插入
除了空間和時間Merge候選之外，還存在兩種附加類型的Merge候選：組合的雙向預測Merge候選和零Merge候選。通過利用空間和時間Merge候選來生成組合的雙向預測Merge候選。組合的雙向預測Merge候選僅用於B條帶。通過將初始候選的第一參考圖像清單運動參數與另一個候選的第二參考圖像清單運動參數組合來生成組合的雙向預測候選。如果這兩個元組提供不同的運動假設，則它們將形成一個新的雙向預測候選。作為示例，圖7描繪了當原始列表（在左方）中具有mvL0和refIdxL0或mvL1和refIdxL1的兩個候選被用於創建組合的雙向預測Merge候選的情況，該組合的雙向預測Merge候選被添加到最終列表（在右方）。關於被考慮來生成這些附加Merge候選的組合存在許多規則，這些規則在[00130]中定義。
零運動候選被插入以填充Merge候選列表中的剩餘條目，並且因此達到MaxNumMergeCand容量。這些候選具有零空間位移和參考圖像索引，該參考圖像索引從零開始並且每當新的零運動候選被添加到列表時增加。這些候選使用的參考幀的數量是分別用於單向和雙向預測的1和2。最後，不對這些候選執行冗餘校驗。2.1.1.5 用於並行處理的運動估計區域
為了加速編碼過程，可以並存執行運動估計，由此同時匯出給定區域內的所有預測單元的運動向量。來自空間鄰域的Merge候選的推導可能干擾並行處理，因為一個預測單元直到其相關聯的運動估計完成才能從相鄰PU匯出運動參數。為了減輕編碼效率和處理等待時間之間的折衷，HEVC定義了運動估計區域（MER），運動估計區域的尺寸在圖像參數集中使用“log2_parallel_merge_level_minus2”語法元素[00130]來信令通知。當MER被定義時，落入同一區域的Merge候選被標記為不可用，並且因此在列表構建中也不被考慮。2.1.2 AMVP
AMVP利用運動向量與相鄰PU的時空相關性，該時空相關性用於運動參數的顯式傳輸。對於每個參考圖像清單，通過首先如下方式來構建運動向量候選列表：校驗左方、上方在時間上相鄰PU位置的可用性，移除冗餘候選，並添加零向量，以使候選列表為恒定長度。然後，編碼器可以從候選清單中選擇最佳預測器，並傳輸指示所選候選的對應索引。與Merge索引信令類似，使用二進位一元截斷來編碼最佳運動向量候選的索引。在這種情況下要編碼的最大值是2（參見圖8）。在以下的節中，提供了關於運動向量預測候選的推導過程的細節。2.1.2.1 AMVP 候選的推導
圖8總結了用於運動向量預測候選的推導過程。
在運動向量預測中，考慮兩種類型的運動向量候選：空間運動向量候選和時間運動向量候選。如圖2所示，對於空間運動向量候選推導，最終基於位於五個不同位置的每個PU的運動向量來匯出兩個運動向量候選。
對於時間運動向量候選推導，從基於兩個不同的共位位置匯出的兩個候選中選擇一個運動向量候選。在製作時空候選的第一列表之後，移除列表中的重複的運動向量候選。如果潛在候選的數量大於2，則從列表中移除其在相關聯的參考圖像清單內的參考圖像索引大於1的運動向量候選。如果時空運動向量候選的數量小於2，則將附加的零運動向量候選添加到列表中。2.1.2.2 空間運動向量候選
在空間運動向量候選的推導中，在五個潛在候選中考慮最多兩個候選，該五個潛在候選來自位於如圖2所示的位置的PU，這些位置與運動Merge的那些位置相同。當前PU的左側的推導順序被定義為A0 、A1 以及縮放的A0 、縮放的A1 。當前PU的上側的推導順序被定義為B0 、B1 、B2 、縮放的B0 、縮放的B1 、縮放的B2 。因此，對於每一側，存在四種可用作運動向量候選的情況，其中兩種情況不需要使用空間縮放，並且兩種情況使用空間縮放。四種不同的情況總結如下。 •     無空間縮放 （1）相同的參考圖像清單，以及相同的參考圖像索引（相同的POC） （2）不同的參考圖像清單，但是相同的參考圖像索引（相同的POC） •     空間縮放 （3）相同的參考圖像清單，但不同的參考圖像索引（不同的POC） （4）不同的參考圖像清單，以及不同的參考圖像索引（不同的POC）
首先校驗無空間縮放情況，接下來校驗空間縮放。不管參考圖像清單如何，當POC在相鄰PU的參考圖像與當前PU的參考圖像之間是不同的時，考慮空間縮放。如果左方候選的所有PU都不可用或者是被幀內編碼的，則允許對上方運動向量進行縮放，以幫助左方和上方MV候選的並行推導。否則，對上側運動向量不允許空間縮放。
如圖9所示，在空間縮放過程中，以與時間縮放類似的方式縮放相鄰PU的運動向量。主要差異在於當前PU的參考圖像清單和索引被給出以作為輸入；實際縮放過程與時間縮放過程相同。2.1.2.3 時間運動向量候選
除了參考圖像索引推導之外，用於時間Merge候選的推導的所有過程與用於空間運動向量候選的推導的過程相同（參見圖6）。將參考圖像索引信令通知給解碼器。2.2 JEM 中新的幀間預測方法 2.2.1 自我調整運動向量差異解析度
在HEVC中，當條帶報頭中的use_integer_mv_flag等於0時，以四分之一亮度樣點為單位，信令通知（PU的運動向量與預測的運動向量之間的）運動向量差異（MVD）。在JEM中，引入了局部自我調整運動向量解析度（LAMVR）。在JEM中，MVD可以以四分之一亮度樣點、整數亮度樣點或四個亮度樣點為單位進行編碼。在編碼單元（CU）級別控制MVD解析度，並且向具有至少一個非零MVD分量的每個CU，有條件地信令通知MVD解析度標誌。
對於具有至少一個非零MVD分量的CU，信令通知第一標記，以指示是否在CU中使用四分之一亮度樣點MV精度。當第一標誌（等於1）指示未使用四分之一亮度樣點MV精度時，信令通知另一個標誌，以指示是否使用整數亮度樣點MV精度或四個亮度樣點MV精度。
當CU的第一MVD解析度標誌為零，或未針對CU編碼（意味著CU中的所有MVD均為零）時，四分之一亮度樣點MV解析度被用於該CU。當CU使用整數亮度樣點MV精度或四個亮度樣點MV精度時，該CU的AMVP候選列表中的MVP被取整到對應的精度。
在編碼器中，使用CU級別RD校驗來確定將哪個MVD解析度將用於CU。換言之，對於每個MVD解析度，執行CU級RD校驗三次。為了加快編碼器速度，在JEM中應用以下編碼方案。 •     在具有正常四分之一亮度樣點MVD解析度的CU的RD校驗期間，存儲該當前CU的運動資訊（整數亮度樣點精度）。對於具有整數亮度樣點和4個亮度樣點MVD解析度的相同CU，存儲的運動資訊（取整後）被用作RD校驗期間進一步小範圍運動向量細化的起點，使得耗時的運動估計過程不重複三次。 •     有條件地調用具有4個亮度樣點MVD解析度的CU的RD校驗。對於CU，當整數亮度樣點MVD解析度的RD成本遠大於四分之一亮度樣點MVD解析度的RD成本時，跳過該CU的4個亮度樣點MVD解析度的RD校驗。2.2.2 較高的運動向量存儲精度
在HEVC中，運動向量精度是四分之一圖元（pel）（用於4:2:0視頻的四分之一亮度樣點和八分之一色度樣點）。在JEM中，內部運動向量存儲和Merge候選的準確度增加到1/16圖元。較高的運動向量精度（1/16圖元）用於以跳過模式/Merge模式編碼的CU的運動補償幀間預測。對於使用正常AMVP模式編碼的CU，使用整數圖元或四分之一圖元運動，如小節2.2.1所述。
具有與HEVC運動補償插值濾波器相同的濾波器長度和歸一化因數的SHVC上採樣插值濾波器，被用作附加分數圖元位置的運動補償插值濾波器。在JEM中色度分量運動向量精度是1/32樣點，通過使用兩個相鄰1/16圖元分數位置的濾波器的平均值，來匯出1/32圖元分數位置的附加插值濾波器。2.2.3 局部亮度補償
局部亮度補償（LIC）基於用於亮度變化的線性模型，使用縮放因數a 和偏移b 。並且，針對每個幀間模式編碼的編碼單元（CU）自我調整地啟用或禁用LIC。
當LIC應用于CU時，採用最小平方誤差方法，通過使用當前CU的相鄰樣點及其對應的參考樣點來匯出參數a 和b 。更具體地，如圖10所示，使用了該CU的子採樣（2:1子採樣）的相鄰樣點和參考圖像中的對應樣點（其由當前CU或子CU的運動資訊識別）。IC參數被匯出並被分別應用於每個預測方向。
當使用Merge模式對CU進行編碼時，以類似於Merge模式中的運動資訊複製的方式從相鄰塊複製LIC標誌；否則，向該CU信令通知LIC標誌以指示LIC是否適用。
當對圖像啟用LIC時，需要附加的CU級別RD校驗以確定是否對CU應用LIC。當對CU啟用LIC時，分別對整數圖元運動搜索和分數圖元運動搜索，使用均值移除的絕對差和（mean-removed sum of absolute diffefference，MR-SAD）以及均值移除的絕對哈達瑪變換差和（mean-removed sum of absolute Hadamard-transformed difference，MR-SATD），而不是SAD和SATD。
為了降低編碼複雜度，在JEM中應用以下編碼方案。
當當前圖像與其參考圖像之間不存在明顯的亮度變化時，對整個圖像禁用LIC。為了識別這種情況，在編碼器處，計算當前圖像與該當前圖像的每個參考圖像的長條圖。如果當前圖像與該當前圖像的每個參考圖像之間的長條圖差異小於給定閾值，則對當前圖像禁用LIC；否則，對當前圖像啟用LIC。2.2.4 仿射運動補償預測
在HEVC中，僅將平移運動模型應用於運動補償預測（MCP）。而在現實世界中，存在許多種運動，例如放大/縮小、旋轉、透視運動和其他不規則的運動。在JEM中，應用簡化的仿射變換運動補償預測。如圖11所示，塊的仿射運動場由兩個控制點運動向量描述。
塊的運動向量場（MVF）由以下等式描述：
Figure 02_image001
(1) 其中（v0x ,v0y ）是左頂角控制點的運動向量，（v1x ,v1y ）是右頂角控制點的運動向量。
為了進一步簡化運動補償預測，應用基於子塊的仿射變換預測。子塊尺寸
Figure 02_image004
如等式（2）。中匯出，其中MvPre 是運動向量分數精度（在JEM中為1/16），（v2x ,v2y ）是左下控制點的運動向量，根據等式（1）計算。
Figure 02_image006
(2)
在由等式（2）匯出之後，如果需要，應該向下調整M和N，以使其分別為w和h的除數。
如圖12所示，為了匯出每個M×N子塊的運動向量，根據等式（1）計算每個子塊的中心樣點的運動向量並將其取整至1/16分數精度。然後，應用運動補償插值濾波器，以利用匯出的運動向量生成每個子塊的預測。
在MCP之後，每個子塊的高精度運動向量以與正常運動向量相同的精度被取整並保存。
在JEM中，存在兩種仿射運動模式：AF_INTER模式和AF_MERGE模式。對於寬度和高度均大於8的CU，可以應用AF_INTER模式。在位元流中信令通知CU級別的仿射標誌，以指示是否使用AF_INTER模式。在此模式下，使用相鄰塊構建具有運動向量對
Figure 02_image008
的候選列表。如圖13所示，從塊A、B或C的運動向量中選擇
Figure 02_image010
。來自相鄰塊的運動向量根據參考清單以及根據相鄰塊的參考的POC、當前CU的參考的POC和當前CU的POC之間的關係來縮放。並且從相鄰塊D和E中選擇
Figure 02_image012
的方法是類似的。如果候選列表的數量小於2，則由通過重複每個AMVP候選而構建的運動向量對來填充該列表。當候選清單大於2時，首先根據相鄰運動向量的一致性（候選對中的兩個運動向量的相似性）對候選進行分類，並且僅保留前兩個候選。RD成本校驗用於確定選擇哪個運動向量對候選作為當前CU的控制點運動向量預測（CPMVP）。並且，在位元流中信令通知指示候選列表中的CPMVP的位置的索引。在確定當前仿射CU的CPMVP之後，應用仿射運動估計，並找到控制點運動向量（CPMV）。然後在位元流中信令通知CPMV與CPMVP的差異。
當在AF_MERGE模式中應用CU時，它從有效的相鄰重建塊獲得使用仿射模式編碼的第一塊。如圖14A所示，並且對於候選塊的選擇順序是從左方、上方、右上方、左下方到左上方。如圖14B所示，如果相鄰左下塊A以仿射模式編碼，則匯出包含塊A的CU的左頂角、右上角和左底角的運動向量
Figure 02_image014
、
Figure 02_image016
和
Figure 02_image018
。並且根據
Figure 02_image014
、
Figure 02_image016
和
Figure 02_image018
來計算當前CU的左頂角的運動向量
Figure 02_image010
。其次，計算當前CU的右上方的運動向量
Figure 02_image012
。
在匯出當前CU的CPMV
Figure 02_image010
和
Figure 02_image012
之後，根據簡化的仿射運動模型等式（1），生成該當前CU的MVF。為了識別當前CU是否使用AF_MERGE模式編碼，當存在至少一個相鄰塊以仿射模式編碼時，在位元流中信令通知仿射標誌。2.2.5 模式匹配的運動向量推導
模式匹配的運動向量推導（Pattern matched motion vector derivation, PMMVD）模式是一種基於畫面播放速率上轉換（Frame-Rate Up Conversion, FRUC）技術的特殊Merge模式。使用該模式，塊的運動資訊不被信令通知，而是在解碼器側匯出。
當CU的Merge標誌為真時，向該CU信令通知FRUC標誌。當FRUC標誌為假時，信令通知Merge索引，並使用常規Merge模式。當FRUC標誌為真時，信令通知附加的FRUC模式標誌以指示將使用哪種方法（雙邊匹配或範本匹配）來匯出該塊的運動資訊。
在編碼器側，關於是否對CU使用FRUC Merge模式的決定是基於如對正常Merge候選那樣所做的RD成本選擇。換言之，通過使用RD成本選擇來校驗CU的兩種匹配模式（雙邊匹配和範本匹配）。導致最小成本的匹配模式與其他CU模式進一步比較。如果FRUC匹配模式是最有效的模式，則對於CU將FRUC標誌設置為真，並且使用有關匹配模式。
FRUC Merge模式中的運動推導過程有兩個步驟。首先執行CU級別運動搜索，接下來執行子CU級別運動細化。在CU級別，基於雙邊匹配或範本匹配為整個CU匯出初始運動向量。首先，生成MV候選列表，並且選擇導致最小匹配成本的候選作為進一步CU級別細化的起點。然後，圍繞起始點執行基於雙邊匹配或範本匹配的局部搜索，並且將導致最小匹配成本的MV作為整個CU的MV。隨後，運動資訊在子CU級別進一步細化，其中匯出的CU運動向量作為起點。
例如，針對
Figure 02_image020
CU運動資訊推導執行以下推導處理。在第一階段，匯出整體
Figure 02_image020
CU的MV。在第二階段，CU進一步劃分為
Figure 02_image022
子CU。如（3）中計算
Figure 02_image024
的值，
Figure 02_image026
是預定義的劃分深度，其在JEM中默認設置為3。然後匯出每個子CU的MV。
Figure 02_image028
}                        (3)
如圖15所示，雙邊匹配用於通過在兩個不同參考圖像中沿當前CU的運動軌跡找到兩個塊之間的最接近匹配，來匯出當前CU的運動資訊。在連續運動軌跡的假設下，指向兩個參考塊的運動向量MV0和MV1應當與在當前圖像和兩個參考圖像之間的時間距離——即TD0和TD1——成比例。作為特殊情況，當當前圖像在時間上在兩個參考圖像之間並且從當前圖像到兩個參考圖像的時間距離相同時，雙邊匹配變為基於鏡像的雙向MV。
如圖16所示，範本匹配用於通過找到在當前圖像中的範本（當前CU的頂部相鄰塊和/或左方相鄰塊）與參考圖像中的塊（具有與範本相同的尺寸）之間的最接近匹配，來匯出當前CU的運動資訊。除了上述FRUC Merge模式之外，範本匹配也適用於AMVP模式。在JEM中，如在HEVC中一樣，AMVP有兩個候選。使用範本匹配方法，匯出新的候選。如果由範本匹配的新匯出的候選與第一現有AMVP候選不同，則將其插入AMVP候選列表的最開始，並且然後將列表尺寸設置為2（這意味著移除第二現有AMVP候選）。當應用于AMVP模式時，僅應用CU級別搜索。2.2.5.1 CU 級別 MV 候選集合
CU級別的MV候選集合由以下組成： (i)   如果當前CU處於AMVP模式，則為原始AMVP候選， (ii) 所有Merge候選， (iii)    插值MV域中的數個MV， (iv)     頂部和左方相鄰的運動向量。
當使用雙邊匹配時，Merge候選的每個有效MV被用作輸入，以在假設雙邊匹配的情況下生成MV對。例如，Merge候選的一個有效MV是在參考列表A中的（MVa，refa）。然後，在其他參考列表B中找到其配對雙邊MV的參考圖像refb，使得refa和refb在時間上位於當前圖片的不同側。如果參考列表B中這樣的refb不可用，則refb被確定為與refa不同的參考，並且refb到當前圖像的時間距離是清單B中的最小值。在確定refb之後，基於當前圖像與refa、refb之間的時間距離通過縮放MVa來匯出MVb。
來自插值MV域的四個MV也被添加到CU級別候選列表。更具體地，添加當前CU的位置(0, 0)、(W/2, 0)、(0, H/2)和(W/2, H/2)處的插值MV。
當FRUC應用于AMVP模式時，原始AMVP候選也被添加到CU級別MV候選集合。
在CU級別，用於AMVP CU的最多15個MV、用於Merge CU的最多13個MV被添加到候選列表。2.2.5.2 子 CU 級別 MV 候選集合
子CU級別的MV候選集合由以下組成： (i)   從CU級別搜索確定的MV， (ii) 頂部、左方、左頂和右頂的相鄰MV， (iii)    來自參考圖像的並列MV的縮放版本， (iv)     最多4個ATMVP候選， (v) 最多4個STMVP候選。
來自參考圖像的縮放MV如下匯出。遍歷兩個清單中的所有參考圖像。參考圖像中的子CU的並列位置處的MV被縮放到起始CU級別MV的參考。
ATMVP和STMVP候選僅限於前四個。
在子CU級別，最多17個MV被添加到候選列表中。2.2.5.3 插值 MV 域的生成
在對幀進行編碼之前，基於單邊ME為整個圖像生成插值運動域。然後，運動域可以稍後用作CU級別或子CU級別MV候選。
首先，兩個參考清單中的每個參考圖像的運動域以4×4塊級別遍歷。對於每個4×4塊，如果與塊相關聯的運動通過當前圖像中的4×4塊（如圖17所示）並且該塊尚未被分配任何插值運動，則參考塊的運動根據時間距離TD0和TD1（與HEVC中的TMVP的MV縮放的方式相同的方式）縮放到當前圖像，並且將縮放的運動分配給當前幀中的塊。如果無縮放的MV被分配到4×4塊，則在插值的運動域中將塊的運動標記為不可用。2.2.5.4 插值和匹配成本
當運動向量指向分數樣點位置時，需要運動補償插值。為了降低複雜性，雙邊匹配和範本匹配都使用雙線性插值而不是常規的8抽頭HEVC插值。
匹配成本的計算在不同的步驟有點不同。當從CU級別的候選集合中選擇候選時，匹配成本是雙邊匹配或範本匹配的絕對差值和（SAD）。在確定起始MV之後，如下計算子CU級別搜索的雙邊匹配的匹配成本
Figure 02_image030
：
Figure 02_image032
(4) 其中
Figure 02_image034
是一個加權因數，且根據經驗設置為4，
Figure 02_image036
和
Figure 02_image038
分別指示當前MV和起始MV。SAD仍用作子CU級別搜索的範本匹配的匹配成本。
在FRUC模式中，MV通過僅使用亮度樣點匯出。匯出的運動將用於MC幀間預測的亮度和色度。在確定MV之後，使用用於亮度的8抽頭插值濾波器和用於色度的4抽頭插值濾波器來執行最終MC。2.2.5.5 MV 細化
MV細化是以雙邊匹配成本或範本匹配成本為準則的基於模式的MV搜索。在JEM中，支援兩種搜索模式——分別用於CU級別和子CU級別的MV細化的無限制的中心偏置菱形搜索（unrestricted center-biased diamond search，UCBDS）和自我調整交叉搜索（adaptive cross search）。對於CU級別和子CU級別MV細化，以四分之一亮度樣點MV精度直接搜索MV，並且接下來以八分之一亮度樣點MV細化。對於CU步驟和子CU步驟的MV細化的搜索範圍被設置為等於8個亮度樣點。2.2.5.6 範本匹配 FRUC Merge 模式中預測方向的選擇
在雙邊匹配Merge模式中，始終應用雙向預測，因為基於在兩個不同參考圖像中沿當前CU的運動軌跡的兩個塊之間的最接近匹配來匯出CU的運動資訊。範本匹配Merge模式不存在這樣的限制。在範本匹配Merge模式中，編碼器可以在針對CU的來自列表0的單向預測、來自列表1的單向預測或者雙向預測之中進行選擇。選擇基於範本匹配成本，如下： 如果costBi >= factor * min (cost 0,cost1 ) 使用雙向預測； 否則，如果cost 0 >=cost1 使用來自列表0的單向預測； 否則, 使用來自列表1的單向預測； 其中cost0是清單0範本匹配的SAD，cost1是清單1範本匹配的SAD，costBi是雙向預測範本匹配的SAD。factor 的值等於1.25，這意味著選擇過程偏向於雙向預測。
幀間預測方向選擇僅應用於CU級別範本匹配過程。2.2.6 解碼器側運動向量細化
在雙向預測操作中，為了預測一個塊區域，分別使用清單0的運動向量（MV）和列表1的MV形成的兩個預測塊被組合以形成單個預測信號。在解碼器側運動向量細化（DMVR）方法中，雙向預測的兩個運動向量通過雙邊範本匹配過程進一步細化。雙邊範本匹配應用於解碼器中，以在雙邊範本和參考圖像中的重建樣點之間執行基於失真的搜索，以便在不傳輸附加的運動資訊的情況下獲得細化的MV。
如圖18所示，在DMVR中，分別從列表0的初始MV0和列表1的MV1生成雙邊範本，作為兩個預測塊的加權組合（即平均）。範本匹配操作包括計算生成的範本與參考圖像中的樣點區域（在初始預測塊周圍）之間的成本度量。對於兩個參考圖像中的每一個，產生最小範本成本的MV被視為該列表的更新MV以替換原始範本。在JEM中，對於每個列表，搜索九個MV候選。該九個MV候選包括原始MV和8個周圍MV，其中一個亮度樣點在水準或垂直方向上或在兩個方向上偏移到原始MV。最後，如圖18所示，兩個新的MV，即MV0'和MV1'，被用於生成最終的雙向預測結果。絕對差值和（SAD）用作成本度量。請注意，當計算由一個周圍MV生成的預測塊的成本時，實際上使用取整的MV（到整數圖元）而不是真實MV來獲得預測塊。
DMVR被應用於雙向預測的Merge模式，在不傳輸附加的語法元素的情況下使用來自過去的參考圖像中的一個MV和來自將來的參考圖像中的另一個MV。在JEM中，當為CU啟用LIC、仿射運動、FRUC或子CU Merge候選時，不應用DMVR。2.3 非相鄰 Merge 候選
在J0021中，高通建議從非相鄰的相鄰位置匯出附加的空間Merge候選，這些非相鄰的相鄰位置被標記為6至49，如圖19所示。在Merge候選列表中的TMVP候選之後添加匯出的候選。
在J0058中，騰訊建議從外部參考區域中的位置匯出附加的空間Merge候選，該外部參考區域到當前塊的偏移為(-96, -96)。
如圖20所示，位置標記為A(i,j)、B(i,j)、C(i,j)、D(i,j)和E(i,j)。與其先前的B或C候選相比，每個候選B(i, j)或C(i, j)在垂直方向上具有16的偏移。與其先前的A或D候選相比，每個候選A(i, j)或D(i, j)在水準方向上具有16的偏移。與其先前的E候選相比，每個E (i, j)在水準方向和垂直方向上具有16的偏移。候選從內到外進行校驗。並且候選的順序是A(i, j)、B(i, j)、C(i, j)、D(i, j)和E(i, j)。進一步研究Merge候選的數量是否可以進一步減少。在Merge候選列表中的TMVP候選之後添加候選。
在J0059中，根據時間候選之後的數位順序校驗如圖21中的從6到27的擴展空間位置。為了保存MV線緩衝區，所有空間候選都被限制在兩個CTU線內。2.4 相關方法
在J0024中的終極運動向量表達（ultimate motion vector expression，UMVE）可以是跳過模式或直接（或Merge）模式，其使用所建議的使用相鄰運動資訊的運動向量表達方法。作為HEVC中的跳過模式和Merge模式，UMVE還根據相鄰的運動資訊製作候選清單。在列表中的那些候選中，選擇MV候選並通過新的運動向量表達方法對該MV候選進行進一步擴展。
圖22示出了UMVE搜索過程的示例，並且圖23示出了UMVE搜索點的示例。
UMVE提供了具有簡化信令的新的運動向量表達。該表達方法包括起點、運動幅度和運動方向。
基礎候選索引定義了起點。基礎候選索引如下指示在清單中的候選中的最佳候選。
Figure 108123171-A0304-0001
距離索引是運動幅度資訊。距離索引指示距離起點資訊的預定義距離。該預定義距離如下所示（表格中pel表示圖元）。
Figure 108123171-A0304-0002
方向索引表示MVD相對於起點的方向。該方向索引可以表示四個方向，如下所示。
Figure 108123171-A0304-0003
 3 ．現有實現方式的缺點的討論
在Merge模式中，Merge候選的運動資訊由當前塊繼承，包括運動向量、參考圖像、預測方向、LIC標誌等。僅Merge索引被信令通知，這在許多情況下是高效的。然而，繼承的運動資訊尤其是運動向量可能不足夠好。
另一方面，在AMVP模式中，所有運動資訊被信令通知，包括運動向量（即MVP索引和MVD）、參考圖像（即參考索引）、預測方向、LIC標誌和MVD精度等，這消耗比特。
在JVET-J0024建議的UMVE中，建議對附加的MVD進行編碼。然而，MVD僅可以在水準方向或垂直方向上具有非零分量，而不能在兩個方向上都具有非零分量。同時，它還信令通知MVD資訊，即距離索引或運動幅度資訊。4 ．基於所公開的技術的擴展 Merge 模式（ EMM ）的方法
視訊轉碼器和解碼器實施例可以使用本檔中公開的技術來實現擴展Merge模式（EMM），其中只有很少的資訊被信令通知，並且對MVD沒有特別的限制。
下面的詳細發明應被視為解釋一般概念的示例。不應以狹隘的方式解釋這些發明。此外，這些發明可以以任何方式組合。
建議將運動資訊（諸如預測方向、參考索引/圖像、運動向量、LIC標誌、仿射標誌、幀內塊複製（IBC）標誌、MVD精度、MVD值）劃分為兩部分。第一部分是直接繼承的，並且第二部分在有/無預測編碼的情況下被明確地信令通知。
建議構建EMM清單，並且信令通知索引以指示當前塊（例如，PU/CU）繼承哪個候選的運動資訊的第一部分。同時，進一步信令通知如MVD的附加資訊（即運動資訊的第二部分）。 a.   運動資訊的第一部分包括以下資訊中的所有或一些：預測方向、參考圖像、運動向量、LIC標誌和MVD精度等。 b.   第二部分可以使用預測編碼進行編碼。
建議通過插入空間相鄰塊、時間相鄰塊或非相鄰塊的運動資訊來構建運動資訊候選清單。
替代地，預測方向不是被繼承的而是明確地被信令通知的。在這種情況下，建議構建兩個或多個運動資訊候選清單。
建議MVD精度在Merge模式中從相鄰塊繼承並被存儲。 a.   當插入組合的雙向預測Merge候選時，預設情況下將MVD精度設置為最高支持精度（例如，1/4）。 i.            替代地，將MVD精度設置為所涉及的兩個候選中的較低精度或較高精度。 ii.          替代地，如果插入多於一個組合的雙向預測Merge候選，則將不同的MVD精度用於不同的組合的雙向預測候選。 iii.        替代地，將MVD精度設置為Merge候選列表中出現的最頻繁的MVD精度。 iv.         替代地，將MVD精度設置為任意有效的MVD精度。 v.           可以應用舍入（rounding）操作來實現此操作。 b.   當插入零Merge候選時，預設情況下將MVD精度設置為最高支持精度（例如，1/4）。 i.            替代地，如果插入多於一個零Merge候選，則將不同的MVD精度用於不同的零候選。 ii.          替代地，將MVD精度設置為Merge候選列表中出現的最頻繁的MVD精度。 iii.        替代地，將MVD精度設置為任意有效的MVD精度。 建議在EMM模式中可以禁止所有零MVD。 a.   在單向預測中，當水準MVD分量為零時，則零標誌不被信令通知用於垂直MVD分量，且被隱含地匯出為假。 b.   在雙向預測中，如果L0的MVD和水準L1 MVD分量為零，則零標誌不被信令通知用於垂直L1 MVD分量，且被隱含地匯出為假。
EMM模式可以與DMVR或範本匹配一起工作。在這種情況下，由DMVR或範本匹配進一步細化一些或所有候選。 a.   在一個示例中，FRUC不被進一步細化。
從編碼器向解碼器信令通知是否應用EMM模式。例如，可以在以下方式中信令通知該選擇：視頻參數集（VPS）、序列參數集（SPS）、圖像參數集（PPS）、條帶報頭、編碼樹單元（CTU）、編碼樹塊（CTB）、編碼單元（CU）或預測單元（PU）、覆蓋多個CTU/CTB/CU/ Pu的區域。
所建議的方法可以應用於某些塊尺寸/形狀和/或某些子塊尺寸。 a.   當僅在某些條件下應用所建議的方法並且不滿足所需條件時，不需要信令通知EMM的指示，也不需要調用如上所述的運動候選列表構建過程。
例如，EMM僅可以應用於w×h≥T的塊，其中w和h是當前塊的寬度和高度。在另一個示例中，EMM僅可以應用於w≥T&&h≥T的塊。
上述示例可以被併入下面描述的方法（例如，方法2400）的上下文中，該方法可以在視頻解碼器或視訊轉碼器實現。
圖24是處理視頻位元流的示例方法2400的流程圖。該方法2400包括構建（2402）EMM候選列表；基於當前塊的位元流表示中的比特的第一集合來確定（2404）由該當前塊從清單中繼承的運動資訊；基於當前塊的位元流表示中的比特的第二集合來確定（2406）該當前塊被信令通知的運動資訊；並且基於EMM候選列表和被信令通知的運動資訊來執行（2408）當前塊與位元流表示之間的轉換，其中EMM候選列表的運動向量差（MVD）精度基於插入EMM候選列表中的至少一個候選。
以下列舉的示例提供了可以解決本檔中描述的技術問題以及其他問題的實施例。
1．一種視頻位元流處理方法，包括：構建擴展Merge模式（EMM）候選清單；基於當前塊的位元流表示中的比特的第一集合來確定由當前塊從清單中繼承的運動資訊；基於當前塊的位元流表示中的比特的第二集合來確定當前塊的被信令通知的運動資訊；並且基於EMM候選列表和被信令通知的運動資訊來執行當前塊與位元流表示之間的轉換，其中EMM候選列表的運動向量差（MVD）精度基於插入EMM候選列表中的至少一個候選。
2．根據示例1的方法，其中至少一個候選包括從第一候選和第二候選匯出的雙向預測Merge候選。
3．根據示例2的方法，其中MVD精度是第一候選或第二候選中的較低精度。
4．根據示例2的方法，其中MVD精度是第一候選或第二候選中的較高精度。
5．根據示例1的方法，其中至少一個候選包括零Merge候選。
6．根據示例2或5的方法，其中MVD精度是最高支援精度。
7．根據示例2或5的方法，其中MVD精度是任意精度。
8．根據示例1的方法，其中MVD精度是從相鄰塊繼承的。
9．根據示例1的方法，其中至少一個候選包括多個雙向預測Merge候選。
10．根據示例1的方法，其中至少一個候選包括多個零Merge候選。
11．根據9或10的方法，其中對於至少一個候選中的每一個，MVD精度是不同的。
12．根據示例9或10的方法，其中MVD精度被設置為至少一個候選的最頻繁的MVD精度。
13．根據示例1至12中任一項的方法，其中從EMM候選清單和/或視頻編碼和/或視頻解碼中排除全零MVD候選。
14．根據示例13的方法，進一步包括：當水準MVD為零時，在單向預測模式中推斷垂直運動分量的零標記。
15．根據示例13的方法，進一步包括：當列表0（L0）的MVD和列表1（L1）的水準MVD為零時，將列表1（L1）的MVD推斷為零。
16．根據示例1的方法，其中執行轉換包括解碼器側運動向量細化（DMVR）過程或範本匹配。
17．根據示例1至16中任一項的方法，其中基於當前塊的特性來選擇性地使用該方法，並且其中特性包括當前塊的尺寸或當前塊的形狀。
18．根據示例17的方法，特性包括當前塊的尺寸大於閾值。
19．一種視頻系統中的裝置，包括處理器和其上具有指令的非暫時性記憶體，其中指令在由處理器執行時使得處理器實現示例1至18中任一項的方法。
20．一種存儲在非暫時性電腦可讀介質上的電腦程式產品，電腦程式產品包括用於實施示例1至18中任一項的方法的程式碼。5 ．參考文獻
ITU-T和ISO/IEC，“High efficiency video coding”，Rec. ITU-T H.265|ISO/IEC 23008-2（有效版本）。
C. Rosewarne，B.Bross，M.Naccari，K.Sharman，G.Sullivan，“High Efficiency Video Coding (HEVC) Test Model 16 (HM 16) Improved Encoder Description Update 7，”JCTVC-Y1002，2016年10月。
J. Chen，E.Alshina，G.J. Sullivan，J.-R. Ohm，J.Boyce，“Algorithm description of Joint Exploration Test Model 7 (JEM7)”，JVET-G1001，2017年8月。
JEM-7.0：https：//jvet.hhi.fraunhofer.de/svn/svn_HMJEMSoftware/tags/ HM-16.6-JEM-7.0。
A. Alshin，E.Alshina等，“Description of SDR, HDR and 360° video coding technology proposal by Samsung, Huawei, GoPro, and HiSilicon – mobile application scenario”，JVET-J0024，2018年4月。6 ．所公開技術的實施例
圖25是視頻處理裝置2500的框圖。裝置2500可以用於實現本文描述的一種或多種方法。裝置2500可以實施在智慧手機、平板電腦、電腦、物聯網（IoT）接收器等中。裝置2500可以包括一個或多個處理器2502、一個或多個記憶體2504和視頻處理電路2506。（一個或多個）處理器2502可以被配置為實現本檔中描述的一種或多種方法（包括但不限於方法2400）。（一個或多個）記憶體2504可以用於存儲用於實現本文描述的方法和技術的資料和代碼。視頻處理電路2506可以用於在硬體電路中實現本檔中描述的一些技術。
在一些實施例中，視頻編碼方法可以使用在如關於圖25所描述的硬體平臺上實現的裝置來實現。
本檔中描述的公開和其他解決方案、示例、實施例、模組和功能操作可以以數位電子電路實現，或者以電腦軟體、固件或硬體實現，包含本檔中公開的結構及其結構等同物，或者以它們中的一個或多個的組合實現。公開和其他實施例可以實現為一個或多個電腦程式產品，即，在電腦可讀介質上編碼的一個或多個電腦程式指令模組，用於由資料處理裝置執行或控制資料處理裝置的操作。電腦可讀介質可以是機器可讀存放裝置、機器可讀存儲基板、記憶體設備、影響機器可讀傳播信號的物質組合、或者它們中的一個或多個的組合。術語“資料處理裝置”涵蓋用於處理資料的所有裝置、設備和機器，包括例如可程式設計處理器、電腦或多個處理器或電腦。除了硬體之外，該裝置還可以包括為所討論的電腦程式創建執行環境的代碼，例如，構成處理器固件、協定棧、資料庫管理系統、作業系統、或者它們中的一個或多個的組合的代碼。傳播信號是人工生成的信號，例如機器生成的電信號、光信號或電磁信號，其被生成以對資訊進行編碼以便傳輸到合適的接收器裝置。
電腦程式（也稱為程式、軟體、軟體應用、腳本或代碼）可以以任何形式的程式設計語言編寫，包括編譯或解釋語言，並且可以以任何形式來部署電腦程式，包括作為獨立程式或作為適合在計算環境中使用的模組、元件、子常式或其他單元。電腦程式不一定對應於檔案系統中的檔。程式可以存儲在保存其他程式或資料的檔的一部分中（例如，存儲在標記語言檔中的一個或多個腳本），存儲在專用於所討論的程式的單個檔中，或存儲在多個協調檔中（例如，存儲一個或多個模組、副程式或代碼部分的檔）。可以部署電腦程式以在一個電腦上或在位於一個網站上或分佈在多個網站上並由通信網路互連的多個電腦上執行。
本檔中描述的過程和邏輯流程可以由執行一個或多個電腦程式的一個或多個可程式設計處理器執行，以通過對輸入資料進行操作並生成輸出來執行功能。過程和邏輯流程也可以由專用邏輯電路執行，並且裝置也可以實現為專用邏輯電路，例如FPGA（現場可程式設計閘陣列）或ASIC（專用積體電路）。
舉例來說，適合於執行電腦程式的處理器包括通用和專用微處理器、以及任何種類的數位電腦的任何一個或多個處理器。通常，處理器將從唯讀記憶體或隨機存取記憶體或兩者接收指令和資料。電腦的基本元件是用於執行指令的處理器和用於存儲指令和資料的一個或多個記憶體設備。通常，電腦還將包括或可操作地耦合到用於存儲資料的一個或多個大型存放區設備，例如磁片、磁光碟或光碟，以從該一個或多個大型存放區設備接收資料，或將資料傳遞到該一個或多個大型存放區設備，或者既接收又傳遞資料。然而，電腦不需要具有這樣的設備。適用於存儲電腦程式指令和資料的電腦可讀介質包括所有形式的非易失性記憶體、介質和記憶體設備，舉例來說，包括半導體記憶體設備，例如EPROM、EEPROM和快閃記憶體設備；磁片，例如內部硬碟或抽取式磁碟；磁光碟；以及CD ROM和DVD-ROM磁片。處理器和記憶體可以由專用邏輯電路補充或併入專用邏輯電路中。
雖然本專利檔包含許多細節，但這些細節不應被解釋為對任何發明或可要求保護的範圍的限制，而是作為特定于特定發明的特定實施例的特徵的描述。在本專利檔中，在分開的實施例的上下文中描述的某些特徵也可以在單個實施例中組合實現。相反，在單個實施例的上下文中描述的各種特徵也可以分開地或以任何合適的子組合在多個實施例中實現。此外，儘管上面的特徵可以描述為以某些組合起作用並且甚至最初如此要求保護，但是在一些情況下，可以從所要求保護的組合中去除來自該組合的一個或多個特徵，並且所要求保護的組合可以指向子組合或子組合的變型。
類似地，雖然在附圖中以特定順序描繪了操作，但是這不應該被理解為要求以所示的特定順序或按循序執行這樣的操作，或者執行所有示出的操作，以實現期望的結果。此外，在本專利檔中描述的實施例中的各種系統元件的分離不應被理解為在所有實施例中都要求這樣的分離。
僅描述了幾個實現方式和示例，並且可以基於本專利檔中描述和示出的內容來做出其他實現方式、增強和變型。
2400:方法 2402、2404、2406、2408:步驟 2500:視頻處理裝置 2502:處理器 2504:記憶體 2506:視頻處理電路 A、B、C、D、E:塊 A0、A1、B0、B1、B2、C0、C1:位置 L0:列表0 L1:列表1 MV0、MV0’、MV1、MV1’:運動向量 tb、td:POC距離 TD0、TD1:時間距離
圖1示出了用於Merge候選列表構建的推導過程的示例。 圖2示出了空間Merge候選的示例位置。 圖3示出了考慮空間Merge候選的冗餘校驗的候選對的示例。 圖4A和圖4B示出了N×2N和2N×N劃分的第二PU的示例位置。 圖5是用於時間Merge候選的運動向量縮放的示例圖示。 圖6示出了時間Merge候選C0和C1的候選位置的示例。 圖7示出了組合的雙向預測Merge候選的示例。 圖8示出了用於運動向量預測候選的示例推導過程。 圖9示出了用於空間運動向量候選的運動向量縮放的示例圖示。 圖10示出了用於匯出IC參數的相鄰樣點的示例。 圖11示出了簡化的仿射運動模型的示例。 圖12示出了每個子塊的仿射MVF的示例。 圖13顯示了AF_INTER的MVP的示例。 圖14A和14B示出了AF_MERGE的候選的示例。 圖15示出了雙邊匹配的示例。 圖16示出了範本匹配的示例。 圖17示出了FRUC中單向ME的示例。 圖18示出了基於雙邊範本匹配的DMVR的示例。 圖19示出了非相鄰Merge候選的示例。 圖20示出了非相鄰Merge候選的示例。 圖21示出了非相鄰Merge候選的示例。 圖22和圖23描繪了視頻編碼的最終運動向量表達技術的示例。 圖24是視頻位元流處理方法的示例的流程圖。 圖25是視頻處理裝置的示例的框圖。
2400:方法
2402、2404、2406、2408:步驟

Claims (20)

  1. 一種視頻位元流處理方法，包括：構建擴展Merge模式(EMM)候選清單；基於當前塊的位元流表示中的比特的第一集合來確定由所述當前塊從所述清單中繼承的運動資訊；基於當前塊的所述位元流表示中的比特的第二集合來確定所述當前塊的被信令通知的運動資訊；並且基於所述EMM候選列表和所述被信令通知的運動資訊來執行所述當前塊與所述位元流表示之間的轉換，其中所述EMM候選列表的運動向量差(MVD)精度基於插入所述EMM候選列表中的至少一個候選。
  2. 如申請專利範圍第1項所述的方法，其中所述至少一個候選包括從第一候選和第二候選匯出的雙向預測Merge候選。
  3. 如申請專利範圍第2項所述的方法，其中所述MVD精度是所述第一候選或所述第二候選中的較低精度。
  4. 如申請專利範圍第2項所述的方法，其中所述MVD精度是所述第一候選或所述第二候選中的較高精度。
  5. 如申請專利範圍第2項所述的方法，其中所述至少一個候選包括零Merge候選。
  6. 如申請專利範圍第2項或第5項所述的方法，其中所述MVD精度是最高支援精度。
  7. 如申請專利範圍第2項或第5項所述的方法，其中所述MVD精度是任意精度。
  8. 如申請專利範圍第1項所述的方法，其中所述MVD精度是從相鄰塊繼承的。
  9. 如申請專利範圍第1項所述的方法，其中所述至少一個候選包括多個雙向預測Merge候選。
  10. 如申請專利範圍第1項所述的方法，其中所述至少一個候選包括多個零Merge候選。
  11. 如申請專利範圍第9項或第10項所述的方法，其中對於所述至少一個候選中的每一個，所述MVD精度是不同的。
  12. 如申請專利範圍第9項或第10項所述的方法，其中所述MVD精度被設置為所述至少一個候選的最頻繁的MVD精度。
  13. 如申請專利範圍第1項至第5項、第8項至第10項中任一項所述的方法，其中從所述EMM候選清單和/或視頻編碼和/或視頻解碼中排除全零MVD候選。
  14. 如申請專利範圍第13項所述的方法，進一步包括：當水準MVD為零時，在單向預測模式中推斷垂直運動分量的零標記。
  15. 如申請專利範圍第13項所述的方法，進一步包括：當列表0(L0)的MVD和列表1(L1)的水準MVD為零時，將列表1(L1)的MVD推斷為零。
  16. 如申請專利範圍第1項所述的方法，其中執行所述轉換包括解碼器側運動向量細化(DMVR)過程或範本匹配。
  17. 如申請專利範圍第1項至第5項、第8項至第10項、第14項至第16項中任一項所述的方法，其中基於所述當前塊的特性來選擇性地使用所述方法，並且其中所述特性包括所述當前塊的尺寸或所述當前塊的形狀。
  18. 如申請專利範圍第17項所述的方法，所述特性包括所述當前塊的尺寸大於閾值。
  19. 一種視頻系統中的裝置，包括處理器和其上具有指令的非暫時性記憶體，其中所述指令在由所述處理器執行時使得所述處理器實現申請專利範圍第1項至第18項中任一項所述的方法。
  20. 一種存儲在非暫時性電腦可讀介質上的電腦程式產品，所述電腦程式產品包括用於實施申請專利範圍第1項至第18項中任一項所述的方法的程式碼。
TW108123171A 2018-06-29 2019-07-01 擴展Merge模式與其他視頻編碼工具之間的交互 TWI731362B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN2018093646 2018-06-29
WOPCT/CN2018/093646 2018-06-29

Publications (2)

Publication Number Publication Date
TW202017370A TW202017370A (zh) 2020-05-01
TWI731362B true TWI731362B (zh) 2021-06-21

Family

ID=67253944

Family Applications (3)

Application Number Title Priority Date Filing Date
TW108123159A TWI722467B (zh) 2018-06-29 2019-07-01 視頻處理方法、視頻系統中的裝置及電腦程式產品
TW108123171A TWI731362B (zh) 2018-06-29 2019-07-01 擴展Merge模式與其他視頻編碼工具之間的交互
TW108123158A TWI736923B (zh) 2018-06-29 2019-07-01 擴展Merge模式

Family Applications Before (1)

Application Number Title Priority Date Filing Date
TW108123159A TWI722467B (zh) 2018-06-29 2019-07-01 視頻處理方法、視頻系統中的裝置及電腦程式產品

Family Applications After (1)

Application Number Title Priority Date Filing Date
TW108123158A TWI736923B (zh) 2018-06-29 2019-07-01 擴展Merge模式

Country Status (3)

Country Link
CN (3) CN110662046B (zh)
TW (3) TWI722467B (zh)
WO (3) WO2020003281A1 (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11051025B2 (en) * 2018-07-13 2021-06-29 Tencent America LLC Method and apparatus for video coding
WO2020043061A1 (en) * 2018-08-28 2020-03-05 FG Innovation Company Limited Device and method for coding video data
CN117336468A (zh) 2019-08-10 2024-01-02 北京字节跳动网络技术有限公司 视频比特流中的子图片相关信令通知
CN114556952A (zh) 2019-10-02 2022-05-27 北京字节跳动网络技术有限公司 包括子图片的视频比特流中的条带级信令通知
KR20220078600A (ko) 2019-10-18 2022-06-10 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 서브픽처들의 파라미터 세트 시그널링에서의 신택스 제약들
MX2022008384A (es) * 2020-01-12 2022-08-08 Beijing Bytedance Network Tech Co Ltd Restricciones para codificacion y decodificacion de video.
CN115335817A (zh) * 2020-03-27 2022-11-11 科乐美数码娱乐株式会社 影像分发系统、影像分发控制方法以及计算机程序
CN117321994A (zh) * 2021-04-09 2023-12-29 抖音视界有限公司 用于视频处理的方法、设备和介质
WO2022214077A1 (en) * 2021-04-10 2022-10-13 Beijing Bytedance Network Technology Co., Ltd. Gpm motion refinement

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9819963B2 (en) * 2011-07-12 2017-11-14 Electronics And Telecommunications Research Institute Inter prediction method and apparatus for same
MX365013B (es) * 2011-08-29 2019-05-20 Ibex Pt Holdings Co Ltd Metodo para generar un bloque de prediccion en modo de prediccion de vector de movimiento avanzada (amvp).
US9357214B2 (en) * 2012-12-07 2016-05-31 Qualcomm Incorporated Advanced merge/skip mode and advanced motion vector prediction (AMVP) mode for 3D video
KR101854003B1 (ko) * 2013-07-02 2018-06-14 경희대학교 산학협력단 복수의 레이어를 포함하는 영상의 부호화 및 복호화 방법
CN103561263B (zh) * 2013-11-06 2016-08-24 北京牡丹电子集团有限责任公司数字电视技术中心 基于运动矢量约束和加权运动矢量的运动补偿预测方法
US10944983B2 (en) * 2014-04-01 2021-03-09 Mediatek Inc. Method of motion information coding
US10200711B2 (en) * 2015-03-27 2019-02-05 Qualcomm Incorporated Motion vector derivation in video coding
US10812791B2 (en) * 2016-09-16 2020-10-20 Qualcomm Incorporated Offset vector identification of temporal motion vector predictor
US10778999B2 (en) * 2016-09-30 2020-09-15 Qualcomm Incorporated Frame rate up-conversion coding mode with affine motion model
WO2018070632A1 (ko) * 2016-10-11 2018-04-19 엘지전자 주식회사 영상 코딩 시스템에서 영상 디코딩 방법 및 장치
CN107396106A (zh) * 2017-06-26 2017-11-24 深圳市亿联智能有限公司 一种基于h.265编码标准的视频加密算法
CN107396102B (zh) * 2017-08-30 2019-10-08 中南大学 一种基于Merge技术运动矢量的帧间模式快速选择方法及装置
EP3468194A1 (en) * 2017-10-05 2019-04-10 Thomson Licensing Decoupled mode inference and prediction

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
"Algorithm description of Joint Exploration Test Model 2 (JEM2)", 114. MPEG MEETING; 20160222 - 20160226; SAN DIEGO; (MOTION PICTURE EXPERT GROUP OR ISO/IEC JTC1/SC29/WG11), 4 April 2016 (2016-04-04), XP030022739 *
"Algorithm description of Joint Exploration Test Model 2 (JEM2)" 114. MPEG MEETING;22-2-2016 - 26-2-2016; SAN DIEGO; (MOTION PICTURE EXPERT GROUP OR ISO/IEC JTC1/SC29/WG11), no. N16066, 4 April 2016, *
"Algorithm description of Joint Exploration Test Model 2 (JEM2)" 114. MPEG MEETING;22-2-2016 - 26-2-2016; SAN DIEGO; (MOTION PICTURE EXPERT GROUP OR ISO/IEC JTC1/SC29/WG11), no. N16066, 4 April 2016, XP030022739

Also Published As

Publication number Publication date
TWI736923B (zh) 2021-08-21
CN110662041B (zh) 2022-07-29
CN110662046A (zh) 2020-01-07
TW202002651A (zh) 2020-01-01
TWI722467B (zh) 2021-03-21
TW202017370A (zh) 2020-05-01
WO2020003276A1 (en) 2020-01-02
WO2020003281A1 (en) 2020-01-02
CN110662046B (zh) 2022-03-25
CN110662041A (zh) 2020-01-07
TW202002650A (zh) 2020-01-01
CN110662055B (zh) 2022-07-05
CN110662055A (zh) 2020-01-07
WO2020003273A1 (en) 2020-01-02

Similar Documents

Publication Publication Date Title
TWI707579B (zh) 整數運動補償
TWI731362B (zh) 擴展Merge模式與其他視頻編碼工具之間的交互
TWI706670B (zh) 廣義運動向量差解析度
JP2024015289A (ja) オプティカルフローベースの予測精緻化の計算
CN113424538A (zh) 解码器侧细化工具的选择性应用
TWI709332B (zh) 基於更新的運動矢量的運動預測
CN110677668B (zh) 空间运动压缩
TWI719522B (zh) 用於視頻編碼的對稱性雙向預測模式
CN113545076A (zh) 基于图片头中的信息启用bio
CN113424535A (zh) 基于运动矢量预测表的历史更新
CN113557720A (zh) 视频编解码中的多假设预测当中的自适应权重