TW202013966A

TW202013966A - 色度解碼器側運動向量細化

Info

Publication number: TW202013966A
Application number: TW108119995A
Authority: TW
Inventors: 劉鴻彬; 張莉; 張凱; 王悅
Original assignee: 大陸商北京字節跳動網絡技術有限公司; 美商字節跳動有限公司
Priority date: 2018-06-07
Filing date: 2019-06-10
Publication date: 2020-04-01
Also published as: TW202019180A; US20200374544A1; KR20210018896A; TW202002652A; CN110581994A; US20220030265A1; CN110581997A; CN110581999A; TW202002637A; CN110581998B; GB2589222A; KR102605638B1; CN110581996B; CN110581999B; EP3788788A1; KR20230161539A; TWI727338B; CN114827626A; JP7417670B2; CN110581998A

Abstract

一種對位元流進行解碼的方法，包括使用一個或多個模板估計當前視頻塊的匹配成本。一個或多個模板中的每個包含亮度分量、第一色度分量C0和第二色度分量C1。該方法還包括使用具有最小匹配成本的模板來細化當前視頻塊的運動信息。

Description

色度解碼器側運動向量細化

本揭露是有關於一種視頻編碼技術。 [相關申請的交叉引用] 根據適用的《專利法》和/或《巴黎公約》的規定，本申請是為了及時要求2018年6月7日提交的在先美國臨時專利申請No. 62 / 682,150的優先權和權益。出於美國法律的目的，美國臨時專利申請No. 62 / 682,150的全部公開以引用方式併入本公開，作為本申請的公開的一部分。

儘管視訊壓縮技術取得了進步，但數位視訊仍在互聯網和其他數位通信網路上占最大的頻寬使用量。隨著能夠接收和顯示視頻的連接使用者設備的數量增加，預計數位視訊使用所需的頻寬將繼續增長。

本揭露公開了與視頻編碼中的解碼器側運動向量推導（Side Motion Vector Derivation，DMVD）相關的技術。該技術可以應用於現有的視頻編碼標準，如高效視頻編碼（High Efficiency Video Coding，HEVC）、或最終確定的標準多功能視頻編碼（Versatile Video Coding，VVC）。該技術也可以應用於未來的視頻編碼標準或視頻轉碼器。

在一個示例方面，公開了一種對包括視頻的數位表示的位元流進行解碼的方法。該方法包括使用一個或多個模板估計當前視頻塊的匹配成本。一個或多個模板中的每個包含亮度分量、第一色度分量C0和第二色度分量C1。該方法還包括使用具有最小匹配成本的模板來細化當前視頻塊的運動信息。

在又一示例方面，公開了一種裝置，包括被配置為實施上述方法的處理器。

在再一示例方面，這些方法可以以電腦可運行指令的形式體現並儲存在電腦可讀程式介質上。

在本文件中進一步描述了這些和其他方面。

本文件提供了可由視頻位元流的解碼器使用的各種技術，以改善解壓縮或解碼的數位視訊的品質。此外，視訊轉碼器還可在編碼處理期間實施這些技術，以便重建用於進一步編碼的經解碼的幀。

為了便於理解，在本文件中使用章節標題，並且不將實施例和技術限制於對應部分。這樣，來自一個部分的實施例可以與來自其他部分的實施例組合。此外，雖然一些實施例詳細描述了視頻編碼步驟，但是應該理解，將由解碼器實施解碼撤銷（undo）編碼的對應步驟。此外，術語視頻處理包括視頻編碼或壓縮、視頻解碼或解壓縮以及視頻轉碼，其中視頻像素從一種壓縮格式表示為另一壓縮格式或以不同的壓縮位元速率表示。

1. 技術框架

視頻編碼標準主要通過開發眾所周知的ITU-T和ISO / IEC標準而發展。ITU-T產生了H.261和H.263，ISO / IEC產生了MPEG-1和MPEG-4 Visual，兩個組織聯合產生了H.262 / MPEG-2視頻和H.264 / MPEG-4高級視頻編碼（Advanced Video Coding，AVC）和H.265 / HEVC 標準。從H.262開始，視頻編碼標準基於利用時間預測加變換編碼的混合視頻編碼結構。為了探索HEVC之外的未來視頻編碼技術，由VCEG和MPEG於2015年聯合成立了聯合視頻探索團隊（Joint Video Exploration Team，JVET）。從那時起，許多新方法被JVET採用並被引入名為聯合搜索模型（Joint Exploration Model，JEM）的參考軟體中。在2018年4月，VCEG（Q6 / 16）和ISO / IEC JTC1 SC29 / WG11（MPEG）之間的聯合視頻專家組（Joint Video Expert Team, JVET）被創建用於VVC標準，目標是與HEVC相比降低50％的位元速率。

2. HEVC / H.265中的幀間預測

每個幀間預測的預測單元（Prediction Unit，PU）具有用於一個或兩個參考圖片清單的運動參數。運動參數包括運動向量和參考圖片索引。也可以使用inter_pred_idc 來信號通知兩個參考圖片清單中的一個的使用。可以將運動向量明確地編碼為相對於預測器的增量。

當用跳過模式對編碼單元（Coding Unit，CU）進行編碼時，一個PU與CU相關聯，並且不存在顯著的殘差係數、沒有編碼的運動向量增量或參考圖片索引。指定Merge模式，從而從相鄰PU獲得當前PU的運動參數，包括空間和時間候選。Merge模式可以應用於任何幀間預測的PU，而不僅應用於跳過模式。Merge模式的替代是運動參數的顯式傳輸，其中，對於每個PU，明確地用信號通知運動向量（更準確地說，與運動向量預測器相比的運動向量差）、每個參考圖片清單的對應參考圖片索引和參考圖片清單使用。在本文件中，這種模式被稱為高級運動向量預測（Advanced Motion Vector Prediction，AMVP）。

當信令指示將使用兩個參考圖片清單中的一個時，從一個樣本塊產生PU。這被稱為「單向預測（uni-prediction）」。單向預測可用於P條帶和B條帶兩者。

當信令指示將使用兩個參考圖片清單時，從兩個樣本塊產生PU。這被稱為「雙向預測（bi-prediction）」。雙向預測僅適用於B條帶。

以下文本提供了HEVC中指定的幀間預測模式的詳細信息。描述將從Merge模式開始。

2.1.1 Merge模式

2.1.1.1 Merge模式的候選推導

當使用Merge模式預測PU時，從位元流解析指向Merge候選清單中的條目的索引並將其用於檢索運動信息。該列表的建構（construction）在HEVC標準中指定，並且可以根據以下步驟順序進行總結：步驟1：初始候選推導步驟1.1：空間候選推導步驟1.2：空間候選的冗餘校驗步驟1.3：時間候選推導步驟2：插入額外的候選步驟2.1：創建雙向預測候選步驟2.2：插入零運動候選

這些步驟也在圖1中示意性地描繪。對於空間Merge候選推導，在位於五個不同位置的候選當中選擇最多四個Merge候選。對於時間Merge候選推導，在兩個候選當中選擇最多一個Merge候選。由於在解碼器處假設恆定數量的候選用於每個PU，因此當從步驟1獲得的候選的數量未達到在條帶標頭中用信號通知的最大Merge候選數量（MaxNumMergeCand）時，生成額外的候選。由於候選的數量是恆定的，因此使用截斷的一元二值化（Truncated Unary binarization，TU）來編碼最佳Merge候選的索引。如果CU的尺寸等於8，則當前CU的所有PU共用單個Merge候選列表，其與2N×2N預測單元的Merge候選清單相同。

在下文中，詳細描述了與上述步驟相關的操作。

2.1.1.2 空間候選推導

在空間Merge候選的推導中，在位於圖2描繪的位置的候選當中選擇最多四個Merge候選。推導的順序是A₁ 、B₁ 、B₀ 、A₀ 和B₂ 。僅當位置A₁ 、B₁ 、B₀ 、A₀ 的任何PU不可用（例如，因為它屬於另一條帶或區塊）或者是幀內編碼時，才考慮位置B₂ 。在添加位置A₁ 處的候選之後，對剩餘候選的添加進行冗餘校驗，其確保具有相同運動信息的候選被排除在清單之外，使得編碼效率提高。為了降低計算複雜度，在所提到的冗餘校驗中並未考慮所有可能的候選對。相反，僅考慮圖3中用箭頭連接的對，並且僅在用於冗餘校驗的對應候選具有不一樣的運動信息時，才將候選添加到列表。重複運動信息的另一來源是與不同於2N×2N的分區相關聯的「第二PU」。作為示例，圖4A和圖4B描繪了分別針對N×2N和2N×N的情況的第二PU。當當前PU被分區為N×2N時，位置A1處的候選不被考慮用於列表建構。實際上，通過添加該候選將導致具有相同運動信息的兩個預測單元，這對於在編碼單元中僅具有一個PU是多餘的。類似地，當當前PU被分區為2N×N時，不考慮位置B₁ 。

2.1.1.3 時間候選推導

在該步驟中，只有一個候選被添加到列表中。具體地，在該時間Merge候選的推導中，基於共同定位的PU來推導縮放的運動向量，該共同定位的PU屬於給定參考圖片清單內與當前圖片具有最小圖片順序計數（POC）差的圖片。在條帶標頭中明確地用信號通知要用於推導共同定位的PU的參考圖片清單。如圖5中的虛線所示獲得用於時間Merge候選的縮放的運動向量，其是使用POC距離tb和td從共同定位的PU的運動向量縮放的，其中tb被定義為當前圖片的參考圖片與當前圖片之間的POC差，td被定義為是共同定位的圖片的參考圖片與共同定位的圖片之間的POC差。時間Merge候選的參考圖片索引被設置為等於零。HEVC規範中描述了縮放過程的實際實現。對於B條帶，獲得兩個運動向量，一個用於參考圖片清單0，另一用於參考圖片清單1，並且結合該兩個運動向量以獲得雙向預測Merge候選。

在屬於參考幀的共同定位的PU（Y）中，在候選C₀ 和C₁ 之間選擇時間候選的位置，如圖6所示。如果位置C₀ 處的PU不可用、是幀內編碼的、或者在當前CTU行之外，則使用位置C1。否則，位置C₀ 用於時間Merge候選的推導。

2.1.1.4 插入額外的候選

除了空間和時間Merge候選之外，還存在兩種額外類型的Merge候選：組合的雙向預測Merge候選和零Merge候選。通過利用空間和時間Merge候選來生成組合的雙向預測Merge候選。組合的雙向預測Merge候選僅用於B條帶。通過將初始候選的第一參考圖片清單運動參數與另一候選的第二參考圖片清單運動參數組合來生成組合的雙向預測候選。如果這兩個元組提供不同的運動假設，它們將形成一個新的雙向預測候選。作為示例，圖7描繪了當原始列表（左側）中具有mvL0和refIdxL0或mvL1和refIdxL1的兩個候選被用於創建添加到最終列表（右側）的組合的雙向預測Merge候選的情況。關於被認為生成這些額外的Merge候選的組合有許多規則。

插入零運動候選以填充Merge候選列表中的剩餘條目，從而達到MaxNumMergeCand容量。這些候選具有零空間位移和參考圖片索引，該參考圖片索引從零開始並且每當新的零運動候選被添加到列表時增加。這些候選使用的參考幀的數量是1和2，分別用於單向和雙向預測。最後，不對這些候選執行冗餘校驗。

2.1.1.5 用於並行處理的運動估計區域

為了加速編碼處理，可以並存執行運動估計，從而同時推導給定區域內的所有預測單元的運動向量。從空間鄰域推導Merge候選可能干擾並行處理，因為一個預測單元直到其相關聯的運動估計完成時才能從相鄰PU推導運動參數。為了減輕編碼效率和處理等待時間之間的折衷，HEVC定義運動估計區域（Motion Estimation Region，MER），其尺寸在圖片參數集中使用「log2_parallel_merge_level_minus2」語法元素信號通知。當定義MER時，落入同一區域的Merge候選被標記為不可用，因此在列表建構中不予考慮。

2.1.2 AMVP

AMVP利用運動向量與相鄰PU的時空相關性，其用於運動參數的顯式傳輸。對於每個參考圖片清單，通過首先校驗在時間上相鄰的PU位置的上方，左側的可用性，移除冗餘候選並添加零向量以使候選列表為恆定長度來建構運動向量候選列表。然後，編碼器可以從候選清單中選擇最佳預測器，並發送指示所選候選的對應索引。與Merge索引信令類似，使用截斷的一元來編碼最佳運動向量候選的索引。在這種情況下要編碼的最大值是2（參見圖8）。在以下部分中，提供了關於運動向量預測候選的推導過程的細節。

2.1.2.1 AMVP候選的推導

圖8總結了運動向量預測候選的推導過程。

在運動向量預測中，考慮兩種類型的運動向量候選：空間運動向量候選和時間運動向量候選。對於空間運動向量候選推導，最終基於位於圖2所示的五個不同位置的每個PU的運動向量推導兩個運動向量候選。

對於時間運動向量候選推導，從兩個候選中選擇一個運動向量候選，其是基於兩個不同的共同定位的位置推導的。在產生時空候選的第一列表之後，移除列表中的重複的運動向量候選。如果潛在候選的數量大於2，則從列表中移除相關聯的參考圖片清單內的其參考圖片索引大於1的運動向量候選。如果時空運動向量候選的數量小於2，則將額外的零運動向量候選添加到列表中。

2.1.2.2 空間運動向量候選

在空間運動向量候選的推導中，在五個潛在候選當中考慮最多兩個候選，其從位於如圖2所示的位置的PU中推導，那些位置與運動Merge的位置相同。將當前PU的左側的推導順序定義為A₀ 、A₁ ，以及縮放的A₀ 、縮放的A₁ 。將當前PU的上側的推導順序定義為B₀ 、B₁ 、B₂ ，縮放的B₀ 、縮放的B₁ 、縮放的B₂ 。因此，對於每一側，存在可以用作運動向量候選的四種情況，其中兩種情況不需要使用空間縮放，兩種情況使用空間縮放。四種不同的情況總結如下：

沒有空間縮放 - （1）相同的參考圖片清單，以及相同的參考圖片索引（相同的POC） - （2）不同的參考圖片清單，但相同的參考圖片（相同的POC）

空間縮放 - （3）相同的參考圖片清單，但不同的參考圖片（不同的POC） - （4）不同的參考圖片清單，以及不同的參考圖片（不同的POC）

首先校驗無空間縮放的情況，然後校驗空間縮放。當POC在相鄰PU的參考圖片與當前PU的參考圖片之間不同而不管參考圖片清單時，考慮空間縮放。如果左候選的所有PU都不可用或者是幀內編碼的，則允許對上述運動向量進行縮放以幫助左和上MV候選的並行推導。否則，不允許對上述運動向量進行空間縮放。

在空間縮放過程中，以與時間縮放類似的方式縮放相鄰PU的運動向量，如圖9所示。主要區別是將參考圖片清單和當前PU的索引作為輸入給出；實際縮放過程與時間縮放過程相同。

2.1.2.3 時間運動向量候選

除了參考圖片索引推導之外，用於推導時間Merge候選的所有過程與用於推導空間運動向量候選的過程相同（參見圖6）。將參考圖片索引用信號通知給解碼器。

2.2 JEM中的新的幀間預測方法

2.2.1 基於子CU的運動向量預測

在具有QTBT的JEM中，每個CU可以針對每個預測方向具有至多一組運動參數。通過將大CU劃分成子CU並且推導大CU的所有子CU的運動信息，在編碼器中考慮兩個子CU級運動向量預測方法。可選時間運動向量預測（Alternative Temporal Motion Vector Prediction，ATMVP）方法允許每個CU從比並置參考圖片中的當前CU小的多個塊中提取多組運動信息。在時空運動向量預測（Spatial-Temporal Motion Vector Prediction，STMVP）方法中，通過使用時間運動向量預測器和空間相鄰運動向量來遞迴地推導子CU的運動向量。

為了保留用於子CU運動預測的更準確的運動場，當前禁用參考幀的運動壓縮。

2.2.1.1 可選時間運動向量預測

在可選時間運動向量預測（ATMVP）方法中，通過從小於當前CU的塊中提取多組運動信息（包括運動向量和參考索引）來修改運動向量時間運動向量預測（TMVP）。如圖10所示，子CU是方形N×N塊（默認地將N設置為4）。

ATMVP以兩個步驟預測CU內的子CU的運動向量。第一步是利用所謂的時間向量識別參考圖片中的對應塊。參考圖片被稱為運動源圖片。第二步是將當前CU劃分成子CU，並從對應於每個子CU的塊中獲得運動向量以及每個子CU的參考索引，如圖10所示。

在第一步驟中，由當前CU的空間相鄰塊的運動信息確定參考圖片和對應塊。為了避免相鄰塊的重複掃描過程，使用當前CU的Merge候選列表中的第一Merge候選。第一可用運動向量及其相關聯的參考索引被設置為時間向量和運動源圖片的索引。這樣，在ATMVP中，與TMVP相比，可以更準確地識別對應塊，其中對應塊（有時稱為並置塊）總是相對於當前CU位於右下或中心位置。

在第二步驟中，通過向當前CU的座標添加時間向量，通過運動源圖片中的時間向量來識別子CU的對應塊。對於每個子CU，其對應塊（覆蓋中心樣本的最小運動網格）的運動信息用於推導子CU的運動信息。在識別出對應的N×N塊的運動信息之後，以與HEVC的TMVP相同的方式將其轉換為當前子CU的參考索引和運動向量，其中運動縮放和其他過程也適用。例如，解碼器校驗是否滿足低延遲條件（即，當前圖片的所有參考圖片的POC小於當前圖片的POC）並且可能使用運動向量MV_x （對應於參考圖片清單X的運動向量）來預測每個子CU的運動向量MV_y （其中X等於0或1並且Y等於1-X）。

2.2.1.2 時空運動向量預測

在該方法中，按照光柵掃描順序遞迴地推導子CU的運動向量。圖11示出了這個概念。讓我們考慮包含四個4×4子CU A，B，C和D的8×8CU。當前幀中的相鄰4×4塊被標記為a，b，c和d。

子CU A的運動推導通過識別其兩個空間鄰居開始。第一鄰居是子CU A上方的N×N塊（塊c）。如果該塊c不可用或者是幀內編碼，則（從塊c開始，從左到右）校驗子CU A上方的其他N×N個塊。第二鄰居是子CU A左側的塊（塊b）。如果塊b不可用或者是幀內編碼，則（從塊b開始，從上到下）校驗子CU A左側的其他塊。從每個清單的相鄰塊獲得的運動信息被縮放到給定清單的第一參考幀。接下來，通過遵循與HEVC中指定的TMVP推導相同的過程來推導子塊A的時間運動向量預測器（Temporal Motion Vector Predictor，TMVP）。提取位置D處的並置塊的運動信息並對應地縮放。最後，在檢索和縮放運動信息之後，對於每個參考列表，所有可用的運動向量（最多3個）被分別平均。平均運動向量被指定為當前子CU的運動向量。

2.2.1.3 子CU運動預測模式信令

子CU模式被啟用為額外的Merge候選，並且不需要額外的語法元素來信號通知該模式。將兩個額外的Merge候選添加到每個CU的Merge候選清單以表示ATMVP模式和STMVP模式。如果序列參數集指示啟用了ATMVP和STMVP，則最多使用七個Merge候選。額外的Merge候選的編碼邏輯與HM中的Merge候選相同，這意味著，對於P或B條帶中的每個CU，兩個額外的Merge候選需要另外兩個RD校驗。

在JEM中，所有Merge索引的二進位元（bin）都由CABAC進行上下文編碼。而在HEVC中，僅第一個二進位元是上下文編碼的，而剩餘的二進位元是上下文旁路編碼的。

2.2.2 自我調整運動向量差分解析度

在HEVC中，當條帶標頭中的use_integer_mv_flag等於0時，以四分之一亮度樣本為單位信號通知（PU的運動向量和預測運動向量之間的）運動向量差（Motion Vector Difference，MVD）。在JEM中，引入了局部自我調整運動向量解析度（Locally Adaptive Motion Vector Resolution，LAMVR）。在JEM中，MVD可以以四分之一亮度樣本、整數亮度樣本或四亮度樣本為單位進行編碼。在編碼單元（CU）級控制MVD解析度，並且對於具有至少一個非零MVD分量的每個CU有條件地信號通知MVD解析度標誌。

對於具有至少一個非零MVD分量的CU，信號通知第一標記以指示在CU中是否使用四分之一亮度樣本MV精度。當第一標誌（等於1）指示不使用四分之一亮度樣本MV精度時，信號通知另一標誌以指示是使用整數亮度樣本MV精度還是四亮度樣本MV精度。

當CU的第一MVD解析度標誌為零或未針對CU編碼（意味著CU中的所有MVD均為零）時，對於CU使用四分之一亮度樣本MV解析度。當CU使用整數亮度樣本MV精度或四亮度樣本MV精度時，CU的AMVP候選列表中的MVP被取整到對應的精度。

在編碼器中，CU級RD校驗用於確定將哪個MVD解析度用於CU。即，對於每個MVD解析度，執行三次CU級RD校驗。為了加快編碼器速度，在JEM中應用以下編碼方案。

在具有正常四分之一亮度樣本MVD解析度的CU的RD校驗期間，儲存當前CU的運動信息（整數亮度樣本準確度）。儲存的運動信息（在取整之後）被用作在RD校驗期間針對具有整數亮度樣本和4亮度樣本MVD解析度的相同CU的進一步小範圍運動向量細化的起點，使得耗時的運動估計過程不重複三次。

有條件地調用具有4亮度樣本MVD解析度的CU的RD校驗。對於CU，當RD成本整數亮度樣本MVD解析度遠大於四分之一亮度樣本MVD解析度時，跳過針對CU的4亮度樣本MVD解析度的RD校驗。

2.2.3 更高的運動向量儲存準確度

在HEVC中，運動向量準確度是四分之一像素（4：2：0視頻的四分之一亮度樣本和八分之一色度樣本）。在JEM中，內部運動向量儲存和Merge候選的準確度增加到1/16像素。更高的運動向量準確度（1/16像素）用於以跳過/Merge模式編碼的CU的運動補償幀間預測。對於使用正常AMVP模式編碼的CU，使用整數像素或四分之一像素運動，如2.2.2節所述。

具有與HEVC運動補償內插濾波器相同的濾波器長度和歸一化因數的SHVC上採樣內插濾波器被用作額外的分數像素位置的運動補償內插濾波器。在JEM中色度分量運動向量準確度是1/32樣本，通過使用兩個相鄰的1/16像素分數位置的濾波器的平均來推導1/32像素分數位置的額外的內插濾波器。

2.2.4 重疊塊運動補償

重疊塊運動補償（Overlapped Block Motion Compensation OBMC）先前已在H.263中使用。在JEM中，與H.263不同，可以使用CU級的語法來打開和關閉OBMC。當在JEM中使用OBMC時，除了CU的右邊界和下邊界之外，對所有運動補償（Motion Compensation，MC）塊邊界執行OBMC。此外，它還應用於亮度和色度分量。在JEM中，MC塊對應於編碼塊。當用子CU模式（包括子CU Merge、仿射和FRUC模式）編碼CU時，CU的每個子塊是MC塊。為了以統一的方式處理CU邊界，針對所有MC塊邊界以子塊級執行OBMC，其中子塊尺寸被設置為等於4×4，如圖12所示。

當OBMC應用於當前子塊時，除了當前運動向量之外，四個連接的相鄰子塊的運動向量（如果可用且與當前運動向量不同）也用於推導當前子塊的預測塊。組合基於多個運動向量的這些多個預測塊以生成當前子塊的最終預測信號。

將基於相鄰子塊的運動向量的預測塊表示為P_N ，其中N指示相鄰的上、下、左和右子塊的索引，並且將基於當前子塊的運動向量的預測塊表示為P_C 。當P_N 是基於包含與當前子塊相同的運動信息的相鄰子塊的運動信息時，不從P_N 執行OBMC。否則，將每個P_N 樣本添加到P_C 中的相同樣本中，即將P_N 的四行/列添加到P_C 。將加權因數{1/4, 1/8, 1/16, 1/32}用於P_N ，並且將加權因數{3/4, 7/8, 15/16, 31/32}用於P_C 。例外是小MC塊（即，當編碼塊的高度或寬度等於4或用子CU模式編碼CU時），對其僅將P_N 的兩行/列添加到P_C 。在這種情況下，將加權因數{1/4, 1/8}用於P_N ，並且將加權因數{3/4, 7/8}用於P_C 。對於基於垂直（水平）相鄰子塊的運動向量生成的P_N ，將P_N 的相同行（列）中的樣本添加到具有相同加權因數的P_C 。

在JEM中，對於尺寸小於或等於256個亮度樣本的CU，信號通知CU級標誌以指示是否對當前CU應用OBMC。對於尺寸超過256個亮度樣本或未使用AMVP模式進行編碼的CU，預設應用OBMC。在編碼器處，當將OBMC應用於CU時，在運動估計階段期間考慮其影響。由OBMC使用上側相鄰塊和左側相鄰塊的運動信息形成的預測信號用於補償當前CU的原始信號的上邊界和左邊界，然後應用正常運動估計處理。

2.2.5 局部光照補償

局部光照補償（Local Illumination Compensation，LIC）是基於用於光照變化的線性模型，使用縮放因數a 和偏移b 。並且針對每個幀間模式編碼的編碼單元（CU）自我調整地啟用或禁用它。

當LIC應用於CU時，採用最小平方誤差方法來通過使用當前CU的相鄰樣本及其對應的參考樣本來推導參數a 和b 。更具體地，如圖13所示，使用CU的子採樣（2：1子採樣）的相鄰樣本和參考圖片中的（由當前CU或子CU的運動信息識別的）對應樣本。推導IC參數並將其分別應用於每個預測方向。

當用Merge模式編碼CU時，以類似於Merge模式中的運動信息複製的方式從相鄰塊複製LIC標誌；否則，向CU信號通知LIC標誌以指示是否應用LIC。

當針對圖片啟用LIC時，需要額外的CU級RD校驗以確定是否將LIC應用於CU。當為CU啟用LIC時，分別針對整數像素運動搜索和分數像素運動搜索，使用去均值絕對差之和（Mean-Removed Sum Of Absolute Difference，MR-SAD）和去均值絕對哈達瑪變換差之和（Mean-Removed Sum Of Absolute Hadamard-Transformed Difference，MR-SATD），而不是SAD和SATD。

為了降低編碼複雜度，在JEM中應用以下編碼方案。

當當前圖片與其參考圖片之間沒有明顯的光照變化時，對於整個圖片禁用LIC。為了識別這種情況，在編碼器處計算當前圖片和當前圖片的每個參考圖片的長條圖。如果當前圖片與當前圖片的每個參考圖片之間的長條圖差小於給定閾值，則對當前圖片禁用LIC；否則，對當前圖片啟用LIC。

2.2.6 仿射運動補償預測

在HEVC中，僅將平移運動模型應用於運動補償預測（Motion Compensation Prediction，MCP）。在現實世界中，存在多種運動，例如放大/縮小、旋轉、透視運動和其他不規則運動。在JEM中，應用簡化的仿射變換運動補償預測。如圖14所示，塊的仿射運動場由兩個控制點運動向量描述。

塊的運動向量場（Motion Vector Field，MVF）由以下等式描述：

(1)

其中（v_0x , v_0y ）是左上角控制點的運動向量，（v_1x , v_1y ）是右上角控制點的運動向量。

為了進一步簡化運動補償預測，應用基於子塊的仿射變換預測。子塊尺寸M×N如等式2中推導，其中MvPre 是運動向量分數準確度（在JEM中是1/16），（v_2x , v_2y ）是根據等式1計算的左下控制點的運動向量。

(2)

在通過等式2推導之後，如果需要，應該向下調整M和N，以使其分別為w和h的除數。

為了推導每個M×N子塊的運動向量，根據等式1計算每個子塊的中心樣本的運動向量，如圖15所示，並取整到1/16分數準確度。然後，應用2.2.3節中提到的運動補償內插濾波器，以利用所推導的運動向量生成每個子塊的預測。

在MCP之後，對每個子塊的高準確度運動向量進行取整，並將其以與正常運動向量相同的準確度保存。

在JEM中，存在兩種仿射運動模式：AF_INTER模式和AF_MERGE模式。對於寬度和高度都大於8的CU，可以應用AF_INTER模式。在位元流中用信號通知CU級的仿射標誌以指示是否使用AF_INTER模式。在該模式中，使用相鄰塊構造具有運動向量對

的候選列表。如圖16所示，從塊A、B或C的運動向量中選擇v₀ 。根據參考清單以及用於相鄰塊的參考的POC、用於當前CU的參考的POC和當前CU的POC之間的關係來縮放來自相鄰塊的運動向量。從相鄰塊D和E中選擇v₁ 的方法是類似的。如果候選列表的數量小於2，則由通過複製每個AMVP候選而組成的運動向量對來填充列表。當候選清單大於2時，首先根據相鄰運動向量的一致性（候選對中的兩個運動向量的相似性）對候選進行排序，並且僅保留前兩個候選。用RD成本校驗來確定將哪個運動向量對候選選擇為當前CU的控制點運動向量預測（Control Point Motion Vector Prediction，CPMVP）。並且在位元流中用信號通知指示候選清單中的CPMVP的位置的索引。在確定當前仿射CU的CPMVP之後，應用仿射運動估計並找到控制點運動向量（Control Point Motion Vector，CPMV）。然後在位元流中用信號通知CPMV和CPMVP的差。

當在AF_MERGE模式中應用CU時，它從有效的相鄰重建塊獲得用仿射模式編碼的第一個塊。並且候選塊的選擇順序是從左、上、右上、左下到左上，如圖17A所示。如果相鄰左下塊A以仿射模式進行編碼，如圖17B所示，推導包含塊A的CU的左上角、右上角和左下角的運動向量v₂ 、v₃ 和v₄ 。並且根據v₂ 、v₃ 和v₄ 計算當前CU左上角的運動向量v₀ 。其次，計算當前CU的右上方的運動向量。

在推導出當前CU

和v₁ 之後，根據簡化的仿射運動模型等式1生成當前CU的MVF。為了識別當前CU是否以AF_MERGE模式進行編碼，當至少有一個相鄰塊以仿射模式進行編碼時，在位元流中用信號通知仿射標誌。

2.2.7 模式匹配的運動向量推導

模式匹配的運動向量推導（Pattern Matched Motion Vector Derivation，PMMVD）模式是基於畫面播放速率上轉換（Frame-Rate Up Conversion，FRUC）技術的特殊Merge模式。利用該模式，在解碼器側推導塊的運動信息，而不是發信號通知塊的運動信息。

當CU的Merge標誌為真時，向CU信號通知FRUC標誌。當FRUC標誌為假時，信號通知Merge索引並使用常規Merge模式。當FRUC標誌為真時，信號通知額外的FRUC模式標誌以指示將使用哪種方法（雙邊匹配或模板匹配）來推導該塊的運動信息。

在編碼器側，關於是否對CU使用FRUC Merge模式的決定是基於對正常Merge候選所做的RD成本選擇。即，通過使用RD成本選擇來校驗CU的兩種匹配模式（雙邊匹配和模板匹配）兩者。引起最小成本的匹配模式與其他CU模式進一步比較。如果FRUC匹配模式是最有效的模式，則對於CU將FRUC標誌設置為真，並且使用相關的匹配模式。

FRUC Merge模式中的運動推導過程具有兩個步驟：首先執行CU級運動搜索，然後進行子CU級運動細化。在CU級，基於雙邊匹配或模板匹配，推導整個CU的初始運動向量。首先，生成MV候選列表，並且選擇引起最小匹配成本的候選作為進一步CU級細化的起點。然後，在起點附近執行基於的雙邊匹配或模板匹配的局部搜索，並且將最小匹配成本的MV結果作為整個CU的MV。隨後，以推導的CU運動向量作為起點，進一步在子CU級細化運動信息。

例如，對於W × H CU運動信息推導執行以下推導過程。在第一階段，推導整個W × H CU的MV。在第二階段，該CU進一步被劃分成M × M 個子CU。M的值的計算方法如（3）所示，D是預定義的劃分深度，在JEM中默認設置為3。然後推導每個子CU的MV。

(3)

如圖18所示，通過在兩個不同參考圖片中沿當前CU的運動軌跡找到兩個塊之間的最接近匹配，使用雙邊匹配來推導當前CU的運動信息。在連續運動軌跡的假設下，指向兩個參考塊的運動向量MV0和MV1應當與當前圖片和兩個參考圖片之間的時間距離（即TD0和TD1）成比例。作為特殊情況，當當前圖片在時間上在兩個參考圖片之間並且從當前圖片到兩個參考圖片的時間距離相同時，雙邊匹配成為基於鏡像的雙向MV。

如圖19所示，模板匹配用於通過找到當前圖片中的模板（當前CU的頂部和/或左側相鄰塊）與參考圖片中的塊（與模板的尺寸相同）之間的最接近匹配來推導當前CU的運動信息。除了上述FRUC Merge模式之外，模板匹配也應用於AMVP模式。在JEM中，正如在HEVC中所做的那樣，AMVP有兩個候選。通過模板匹配方法，新的候選被推導出。如果由模板匹配新推導的候選與第一現有AMVP候選不同，則將其插入AMVP候選列表的最開始處，然後將列表尺寸設置為2（意味著移除第二現有AMVP候選）。當應用於AMVP模式時，僅應用CU級搜索。

2.2.8 CU級MV候選集

在CU級處設置的MV候選包括： (i) 如果當前CU處於AMVP模式，則為原始AMVP候選 (ii) 所有Merge候選， (iii) 在2.2.10節中介紹的內插MV場中的幾個MV。 (iv) 頂部和左側相鄰運動向量

當使用雙邊匹配時，將Merge候選的每個有效MV用作輸入，以生成假設雙邊匹配的情況下的MV對。例如，在參考列表A中，Merge候選的一個有效MV是（MVa，refa）。然後，在其他參考列表B中找到其配對的雙邊MV的參考圖片refb，使得refa和refb在時間上位於當前圖片的不同側。如果這樣的refb在參考列表B中不可用，則refb被確定為與refa不同的參考，並且其到當前圖片的時間距離是清單B中的最小值。在確定refb之後，通過基於當前圖片refa和refb之間的時間距離來縮放MVa來推導MVb。

來自內插MV場的四個MV也被添加到CU級候選列表。更具體地，添加當前CU的位置（0,0）、（W / 2,0）、（0，H / 2）和（W / 2，H / 2）處的內插MV。

當FRUC應用於AMVP模式時，原始AMVP候選也被添加到CU級MV候選集。

在CU級，對於AMVP CU，最多將15個MV添加到候選列表，對於MergeCU，最多將13個MV添加到候選列表。

2.2.9 子CU級MV候選集

在子CU級處設置的MV候選包括： (i) 從CU級搜索確定的MV， (ii) 頂部、左側、左上角和右上角的相鄰MV， (iii) 來自參考圖片的並置MV的縮放版本， (iv) 最多4個ATMVP候選， (v) 最多4個STMVP候選

來自參考圖片的縮放MV如下推導。遍歷兩個清單中的所有參考圖片。參考圖片中的子CU的並置位置處的MV被縮放到起始CU級MV的參考。

ATMVP和STMVP候選僅限於前四個。

在子CU級，最多將17個MV添加到候選列表中。

2.2.10 內插MV場的生成

在對幀進行編碼之前，基於單邊ME為整個圖片生成內插運動場。然後，運動場可以稍後用作CU級或子CU級MV候選。

首先，兩個參考清單中的每個參考圖片的運動場以4×4塊級遍歷。對於每個4×4塊，如果與塊相關聯的運動通過當前圖片中的4×4塊（如圖20所示）並且塊未被分配任何內插運動，則參考塊的運動根據時間距離TD0和TD1（以與HEVC中的TMVP的MV縮放的方式相同的方式）被縮放到當前圖片，並且將縮放的運動分配給當前幀中的塊。如果沒有縮放的MV被分配給4×4塊，則在內插運動場中將塊的運動標記為不可用。

2.2.11 內插和匹配成本

當運動向量指向分數樣本位置時，需要運動補償內插。為了降低複雜度，替代常規8階HEVC內插，將雙線性內插用於雙邊匹配和模板匹配。

匹配成本的計算在不同步驟處有點不同。當從CU級的候選集中選擇候選時，匹配成本是雙邊匹配或模板匹配的絕對和差（Absolute Sum Difference， SAD）。在確定起始MV之後，子CU級搜索的雙邊匹配的匹配成本計算如下：

(4)

其中w是根據經驗設置為4的加權因數，MV 和MV^s 分別指示當前MV和起始MV。SAD仍用作子CU級搜索的模板匹配的匹配成本。

在FRUC模式中，僅通過使用亮度樣本來推導MV。推導的運動將用於MC幀間預測的亮度和色度兩者。在確定MV之後，使用用於亮度的8階內插濾波器和用於色度的4階內插濾波器來執行最終MC。

2.2.12 MV細化

MV細化是基於模式的MV搜索，以雙邊匹配成本或模板匹配成本為標準。在JEM中，支援兩種搜索模式—無限制中心偏置菱形搜索（Unrestricted Center-Biased Diamond Search，UCBDS）和自我調整交叉搜索，分別在CU級和子CU級進行MV細化。對於CU和子CU級MV細化兩者，以四分之一亮度樣本MV精度直接搜索MV，並且接著是八分之一亮度樣本MV細化。將用於CU和子CU步驟的MV細化的搜索範圍設置為等於8個亮度樣本。

2.2.13 模板匹配FRUC Merge模式中預測方向的選擇

在雙邊匹配Merge模式中，始終應用雙向預測，因為CU的運動信息是基於在兩個不同的參考圖片中沿當前CU的運動軌跡的兩個塊之間的最近匹配推導的。對於模板匹配Merge模式沒有這樣的限制。在模板匹配Merge模式中，編碼器可以從清單0中的單向預測、列表1中的單向預測或雙向預測當中為CU選擇。選擇基於如下的模板匹配成本：如果costBi>=factor*min （ cost0,cost1 ）則使用雙向預測；否則，如果cost0>=cost 1 則使用列表0中的單向預測；否則，使用列表1中的單向預測；其中cost0 是清單0模板匹配的SAD，cost1 是清單1模板匹配的SAD，costBi 是雙向預測模板匹配的SAD。factor 的值等於1.25，這意味著選擇過程偏向於雙向預測。

幀間預測方向選擇僅應用於CU級模板匹配過程。

2.2.14 雙向光流

雙向光流（Bi-directional Optical flow，BIO）是樣本方式的運動細化，其在用於雙向預測的逐塊運動補償之上執行。樣本級運動細化不使用信令。

設

為塊運動補償之後參考k (k=0, 1)的亮度值，並且

,

分別為

梯度的水平分量和垂直分量。假設光流是有效的，則運動向量場

由下式給出：

（5）

將此光流等式與每個樣本運動軌跡的埃爾米特內插相結合，得到唯一的三階多項式，該三階多項式最後匹配函數值

和其導數

，

兩者。該三階多項式在t=0時的值是BIO預測：

（6）

這裡，

和

表示到參考幀的距離，如圖21所示。基於Ref0和Ref1的POC計算距離

和

：

=POC(當前)-POC(Ref0)，

= POC(Ref1) − POC(當前)。如果兩個預測都來自相同的時間方向（兩者都來自過去或都來自未來），則sign是不同的即，

。在這種情況下，僅當預測不是來自相同的時刻（即，

）時才應用BIO，兩個參考區域都具有非零運動（

）並且塊運動向量與時間距離成比例（

）。

通過最小化點A和B（圖9中的運動軌跡和參考幀平面的交叉）中的值之間的差∆來確定運動向量場

。模型僅使用∆的局部泰勒展開的第一線性項：

(7)

等式7中的所有值都取決於樣本位置

，到目前為止，符號表示中省略了該樣本位置。假設運動在局部周圍區域是一致的，我們在以當前預測點為中心的（2M+1）x（2M+1）的方形窗口Ω內最小化∆，其中M等於2：

(8)

對於該優化問題，JEM使用簡化方法，首先在垂直方向上進行最小化，然後在水平方向上進行最小化。由此產生：

(9)

(10)

其中，

(11)

為了避免除以零或非常小的值，在等式9和10中引入正則化參數r和m。

(12)

(13)

這裡d是視頻樣本的位元深度。

為了使BIO的記憶體訪問與常規雙向預測運動補償保持相同，僅針對當前塊內的位置計算所有預測和梯度值

。在等式11中，以在預測塊的邊界上的當前預測點為中心的（2M+1）x（2M+1）方形窗口Ω需要訪問塊外部的位置（如圖22A所示）。在JEM中，將塊外部的

的值設置為等於塊內最近的可用值。例如，這可以實施為填充，如圖22B所示。

利用BIO，可以針對每個樣本細化運動場。為了降低計算複雜度，在JEM中使用基於塊的BIO設計。基於4x4的塊計算運動細化。在基於塊的BIO中，聚合4x4的塊中的所有樣本的等式11中的sn的值，然後將sn的聚合值用於推導4x4塊的BIO運動向量偏移。更具體地，以下公式用於基於塊的BIO推導：

(14)

其中bk表示屬於預測塊的第k個4x4塊的樣本集。將等式9和10中的sn替換為( (sn,bk) >> 4 )，以推導相關聯的運動向量偏移。

在一些情況下，由於噪音或不規則運動，BIO的MV團（MV regiment）可能不可靠。因此，在BIO中，MV團的尺寸被閾值thBIO截頂。基於當前圖片的參考圖片是否都來自一個方向來確定閾值。如果當前圖片的所有參考圖片都來自一個方向，則將閾值的值設置為

；否則，將其設置為

。

利用使用與HEVC運動補償過程（2D可分離FIR）一致的操作的運動補償內插來同時計算BIO的梯度。根據塊運動向量的分數部分，該2D可分離FIR的輸入是與運動補償過程和分數位置（fracX，fracY）相同的參考幀樣本。在水平梯度∂I⁄∂x的情況下，首先使用與具有去縮放偏移d-8的分數位置fracY相對應的BIOfilterS垂直內插信號，然後在水平方向上應用梯度濾波器BIOfilterG，該BIOfilterG與具有去縮放偏移18-d的分數位置fracX相對應。在垂直梯度∂I⁄∂y的情況下，首先使用與具有去縮放偏移d-8的分數位置fracY相對應的BIOfilterG垂直應用梯度濾波器，然後在水平方向上使用BIOfilterS執行信號位移，該BIOfilterS與具有去縮放偏移18-d的分數位置fracX相對應。用於梯度計算的內插濾波器BIOfilterG和用於信號位移的內插濾波器BIOfilterS的長度較短（6階），以保持合理的複雜度。表1示出了用於BIO中塊運動向量的不同分數位置的梯度計算的濾波器。表2示出了用於BIO中預測信號生成的內插濾波器。

表1：用於BIO中梯度計算的濾波器

表2：用於BIO中預測信號生成的內插濾波器

在JEM中，當兩個預測來自不同的參考圖片時，BIO應用於所有雙預測塊。當為CU啟用LIC時，禁用BIO。

在JEM中，OBMC在正常MC過程之後應用於塊。為了降低計算複雜性，在OBMC過程中不應用BIO。這意味著BIO僅在使用其自身的MV時才應用於塊的MC過程，並且在OBMC過程中使用相鄰塊的MV時不應用於MC過程。

2.2.15 解碼器側運動向量細化

在雙向預測操作中，對於一個塊區域的預測，將分別使用list0的運動向量（MV）和list1的MV形成的兩個預測塊進行組合以形成單個預測信號。在解碼器側運動向量細化（Decoder-Side Motion Vector Refinement，DMVR）方法中，通過雙邊模板匹配過程進一步細化雙向預測的兩個運動向量。雙邊模板匹配應用在解碼器中，以在雙邊模板和參考圖片中的重建樣本之間執行基於失真的搜索，以便獲得細化的MV而無需傳輸附加的運動信息。

在DMVR中，分別從列表0的初始MV0和列表1的MV1，將雙邊模板生成為兩個預測塊的加權組合（即平均），如圖23所示。模板匹配操作包括計算所生成的模板與參考圖片中的（在初始預測塊周圍的）樣本區域之間的成本度量。對於兩個參考圖片中的每個，將產生最小模板成本的MV考慮為該列表的更新MV以替換原始MV。在JEM中，對每個列表搜索九個MV候選。該九個MV候選包括原始MV和8個與原始MV在水平或垂直方向上或兩個方向上具有一個亮度樣本偏移的環繞的MV。最後，將兩個新的MV，即如圖23中所示的MV0'和MV1'，用於生成最終的雙向預測結果。將絕對差之和（SAD）用作成本度量。請注意，當計算由一個環繞的MV生成的預測塊的成本時，實際上使用取整的MV（到整數像素）而不是真實MV來獲得預測塊。

將DMVR應用於雙向預測的Merge模式，其中一個MV來自過去的參考圖片，另一MV來自未來的參考圖片，而無需傳輸額外的語法元素。在JEM中，當對CU啟用LIC、仿射運動、FRUC或子CU Merge候選時，不應用DMVR。

2.2.16 示例實施例

公開了來降低DMVD方法的複雜度並提高編碼性能的示例方面。所公開的方法可以應用於現有的DMVD方法，但也可以應用於解碼器側的運動/模式推導的未來方法。

以下列舉的示例提供了一些方式，通過這些方式，可以將所公開的技術體現到視頻解碼過程中。

1. 在現有的DMVD方法中，僅考慮亮度分量來推導或細化運動向量。然而，也可以考慮色度分量。用Ci表示給定運動向量的三個顏色分量的成本（其中i指示顏色分量索引）。 a. 最終成本被定義為Wi * Ci，其中Wi指示第i個顏色分量的權重。 b. 可替代地，最終成本定義為（W0 * C0 + W1 *（C1 + C2））。在一些示例中，W0或W1等於1。 c. 在一個示例中，當將DMVR應用於色度分量時，可以應用運動向量的取整，使得可以利用整數運動向量，並且不需要對色度分量應用內插。 d. 在一個示例中，當將DMVR應用於色度分量時，如果需要內插，則可以應用較短階的內插濾波器（諸如雙線性濾波器）。

2. 上述方法可以應用於某些顏色分量或所有顏色分量。 a. 可以將不同的規則應用於不同的顏色分量，或者亮度和色度分量可以利用不同的規則。例如，色度分量可以具有不同的權重W1和W2，W1和W2是不同的。作為另一示例，可以針對不同的亮度/色度分量不同地執行運動向量的細化。 b. 可替代地，可以在序列參數集、圖片參數集、條帶標頭等中進一步信號通知如何以及是否應用上述方法。

圖24是在視頻解碼的示例方法2400的流程圖。方法2400包括，在操作2402處，使用一個或多個模板估計當前視頻塊的匹配成本。一個或多個模板中的每個包含亮度分量、第一色度分量C0和第二色度分量C1。方法2400包括，在操作2404處，使用具有最小匹配成本的模板來細化當前視頻塊的運動信息。

在一些實施例中，通過使用亮度、C0和C1的成本的加權和來確定給定模板的成本。在一些實施例中，對於亮度分量給定亮度權重W0，對於第一色度分量C0和第二色度分量C1給定色度權重W1。在一些實施例中，W0等於1。在一些實施例中，W1等於1。

在一些實施例中，對於亮度分量給定亮度權重W0，對於第一色度分量C0給定第一色度權重W1，並且對於第二色度分量C1給定第二色度權重W2。在一些實施例中，第一色度權重W1不同於第二色度權重W2。

在一些實施例中，該方法包括將解碼器側運動向量細化應用於第一和第二色度分量中的至少一個。通過使用取整到整數精度的運動向量生成模板來執行該細化。在一些實施例中。該方法包括將解碼器側運動向量細化應用於第一和第二色度分量中的至少一個，其中通過應用具有短階的內插濾波器來生成模板。在一些實施例中，內插濾波器包含雙線性濾波器。

在一些實施例中，位元流包含關於第一色度分量C0和第二色度分量C1的參數，用於估計模板的成本。在序列參數集、圖片參數集或條帶標頭中用信號通知該參數。

圖25示出了可用以實施本發明所公開的技術的各個部分的硬體設備2500的示例實施例的框圖。硬體設備2500可以是筆記型電腦、智慧手機、平板電腦、攝像機或能夠處理視頻的其他類型的設備。設備2500包括處理資料的處理器或控制器2502，以及與處理器2502通信、儲存和/或緩衝資料的記憶體2504。例如，處理器2502可以包括中央處理單元（Central Processing Unit，CPU）或微控制器單元（Microcontroller Unit，MCU）。在一些實施方式中，處理器2502可包含現場可程式設計閘陣列（Field-Programmable Gate-Array，FPGA）。在一些實施方式中，設備2500包括或與圖形處理單元（Graphics Processing Unit，GPU）、視頻處理單元（Video Processing Unit，VPU）和/或無線通訊單元通信，以實現智慧手機設備的各種視覺和/或通信資料處理功能。例如，記憶體2504可以包括並儲存處理器可運行代碼，該代碼在由處理器2502運行時，將設備2500配置為執行各種操作，例如諸如接收信息、命令和/或資料，處理信息和資料，以及將處理過的信息/資料發送或提供給另一設備，諸如執行器或外部顯示器。為了支援設備2500的各種功能，記憶體2504可以儲存信息和資料，諸如指令、軟體、值、圖像以及處理器2502處理或引用的其他資料。例如，可以使用各種類型的隨機存取記憶體（Random Access Memory，RAM）設備、唯讀記憶體（Read Only Memory，ROM）設備、快閃記憶體設備和其他合適的儲存介質來實施記憶體2504的儲存功能。設備2500還可以包括專用視頻處理電路2506，用於執行重複計算功能，諸如變換和解碼。

圖26是示出視訊轉碼器的示例實施方式的框圖。視訊轉碼器對使用諸如變換、運動估計和殘差誤差編碼的編碼工具編碼的視頻圖片進行操作。在編碼器處對編碼的視頻幀進行重構（運動補償），並將其用作用於其他視頻圖片的幀間編碼的參考圖片。本文件中描述的技術可以由視訊轉碼器或視頻解碼器使用諸如關於圖25所描述的硬體平臺來實施。

從前述內容可以理解，本文已經出於說明的目的描述了當前所公開的技術的具體實施例，但是在不脫離本發明的範圍的情況下可以做出各種修改。因此，除了所附申請專利範圍之外，當前所公開的技術不受限制。

本文件中描述的公開的和其他實施例、模組和功能性操作可以在數位電子電路中實施，或者在電腦軟體、韌體或硬體中實施，包括本文件中公開的結構及其結構等同物，或者以他們的一個或多個的組合實施。所公開的和其他實施例可以被實施為一個或多個電腦程式產品，即，在電腦可讀介質上編碼的一個或多個電腦程式指令模組，用於由資料處理裝置運行或控制資料處理裝置的操作。電腦可讀介質可以是機器可讀存放裝置、機器可讀儲存基板、記憶體設備、影響機器可讀傳播信號的物質的合成、或者它們中的一個或多個的組合。術語「資料處理裝置」包括用於處理資料的所有裝置、設備和機器，包括例如可程式設計處理器、電腦或者多個處理器或電腦。除了硬體之外，裝置可以包括為所討論的電腦程式創建運行環境的代碼，例如，構成處理器韌體、協定疊、資料庫管理系統、作業系統及其一個或多個的組合的代碼。傳播信號是人工生成的信號，例如機器生成的電信號、光信號或電磁信號，其被生成以對信息進行編碼以便傳輸到合適的接收器裝置。

電腦程式（也稱為程式、軟體、軟體應用、腳本或代碼）可以用任何形式的程式設計語言（包括編譯語言或解釋語言）編寫，並且可以以任何形式部署，包括作為獨立程式或作為模組、元件、副程式或其他適合在計算環境中使用的單元。電腦程式不一定與檔案系統中的文件相對應。程式可以儲存在保存其他程式或資料的檔的部分中（例如，儲存在標記語言文件中的一個或多個腳本）、專用於所討論的程式的單個檔中、或多個協調檔（例如，儲存一個或多個模組、副程式或部分代碼的檔）中。電腦程式可以部署在一台或多台電腦上來執行，這些電腦位於一個網站或分佈在多個網站並通過通信網路互連。

本文件中描述的處理和邏輯流可以由一個或多個可程式設計處理器執行，該一個或多個處理器運行一個或多個電腦程式，通過對輸入資料進行操作並生成輸出來執行功能。處理和邏輯流也可以由專用邏輯電路來執行，並且裝置也可以實施為專用邏輯電路，例如，FPGA（現場可程式設計閘陣列）或ASIC（專用積體電路）。

例如，適用於運行電腦程式的處理器包括通用和專用微處理器、以及任何類型的數位電腦的任何一個或多個處理器。通常，處理器將從唯讀記憶體或隨機存取記憶體或兩者接收指令和資料。電腦的基本元件是執行指令的處理器和儲存指令和資料的一個或多個存放裝置。通常，電腦還將包括一個或多個用於儲存資料的大型存放區設備，例如，磁片、磁光碟或光碟，或可操作地耦合到一個或多個大型存放區設備，以從其接收資料或向其傳送資料，或兩者兼有。然而，電腦不一定需要具有這樣的設備。適用於儲存電腦程式指令和資料的電腦可讀介質包括所有形式的非易失性記憶體、介質和記憶體設備，包括例如半導體記憶體設備，例如EPROM、EEPROM和快閃記憶體設備；磁片，例如內部硬碟或抽取式磁碟、磁光碟以及CD ROM和DVD-ROM光碟。處理器和記憶體可以由專用邏輯電路來補充，或合併到專用邏輯電路中。

雖然本專利文件包含許多細節，但不應將其解釋為對任何發明或要求保護的範圍的限制，而應解釋為特定於特定發明的特定實施例的特徵的描述。本專利文件在分離的實施例的上下文描述的某些特徵也可以在單個實施例中組合實施。相反，在單個實施例的上下文中描述的各種功能也可以在多個實施例中單獨地實施，或在任何合適的子組合中實施。此外，雖然特徵可以被描述為在某些組合中起作用，甚至最初這樣要求保護，但在某些情況下，可以從要求保護的組合中刪除組合中的一個或多個特徵，並且要求保護的組合可以指向子組合或子組合的變體。

同樣，儘管在附圖中以特定順序描述了操作，但這不應理解為要獲得期望的結果必須按照所示的特定順序或次序順序來執行這些操作，或執行所有示出的操作。此外，本專利文件所述實施例中的各種系統元件的分離不應理解為在所有實施例中都需要這樣的分離。

僅描述了一些實施方式和示例，其他實施方式、增強和變體可以基於本專利文件中描述和說明的內容做出。

2400:方法 2402～2404:步驟 2500:硬體設備 2502:處理器 2504:記憶體 2506:視頻處理電路

圖1示出了用於Merge候選列表建構的推導過程的示例。圖2示出了空間Merge候選的示例位置。圖3示出了考慮空間Merge候選的冗餘校驗的候選對的示例。圖4A和圖4B示出了N×2N和2N×N個分區的第二預測單元（PU）的示例位置。圖5是用於時間Merge候選的運動向量縮放的示例說明。圖6示出了時間Merge候選C0和C1的候選位置的示例。圖7示出了組合的雙向預測Merge候選的示例。圖8示出了運動向量預測候選的示例推導過程。圖9示出了用於空間運動向量候選的運動向量縮放的示例說明。圖10示出了用於編碼單元（CU）的可選時間運動向量預測（ATMVP）運動預測的示例。圖11示出了具有四個子塊及其相鄰塊（a-d）的一個CU的示例。圖12是應用重疊塊運動補償（OBMC）的子塊的圖示。圖13示出了用於推導IC參數的相鄰樣本的示例。圖14示出了簡化的仿射運動模型的示例。圖15示出了每個子塊的仿射運動向量場（MVF）的示例。圖16示出了AF_INTER的運動向量預測（MVP）的示例。圖17A和圖17B示出了AF_MERGE的候選的示例。圖18示出了雙邊匹配的示例。圖19示出了模板匹配的示例。圖20示出了畫面播放速率上轉換（FRUC）中的單邊運動估計（ME）的示例。圖21示出了光流軌跡的示例。圖22A示出了沒有具有塊外部的訪問位置的塊擴展的雙向光流（BIO）。圖22B示出了沒有塊擴展的BIO，其中發出填充以避免額外的記憶體訪問和計算。圖23示出了基於雙邊模板匹配的解碼器側運動向量細化（DMVR）的示例。圖24是視頻解碼的示例方法的流程圖。圖25是視頻解碼裝置的框圖。圖26示出了視訊轉碼器的示例實施方式。

2400:方法

2402~2404:步驟

Claims

一種對包括視頻的數位表示的位元流進行解碼的方法，包括：使用一個或多個模板估計當前視頻塊的匹配成本，其中所述一個或多個模板中的每個包含亮度分量、第一色度分量C0和第二色度分量C1；以及使用具有最小匹配成本的模板來細化所述當前視頻塊的運動信息。
如申請專利範圍第1項所述的方法，其中通過使用亮度分量、第一色度分量C0和第二色度分量C1的成本的加權和來確定給定所述模板的成本。
如申請專利範圍第2項所述的方法，其中對於所述亮度分量給定亮度權重W0，其中對於所述第一色度分量C0和所述第二色度分量C1給定色度權重W1。
如申請專利範圍第3項所述的方法，其中所述亮度權重W0等於1。
如申請專利範圍第3項所述的方法，其中所述色度權重W1等於1。
如申請專利範圍第2項所述的方法，其中對於所述亮度分量給定亮度權重W0，其中對於所述第一色度分量C0給定第一色度權重W1，並且其中對於所述第二色度分量C1給定第二色度權重W2。
如申請專利範圍第6項所述的方法，其中所述第一色度權重W1不同於所述第二色度權重W2。
如申請專利範圍第1至7項中任一項所述的方法，還包括：將解碼器側運動向量細化應用於所述第一色度分量和所述第二色度分量中的至少一個，其中通過使用取整到整數精度的運動向量生成所述模板來執行所述細化。
如申請專利範圍第1至7項中任一項所述的方法，還包括：將解碼器側運動向量細化應用於所述第一色度分量和所述第二色度分量中的至少一個，其中通過應用具有短階的內插濾波器來生成所述模板。
如申請專利範圍第9項所述的方法，其中所述內插濾波器包含雙線性濾波器。
如申請專利範圍第1至10項中任一項所述的方法，其中所述位元流包含關於所述第一色度分量C0和所述第二色度分量C1的參數，用於估計所述模板的成本。
如申請專利範圍第11項所述的方法，其中所述參數在序列參數集中信號通知。
如申請專利範圍第11項所述的方法，其中所述參數在圖片參數集中信號通知。
如申請專利範圍第11項所述的方法，其中所述參數在條帶標頭中信號通知。
一種視頻解碼裝置，包括被配置為實施如申請專利範圍第1至14項中的一項或多項所述的方法的處理器。
一種視頻編碼裝置，包括被配置為實施如申請專利範圍第1至14項中的一項或多項所述的方法的處理器。
一種電腦程式產品，其上儲存有電腦代碼，當所述電腦代碼由處理器運行時，使所述處理器實施如申請專利範圍第1至14項中的一項或多項所述的方法。