TW202341740A

TW202341740A - 視訊編解碼方法及其電子裝置

Info

Publication number: TW202341740A
Application number: TW112112581A
Authority: TW
Inventors: 賴貞延; 陳泓輝; 陳慶曄; 陳俊嘉; 徐志瑋; 莊子德; 黃毓文; 陳渏紋
Original assignee: 聯發科技股份有限公司
Priority date: 2022-03-31
Filing date: 2023-03-31
Publication date: 2023-10-16
Also published as: WO2023186040A1

Abstract

使用雙邊範本來執行解碼器端運動向量細化的視訊編解碼器被提供。視訊編解碼器接收像素塊的資料，該像素塊的資料將被編碼或解碼為視訊的當前圖片的當前塊。當前塊與第一運動向量和第二運動向量相關聯，該第一運動向量參考第一參考圖片中的第一初始預測子，以及該第二運動向量參考第二參考圖片中的第二初始預測子。視訊編解碼器基於第一初始預測子和第二初始預測子生成雙邊範本。視訊編解碼器細化第一運動向量以最小化雙邊範本與細化的第一運動向量參考的預測子之間的第一成本。視訊編解碼器細化第二運動向量以最小化雙邊範本與細化的第二運動向量參考的預測子之間的第二成本。

Description

雙邊範本與多遍次解碼器端運動向量細化

本公開一般涉及視訊編解碼。具體而言，本公開涉及解碼器端運動向量細化（decoder-side motin vector refinement，簡稱DMVR）。

除非本文另有說明，否則本節中描述的方法不是下面列出的申請專利範圍的習知技術，以及不被包含在本節中而被承認為習知技術。

高效視訊編解碼（High-Efficiency Video Coding，簡稱HEVC）是由視訊編解碼聯合協作組（Joint Collaborative Team on Video Coding，簡稱JCT-VC）開發的國際視訊編解碼標準。HEVC基於混合的基於塊的運動補償類DCT 變換編解碼架構。壓縮的基本單元，被稱為編解碼單元（coding unit，簡稱CU），是一個2Nx2N的方形像素塊，每個CU可以遞迴地分成四個更小的CU，直到達到預定的最小尺寸。每個CU包含一個或多個預測單元（prediction unit，簡稱PU）。

多功能視訊編解碼（Versatile video coding，簡稱VVC）是由ITU-T SG16 WP3和ISO/IEC JTC1/SC29/WG11的聯合視訊專家組（Joint Video Expert Team，簡稱JVET）制定的最新國際視訊編解碼標準。輸入視訊訊號從重構訊號預測，該重構訊號從編解碼圖片區域導出。預測殘差訊號藉由塊變換進行處理。變換係數與位元流中的其他輔助資訊一起被量化和熵編解碼。重構訊號根據預測訊號和對去量化變換係數進行逆變換後的重構殘差訊號生成。重構訊號藉由環路濾波進一步被處理，以去除編解碼偽像。解碼後的圖片存儲在幀緩衝器中，用於預測輸入視訊訊號中的未來圖片。

在VVC中，編解碼圖片被劃分為由相關聯的編解碼樹單元（coding tree unit，簡稱CTU）表示的非重疊方形塊區域。編解碼圖片可以由片段集合表示，每個片段包含整數個CTU。片段中的各個CTU以光柵掃描連續處理。幀內預測或幀間預測可以被用來對雙向預測（bi-predictive，簡稱B）片段進行解碼，其中最多有兩個運動向量和參考索引來預測每個塊的樣本值。預測（P）片段使用具有至多一個運動向量和參考索引的幀內預測或幀間預測來解碼以預測每個塊的樣本值。幀內（intra，簡稱I）片段僅使用幀內預測對進行解碼。

對於每個幀間預測CU，由運動向量、參考圖片索引和參考圖片列表使用索引組成的運動參數以及額外資訊被用於幀間預測樣本的生成。運動參數可以顯式或隱式方式發送。當CU以跳過模式進行編解碼時，CU與一個PU相關聯以及沒有顯著的殘差係數，沒有被編解碼的運動向量增量或參考圖片索引。合併模式指當前CU的運動參數是從相鄰CU獲得的,包括空間和時間候選，以及VVC中引入的額外排程。合併模式可被用於任一幀間預測的CU。合併模式的可選方案是運動參數的顯式傳輸，其中每個CU的運動向量、每個參考圖片列表的相應參考圖片索引和參考圖片列表使用標誌以及其他所需資訊被顯式地發送。

以下概述僅是說明性的並且不旨在以任何方式進行約束。即，以下概述被提供以介紹本文所述的新穎且非顯而易見的技術的概念、亮點、益處和優點。選擇而不是所有的實施方式在下面的詳細描述中被進一步描述。因此，以下概述並非旨在識別所要求保護的主題的基本特徵，也不旨在用於決定所要求保護的主題的範圍。

一些實施例提供一種使用雙邊範本來執行解碼器端運動向量細化的視訊編解碼器。視訊編解碼器接收像素塊的資料，該像素塊的資料將被編碼或解碼為視訊的當前圖片的當前塊。當前塊與第一運動向量和第二運動向量相關聯，該第一運動向量參考第一參考圖片中的第一初始預測子，以及該第二運動向量參考第二參考圖片中的第二初始預測子。第一和第二運動向量可以是雙向預測合併候選。當第一運動向量是單向預測候選時，第二運動向量可以藉由在相反方向上鏡像第一運動向量來生成。

視訊編解碼器基於第一初始預測子和第二初始預測子生成雙邊範本。視訊編解碼器細化第一運動向量以最小化雙邊範本與細化的第一運動向量參考的預測子之間的第一成本。視訊編解碼器細化第二運動向量以最小化雙邊範本與細化的第二運動向量參考的預測子之間的第二成本。視訊編解碼器藉由使用細化的第一和第二運動向量以重構當前塊來對當前塊進行編碼或解碼。

在一些實施例中，視訊編解碼器還發送或接收第一語法元素，該第一語法元素指示是藉由使用生成的雙邊範本還是藉由基於第一和第二初始預測子執行雙邊匹配來細化第一或第二運動向量。在一些實施例中，視訊編解碼器發送或接收第二語法元素，該第二語法元素用於指示細化第一運動向量或是細化第二運動向量。

視訊編解碼器可以導出雙邊範本作為第一初始預測子和第二初始預測子的權重和。在一些實施例中，分別應用於第一和第二初始預測子的權重基於第一和第二初始預測子的片段量化參數值來決定。在一些實施例中，分別應用於第一和第二初始預測值的權重基於第一和第二參考圖片與當前圖片的圖片順序計數（picture order count，簡稱POC）距離來決定。在一些實施例中，分別應用於第一和第二初始預測子的權重根據對當前塊發送的具有CU級權重（Bi-prediction with CU-level weights，簡稱BCW）索引的雙向預測來決定。

在一些實施例中，視訊編解碼器藉由使用基於第一初始預測子、第二初始預測子和當前塊的擴展區域（例如，L形上方和左側區域）生成的線性模型來細化雙邊範本。在一些實施例中，視訊編解碼器基於第一初始預測子、第二初始預測子和當前塊的擴展區域生成的線性模型細化第一和第二初始預測子，然後基於細化的第一和第二初始預測子生成雙邊範本。

在一些實施例中，視訊編解碼器在多遍次中細化第一和第二運動向量。視訊編解碼器可在第二細化遍次中進一步細化當前塊的多個子塊中的每一子塊的第一和第二運動向量。視訊編解碼器可藉由在第三細化遍次中應用雙向光流（bi-directional optical flow，簡稱BDOF）來進一步細化第一和第二運動向量。在一些實施例中，在第二細化遍次中，第一和第二運動向量（即，雙邊匹配）藉由最小化細化的第一運動向量參考的預測子與細化的第二運動向量參考的預測子之間的成本來細化。在一些實施例中，當雙邊範本用於細化第一和第二運動向量時，第二和第三細化遍次被禁用。

在以下詳細描述中，藉由示例的方式闡述了許多具體細節，以便提供對相關教導的透徹理解。基於本文描述的教導的任何變化、衍生和/或擴展都在本公開的保護範圍內。在一些情況下，與在此公開的一個或多個示例實施方式有關的眾所周知的方法、處理、組件和/或電路可以在相對較高的水平上進行描述而沒有細節，以避免不必要地模糊本公開的教導的方面。 Ⅰ 、雙邊範本

對於一些實施例，雙邊範本（或雙範本）被生成為兩個參考塊（或預測子）的加權組合，這兩個參考塊分別由列表0（或L0）的初始MV0和列表1的MV1（或L1）參考。第1圖概念性地示出基於雙邊範本的解碼器端運動向量細化（decoder side motion vector refinement，簡稱DMVR）操作。該圖分兩步說明了當前塊100的基於雙邊範本的DMVR操作：

步驟1，視訊編解碼器基於初始參考塊120和121生成雙邊範本105，初始參考塊120和121分別由參考圖片110和111中的初始雙向預測運動向量MV0和MV1參考。雙邊範本105可以是初始參考塊120和121的加權組合。

步驟2，視訊編解碼器基於生成的雙邊範本105進行範本匹配以細化MV0和MV1。具體地，視訊編解碼器在參考圖片110中的參考塊120周圍搜索雙邊範本105的更好匹配，以及還在參考圖片111中的參考塊121周圍搜索雙邊範本105的更好匹配。該搜索識別更新的參考塊130（由細化的MV0'引用）和更新的參考塊131（由細化的MV1'引用）。

基於雙邊範本的範本匹配操作包括計算生成的雙邊範本105與參考圖片中初始參考塊120和121周圍的樣本區域之間的成本度量。對於兩個參考圖片110和111中的每一個，產生最小範本成本的MV被認為是該列表的更新的（細化的）MV以替換初始MV。最後，兩個細化的MV，即MV0'和MV1'，用於常規雙向預測以代替初始MV，即MV0和MV1。由於它通常用於塊匹配運動估計，因此絕對差和（sum of absolute differences, 簡稱SAD）被用作成本度量。

在一些實施例中，DMVR被應用於雙預測的合併模式，其中一個合併候選來自過去的參考圖片（L0），另一個合併候選來自未來的參考圖片（L1），而不需要傳輸額外的語法元素。 Ⅱ 、多遍次 DMVR

在一些實施例中，如果所選擇的合併候選滿足DMVR條件，則在常規合併模式中多遍次解碼器端運動向量細化（MP-DMVR）方法被應用。在第一遍次中，雙邊匹配（BM）被應用於編解碼塊。在第二遍次中，BM應用於編解碼塊內的每個16x16子塊。在第三遍次中，每個8x8子塊中的MV藉由應用雙向光流（bi-directional optical flow，簡稱BDOF）進行細化。在運動向量差值MVD0（即MV0'-MV0）恰好與運動向量差值MVD1（即 MV1'-MV1）的符號相反的約束下，BM細化運動向量對MV0和MV1。

第2圖概念性地示出藉由雙邊匹配（BM）對預測候選（例如，合併候選）的細化。MV0是初始運動向量或預測候選，MV1是MV0的鏡像。MV0引用參考圖片210中的初始參考塊220。MV1引用參考圖片211中的初始參考塊221。該圖顯示MV0和MV1被細化以形成MV0'和MV1'，它們分別引用更新的參考塊230和231。細化根據雙邊匹配進行，使得細化後的運動向量對MV0'和MV1'比初始運動向量對MV0和MV1具有更好的雙邊匹配成本。MV0'-MV0（即 MVD0）和 MV1'-MV1（即 MVD1）被約束為大小相等但方向相反。在一些實施例中，一對鏡像運動向量（例如，MV0和MV1）的雙邊匹配成本基於鏡像運動向量所引用的兩個參考塊之間的差值（例如，參考塊210和211之間的差值）來計算。 Ⅲ 、適應性 MP-DMVR

適應性解碼器端運動向量細化（Adaptive DMVR）方法在雙向預測的兩個方向（L0和L1）中僅其中一個方向上細化MV，以用於滿足DMVR條件的合併候選。具體地，對於第一單向雙邊DMVR模式，L0 MV被修改或細化，而L1 MV是固定的（因此MVD1為零）；對於第二個單向DMVR，L1 MV被修改或細化，而L0 MV是固定的（因此MVD0為零）。

適應性多遍次DMVR處理被應用於選定的合併候選以細化運動向量，其中MVD0或MVD1在MP-DMVR的第一遍次中為零（即，編解碼塊或PU級DMVR。）

第3A-B圖概念性地示出適應性DMVR下的細化雙向預測MV。這些圖示出當前塊300，其在L0和L1方向（MV0和MV1）上具有初始雙向預測MV。 MV0參考初始參考塊320以及MV1參考初始參考塊321。在適應性DMVR下，MV0和MV1基於最小化成本來分別進行細化，該成本基於由MV0和MV1參考的參考塊之間的差值來計算。

第3A圖示出第一單向雙邊DMVR模式，其中只有L0 MV被細化而L1 MV是固定的。如圖所示，MV1保持固定以引用參考塊321，而MV0被細化/更新為MV0'以引用更新的參考塊330，該更新的參考塊330是固定的L1參考塊321的更好雙邊匹配。第3B圖示出第二單向雙邊DMVR模式，其中只有L1 MV被細化而L0 MV是固定的。如圖所示，MV0保持固定以引用參考塊320，而MV1被細化/更新為MV1'以引用更新的參考塊331，這是固定的L0參考塊320的更好雙邊匹配。

與常規合併模式DMVR類似，兩種單向雙邊DMVR模式的合併候選從空間相鄰編解碼塊、TMVP、非相鄰塊、HMVP和成對候選導出。不同的是，只有滿足DMVR條件的合併候選才會被添加到候選列表中。兩種單向雙邊DMVR模式使用相同的合併候選列表，其對應的合併索引編解碼為與常規合併模式相同。有兩個語法元素指示適應性MP-DMVR模式：bmMergeFlag和bmDirFlag。語法元素bmMergeFlag用於指示這種類型預測的開關（僅在一個方向上細化MV，或適應性MP-DMVR）。當bmMergeFlag打開時，語法元素bmDirFlag用於指示細化的MV方向。例如，當bmDirFlag等於0時，細化後的MV來自列表0；當bmDirFlag等於1時，細化後的MV來自列表1。如下語法表所示：

bm_merge_flag

if (bm_merge_flag)

bm_dir_flag

在解碼bm_merge_flag和bm_dir_flag之後，變數bmDir可被決定。例如，如果bm_merge_flag等於1，bm_dir_flag等於0，bmDir將被設置為1以指示適應性MP-DMVR只細化列表0中的MV（或MV0）。又例如，如果bm_merge_flag等於1，bm_dir_flag等於1，bmDir將被設置為2以指示適應性MP-DMVR僅細化列表1中的MV（或MV1）。 Ⅳ 、帶有 MP-DMVR 的雙邊範本

本公開的一些實施例提供了一種將雙邊範本成本與MP-DMVR一起使用的方法。視訊編解碼器生成上面部分 Ⅰ中描述的雙邊範本。然後生成的雙邊範本被用來以類似於上面部分 Ⅲ中描述的適應性DMVR的方式計算成本（在固定L1 MV的同時細化L0 MV，或細化L1 MV同時固定L0 MV。）在細化L0 MV時，成本根據L0預測子和雙邊範本之間的差值來計算。在細化L1 MV時，成本根據L1預測子和雙邊範本之間的差值來計算。對於兩個參考列表中的每一個，產生最小範本成本的MV被視為該列表的更新的MV以替換原始列表。L0和L1 MV的細化相互獨立。

第4A-C圖概念性地示出在對當前塊400執行MP-DMVR時使用雙邊範本來決定成本。當前塊具有一對初始MV（MV0和MV1）用於將由MP-DMVR細化的雙向預測。對於每個MV（無論是MV0還是MV1），視訊編解碼器根據生成的雙邊範本與參考圖片中初始參考塊周圍的樣本區域之間的差值來計算範本成本。

第4A圖示出視訊解碼器產生雙邊範本405作為MV0和MV1所指的兩個（初始）參考塊420和421的加權組合。參考塊420是來自L0參考圖片410的預測子以及參考塊421是來自L1參考圖片411的預測子。

第4B圖示出基於雙邊範本405將MV0細化為MV0'。生成的雙邊範本405和樣本區域（在初始MV0的初始參考塊420周圍搜索更新的L0預測子430和MV0'）用於計算範本成本。生成的雙邊範本405被視為來自列表1的範本（即，範本405用於代替初始L1預測子421）。

第4C圖示出基於雙邊範本405將MV1細化為MV1'。生成的雙邊範本405和樣本區域（在初始MV1的初始參考塊421周圍搜索更新的L1預測子431和MV1'）用於計算範本成本。生成的雙邊範本405被視為來自列表0的範本（即，範本405用於代替初始L0預測子420）。視訊編解碼器可以執行進一步的MP-DMVR遍次以優化MV0'和MV1'。然後，兩個最終細化的MV（MV0'和MV1'）用於當前塊400的常規雙向預測和編解碼。

A. 顯式發送

在一些實施例中，具有MP-DMVR的雙邊範本被用作具有額外標誌發送的適應性MP-DMVR模式。在一些實施例中，雙邊範本可以作為一種額外模式與適應性MP-DMVR結合使用。額外標誌bm_bi_template_flag可以被發送以指示該模式的啟用或禁用。如下表所示：

bm_merge_flag

if (bm_merge_flag)

bm_bi_template_flag

if (bm_bi_template_flag == false)

bm_dir_flag

在一些其他實施例中，語法元素bm_mode_index被使用。具體地，bm_mode_index等於0或1表示單向BDMVR模式（例如0表示L0方向為單向BDMVR模式，1表示L1方向為單向BDMVR模式），bm_mode_index等於2表示雙邊範本DMVR。

bm_merge_flag

if (bm_merge_flag)

bm_mode_index

在一些實施例中，在適應性MP-DMVR中，當bmDir等於1時，MV細化僅應用於列表0；當bmDir等於2時，MV細化僅應用於列表1（例如，bm_dir_flag為1）；當bmDir等於3時，雙邊範本用於優化列表0和列表1中的MV。例如，當bmDir等於3（例如，bm_bi_template_flag為1）時，雙邊範本用於在MP-DMVR的第1遍次中細化列表0和列表1中的MV。（在遍次2和遍次3中，子塊雙邊匹配和BDOF演算法分別被用來推導運動細化。）在一些實施例中，當bmDir等於3時，雙邊範本用於在MP-DMVR的第2遍次中細化L0和L1中的MV。在第2遍次中，基於子塊的雙邊範本被執行，以便對每個子塊生成雙邊範本。（在第1遍次和第3遍次中，雙邊匹配和BDOF演算法分別被用來推導運動細化）。在一些實施例中，當bmDir等於3時，雙邊範本用於在MP-DMVR的第1遍次和第2遍次中細化列表0和列表1中的MV。（在第3遍次中，BDOF演算法被用來推導運動細化。）

在一些實施例中，如果在MP-DMVR中使用雙邊範本，則一遍次或多遍次MP-DMVR可被跳過。例如，如果在第1遍次中應用雙邊範本，則第2遍次的基於子塊的雙邊匹配可以被跳過。又例如，如果在第1遍次中應用雙邊範本，則第2遍次的基於子塊的雙邊匹配和第3遍次的BDOF相關的細化推導可以被跳過。再例如，如果在第2遍次中應用雙邊範本，則第1遍次的基於塊的雙邊匹配可以被跳過。

B. MP-DMVR 的隱式發送

在一些實施例中，具有MP-DMVR的雙邊範本被用作一種適應性MP-DMVR模式而無需額外的標誌發送。如下語法表所示：

bm_merge_flag

if (bm_merge_flag)

bm_dir_flag

在解碼bm_merge_flag和bm_dir_flag之後，變數bmDir可以被決定。例如，如果bm_merge_flag等於1且bm_dir_flag等於0，則bmDir將被設置為1，bmDir用於指示適應性MP-DMVR僅在列表0或僅在列表1中細化MV。又例如，如果bm_merge_flag等於1且bm_dir_flag等於1，則bmDir將被設置為2，表示雙邊範本被用來對列表0和列表1中的MV進行細化。當bmDir等於1時，MV優化將應用於列表0或列表1。

在一些實施例中，是否對列表0或列表l執行MV細化是基於基於塊的雙邊匹配（原始第1遍次MP-DMVR）的成本，或基於子塊的雙邊匹配的成本，或L-相鄰範本匹配的成本，或者其他一些統計分析結果。例如，當前塊與列表0中初始MV0和列表1中初始MV1的範本之間的強度差值可被用來決定是對列表0還是對列表1進行MV細化。提供具有較小成本的範本的列表（列表0或列表1）被選擇，以便細化所選列表中的MV。其他方向/列表的MV未被細化。此選擇可能僅適用於第1遍次的MP-DMVR；或適用於第1遍次和第2遍次的MP-DMVR；或適用於整個MP-DMVR處理。在一些實施例中，如果在MP-DMVR中使用雙邊範本（例如，bmDir等於2），則MP-DMVR的一個遍次或多個遍次可以被跳過。

C. 專用合併候選列表

在一些實施例中，具有MP-DMVR的雙邊範本（作為一種適應性MP-DMVR模式）在具有/不具有額外標誌信令的情況下被使用。具體地，專用的合併候選列表被導出。此專用合併候選列表中的每個合併候選都可以使用MP-DMVR、適應性MP-DMVR或雙邊範本進行細化。上面部分 Ⅳ.A和部分 Ⅳ.B中描述的雙邊範本的發送方法可以被應用於專用合併候選列表的每個候選，具有或不具有額外的標誌信令。

D. 單向預測候選的雙邊範本

在一些實施例中，雙邊範本被用來細化單向預測候選。具體地，導出雙邊範本所需的MV可以藉由MV鏡像來推導。例如，如果一個單向預測候選的方向是從列表0（初始MV0）開始，則列表1中的MV1可以藉由鏡像（mirror MV）導出。應用MV鏡像後，單向預測候選的MV可以進一步被細化。細化包括應用MP-DMVR或應用雙邊範本MP-DMVR。雙邊範本可以由列表0的初始MV0和列表1的鏡像MV1生成。生成的雙邊範本和樣本區域（列表0的初始MV0的初始參考塊周圍）用於計算雙邊範本的成本。產生最小範本成本的MV被認為是列表0的更新MV以替換原始MV。同樣的機制也可以應用於列表1。

E. 使用導出的模型來細化範本

雙邊範本被生成為來自列表0的初始MV0和列表1的初始MV1的兩個參考塊的加權組合。在一些實施例中，生成的雙邊範本可以藉由線性模型進一步細化，該線性模型基於雙邊範本和當前塊的擴展區域導出。用於細化雙邊範本的線性模型以從L0和L1參考塊的運動補償區域擴展的區域為基礎。在一些實施例中，擴展區域（例如，L形）可以包括L0/L1參考塊的上方i行和左側j行（i和j可以是大於或等於0的任一值；i和j可以是相等或不相等。）

然後擴展的雙邊範本基於L0的擴展參考塊和L1的擴展參考塊的加權和生成。雙邊範本的擴展區域（例如L形區域）中的樣本和當前重構塊的相應相鄰重構樣本被用來導出線性模型。不具有擴展區域的雙邊範本由線性模型進一步細化。細化後的雙邊範本可用於任一使用上述DMVR方法的雙邊範本。

第5圖示出基於線性模型細化雙邊範本，該線性模型基於當前塊和雙邊範本的擴展區域導出。如圖所示，當前塊500具有初始L0參考塊520（由MV0參考）和初始L1參考塊521（由MV1參考）。L0參考塊520具有擴展區域A和B。當前塊500具有擴展區域C和D。L1參考塊521具有擴展區域E和F。視訊編解碼器藉由加權和從擴展的L0參考塊（具有A和B的參考塊520）和擴展的L1參考塊（具有E和F的參考塊521）生成擴展的雙邊範本550。擴展的雙邊範本550包括具有擴展區域H和G的雙邊範本505。基於當前塊的擴展區域（C和D）和雙邊範本的擴展區域（H+G）生成線性模型560。然後可以應用線性模型560將雙邊範本505（沒有其擴展區域）細化為細化的雙邊範本506，以供使用上述DMVR方法的任一雙邊範本使用。

在一些實施例中，L0參考（預測）塊的擴展區域（例如左上方的L形區域）中的樣本和當前塊的相應相鄰樣本用於導出L0線性模型（P模型）。L1參考塊的擴展區域（例如L形區域）中的樣本和當前塊的相應相鄰樣本用於導出L1線性模型（Q模型）。P模型用於細化L0參考塊以生成細化的refL0Blk，Q模型用於細化L1參考塊以生成細化的refL1Blk。雙邊範本藉由對細化的refL0Blk和細化的refL1Blk的總和進行加權來生成。雙邊範本可以用於使用上述DMVR方法的任一雙邊範本。

第6圖概念性地示出基於參考塊生成雙邊範本，該參考塊由線性模型細化。如圖所示，L0參考塊520的擴展區域A和B以及當前塊500的擴展區域C和D用於導出P模型。L1參考塊521的擴展區域E和F以及當前塊500的擴展區域C和D用於導出Q模型。P模型被用來將參考塊520細化為細化的L0參考塊620（refL0Blk）。Q模型被用來將參考塊521細化為細化的L1參考塊621（refL1Blk）。雙邊範本605由細化的L0參考塊620和細化的L1參考塊621的加權和生成。雙邊範本605可以用於使用上述DMVR方法的任一雙邊範本。

在一些實施例中，雙邊範本由L0的參考塊和L1的參考塊的加權和生成。P模型用於細化雙邊範本以生成bilTemplateP（L0雙邊範本），Q模型用於細化雙邊範本以獨立生成bilTemplateQ（L1雙邊範本）。生成的bilTemplateP和 bilTemplateQ可用於上述任一雙邊範本方法，以分別用於細化參考列表0的MV和參考列表1的MV。

第7圖概念性地示出使用L0和L1線性模型（P-模型和Q-模型）將雙邊範本細化為L0雙邊範本和L1雙邊範本。如圖所示，初始L0參考塊520（由MV0參考）和初始L1參考塊521（由MV1參考）用於創建雙邊範本505。L0參考塊520的擴展區域A和B以及當前塊500的擴展區域C和D用於導出P模型。L1參考塊521的擴展區域E和F以及當前塊500的擴展區域C和D用於導出Q模型。P模型被應用於雙邊範本505以創建L0雙邊範本（bilTemplateP）710，以及Q模型被應用於雙邊範本505以創建L1雙邊範本（bilTemplateQ）711。生成的L0雙邊範本710以及生成的L1雙邊範本711可用於上述任一雙邊範本方法，以分別細化參考列表0的MV和參考列表1的MV。

上述線性模型可以以不同方式生成/導出。例如，在一些實施例中，線性模型的參數可以基於參考樣本和當前重構樣本之間的相關性來導出。在一些實施例中，用於導出上方i行和左側j行中的線性模型的樣本可以藉由子採樣獲得。在一些實施例中，用於導出線性模型的樣本數量被限制為2的冪值。在一些實施例中，用於導出線性模型的樣本被限制在與當前塊相同的CTU或相同的 CTU行中。在一些實施例中，如果用於導出線性模型的樣本數量不大於預定的閾值，則範本細化將不被執行。預定閾值（例如，如果當前塊大小為32x32，則閾值為128；如果當前塊大小為64x128，則閾值為1024）可以根據當前塊大小設計。在一些實施例中，如果當前塊大小大於閾值，則範本細化將不被執行。

F. 不同的權重對（ Different Weighting Pairs ）

在一些實施例中，雙邊範本塊基於L0預測子（由w0加權）和L1預測子（由wl加權）的加權和（weighted sum）生成，如下所示：或

在一些實施例中，權重w0和w1是基於L0和L1預測子的片段量化參數（quantization parameter，簡稱QP）值來決定。如果L0的sliceQP小於L1的sliceQP，則w0應大於w1；否則，w1應大於w0。

在一些實施例中，雙範本塊生成的公式可以基於L0預測子（或L0參考圖片）與當前圖片之間的圖片順序計數（picture order count，簡稱POC）距離，以及L1預測子（或L1參考圖片）和當前圖片之間的POC距離來設計。POC距離增量（差值）較小的方向或側面應使用較大的權重。在一些實施例中，雙範本塊生成的權重對可以基於待細化合併候選的BCW（具有CU級權重的雙向預測）索引來設計。

在一些實施例中，一個以上的條件被用來決定MP-DMVR的雙範本塊的權重對。例如，如果L0的POC增量小於L1的POC增量以及L0的sliceQP小於L1的sliceQP，則w0被設置為10（或M），w1被設置為-2。並且如果L0的POC增量小於L1的POC增量或者L0的sliceQP小於L1的sliceQP，則w0被設置為5（或N），w1被設置為3（M＞N）。

在一些實施例中，雙範本生成的加權對可以基於L0和L1的範本匹配（template matching，簡稱TM）成本來決定。L0/L1參考塊上方的相鄰M行和L0/L1參考塊左側的相鄰N行用於計算L0/L1的TM成本。M和N的值可以是任一大於0的整數。TM成本越小的列表可以有更大的權重。

在一些實施例中，權重可以基於兩個列表（L0和L1）的亮度補償（luminous compensation，簡稱LIC）參數來決定。當前塊和/或補償塊的相鄰樣本可用於導出LIC參數。在一個實施例中，上述方法可以被組合。權重可以根據上述的一個或多個條件來決定。

在一些實施例中，加權對的總和被限制為2的冪值。有了這個約束，MP-DMVR的雙範本塊的值可以藉由簡單的右移得到。在一些實施例中，MP-DMVR的雙範本的加權對應該是BCW（具有CU級權重的雙預測）加權對的子集。

前述提出的任一方法都可以在編碼器和/或解碼器中實現。例如，提出的任一方法都可以在編碼器和/或解碼器的DMVR模組中實現。或者，提出的任一方法都可以實現為耦合到編碼器和/或解碼器的DMVR模組的電路。 Ⅴ 、 示例視訊編碼器

第8圖示出可使用DMVR模式來編碼像素塊的示例視訊編碼器800。如圖所示，視訊編碼器800從視訊源805接收輸入視訊訊號以及將訊號編碼成位元流895。視訊編碼器800具有用於對來自視訊源805的訊號進行編碼的若干組件或模組，至少包括選自以下的一些組件：變換模組810、量化模組811、逆量化模組814、逆變換模組815、幀內估計模組820、幀內預測模組825、運動補償模組830、運動估計模組835、環路濾波器845、重構圖片緩衝器850、MV緩衝器865、MV預測模組875和熵編碼器890。運動補償模組830和運動估計模組835是幀間預測模組840的一部分。

在一些實施例中，模組810-890是由計算設備或電子裝置的一個或多個處理單元（例如，處理器）執行的軟體指令模組。在一些實施例中，模組810-890是由電子裝置的一個或多個積體電路（integrated circuit，簡稱IC）實現的硬體電路模組。儘管模組810-890被示為單獨的模組，但一些模組可以組合成單個模組。

視訊源805提供原始視訊訊號，其呈現每個視訊幀的像素資料而不進行壓縮。減法器808計算視訊源805的原始視訊像素資料與來自運動補償模組830或幀內預測模組825的預測像素資料813之間的差值。變換模組810將差值（或殘差像素資料或殘差訊號）轉換成變換係數（例如，藉由執行離散余弦變換或DCT）。量化模組811將變換係數量化成量化資料（或量化係數）812，其由熵編碼器890編碼成位元流895。

逆量化模組814對量化資料（或量化係數）812進行去量化以獲得變換係數，以及逆變換模組815對變換係數執行逆變換以產生重構殘差819。重構殘差819與預測像素資料813相加一起產生重構的像素資料817。在一些實施例中，重構的像素資料817被臨時存儲在行緩衝器（line buffer未示出）中用於幀內預測和空間MV預測。重構像素由環路濾波器848濾波並被存儲在重構圖片緩衝器550中。在一些實施例中，重構圖片緩衝器850是視訊編碼器800外部的記憶體。在一些實施例中，重構圖片緩衝器850是視訊編碼器800內部的記憶體。

幀內估計模組820基於重構的像素資料817執行幀內預測以產生幀內預測資料。幀內預測資料被提供至熵編碼器890以被編碼成位元流895。幀內預測資料還被幀內預測模組825用來產生預測像素資料813。

運動估計模組835藉由產生MV以參考存儲在重構圖片緩衝器850中的先前解碼幀的像素資料來執行幀間預測。這些MV被提供至運動補償模組830以產生預測像素資料。

視訊編碼器800不是對位元流中的完整實際MV進行編碼，而是使用MV預測來生成預測的MV，以及用於運動補償的MV與預測的MV之間的差值被編碼為殘差運動資料並存儲在位元流895。

基於為編碼先前視訊幀而生成的參考MV，即用於執行運動補償的運動補償MV，MV預測模組875生成預測的MV。MV預測模組875從MV緩衝器865中獲取來自先前視訊幀的參考MV。視訊編碼器800將對當前視訊幀生成的MV存儲在MV緩衝器865中作為用於生成預測MV的參考MV。

MV預測模組875使用參考MV來創建預測的MV。預測的MV可以藉由空間MV預測或時間MV預測來計算。預測的MV和當前幀的運動補償MV（MC MV）之間的差值（殘差運動資料）由熵編碼器890編碼到位元流895中。

熵編碼器890藉由使用諸如上下文適應性二進位算術編解碼（context-adaptive binary arithmetic coding，簡稱CABAC）或霍夫曼編碼的熵編解碼技術將各種參數和資料編碼到位元流895中。熵編碼器890將各種報頭元素、標誌連同量化的變換係數812和作為語法元素的殘差運動資料編碼到位元流895中。位元流895繼而被存儲在存放裝置中或藉由比如網路等通訊媒介傳輸到解碼器。

環路濾波器845對重構的像素資料817執行濾波或平滑操作以減少編解碼的偽影，特別是在像素塊的邊界處。在一些實施例中，所執行的濾波操作包括樣本適應性偏移（sample adaptive offset，簡稱SAO）。在一些實施例中，濾波操作包括適應性環路濾波器（adaptive loop filter，簡稱ALF）。

第9圖示出實現雙邊範本MP-DMVR的視訊編碼器800的部分。具體而言，該圖說明視訊編碼器800的運動補償模組830的組件。如圖所示，運動補償模組830接收由運動估計模組835提供的運動補償MV（MC MV）。

MP-DMVR模組910藉由使用MC MV作為L0和/或L1方向上的初始或原始MV來執行MP-DMVR處理。MP-DMVR模組910在一遍次或多遍次細化處理中將初始MV細化為最終細化的MV。然後獲取控制器920使用最終細化的MV，以基於重構圖片緩衝器850的內容生成預測像素資料813。

MP-DMVR模組910獲取重構圖片緩衝器850的內容。從重構圖片緩衝器850獲取的內容包括當前細化的MV（可以是初始MV，或任一後續更新）。獲取到的內容還可以包括當前塊和初始預測子的擴展區域。MP-DMVR模組910可以使用獲取到的內容來計算雙邊範本915和一個或多個線性模型925。

MP-DMVR模組910可以使用獲取到的預測子和計算出的雙邊範本來計算用於細化運動向量的成本，如上文部分 I-IV中所述。MP-DMVR還可以使用獲取到的預測子在一些細化遍次中執行雙邊匹配（bilateral matching，簡稱BM）。MP-DMVR模組910還可以使用擴展區域來計算線性模型925，然後使用計算出的線性模型來細化雙邊範本915或預測子，如上文例如部分 IV-E中所述。

DMVR控制模組930可以決定MP-DMVR模組910應該在哪種模式下運行，以及將這種模式資訊提供給熵編碼器890以編碼為位元流895的片段或圖片或序列級別中的語法元素（例如，bm_merge_flag、bm_bi_template_flag、bm_dir_flag、bm_mode_index）。

第10圖概念性地示出用於將雙邊範本與MP-DMVR一起使用的處理1000。在一些實施例中，實現編碼器800的計算設備的一個或多個處理單元（例如，處理器）藉由執行存儲在電腦可讀介質中的指令來執行處理1000。在一些實施例中，實現編碼器800的電子設備執行處理1000。

編碼器接收（在塊1010）像素塊的資料，該像素塊的資料將被編碼為視訊的當前圖片中的當前塊。當前塊與第一運動向量和第二運動向量相關聯，該第一運動向量參考第一參考圖片中的第一初始預測子，以及該第二運動向量參考第二參考圖片中的第二初始預測子。第一和第二運動向量可以是雙向預測合併候選。當第一運動向量是單向預測候選時，第二運動向量可以藉由在相反方向上鏡像第一運動向量來生成。

在一些實施例中，視訊編碼器還發送第一語法元素（例如，bm_bi_template_flag），其指示是藉由使用基於第一和第二初始預測子生成的雙邊範本還是基於第一或第二初始預測子執行雙邊匹配來細化第一或第二運動向量。在一些實施例中，視訊編碼器發送第二語法元素（例如，bm_dir_flag、bm_index），其指示是細化第一運動向量還是細化第二運動向量。

編碼器基於第一初始預測子和第二初始預測子生成（在塊1020處）雙邊範本。編碼器可以導出雙邊範本作為第一初始預測子和第二初始預測子的加權和。在一些實施例中，分別應用於第一和第二初始預測子的權重基於第一和第二初始預測子的片段量化參數值來決定。在一些實施例中，分別應用於第一和第二初始預測子的權重基於第一和第二參考圖片與當前圖片的圖片順序計數（picture order count，簡稱POC）距離來決定。在一些實施例中，分別應用於第一和第二初始預測子的權重根據對當前塊發送的具有CU級權重（Bi-prediction with CU-level weights，簡稱BCW）索引的雙向預測來決定。

在一些實施例中，視訊編碼器藉由使用線性模型來細化雙邊範本，該線性模型基於第一初始預測子，第二初始預測子和當前塊的擴展區域（例如，L形上方和左側區域）生成。在一些實施例中，視訊編碼器基於線性模型來細化第一和第二初始預測子，該線性模型基於第一初始預測子，第二初始預測子和當前塊的擴展區域生成，然後基於細化的第一和第二初始預測子生成雙邊範本。DMVR的線性模型的推導和使用在例如上面的部分 IV-E中進行了描述。

編碼器細化（在塊1030處）第一運動向量以最小化雙邊範本與細化的第一運動向量所參考的預測子之間的第一成本。編碼器細化（在塊1040處）第二運動向量以最小化雙邊範本與細化的第二運動向量所參考的預測子之間的第二成本。

在一些實施例中，視訊編碼器執行塊1030和1040處的操作以細化第一和第二運動向量（也稱為第一細化遍次）。視訊編碼器可以在第二細化遍次中進一步細化當前塊的多個子塊中的每個子塊的第一和第二運動向量。視訊編碼器可以藉由在第三細化遍次中應用雙向光流（bi-directional optical flow，簡稱BDOF）來進一步細化第一和第二運動向量。在一些實施例中，在第二細化遍次中，藉由最小化細化的第一運動向量所參考的預測子和細化的第二運動向量參考的預測子之間的成本來細化第一和第二運動向量（即，雙邊匹配）。在一些實施例中，當雙邊範本用於細化第一和第二運動向量時，第二和第三細化遍次被禁用。

編碼器藉由使用細化的第一和第二運動向量以產生預測殘差以及重構當前塊來編碼（在塊1050）當前塊。 Ⅵ 、示例視訊解碼器

在一些實施例中，編碼器可以發送（或生成）位元流中的一個或多個語法元素，使得解碼器可以從位元流中解析所述一個或多個語法元素。

第11圖示出可使用DMVR模式的示例視訊解碼器800。如圖所示，視訊解碼器800是圖像解碼或視訊解碼電路，該圖像解碼或視訊解碼電路接收位元流1195以及將位元流的內容解碼為視訊幀的像素資料以供顯示。視訊解碼器1100具有用於解碼位元流1195的若干組件或模組，包括選自以下的一些組件：逆量化模組1111、逆變換模組1110、幀內預測模組1125、運動補償模組1130、環路濾波器的1145、解碼圖片緩衝器1150、MV緩衝器1165、MV預測模組1175和解析器1190。運動補償模組1130是幀間預測模組1140的一部分。

在一些實施例中，模組1110-1190是由計算設備的一個或多個處理單元（例如，處理器）執行的軟體指令模組。在一些實施例中，模組1110-1190是由電子設備的一個或多個IC實現的硬體電路模組。儘管模組1110-1190被示為單獨的模組，但一些模組可以組合成單個模組。

解析器1190（或熵解碼器）接收位元流1195以及根據由視訊編碼或圖像編碼標準定義的語法執行初始解析。解析的語法元素包括各種報頭元素、標誌以及量化資料（或量化係數）1112。解析器1190藉由使用熵編解碼技術（例如上下文適應性二進位算術編解碼（context-adaptive binary arithmetic coding，簡稱ABAC）或霍夫曼編碼（Huffman encoding）解析出各種語法元素。

逆量化模組1111對量化資料（或量化係數）1112進行去量化以獲得變換係數，以及逆變換模組1110對變換係數1116進行逆變換以產生重構殘差訊號1119。重構殘差訊號1119與來自幀內預測模組1125或運動補償模組1130的預測像素資料1113相加以產生解碼像素資料1117。解碼像素資料由環路濾波器1145濾波以及存儲在解碼圖片緩衝器1150中。在一些實施例中，解碼圖片緩衝器1150是視訊解碼器1100外部的記憶體。在一些實施例中，解碼圖片緩衝器1150是視訊解碼器1100內部的記憶體。

幀內預測模組1125從位元流1195接收幀內預測資料，以及據此，從存儲在解碼圖片緩衝器1150中的解碼像素資料1117產生預測像素資料1113。在一些實施例中，解碼像素資料1117也被存儲在行緩衝器（未示出）中，用於幀內預測和空間MV預測。

在一些實施例中，解碼圖片緩衝器1150的內容用於顯示。顯示裝置1155或者獲取解碼圖像緩衝器1150的內容以直接顯示，或者獲取解碼圖像緩衝器的內容到顯示緩衝器。在一些實施例中，顯示裝置藉由像素傳輸從解碼圖片緩衝器1150接收像素值。

運動補償模組1130根據運動補償MV（MC MV）從解碼圖片緩衝器1150中存儲的解碼像素資料1117產生預測像素資料1113。藉由將從位元流1195接收的殘差運動資料與從MV預測模組1175接收的預測MV相加，這些運動補償MV被解碼。

MV預測模組1175基於為解碼先前視訊幀而生成的參考MV（例如，用於執行運動補償的運動補償MV）生成預測的MV。MV預測模組1175從MV緩衝器1165中獲取先前視訊幀的參考MV。視訊解碼器1100將用於解碼當前視訊幀而生成的運動補償MV存儲在MV緩衝器1165中作為用於產生預測MV的參考MV。

環路濾波器1145對解碼的像素資料1117執行濾波或平滑操作以減少編解碼的偽影，特別是在像素塊的邊界處。在一些實施例中，所執行的濾波操作包括樣本適應性偏移（sample adaptive offset，簡稱SAO）。在一些實施例中，濾波操作包括適應性環路濾波器（adaptive loop filter，簡稱ALF）。

第12圖示出實施雙邊範本MP-DMVR的視訊解碼器1100的部分。具體地，該圖示出視訊解碼器1100的運動補償模組1130的組件。如圖所示，運動補償模組1130從熵解碼器1190或MV緩衝器1165接收運動補償MV（MC MV）。

MP-DMVR模組1210藉由使用MC MV作為L0和/或L1方向上的初始或原始MV來執行MP-DMVR處理。MP-DMVR模組1210在一遍次或多遍次細化處理中將初始MV細化為最終細化的MV。然後獲取控制器1220使用最終細化的MV，以基於解碼圖片緩衝器1150的內容生成預測像素資料 1113。

MP-DMVR模組1210獲取解碼圖片緩衝器1150的內容。從解碼圖片緩衝器1150獲取的內容包括當前細化的MV（可以是初始MV，或任一後續更新）。獲取到的內容還可以包括當前塊和初始預測子的擴展區域。MP-DMVR模組1210可以使用獲取到的內容來計算雙邊範本1215和一個或多個線性模型1225。

MP-DMVR模組1210可以使用獲取到的預測子和計算出的雙邊範本來計算用於細化運動向量的成本，如上文部分 I-IV中所述。MP-DMVR還可以使用獲取到的預測子在一些細化遍次中執行雙邊匹配（bilateral matching，簡稱BM）。MP-DMVR模組1210還可以使用擴展區域來計算線性模型1225，然後使用計算出的線性模型來細化雙邊範本1215或預測子，如上文例如部分 IV-E中所述。

DMVR控制模組1230可以決定MP-DMVR模組1210應該在哪種模式下運行。DMVR控制模組1230可以基於熵解碼器1190提供的資訊來決定該模式，熵解碼器1190可以解析片段或圖片或序列級別中的位元流1195以獲取相關語法元素（例如，bm_merge_flag、bm_bi_template_flag、bm_dir_flag、bm_mode_index。）

第13圖概念性地示出用於將雙邊範本與MP-DMVR一起使用的處理1300。在一些實施例中，實現解碼器1100的計算設備的一個或多個處理單元（例如，處理器）藉由執行存儲在電腦可讀介質中的指令來執行處理1300。在一些實施例中，實現解碼器1100的電子裝置執行處理1300。

解碼器接收（在塊1310）資料，該資料將被解碼為視訊的當前圖片中的像素的當前塊。當前塊與第一運動向量和第二運動向量相關聯，該第一運動向量參考第一參考圖片中的第一初始預測子，以及該第二運動向量參考第二參考圖片中的第二初始預測子。第一和第二運動向量可以是雙向預測合併候選。當第一運動向量是單向預測候選時，第二運動向量可以藉由在相反方向上鏡像第一運動向量來生成。

在一些實施例中，視訊解碼器還接收第一語法元素（例如，bm_bi_template_flag），其指示是藉由使用基於第一和第二初始預測子生成的雙邊範本還是藉由基於第一或第二初始預測子執行雙邊匹配來細化第一或第二運動向量。在一些實施例中，視訊解碼器接收第二語法元素（例如，bm_dir_flag、bm_index），其指示是細化第一運動向量還是細化第二運動向量。

解碼器基於第一初始預測子和第二初始預測子生成（在塊1320處）雙邊範本。解碼器可以導出雙邊範本作為第一初始預測子和第二初始預測子的加權和。在一些實施例中，分別應用於第一和第二初始預測子的權重基於第一和第二初始預測子的片段量化參數值來決定。在一些實施例中，分別應用於第一和第二初始預測子的權重基於第一和第二參考圖片與當前圖片的圖片順序計數（picture order count，簡稱POC）距離來決定。在一些實施例中，分別應用於第一和第二初始預測子的權重根據對當前塊發送的具有CU級權重（Bi-prediction with CU-level weights，簡稱BCW）索引的雙向預測來決定。

在一些實施例中，視訊解碼器藉由使用線性模型來細化雙邊範本，該線性模型基於第一初始預測子，第二初始預測子和當前塊的擴展區域（例如，L形上方和左側區域）生成。在一些實施例中，視訊解碼器基於線性模型來細化第一和第二初始預測子，該線性模型基於第一初始預測子，第二初始預測子和當前塊的擴展區域生成，然後基於細化的第一和第二初始預測子生成雙邊範本。DMVR的線性模型的推導和使用在例如上面的部分 IV-E中進行了描述。

解碼器細化（在塊1330處）第一運動向量以最小化雙邊範本與細化的第一運動向量所參考的預測子之間的第一成本。解碼器細化（在塊1340處）第二運動向量以最小化雙邊範本與細化的第二運動向量所參考的預測子之間的第二成本。

在一些實施例中，視訊解碼器執行塊1330和1340處的操作以細化第一和第二運動向量（也稱為第一細化遍次）。視訊解碼器可以在第二細化遍次中進一步細化當前塊的多個子塊中的每個子塊的第一和第二運動向量。視訊解碼器可以藉由在第三細化遍次中應用雙向光流（bi-directional optical flow，簡稱BDOF）來進一步細化第一和第二運動向量。在一些實施例中，在第二細化遍次中，藉由最小化細化的第一運動向量所參考的預測子和細化的第二運動向量參考的預測子之間的成本來細化第一和第二運動向量（即，雙邊匹配）。在一些實施例中，當雙邊範本用於細化第一和第二運動向量時，第二和第三細化遍次被禁用。

解碼器藉由使用細化的第一和第二運動向量以產生預測殘差以及重構當前塊來解碼（在塊1350處）當前塊。然後解碼器可以提供重構的當前塊以作為重構的當前圖片的一部分進行顯示。 Ⅶ 、示例電子系統

許多上述特徵和應用被實現為軟體處理，這些軟體處理被指定為記錄在電腦可讀存儲介質（也稱為電腦可讀介質）上的一組指令。當這些指令由一個或多個計算或處理單元（例如，一個或多個處理器、處理器內核或其他處理單元）執行時，它們使處理單元執行指令中指示的動作。電腦可讀介質的示例包括但不限於唯讀光碟驅動器（compact disc read-only memory，簡稱CD-ROM）、快閃記憶體驅動器、隨機存取記憶體（random-access memroy，簡稱RAM）晶片、硬碟驅動器、可擦除可程式設計唯讀記憶體（erasable programmble read-only memory，簡稱EPROM）、電可擦除可程式設計唯讀記憶體（electrically erasable proagrammble read-only memory，簡稱EEPROM）等。電腦可讀介質不包括藉由無線或有線連接傳遞的載波和電子訊號。

在本說明書中，術語“軟體”意在包括駐留在唯讀記憶體中的韌體或存儲在磁記憶體中的應用程式，其可以讀入記憶體以供處理器處理。此外，在一些實施例中，多個軟體發明可以實現為更大程式的子部分，同時保留不同的軟體發明。在一些實施例中，多個軟體發明也可以實現為單獨的程式。最後，共同實現此處描述的軟體發明的單獨程式的任一組合都在本公開的範圍內。在一些實施例中，軟體程式，在被安裝以在一個或多個電子系統上運行時，定義一個或多個特定機器實施方式，該實施方式處理和執行軟體程式的操作。

第14圖概念性地示出了實現本公開的一些實施例的電子系統1400。電子系統1400可以是電腦（例如，臺式電腦、個人電腦、平板電腦等）、電話、PDA或任一其他類型的電子設備。這種電子系統包括各種類型的電腦可讀介質和用於各種其他類型的電腦可讀介質的介面。電子系統1400包括匯流排1405、處理單元1410、圖形處理單元（graphics-processing unit，簡稱GPU）1415、系統記憶體1420、網路1425、唯讀記憶體1430、永久存放設備1435、輸入設備1440 , 和輸出設備1445。

匯流排1405共同表示與電子系統1400通訊連接的眾多內部設備的所有系統、週邊設備和晶片組匯流排。例如，匯流排1405將處理單元1410與GPU 1415，唯讀記憶體1430、系統記憶體1420和永久存放設備1435通訊地連接。

處理單元1410從這些各種記憶體單元中獲取要執行的指令和要處理的資料，以便執行本公開的處理。在不同的實施例中，處理單元可以是單個處理器或多核處理器。一些指令被傳遞到GPU 1415並由其執行。GPU 1415可以卸載各種計算或補充由處理單元1410提供的影像處理。

唯讀記憶體（read-only-memory，簡稱ROM）1430存儲由處理單元1410和電子系統的其他模組使用的靜態資料和指令。另一方面，永久存放設備1435是讀寫存放設備。該設備是即使在電子系統1400關閉時也存儲指令和資料的非易失性存儲單元。本公開的一些實施例使用大容量記憶裝置（例如磁片或光碟及其對應的磁碟機）作為永久存放設備1435。

其他實施例使用卸載式存放裝置設備（例如軟碟、快閃記憶體設備等，及其對應的磁碟機）作為永久存放設備。與永久存放設備1435一樣，系統記憶體1420是讀寫記憶體設備。然而，與永久存放設備1435不同，系統記憶體1420是易失性（volatile）讀寫記憶體，例如隨機存取記憶體。系統記憶體1420存儲處理器在運行時使用的一些指令和資料。在一些實施例中，根據本公開的處理被存儲在系統記憶體1420、永久存放設備1435和/或唯讀記憶體1430中。例如，根據本公開的一些實施例，各種記憶體單元包括用於根據處理多媒體剪輯的指令。從這些各種記憶體單元中，處理單元1410獲取要執行的指令和要處理的資料，以便執行一些實施例的處理。

匯流排1405還連接到輸入設備1440和輸出設備1445。輸入設備1440使使用者能夠向電子系統傳達資訊和選擇命令。輸入設備1440包括字母數位元元鍵盤和定點設備（也被稱為“遊標控制設備”）、照相機（例如，網路攝像頭）、麥克風或用於接收語音命令的類似設備等。輸出設備1445顯示由電子系統生成的圖像或者輸出資料。輸出設備1445包括印表機和顯示裝置，例如陰極射線管（cathode ray tubes，簡稱CRT）或液晶顯示器（liquid crystal display，簡稱LCD），以及揚聲器或類似的音訊輸出設備。一些實施例包括用作輸入和輸出設備的設備，例如觸控式螢幕。

最後，如第14圖所示，匯流排1405還藉由網路介面卡（未示出）將電子系統1400耦合到網路1425。以這種方式，電腦可以是電腦網路（例如局域網（“LAN”）、廣域網路（“WAN”）或內聯網的一部分，或者是多種網路的一個網路，例如互聯網。電子系統1400的任一或所有組件可以與本公開結合使用。

一些實施例包括電子組件，例如微處理器、存儲裝置和記憶體，其將電腦程式指令存儲在機器可讀或電腦可讀介質（或者被稱為電腦可讀存儲介質、機器可讀介質或機器可讀存儲介質）中。這種電腦可讀介質的一些示例包括RAM、ROM、唯讀光碟（read-only compact discs，簡稱CD-ROM）、可記錄光碟（recordable compact discs，簡稱CD-R）、可重寫光碟（rewritable compact discs，簡稱CD-RW）、唯讀數位多功能光碟（read-only digital versatile discs）（例如, DVD-ROM, 雙層DVD-ROM）, 各種可燒錄/可重寫DVD （例如, DVD-RAM, DVD-RW, DVD+RW等）, 快閃記憶體（例如, SD卡, 迷你SD卡、微型SD卡等）、磁性和/或固態硬碟驅動器、唯讀和可記錄Blu-Ray®光碟、超密度光碟、任一其他光學或磁性介質以及軟碟。電腦可讀介質可以存儲可由至少一個處理單元執行以及包括用於執行各種操作的指令集合的電腦程式。電腦程式或電腦代碼的示例包括諸如由編譯器產生的機器代碼，以及包括由電腦、電子組件或使用注釋器（interpreter）的微處理器執行的高級代碼的文檔。

雖然上述討論主要涉及執行軟體的微處理器或多核處理器，但許多上述特徵和應用由一個或多個積體電路執行，例如專用積體電路（application specific integrated circuit，簡稱ASIC）或現場可程式設計閘陣列（field programmable gate array，簡稱FPGA）。在一些實施例中，這樣的積體電路執行存儲在電路本身上的指令。此外，一些實施例執行存儲在可程式設計邏輯器件（programmable logic device，簡稱PLD）、ROM或RAM器件中的軟體。

如在本說明書和本申請的任一申請專利範圍中使用的，術語“電腦”、“伺服器”、“處理器”和“記憶體”均指電子或其他技術設備。這些術語不包括人或人群。出於本說明書的目的，術語顯示或顯示是指在電子設備上顯示。如在本說明書和本申請的任何申請專利範圍中所使用的，術語“電腦可讀介質”、“電腦可讀介質”和“機器可讀介質”完全限於以電腦可讀形式存儲資訊的有形物理物件。這些術語不包括任何無線訊號、有線下載訊號和任何其他短暫訊號。

雖然已經參考許多具體細節描述了本公開，但是本領域之通常知識者將認識到，本公開可以以其他特定形式實施而不背離本公開的精神。此外，許多圖（包括第10圖和第13圖）概念性地說明瞭處理。這些處理的具體操作可能不會按照所示和描述的確切循序執行。具體操作可以不是在一個連續的一系列操作中執行，在不同的實施例中可以執行不同的具體操作。此外，該處理可以使用幾個子處理來實現，或者作為更大的宏處理的一部分來實現。因此，本領域之通常知識者將理解本公開不受前述說明性細節的約束，而是由所附申請專利範圍限定。 補充說明

本文所描述的主題有時表示不同的組件，其包含在或者連接到其他不同的組件。可以理解的是，所描述的結構僅是示例，實際上可以由許多其他結構來實施，以實現相同的功能，從概念上講，任何實現相同功能的組件的排列實際上是“相關聯的”，以便實現所需功能。因此，不論結構或中間部件，為實現特定的功能而組合的任何兩個組件被視為“相互關聯”，以實現所需的功能。同樣，任何兩個相關聯的組件被看作是相互“可操作連接”或“可操作耦接”，以實現特定功能。能相互關聯的任何兩個組件也被視為相互“可操作地耦接”，以實現特定功能。能相互關聯的任何兩個組件也被視為相互“可操作地耦合”以實現特定功能。可操作連接的具體例子包括但不限於物理可配對和/或物理上相互作用的組件，和/或無線可交互和/或無線上相互作用的組件，和/或邏輯上相互作用和/或邏輯上可交互的組件。

此外，關於基本上任何複數和/或單數術語的使用，本領域之通常知識者可以根據上下文和/或應用從複數變換為單數和/或從單數到複數。為清楚起見，本發明明確闡述了不同的單數/複數排列。

此外，本領域之通常知識者可以理解，通常，本發明所使用的術語特別是申請專利範圍中的，如申請專利範圍的主題，通常用作“開放”術語，例如，“包括”應解釋為“包括但不限於”，“有”應理解為“至少有”“包括”應解釋為“包括但不限於”等。本領域之通常知識者可以進一步理解，若計畫介紹特定數量的申請專利範圍內容，將在申請專利範圍內明確表示，並且，在沒有這類內容時將不顯示。例如，為幫助理解，下面申請專利範圍可能包含短語“至少一個”和“一個或複數個”，以介紹申請專利範圍的內容。然而，這些短語的使用不應理解為暗示使用不定冠詞“一個”或“一種”介紹申請專利範圍內容，而約束了任何特定神專利範圍。甚至當相同的申請專利範圍包括介紹性短語“一個或複數個”或“至少有一個”，不定冠詞，例如“一個”或“一種”，則應被解釋為表示至少一個或者更多，對於用於介紹申請專利範圍的明確描述的使用而言，同樣成立。此外，即使明確引用特定數量的介紹性內容，本領域之通常知識者可以認識到，這樣的內容應被解釋為表示所引用的數量，例如，沒有其他修改的“兩個引用”，意味著至少兩個引用，或兩個或兩個以上的引用。此外，在使用類似於“A、B和C中的至少一個”的表述的情況下，通常如此表述是為了本領域之通常知識者可以理解該表述，例如，“系統包括A、B和C中的至少一個”將包括但不限於單獨具有A的系統，單獨具有B的系統，單獨具有C的系統，具有A和B的系統，具有A和C的系統，具有B和C的系統，和/或具有A、B和C的系統等。本領域之通常知識者進一步可理解，無論在説明書中，申請專利範圍中或者附圖中，由兩個或兩個以上的替代術語所表現的任何分隔的單詞和/或短語應理解為，包括這些術語中的一個，其中一個，或者這兩個術語的可能性。例如，“A或B”應理解為，“A”，或者“B”，或者“A和B”的可能性。

從前述可知，出於説明目的，本發明已描述了各種實施方案，並且在不偏離本發明的範圍和精神的情況下，可以進行各種變形。因此，此處所公開的各種實施方式不用於約束，真實的範圍和申請由申請專利範圍表示。

100:當前塊 105:雙邊範本 110:參考圖片 111:參考圖片 120:初始參考塊 121:初始參考塊 130:更新的參考塊 131:更新的參考塊 201:當前圖片 210:參考塊 211:參考塊 220:初始參考塊 221:初始參考塊 230:更新的參考塊 300:當前塊 301:當前圖片 310:參考圖片 311:參考圖片 320:參考塊 321:參考塊 330:更新的參考塊 331:更新的參考塊 400:當前塊 401:當前圖片 405:雙邊範本 410:參考圖片 411:參考圖片 420:初始參考塊 421:初始參考塊 430:更新的L0預測子 431:更新的L1預測子 500:當前塊 501:當前圖片 505:雙邊範本 506:細化的雙邊範本 510:參考圖片 511:參考圖片 520:L0參考塊 521:L1參考塊 560:線性模型 605:雙邊範本 620:細化的L0參考塊 621:細化的L1參考塊 710:L0雙邊範本 711:L1雙邊範本 800:視訊解碼器 805:視訊源 808:減法器 810:變換模組 811:量化模組 812:變換係數 813:預測像素資料 814:逆量化模組 815:逆變換模組 816:變換係數 817:重構的像素資料 819:重構殘差 820:幀內估計模組 825:幀內預測模組 830:運動補償模組 835:運動估計模組 840:幀間預測模組 845:環路濾波器 850:重構圖片緩衝器 865:MV緩衝器 875:MV預測模組 895:位元流 910:MP-DMVR模組 920:獲取控制器 930:DMVR控制模組 1000:處理 1010、1020、1030、1040、1050:步驟 1100:視訊解碼器 1110:逆變換模組 1111:逆量化模組 1112:量化資料 1113:預測像素資料 1116:變換係數 1117:解碼像素資料 1119:重構殘差訊號 1125:幀內預測模組 1130:運動補償模組 1140:幀間預測模組 1150:解碼圖片緩衝器 1155:顯示裝置 1165:MV緩衝器 1175:MV預測模組 1190:熵解碼器 1195:位元流 1210:MP-DMVR模組 1215:雙邊範本 1220:獲取控制器 1225:線性模型 1230:DMVR控制模組 1300:處理 1310、1320、1330、1340、1350:步驟 1400:電子系統 1405:匯流排 1410:處理單元 1415:GPU 1420:系統記憶體 1425:網路 1430:唯讀記憶體 1435:永久存放設備 1440:輸入設備 1445:輸出設備

附圖被包括以提供對本公開的進一步理解並且被併入並構成本公開的一部分。附圖說明瞭本公開的實施方式，並且與描述一起用於解釋本公開的原理。值得注意的是，附圖不一定是按比例繪製的，因為在實際實施中特定組件可能被顯示為與大小不成比例，以便清楚地說明本公開的概念。第1圖概念性地示出基於雙邊範本的解碼器端運動向量細化（decoder side motion vector refinement，簡稱DMVR）操作。第2圖概念性地示出藉由雙邊匹配（bilateral matching，簡稱BM）對預測候選（例如，合併候選）的細化。第3A-B圖示出適應性DMVR下的細化雙向預測MV。第4A-C圖概念性地示出在對當前塊執行MP-DMVR時使用雙邊範本來決定成本。第5圖示出基於線性模型細化雙邊範本，該線性模型基於當前塊和雙邊範本的擴展區域導出。第6圖概念性地示出基於由線性模型細化的參考塊生成雙邊範本。第7圖概念性地示出使用L0和L1線性模型（P模型和Q模型）將雙邊範本細化為L0雙邊範本和L1雙邊範本。第8圖示出可實施MP-DMVR和雙邊範本的示例視訊編碼器。第9圖示出實現雙邊範本MP-DMVR的視訊編碼器部分。第10圖概念性地示出將雙邊範本與MP-DMVR一起使用的處理。第11圖概念性地示出可以實現MP-DMVR和雙邊範本的示例視訊解碼器。第12圖示出實施雙邊範本MP-DMVR的視訊解碼器的部分。第13圖概念性地示出將雙邊範本與MP-DMVR一起使用的處理。第14圖概念性地示出實現本公開的一些實施例的電子系統。

1300:處理

1310、1320、1330、1340、1350:步驟

Claims

一種視訊編解碼方法，包括：接收一像素塊的資料，該像素塊的資料將被編碼或解碼為一視訊的一當前圖片的一當前塊，該當前塊與一第一運動向量和一第二運動向量相關聯，該第一運動向量參考一第一參考圖片中的一第一初始預測子，以及該第二運動向量參考一第二參考圖片中的一第二初始預測子；基於該第一初始預測子和該第二初始預測子生成一雙邊範本；細化該第一運動向量以最小化該雙邊範本與細化的該第一運動向量所參考的一預測子之間的一第一成本；細化該第二運動向量以最小化該雙邊範本與細化的該第二運動向量所參考的一預測子之間的一第二成本；以及藉由使用細化的該第一運動向量和細化的該第二運動向量以重構該當前塊來對該當前塊進行編碼或解碼。
如請求項1所述之視訊編解碼方法，其中，該第一運動向量和該第二運動向量在一第一細化遍次中被細化，該方法進一步包括在一第二細化遍次中對該當前塊的多個子塊中的每個子塊的該第一運動向量和該第二運動向量進行細化。
如請求項2所述之視訊編解碼方法，進一步包括藉由在一第三細化遍次中應用雙向光流來細化該第一運動向量和該第二運動向量。
如請求項2所述之視訊編解碼方法，其中，在第二細化遍次中，該第一運動向量和該第二運動向量藉由最小化細化的該第一運動向量所參考的一預測子和細化的該第二運動向量所參考的一預測子之間的一成本進行細化。
如請求項1所述之視訊編解碼方法，其中，雙邊範本基於該第一初始預測子和該第二初始預測子的一加權和導出。
如請求項5所述之視訊編解碼方法，其中，分別應用於該第一預測子和該第二初始預測子的多個權重基於該第一初始預測子和該第二初始預測子的多個片段量化參數值來決定。
如請求項5所述之視訊編解碼方法，其中，分別應用於該第一初始預測子和該第二初始預測子的該等權重基於該第一參考圖片和該第二參考圖片與該當前圖片的多個圖片順序計數距離來決定。
如請求項5所述之視訊編解碼方法，其中，分別應用於該第一初始預測子和該第二初始預測子的該等權重根據具有編解碼單元級權重索引的一雙向預測來決定，該編解碼單元級權重索引用於該當前塊。
如請求項1所述之視訊編解碼方法，進一步包括接收或發送一個或多個語法元素，該語法元素指示（i）是否藉由使用生成的該雙邊範本或藉由基於該第一初始預測子和該第二初始預測子執行雙邊匹配來細化該第一運動向量或該第二運動向量，以及（ii）是否細化該第一運動向量或細化該第二運動向量。
如請求項1所述之視訊編解碼方法，進一步包括藉由使用基於該第一初始預測子、該第二初始預測子和該當前塊的多個擴展區域生成的一線性模型來細化該雙邊範本。
如請求項1所述之視訊編解碼方法，進一步包括基於一線性模型來細化該第一初始預測子和該第二初始預測子，該線性模型基於該第一初始預測子，該第二初始預測子和該當前塊的多個擴展區域生成，其中該雙邊範本基於細化的該第一初始預測子和細化的該第二初始預測子生成。
如請求項1所述之視訊編解碼方法，其中該第二運動向量藉由在一相反方向上鏡像該第一運動向量生成，該第一運動向量是單向預測候選。
一種電子裝置，包括：一視訊編解器電路，被配置為執行多個操作，包括：接收一像素塊的資料，該像素塊的資料將被編碼或解碼為一視訊的一當前圖片的一當前塊，該當前塊與一第一運動向量和一第二運動向量相關聯，該第一運動向量參考一第一參考圖片中的一第一初始預測子，以及該第二運動向量參考一第二參考圖片中的一第二初始預測子；基於該第一初始預測子和該第二初始預測子生成一雙邊範本；細化該第一運動向量以最小化該雙邊範本與細化的該第一運動向量所參考的一預測子之間的一第一成本；細化該第二運動向量以最小化該雙邊範本與細化的該第二運動向量所參考的一預測子之間的一第二成本；以及藉由使用細化的該第一運動向量和細化的該第二運動向量以重構該當前塊來對該當前塊進行編碼或解碼。
一種視訊解碼方法，包括：接收一像素塊的資料，該像素塊的資料將被解碼為一視訊的一當前圖片的一當前塊，該當前塊與一第一運動向量和一第二運動向量相關聯，該第一運動向量參考一第一參考圖片中的一第一初始預測子，以及該第二運動向量參考一第二參考圖片中的一第二初始預測子；基於該第一初始預測子和該第二初始預測子生成一雙邊範本；細化該第一運動向量以最小化該雙邊範本與細化的該第一運動向量所參考的一預測子之間的一第一成本；細化該第二運動向量以最小化該雙邊範本與細化的該第二運動向量所參考的一預測子之間的一第二成本；以及藉由使用細化的該第一運動向量和細化的該第二運動向量以重構該當前塊來對該當前塊進行解碼。
一種視訊編碼方法，包括：接收一像素塊的資料，該像素塊的資料將被編碼為一視訊的一當前圖片的一當前塊，該當前塊與一第一運動向量和一第二運動向量相關聯，該第一運動向量參考一第一參考圖片中的一第一初始預測子，以及該第二運動向量參考一第二參考圖片中的一第二初始預測子；基於該第一初始預測子和該第二初始預測子生成一雙邊範本；細化該第一運動向量以最小化該雙邊範本與細化的該第一運動向量所參考的一預測子之間的一第一成本；細化該第二運動向量以最小化該雙邊範本與細化的該第二運動向量所參考的一預測子之間的一第二成本；以及藉由使用細化的該第一運動向量和細化的該第二運動向量以重構該當前塊來對該當前塊進行編碼。