TW202329694A

TW202329694A - 視訊編解碼方法及裝置

Info

Publication number: TW202329694A
Application number: TW112101502A
Authority: TW
Inventors: 賴貞延; 莊子德; 陳慶曄
Original assignee: 聯發科技股份有限公司
Priority date: 2022-01-14
Filing date: 2023-01-13
Publication date: 2023-07-16
Also published as: US20230232012A1

Abstract

本公開提供了一種視訊編解碼方法和相關裝置。視訊編解碼方法包括接收與當前塊相關聯的輸入資料；從當前塊的一個或多個非相鄰仿射編解碼的鄰域確定一個或多個鄰域運動向量；確定控制點運動向量，其中如果與一個目標鄰域運動向量相關聯的目標鄰域塊在可用區域之外，則生成導出的控制點運動向量以替換目標鄰域運動向量；生成仿射合並列表或仿射高級運動向量預測列表；以及使用從仿射合並列表或仿射高級運動向量預測列表中選擇的運動候選對當前塊進行編碼或解碼。本發明的視訊編解碼方法和相關裝置減少了存儲需求。

Description

視訊編解碼方法及裝置

本發明涉及使用運動估計和運動補償的視訊編解碼。更具體地，本發明涉及使用具有非相鄰候選（non-adjacent candidate）的仿射模式（affine mode）的系統的複雜度降低。

除非本文另有說明，否則本節中描述的方法不是下面列出的申請專利範圍的先前技術，並且不因包含在本節中而被承認爲先前技術。

通用視訊編解碼(VVC)是由ITU-T視訊編解碼專家組(VCEG)和ISO/IEC運動圖像專家組的聯合視訊專家組(JVET)制定的最新國際視訊編解碼標準（MPEG）。該標準已作爲 ISO 標準發布：ISO/IEC 23090-3:2021，Information technology - Coded representation of immersive media - Part 3: Versatile video coding，2021 年 2 月發布。通過基於其前身HEVC（High Efficiency Video coding），添加更多編解碼工具來提高編解碼效率，並處理各種類型的視訊源，包括 3 維（3D）視訊信號，發展處發展出VVC。

第1A圖說明瞭包含循環處理的示例性適應性幀間/幀內（adaptive Inter/Intra）視訊編解碼系統。對於幀內預測，預測資料是根據當前圖片（在後文中也稱爲畫面）中先前編解碼的視訊資料導出的。對於幀間預測112，在編碼器側執行運動估計(Motion Estimation，簡寫爲ME)並且基於ME的結果執行運動補償(Motion Compensation，簡寫爲MC)以提供從其他畫面和運動資料導出的預測資料。開關114選擇幀內預測110或幀間預測112並且所選擇的預測資料被提供給加法器116以形成預測誤差，也稱爲殘差（residual）。預測誤差然後由變換(T) 118和隨後的量化(Q) 120處理。變換和量化的殘差然後由熵編碼器122編碼以包括在對應於壓縮視訊資料的視訊位元流中。然後，與變換係數相關聯的位元流將與輔助資訊（side information）（例如與幀內預測和幀間預測相關聯的運動和解碼模式）以及其他資訊（例如與應用於底層圖像區域（underlying image area）的環路濾波器相關聯的參數）一起打包。與幀內預測110、幀間預測112和環路濾波器130相關聯的輔助資訊被提供給熵編碼器122，如第1A圖所示。當使用幀間預測模式時，也必須在編碼器端重建一個或多個參考圖片。因此，經變換和量化的殘差由逆量化（IQ）124和逆變換（IT）126處理以恢復殘差。然後在重建(REC)128處將殘差加回到預測資料136以重建視訊資料。重建的視訊資料可以存儲在參考圖片緩衝器134中並用於預測其他幀。

如第1A圖所示，輸入的視訊資料在編碼系統中經過一系列處理。由於一系列處理，來自 REC 128 的重建的視訊資料可能會受到各種損害。因此，環路濾波器130經常在重建的視訊資料被存儲在參考圖片緩衝器134中之前應用於重建的視訊資料以提高視訊質量。例如，可以使用去塊濾波器（deblocking filter，簡寫爲DF）、樣本適應性偏移（Sample Adaptive Offset，簡寫爲SAO）和適應性環路濾波器（Adaptive Loop Filter，簡寫爲ALF）。可能需要將環路濾波器資訊合並到位元流中，以便解碼器可以正確地恢復所需的資訊。因此，環路濾波器資訊也被提供給熵編碼器122以合並到位元流中。在第1A圖中，環路濾波器130在重建樣本被存儲在參考圖片緩衝器134中之前被應用於重建的視訊。第1A圖中的系統旨在說明典型視訊編碼器的示例性結構。它可能對應於高效視訊編解碼（HEVC）系統、VP8、VP9、H.264或VVC。

如第1B圖所示，除了變換 118 和量化 120 之外，解碼器可以使用與編碼器相似或相同的功能塊，因爲解碼器只需要逆量化 124 和逆變換 126。取代熵編碼器122，解碼器使用熵解碼器140將視訊位元流解碼爲量化的變換係數和需要的編解碼資訊（例如ILPF資訊、幀內預測資訊和幀間預測資訊）。解碼器側的幀內預測150不需要執行模式搜索。相反，解碼器僅需要根據從熵解碼器140接收的幀內預測資訊生成幀內預測。此外，對於幀間預測，解碼器僅需要根據從熵解碼器140接收的幀間預測資訊執行運動補償（MC 152）而無需運動估計。

根據 VVC，與 HEVC 類似，輸入圖片被劃分（partition）爲稱爲 CTU（編解碼樹單元）的非重疊方形塊區域。每個 CTU 可以劃分爲一個或多個更小的編解碼單元 (CU)。生成的 CU 分區可以是正方形或矩形。此外，VVC 將 CTU 劃分爲預測單元 (PU)，作爲應用預測處理的單元，例如幀間預測、幀內預測等。

VVC標準結合了各種新的編解碼工具，以進一步在HEVC標準基礎上提高編解碼效率。在各種新的編解碼工具中，與本發明相關的一些編解碼工具綜述如下。

仿射光流（Affine Optical Flow）

當編解碼單元(CU)被仿射模式編解碼時，編解碼單元被劃分為4x4的子塊，並且對於每個子塊，基於仿射模型導出一個運動向量並執行運動補償以生成相應的預測子（predictor）。使用 4x4 塊作為一個子塊而不是使用其他更小尺寸的原因是為了在運動補償的計算複雜性和編解碼效率之間實現良好的折衷。為了提高編解碼效率，JVET-N0236（J. Luo等人, “CE2-related: Prediction refinement with optical flow for affine mode”, ITU-T SG 16 WP 3 和 ISO/IEC JTC 1/SC 29/WG 11的聯合視訊專家組 (JVET)，第 14 次會議：瑞士日內瓦，2019 年 3 月 19-27 日，文件：JVET-N0236)、 JVET-N0261 (K. Zhang等人，“CE2-1.1: Interweaved Prediction for Affine Motion Compensation”, ITU-T SG 16 WP 3 和 ISO/IEC JTC 1/SC 29/WG 11的聯合視訊專家組 (JVET)，第 14 次會議：瑞士日內瓦，2019 年 3 月 19-27 日，文件： JVET-N0261), and JVET-N0262 (H. Huang等人， “CE9-related: Disabling DMVR for non equal weight BPWA”, ITU-T SG 16 WP 3 和 ISO/IEC JTC 1/SC 29/WG 11的聯合視訊專家組 (JVET)，第 14 次會議：瑞士日內瓦，2019 年 3 月 19-27 日，文件：JVET-N0262)公開了幾種方法。

在 JVET-N0236 中，為了實現更細細微性（finer granularity）的運動補償，文稿（contribution）提出了一種使用光流細化基於子塊的仿射運動補償預測的方法。在執行基於子塊的仿射運動補償後，通過添加由光流方程導出的差值來細化亮度預測樣本。所提出的使用光流的預測細化（Prediction Refinement with Optical Flow，簡寫爲PROF）被描述為以下四個步驟。步驟1)，執行基於子塊的仿射運動補償以生成子塊預測（sub-block prediction）I(i，j)。步驟 2)，使用 3 抽頭（3-tap）濾波器 [-1, 0, 1] 在每個樣本位置計算子塊預測的空間梯度和。

, 且

。

子塊預測在每一側擴展一個圖元以進行梯度計算（gradient calculation）。為了減少記憶體頻寬和複雜性，擴展邊界上的圖元是從參考圖片中最近的整數圖元位置複製的。因此，避免了對填充區域的額外插值（interpolation）。步驟3)，亮度預測細化由光流方程計算。

其中是為樣本位置 (i,j) 計算的圖元 MV（由表示）與圖元所屬的塊210的子塊220的子塊 MV（表示為v _SB(212)）之間的差異，如第2圖所示。在第2圖中，子塊222對應於由運動向量v _SB(212)指向的子塊220的參考子塊。參考子塊222表示由塊220的平移運動產生的參考子塊。參考子塊224對應於具有PROF的參考子塊。每個圖元的運動向量由細化。例如，基於由 216修改的子塊MV v _SB(212)導出子塊220的左上圖元的細化的運動向量 214。

由於仿射模型參數和相對於子塊中心的圖元位置在子塊與子塊之間沒有改變，因此可以為第一個子塊計算，並重新用於同一個 CU 中的其他子塊。令x和y為從圖元位置到子塊中心的水準和垂直偏移，可以通過以下等式導出，

對於4參數仿射模型（4-parameter affine model），參數c和e 可以通過以下等式導出:

對於6參數仿射模型（6-parameter affine model），參數c, d, e和f可以通過以下等式導出：

其中 , , 是左上、右上和左下控制點運動向量（control point motion vector），w 和 h 是 CU 的寬度和高度。步驟4)，最後，將亮度預測細化（luma prediction refinement）添加到子塊預測。最終預測 I’的生成如下述等式。

.

在 JVET-N0261 中，第3圖中提出了另一種基於子塊的仿射模式交織預測。通過交織預測，編解碼塊 310 被劃分為具有兩種不同劃分模式的子塊（320 和 322）。然後利用兩個劃分模式通過仿射運動補償產生兩個輔助預測（auxiliary prediction）(P0 330和P1 332)。最終預測 340 被計算為兩個輔助預測（330 和 332）的加權和。為了避免對2×H 或 W×2 塊大小進行運動補償，對於第4圖所示的兩種劃分模式，交織預測（interweaved prediction）僅應用於子塊大小為 4×4 的區域。

根據JVET-N0261中公開的方法，基於2x2子塊的仿射運動補償僅應用於亮度樣本的單向預測（uni-prediction）並且2x2子塊運動場（motion field）僅用於運動補償。用於運動預測等的運動向量場的存儲仍然是基於 4x4 子塊的。如果應用頻寬約束，則當仿射運動參數不滿足特定標準時，禁用基於 2x2 子塊的仿射運動補償。

在 JVET-N0273（H. Huang 等人，“CE9-related: Disabling DMVR for non equal weight BPWA”， ITU-T SG 16 WP 3和ISO/IEC JTC 1/SC 29/WG 11的聯合視頻專家組（JVET） 1/SC 29/WG 11，第 14 次會議：瑞士日內瓦，2019 年 3 月 19-27 日，文件：JVET-N0262），基於 2x2 子塊的仿射運動補償僅適用於亮度樣本的單向預測， 2x2 子塊運動場僅用於運動補償。如果應用頻寬約束，當仿射運動參數不滿足特定標準時，基於 2x2 子塊的仿射運動補償將被禁用。

仿射模型（Affine Model）

沿着時間軸跨圖片發生的運動可以由許多不同的模型來描述。假設 A(x, y) 是所考慮位置 (x, y) 處的原始像素，A' (x', y') 是當前圖元A(x, y)的参考圖片中位置 (x', y') 處的對應像素，仿射運動模型描述如下。

仿射模型能够描述二維塊旋轉以及二維變形以將正方形（或矩形）變換成平行四邊形。該模型可以描述如下：

x’ = a0 + a1*x + a2*y, and

y’ = b0 + b1*x + b2*y. (1)

在提交給 ITU-VCEG 的 ITU-T13-SG16-C1016 文稿（Lin 等人，“Affine transform prediction for next generation video coding”，ITU-U，第 16 研究組，問題 Q6/16，文稿C1016, 2015年9月，瑞士日內瓦) 中，公開了四參數仿射預測，其中包括仿射合併模式（affine Merge mode）。當一個仿射運動塊在運動時，塊的運動向量場可以用兩個控制點運動向量或四個參數來描述如下，其中（vx，vy）表示運動向量。

(2)

四參數仿射模型的示例如第5圖所示，其中根據具有兩個控制點運動向量（即 v ₀和 v ₁）的仿射模型定位當前塊 510 的相應參考塊 520。變換後的塊是一個矩形塊。該運動塊中各點的運動向量場可用下式表示：

(3)

或

(4)

上述等式中，(v _0x, v _0y)為塊左上角的控制點運動向量(即v ₀)，(v _1x, v _1y)為塊的右上角的另一個控制點運動向量(即v ₁)。當解碼兩個控制點的MV時，塊的每個4x4塊的MV可以根據上式確定。換句話說，塊的仿射運動模型可以由兩個控制點處的兩個運動向量指定。進一步地，雖然以塊的左上角和右上角作為兩個控制點，但也可以使用其他兩個控制點。可以根據等式(3)基於兩個控制點的MV為每個4x4子塊確定當前塊的運動向量的示例。

在 ITU-T13-SG16-C1016 文稿中，對於幀間模式編解碼的 CU，當 CU 大小等於或大於 16x16 時，發送仿射標誌以指示是否應用仿射幀間模式。如果當前塊（例如，當前 CU）以仿射幀間模式編解碼，則使用相鄰的有效重構塊構造候選 MVP 對列表。第6圖圖示了用於導出角導出的（corner derived）仿射候選的鄰域塊集（neighboring block set）。如第6圖所示，對應於當前塊610左上角的塊V0的運動向量，其選自鄰域塊A ₀(稱為左上（above-left）塊)、A ₁(稱為內左上（inner above-left）塊)和A ₂(稱為下左上（lower above-left）塊) 的運動向量，對應於當前塊610右上角的塊V1的運動向量，其選自鄰域塊B ₀（稱為上方塊（above block））和B ₁（稱為右上塊（above-right block））的運動向量。

在文稿ITU-T13-SG16-C1016中，還提出了仿射合並（affine Merge）模式。如果當前塊 710 是合併編解碼的 PU，則檢查相鄰的五個塊（第7圖中的 A0、A1、B0、B1 和 B2 塊）以確定它們中的任何塊是否以仿射幀間模式（affine Inter mode）或仿射合併模式編解碼。如果是，則發信 affine_flag以指示當前 PU 是否為仿射模式。當當前 PU 應用於仿射合併模式時，它從有效的相鄰重建塊中獲取第一個用仿射模式編解碼的塊。候選塊的選擇順序是從左塊（A1）、上方塊（B1）、右上塊（B0）、左下塊（A0）到左上塊（B2）。換句話說，搜索順序是 A1→B1→B0→A0→B2，如第7圖所示。仿射編解碼塊的仿射參數用於導出當前 PU 的 v ₀和 v ₁。在第7圖的示例中，用於構造用於仿射運動模型的控制點MV的鄰域塊（A0、A1、B0、B1和B2）在本公開中被稱為鄰域塊集（neighboring block set）。

在仿射運動補償(MC)中，當前塊被分成多個4x4子塊。對於每個子塊，中心點 (2, 2) 用於通過使用該子塊的等式 (3) 導出 MV。對於這個當前的MC，每個子塊執行一個4x4的子塊平移MC。

在 HEVC 中，每個 PU 的解碼的 MV 以 16:1 的比率被下採樣並存儲在時間 MV 緩衝區（temporal MV buffer）中用於後續幀的 MVP 推導。對於 16x16 塊，只有左上角的 4x4 MV 存儲在時間 MV 緩衝區中，存儲的 MV 代表整個 16x16 塊的 MV。

雙向光流（Bi-directional Optical Flow，簡寫爲BIO)

雙向光流（BIO)是在JCTVC-C204 (E. Alshina等人, Bi-directional optical flow, ITU-T SG 16 WP 3 和 ISO/IEC JTC 1/SC 29/WG 11視頻編解碼聯合協作小組 (JCT-VC)，第 3 次會議：中國廣州，2010 年 10 月 7-15 日，文件：JCTVC-C204) 和 VCEG-AZ05（E. Alshina 等，Known tools performance investigation for next generation video coding，ITU-T SG 16 問題 6，視頻編解碼專家組 (VCEG)，第 52 次會議：2015 年 6 月 19-26 日，波蘭華沙，文件： VCEG-AZ05)中公開的運動估計/補償技術。 BIO基於如第8圖所示的光流和穩定運動的假設導出樣本級（sample-level）運動細化，其中B切片（雙向預測切片）820中的當前圖元822由參考圖片0（830）中的一個圖元和參考圖片 1 (810) 中的一個圖元預測。如第8圖所示，當前圖元822由參考圖片1(810)中的圖元B(812)和參考圖片0(830)中的圖元A(832)預測。在第8圖中，v _x和 v _y是 x 方向和 y 方向的圖元位移向量（displacement vector），它們是使用雙向光流 (BIO) 模型導出的。它僅適用於真正的雙向預測塊，它是從對應於前一張圖片和後一張圖片的兩個參考圖片中預測出來的。在 VCEG-AZ05 中，BIO 使用 5x5 視窗來導出每個樣本的運動細化。因此，對於NxN塊，需要(N+4)x(N+4)塊的運動補償結果和相應的梯度資訊來推導針對NxN塊的基於樣本的運動細化。根據 VCEG-AZ05，使用6抽頭（6-Tap）梯度濾波器和 6抽頭插值濾波器來生成 BIO 的梯度資訊。因此，BIO的計算複雜度遠高於傳統的雙向預測。為了進一步提高BIO的性能，提出了以下方法。

在 HEVC 中的常規雙向預測中，使用以下等式生成預測子，其中P ⁽⁰⁾和 P ⁽¹⁾分別是列表 0 和列表 1 預測子。

在JCTVC-C204 和 VECG-AZ05中，使用以下等式生成BIO預測子:

在上述等式中， I _x ⁽⁰⁾ 和 I _x ⁽¹⁾ 分別表示 list0 和 list1 預測子中的 x 方向梯度； I _y ⁽⁰⁾ 和 I _y ⁽¹⁾ 分別表示 list0 和 list1 預測子中的 y 方向梯度； v _x 和 v _y 分別表示 x 和 y 方向上的偏移或位移。 v _x 和 v _y 的推導過程如下所示。首先，成本函數（cost function）定義為diffCost(x, y)以找到最佳值 v _x 和 v _y 。為了找到最佳值 v _x 和 v _y 以最小化成本函數diffCost(x, y)，使用一個 5x5 視窗。 v _x 和 v _y 的解可以用 S ₁ 、 S ₂ 、 S ₃ 、 S ₅ 和 S ₆ 表示。

最小成本函數可以推導如下:

.

通過求解式（3)和（4)， v _x 和 v _y 可以根據以下等式求解：

其中,

上述等式中，對應於list 0圖片中(x,y)處圖元的x方向梯度，對應於list 1圖片中(x,y)處圖元的x方向梯度，對應list 0圖片中(x,y)處圖元的y方向梯度，對應list 1圖片中(x,y)處圖元的y方向梯度。

在一些相關技術中，S ₂可以忽略， v _x 和 v _y 可以如下求解

其中,

我們可以發現，BIO過程中需要的位元深（bit-depth）較大，尤其是計算S ₁、S ₂、S ₃、S ₅、S ₆時。例如，如果視頻序列中圖元值的位元深為10位元，通過分數插值濾波器或梯度濾波器增加梯度的位元深，則需要16位元來表示一個x方向的梯度或一個y方向的梯度。這 16 位可以通過等於 4 的梯度移位（gradient shift）進一步減少，因此一個梯度需要 12 位元來表示值。即使通過梯度移位元可以將梯度的幅度降低到12位元，BIO操作所需的位深度仍然很大。需要一個 13 位元 x 13 位的乘法器來計算 S ₁、S ₂和 S ₅。需要另一個 13 位元 x 17 位的乘法器才能得到 S ₃和 S ₆。當視窗尺寸較大時，需要多於32位元來表示S ₁、S ₂、S ₃、S ₅、S ₆。

最近，一種名為非相鄰仿射候選的新工具也被提出用於新興的視頻編解碼標準。然而，這個新工具需要存儲大面積鄰域塊的運動資訊。本發明公開了減少存儲需求的技術。

以下概述僅是說明性的，並不旨在以任何方式進行限制。即，提供以下概要以介紹本文描述的新穎且非顯而易見的技術的概念、亮點、益處和優點。在下面的詳細描述中進一步描述了選擇而不是所有的實現。因此，以下概述不旨在確定要求保護的主題的基本特徵，也不旨在用於確定要求保護的主題的範圍。

本發明公開一種視訊編解碼方法，包括：接收與當前塊相關聯的輸入資料，其中，輸入資料包括編碼器側待編碼的當前塊的圖元資料或解碼器側待解碼的與當前塊相關聯的編碼資料；從當前塊的一個或多個非相鄰仿射編解碼的鄰域確定一個或多個鄰域運動向量；基於一個或多個相鄰運動向量確定控制點運動向量，其中如果與一個目標鄰域運動向量相關聯的目標鄰域塊在可用區域之外，則生成導出的控制點運動向量以替換目標鄰域運動向量；生成包括一個或多個鄰域運動向量作爲一個非相鄰仿射候選的仿射合並列表或仿射高級運動向量預測列表，其中一個非相鄰仿射候選根據控制點運動向量使用運動資訊生成非相鄰仿射預測子；以及使用從仿射合並列表或仿射高級運動向量預測列表中選擇的運動候選對當前塊進行編碼或解碼。

本發明還公開一種用於視訊編解碼的裝置，設備包括一個或多個電子電路或處理器，用於：接收與當前塊相關聯的輸入資料，其中，輸入資料包括編碼器側待編碼的當前塊的圖元資料或解碼器側待解碼的與當前塊相關聯的編碼資料；從當前塊的一個或多個非相鄰仿射編解碼的鄰域確定一個或多個鄰域運動向量；基於一個或多個相鄰運動向量確定控制點運動向量，其中如果與一個目標鄰域運動向量相關聯的目標鄰域塊在可用區域之外，則生成導出的控制點運動向量以替換目標鄰域運動向量；生成包括一個或多個鄰域運動向量作爲一個非相鄰仿射候選的仿射合並列表或仿射高級運動向量預測列表，其中一個非相鄰仿射候選根據控制點運動向量使用運動資訊生成非相鄰仿射預測子；以及使用從仿射合並列表或仿射高級運動向量預測列表中選擇的運動候選對當前塊進行編碼或解碼。

本發明還公開一種視訊編解碼方法，方法包括：接收與當前塊相關聯的輸入資料，其中，輸入資料包括編碼器側待編碼的當前塊的圖元資料或解碼器側待解碼的與當前塊相關聯的編碼資料；從當前塊的一個或多個非相鄰仿射編解碼的鄰域確定一個或多個鄰域運動向量；基於一個或多個相鄰運動向量確定控制點運動向量，其中如果與一個目標鄰域運動向量相關聯的目標鄰域塊在可用區域之外，則生成導出的控制點運動向量以替換目標鄰域運動向量；生成包括一個或多個鄰域運動向量的運動候選列表作爲一個非相鄰仿射候選，其中一個非相鄰仿射候選根據控制點運動向量使用運動資訊生成非相鄰仿射預測子；以及使用從運動候選列表中選擇的運動候選對當前塊進行編碼或解碼。

本發明的視訊編解碼方法和相關裝置減少了存儲需求。

容易理解的是，如本文附圖中大體描述和圖示的本發明的元件可以以多種不同的配置來佈置和設計。因此，以下對如圖所示的本發明的系統和方法的實施例的更詳細描述並不旨在限制所要求保護的本發明的範圍，而僅代表本發明的選定實施例。貫穿本說明書對“一實施例”、“一個實施例”或類似語言的引用意味著結合該實施例描述的特定特徵、結構或特性可以包括在本發明的至少一個實施例中。因此，貫穿本說明書各處出現的短語“在一實施例中”或“在一個實施例中”不一定都指代相同的實施例。

此外，所描述的特徵、結構或特性可以以任何合適的方式組合在一個或多個實施例中。然而，相關領域的技術人員將認識到，本發明可以在沒有一個或多個特定細節的情況下，或使用其他方法、元件等來實踐。在其他情況下，未顯示或未顯示眾所周知的結構或操作詳細描述以避免模糊本發明的方面。參考附圖將最好地理解本發明的所示實施例，其中相同的部分自始至終由相同的數位表示。下面的描述僅旨在作為示例，並且簡單地說明與如本文要求保護的本發明一致的設備和方法的某些選定實施例。

具有非相鄰候選的仿射（Affine with Non-Adjacent Candidates）

在 JVET-Y0153 (Wei Chen 等人，“EE2-3.11 : Non-adjacent spatial neighbors for affine merge mode”，ITU-T SG 16 WP 3 和 ISO/IEC JTC 1/SC 29/WG 11聯合視頻專家組 (JVET),第25次會議，電話會議, 2022.1.12-21, 文件: JVET-Y0153)，提出了一種使用非相鄰空間鄰域（non-adjacent spatial neighbor）用於仿射合併和 AMVP 模式的技術。在用於仿射合併模式的非相鄰空間鄰域（non-adjacent spatial neighbors for affine merge mode，簡寫爲NSAM）中，獲得非相鄰空間鄰域的型樣（pattern）如第9A圖-B所示，其中第9A圖用於導出繼承的仿射合併候選，第9B圖用於導出構造的仿射合併候選。與 JVET-X2025 （Fabrice Le Léannec 等人，“Algorithm description of Enhanced Compression Model 3 (ECM 3)”，ITU-T SG 16 WP 3 和 ISO/IEC JTC 1/SC 29/WG 11聯合視頻專家組 (JVET)，第 24 次會議，電話會議，2021 年 10 月 6-15 日，文件：JVET-X2025）中公開的現有非相鄰常規合併候選相同，NSAM 中非相鄰空間鄰域與當前編解塊之間的距離也是基於當前 CU 的寬度和高度定義的。

第9A-B圖中的非相鄰空間鄰域的運動資訊被用於為當前 CU（第9A圖中的塊 910 和第9B圖中的塊 920) 生成額外的繼承和/或構造的仿射合併候選。具體來說，對於繼承候選，VVC中繼承的仿射合併候選的相同推導過程保持不變，除了CPMV是從非相鄰空間鄰域繼承的。換句話說，CPMV在一個示例中可以對應於基於一個或多個非相鄰鄰域MV的繼承的MV，或者在另一示例中對應於從一個或多個非相鄰鄰域MV導出的構造的MV。在又一示例中，CPMV可以對應於基於一個或多個非相鄰鄰域MV的繼承的MV或從一個或多個非相鄰鄰域MV導出的構造的MV。不相鄰的空間鄰域根據它們到當前塊的距離從近鄰到遠鄰進行檢查。在特定距離處，僅包含當前塊每一側（例如，左側和上方）的第一個可用鄰域（即，使用仿射模式編解碼的一個鄰域）用於繼承的候選推導。如第9A圖中的虛線箭頭所示，左側和上方鄰域的檢查順序分別是自下而上和從右到左。對於構造的候選（即“來自非相鄰鄰域的第一類構造的仿射候選”），如第9B圖所示，首先獨立確定一個左側和一個上方的非相鄰空間鄰域的位置。之後，可以相應地確定左上參考的位置，它可以與左側和上方非相鄰鄰域一起圍成一個矩形虛擬塊。然後，如第10圖所示，使用位置 A、B 和 C 的三個不相鄰鄰域的運動資訊來形成虛擬塊的左上角 (A)、右上角 (B) 和左下角(C)的 CPMV，最終投影到當前 CU 以生成相應的構造的候選。

在JVET-Y0153中，需要存儲大量鄰域CTU的CPMV。為了減少資料訪問的緩衝區需求，建議限制非相鄰空間鄰域塊的可用區域。如果與 CPMV 關聯的鄰域塊在可用區域之外，則 CPMV 被視為不可用或將被導出的 CPMV 替換，其中導出的CPMV 可以是可用區域周圍最近的 CPMV、一個或多個預定義的 CPMV 、一個或多個通過預定義方法導出的 CPMV，或存儲的 4x4 或 NxN 子塊 MV。在本公開中，當與CPMV相關聯的鄰域塊在可用區域之外時，為了簡單起見，我們可以將這種情況稱為“CPMV在可用區域之外”。在一個實施例中，該區域在當前CTU內。在這種情況下，只有當要使用的非相鄰空間鄰域塊與當前塊在同一CTU內時，才可以將其插入到仿射合併列表或仿射AMVP列表，或任何CPMV候選列表中。在另一個實施例中，該區域可以是當前CTU和左側（left）K個解碼的CTU。在另一個實施例中，該區域可以是當前CTU、左側K個解碼的CTU和上方L個解碼的CTU。在另一個實施例中，區域可以是N CTU行。在另一個實施例中，該區域可以是具有多個CTU的區域。在另一個實施例中，該區域可以是當前CTU、左側K個解碼的CTU和上方L個解碼的CTU、左上方M個解碼的CTU和右上方P個解碼的CTU。 K、L、M、N 和 P 可以是任何大於零的整數。在另一個實施例中，可以通過涉及當前CU位置的方法適應性地確定可用區域。

預定義的可用區域可以根據處理單元來定義。在一個實施例中，用於基於一個或多個非相鄰鄰域 MV 的繼承的仿射合併候選（即，繼承的MV）和從一個或多個不相鄰的鄰域 MV導出的構造的仿射合併候選（即，構造的MV）的非相鄰空間鄰域塊的可用區域應相同。

在一個實施例中，如果要使用的非相鄰空間鄰域塊無效（即，在預定義區域之外），則可以應用默認運動向量。例如，預設運動向量可以從有效區域的左上角塊、有效區域的最左側塊或最頂部塊導出，或者直接使用平移運動向量。

該約束還可以擴展到在常規合併、MMVD、AMVP、IBC或試圖引用非相鄰空間鄰域候選的任何其他工具中使用的非相鄰鄰域候選。

在一個實施例中，對於時間並置的（temporal collocated）運動向量，可以預定義可用區域。如果要參考的時間並置的運動向量在該區域之外，則不應參考它。在一個實施例中，區域可以是當前CTU、N個解碼的CTU或M個解碼的CTU行。 M和N可以是任何大於零的整數。用於時間並置的運動向量的可用區域可以不同於用於非相鄰空間鄰域候選的可用區域。

任何前述提出的方法都可以在編碼器和/或解碼器中實現。例如，所提出的任何方法都可以在編碼器和/或解碼器的仿射幀間預測模組（例如，第1A圖中的幀間預測 112 或圖 1B 中的 MC 152）中實現。或者，所提出的任何方法都可以實現為耦合到編碼器和/或解碼器的仿射幀間預測模組的電路。

第11圖圖示了根據本發明的實施例的利用非相鄰仿射候選的視頻編解碼系統的示例性流程圖。流程圖中所示的步驟可以實現為在編碼器側的一個或多個處理器（例如，一個或多個CPU）上可執行的程式代碼。流程圖中所示的步驟也可以基於硬體來實現，諸如被佈置為執行流程圖中的步驟的一個或多個電子設備或處理器。根據該方法，在步驟1110接收與當前塊相關聯的輸入資料，其中輸入資料包括在編碼器側待編碼的當前塊的圖元資料或在解碼器側與待解碼的當前塊相關聯的編碼資料。在步驟1120中，根據當前塊的一個或多個非相鄰仿射編碼的鄰域確定一個或多個鄰域MV（運動向量）。在步驟1130中基於所述一個或多個鄰域MV確定CPMV（控制點運動向量），其中，如果與一個目標鄰域MV相關聯的目標鄰域塊在可用區域之外，則生成導出的CPMV以替換目標鄰域MV。在步驟1140中生成包括所述一個或多個鄰域MV作為一個非相鄰仿射候選的仿射合併列表或仿射AMVP（高級運動向量預測）列表，其中所述一個非相鄰仿射候選生成非相鄰仿射預測子，根據 CPMV 使用運動資訊。在步驟1150中使用從仿射合併列表或仿射AMVP（高級運動向量預測）列表中選擇的運動候選對當前塊進行編碼或解碼。

所示流程圖旨在說明根據本發明的視頻編解碼的示例。在不脫離本發明的精神的情況下，所屬領域具有通常知識者可以修改每個步驟、重新安排步驟、拆分步驟或組合步驟來實施本發明。在本公開中，已經使用特定語法和語義來說明示例以實現本發明的實施例。在不脫離本發明的精神的情況下，技術人員可以通過用等同的句法和語義替換句法和語義來實施本發明。

提供以上描述是為了使所屬領域具有通常知識者能夠實踐在特定應用及其要求的上下文中提供的本發明。對所描述的實施例的各種修改對於所屬領域具有通常知識者而言將是顯而易見的，並且本文定義的一般原理可以應用於其他實施例。因此，本發明並不旨在限於所示出和描述的特定實施例，而是符合與本文公開的原理和新穎特徵一致的最寬範圍。在以上詳細描述中，舉例說明了各種具體細節以提供對本發明的透徹理解。然而，所屬領域具有通常知識者將理解可以實施本發明。

如上所述的本發明的實施例可以以各種硬體、軟體代碼或兩者的組合來實現。例如，本發明的一個實施例可以是集成到視訊壓縮晶片中的一個或多個電路電路或者集成到視訊壓縮軟體中的程式碼以執行這裡描述的處理。本發明的實施例還可以是要在數位訊號處理器(DSP)上執行以執行這裡描述的處理的程式碼。本發明還可以涉及由電腦處理器、數位訊號處理器、微處理器或現場可程式設計閘陣列(FPGA)執行的許多功能。這些處理器可以被配置為通過執行定義由本發明體現的特定方法的機器可讀軟體代碼或韌體代碼來執行根據本發明的特定任務。軟體代碼或韌體代碼可以以不同的程式設計語言和不同的格式或風格來開發。也可以為不同的目標平臺編譯軟體代碼。然而，軟體代碼的不同代碼格式、風格和語言以及配置代碼以執行根據本發明的任務的其他方式都不會脫離本發明的精神和範圍。

在不脫離其精神或基本特徵的情況下，本發明可以以其他特定形式體現。所描述的示例在所有方面都應被視為說明性而非限制性的。因此，本發明的範圍由所附申請專利範圍而不是由前述描述來指示。落入申請專利範圍等同物的含義和範圍內的所有變化都應包含在其範圍內。

110：幀內預測 112：幀間預測 114：開關 116：加法器 118：變換 120：量化 122：熵編碼器 130：環路濾波器 124：逆量化 126：逆變換 128：重建 134：參考圖片緩衝器 136：預測資料 140：熵解碼器 150：幀內預測 152：MC 210、510、520、610、710、910、920：塊 220、222、224、310、320、322：子塊 212、214：運動向量 216： 330、332、340：預測 810、820、830：圖片 812、832：圖元 1110~1150：步驟

附圖被包括以提供對本公開的進一步理解，並且並入並構成本公開的一部分。附圖圖示了本公開的實施方式並且與描述一起用於解釋本公開的原理。可以理解的是，附圖不一定是按比例繪製的，因爲在實際實施中，爲了清楚地說明本公開的概念，一些部件可能被示出爲與尺寸不成比例。第1A圖中的系統說明瞭典型視訊編碼器的示例性結構。第1B圖圖示了第1A圖中的編碼器的相應解碼器。第2圖圖示了基於子塊的仿射運動補償的示例，其中子塊的各個圖元的運動向量是根據運動向量細化導出的。第3圖示出了交織預測的示例，其中編解碼塊被劃分爲具有兩種不同劃分型樣的子塊，然後通過具有兩種劃分型樣的仿射運動補償生成兩個輔助預測。第4圖示出了針對交織預測避免具有2×H或W×2塊尺寸的運動補償的示例，其中對於兩種劃分模式，交織預測僅應用於子塊尺寸爲4×4的區域。第5圖圖示了四參數仿射模型的示例，其中示出了當前塊和參考塊。第6圖示出了繼承的仿射候選推導的示例，其中當前塊通過繼承鄰域塊的控制點MV作爲當前塊的控制點MV來繼承鄰域塊的仿射模型。第7圖示出了構造的仿射候選推導的示例，其中鄰域塊（A0、A1、B0、B1 和 B2）用於構造用於仿射運動模型的控制點 MV。第8圖圖示了基於光流和穩定運動的假設的雙向光流(BIO)導出的樣本級運動細化的示例。第9A-9B圖示出了用於導出仿射合並模式的非相鄰空間鄰域(NSAM)的示例，其中獲得非相鄰空間鄰域的模式在第9A圖中示出用於導出繼承的仿射合並候選，在第9B圖中示出用於導出構造的仿射合並候選。第10圖示出了根據非相鄰鄰域構造的仿射候選的示例，其中位置A、B和C處的三個非相鄰鄰域的運動資訊被用於形成CPMV。第11圖示出了根據本發明的實施例的利用非相鄰仿射候選的視訊編解碼系統的示例性流程圖。

1110~1150:步驟

Claims

一種視訊編解碼方法，包括：接收與當前塊相關聯的輸入資料，其中，該輸入資料包括編碼器側待編碼的該當前塊的圖元資料或解碼器側待解碼的與該當前塊相關聯的編碼資料；從該當前塊的一個或多個非相鄰仿射編解碼的鄰域確定一個或多個鄰域運動向量；基於該一個或多個相鄰運動向量確定控制點運動向量，其中如果與一個目標鄰域運動向量相關聯的目標鄰域塊在可用區域之外，則生成導出的控制點運動向量以替換該目標鄰域運動向量；生成包括該一個或多個鄰域運動向量作爲一個非相鄰仿射候選的仿射合並列表或仿射高級運動向量預測列表，其中該一個非相鄰仿射候選根據控制點運動向量使用運動資訊生成非相鄰仿射預測子；以及使用從該仿射合並列表或該仿射高級運動向量預測列表中選擇的運動候選對該當前塊進行編碼或解碼。
如請求項1所述之視訊編解碼方法，其中該可用區域對應於包圍該當前塊的當前CTU、該當前塊的左側K個解碼的CTU、該當前塊上方的L個解碼的CTU或其組合，並且其中K和L 是正整數。
如請求項1所述之視訊編解碼方法，其中該導出的控制點運動向量對應於該可用區域中最接近該當前塊的控制點運動向量。
如請求項1所述之視訊編解碼方法，其中該導出的控制點運動向量對應於一個或多個預定義的控制點運動向量。
如請求項1所述之視訊編解碼方法，其中，該導出的控制點運動向量是根據預先定義的方法導出的。
如請求項1所述之視訊編解碼方法，其中，該導出的控制點運動向量是根據存儲的4x4或NxN子塊運動向量導出的，其中N爲正整數。
如請求項1所述之視訊編解碼方法，其中，該控制點運動向量對應於基於該一個或多個鄰域運動向量的繼承的運動向量。
如請求項1所述之視訊編解碼方法，其中，該控制點運動向量對應於從該一個或多個鄰域運動向量導出的構造的運動向量。
如請求項1所述之視訊編解碼方法，其中，該控制點運動向量對應於從該一個或多個鄰域運動向量導出的構造的運動向量或基於該一個或多個鄰域運動向量的繼承的運動向量。
如請求項9所述之視訊編解碼方法，其中，該可用區域對於該構造的運動向量和該繼承的運動向量是相同的。
一種用於視訊編解碼的裝置，該設備包括一個或多個電子電路或處理器，用於：接收與當前塊相關聯的輸入資料，其中，該輸入資料包括編碼器側待編碼的該當前塊的圖元資料或解碼器側待解碼的與該當前塊相關聯的編碼資料；從該當前塊的一個或多個非相鄰仿射編解碼的鄰域確定一個或多個鄰域運動向量；基於該一個或多個相鄰運動向量確定控制點運動向量，其中如果與一個目標鄰域運動向量相關聯的目標鄰域塊在可用區域之外，則生成導出的控制點運動向量以替換該目標鄰域運動向量；生成包括該一個或多個鄰域運動向量作爲一個非相鄰仿射候選的仿射合並列表或仿射高級運動向量預測列表，其中該一個非相鄰仿射候選根據控制點運動向量使用運動資訊生成非相鄰仿射預測子；以及使用從該仿射合並列表或該仿射高級運動向量預測列表中選擇的運動候選對該當前塊進行編碼或解碼。
一種視訊編解碼方法，該方法包括：接收與當前塊相關聯的輸入資料，其中，該輸入資料包括編碼器側待編碼的該當前塊的圖元資料或解碼器側待解碼的與該當前塊相關聯的編碼資料；從該當前塊的一個或多個非相鄰仿射編解碼的鄰域確定一個或多個鄰域運動向量；基於該一個或多個相鄰運動向量確定控制點運動向量，其中如果與一個目標鄰域運動向量相關聯的目標鄰域塊在可用區域之外，則生成導出的控制點運動向量以替換該目標鄰域運動向量；生成包括該一個或多個鄰域運動向量的運動候選列表作爲一個非相鄰仿射候選，其中該一個非相鄰仿射候選根據該控制點運動向量使用運動資訊生成非相鄰仿射預測子；以及使用從該運動候選列表中選擇的運動候選對該當前塊進行編碼或解碼。
如請求項12所述之視訊編解碼方法，其中，該運動候選列表對應於常規合並候選列表、MMVD、高級運動向量預測列表或幀內塊複製。