TWI836563B - 視訊編解碼方法和裝置 - Google Patents
視訊編解碼方法和裝置 Download PDFInfo
- Publication number
- TWI836563B TWI836563B TW111131309A TW111131309A TWI836563B TW I836563 B TWI836563 B TW I836563B TW 111131309 A TW111131309 A TW 111131309A TW 111131309 A TW111131309 A TW 111131309A TW I836563 B TWI836563 B TW I836563B
- Authority
- TW
- Taiwan
- Prior art keywords
- current block
- motion compensation
- motion vector
- initial
- current
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 62
- 230000008569 process Effects 0.000 description 16
- 238000012545 processing Methods 0.000 description 14
- 230000003044 adaptive effect Effects 0.000 description 6
- 238000013139 quantization Methods 0.000 description 6
- 238000001914 filtration Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000013459 approach Methods 0.000 description 3
- 230000006835 compression Effects 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- VBRBNWWNRIMAII-WYMLVPIESA-N 3-[(e)-5-(4-ethylphenoxy)-3-methylpent-3-enyl]-2,2-dimethyloxirane Chemical compound C1=CC(CC)=CC=C1OC\C=C(/C)CCC1C(C)(C)O1 VBRBNWWNRIMAII-WYMLVPIESA-N 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 238000009795 derivation Methods 0.000 description 2
- 239000012925 reference material Substances 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 230000002146 bilateral effect Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 229910003460 diamond Inorganic materials 0.000 description 1
- 239000010432 diamond Substances 0.000 description 1
- 238000010348 incorporation Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 238000011002 quantification Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000010845 search algorithm Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/513—Processing of motion vectors
- H04N19/517—Processing of motion vectors by encoding
- H04N19/52—Processing of motion vectors by encoding by predictive encoding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/523—Motion estimation or motion compensation with sub-pixel accuracy
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
一種用於視訊編解碼系統的方法和裝置被公開，該系統利用低延遲範本匹配運動向量精確化。根據該方法，與當前圖片中的視訊單元的當前塊相關聯的輸入資料被接收。然後根據初始運動向量(motion vector，簡稱MV)運動補償被應用於當前塊以獲得當前塊的初始運動補償預測子。在對當前塊應用運動補償之後，範本匹配MV精確化被用於當前塊以獲得當前塊的精確化的MV。然後當前塊使用包括精確化的MV的資訊進行編碼或解碼。該方法還可以包括確定初始運動補償預測子的梯度值。初始運動補償預測子可以藉由考慮梯度值和/或精確化的MV和初始MV之間的MV差值來調整。
Description
本發明涉及視訊編解碼系統。具體而言，本發明涉及視訊編解碼系統中範本匹配編解碼工具的高效硬體實現。
多功能視訊編解碼(versatile video coding，簡稱VVC)是由ITU-T視訊編解碼專家組(Video Coding Experts Group，簡稱VCEG)和ISO/IEC運動圖像專家組(Moving Picture Experts Group，簡稱MPEG)的聯合視訊專家組(Joint Video Experts Team，簡稱JVET)開發的最新國際視訊編解碼標準。該標準已作為ISO標準於2021年2月發佈：ISO/IEC 23090-3：2021，資訊技術-沉浸式媒體的編碼表示-第3部分：多功能視訊編解碼。VVC是基於其上一代高效視訊編解碼(High Efficiency Video Coding，簡稱HEVC)藉由添加更多的編解碼工具，來提高編解碼效率以及處理包括三維(3-dimensional，簡稱3D)視訊訊號在內的各種類型的視訊源。
第1A圖示出結合迴圈處理的示例適應性幀間/幀內視訊編碼系統。對於幀內預測，預測資料基於當前圖片中先前編解碼的視訊資料得出。對於幀間預測112，運動估計(Motion Estimation，簡稱ME)在編碼器側執行以及運動補償(Motion Compensation，簡稱MC)基於ME的結果執行以提供從其他圖片和運動資料導出的預測資料。開關114選擇幀內預測110或幀間預測112，以及選擇的預測資料被提供至加法器116以形成預測誤差，也被稱為殘差。然
後預測誤差由變換(Transform，簡稱T)118接著量化(Quantization，簡稱Q)120處理。然後經變換和量化的殘差由熵編碼器122進行編碼，以包括在對應於壓縮視訊資料的視訊位元流中。然後，與變換係數相關聯的位元流與輔助資訊(諸如與幀內預測和幀間預測相關聯的運動和編碼模式等輔助資訊)和其他資訊(與應用於底層圖像區域的環路濾波器相關聯的參數等)打包。如第1A圖所示，與幀內預測110、幀間預測112和環路濾波器130相關聯的輔助資訊被提供至熵編碼器122。當幀間預測模式被使用時，一個或多個參考圖片也必須在編碼器端重構。因此，經變換和量化的殘差由逆量化(Inverse Quantization，簡稱IQ)124和逆變換(Inverse Transformation，簡稱IT)126處理以恢復殘差。然後殘差在重構(REC)128被加回到預測資料136以重構視訊資料。重構的視訊資料可被存儲在參考圖片緩衝器134中以及用於其他幀的預測。
如第1A圖所示，輸入的視訊資料在編碼系統中經過一系列處理。由於一系列處理，來自REC 128的重構視訊資料可能會受到各種損害。因此，在重構視訊資料被存儲在參考圖片緩衝器134中之前，環路濾波器130通常被應用於重構視訊資料，以提高視訊品質。例如，去塊濾波器(deblocking filter,簡稱DF)、樣本適應性偏移(Sample Adaptive Offset，簡稱SAO)和適應性環路濾波器(Adaptive Loop Filter，簡稱ALF)可被使用。環路濾波器資訊可能需要被合併到位元流中，以便解碼器可以正確地恢復所需的資訊。因此，環路濾波器資訊也被提供至熵編碼器122以結合到位元流中。在第1A圖中，在重構樣本被存儲在參考圖片緩衝器134中之前，環路濾波器130被應用於重構的視訊。第1A圖中的系統旨在說明典型視訊編碼器的示例結構。它可以對應於高效視訊編解碼(High Efficiency Video Coding，簡稱HEVC)系統、VP8、VP9、H.264或VVC。
解碼器可以使用與編碼器相似或部分相同的功能塊，除了變換118和量化120，因為解碼器只需要逆量化124和逆變換126。解碼器使用熵解碼器140而不是熵編碼器122來將視訊位元流解碼為量化的變換係數和所需的編解碼資訊(例如，ILPF資訊、幀內預測資訊和幀間預測資訊)。解碼器側的幀內預測150不需要執行模式搜索。相反，解碼器只需要根據從熵解碼器140接收到的幀內預測資訊生成幀內預測。此外，對於幀間預測，解碼器只需要根據從熵解碼器140接收到的幀內預測資訊執行運動補償(MC 152)無需運動估計。
根據VVC，輸入圖片被劃分為稱為編解碼樹單元(Coding Tree unit，簡稱CTU)的非重疊方形塊區域，類似於HEVC。每個CTU可被劃分為一個或多個較小尺寸的編解碼單元(coding unit，簡稱CU)。生成的CU分區可以是正方形或矩形。此外，VVC將CTU劃分為預測單元(prediction unit，簡稱PU)作為一個單元來應用預測處理，例如幀間預測、幀內預測等。
VVC標準結合了各種新的編解碼工具，與HEVC標準相比，進一步提高了編解碼效率。在各種新的編解碼工具中，有些已經被標準採用，有些沒有。在新的編解碼工具中，一種名為範本匹配的技術被公開，用於導出當前塊的運動向量(motion vector，簡稱MV)。範本匹配簡要回顧如下。
範本匹配(Template Matching，簡稱TM)
範本匹配(TM)已在JVET-J0021中提出(Yi-Wen Chen,et al.,“Description of SDR,HDR and 360° video coding technology proposal by Qualcomm and Technicolor-low and high complexity versions”,Joint Video Exploration Team(JVET)of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11,10th Meeting：San Diego,US,10-20 Apr.2018,Document：JVET-J0021)。如第2圖中所示，範本匹配是一種解碼器端的MV推導方法，藉由找到當前圖片中的範本(即當前CU的頂部和/或左側相鄰塊)與的參考圖片中的塊之間的最接近的
匹配，以精確化當前塊的運動資訊。在第2圖中，當前圖片210中當前塊上方的像素行(row)214和當前塊212左側的像素列(column)216被選擇為範本。搜索從參考圖片中的初始位置(由初始MV230標識)開始。如第2圖所示，在參考圖像220中參考塊222上方的像素行224和參考塊222左側的像素列226的被識別。在搜索期間，將在不同位置的相同的“L”形參考像素(即224和226)與當前塊周圍範本中的相應像素進行比較。在搜索之後具有最小匹配失真的位置被確定。在該位置，具有最佳“L”形像素作為其頂部和左側相鄰(即最小失真)的塊被選擇作為當前塊的參考塊。
由於在編碼器側和解碼器側都執行基於範本匹配的精確化處理，因此解碼器可以在不需要來自編碼器側的訊號資訊的情況下導出MV。範本匹配處理藉由在局部搜索區域內(搜索範圍為[-8,8]整數像素精度)找到當前圖片中的當前範本(當前塊的頂部和/或左側相鄰塊)與參考範本(與當前範本大小相同)之間的最佳匹配來導出當前塊的運動資訊。
在高級運動向量預測或適應性運動向量預測(Advanced Motion Vector Prediction or Adaptive Motion Vector，簡稱AMVP)模式下，運動向量預測(Motion Vector Prediction，簡稱MVP)候選基於範本匹配誤差來確定，以選取當前塊與參考塊範本之間達到最小差值的MVP候選。然後TM僅對該特定的MVP候選執行MV精確化(即，圍繞初始MVP候選進行局部搜索)。TM使用反覆運算鑽石搜索(iterative diamond search)從[-8,+8]像素搜索範圍內的全像素運動像素差值(Motion Vector Difference，簡稱MVD)精度(或用於4-像素適應性運動向量解析度(Adaptive Motion Vector Resolution，簡稱AMVR)模式的4-像素)開始精確化該MVP候選。AMVP候選可以藉由使用具有全像素MVD精度(或用於4-像素AMVR模式的4-像素)的交叉搜索來進一步精確化，接著根據表1中指定的AMVR模式依次進行半像素和四分之一像素搜索。該搜索處
理保證MVP候選在TM處理之後仍然保持與AMVR模式指示的相同的MV精度。
在合併模式中，相似的搜索方法被應用於由合併索引指示的合併候選。如表1所示，TM可以一直執行到1/8-像素MVD精度或跳過超過半-像素MVD精度的那些，這取決於根據合併的運動資訊(如AltIF所示)可選插值濾波器(當AMVR為半-像素模式時被使用)是否使用。此外，當TM模式被啟用時，範本匹配可以作為獨立的處理，也可以作為基於塊和基於子塊的雙邊匹配(bilateral matching，簡稱BM)方法之間的額外的MV精確化處理，這取決於根據其啟用條件檢查(enabling condition check)BM是否被啟用。當CU同時啟
用BM和TM時，TM的搜索處理停止在半-像素MVD精度，以及得到的MV使用與解碼器側運動向量(Decoder-Side Motion Vector Refinement)相同的基於模型的MVD推導方法進一步被精確化。
根據傳統的TM MV精確化，如果當前塊使用來自相鄰塊的精確化MV，這可能導致嚴重的延遲問題。因此，需要解決延遲問題和/或提高TM精確化處理的性能。
一種用於視訊編碼系統的方法和裝置被公開，其利用低延遲範本匹配運動向量精確化。根據該方法，接收與當前圖片中的視訊單元的當前塊相關聯的輸入資料。然後根據初始運動向量(MV)運動補償被應用於當前塊以獲得當前塊的初始運動補償預測子。在對當前塊應用運動補償之後，範本匹配MV精確化被應用於當前塊以獲得當前塊的精確化的MV。然後當前塊使用包括精確化的MV的資訊進行編碼或解碼。該方法還可以包括確定初始運動補償預測子的梯度值。初始運動補償預測子可以藉由考慮初始運動補償預測子的梯度值和/或精確化的MV和初始MV之間的MV差值來調整。
在一實施例中，參考圖片中的邊界框被選擇以將範本匹配MV精確化和/或運動補償限制為僅使用邊界框內的參考像素。邊界框可以等於運動補償所需的區域。邊界框也可以大於運動補償所需的區域。例如，邊界框可以比區域大預定大小。如果用於範本匹配MV精確化和/或運動補償的目標參考像素在邊界框之外，則填充值可被用於目標參考像素。如果用於範本匹配MV精確化和/或運動補償的目標參考像素在邊界框之外，則目標參考像素也可以被跳過。
在一實施例中，梯度值的水平梯度、垂直梯度或兩者被計算。在一實施例中，初始MV對應於未精確化的MV。
110:幀內預測
112:幀間預測
114:開關
116:加法器
118:變換
120:量化
122:熵編碼器
124:逆量化
126:逆變換
128:REC
130:環路濾波器
134:參考圖片緩衝器
136:預測資料
140:熵解碼器
150:幀內預測
152:MC
210:當前圖片
212:當前塊
214:像素行
216:像素列
220:參考圖像
222:參考塊
224:“L”形參考像素
226:“L”形參考像素
230:初始MV
310:塊
320:塊
330:流程圖
332、334、336:步驟
401:當前CU
402:初始MV
410:運動補償
411:MC結果
420:梯度計算
421:梯度值
422:MVD
423:精確化的MV
430:按梯度值和MVD的精確化
431:精確化的MC結果
510:當前CU
512:當前CU外的L形範本
514:擴展L形範本
522:原始的外部L形範本
524:內部L形範本
530:參考圖片
532:同位CU
534:MV
610、620、630、640:步驟
第1A圖示出結合迴圈處理的示例適應性幀間/幀內視訊編解碼系統。
第1B圖示出第1A圖中的編碼器的對應解碼器。
第2圖示出範本匹配的示例，其中當前塊和參考塊上方的像素行以及當前塊和參考塊左側的像素列被選擇作為範本。
第3圖示出本發明的一個實施例，其中當前CU使用與相鄰塊的原始運動向量(MV)和精確化的MV相關的資訊來調整當前塊的精確化的MV或運動補償預測子。
第4圖示出根據本發明實施例的批次處理MC，TM和梯度精確化的處理流程的示例。
第5圖示出根據本發明實施例的擴展L形範本的示例。
第6圖示出根據本發明實施例的利用範本匹配運動向量精確化的示例性視訊編解碼系統的流程圖。
容易理解的是，如本文附圖中一般描述和說明的本發明的組件可以以各種不同的配置來佈置和設計。因此，如附圖所示，本發明的系統和方法的實施例的以下更詳細的描述並非旨在限制所要求保護的本發明的範圍，而僅僅代表本發明的所選實施例。本說明書中對“實施例”，“一些實施例”或類似語言的引用意味著結合實施例描述的具體特徵，結構或特性可以包括在本發明的至少一實施例中。因此，貫穿本說明書在各個地方出現的短語“在實施例中”或“在一些實施例中”不一定都指代相同的實施例。
此外，所描述的特徵，結構或特性可在一個或多個實施例中以任何合適的方式組合。然而，相關領域的習知技藝者將認識到，可在沒有一個或多個具體細節的情況下或者利用其他方法，組件等來實施本發明。在其他情況下，未示出或詳細描述公知的結構或操作，以避免模糊本發明的各方面。藉由參考附圖將最好地理解本發明的所示實施例，其中相同的部件自始至終由相同的數字表示。以下描述僅作為示例，並且簡單地說明了與如本文所要求保護的本發明一致的裝置和方法的一些選定實施例。
如前所述，TM精確化處理需要存取範本的參考資料。此外，根據傳統的TM MV精確化，如果當前塊使用來自相鄰塊的精確化MV，這可能會導致嚴重的延遲問題。因此，需要解決延遲問題和/或提高TM精確化處理的性能。為了解決這個問題，低延遲的TM搜索方法以及改進的TM搜索方法在以下被公開。
基於梯度的MV相鄰傳播
在TM實現中，如果當前CU使用相鄰的精確化MV作為起始初始MV，這會導致嚴重的延遲問題，因為當前CU的MV候選列表所需的MV候選直到前一個CU的MV精確化完成才能被生成。與決定當前CU的MV候選列表相關的延遲會導致編解碼系統變慢。此外，在硬體編解碼器中，在導出當前CU的MV之前，系統必須首先等待先前CU的MV精確化，然後開始從外部記憶體獲取搜索區域和運動補償(motion compensation，簡稱MC)的參考資料，例如動態隨機存取記憶體(Dynamic Random Access memory，簡稱DRAM)。因此，這會導致非常長的延遲。
為了解決與MV精確化相關的延遲問題，本發明提出了一種方法。在一實施例中，當前CU使用與相鄰CU之一相對應的未精確化的MV以及使用該未精確化的MV執行MV候選列表重構。因此，CU可以更快地重構相應的
MV，而無需等待MV精確化處理完成。如在諸如HEVC和VVC的現有視訊編解碼標準中已知的，MV候選列表包括各種類型的MV候選，例如來自當前塊的相鄰塊的空間MV候選和來自參考圖片中同位塊的時間MV候選。這些類型的MV候選可以用作初始MV，以及是未精確化的MV的示例。在對當前CU進行TM精確化和MC之後，與相鄰CU之一對應的相鄰精確化MV被用來調整當前精確化MV結果或MC結果。例如，如果當前CU最初使用頂部相鄰CU的MV，則當前CU現在將使用頂部相鄰CU的精確化MV進行調整。在又一實施例中，僅在對當前CU進行MC之後，與相鄰CU之一對應的相鄰精確化MV被用來調整MC結果，其中MC結果是當前塊的像素的運動補償預測塊或運動補償預測子。
所提出的方法的示例在第3圖中示出，其中塊310對應於當前CU以及塊320對應於先前CU。每個CU都有原始的MV(OriMV)和精確化的MV(RefMV)。CU的運動向量差值(motion vector difference，簡稱MVD)被定義為MVD=RefMV-OriMV。在流程圖330中示出根據本發明實施例的示例性處理。在步驟332中，先前CU的OriMV而不是RefMV被用來構建MV候選列表。因此，當前塊不需要等待精確化處理。在步驟334，TM搜索和MC，或僅MC被應用於當前CU。當先前CU的RefMV變得可用時，先前CU的MVD可以被確定以及用於當前CU的精確化或調整，如步驟336所示。基於MVD的MC結果(即，MC預測子)的調整取決於基於梯度的方法。如本領域所知，函數的梯度(也被稱為導數)被定義為函數的變化率。換句話說，函數(即MC預測子)的變化率取決於MV差值。
存在多個關於如何對當前CU執行相鄰CU的MV精確化的實施例(即，第3圖中的步驟336)。
在一實施例中，相鄰MV(命名為neiMV)的MVD被添加到當前CU的精確化結果中，其中MVD(命名為neiMVD)是先前CU的精確化的MV和
初始MV(或原始MV)之間的MV差值。在一實施例中，建議先執行一些縮放，然後將縮放的結果添加到當前CU的MV。例如，MV’=refMV+alpha*neiMVD，其中MV'是當前CU的調整後的MV，refMV是當前CU的TM精確化MV，neiMVD是相鄰CU的MVD，alpha是縮放因數。
alpha的值可以等於1。然而，alpha也可以取決於當前精確化的MV的模糊度。例如，如果在對當前CU執行TM搜索後在所有搜索點計算的失真都相似，那麼最佳位置處的失真不會比其他位置小很多(即更模糊)。在這種情況下，alpha被指定為1。如果當前的TM搜索顯示在最佳位置計算的失真遠低於在其他位置計算的失真(即模糊性較小)，則alpha被分配較小的值(例如，alpha=0.5或更低)。
在另一實施例中，當前CU的精確化MV(例如，在當前CU的TM精確化之後獲得)首先被添加到MVD'，其中MVD'對應於相鄰CU的MVD。如果新位置(即當前CU精確化MV+MVD')與添加MVD'之前的精確化MV相比具有更大的失真，則無需添加MVD'(即保持原始精確化結果)。在一實施例中，新位置處的失真根據TM失真(即參考範本和當前範本之間的差值)來評估。
在另一實施例中，減少與TM搜索和/或MC相關的延遲的方法與先前描述的方法類似。然而，建議調整MC結果，而不是調整精確化的MV，其中MC結果對應於在導出當前CU的精確化MV之後生成的MC預測子。在一實施例中，目標是獲得MC結果的調整(即，精確化MC預測子)。在一實施例中，精確化(或調整)藉由使用MC結果的水平和垂直梯度以及來自相鄰CU的MVD來獲得。
MC的批次處理->TM->梯度精確化
這種提出的方法的好處是減少延遲，從而可以並行進行MC和
MV精確化(即批次處理)。在提出的方法中，不是像在傳統的TM搜索演算法中那樣在MC之前執行當前CU的MV的精確化，而是在MV精確化之前執行MC。換句話說，首先初始MV被用來導出MC預測子，然後基於TM的MV精確化可被執行。如前所述，未精確化的MV被用作初始MV，這樣當前CU就不需要等待MV精確化處理的完成。
在一實施例中，當基於TM的MV精確化完成時，MVD(即，當前精確化的MV和初始MV之間的差值)可用於精確化MC預測子像素。在一實施例中，精確化可以基於MC結果的梯度值。
第4圖示出根據本發明實施例的批次處理MC、TM和梯度精確化的處理流程的示例。在第4圖中，當前CU 401和初始MV 402被提供作為運動補償410的輸入以生成MC結果411。梯度計算420使用MC結果411來生成梯度值421。另一方面，TM精確化被應用於具有初始MV 402的當前CU 402以導出精確化的MV 423。MVD 422可被計算為精確化的MV 423和初始MV 402之間的差值。MC結果、梯度值421和MVD 422提供至按梯度值和MVD的精確化(Refinement by Gradient and MVD)430以導出精確化的MC結果431。
該方法還可以與邊界框方法組合，其中邊界框用於限制對TM搜索和/或MC預測子的參考資料存取。在一實施例中，邊界框可以被定義為等於MC所需的區域。在另一實施例中，邊界框被擴展超出MC所需的區域(例如，比MC所需的區域大的預定大小)。在執行TM搜索和/或MC時，僅邊界框內的像素被使用。如果所需的像素在邊界框之外，則各種技術可被使用，例如跳過TM候選或填充邊界框之外的值。
下面描述所提出的方法的一個示例。作為第一步，傳統的MC根據當前CU的初始MV執行。由於當前CU的初始MV被使用，我們可以並行獲得多個CU的MC結果，而無需等待精確化結果。然後我們使用來自MC所需區域的
邊界框的參考像素(即用於插值MC結果的像素區域)來執行TM MV精確化。
如果TM精確化像素超出邊界框(即，在邊界框之外)，我們可以跳過候選像素或使用填充像素。在最後一步中，我們計算MC預測子的梯度值(水平梯度、垂直梯度或兩者)，以及使用梯度值和MV差值(精確化和初始MV之間)獲得MC結果的像素調整。
藉由預測子的擴展L形範本
當前CU(在當前圖片中)的原始L-範本通常包含當前CU之外的像素(通常與當前CU相鄰)。在這個提出的方法中，當前圖片的L-範本可以擴展到當前CU的內部。因此，它將包括塊的一些額外的內部L形像素。在所提出方法的一個實施例中，一些MC預測結果可以被添加到當前範本。換句話說，我們將一些MC預測子像素(沒有MV精確化，使用原始MV)和當前L-範本組合起來，形成一個新的當前L-範本。因此，與傳統的當前L-範本相比，新的當前L-範本將包含更多像素。然後，將新的當前L-範本與參考L-範本(被擴展為與當前L-範本相比相同的大小)進行比較。在一實施例中，與當前L-範本(即，當前CU的外部像素)組合的MC預測子的行(row)數為預先定義。在另一實施例中，該行數根據CU大小自我調整。在另一實施例中，該行數取決於當前圖片和參考圖片之間的圖片順序計數(picture order count，簡稱POC)距離。在另一實施例中，該行數取決於當前和/或參考圖片的時間Id(temporal Id，簡稱TId)(例如，隨著TId的增加而增加)。
第5圖示出根據本發明實施例的擴展L形範本的示例。虛線框510對應於當前CU。當前CU外的L形範本512對應於傳統的L形範本。擴展L形範本514是內部L形範本。由於當前CU的這些內部L形範本像素尚未被編解碼，因此它們從參考圖片中獲得。對應的CU 532(或同位CU)使用當前CU的MV 534來定位，其中MV 534從當前CU 510指向參考圖片530中的同位CU 532。來自同位
CU532的參考資料被獲取並被用作內部L形範本。參考範本還需要被擴展為包括原始的外部L形範本522和相應的內部L形範本524。
在一實施例中，為了使當前L範本更好(例如更好地匹配)，我們可以改進“組合的”範本(其中組合範本=外部像素L形+內部基於預測子的L形)。
下面描述一些實施例。當外部L範本來自重構的相鄰像素以及內部L範本來自MC預測時，如果這兩個範本部分之間存在不連續性，則這兩個範本部分之間像素應該被去除。
在一實施例中，濾波被應用於“組合的”當前L-範本。濾波處理可以是基於有限脈衝回應(finite-impulse-response)的線性濾波器或其他類型的濾波器。在對“組合的”範本進行濾波後，外部L範本和內部L範本之間的不連續性可被去除。
在另一實施例中，重構的殘差被添加到內部L-範本。在傳統解碼器中，殘差數據從解碼的頻域變換係數進行逆變換，以及被添加到MC結果中。在所提出方法的一個實施例中，我們可以將解碼的殘差樣本添加到內部L-範本中，以使內部-L-範本更加真實，以及消除外部和內部L-範本之間的不連續性。
在另一實施例中，幾個輪次的TM搜索被執行。在每一輪次中，組合的L範本是外部相鄰的重建像素加上由前一輪次的精確化MV獲得的內部MC預測子。在一實施例中，我們有兩個輪次的TM搜索；在第二輪次中，內部MC預測子(用於組合L形)將基於第一輪次的精確化MV結果獲得。這可以擴展到N個輪次的情況，其中在第N輪次中：組合的L=外部重構+內部MC(根據RefMV(N-1)的MC)。
在上述等式中，refMV(N-1)是在第(N-1)輪次的TM搜索之後的精確化MV結果。在另一實施例中，輪次數在編碼器側被決定，以及關於輪
次數的資訊被發送至解碼器(例如，在片段/圖片報頭或PPS中對每個CU發送)。在另一實施例中，輪次數取決於當前和/或參考幀的POC距離/Tid，或CU大小。
僅搜索一個列表MVP
在JVET-U0100中公開的TM-AMVP演算法中(Yao-Jen Chang,et al.,“Compression efficiency methods beyond VVC”,Joint Video Exploration Team(JVET)of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11,21st Meeting,by teleconference,6-15 Jan.2021,Document：JVET-U0100)，當雙向預測被使用時，對L0和L1 MVP候選都執行TM。為了減少外存頻寬，建議只對L0或L1進行TM，對其他(相反的)列表不進行TM。
在另一實施例中，當執行單雙轉換時，建議僅精確化“假”MVP。因為在轉換處理中，單向-MVP只是被還原(即使用-MVP或負MVP)以及refIdc總是被分配為0，而不管真正的單向-MVP的refIdc。因此，“假”MVP的精確度較低，比“原始”單向-MVP更需要精確化。
範本匹配MV精確化可以用作幀間預測技術來導出MV。範本匹配MV精確化也可用於精確化初始MV。因此，範本匹配MV精確化處理被認為是幀間預測的一部分。因此，上述提出的與範本匹配相關的方法可以在編碼器和/或解碼器中實現。例如，所提出的方法可以在編碼器的幀間編解碼模組(例如，第1A圖中的幀間預測112)和/或解碼器的幀間編解碼模組(例如，第1B圖中的MC 152)中實現。
第6圖示出根據本發明實施例的利用範本匹配(TM)運動向量(MV)精確化的示例性視訊編碼系統的流程圖。流程圖中所示的步驟可以實現為在編碼器側的一個或多個處理器(例如，一個或多個CPU)上可執行的程式碼。流程圖中所示的步驟也可以基於硬體來實現，例如一個或多個電子設備或處理器，這些電子設備或處理器被佈置為執行流程圖中的步驟。根據該方法，
在步驟610中，與當前圖片中的視訊單元的當前塊相關聯的輸入資料被接收。在步驟620中，根據初始運動向量，運動補償被應用於當前塊以獲得當前塊的初始運動補償預測子。在步驟630中，在將運動補償應用於當前塊之後，範本匹配MV精確化被應用於當前塊，以獲得當前塊的精確化的MV。在步驟640中，包括精確化的MV的資訊被用來編碼或解碼當前塊。
所示流程圖旨在說明根據本發明的視訊編解碼的示例。本領域技術人員在不脫離本發明的精神的情況下，可以修改每個步驟、重新排列步驟、拆分步驟或組合步驟來實施本發明。在本公開中，特定的語法和語義被用來說明示例以實現本發明的實施例。技術人員可藉由用等效的語法和語義代替上述語法和語義來實施本發明，而不背離本發明的精神。
呈現上述描述是為了使本領域普通技術人員能夠實施在特定應用及其要求的上下文中提供的本發明。對所描述的實施例的各種修改對於本領域技術人員來說將是顯而易見的，並且本文定義的一般原理可以應用於其他實施例。因此，本發明不旨在限於所示和描述的特定實施例，而是要符合與本文公開的原理和新穎特徵相一致的最寬範圍。在以上詳細描述中，為了提供對本發明的透徹理解，說明了各種具體細節。然而，本領域的技術人員將理解，本發明可被實施。
如上所述的本發明的實施例可以以各種硬體、軟體代碼或兩者的組合來實現。例如，本發明的一個實施例可以是集成到視訊壓縮晶片中的一個或多個電路電路或集成到視訊壓縮軟體中以執行本文描述的處理的程式碼。本發明的實施例還可以是要在數位訊號處理器(Digital Signal Processor，簡稱DSP)上執行以執行這裡描述的處理的程式碼。本發明還可以涉及由電腦處理器、數位訊號處理器、微處理器或現場可程式設計閘陣列(field programmable gate array，簡稱FPGA)執行的許多功能。這些處理器可以被配置為藉由執行定義本
發明所體現的特定方法的機器可讀軟體代碼或韌體代碼來執行根據本發明的特定任務。軟體代碼或韌體代碼可以以不同的程式設計語言和不同的格式或樣式開發。軟體代碼也可以對不同的目標平臺進行編譯。然而，軟體代碼的不同代碼格式、風格和語言以及配置代碼以執行根據本發明的任務的其他方式將不脫離本發明的精神和範圍。
在不背離其精神或本質特徵的情況下，本發明可以以其他特定形式體現。所描述的示例在所有方面都僅被認為是說明性的而不是限制性的。因此，本發明的範圍由所附申請專利範圍而不是由前述描述指示。在申請專利範圍的等效含義和範圍內的所有變化都應包含在其範圍內。
610、620、630、640:步驟
Claims (13)
- 一種視訊編解碼方法，該方法包括：接收輸入資料，該輸入資料與一當前圖片中的一視訊單元的一當前塊相關聯；根據一初始運動向量將運動補償應用於該當前塊以獲得該當前塊的多個初始運動補償預測子；確定該等初始運動補償預測子的多個梯度值；在將該運動補償應用於該當前塊之後，將範本匹配運動向量精確化應用於該當前塊，以獲得該當前塊的一精確化的運動向量；以及使用包括該精確化的運動向量的資訊對該當前塊進行編碼或解碼。
- 如申請專利範圍第1項所述之視訊編解碼方法，其中，對該當前塊進行編碼或解碼包括：基於資訊來調整該等初始運動補償預測子以生成調整的運動補償預測子，該資訊包括該等初始運動補償預測子的多個梯度值或該精確化的運動向量與該初始運動向量之間的一運動向量差值。
- 如申請專利範圍第2項所述之視訊編解碼方法，其中，該等初始運動補償預測子基於該運動向量差值進行調整。
- 如申請專利範圍第2項所述之視訊編解碼方法，其中，該等初始運動補償預測子基於該等初始運動補償預測子的該等梯度值進行調整。
- 如申請專利範圍第1項所述之視訊編解碼方法，其中，一參考圖片中的一邊界框被選擇以將該範本匹配運動向量精確化和/或該運動補償限制為僅使用該邊界框內的多個參考像素。
- 如申請專利範圍第5項所述之視訊編解碼方法，其中，該邊界框等於該運動補償所需的一區域。
- 如申請專利範圍第5項所述之視訊編解碼方法，其中，該邊 界框大於該運動補償所需的一區域。
- 如申請專利範圍第7項所述之視訊編解碼方法，其中，該邊界框比該區域大一預定大小。
- 如申請專利範圍第5項所述之視訊編解碼方法，其中，如果用於該範本匹配運動向量精確化和/或該運動補償的一目標參考像素在該邊界框之外，則一填充值用於該目標參考像素。
- 如申請專利範圍第5項所述之視訊編解碼方法，其中，如果用於該範本匹配運動向量精確化和/或該運動補償的一目標參考像素在該邊界框之外，則該目標參考像素被跳過。
- 如申請專利範圍第1項所述之視訊編解碼方法，其中，該等初始運動補償預測子的該等梯度值的水平梯度、垂直梯度或兩者被計算。
- 如申請專利範圍第1項所述之視訊編解碼方法，其中，該初始運動向量對應於一未精確化的運動向量。
- 一種視訊編解碼裝置，該裝置包括一個或多個電子電路或處理器，其被佈置為：接收輸入資料，該輸入資料與一當前圖片中的一視訊單元的一當前塊相關聯；根據一初始運動向量將運動補償應用於該當前塊以獲得該當前塊的多個初始運動補償預測子；確定該等初始運動補償預測子的多個梯度值；在將該運動補償應用於該當前塊之後，將範本匹配運動向量精確化應用於該當前塊，以獲得該當前塊的一精確化的運動向量；以及使用包括該精確化的運動向量的資訊對該當前塊進行編碼或解碼。
Applications Claiming Priority (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US202163234736P | 2021-08-19 | 2021-08-19 | |
| US63/234,736 | 2021-08-19 | ||
| WOPCT/CN2022/113409 | 2022-08-18 | ||
| PCT/CN2022/113409 WO2023020590A1 (en) | 2021-08-19 | 2022-08-18 | Method and apparatus for hardware-friendly template matching in video coding system |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| TW202310625A TW202310625A (zh) | 2023-03-01 |
| TWI836563B true TWI836563B (zh) | 2024-03-21 |
Family
ID=85239550
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| TW111131309A TWI836563B (zh) | 2021-08-19 | 2022-08-19 | 視訊編解碼方法和裝置 |
Country Status (3)
| Country | Link |
|---|---|
| CN (1) | CN118435601A (zh) |
| TW (1) | TWI836563B (zh) |
| WO (1) | WO2023020590A1 (zh) |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TW202005392A (zh) * | 2018-04-02 | 2020-01-16 | 聯發科技股份有限公司 | 用於視訊編解碼系統中的子塊運動補償的視訊處理方法和裝置 |
| TW202127885A (zh) * | 2019-11-27 | 2021-07-16 | 聯發科技股份有限公司 | 視訊編解碼系統中的視訊處理方法和裝置 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110115032B (zh) * | 2016-12-22 | 2021-07-20 | 联发科技股份有限公司 | 用于视频编解码的运动细化的方法以及装置 |
| EP4300967A3 (en) * | 2017-06-30 | 2024-04-10 | Huawei Technologies Co., Ltd. | Error resilience and parallel processing for decoder side motion vector derivation |
| US11962796B2 (en) * | 2019-04-01 | 2024-04-16 | Qualcomm Incorporated | Gradient-based prediction refinement for video coding |
-
2022
- 2022-08-18 CN CN202280068528.5A patent/CN118435601A/zh active Pending
- 2022-08-18 WO PCT/CN2022/113409 patent/WO2023020590A1/en active Application Filing
- 2022-08-19 TW TW111131309A patent/TWI836563B/zh active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TW202005392A (zh) * | 2018-04-02 | 2020-01-16 | 聯發科技股份有限公司 | 用於視訊編解碼系統中的子塊運動補償的視訊處理方法和裝置 |
| TW202127885A (zh) * | 2019-11-27 | 2021-07-16 | 聯發科技股份有限公司 | 視訊編解碼系統中的視訊處理方法和裝置 |
Also Published As
| Publication number | Publication date |
|---|---|
| TW202310625A (zh) | 2023-03-01 |
| CN118435601A (zh) | 2024-08-02 |
| WO2023020590A1 (en) | 2023-02-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| TWI735172B (zh) | 用於多個工具的互相排斥設定 | |
| TWI700922B (zh) | 用於視訊編解碼系統中的子塊運動補償的視訊處理方法和裝置 | |
| TWI674794B (zh) | 用於視訊編解碼的運動細化的方法以及裝置 | |
| US11902563B2 (en) | Encoding and decoding method and device, encoder side apparatus and decoder side apparatus | |
| JP7171770B2 (ja) | 動きベクトル精密化および動き補償のためのメモリアクセスウィンドウおよびパディング | |
| TWI738248B (zh) | 運動細化以及子分區基礎填充的視訊處理的方法以及裝置 | |
| JP2023104952A (ja) | 動きベクトルの精緻化のための制限されたメモリアクセスウィンドウ | |
| TWI847227B (zh) | 視頻編解碼系統中低延遲模板匹配的方法和裝置 | |
| TWI836563B (zh) | 視訊編解碼方法和裝置 | |
| US20240357081A1 (en) | Method and Apparatus for Hardware-Friendly Template Matching in Video Coding System | |
| TWI830337B (zh) | 用於視頻編解碼系統中硬件友好模板匹配的方法和裝置 | |
| TWI853412B (zh) | 用於視頻編解碼的仿射編碼塊導出合併候選的方法和裝置 | |
| US20240357084A1 (en) | Method and Apparatus for Low-Latency Template Matching in Video Coding System | |
| US20240357153A1 (en) | Method and Apparatus for Hardware-Friendly Template Matching in Video Coding System | |
| US20240357083A1 (en) | Method and Apparatus for Low-Latency Template Matching in Video Coding System | |
| TWI852465B (zh) | 視訊編解碼方法及相關裝置 | |
| TW202402059A (zh) | 視訊編解碼方法和裝置 | |
| TW202349959A (zh) | 使用ｍｖｄ合併模式來降低視頻編解碼複雜度的方法和裝置 | |
| TW202408243A (zh) | 用於視頻編解碼的解碼器側運動向量優化和雙向光流的方法和裝置 | |
| TW202349962A (zh) | 使用具有運動向量差的合併模式的視訊編解碼方法和裝置 | |
| TW202410696A (zh) | 使用合併ｍｖｄ模式降低視頻編碼複雜性的方法和裝置 | |
| TW202341741A (zh) | 視訊編解碼方法及相關裝置 | |
| TW202349963A (zh) | 視訊編解碼系統中運動向量差的合併模式對候選進行重新排序的方法和裝置 |