TW202408232A - 更新合併候選的運動屬性 - Google Patents

更新合併候選的運動屬性 Download PDF

Info

Publication number
TW202408232A
TW202408232A TW112121056A TW112121056A TW202408232A TW 202408232 A TW202408232 A TW 202408232A TW 112121056 A TW112121056 A TW 112121056A TW 112121056 A TW112121056 A TW 112121056A TW 202408232 A TW202408232 A TW 202408232A
Authority
TW
Taiwan
Prior art keywords
merge candidate
merge
list
prediction
motion
Prior art date
Application number
TW112121056A
Other languages
English (en)
Inventor
曾馨儀
蕭裕霖
徐志瑋
Original Assignee
聯發科技股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 聯發科技股份有限公司 filed Critical 聯發科技股份有限公司
Publication of TW202408232A publication Critical patent/TW202408232A/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本發明提供一種透過修改運動屬性來改進合併模式預測的方法。視訊編解碼器接收作為視訊的當前圖像的當前區塊待編碼或解碼的像素區塊的資料。視訊編解碼器生成當前區塊的合併候選清單。視訊編解碼器透過將合併候選的運動屬性從第一值改變為第二值，修改合併候選清單。視訊編解碼器標示或接收從已修改合併候選清單中選擇合併候選。視訊編解碼器使用已選擇合併候選對當前區塊進行編碼或解碼。運動屬性可以是畫面間預測方向、參考索引、具有編解碼單元層權重的雙預測索引、局部照明補償標誌、使用的半像素濾波器或多假設預測權重索引。

Description

更新合併候選的運動屬性
本發明通常涉及視訊編解碼。並且更具體地，涉及透過運動資訊對像素區塊進行編解碼的方法。
除非此處有額外說明，本節所描述的方法不屬於下列申請專利範圍的習知技術，方法也不因被包括於本節中而被承認為習知技術。
高效視訊編解碼（High-Efficiency Video Coding，HEVC）是由視訊編解碼的聯合合作團隊（Joint Collaborative Team on Video Coding，JCT-VC）開發的國際視訊編解碼標準。HEVC是基於基於混合區塊的運動補償DCT類變換編解碼架構。壓縮的基本單元稱為編解碼單元（coding unit，CU），是2N×2N的正方形像素區塊，每一CU可以遞迴地分成四個更小的CU，直到達到預定義的最小大小。每一CU包含一個或複數個預測單元（prediction unit，PU）。
多功能視訊編解碼（Versatile video coding，VVC）是由ITU-T SG16 WP3和ISO/IEC JTC1/SC29/WG11聯合視訊專家組（Joint Video Expert Team，JVET）開發的最新國際視訊編解碼標準。輸入視訊訊號是從已重構訊號中預測得到的，已重構訊號是從已編解碼的圖像區域中推導得到的。預測殘差訊號是由區塊變換進行處理的。變換係數與位元流中的其他邊資訊一起進行量化和熵編解碼。已重構訊號是在對已去量化的變換係數進行逆變換後，從預測訊號和已重構殘差訊號中生成的。已重構訊號還透過環路濾波進行處理，用於移除編解碼偽影。已解碼圖像被存儲在幀暫存器中，用於預測輸入視訊訊號中的未來圖像。
在VVC中，已編解碼圖像被分割成由相關編解碼樹單元（coding tree unit，CTU）表示的不重疊的正方形區塊區域。編解碼樹的葉節點對應於編解碼單元（CU）。已編解碼圖像可以由切片的集合表示，每一切片包括整數個CTU。切片中的各個CTU按光柵掃描順序進行處理。使用畫面內預測或最多兩個運動向量和參考索引的畫面間預測，以預測每個區塊的樣本值，而使得雙預測（bi-predictive，B）切片可以被解碼。使用畫面內預測或最多一個運動向量和參考索引的畫面間預測，以預測每區塊的樣本值，而使得預測（P）切片可以被解碼。僅使用畫面內預測，畫面內（I）切片被解碼。
使用具有嵌套的多類型樹（MTT）結構的四叉樹（quadtree，QT），可以將CTU分割為一個或複數個不重疊的編解碼單元（CU），以適應各種局部運動特徵和紋理特徵。使用五種劃分類型：四叉樹分割、垂直二叉樹分割、水平二叉樹分割、垂直中心側三叉樹分割、水平中心側三叉樹分割中的一種，將CU進一步劃分為更小的CU。
每一CU包含一個或複數個預測單元（PU）。預測單元與相關的CU語法一起作為基本單元，以用於標示預測子資訊。使用指定的預測過程來預測PU內相關像素樣本的值。每一CU可以包含一個或複數個表示預測殘差區塊的變換單元（TU）。變換單元（TU）包括亮度樣本的一個變換區塊（TB）和色度樣本的兩個相應的變換區塊，每一TB對應一個顏色分量的一個殘差區塊樣本。將整數變換應用於變換區塊。已量化係數的層值與其他邊資訊一起在位元流中進行熵編解碼。術語：編解碼樹塊（coding tree block, CTB）、編解碼區塊（coding block, CB）、預測區塊（prediction block, PB）、變換區塊（transform block, TB）被定義，以指定分別與CTU、CU、PU、TU相關的一個顏色分量的2D樣本陣列。因此，一個CTU包括一個亮度CTB、兩個色度CTB和相關的語法元素。類似的關係也適用於CU、PU和TU。
對於每一已畫面間預測的CU，包括運動向量、參考圖像索引和參考圖像清單使用索引的運動參數以及附加資訊用於生成已畫面間預測樣本。運動參數可以以顯式或隱式的方式被標示。當使用跳躍模式對CU進行編解碼時，CU與一個PU相關，並沒有顯著的殘差係數，沒有編解碼的運動向量差或參考圖像索引。合併模式被指定，其中當前CU的運動參數從相鄰CU獲得，包括空間候選和時間候選，以及VVC中引入的附加排程。合併模式可以應用於任何已畫面間預測CU。合併模式的替代是運動參數的顯式傳輸，其中運動向量、每一參考圖像清單相應的參考圖像索引和參考圖像清單使用標誌以及其他所需的資訊是對每一CU而進行顯式標示。
以下發明內容僅是說明性的，不打算以任何方式加以限制。也就是說，以下發明內容被提供以介紹此處所描述的新且非顯而易見的技術的概念、重點、好處和優勢。僅對選定而不是所有的實施方式在下面的詳細說明中進行進一步描述。因此，以下發明內容不用於確定所要求主題的本質特徵，也不用於確定所要求主題的範圍。
本發明的一些實施方式提供了一種透過修改運動屬性來改進合併模式預測的方法。視訊編解碼器接收作為視訊的當前圖像的當前區塊的待編碼或解碼的像素區塊的資料。視訊編解碼器生成當前區塊的合併候選清單。視訊編解碼器透過將合併候選的運動屬性從第一值改變為第二值，修改合併候選清單。視訊編解碼器從已修改合併候選清單中標示或接收已選擇複數合併候選。視訊編解碼器透過使用已選擇合併候選對當前區塊進行編碼或解碼。
在一些實施方式中，當改變第一合併候選的運動屬性，將使用第一合併候選對當前區塊進行編碼的已估計成本提高超過閾值時，合併候選清單被修改。在一些實施方式中，已估計成本是透過確定（i）與當前區塊相鄰的當前範本區域和（ii）與由第一合併候選標識的參考區塊相鄰的參考範本區域之間的差而計算的範本匹配（Template Matching, TM）成本。在一些實施方式中，編碼器計算合併候選清單中的每個合併候選的TM成本，並根據清單中的複數個合併候選的複數個已計算範本匹配成本，對清單進行重新排序。選擇合併候選是基於已重新排序清單的。
在一些實施方式中，合併候選清單是透過添加具有已修改運動屬性的第二合併候選而修改的。在一些實施方式中，合併候選清單是透過替換第一合併候選為具有已修改運動屬性的第二合併候選而修改的。
正在被改變的運動屬性可以是畫面間預測方向、參考索引、具有編解碼單元（Coding Unit, CU）層權重的雙預測（Bi-prediction with CU-level Weight, BCW）索引、局部照明補償（Local Illumination Compensation, LIC）標誌、使用的半像素濾波器或多假設預測（Multi-Hypothesis Prediction, MHP）權重索引。在一些實施方式中，編碼器透過將參考索引從標識第一參考圖像改變為標識第二參考圖像，改變第一合併候選的運動屬性。編碼器可以透過基於第一參考圖像的圖像序號（Picture Order Count, POC）距離和第二參考圖像的圖像序號（Picture Order Count, POC）距離縮放運動向量，改變第一合併候選的運動屬性。在一些實施方式中，編碼器透過改變雙預測權重索引（例如，BCW索引）來改變第一合併候選的運動屬性，以選擇用於組合第一（例如，L0）畫面間預測和第二（例如，L1）畫面間預測的不同權重。
在下面詳細的說明書中，為了透徹理解相關教示內容，通過舉例的方式進行說明大量具體的細節。基於本文所描述的教示內容的任何改變、推導和/或拓展均在本發明的保護範圍內。在一些例子中，為了避免不必要地混淆本發明的教示內容的方面，在相對較高的級別而無細節上描述關於此處所公開的一個或者複數個示例性實施方式的已知的方法、程式、元件和/或電路。 I. 合併候選的運動屬性
初始為當前區塊（當前正在被編碼或解碼的像素區塊）構建合併候選清單時，該清單包括預定合併候選集。每個預定合併候選具有運動屬性集，可以包括（但不限於）候選的畫面間預測方向（單/雙預測）、一個或複數個參考索引、具有編解碼單元（Coding Unit, CU）層權重的雙預測（Bi-prediction with CU-level Weight, BCW）索引、局部照明補償（Local Illumination Compensation, LIC）標誌、使用的半像素濾波器、多假設預測（Multi-Hypothesis Prediction, MHP）權重索引等。
A. 具有 CU 層權重的雙預測（ Bi-prediction with CU-level Weight, BCW ）
BCW是一種用於增強雙向預測的編解碼工具。BCW允許在組合L0預測和L1預測以產生CU的雙預測之前將不同的權重應用於L0預測和L1預測。對於由BCW編解碼的CU，權重參數w被標示，以用於L0預測和L1預測，由此，根據以下公式，基於w計算雙向預測結果P bi-pred。
P bi-pred = ((8 – w) * P 0+ w* P 1+ 4) ＞＞ 3
P 0表示由L0 MV（或L0預測）預測的像素值。P 1表示由L1 MV（或L1預測）預測的像素值。P bi-pred是P 0和P 1根據w的加權平均值。對於低延遲圖像，即使用具有小圖像序號（Picture Order Count, POC）的參考框的圖像，w的可能值包括{-2，3，4，5，10}，這些也被稱為BCW候選權重。對於非低延遲圖像，w（BCW候選權重）的可能值包括{3，4，5}。在一些實施方式中，對於合併模式，權重從{-2，3，4，5，10}擴展到{-4，-3，-2，-1，1，2，3，5，6，7，9，10，11，12}或以上的任何子集。當負的雙預測權重不被支援時，合併模式的權重從{-2，3，4，5，10}擴展到{1，2，3，4，5，6，7}。此外，非合併模式的負雙預測權重被替換為正權重，也就是說，權重{-2，10}被替換為{1，7}。
B. 局部照明補償（ Local Illumination Compensation, LIC ）
LIC是一種畫面間預測技術，用於將當前區塊與其預測區塊之間的局部照明變化建模為當前區塊範本與參考區塊範本之間的局部照明變化的函數。該函數的參數可以用縮放 α和偏移 β表示，由此形成了線性方程，即 α*p[x]+ β，以補償照明變化。其中，p[x]是由MV所指向的參考圖像上的位置x處的參考樣本。在一些實施方式中，由於參數 α和 β可以基於當前區塊範本和參考區塊範本推導出，因此它們不需要標示開銷(signaling overhead)。視訊編碼器可以標示LIC標誌，以使能或禁能LIC的使用。
C. 多假設預測（ Multi-Hypothesis Prediction, MHP ）
在多假設畫面間預測模式中，除了傳統的雙預測訊號之外，一個或複數個額外的運動補償預測訊號被標示。透過按樣本加權疊加獲得所得到的總預測訊號。利用雙預測訊號 p bi 和第一額外畫面間預測訊號/假設 h 3 ，根據以下公式獲得所得到的預測訊號 p 3 ： p 3 = (1– ) p bi + h 3
權重因數 由編解碼視訊的位元元流中的語法元素add_hyp_weight_idx指定（例如，add_hyp_weight_idx=0， =4；add_hyp-weight_idx=1， =–1/8）。
在一些實施方式中，可以使用多於一個的額外的預測訊號。最終生成的總體預測訊號是通過每個額外的預測訊號迭代累加得到的。 p n+ 1 = (1 - n+1 ) p n+ n+1 h n+1
最後的 （即，具有最大索引 的 ）為所得到的總體預測訊號。在一些實施方式中，可以使用多達兩個額外的預測訊號（即， 被限制為2）。每個額外的預測假設的運動參數可以透過指定參考索引、運動向量預測子索引、和運動向量差來顯式地進行標示，或者透過指定合併索引來隱式地進行標示。單獨的多假設合併標誌可以區分這兩種標示模式。 II. 更新合併候選的運動屬性
為了提高視訊編解碼效率，本發明的一些實施方式提供了一種可以改變或更新合併候選的運動屬性的方法。這與以預定方式獲得合併候選形成對比，其中運動屬性保持不變。
在一些實施方式中，作為運動屬性的合併候選的畫面間預測方向可以被改變。例如，具有L0預測和L1預測的雙預測合併候選可以被改變為僅具有L0預測的候選，和/或僅具有L1預測的候選。可以將僅具有L0預測或僅具有L1預測的候選改變為具有L0預測和L1預測的候選。
在一些實施方式中，作為運動屬性的合併候選的參考索引可以被改變。根據縮放因數，其是基於參考圖像和當前圖像之間的圖像序號（Picture Order Count, POC）距離來確定的，合併候選的運動向量可以被縮放。（POC是分配給視訊序列中各個圖像的索引，以指示它們在視訊中的時間順序或時間位置）。第1圖示出了改變當前圖像100中的當前區塊101的合併候選的參考索引。合併候選初始（當被預定義時）具有參考索引，定位參考圖像110（curr_ref），其距離當前圖像100 POC距離tb。已改變參考索引定位不同的參考圖像120（new_ref），其距離當前圖像100 POC距離td。基於縮放因數td/tb，初始參考參考圖像110中的樣本的運動向量MV變成已縮放運動向量MV’，以參考參考圖像120中的樣本。
在一些實施方式中，可以改變參考索引，從而目標參考圖像可以被改變為可用參考清單（例如，L0參考清單、L1參考清單）中的任意參考圖像。例如，L0參考索引1參考圖像可以被改變為L0參考索引0參考圖像，或者L1參考索引1參考圖像。因此，對於具有帶有參考索引（RefIdx_L0，RefIdx_L1）的雙預測運動向量的運動屬性的合併候選，RefIdx_L0或RefIdx_L1-可以被改變為0到N-1之間的任意值，其中，N是L0參考清單和L1參考清單的長度。因此，合併候選的參考索引可以改變為（0，0）、（0，1）、…、（0，N-1）、（1，0），（1，1），…、（1，N-1）、……（N-1，N-1）中的任意一個。對於具有帶有參考索引（RefIdx）和參考清單（RefList=Li，i=0或1）的單預測運動向量的運動屬性的合併候選，RefList可以被改變為L0或L1。RefIdx可以改變為0到N-1之間的任意值，其中，N是L0參考清單和L1參考清單的長度。因此，合併候選的參考索引和參考清單可以被改變為（0，L0）、（1，L0）、…、（N-1，L0）、（0，L1）、（1，L1）、…、（N-1，L1）中任意一個。
在一些實施方式中，參考索引僅允許被改變為縮放因數（基於POC）不大於1的圖像。在一些實施方式中，在L0參考清單和L1參考清單相同，並且新的畫面間預測方向是雙預測的情況下，僅當新的L0參考圖像和新的L1參考圖像（由已改變L0參考索引和已改變L1參考索引指示）是兩個不同的圖像時，允許L0參考索引和L1參考索引改變。例如，在低延遲雙預測 (low-delay bi-prediction) 配置中，參考清單中的參考圖像的POC均小於當前圖像的POC，並且L0參考清單與L1參考清單相同。
一些實施方式中，在以隨機接入(random access)配置對視訊進行編解碼，並且新的畫面間預測方向是雙預測的情況下，僅當由已改變索引所指示的新參考圖像提供真實的雙預測（例如新L0參考圖像和新L1參考圖像相對於當前圖像在相反的時間方向上）時，允許兩個參考索引改變。當以隨機訪問配置對視訊進行編解碼時，參考清單中的參考圖像的POC可以小於或大於當前圖像的POC。在一些其他實施方式中，僅當由已改變參考索引所指示的新參考圖像保持在相同的參考清單中時，允許參考索引改變。例如，如果由RefIdxL0表示的參考索引指定L0參考清單中使用的參考圖像，則新的RefIdxL0也指定L0參考清單中使用的參考圖像。
在一些實施方式中，作為運動屬性的由合併候選的BCW索引指示的BCW權重可以被改變。BCW索引值可以在當前視訊編解碼設置中的允許值中進行選擇。在一些實施方式中，BCW索引可以被改變以指示相等的權重，或者被改變為任何其他BCW索引。在一些實施方式中，僅當BCW索引指示不相等的權重時，合併候選的BCW索引可以被改變（為指示相等權重的BCW索引或指示不相等權重的另一BCW索引）。在一些實施方式中，當合併候選的BCW索引指示正值時，僅允許BCW索引被改變以指示另一個正值。
在一些實施方式中，合併候選的LIC標誌可以被改變。LIC標誌可以從真（例如，指示LIC已使能）被改變為假（例如，表示LIC已禁能），反之亦然。
在一些實施方式中，作為運動屬性的合併候選所使用的半像素濾波器可以被改變。例如，對於半亮度樣本位置，合併候選可以從使用6抽頭插值濾波器被改變為使用默認的8抽頭插值濾波器，反之亦然。
在一些實施方式中，作為運動屬性的合併候選所使用的MHP權重索引可以被改變。例如，MHP權重索引可以從0被改變為1，反之亦然。 III. 更新合併候選清單
在一些實施方式中，對於合併候選清單中的每個預定候選，基於範本匹配（Template Matching, TM）成本評估，可以改變候選的運動屬性。具體地，在一些實施方式中，如果改變預定合併候選的運動屬性所導致的TM成本，比具有原始運動屬性的預定合併候選的TM成本小於閾值，預定合併候選被替換為具有已改變運動屬性的已更新合併候選。第2圖概念性地示出了基於TM成本更新合併候選的運動屬性。
如圖所示，正在被編解碼的當前區塊的合併候選清單250初始由預定合併候選251-256填充。每個合併候選可以具有運動屬性集，其可以包括候選的畫面間預測方向、一個或複數個參考索引、BCW索引、LIC標誌、使用的半像素濾波器、MHP權重索引等。在該示例中，預定合併候選254（合併候選4）具有運動屬性集，記為屬性A。視訊編解碼器檢查合併候選254的屬性A的若干可能的改變，包括屬性A’和屬性A’’。
範本匹配過程220被用於計算原始的預定合併候選254以及已修改合併候選261和已修改合併候選262的TM成本。（已修改合併候選261具有已修改運動屬性A’，而已修改合併候選262具有已修改運動屬性A”）。基於所計算的TM成本，成本比較過程230被用於確定是否將合併候選254替換/更新/修改為具有已改變運動屬性的已修改合併候選。在該示例中，合併候選254被替換為已修改合併候選261（具有屬性A’）。
在一些實施方式中，如果已修改合併候選（例如，261和262）的TM成本沒有比原始的預定合併候選254的TM成本小了超過閾值，則不替換或修改原始的預定合併候選254。相反，如果已修改合併候選的TM成本比原始的預定合併候選254的TM成本小了超過閾值，則已修改合併候選（在該示例中為261）可以替換合併候選清單250中的原始的預定合併候選254。
在一些實施方式中，基於清單中的候選的TM成本，對已更新合併候選清單260進行候選重新排序過程。在一些實施方式中，根據下面第IV節節中描述的TM過程來執行重新排序過程。
在一些實施方式中，為了創建合併候選清單，除了預定合併候選之外，具有已改變運動屬性的合併候選也被添加到合併候選清單中。在一些實施方式中，這樣的合併候選清單具有預定大小的上限。然後可以對所創建的合併候選清單執行TM過程，該合併候選清單包括具有已改變運動屬性的候選。
第3圖概念性地示出了將預定候選和具有已改變運動屬性的新合併候選添加到合併候選清單中。在該示例中，當前區塊的合併候選清單350原始具有預定合併候選351-356，每個合併候選具有原始運動屬性集。然後，視訊編解碼器將新的合併候選362、364和365添加到合併候選清單350中（以形成已更新合併候選清單360）。添加的新合併候選362、364和365分別具有預定合併候選352、354和355的已修改運動屬性（B’、D’、E’）。
在一些實施方式中，預定候選和具有已改變運動屬性的候選以一些預定順序被添加到合併候選清單中。例如，在一些實施方式中，在添加具有已改變運動屬性的所有候選之前，可以先將預定候選添加到清單中。又例如，可以將第一預定候選和從該第一預定候選創建的具有已改變運動屬性的候選作為第一組添加到清單中，然後將第二預定候選和從該第二預定候選創建的具有已改變運動屬性的候選作為第二組添加到清單中，等等。
在一些實施方式中，當更新合併候選清單時，一些屬性改變可以是優先的。因此，在具有其他運動屬性改變的其他新候選之前，將具有優先的運動屬性改變的新合併候選添加到清單中。例如，參考索引可以是優先改變的運動屬性。因此，將預定合併候選添加到合併候選清單中，然後將具有基於預定合併候選的已改變參考索引的一個或複數個新候選添加到清單中。然後可以添加其他預定合併候選。最後，添加具有不包括參考索引改變的已改變運動屬性的新合併候選。 IV. TM 成本
在一些實施方式中，合併候選的範本匹配成本是透過當前範本的樣本與其在由合併候選標識的參考範本中的對應樣本之間的絕對差之和（Sum of Absolute Differences, SAD）來進行測量的。第4A圖示出了用於計算當前區塊410的合併候選的範本匹配成本的當前樣本和參考樣本。在一些實施方式中，合併候選的範本匹配成本是透過當前範本的樣本與其在由合併候選標識的參考範本中的對應樣本之間的絕對變換差之和（Sum of Absolute Transformed Differences, SATD）來進行測量的。在一些實施方式中，合併候選的範本匹配成本是透過當前範本的樣本與其在由合併候選標識的參考範本中的對應樣本之間的SAD和SATD的組合來進行測量的。
當前區塊410在當前圖像400中。與當前區塊410相鄰的已重構樣本集被用作當前範本415。當前區塊關聯於合併候選清單450，其包括合併候選451-456。其中，合併候選454是具有運動資訊MV0和MV1的雙預測候選。MV0定位L0參考圖像401中的參考區塊420。MV1定位L1參考圖像402中的參考區塊430。當前範本415的同位參考樣本(collocated reference samples)由MV0進行定位於參考範本425，並由MV1進行定位於參考範本435。基於合併候選454的運動屬性，透過雙預測由參考範本425和435的樣本生成最終參考樣本。合併候選454的範本匹配成本是當前範本415的樣本與最終參考樣本之間的差。該差可以透過SAD、SATD、或SAD和SATD的組合來進行測量。
範本匹配成本還可以被計算用於單預測合併候選。合併候選453是具有運動資訊MV0的單預測候選。MV0定位L0參考圖像403中的參考區塊440。當前範本415的同位參考樣本由MV0進行定位於參考範本445。基於參考範本445的樣本和合併候選453的運動屬性，生成最終參考樣本。合併候選453的範本匹配成本是當前範本415的樣本與最終參考樣本之間的差。該差可以透過SAD、SATD、或SAD和SATD的組合來進行測量。
範本匹配成本可以對合併候選清單450中的每個合併候選進行計算，然後可以根據已計算TM成本對合併候選清單450進行排序。第4B圖概念性地示出了正在根據已計算TM成本進行排序的合併候選清單450。在該示例中，對每個合併候選執行範本匹配過程，以計算TM成本，並且基於已計算TM成本對合併候選清單450進行排序，以形成已重新排序候選清單460。在一些實施方式中，視訊編碼器可以檢查已重新排序清單460中的所有合併候選，以確定是否修改它們的運動屬性，而視訊解碼器將僅檢查並修改由已標示合併候選索引所選擇的合併候選的運動屬性。
在一些實施方式中，針對不同的雙預測權重計算TM成本值，並且具有最小TM成本值的雙預測權重用於預測當前區塊。
具有範本匹配的合併候選的自我調整重新排序（Adaptive Reordering of Merge Candidates with Template Matching, ARMC-TM）是一種基於TM成本對合併候選進行重新排序的方法，其中，透過按TM成本的昇冪對合併候選進行排序，來提高標示(signaling)效率。對於TM合併模式，在細化過程之前，合併候選被重新排序。
在一些實施方式中，在構建合併候選清單之後，將合併候選劃分為若干個子組。對於常規合併模式 (regular merge mode) 和TM合併模式 (TM merge mode)，子組大小被設置為5。對於仿射合併模式 (affine merge mode)，子組大小被設置為3。基於範本匹配，根據成本值對每個子組中的合併候選進行昇冪排序。在一些實施方式中，不對最後且不是第一個子組中的合併候選進行重新排序。
對於一些實施方式，上述提出的方法可以應用於常規ARMC-TM和/或基於運動向量（Motion Vector, MV）候選類型的ARMC。例如，所提出的方法可以被應用於時域運動向量預測（Temporal Motion Vector Prediction, TMVP）候選ARMC、和/或非相鄰MVP（Non-Adjacent Motion Vector Prediction, NA-MVP）ARMC、和/或ARMC-TM。 V. 示例視訊解碼器
第5圖示出了可以實施合併模式預測的示例性視訊編碼器500。如圖所示，視訊編碼器500從視訊源505接收輸入視訊訊號，並將訊號編碼成位元流595。視訊編碼器500具有幾個元件或者模組，以用於編碼來自視訊源505的訊號，至少包括從變換模組510、量化模組511、逆量化模組514、逆變換模組515、圖像畫面內估計模組520、畫面內預測模組525、運動補償模組530、運動估計模組535、環路濾波器545、已重構圖像暫存器550、運動向量（motion vector，MV）暫存器565和運動向量預測模組575以及熵編碼器590中選擇的一些元件。運動補償模組530和運動估計模組535是畫面間預測模組540的一部分。
在一些實施方式中，模組510-590是由計算設備或電子裝置的一個或者複數個處理單元（例如處理器）正在執行的軟體指令的模組。在一些實施方式中，模組510-590是由電子裝置的一個或者複數個積體電路（integrated circuit，IC）實作的硬體電路的模組。儘管模組510-590被示為單獨的模組，但是這些模組中的一些可以組合成一個獨立的模組。
視訊源505提供原始視訊訊號，其表示沒有壓縮的每個視訊資訊框的像素資料。減法器508計算視訊源505的原始視訊像素資料與來自運動補償模組530或畫面內預測模組525的已預測像素資料513之間的差，作為預測殘差509。變換模組510將該差（或殘差像素資料或殘差訊號508）變換為變換係數（例如，透過執行離散餘弦變換或DCT）。量化模組511將變換係數量化為已量化資料（或已量化係數）512，其由熵編碼器590編碼到位元流595中。
逆量化模組514去量化已量化資料（或已量化係數）512，以得到變換係數，逆變換模組515對變換係數進行逆變換，以產生已重構殘差519。將已重構殘差519與已預測像素資料513相加，以產生已重構像素資料517。在一些實施方式中，已重構像素資料517暫時存儲於線暫存器（未示出）中，用於畫面內圖像預測和空間MV預測。已重構像素由環路濾波器545進行濾波，並被存儲於已重構圖像暫存器550中。在一些實施方式中，已重構圖像暫存器550是視訊編解碼器500外部的存儲。在一些實施方式中，已重構圖像暫存器550是視訊編碼器500內部的存儲。
圖像畫面內估計模組520基於已重構像素資料517執行畫面內預測，以產生畫面內預測資料。畫面內預測資料被提供給熵編碼器590，以將其編碼成位元流595。畫面內預測資料也由畫面內預測模組525使用，以產生預測像素資料513。
透過產生到存儲在已重構圖像暫存器550中的先前已解碼資訊框的參考像素資料的運動向量，運動估計模組535執行畫面間預測。這些運動向量被提供給運動補償模組530，以產生已預測像素資料。
不是對位元流中的完整實際MV進行編碼，視訊編解碼器500使用MV預測，生成已預測MV，用於運動補償的MV與已預測MV之間的差被編碼為殘差運動資料，並被存儲在位元流595中。
運動向量預測模組575基於被生成用於編碼之前視訊資訊框的參考運動向量，生成預測運動向量，即被用於執行運動補償的運動補償運動向量。運動向量預測模組575從運動向量暫存器565中檢索來自於之前視訊資訊框的參考運動向量。視訊編碼器500將被生成用於當前視訊資訊框的這些運動向量存儲到運動向量暫存器565中，以作為用於生成預測運動向量的參考運動向量。
運動向量預測模組575使用參考運動向量來創建已預測運動向量。已預測運動向量可以由空間運動向量預測或者時間運動向量預測來計算。已預測運動向量和當前資訊框的運動補償運動向量（motion compensation MV，MC MV）之間的差（殘差運動資料）被熵編碼器590編碼成位元流595。
透過使用熵編碼技術，例如上下文適應性二進位算術編碼（CABAC）或霍夫曼編碼，熵編碼器590將各種參數和資料編碼到位元流595中。熵編碼器590將各種標頭元素、標誌和已量化變換係數512以及殘差運動資料作為語法元素編碼到位元流595中。反過來，位元流595被存儲在存放設備中或透過諸如網路的通訊介質被傳輸到解碼器。
環路濾波器545對已重構像素資料517執行濾波或者平滑操作，以減少編解碼的偽影，特別是位於像素區塊的邊界的偽影。在一些實施方式中，環路濾波器545所執行的濾波操作或平滑操作包括去區塊濾波器（deblock filter，DBF）、樣本適應性偏移（sample adaptive offset，SAO）和/或適應性環路濾波器（adaptive loop filter，ALF）。
第6圖示出了生成合併候選清單和修改運動屬性的的視訊編碼器500的部分。具體而言，該圖示出視訊編碼器500的運動補償模組530的元件。
如圖所示，運動補償模組530具有合併候選清單構造器610，合併候選清單構造器610生成合併候選清單615。清單615初始是基於存儲在MV暫存器565中的先前生成的MV生成的，並且包括預定合併候選。合併候選清單構造器610可以修改預定合併候選的運動屬性，並對清單615中的候選進行重新排序。合併候選清單構造器610還可以基於已修改運動屬性將額外的合併候選添加到清單615中。修改和重新排序可以基於TM成本計算模組630為具有或不具有已修改運動屬性的各個合併候選計算的TM成本。基於存儲在已重構圖像暫存器550中的像素樣本來執行範本匹配操作，像素樣本可以包括與當前區塊相鄰的當前範本的樣本和與參考區塊相鄰的參考範本的樣本。可以透過根據各個合併候選的運動屬性確定的運動資訊來定位參考區塊。合併候選的運動屬性的示例如上面第I節的描述。
運動估計模組535提供從清單615中選擇的一個合併候選，清單615可能已經被如上述的合併候選清單構造器610重新排序和/或修改。合併候選的選擇也被提供給熵編碼器590，以作為合併索引被標示。已選擇合併候選及其相關聯的運動屬性被提供給預測生成器620，預測生成器620從已重構圖像暫存器550獲取對應的預測像素。預測生成器620可以基於由已選擇合併候選的運動屬性指定的權重因數來執行混合。
第7圖概念地示出了修改合併候選的運動屬性的過程700。在一些實施方式中，實施編碼器500的計算設備的一個或複數個處理單元（例如處理器）透過執行存儲在電腦可讀介質中的指令來執行過程700。在一些實施方式中，實施編碼器500的電子裝置執行過程700。
編碼器接收（在框710處）作為視訊的當前圖像中的像素的當前區塊的待編碼的資料。
編碼器生成（在框720處）當前區塊的合併候選清單。每個合併候選關聯於運動屬性，該運動屬性可以是畫面間預測方向、參考索引、具有編解碼單元（Coding Unit, CU）層權重的雙預測（Bi-prediction with CU-level Weight, BCW）索引、局部照明補償（Local Illumination Compensation, LIC）標誌、使用的半像素濾波器、或多假設預測（Multi-Hypothesis Prediction, MHP）權重索引。
編碼器透過將第一合併候選的運動屬性從第一值改變為第二值，修改（在框730處）合併候選清單。在一些實施方式中，當改變第一合併候選的運動屬性將使用第一合併候選對當前區塊進行編碼的已估計成本提高超過閾值時，合併候選清單被修改。在一些實施方式中，已估計成本是透過確定（i）與當前區塊相鄰的當前範本區域和（ii）與由第一合併候選標識的參考區塊相鄰的參考範本區域之間的差而計算的範本匹配（Template Matching Cost, TM）成本。其他成本測量也可以用作已估計成本，例如透過決定沿著當前區塊的邊界（例如，當前區塊的重構相鄰樣本和預測樣本之間）的不連續度量而計算的邊界匹配（boundary matching, BM）成本
在一些實施方式中，合併候選清單是透過添加具有已修改運動屬性的第二合併候選而修改的。在一些實施方式中，合併候選清單是透過替換第一合併候選為具有已修改運動屬性的第二合併候選而修改的。
在一些實施方式中，編碼器透過將參考索引從標識第一參考圖像改變為標識第二參考圖像，改變第一合併候選的運動屬性。編碼器可以透過基於第一參考圖像的圖像序號（Picture Order Count, POC）距離和第二參考圖像的圖像序號（Picture Order Count, POC）距離縮放運動向量，改變第一合併候選的運動屬性。在一些實施方式中，編碼器透過改變雙預測權重索引（例如，BCW索引）來改變第一合併候選的運動屬性，以選擇用於組合第一（例如，L0）畫面間預測和第二（例如，L1）畫面間預測的不同權重。
編碼器標示（在框740處）從已修改合併候選清單中選擇合併候選。在一些實施方式中，編碼器為合併候選清單中的每個合併候選計算範本匹配成本，並根據清單中的複數個合併候選的複數個範本匹配成本對清單進行重新排序。選擇合併候選是基於已重新排序清單的。
編碼器透過使用已選擇合併候選對當前區塊進行編碼（在框750處）以產生預測，並產生預測殘差。 VI. 示例視訊解碼器
在一些實施方式中，編碼器可以在位元流中標示（或生成）一個或複數個語法元素，使得解碼器可以從位元流解析一個或複數個語法元素。
第8圖示出了可以實施合併模式預測的示例視訊解碼器800。如圖所示，視訊解碼器800是圖像解碼或視訊解碼電路，其接收位元流895並將位元流的內容解碼為視訊資訊框的像素資料以供顯示。視訊解碼器800具有用於解碼位元流895的若干元件或模組，包括從逆量化模組811、逆變換模組810、畫面內預測模組825、運動補償模組830、環路濾波器845、已解碼圖像暫存器850、運動向量暫存器865、運動向量預測模組875和解析器890中選擇的一些元件。運動補償模組830是畫面間預測模組840的一部分。
在一些實施方式中，模組810-890是由計算設備的一個或複數個處理單元（例如處理器）執行的軟體指令的模組。在一些實施方式中，模組810-890是由電子裝置的一個或複數個IC實施的硬體電路模組。雖然模組810-890被示意為獨立的模組，但這些模組中一些模組可以組合成一個單獨的模組。
解析器890（或熵解碼器）接收位元流895，並依據視訊編解碼或圖像編解碼標準定義的語法執行初始解析。已解析語法元素包括各種標頭元素、標誌以及已量化資料（或已量化係數）812。解析器890透過使用熵編解碼技術（如上下文適應性二進位算術編解碼（CABAC）或Huffman編碼）解析出各種語法元素。
逆量化模組811對已量化資料（或已量化係數）812進行去量化，得到變換係數，逆變換模組810對變換係數816進行逆變換，產生已重構殘差819。已重構殘差819與來自畫面內預測模組825或運動補償模組830的已預測像素資料813相加，產生已解碼像素資料817。已解碼像素資料由環路濾波器845濾波並被存儲在已解碼圖像暫存器850中。在一些實施方式中，已解碼圖像暫存器850是視訊解碼器800外部的存儲。在一些實施方式中，已解碼圖像暫存器850是視訊解碼器800內部的存儲。
畫面內預測模組825接收來自位元流895的畫面內預測資料，並依據該資料，從存儲在已解碼圖像暫存器850中的已解碼像素資料817中產生已預測像素資料813。在一些實施方式中，已解碼像素資料817還存儲在線暫存器（未示出）中，用於圖像畫面內預測和空間MV預測。
在一些實施方式中，已解碼圖像暫存器850的內容用於顯示。顯示設備855檢索已解碼圖像暫存器850的內容以直接顯示，或者將已解碼圖像暫存器的內容檢索到顯示暫存器。在一些實施方式中，顯示設備透過像素傳輸接收來自已解碼圖像暫存器850的像素值。
依據運動補償MV （MC MV），運動補償模組830從存儲在已解碼圖像暫存器850中的已解碼像素資料817中產生已預測像素資料813。透過將從位元流895接收到的殘差運動資料與從運動向量預測模組875接收到的已預測MV相加，對這些運動補償MV進行解碼。
運動向量預測模組875基於被生成用於解碼之前視訊資訊框的參考MV，生成已預測MV，例如，用於執行運動補償的運動補償MV。運動向量預測模組875從運動向量暫存器865中檢索之前視訊資訊框的參考運動向量。視訊解碼器800也將被生成用於解碼當前視訊資訊框的運動補償運動向量存儲到運動向量暫存器865中，作為參考運動向量，以用於產生已預測運動向量。
環路濾波器845對已解碼像素資料執行濾波或者平滑操作，以減少編解碼的偽影(artifact)，特別是位於像素區塊的邊界的偽影。在一些實施方式中，環路濾波器845所執行的濾波或者平滑操作包括去區塊濾波器（deblock filter，DBF）、樣本適應性偏移（sample adaptive offset，SAO）和/或適應性環路濾波器（adaptive loop filter，ALF）。
第9圖示出了生成合併候選清單和修改運動屬性的視訊解碼器800的部分。具體而言，該圖示出了視訊解碼器800的運動補償模組830的元件。
如圖所示，運動補償模組830具有合併候選清單構造器910，合併候選清單構造器910生成合併候選清單915。清單915初始是基於存儲在MV暫存器865中的先前生成的MV生成的，並且包括預定合併候選。合併候選清單構造器910可以修改預定合併候選的運動屬性，並對清單915中的候選進行重新排序。合併候選清單構造器910還可以基於已修改運動屬性將額外的合併候選添加到清單915中。修改和重新排序可以基於TM成本計算模組930為具有或不具有已修改運動屬性的各個合併候選計算的TM成本。基於存儲在已解碼圖像暫存器850中的像素樣本來執行範本匹配操作，像素樣本可以包括與當前區塊相鄰的當前範本的樣本和與參考區塊相鄰的參考範本的樣本。可以透過根據各個合併候選的運動屬性確定的運動資訊來定位參考區塊。合併候選的運動屬性的示例由上面第I節的描述。
熵解碼器890可以接收在位元流895中標示的合併索引。接收到的合併索引用於從合併候選清單915中選擇候選，合併候選清單915可能已經被如上述的合併候選清單構造器910重新排序和/或修改。已選擇合併候選及其相關聯的運動屬性被提供給預測生成器920，預測生成器920從已解碼圖像暫存器850獲取對應的預測像素。預測生成器920可以基於由已選擇合併候選的運動屬性指定的權重因數來執行混合。
第10圖概念地示出了修改合併候選的運動屬性的過程1000。在一些實施方式中，實施解碼器800的計算設備的一個或複數個處理單元（例如處理器）透過執行存儲在電腦可讀介質中的指令來執行過程1000。在一些實施方式中，實施解碼器800的電子裝置執行過程1000。
解碼器接收（在框1010處）作為視訊的當前圖像中的像素的當前區塊的待解碼的資料。
解碼器生成（在框1020處）當前區塊的合併候選清單。每個合併候選關聯於運動屬性，該運動屬性可以是畫面間預測方向、參考索引、具有編解碼單元（Coding Unit, CU）層權重的雙預測（Bi-prediction with CU-level Weight, BCW）索引、局部照明補償（Local Illumination Compensation, LIC）標誌、使用的半像素濾波器或多假設預測（Multi-Hypothesis Prediction, MHP）權重索引。
解碼器透過將第一合併候選的運動屬性從第一值改變為第二值，修改（在框1030處）合併候選清單。在一些實施方式中，當改變第一合併候選的運動屬性將使用第一合併候選解碼當前區塊的已估計成本提高超過閾值時，合併候選清單被修改。在一些實施方式中，已估計成本是透過確定（i）與當前區塊相鄰的當前範本區域和（ii）與由第一合併候選標識的參考區塊相鄰的參考範本區域之間的差而計算的範本匹配（Template Matching Cost, TM）成本。其他成本測量也可以用作已估計成本，例如透過決定沿著當前區塊的邊界（例如，在當前區塊的重構相鄰樣本和預測樣本之間）的不連續度量而計算的邊界匹配（Boundary Matching, BM）成本。
在一些實施方式中，合併候選清單是透過添加具有已修改運動屬性的第二合併候選而修改的。在一些實施方式中，合併候選清單是透過替換第一合併候選為具有已修改運動屬性的第二合併候選而修改的。
在一些實施方式中，解碼器透過將參考索引從標識第一參考圖像改變為標識第二參考圖像，改變第一合併候選的運動屬性。解碼器可以透過基於第一參考圖像的圖像序號（Picture Order Count, POC）距離和第二參考圖像的圖像序號（Picture Order Count, POC）距離縮放運動向量，改變第一合併候選的運動屬性。在一些實施方式中，解碼器透過改變雙預測權重索引（例如，BCW索引）來改變第一合併候選的運動屬性，以選擇用於組合第一（例如，L0）畫面間預測和第二（例如，L1）畫面間預報的不同權重。
解碼器接收（在框1040處）從已修改合併候選清單中選擇合併候選。在一些實施方式中，解碼器為合併候選清單中的每個合併候選計算範本匹配成本，並根據清單中的複數個合併候選的複數個範本匹配成本，對清單進行重新排序。選擇合併候選是基於已重新排序清單的。
解碼器透過使用已選擇合併候選，重構（在框1050處）當前區塊以生成預測區塊。然後，解碼器可以提供已重構當前區塊進行顯示，以作為已重構當前圖像的一部分。 VII. 示例電子系統
很多上述的特徵和應用可以被實作為軟體過程，其被指定為記錄在電腦可讀存儲介質（computer readable storage medium）（也被稱為電腦可讀介質）上的指令集。當這些指令由一個或者複數個計算單元或者處理單元（例如，一個或者複數個處理器、處理器核或者其他處理單元）來執行時，則這些指令使得處理單元執行這些指令所表示的動作。電腦可讀介質的示例包括但不限於CD-ROM、快閃記憶體驅動器（flash drive）、隨機存取記憶體（random access memory，RAM）晶片、硬碟、可讀寫可程式設計唯讀記憶體（erasable programmable read only memory，EPROM），電可擦除可程式設計唯讀記憶體（electrically erasable programmable read-only memory，EEPROM）等。電腦可讀介質不包括通過無線或有線連接的載波和電訊號。
在本說明書中，術語「軟體」意味著包括唯讀記憶體中的固件或者存儲在磁存放裝置中的應用程式，應用程式可以被讀入到記憶體中以用於處理器進行處理。同時，在一些實施例中，複數個軟體發明可以作為更大程式的子部分來實作，而保留不同的軟體發明。在一些實施例中，複數個軟體發明可以作為獨立的程式來實作。最後，一起實作此處所描述的軟體發明的獨立的程式的任何結合是在本發明的範圍內。在一些實施例中，當被安裝以在一個或者複數個電子系統上進行操作時，軟體程式定義了一個或者複數個特定的機器實作方式，機器實作方式執行和實施軟體程式的操作。
第11圖概念地示出了在本發明一些實施例中實作的電子系統1100。電子系統1100可以是電腦（例如，桌上型電腦、個人電腦、平板電腦等）、電話、PDA或者其他種類的電子設備。這個電子系統包括各種類型的電腦可讀媒質和用於各種其他類型的電腦可讀媒介的介面。電子系統1100包括匯流排1105、處理單元1110、影像處理單元（graphics-processing unit，GPU）1115、系統記憶體1120、網路1125、唯讀記憶體（read-only memory，ROM）1130、永久存儲設備1135、輸入設備1140和輸出設備1145。
匯流排1105共同地表示與電子系統1100的大量的內部設備通信連接的所有系統匯流排、外設匯流排和晶片組匯流排。例如，匯流排1105通過影像處理單元1115、唯讀記憶體1130、系統記憶體1120和永久存儲設備1135，與處理單元1110通信連接。
對於這些各種記憶體單元，處理單元1110檢索執行的指令和處理的資料，以為了執行本發明的過程。在不同實施方式中，處理單元可以是單個處理器或者多核心（multi-core）處理器。某些指令被傳輸影像處理單元1115和並被其執行。影像處理單元1115可以卸載各種計算或補充由處理單元1110提供的影像處理。
唯讀記憶體1130存儲處理單元1110或者電子系統的其他模組所需要的靜態資料和指令。另一方面，永久存儲設備1135是一種讀寫記憶體設備（read-and-write memory）。這個設備是一種非易失性（non-volatile）記憶體單元，其即使在電子系統1100關閉時也存儲指令和資料。本發明的一些實施方式使用大型存放區設備（例如磁片或光碟及其相應的磁碟機）作為永久存儲設備1135。
其他實施方式使用卸載式存放裝置設備（如軟碟、快閃記憶體設備等，以及其相應的磁碟機）作為永久存放裝置。與永久存放裝置1135一樣，系統記憶體1120是一種讀寫記憶體設備。但是，與存放裝置1135不一樣的是，系統記憶體1120是一種易失性（volatile）讀寫記憶體，例如隨機讀取記憶體。系統記憶體1120存儲一些處理器在運行時需要的指令和資料。在一些實施方式中，依據本發明的處理被存儲在系統記憶體1120、永久存放裝置1135和/或唯讀記憶體1130中。例如，各種記憶體單元包括用於依據一些實施方式的處理多媒體剪輯的指令。對於這些各種記憶體單元，處理單元1110檢索執行的指令和處理的資料，以為了執行某些實施方式的處理。
匯流排1105也連接到輸入設備1140和輸出設備1145。輸入設備1140使得使用者溝通資訊並選擇指令到電子系統上。輸入設備1140包括字母數位元鍵盤和指點設備（也被稱為「游標控制設備」），攝像機（如網路攝像機（webcam）），用於接收語音命令的麥克風或類似的設備等。輸出設備1145顯示由電子系統生成的圖像或以其他方式輸出的資料。輸出設備1145包括印表機和顯示裝置，例如陰極射線管（cathode ray tube，CRT）或液晶顯示器（liquid crystal display，LCD），以及揚聲器或類似的音訊輸出設備。一些實施方式包括諸如同時用作輸入裝置和輸出設備的觸控式螢幕等設備。
最後，如第11圖所示，匯流排1105也通過網路介面卡（未示出）將電子系統1100耦接到網路1125。在這個方式中，電腦可以是電腦網路（例如，局域網（local area network，LAN）、廣域網路（wide area network，WAN）或者內聯網，或者網路的網路（例如互聯網）的一部分。電子系統1100的任一或者所有元件可以與本發明結合使用。
一些實施方式包括電子元件，例如，微處理器、存放裝置和記憶體，其將電腦程式指令存儲到機器可讀介質或者電腦可讀介質（可選地被稱為電腦可讀存儲介質、機器可讀介質或者機器可讀存儲介質）。電腦可讀介質的一些實例包括RAM、ROM、唯讀光碟（read-only compact disc，CD-ROM），可燒錄光碟（recordable compact disc，CD-R）、可讀寫光碟（rewritable compact disc，CD-RW）、唯讀數位通用光碟（read-only digital versatile disc）（例如，DVD-ROM，雙層DVD-ROM）、各種可記錄/可讀寫DVD（例如DVD RAM、DVD-RW、DVD+RW等）、快閃記憶體（如SD卡、迷你SD卡，微SD卡等）、磁性和/或固態硬碟、唯讀和可燒錄藍光®（Blu-Ray®）盤、超高密度光碟和其他任何光學介質或磁介質，以及軟碟。電腦可讀介質可以存儲由至少一個處理單元執行的電腦程式，並且包括用於執行各種操作的指令集。電腦程式或電腦代碼的示例包括機器代碼，例如編譯器產生的機器代碼，以及包含由電腦、電子元件或微處理器使用注釋器（interpreter）而執行的高級代碼的檔。
當以上討論主要是指執行軟體的微處理器或多核處理器時，很多上述的功能和應用程式由一個或複數個積體電路執行，如特定應用的積體電路（application specific integrated circuit，ASIC）或現場可程式設計閘陣列（field programmable gate array，FPGA）。在一些實施方式中，這種積體電路執行存儲在電路本身上的指令。此外，一些實施方式執行存儲在可程式設計邏輯器件（programmable logic device，PLD），ROM或RAM設備中的軟體。
如本發明的說明書和任一權利要求中所使用，術語「電腦」、「伺服器」、「處理器」和「記憶體」均指電子設備或其他技術設備。這些術語不包括人或群體。為了本說明書的目的，術語顯示或顯示裝置指在電子設備上進行顯示。如本發明的說明書和任一權利要求中所使用，術語「電腦可讀介質」、「電腦可讀媒質」和「機器可讀介質」完全局限於有形的、物理的物體，其以電腦可讀的形式存儲資訊。這些術語不包括任何無線訊號、有線下載訊號和其他任何短暫訊號。
在結合許多具體細節的情況下描述了本發明時，本領域通常知識者將認識到，本發明可以以其他具體形式而被實施，而不脫離本發明的精神。此外，大量的圖（包括第7圖和第10圖）概念性示出了過程。這些過程的具體操作可以不以所示以及所描述的確切順序來被執行。這些具體操作可用不在一個連續的操作系列中被執行，並且不同的具體操作可以在不同的實施方式中被執行。另外，過程通過使用幾個子過程而被實作，或者作為更大巨集過程的部分。因此，本領域的技術人員將能理解的是，本發明不受前述說明性細節的限制，而是由申請專利範圍加以界定。 額外說明
本文所描述的主題有時表示不同的元件，其包含在或者連接到其他不同的元件。可以理解的是，所描述的結構僅是示例，實際上可以由許多其他結構來實施，以實作相同的功能。從概念上講，任何實作相同功能的組件的排列實際上是「相關聯的」，以便實作所需的功能。因此，不論結構或中間部件，為實作特定的功能而組合的任何兩個元件被視為「相互關聯」，以實作所需的功能。同樣，任何兩個相關聯的元件被看作是相互「可操作連接」或「可操作耦接」，以實作特定功能。能相互關聯的任何兩個組件也被視為相互「有可操作地耦接性」以實作特定功能。可操作連接的具體例子包括但不限於物理可配對和/或物理上相互作用的元件，和/或無線可交互和/或無線上相互作用的元件，和/或邏輯上相互作用和/或邏輯上可交互的元件。
此外，關於基本上任何複數和/或單數術語的使用，本領域通常知識者可以依據上下文和/或應用從複數轉換為單數和/或從單數到複數。為清楚起見，本文明確規定了不同的單數/複數排列。
此外，本領域通常知識者可以理解，通常，本發明所使用的術語特別是請求項中的，如請求項的主題，通常用作「開放」術語，例如，「包括」應解釋為「包括但不限於」，「有」應理解為「至少有」，「包括」應解釋為「包括但不限於」等。本領域通常知識者可以進一步理解，若計畫介紹特定數量的請求項的內容，將在請求項內明確表示，並且，在沒有這類內容時將不顯示。例如，為幫助理解，請求項可能包含短語「至少一個」和「一個或複數個」，以介紹請求項的內容。然而，這些短語的使用不應理解為暗示使用不定冠詞「a」或「an」介紹請求項的內容，而限制了任何特定的專利範圍。甚至當相同的請求項包括介紹性短語「一個或複數個」或「至少有一個」，不定冠詞，例如「a」或「an」，則應被解釋為表示至少一個或者更多，對於用於介紹權利要求的明確描述的使用而言，同樣成立。此外，即使明確引用特定數量的介紹性內容，本領域通常知識者可以認識到，這樣的內容應被解釋為表示所引用的數量，例如，沒有其他修改的「兩個引用」，意味著至少兩個引用，或兩個或兩個以上的引用。此外，在使用類似於「A、B和C中的至少一個」的表述的情況下，通常如此表述是為了本領域通常知識者可以理解表述，例如，「系統包括A、B和C中的至少一個」將包括但不限於單獨具有A的系統，單獨具有B的系統，單獨具有C的系統，具有A和B的系統，具有A和C的系統，具有B和C的系統，和/或具有A、B和C的系統，等。本領域通常知識者進一步可理解，無論在說明書中、請求項中或者圖式中，由兩個或兩個以上的替代術語所表現的任何分隔的單詞和/或短語應理解為，包括這些術語中的一個，其中一個，或者這兩個術語的可能性。例如，「A或B」應理解為，「A」，或者「B」，或者「A和B」的可能性。
從前述可知，為了說明目的，此處已描述了各種實施方案，並且在不偏離本發明的範圍和精神的情況下，可以進行各種變形。因此，此處所公開的各種實施方式不用於限制，權利要求表示真實的範圍和精神。
100:當前圖像 101:當前區塊 110,120:參考圖像 220:範本匹配過程 230:成本比較過程 250:合併候選清單 251,252,253,254,255,256:預定合併候選 260:已更新合併候選清單 261,262:已修改合併候選 350:合併候選清單 351,352,353,354,355,356:預定合併候選 360:已更新合併候選清單 362,364,365:新合併候選 400:當前圖像 401:L0參考圖像 402:L1參考圖像 403:L0參考圖像 410:當前區塊 415:當前範本 420,430,440:參考區塊 425,435,445:參考範本 450:合併候選清單 451,452,453,454,455,456:合併候選 460:已重新排序候選清單 500:視訊編碼器 505:視訊源 508:減法器 509:預測殘差 510:變換模組 511:量化模組 512:已量化係數 513:已預測像素資料 514:逆量化模組 515:逆變換模組 517:已重構像素資料 519:已重構殘差 520:圖像畫面內估計模組 525:畫面內預測模組 530:運動補償模組 535:運動估計模組 540:畫面間預測模組 545:環路濾波器 550:已重構圖像暫存器 565:運動向量暫存器 575:運動向量預測模組 590:熵編碼器 595:位元流 610:合併候選清單構造器 615:合併候選清單 620:預測生成器 630:TM成本計算模組 700:過程 710,720,730,740,750:框 800:視訊解碼器 810:逆變換模組 811:逆量化模組 812:已量化係數 813:已預測像素資料 816:變換係數 817:已解碼像素資料 819:已重構殘差 825:畫面內預測模組 830:運動補償模組 840:畫面間預測模組 845:環路濾波器 850:已解碼圖像暫存器 855:顯示設備 865:運動向量暫存器 875:運動向量預測模組 890:熵解碼器 895:位元流 910:合併候選清單構造器 915:合併候選清單 920:預測生成器 930:TM成本計算模組 1000:過程 1010,1020,1030,1040,1050:框 1100:電子系統 1105:匯流排 1110:處理單元 1115:GPU 1120:系統記憶體 1125:網路 1130:ROM 1135:永久存儲設備 1140:輸入設備 1145:輸出設備
圖式被包含，以為了提供對本發明的進一步理解，並被納入到本發明中並構成本發明的一部分。圖式說明了本發明的實施方式，並與說明書一起用於解釋本發明的原理。值得注意的是，圖式不一定是按比例繪製的，因為為了清楚地說明本發明的概念，一些元件可能會以與實際實施方式中的尺寸不成比例的方式顯示。 第1圖示出了改變當前圖像中當前區塊的合併候選的參考索引。 第2圖概念地示出了基於範本匹配（Template Matching, TM）成本而更新合併候選的運動屬性。 第3圖概念地示出了將預定候選和具有已改變運動屬性的新合併候選添加到合併候選清單中。 第4A圖示出了用於計算當前區塊的合併候選的範本匹配成本的當前樣本和參考樣本。 第4B圖概念地示出了根據已計算TM成本進行排序的合併候選清單。 第5圖示出了可以實施合併模式預測的示例視訊編碼器。 第6圖示出了生成合併候選清單和修改運動屬性的視訊編碼器的部分。 第7圖概念地示出了修改合併候選的運動屬性的過程。 第8圖示出了可以實施合併模式預測的示例視訊解碼器。 第9圖示出了生成合併候選清單和修改運動屬性的視訊解碼器的部分。 第10圖概念地示出了修改合併候選的運動屬性的過程。 第11圖概念地示出了實施本發明一些實施方式的電子系統。
1000:過程
1010~1050:框

Claims (13)

  1. 一種視訊編解碼方法，包括： 接收作為視訊的當前圖像的當前區塊的待編碼或解碼的像素區塊的資料； 生成該當前區塊的合併候選清單； 透過將第一合併候選的運動屬性從第一值改變為第二值，修改該合併候選清單； 標示或接收從已修改合併候選清單中選擇合併候選；以及 透過使用該已選擇合併候選，對該當前區塊進行編碼或解碼。
  2. 如請求項1所述之方法，還包括： 計算該合併候選清單中的每個合併候選的範本匹配成本，並根據所計算的該清單中該複數個合併候選的該複數個範本匹配成本，對該清單進行重新排序，其中，選擇該合併候選是基於該已重新排序清單的。
  3. 如請求項1所述之方法，其中，當改變該第一合併候選的運動屬性，將使用該第一合併候選對該當前區塊進行編碼或解碼的已估計成本提高超過閾值時，該合併候選清單被修改。
  4. 如請求項3所述之方法，其中，該已估計成本是透過決定與該當前區塊相鄰的當前範本區域和與參考區塊相鄰的參考範本區域之間的差而計算的，該參考區塊由該第一合併候選標識。
  5. 如請求項1所述之方法，其中，該合併候選清單是透過添加具有該已修改運動屬性的第二合併候選而修改的。
  6. 如請求項1所述之方法，其中，該合併候選清單的修改是透過將該第一合併候選替換為具有已修改運動屬性的第二合併候選。
  7. 如請求項1所述之方法，其中，改變該第一合併候選的運動屬性包括： 將參考索引從標識第一參考圖像改變為標識第二參考圖像。
  8. 如請求項7所述之方法，其中，改變該第一合併候選的運動屬性還包括： 基於該第一參考圖像的圖像序號（Picture Order Count, POC）距離和該第二參考圖像的圖像序號（Picture Order Count, POC）距離，縮放運動向量。
  9. 如請求項1所述之方法，其中，改變該第一合併候選的運動屬性包括： 改變雙預測權重索引，以選擇用於組合第一畫面間預測和第二畫面間預測的不同權重。
  10. 如請求項1所述之方法，其中，正在被改變的該第一合併候選的運動屬性是畫面間預測方向、參考索引、具有編解碼單元（Coding Unit, CU）層權重的雙預測（Bi-prediction with CU-level Weight, BCW）索引、局部照明補償（Local Illumination Compensation, LIC）標誌、使用的半像素濾波器以及多假設預測（Multi-Hypothesis Prediction, MHP）權重索引中的一個。
  11. 一種視訊解碼方法，包括： 接收作為視訊的當前圖像的當前區塊的待解碼的像素區塊的資料； 生成該當前區塊的合併候選清單； 透過將第一合併候選的運動屬性從第一值改變為第二值，修改該合併候選清單； 接收從已修改合併候選清單中選擇合併候選；以及 透過使用已選擇合併候選，重構該當前區塊。
  12. 一種視訊編碼方法，包括： 接收作為視訊的當前圖像的當前區塊的待編碼的像素區塊的資料； 生成該當前區塊的合併候選清單； 透過將第一合併候選的運動屬性從第一值改變為第二值，修改該合併候選清單； 標示從已修改合併候選清單中選擇合併候選；以及 透過使用已選擇合併候選，對該當前區塊進行編碼以生成預測區塊。
  13. 一種電子設備，包括： 視訊編解碼器電路，配置為執行複數個操作，包括： 接收作為視訊的當前圖像的當前區塊的待編碼或解碼的像素區塊的資料； 生成該當前區塊的合併候選清單； 透過將第一合併候選的運動屬性從第一值改變為第二值，修改該合併候選清單； 標示或接收從已修改合併候選清單中選擇合併候選；和 透過使用已選擇合併候選，對該當前區塊進行編碼或解碼。
TW112121056A 2022-06-06 2023-06-06 更新合併候選的運動屬性 TW202408232A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US202263349171P 2022-06-06 2022-06-06
US63/349,171 2022-06-06
PCT/CN2023/098399 WO2023236916A1 (en) 2022-06-06 2023-06-05 Updating motion attributes of merge candidates
WOPCT/CN2023/098399 2023-06-05

Publications (1)

Publication Number Publication Date
TW202408232A true TW202408232A (zh) 2024-02-16

Family

ID=89117658

Family Applications (1)

Application Number Title Priority Date Filing Date
TW112121056A TW202408232A (zh) 2022-06-06 2023-06-06 更新合併候選的運動屬性

Country Status (2)

Country Link
TW (1) TW202408232A (zh)
WO (1) WO2023236916A1 (zh)

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10701393B2 (en) * 2017-05-10 2020-06-30 Mediatek Inc. Method and apparatus of reordering motion vector prediction candidate set for video coding
KR102306562B1 (ko) * 2017-11-27 2021-09-30 엘지전자 주식회사 영상 코딩 시스템에서 인터 예측에 따른 영상 디코딩 방법 및 장치
CN116320489A (zh) * 2018-06-29 2023-06-23 北京字节跳动网络技术有限公司 视频处理方法、编码装置和解码装置
US11115653B2 (en) * 2019-02-22 2021-09-07 Mediatek Inc. Intra block copy merge list simplification

Also Published As

Publication number Publication date
WO2023236916A1 (en) 2023-12-14

Similar Documents

Publication Publication Date Title
US11172203B2 (en) Intra merge prediction
US11297348B2 (en) Implicit transform settings for coding a block of pixels
US11245922B2 (en) Shared candidate list
TW201946470A (zh) 用於照度補償的信令
TWI743801B (zh) 運動向量差值導數傳訊技術
CN113141783A (zh) 用于多重假设的帧内预测
TW202329695A (zh) 使用模板匹配細化候選選擇
WO2019161798A1 (en) Intelligent mode assignment in video coding
JP2023523839A (ja) 動き精度構文のためのエントロピーコーディング
TW202408232A (zh) 更新合併候選的運動屬性
WO2024017004A1 (en) Reference list reordering in video coding
WO2024152957A1 (en) Multiple block vectors for intra template matching prediction
WO2023208063A1 (en) Linear model derivation for cross-component prediction by multiple reference lines
WO2023202569A1 (en) Extended template matching for video coding
WO2023186040A1 (en) Bilateral template with multipass decoder side motion vector refinement
WO2023198187A1 (en) Template-based intra mode derivation and prediction
WO2024017224A1 (en) Affine candidate refinement
WO2024037641A1 (en) Out-of-boundary reference block handling
WO2024016955A1 (en) Out-of-boundary check in video coding
WO2024037645A1 (en) Boundary sample derivation in video coding
WO2023143173A1 (en) Multi-pass decoder-side motion vector refinement
WO2023193769A1 (en) Implicit multi-pass decoder-side motion vector refinement
WO2023241347A1 (en) Adaptive regions for decoder-side intra mode derivation and prediction
TW202415066A (zh) 多假設預測編解碼
TW202402054A (zh) 用於候選清單的相似性閾值