TWI745370B - 運動補償剩餘預測系統及方法 - Google Patents

運動補償剩餘預測系統及方法 Download PDF

Info

Publication number
TWI745370B
TWI745370B TW106114639A TW106114639A TWI745370B TW I745370 B TWI745370 B TW I745370B TW 106114639 A TW106114639 A TW 106114639A TW 106114639 A TW106114639 A TW 106114639A TW I745370 B TWI745370 B TW I745370B
Authority
TW
Taiwan
Prior art keywords
residual
prediction
reference image
block
current block
Prior art date
Application number
TW106114639A
Other languages
English (en)
Other versions
TW201740737A (zh
Inventor
陳俊吉
修小玉
何玉文
言 葉
Original Assignee
法商內數位麥德遜專利控股有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 法商內數位麥德遜專利控股有限公司 filed Critical 法商內數位麥德遜專利控股有限公司
Publication of TW201740737A publication Critical patent/TW201740737A/zh
Application granted granted Critical
Publication of TWI745370B publication Critical patent/TWI745370B/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

揭露了用於使用運動補償殘差預測（MCRP）來提高殘差預測的預測效率的系統及方法。範例性殘差預測技術採用運動補償預測及處理後的殘差參考圖像。本文還揭露了用於產生殘差參考圖像的系統及方法。在考慮到或者不考慮迴路濾波效果下，可以適應性地產生這些圖像。還描述了用於增強殘差參考圖像的品質的範例性去雜訊濾波器設計，並且描述了用於減小參考圖像的儲存大小的壓縮方法。本文還揭露了用於傳送殘差的運動資訊的範例性語法設計。

Description

運動補償剩餘預測系統及方法
相關申請案的交叉引用 本申請案根據35 U.S.C. §119(c)要求2016年5月6日申請的標題為“SYSTEMS AND METHODS FOR MOTION COMPENSATED RESIDUAL PREDICTION”的美國臨時專利申請案第62/332,929號的權益，該案以引用的方式全部併入本文。
視訊編碼系統被廣泛用於壓縮數位視訊信號以減少這種信號的儲存要求及/或傳輸頻寬。在各種類型的視訊編碼系統（例如，基於塊的系統、基於小波的系統、及基於物件的系統）中，目前，最廣泛地使用及部署的是基於塊的混合視訊編碼系統。基於塊的視訊編碼系統的範例包括國際視訊編碼標準，例如，MPEG1/2/4 part 2、H.264/MPEG-4 part 10 AVC、VC-1、及由ITU-T/SG16/Q.6/VCEG及ISO/IEC/MPEG的JCT-VC（視訊編碼聯合協作小組）開發的稱作高效率視訊編碼（HEVC）的最新視訊編碼標準。對於數位視訊系統的消費者及提供者而言，對視訊資料進行編碼以進一步減少儲存及頻寬要求的改進型系統及方法將會是期望的。
揭露了用於使用運動補償殘差預測（MCRP）來提高殘差預測的預測效率的系統及方法。所揭露的系統及方法不僅進一步擴展到訊框間編碼塊的殘差，還擴展到訊框內編碼塊的殘差。範例性殘差預測技術採用運動補償預測及處理後的殘差參考圖像。本文還揭露了用於產生殘差參考圖像的系統及方法。在考慮到或者不考慮迴路濾波效果的情況下，可以適應性地產生這些圖像。還描述了用於增強殘差參考圖像的品質的範例性去雜訊濾波器設計，並且描述了用於減小參考圖像的儲存大小的壓縮方法。本文還揭露了用於傳送殘差的運動資訊的範例性語法設計。
還描述了用於最佳化殘差預測的運動估計過程的編碼器搜尋標準的範例性方法，並且描述了連同訊框間預測技術及訊框內預測技術一起最佳化提出的殘差預測的模式參數的實施例。
提供了一種用於在位元流中對視訊進行編碼的範例性方法，其中，該視訊包括多個圖像，該多個圖像包括目前圖像及至少一個參考圖像，其中，各個圖像包括樣本塊。在該方法中，產生包括至少一個塊的殘差參考圖像，該殘差參考圖像表示在參考圖像的對應塊與參考圖像的對應一階預測之間的差異；在一些實施例中，殘差參考圖像包括關於整個對應的參考圖像的殘差的資訊；在其它實施例中，殘差參考圖像包括關於僅針對對應的參考圖像的一部分的殘差的資訊（例如，關於參考圖像的一個或者多個特定塊的殘差的資訊，可以在位元流中使用塊級旗標來識別該資訊）。對殘差參考圖像進行濾波以產生濾波後的殘差參考圖像。針對在目前圖像中的至少一個目前塊：（i）使用例如訊框間預測或者訊框內預測，來形成目前塊的一階預測；（ii）使用運動補償預測以從濾波後的殘差參考圖像中的殘差參考塊預測目前塊的殘差；以及（iii）組合一階預測及預測的殘差以產生目前塊的複合預測信號。
在一些這種方法中，在位元流中傳訊塊級旗標，該旗標表明是否要從去雜訊後的參考圖像預測目前塊的殘差。
在一些實施例中，對殘差參考圖像進行濾波可以包括：取殘差參考圖像中的樣本中的至少一些樣本的絕對值。在這種實施例中，針對目前塊，可以在位元流中傳訊符號值，並且預測目前塊的殘差包括：將殘差參考塊乘以符號值。在一些實施例中，針對目前塊，在位元流中傳訊加權因數，並且預測目前塊的殘差包括：將殘差參考塊乘以加權因數。在一些實施例中，對殘差參考圖像進行濾波包括：對殘差參考圖像應用臨界值，使得在殘差參考圖像中的低於臨界值的殘差值在去雜訊後的殘差參考圖像中為0。可以適應性地選擇臨界值以大體上達到各個圖像的預定比率k ，其中，k 是目前圖像中的低於臨界值的樣本數量與高於臨界值的樣本數量之間的比率。在一些實施例中，對殘差參考圖像進行濾波可以包括：量化在殘差參考圖像中的樣本值。在一些實施例中，對殘差參考圖像進行濾波包括：對殘差參考圖像應用線性濾波器，其中，在位元流中傳訊線性濾波器的係數。
產生殘差參考圖像可以包括：從參考圖像的濾波後的重建信號或者未濾波的重建信號減去參考圖像的一階預測。可以在位元流中傳訊是否要使用濾波後的重建信號或者未濾波的重建信號的指示。
可以在位元流中傳訊殘差運動向量。在這種情況下，預測殘差包括：使用殘差運動向量來識別殘差參考塊。
還描述了使用本文陳述的方法的視訊編碼器及解碼器。
本文的系統及方法提供了預測像素值的新穎技術。編碼器及解碼器均可以使用這種技術。像素的預測產生像素值，在編碼方法中，可以從原始像素輸入值減去該像素值以確定在位元流中被編碼的殘差。在解碼方法中，可以從位元流對殘差進行解碼並且將殘差添加至預測的像素值，以獲得與原始輸入像素相同或者近似的重建像素。因此，本文所描述的預測方法藉由在至少一些實施方式中減少對視訊進行編碼及解碼所需的位元數量，來改進視訊編碼器及解碼器的操作。在詳細描述中描述了針對視訊編碼器及解碼器的操作的範例性預測方法的其它益處。
範例性基於塊的編碼及解碼系統及方法。 第1圖是基於塊的混合視訊編碼系統的功能方塊圖。逐塊地處理輸入視訊訊號102。在HEVC中，擴展的塊大小（稱為“編碼單元”或者CU）用於高效地壓縮高解析度（1080p及以上）視訊訊號。在HEVC中，CU可以多達64x64個像素，在JEM中，允許有多達256x256的更大的塊大小。可以將CU進一步劃分為適用單獨的預測方法的預測單元（PU）。針對各個輸入視訊塊（MB或者CU），可以執行空間預測（160）及/或時間預測（162）。空間預測（或者“訊框內預測(intra prediction)”）使用來自相同視訊圖像/片段中的已編碼的鄰近塊的像素來預測目前視訊塊。空間預測減少視訊訊號中固有的空間冗餘。時間預測（還稱為“訊框間預測(inter prediction)”或者“運動補償預測”）使用來自已經編碼的視訊圖像的重建像素來預測目前視訊塊。時間預測減少視訊訊號中固有的時間冗餘。通常藉由一個或者多個運動向量以傳訊給定的視訊塊的時間預測信號，該運動向量表明在目前塊與其參考塊之間的運動的量及方向。而且，如果支援多個參考圖像（與最近的視訊編碼標準（例如，H.264/AVC或者HEVC）一樣），則針對各個視訊塊，另外發送其參考圖像索引；並且參考索引用於識別時間預測信號是來自參考圖像儲存器（164）中的哪個參考圖像。在空間及/或時間預測之後，例如，編碼器中的模式決定塊（180）基於速率失真最佳化方法來選擇最佳預測模式。然後從目前視訊塊（116）減去預測塊；並且使用轉換（104）來對預測殘差進行去相關並且量化（106），以達到目標位元速率。對量化殘差係數進行逆量化（110）及逆轉換（112）以形成重建殘差，然後將重建殘差添加回預測塊（126）以形成重建視訊塊。在將重建視訊塊放入參考圖像儲存器（164）中並且使用重建視訊塊對未來的視訊塊進行編碼之前，可以對重建視訊塊應用其它迴路濾波（例如，去塊（de-blocking）濾波器及適應性迴路濾波器）（166）。為了形成輸出視訊位元流120，將編碼模式（訊框間或者訊框內）、預測模式資訊、運動資訊、及量化殘差係數全部發送至熵編碼單元（108）進行進一步壓縮及封裝以形成位元流。
第2圖是基於塊的視訊解碼器的功能方塊圖。首先解封視訊位元流202並且在熵解碼單元208處對其進行熵解碼。將編碼模式及預測資訊發送至空間預測單元260（若進行訊框內編碼）或者時間預測單元262（若進行訊框間編碼）以形成預測塊。將殘差轉換係數發送至逆量化單元210及逆轉換單元212以重建殘差塊。然後，在226中，將預測塊及殘差塊一起相加。在將重建塊儲存在參考圖像儲存器264中之前，重建塊可能要進一步進行迴路濾波。參考圖像儲存器中的重建視訊然後被發送以驅動顯示裝置、並且用於預測未來的視訊塊。運動補償殘差的預測。
在目前的視訊編解碼器中，運動補償預測（MCP）以其在藉由利用圖像之間的時間相關性來消除時間冗餘方面的高效率著稱，並且已經廣泛用於大多數最先進的視訊編解碼器中。在過去十年裡，研究報告稱，在運動補償預測之後，在時間鄰近的圖像的殘差圖像之間仍然存在結構方面的相似性。因此，在文獻中已經提出了旨在進一步減少預測殘差的若干預測技術，例如，空間域殘差預測、頻域殘差預測、及時間域殘差預測。空間域殘差預測。
基於觀察到利用MCP產生的殘差仍然具有空間相關性或者紋理結構，藉由對從因果鄰近樣本的殘差信號獲得參考樣本執行訊框內預測，空間域殘差預測技術可利用這種剩餘的信號相關性。如第3圖所描繪，藉由從模板的重建信號減去中間倒L形鄰域（稱為模板）的預測信號，來導出這些參考樣本的此殘差信號。使用MCP從參考圖像的對應信號獲得模板的預測信號。然後，將模板的殘差用作在殘差域中執行訊框內預測的參考。訊框內預測的結果是目前塊的預測殘差，該預測殘差被視作二階預測；然後將其與運動補償預測累加起來以形成最終預測。直接應用了與針對訊框間模式相同的轉換及量化程序。頻域殘差 係數預測。
不是基於模板的殘差信號來應用訊框內預測，一些方法直接經由轉換域運動補償預測來估計量化轉換係數。這種方法旨在減少對量化殘差係數進行編碼所消耗的編碼位元的數量，因此，可能不會影響重建圖像品質。在對目前訊框進行編碼之後，與相同頻帶對應的係數按序排列在一起以形成頻率平面。例如，如果應用了4x4轉換，則將包括目前圖像及參考圖像的各個編碼圖像分成16個大小相等的頻率平面。然後，逐個平面地應用基於塊的運動補償預測。為了節省運動向量（MV）負荷，這些頻率平面可以共用相同的運動資訊。將在各個頻率平面中的殘差係數重新映射至在編碼的目前圖像中的原始轉換順序，並且接著按照與用於對量化轉換係數進行編碼相同的方式對在目前圖像中的各個轉換單元的殘差係數進行編碼。時間域殘差預測。
由於可變的塊大小轉換，在不對參考圖像進行重新轉換編碼及重新量化下，獲取與相同頻帶對應的係數並不容易。一種低複雜性方法在時間域而不是頻域中執行具有重建殘差的運動補償預測。經由重建殘差而不是重建像素來形成正在使用的參考圖像。然後將運動補償殘差預測信號與像素的運動補償預測信號累加起來以形成最終預測信號。可以直接應用與針對訊框內模式相同的轉換及量化程序。殘差預測 的挑戰。
使用運動補償預測的殘差預測提供了進一步提高訊框間預測殘差的編碼效率的機會。如在第4A圖至第4C圖中可以看出，在時間空間中仍然存在殘差圖像之間的結構方面的相關性。在目前圖像（第4B圖）的預測殘差及前一個圖像（第4C圖）的重建殘差中可以容易地觀察到相似的運動邊界（例如，分別用紅色及藍色突出顯示的賽馬騎手的身體及馬頭）或者邊緣（例如，用橙色旗標的馬鞍）。然而，上述的技術直接使用重建殘差來產生殘差預測器。這些技術並未完全利用重建殘差來提高整體編碼性能。
因為重建殘差信號很可能會是符合統計學中的Laplace分佈的零均值高頻信號，所以出現了針對殘差預測技術的一個問題。這產生了大體上均勻分佈且隨機的正負符號值。針對這些符號值，即使兩個塊在結構方面彼此相似，但是仍然會導致考慮到主要是由於符號值的不匹配而造成的塊匹配方面的不匹配。因此，當在殘差域中執行了運動估計時，難以為殘差塊找到具有相同的結構資訊的良好預測器。這可能會降低基於MCP的殘差預測的有效性。
因為迴路濾波可以積極或者消極地影響殘差的預測品質，所以出現了針對殘差預測技術的另一問題。例如，如果藉由從濾波後的重建信號減去預測信號來建構殘差參考圖像，則藉由使用去塊濾波器來抑制塊假影等同於將此假影傳輸至殘差的參考圖像。由於這種人工調節並非始終與殘差相關，因此，需要適應性機制；否則，可能會造成較差的殘差預測性能。
雖然在某種程度上可以預測目前殘差塊中的結構資訊，但是因為目前殘差塊中的剩餘資訊駐留在高頻範圍中，預測該剩餘資訊極為困難，所以出現了針對殘差預測技術的又一問題。因為使用MCP的殘差預測旨在預測結構資訊，所以具有任何微小強度變化（例如，隔開的峰值）的殘差的參考圖像不會在預測性能方面提供較多的益處，相反，其會污染無結構的區域中的預測殘差，從而產生了低效率編碼轉換結果。當微小的強度變化類似於雜訊時，應該會需要可以用來濾出這種雜訊的去雜訊濾波。
因為殘差是參考圖像中的稀疏信號，因此，其運動場顯示出比像素域中的運動場更強的隨機性，所以出現了針對殘差預測技術的另一問題。對殘差域的運動應用具體針對像素域的運動進行最佳化的相同的搜尋策略及運動資訊編碼技術不一定是最佳的。在範例性實施例中的殘差預測技術。
在本揭露中，揭露了用於使用運動補償預測方法來提高殘差預測的預測效率的系統及方法。所揭露的系統及方法不僅進一步擴展到訊框間編碼塊的殘差，還擴展到訊框內編碼塊的殘差。
本文揭露了使用運動補償預測及處理後的殘差參考圖像（例如，已經濾波以產生去雜訊殘差參考圖像的殘差參考圖像）的殘差預測技術。
本揭露進一步指定了殘差參考圖像的產生過程。在考慮到或者不考慮迴路濾波效果下，可以適應性地產生這些圖像，接著是用於增強這些圖像的品質的範例性去雜訊濾波器設計。描述了用於減小參考圖像的儲存大小的壓縮方法。
在一些實施例中，簡化了用於殘差的運動資訊的語法設計，以達到在語法負荷與編碼性能之間的最佳折衷。
描述了用於最佳化殘差預測的運動估計過程的編碼器搜尋標準的範例性方法。進一步描述了聯同訊框間預測技術及訊框內預測技術一起最佳化提出的殘差預測的模式參數的實施例。
第5圖是範例性提出的視訊編碼器的方塊圖。與第1圖中示出的常規視訊編碼器類似，首先調用空間預測模組及運動估計及補償模組以分別產生訊框內預測信號及訊框間預測信號。經由對處於最接近的因果鄰域的重建像素進行外插來合成訊框內預測信號，並且指示了一種最有利於表示目前塊的外插法；使用一個或多個最佳化的運動向量（MV）將目前塊與參考圖像中的參考塊進行匹配，來形成訊框間預測信號。然後在轉換編碼模組之前調用附加模組（稱為運動補償殘差預測（MCRP））。
在本揭露中，為了便於解釋，使用了以下術語。將藉由從原始信號減去像素域訊框內/訊框間預測產生的殘差稱為一階殘差。將藉由從一階殘差減去殘差域訊框間預測產生的殘差稱為二階殘差。將像素域訊框內/訊框間預測及殘差域訊框內/訊框間預測分別稱為一階預測及二階預測。將用於一階預測及二階預測的MV分別稱為像素域MV及殘差域MV。將藉由對係數（藉由對二階殘差進行轉換及量化來產生該係數）進行逆量化及逆轉換產生的殘差稱為重建二階殘差。將藉由將重建二階殘差及二階預測相加產生的殘差稱為重建一階殘差。
如第6圖所描繪，在範例性實施例中，採用MCRP的編碼器執行用於搜尋最佳殘差的MV的運動估計、然後使用最佳殘差MV從殘差參考圖像儲存器執行運動補償，以獲取殘差域中的預測塊（殘差的預測信號）。將此殘差預測信號（二階預測）與訊框間或者訊框內預測信號（一階預測）相加以形成複合預測信號。之後，從該最終預測信號減去原始信號，因此，產生了用於編碼的最終殘差信號（二階殘差）。
對然後要被熵編碼並且輸出至位元流的二階殘差應用轉換及量化模組。在應用了逆量化模組及逆轉換模組之後，二階殘差信號被重建、且接著與一階預測信號及二階預測信號累加在一起，以在迴路濾波器模組之前形成重建信號。進一步地，對要輸出的重建視訊訊號應用迴路濾波器模組（例如，去塊、樣本適應性偏移及適應性迴路濾波器）。從一階預測視訊訊號（包括訊框間預測信號及訊框內預測信號）減去重建視訊訊號（在迴路濾波器模組之前或者之後），並且藉由使用在第5圖中的標有殘差參考圖像產生模組的模組中的低通濾波器來濾波產生的視訊訊號（重建一階殘差）。
為了節省儲存大小，殘差參考圖像產生模組還可以從濾波後的信號截斷各個樣本的符號位元及一些最低有效位元，或者可以剪輯特定位元範圍內的殘差。然後將此模組的輸出信號儲存在一階殘差參考圖像儲存器中，以供將來在運動補償殘差預測模組中使用。根據訊框內預測及訊框間預測的預測性能，有時，不存在過多要被預測的剩餘的一階殘差信號，因此，在速率失真的意義上，以二階預測的傳訊負荷為代價不一定總是值得的。因此，為了改善MCRP的編碼性能，在一些實施例中，在特定塊級（例如，CU或者PU級）傳訊旗標殘差 _ 預測 _ 旗標（ residual_prediction_flag ） ，以表明MCRP的使用。當此旗標被設定為等於1時，在相同的塊級傳訊另一旗標殘差 _ 符號 _ 旗標（ residual_sign_flag ） 以表明二階預測信號的幅度應該為正還是為負。針對提出的編碼器，在片段、圖像、或者序列級傳訊另一旗標殘差 _ 選擇 _ 旗標（ residual_selection_flag ） ，以在用於產生一階殘差參考圖像的兩種方法之間進行切換。然後可以濾波這些殘差參考圖像以提高品質，並且截斷這些殘差參考圖像以節省儲存大小。
第7圖是對由第5圖的編碼器產生的位元流進行解碼的範例性視訊解碼器的方塊圖。藉由熵解碼器來解析位元流，並且對所獲得的殘差係數進行逆量化及逆轉換以重建殘差。根據接收到的預測資訊（針對訊框內預測的訊框內模式以及針對訊框間預測的運動資訊），藉由執行像素域訊框內預測或者訊框間預測來產生一階預測信號。如果接收到的旗標residual_prediction_flag 等於1，則進一步將一階預測與藉由執行MCRP產生的二階預測信號累加起來（如第8圖所描繪），從而產生最終預測信號；否則（如果residual_prediction_flag 等於0），一階預測信號在不進行任何改變下直接充當最終預測信號。根據旗標residual_sign_flag ，二階預測信號的幅度可以在residual_sign_flag 等於1時為正、或者在residual_sign_flag 等於0時為負。稍後，將最終預測信號及重建殘差信號相加以在迴路濾波器模組之前形成重建視訊。
在將重建視訊儲存在參考圖像儲存器中進行顯示及/或用於對未來的視訊訊號進行解碼之前，重建視訊還可以經歷迴路濾波過程。如果接收到的旗標residual_selection_flag 等於1，則在迴路濾波器模組之後，從重建視訊減去一階預測視訊以形成重建一階殘差圖像；否則（如果residual_selection_flag 等於0），在迴路濾波器模組之前，在前述減法運算中使用重建視訊。在第7圖中描繪的殘差參考圖像產生模組中，可以濾波產生的重建一階殘差，並且在將其儲存在一階殘差參考圖像儲存器中以供將來在MCRP的預測過程中使用之前，可以進一步截斷其符號位元及最低有效位元。
在本揭露中，描述了藉由使用在第5圖及第7圖中提出的編碼器及解碼器上建構的MCRP的殘差預測方法的系統及方法。在本揭露的以下部分中，“使用運動補償的殘差預測”部分呈現了用於執行MCRP及相關聯的重建過程的範例性方法。“殘差參考圖像的產生”部分描述了一階殘差參考圖像產生、去雜訊濾波器設計及儲存的範例性過程。在“運動補償殘差預測的傳訊”部分中，描述了針對與MCRP有關的旗標的範例性傳訊設計，並且呈現了用於MCRP的殘差域MV及參考圖像選擇的範例性編碼方法。“殘差域MV的僅編碼器的搜尋策略”部分描述了範例性僅編碼器的殘差的運動搜尋策略。使用運動補償的殘差預測。
在範例性實施例中，運動補償殘差預測（MCRP）操作用於預測從訊框內預測或者訊框間預測產生的一階殘差。在一個實施例中，各個PU具有表明在殘差參考圖像中預測到其的位置的附加MV。可以將所得的預測表示為以下等式，其中，
Figure 02_image001
[x |m ]表示位於圖像內的位置x 處的特定樣本x 的一階預測信號，m 包含依賴於用於產生
Figure 02_image001
[x |m ]的預測模式的運動資訊或者訊框內方向，
Figure 02_image003
[x +v ]表示x 的殘差的二階預測信號，v 是用於執行MCRP的運動向量，並且P [x |m ,v ]表示使用m 及v 的位於x 的樣本x 的複合MCRP預測信號。
Figure 106114639-A0304-0001
經由MCRP，可以更好地表示塊中的高頻分量。通常，從參考重建像素導出預測信號可能會導致針對塊的高頻分量的預測性能較差。這是因為由於量化，這些參考像素中的大多數已經在某種程度上失去了其高頻資訊的準確性，但是這些像素的結構資訊中的一些仍然保留在重建殘差信號中。為了補償損失，提出的MCRP利用此觀察以採用由其相關聯的殘差域MV表明的一階殘差參考圖像執行附加運動補償，以獲取可以用於表示目前塊的結構資訊的塊。
然而，這種結構資訊主要由包括量化雜訊的高頻差分信號組成。信號的符號值是非常隨機的，並且由於應用了不同的量化步長，可以使信號的幅度移位。二者均為將會限制殘差預測的性能的消極因素。在範例性實施例中，提出了利用校正線性模型的殘差預測，並且該殘差預測可以表示如下：
Figure 106114639-A0304-0002
 其中，W [x ]及O [x ]分別表示加權因數及偏移值，運算子
Figure 02_image005
輸出輸入變數y 的幅度，並且(W [x ]*|
Figure 02_image003
[x +v ]|+O [x ])是提出的二階預測的通用形式。在所提出的二階預測的實施例中，可採用
Figure 02_image003
[x +v ]的絕對值，並且對預測塊中的各個|
Figure 02_image003
[x +v ]|應用線性模型。
儘管等式（2）對各個位置處的各個殘差樣本應用W [x ]及O [x ]，並且在一些實施例中使用等式（2）來處理上述問題，但是由於昂貴的負荷，此解決方案可能超出了MCRP的預測益處。在範例性實施例中，每個塊只有一個加權因數及一個偏移值被應用於為塊中的所有殘差估計單獨加權因數及偏移（W [x ]及O [x ]）。而且，因為這些配置，(W [x ],O [x ])∈{(-1,0),(1,0)}已經從MCRP捕獲了大多數預測益處，並且已經實現了在殘差預測精確度及傳訊負荷之間的平衡，等式（2）的簡化形式可以如下：
Figure 106114639-A0304-0003
 其中，S [x ]表示x 的估計符號值並且在所有樣本中共用，並且S [x ]*|
Figure 02_image003
[x +v ]|是提出的二階預測的簡化形式。在此等式中，分別用1及-1表示正負符號值。在二階預測的範例性實施例中，可取
Figure 02_image003
[x +v ]的絕對值，並且對預測塊中的各個|
Figure 02_image003
[x +v ]|應用符號值。範例性實施例採用較少的語法元素（使用S [x ]來取替W [x ]及O [x ]）來支援二階預測。
針對等式（3），可以藉由使用等式（4）來產生重建信號
Figure 02_image009
[x ]，在等式（4）中，將重建二階殘差信號
Figure 02_image011
[x ]、一階預測信號
Figure 02_image001
[x |m ]、及二階預測信號S [x ]*|
Figure 02_image003
[x +v ]|累加在一起。
Figure 106114639-A0304-0004
在未賦能MCRP的情況下，
Figure 02_image011
[x ]不是重建二階殘差信號，而是藉由對係數（藉由對一階殘差進行轉換及量化來產生該係數）進行逆量化及逆轉換產生的重建殘差。由於重建殘差的順序與一階殘差相同，所以將重建殘差與一階預測信號相加以形成
Figure 02_image009
[x ]，如下：
Figure 106114639-A0304-0005
 殘差參考 圖像的產生。
以下揭露詳細地描述了一階殘差參考圖像的產生過程、去雜訊過程、及儲存的實施例。一階殘差參考圖像產生。
在產生了等式（4）或者（5）中的重建信號
Figure 02_image009
[x ]之後，可以建構一階殘差參考圖像。在範例性實施例中，從
Figure 02_image009
[x ]減去一階預測
Figure 02_image001
[x |m ]。這給出：
Figure AA101
如等式（6）指出的，根據MCRP的使用，在殘差參考圖像中的各個塊可以由重建二階殘差信號加上殘差預測信號組成、或者僅由重建一階殘差信號組成。在應用MCRP時，不直接使用
Figure 02_image011
[x ]代替等式（6）的原因是
Figure 02_image011
[x ]表示二階殘差，二階殘差的階數與訊框間及訊框內預測殘差（一階殘差）的階數未對準。由於MCRP的目的是預測一階殘差，所以還應該藉由使用相同的階數來表示儲存在參考圖像中的信號。因此，將重建殘差信號及殘差預測信號累加在一起以重建一階殘差。因此，殘差參考圖像中的所有信號都是一階殘差，因此，可以直接使用這些信號來為訊框間預測殘差及訊框內預測殘差執行殘差預測。
為了進一步改善MCRP的性能，在一些實施例中，可以使用濾波後的重建信號或者未濾波的重建信號來表示等式（6）中的
Figure 02_image009
[x ]。如第5圖及第7圖所示，這種適應性可以取決於對殘差選擇旗標（residual_selection_flag ）的選擇，該殘差選擇旗標可以在片段、圖像、或者序列級而被傳訊。已知迴路濾波器模組的目的是提高感知品質並且降低壓縮失真。然而，對重建信號應用的這種調節可能不會始終與增強像素的結構資訊相關。例如，假設濾波後的重建信號用於表示
Figure 02_image009
[x ]，經由去塊濾波器從其移除塊假影等同於將這種假影傳輸至殘差的參考圖像。可以藉由使用以下等式來解釋這種行為：
Figure AA102
 其中，
Figure 02_image009
[x ]+Δ[x ]可以是去塊濾波器的濾波結果。與等式（6）相比，此等式針對各個樣本引入偏移值Δ[x ]以抑制在
Figure 02_image009
[x ]內的偽邊緣。當此偏移有效地發揮作用時，將抑制的偽邊緣完整地傳輸至
Figure 02_image009
[x ] -
Figure 02_image001
[x |m ]，導致更高頻的邊緣被添加到一階殘差參考圖像中。由於關於是否可以將偽邊緣添加到殘差參考圖像中的不確定性，如果用於
Figure 02_image009
[x ]的源始終來自濾波後的（或者未濾波的重建）信號，則可以抑制殘差預測性能。因此，在濾波後的重建信號及未濾波的重建信號之間進行切換的適應性幫助改善運動補償殘差預測的性能。殘差參考 圖像的去雜訊濾波。
殘差參考圖像的雜訊可能會非常大。如從第9圖可以看出，在一些樣本內，重建一階殘差參考圖像中的雜訊信號可以在零附近快速振盪。為了抑制雜訊，此部分描述了範例性去雜訊濾波過程，針對殘差參考圖像，可以基於塊、片段、圖像、或者序列基礎，來選擇或者禁用該範例性去雜訊濾波過程。一個這種過程是基於截斷的濾波（複雜性相對較低），而另一個這種過程是基於迭代最小平方誤差的濾波（複雜性相對較高）。
基於截斷的濾波。 基於截斷的濾波器可操作以用於篩選出殘差參考圖像中的具有小強度值的殘差樣本。由於MCRP主要將重點放在預測結構資訊上，這種小變化不會對殘差預測性能有益，相反，其會污染無結構區域中的預測殘差，導致了不夠緊湊的轉換編碼結果。因此，在範例性實施例中，藉由使用弱濾波過程來濾出殘差參考圖像中的無關緊要的信號（即，
Figure 02_image017
），這可以藉由以下等式給出：
Figure AA103
 其中，T 是從殘差圖像估計的臨界值。例如，可以將T 的值估計為：
Figure AA104
 其中，P (.)表示給定事件的概率，Tmin 是用於防止產生的T 過小的預定臨界值，並且k 控制濾波後的樣本與整個圖像樣本之間的比率。當k 小時，T 的值也會趨向於小。
基於截斷的濾波過程在結構資訊被應用量化及逆量化之後失真較小下可良好地執行。然而，在其它情況下，由於強量化效應，在殘差參考圖像中的結構資訊可能會變得較不精確，特別是對於量化雜訊通常帶有較高方差並且可以使
Figure 02_image011
[x ]的幅度嚴重失真的低速率情況。因此，對
Figure 02_image011
[x ]的操縱應該更趨保守，因此，可以對各個
Figure 02_image011
[x ]應用強濾波過程以抑制雜訊，特別是對於具有較大幅度的那些殘差。這種強濾波器的原理是對各個
Figure 02_image011
[x ]應用較大的量化步長以移除由量化模組引入的量化雜訊。可以用以下等式來表示這種濾波過程：
Figure AA105
 其中，d 是正實數，並且運算子
Figure 02_image035
輸出等於或者小於輸出值的最大整數。
注意，當在等式（10）中的d 的數量為2的冪及非負整數時，這種濾波過程等同於篩選出
Figure 02_image011
[x ]的一些最小有效位元。因此，僅藉由使用一些加法運算及移位運算就可以實施等式（10），如下：
Figure AA106
 其中，n 是確定濾波長度的非負整數。由於僅使用加法運算、移位運算、及/或轉移運算就可以實施兩個濾波器，所以對解碼複雜性的影響是極小的。根據在片段、圖像、或者序列級存在的控制旗標residual_filter_selection_flag ，可以確定對較弱或者較強的濾波器的選擇。還可以在塊級（例如，CTU級）傳訊residual_filter_selection_flag 以為各個局部塊適應性地選擇殘差濾波器。
在另一實施例中，邊緣感知去雜訊濾波器及邊緣保持平滑濾波器也適用於此目的，例如，中值濾波器及雙邊濾波器。
基於迭代最小平方誤差的濾波。 不加選擇地對殘差參考圖像進行濾波可能會導致殘差預測性能的退化。例如，具有小強度值的連續非分離的殘差樣本的序列還可以包含重要結構資訊，但是可以藉由等式（8）及（10）篩選出所有的這種殘差樣本（即，設定為0）。在一些實施例中，離線訓練的濾波器適用於增強殘差參考圖像的品質。在範例性方法中，編碼器在序列級指定濾波器係數的集合，並且其可在圖像及/或片段級決定是否要賦能或者禁用濾波器。這部分描述了實施例，可以利用藉由使用訓練序列產生的給定重建圖像集合來離線導出濾波器係數。
在濾波器為n 分接頭濾波器的情況下，可以將殘差預測信號
Figure 02_image011
[x ]的濾波過程用等式表示為如下：
Figure AA107
 其中，wj ,j =1,…n ， 表示濾波器係數的值，vb 是樣本x 所處的塊b 的殘差域運動向量，並且o j 是指向wj 的相關聯的濾波器輸入相對於x +vb 所處的位置的偏移向量。例如，用於9分接頭濾波器的有序偏移向量為o j
Figure 02_image041
{(-1,-1), (0,-1), (1,-1), (-1,0), (0,0), (1,0), (-1,1), (0,1), (1,1)}，表示樣本位置的3x3鄰域。為簡單起見，可以藉由使用向量形式來表示等式（12）：
Figure AA108
 其中，
Figure 02_image047
及w =[w 1 ,w 2 ,…,wn ] T 。濾波過程的目的是使在
Figure 02_image021
[x ]與期望的信號R [x|m ]（即，經由從源信號減去訊框內或者訊框間預測信號產生的未編碼的殘差信號）之間的差異最小化。針對等式（13），可以將此問題用等式表示成：
Figure AA109
 其中，B 是以訓練序列中的MCRP進行編碼的塊b i 的集合，R [x |mb i ]是藉由訊框內預測或者訊框間預測根據mb i 產生的未編碼的一階殘差，並且D 是殘差的預測誤差的總和。可以經由迭代最小平方解來解決該問題。如第10圖所圖示的範例性方法涉及在第k 次迭代處尋找用最佳濾波器w (k ) 賦能MCRP的塊。然後利用產生的塊b i 連同vb 以將估計w (k ) 改進為w (k +1) 。可以在連續迭代之間的D 的值的變化低於臨界值之前重複這些步驟。以下詳細說明了各個步驟。
1 ）殘差域 MV 的運動估計 。考慮到第k 次迭代，在這種情況下，目前最佳權向量為w (k ) 。使用等式（14）中的估計，可以將運動搜尋標準表示為如下：
Figure AA110
一旦編碼器確定MCRP是最佳預測模式，在B (k +1) 中採集塊b 及相關聯的vb i 。
2 ） 濾波器係數的適應性 。為了獲得濾波器係數的新估計，可以用所得的B (k +1)
Figure 02_image053
及x (k +1) 來取代等式（14）中的B 、
Figure 02_image055
、及x 。可以經由以下等式來獲得w 中的濾波器係數：
Figure AA111
替代地，為説明求解此線性系統的w (k +1) ，可以按照矩陣形式將等式（16）表示為如下：
Figure AA112
 其中，x i ,j 表示相對於圖像的左上角記錄的xi ,j 的樣本位置，並且下標i 及j 表明在B (k +1) 中採集的第i 個塊b i 的第j 個樣本。由於等式（17）是二次函數，可以直接經由閉式解來求解w (k +1) ；即，
Figure 106114639-A0304-0006
 殘差參考 圖像的儲存。
以全樣本位元深度維持殘差參考圖像可能成本過高。考慮到殘差參考圖像的數量可以與像素參考圖像的數量相同，無論應用訊框緩衝壓縮技術與否，用於儲存的整體儲存大小大致預計為兩倍。在儲存中更為嚴重的是，在沒有任何處理下，殘差信號消耗1個附加位元以保持其符號值，因此，用於殘差參考訊框及像素參考訊框二者的整體儲存大小超過了用於像素參考訊框的整體儲存大小的二倍。
為了節省儲存大小，可以削減
Figure 02_image003
[x ]的符號值，只有其絕對值可以保持不變。此方法將額外的儲存大小有效地限制為恰好等於像素的參考圖像的儲存大小，並且同時，由於等式（3）中示出的提出的殘差預測不需要知道在各個樣本位置x 處的
Figure 02_image003
[x ]的符號值，所以這不會影響殘差預測性能。
為了進一步限制儲存大小，在將殘差參考訊框儲存在殘差參考圖像儲存器（在第5圖及第7圖中示出的）中之前，將殘差參考圖像的最低有效位元四捨五入並且截斷。可以用以下等式來表示此過程：
Figure AA113
 其中，n 是非負整數。注意，如果將等式（11）視為去雜訊方法，則等式（19）中的參數n 的動態範圍應該大於或者等於等式（11）中所使用的n 的值，因為該截斷過程在應用去雜訊過程之後完成（如在“殘差參考圖像的去雜訊濾波”部分中規定的）。進行補零以用於重建。鑒於等式（19），可以用更精確形式將用於複合預測的等式（3）表示為：
Figure AA114
 運動補償殘差預測的傳訊。
此部分描述了MCRP的範例性語法設計，包括：模式旗標及殘差的運動資訊。與 MCRP 模式相關的語法元素。
在範例性實施例中，根據對在片段、圖像、或者序列級發送的旗標residual_prediction_at_cu_flag 的控制，可以在位元流中在塊級（例如，CU級或者PU級）處傳訊用於表明MCRP的使用的模式旗標residual_prediction_flag 。這兩個旗標可以用於防止MCRP模式傳訊針對各個CU及PU的殘差的MV，因為在一些情況下，在執行了訊框間預測及訊框內預測之後，未剩下過多的殘差信號，因此，無需始終賦能MCRP。
由於視訊特徵的多樣性，一階預測可能已經藉由使用在特定塊級處的訊框間預測、合併模式、及訊框內預測中的一些（或者所有）而良好地執行。在一些實施例中，為了進行更好的控制，除了residual_prediction_at_cu_flag 之外，還在片段、圖像、或者序列級引入了三個附加旗標，使得能夠結合不同的編碼模式來賦能MCRP：訊框間預測（由residual_prediction_with_inter_flag 控制）、合併模式（由residual_prediction_with_merge_flag 控制）、及訊框內預測（由residual_prediction_with_intra_flag 控制）。只有在賦能了這些各自的高階旗標時，針對訊框間預測PU、合併PU、及訊框內預測PU以傳訊範例性residual_prediction_flag 旗標。為了具有關於塊大小的更高的適應性，可以只針對一些CU大小傳訊旗標residual_prediction_flag 。為了這樣做，可以使用兩個指示符，在片段、圖像、或者序列級傳訊residual_prediction_with_inter_min_level 及residual_prediction_with_intra_min_level ，以表明可以對MCRP分別應用訊框間預測殘差及訊框內預測殘差的最小CU大小。針對小CU限制residual_prediction_flag 的傳訊可以幫助減少傳訊負荷。
在範例性實施例中，可以在片段、圖像、或者序列級傳訊附加旗標residual_zero_cbf_flag ，以表明在MCRP之後產生的殘差信號（即，二階殘差信號）是否需要傳訊。如果賦能了此旗標及residual_prediction_flag 二者，則各個CU的編碼塊旗標（cbf）被推斷為零並且無需被傳訊。當從MCRP預測的殘差足夠精確時，此旗標residual_zero_cbf_flag 可以特別充分地工作。即，可以藉由殘差預測過程來捕獲大多數訊框內預測殘差及訊框間預測殘差，因此，不需要對剩餘的（即，二階）殘差進行進一步編碼。MCRP 的運動資訊編碼。
由於二階預測的運動資訊的特徵及一階預測的運動資訊的特徵彼此完全不同，本文所揭露的實施例為前者提供了關於其運動向量編碼及參考圖像選擇的替代語法設計。為了方便起見，在下文中將二階預測的運動資訊（例如，MV、MVD）及一階預測的運動資訊（例如，MV、MVD）稱為殘差域運動及像素域運動。
殘差域 運動向量編碼。 為了減少傳訊殘差域運動向量的負荷，本文揭露了各種編碼工具。範例性編碼工具包括MV解析度、針對MV預測的MV場選擇、及MVD二值化。為便於解釋，描述了對MCRP應用單預測的實施例，因此，每個PU只有一個殘差域MV。然而，在一些實施例中，在此描述的系統及方法可應用於針對殘差的雙預測。
1 ） MV 解析度。 在範例性實施例中，按照r 像素精確度來表示殘差域MV，其中，r ∈{2 d |d 屬於整數}。使用較粗糙的解析度（例如，r ≥ 1或者d ≥ 0）表示殘差域MV的益處是雙重的。首先，當r 是整數時，可以徹底繞過用於運動補償的內插濾波器。這不僅僅會降低執行MCRP的複雜性，而且還會防止MCRP為預測訊框內預測殘差及訊框間預測殘差而產生過度平滑的殘差預測信號，即，高頻信號。其次，當與像素域MV進行比較時，殘差域MV通常幅度較大。這可以從第11圖觀察到，第11圖示出了第4B圖的殘差域（如亮箭頭所表示）及像素域（如暗箭頭所表示）運動場。因為一階殘差的能量主要分佈在對象邊界上，殘差域MV很有可能會指向這些邊界，而不是短MV所指向的鄰近區域。因此，使用較粗糙的MV解析度幫助減少具有較大幅度的這些殘差域MV的傳訊負荷。
2 ） 針對 MV 預測的 MV 場選擇 。為了預測殘差域MV，在一些實施例中，可以選擇使用像素域運動場或者殘差域運動場作為輸入以產生MV預測列表。前者由於其重新使用來自訊框間模式的所有現有設計，所以具有較低的複雜性，但是由於殘差域MV及像素域MV的不同特徵，其可能不夠精確。後者由於需要緩衝各個訊框處的所有殘差域MV，所以可能具有較高的複雜性，但可以提供更精確預測。因此，後者可以針對殘差域MV預測提供更好的性能。
在像素域運動場用於為殘差域MV建構MV預測列表的情況中，在MV預測列表與MV解析度之間存在交互作用。因為可以將像素域MV儲存在具有更高解析度（例如，1/16像素精確度）的相關聯的運動場中，所以不能保證其MV解析度可以與殘差域MV的MV解析度對準。在MV預測列表可以用於計算殘差域MVD之前，可以將所有其MV預測四捨五入為與殘差域MV相同的解析度，以確保用相同解析度來表示MVD及MV。四捨五入運算可以如下：
Figure AA115
 其中，v c 表示MV的水平分量及垂直分量，m 是用於儲存的v c 的MV解析度（例如，m ∈{1/4, 1/8}），並且r 是在先前部分中定義的殘差域MV解析度。注意，m 的值應該小於或者等於r （從而具有更高的MV解析度）。
3 ） MVD 二值化。 本揭露進一步提供了用於對殘差域MV中的各個分量的絕對值|v c |進行二值化的替代技術。如果第一位元等於0，則|v c |等於0；否則（如果其等於1），則|v c |大於0。藉由使用具有初始化參數k （其中，k ∈{0,1,2,3,...}）的指數Golomb編碼來表示其餘的事件（即，|v c |∈{1,2,3,...}）。
參考圖像選擇 。為了達到在語法負荷與編碼效率之間的有利折衷，描述了可以進一步減少參考圖像語法的傳訊負荷（即，參考列表索引及參考圖像索引）的範例性方法。這種方法包括移除雙預測指示符、參考列表推斷、及參考圖像推斷。下文更詳細地描述了這些方法。注意，這些方法可以按照不同的方式進一步彼此組合。例如，在一個這種組合中，可以在沒有任何傳訊的情況下推斷參考圖像列表及參考圖像索引。
1.) 雙預測指示符的移除。 當MCRP是單向殘差預測方法時，可以移除用於識別雙預測及單預測的指示符。在此方法中，用於指示MCRP的準確殘差參考圖像的語法元素可以包括用於參考列表索引的一個旗標，以識別使用L0參考列表或者L1參考列表中的哪一個；及以與用於訊框間模式相同方式傳訊的一個參考圖像索引。
2.) 參考列表推斷。 又一實施例可操作用於藉由推斷列表而不是傳訊列表，以節省用於參考列表的位元。不同的實施例可以使用不同的方法來導出MCRP的參考列表。在一些實施例中，在MCRP中使用的參考圖像列表可以被推斷為例如L0或者L1。在又一實施例中，在MCRP中使用的參考圖像列表被推斷為與在相同PU的像素域運動場中所使用的相同的參考列表，並且在不利用單預測（例如，雙預測及訊框內預測）對目前PU進行編碼的情況中，將L0設定為預設參考列表。在推斷出參考圖像列表之後，可以按照與針對訊框間模式相同的方式傳訊在MCRP中使用的參考圖像索引。
3.) 參考圖像推斷 。一些實施例使用參考圖像推斷方法來節省傳訊參考圖像索引的負荷。各種方法可以用於推斷而不是明確地傳訊MCRP的參考圖像索引（或者RefPicIdx）。在第一種方法中，MCRP的參考圖像索引可以被推斷為是0（即，RefPicIdx=0），即，用於MCRP的參考圖像是L0或者L1中的第一圖像。第二種方法與第一種方法相同，除了在兩個參考列表L0及L1中的具有RefPicIdx=0的兩個圖像相同的時候；在這種情況下，如果使用了L0，則MCRP的參考圖像索引被推斷為是0（即，第一圖像），並且如果使用了L1，則MCRP的參考圖像索引被推斷為是1（即，第二圖像）。在第三種方法中，直接從目前PU推斷出參考圖像索引，並且在目前PU不具有這種資訊的情況下（例如，其為被訊框內編碼的），使用在列表中的第一圖像（即，RefPicIdx=0）。
在推斷出參考圖像索引之後，使用針對參考列表索引的旗標來識別使用了L0或者L1參考列表中的哪一個，可以用與針對訊框間模式相同的方式傳訊在MCRP中使用的參考圖像列表。
另外，注意，上面提出的推斷方法可以用不同方式進一步彼此組合。例如，在一個這種組合中，可以在沒有任何傳訊的情況下推斷參考圖像列表及參考圖像索引。用於殘差域 MV 的僅編碼器搜尋策略。 在快速運動估計中的修改。
在MCRP的運動搜尋中，對MCRP應用與針對像素域運動估計（ME）相同的提前終止臨界值可以使殘差預測性能惡化。定義出可以在ME階段期間被測試的像素位置的最大覆蓋的該臨界值通常是離線訓練的，有利於進行像素域預測。因為在像素的運動場中的MV之間的相關性非常高，所以其值無需過大。然而，如第11圖中表明的，殘差域運動場顯示出更強的隨機性並且通常具有較大幅度MV，因此，殘差域ME的小提前終止臨界值無法保證可以找到來自殘差參考圖像的精確匹配塊。在範例性實施例中，可以針對殘差域ME使用可替代的停止臨界值。該臨界值可以是在像素的ME中使用的那個臨界值的n （n ∈{2,3,4,或者更大}）倍。為了助於理解所提出的方法是怎樣工作的，將菱形搜尋作為範例進行了演示。注意，為了執行菱形搜尋，可以針對該演算法給出參數d 及初始搜尋位置（x ,y ），以識別與以下限制匹配的測試位置（x ’,y ’）的集合：|x ’-x |+|y ’-y | =d 。
在菱形搜尋中，ME從具有初始參數d 的給定初始搜尋位置開始。然後，d 逐漸增大以在菱形輪廓內搜尋更多的像素位置，直到達到停止標準為止。可以選擇此標準，使得如果在每m （例如，在一些實施方式中，m =3）個連續迭代期間沒有搜尋位置可以產生比目前最佳MV更好的預測結果，則ME停止。換言之，如果在特定d 處找到目前最佳MV，如果在d 進一步更新了m 次之後該MV還未被取代，則搜尋停止。當對殘差ME應用菱形搜尋時，用m *n 取代提前終止臨界值m 。當將殘差域MV的MV解析度r 設定為大於1時，提前終止臨界值變為m *n *r 。利用訊框間、訊框內、及合併模式的聯合最佳化。
可以將本文描述的範例性MCRP技術與其它預測模式組合。由於這是聯合最佳化問題，針對等式（20），可以將此問題用等式表示為尋找MCRP的殘差域MV，vb ，及用於訊框內預測及訊框間預測的參數mb ，以使ME階段成本最小化；即：
Figure AA116
 其中，
Figure 02_image073
如同之前在等式（20）中定義的那樣，
Figure 02_image077
是原始視訊訊號，mb 根據結合MCRP使用的預測模式可以包含但不限於以下資訊類型中的一個：針對正常訊框間預測的運動資訊（例如，待被傳訊的運動向量、參考列表索引、及參考訊框索引）；針對合併預測的合併索引；及針對訊框內預測的訊框內方向模式。
注意，在等式（22）及以下等式（23）及（24）中使用的用於對失真進行測量的特定度量（絕對失真的總和）僅僅是範例。可以用其它度量（例如，絕對平方失真的總和、絕對轉換失真的總和、或者絕對重建失真的總和）來取代該特定度量。由於可以在計算遍及塊b 中的所有x 的I [x ]-
Figure 02_image009
[x ]的平方差的總和以取代I [x ]-P [x |mb ,vb ]之前，對所訪問的每對mb 及vb 進行目前塊的編碼及重建，所以第三個度量（絕對重建失真的總和）具有最高的性能，但也是最複雜的。
由於在等式（22）中存在要被確定的兩個參數（即，mb 及vb ），所以可以經由如第12圖中給出的迭代搜尋過程來解決此問題。該程序涉及在第k 次迭代處尋找最佳vb 與目前最佳mb 。然後，利用所得的vb 來進一步改善mb (k ) 到mb (k +1) 中的參數。這兩個步驟會重複，直至在連續迭代之間的ME階段成本（Cost (mb ,vb )）的變化低於臨界值、或者迭代的數量k 大於給定臨界值。首先，將初始參數mb (0) 定義為MCRP聯合最佳化的特定預測模式的參數集合。以下詳細說明了各個步驟。
1 ）殘差域 MV 的運動估計。 考慮到第k次迭代，其中，目前最佳參數集合為mb (k ) 。針對等式（22），可以將殘差域MV的運動搜尋標準定義如下：
Figure AA117
根據等式（23），最佳化問題是尋找可以使在殘差預測信號與I [x ]-
Figure 02_image085
[x |mb (k ) ]之間的差異最小化的vb 。因為mb (k ) 的參數在該迭代中是確定的並且與vb (k +1) 的搜尋結果不相關，所以無需考慮mb (k ) 的位元負荷。在此最佳化過程與單預測的最佳化過程相同時，除了期望的信號變成I [x ]-
Figure 02_image085
[x |mb (k ) ]之外，可以藉由使用與針對單預測相同的搜尋過程尋找vb ，參考圖像來自殘差參考圖像儲存器，並且語法設計遵循在“MCRP的運動資訊編碼”及“在快速運動估計中的修改”部分中指定的語法設計。
2 ） 參數集合的更新 。針對給定的殘差域MV，vb (k +1) ，可以經由以下等式進一步更新mb 中的參數：
Figure AA118
可以看出，如果用I [x ]-S [x ]*|I [x ] [x +vb (k +1) ]|來取代期望的信號I [x ]，且可以忽略vb (k +1) 的位元負荷，則mb (k +1) 的最佳化過程可以獨立於vb (k +1) 。因為vb (k +1) 在該迭代中已經是確定向量，所以vb (k +1) 不會影響mb (k +1) 的結果。因此，經由上述變化，可以完全地重新使用尋找mb (0) 的最佳化過程。範例性位元流通信框架。
第13圖是圖示了編碼的位元流結構的範例的示意圖。編碼的位元流1000由若干NAL（網路抽象層）單元1001組成。NAL單元可以包含編碼的樣本資料（例如，編碼片段1006）、或者高階語法元資料，例如，參數集合資料、片段標頭資料1005、或者補充增強資訊資料1007（可以將其稱為SEI訊息）。參數集合是包含以下必要語法元素的高階語法結構：可以應用於多個位元流層的必要語法元素（例如，視訊參數集合1002（VPS））、可以應用於一個層內的編碼視訊序列的必要語法元素（例如，序列參數集合1003（SPS））、或者可以應用於一個編碼視訊序列內的若干編碼圖像的必要語法元素（例如，圖像參數集合1004（PPS））。參數集合可以與視訊位元流的編碼圖像一起發送、或者經由其它手段（包括使用可靠通道、硬編碼等的帶外傳輸）發送。片段標頭1005也是可以包含相對較小的或者僅與特定片段或者圖像類型相關的與一些圖像有關的資訊的高階語法結構。SEI訊息1007攜帶解碼過程可能不需要、但可以用於各種其它目的（例如，圖像輸出時序、或顯示以及損失偵測及消除）的資訊。
第14圖是示出了通信系統的範例的示意圖。通信系統1300可以包括編碼器1302、通信網路1304、及解碼器1306。編碼器1302可以經由連接1308（可以是有線連接或者無線連接）而與網路1304通信。編碼器1302可以與第1圖的基於塊的視訊轉碼器相似。編碼器1302可以包括單層編解碼器（例如，第1圖）或者多層編解碼器。例如，編碼器1302可以是具有圖像級ILP支援的多層（例如，雙層）可縮放編碼系統。解碼器1306可以經由連接1310（可以是有線連接或者無線連接）而與網路1304通信。解碼器1306可以與第2圖的基於塊的視訊解碼器相似。解碼器1306可以包括單層編解碼器（例如，第2圖）或者多層編解碼器。例如，解碼器1306可以是具有圖像級ILP支援的多層（例如，雙層）可縮放解碼系統。
編碼器1302及/或解碼器1306可以併入各種有線通信裝置及/或無線傳輸/接收單元（WTRU）中，例如但不限於數位電視、無線廣播系統、網路元件/終端、伺服器（例如，內容或者網路服務器（例如，諸如超文字傳輸協定（HTTP）伺服器））、個人數位助理（PDA）、膝上型或者桌上型電腦、平板電腦、數位相機、數位記錄裝置、視訊遊戲裝置、視訊遊戲機、蜂巢或者衛星無線電話、及/或數位媒體播放器等。
通信網路1304可以是合適類型的通信網路。例如，通信網路1304可以是將內容（例如，語音、資料、視訊、訊息、廣播等）提供給多個無線使用者的多重存取網路。通信網路1304可以使得多個無線使用者能夠經由系統資源分享（包括無線頻寬）來存取這種內容。例如，通信網路1304可以採用一個或者多個通道存取方法，例如，分碼多重存取（CDMA）、分時多重存取（TDMA）、分頻多重存取（FDMA）、正交FDMA（OFDMA）、及/或單載波FDMA（SC-FDMA）等。通信網路1304可以包括多個聯網通信網路。通信網路1304可以包括網際網路及/或一個或者多個私人商業網絡，例如，蜂巢網路、WiFi熱點、及/或網際網路服務提供者（ISP）網路等。
第15圖是可以實施本文所述的編碼器或者解碼器的範例WTRU的系統示意圖。如圖所示，範例WTRU 1202可以包括處理器1218、收發器1220、傳輸/接收元件1222、揚聲器/麥克風1224、鍵盤或者小鍵盤1226、顯示器/觸控板1228、非可移記憶體1230、可移記憶體1232、電源1234、全球定位系統（GPS）晶片組1236、及/或其它週邊設備1238。要瞭解，在與實施例保持一致的同時，WTRU 1202可以包括前述元件的任何子組合。進一步地，包含編碼器（例如，編碼器100）及/或解碼器（例如，解碼器200）的終端可以包括本文參照第15圖的WTRU 1202描繪並且描述的元件中的一些或者所有元件。
處理器1218可以是通用處理器、專用處理器、常規處理器、數位訊號處理器（DSP）、圖形處理單元（GPU）、多個微處理器、與DSP核心相關聯的一個或者多個微處理器、控制器、微控制器、專用積體電路（ASIC）、現場可程式設計閘陣列（FPGA）電路、任何其它類型的積體電路（IC）、狀態機等。處理器1218可以執行信號編碼、資料處理、功率控制、輸入/輸出處理、及/或使WTRU 1500能夠在有線及/或無線環境中操作的任何其它功能。處理器1218可以耦合至收發器1220，該收發器1220可以耦合至傳輸/接收元件1222。雖然第15圖將處理器1218及收發器1220描繪為單獨的元件，但是要瞭解，可以將處理器1218及收發器1220集成在電子封裝及/或晶片中。
傳輸/接收元件1222可以被配置為經由空中介面1215將信號傳輸至另一終端及/或從另一終端接收信號。例如，在一個或者多個實施例中，傳輸/接收元件1222可以是被配置為傳輸及/或接收RF信號的天線。例如，在一個或者多個實施例中，傳輸/接收元件1222可以是被配置為傳輸及/或接收IR、UV、或者可見光信號的傳輸器/偵測器。在一個或者多個實施例中，傳輸/接收元件1222可以被配置為傳輸及/或接收RF及光信號。要瞭解，傳輸/接收元件1222可以配置為傳輸及/或接收無線信號的任何組合。
另外，儘管在第15圖中將傳輸/接收元件1222描繪為單一元件，但是WTRU 1202可以包括任何數量的傳輸/接收元件1222。更具體地，WTRU 1202可以採用MIMO技術。因此，在一個實施例中，WTRU 1202可以包括用於經由空中介面1215傳輸及接收無線信號的兩個或者更多個傳輸/接收元件1222（例如，多個天線）。
收發器1220可以配置為調變待由傳輸/接收元件1222傳輸的信號及/或解調由傳輸/接收元件1222接收的信號。如上文提到的，WTRU 1202可以具有多模式能力。因此，例如，收發器1220可以包括用於使WTRU 1500能夠經由多個RAT（例如，UTRA及IEEE 802.11）通信的多個收發器。
WTRU 1202的處理器1218可以耦合至揚聲器/麥克風1224、小鍵盤1226、及/或顯示器/觸控板1228（例如，液晶顯示器（LCD）顯示單元或者有機發光二極體（OLED）顯示單元）、並且可以從揚聲器/麥克風1224、小鍵盤1226、及/或顯示器/觸控板1228（例如，液晶顯示器（LCD）顯示單元或者有機發光二極體（OLED）顯示單元）接收使用者輸入資料。處理器1218還可以將使用者資料輸出至揚聲器/麥克風1224、小鍵盤1226、及/或顯示器/觸控板1228。另外，處理器1218可以存取來自任何類型的合適的記憶體（例如，非可移記憶體1230及/或可移記憶體1232）的資訊、並且將資料儲存在該任何類型的合適的記憶體中。非可移記憶體1230可以包括隨機存取記憶體（RAM）、唯讀記憶體（ROM）、硬碟、或者任何其它類型的記憶體儲存裝置。可移記憶體1232可以包括用戶身份模組（SIM）卡、記憶條、安全數位（SD）記憶卡等。在一個或者多個實施例中，處理器1218可以存取來自並未在實體上位於WTRU 1202的記憶體（例如，在伺服器或者家用電腦（未示出）上）的資訊、或者將資料儲存在該記憶體中。
處理器1218可以接收來自電源1234的電力，並且可以被配置為分配及/或控制用於WTRU 1202中的其它元件的電力。電源1234可以是用於對WTRU 1202充電的任何合適的裝置。例如，電源1234可以包括一個或者多個乾電池（例如，鎳-鎘（NiCd）、鎳-鋅（NiZn）、鎳金屬氫化物（NiMH）、鋰離子（Li-ion）等）、太陽能電池、燃料電池等。
處理器1218可以耦合至可以被配置為提供關於WTRU 1202的目前位置的位置資訊（例如，經緯度）的GPS晶片組1236。除了來自GPS晶片組1236的資訊之外，或者代替來自GPS晶片組1236的資訊，WTRU 1202還可以經由空中介面1215從終端（例如，基地台）接收位置資訊及/或基於從兩個或者更多個附近的基地台接收到的信號的時序來確定其位置。要瞭解，在與實施例保持一致的同時，WTRU 1202可以用任何合適的位置確定方法來獲取位置資訊。
處理器1218可以進一步耦合至其它週邊設備1238，該週邊設備1238可以包括提供附加特徵、功能、及/或有線或者無線連接性的一個或者多個軟體及/或硬體模組。例如，週邊設備1238可以包括加速度計、方位感測器、運動感測器、接近感測器、電子羅盤、衛星收發器、數位相機及/或錄影機（例如，用於照片及/或視訊）、通用序列匯流排（USB）埠、振動裝置、電視收發器、免持耳機、藍牙® 模組、調頻（FM）無線電單元、及軟體模組，例如數位音樂播放器、多媒體播放器、視訊遊戲機模組、網際網路瀏覽器等。
作為範例，WTRU 1202可以配置為傳輸及/或接收無線信號並且可以包括使用者設備（UE）、行動站、固定或者行動使用者單元、呼叫器、蜂巢電話、個人數位助理（PDA）、智慧型電話、膝上型電腦、小筆電、平板電腦、個人電腦、無線感測器、消費類電子產品、或者能夠接收並且處理壓縮視訊通信的任何其它終端。
WTRU 1202及/或通信網路（例如，通信網路804）可以實施無線電技術（例如，通用行動電信系統（UMTS）陸地無線電存取（UTRA）），其可以使用寬頻CDMA（WCDMA）來建立空中介面1215。WCDMA可以包括通信協定，例如高速封包存取（HSPA）及/或演進型HSPA（HSPA+）。HSPA可以包括高速下鏈封包存取（HSDPA）及/或高速上鏈封包存取（HSUPA）。WTRU 1202及/或通信網路（例如，通信網路804）可以實施無線電技術（例如，演進型UMTS陸地無線電存取（E-UTRA）），其可以使用長期演進（LTE）及/或高級LTE（LTE-A）來建立空中介面1215。
WTRU 1202及/或通信網路（例如，通信網路804）可以實施無線電技術，例如，IEEE 802.16（例如，全球互通微波存取（WiMAX））、CDMA2000、CDMA2000 1X、CDMA2000 EV-DO、臨時標準2000（IS-2000）、臨時標準95（IS-95）、臨時標準856（IS-856）、全球行動通信系統（GSM）、GSM演進增強資料速率（EDGE）、GSM EDGE (GERAN)等。WTRU 1500及/或通信網路（例如，通信網路804）可以實施無線電技術，例如，IEEE 802.11、IEEE 802.15等。
注意，將所描述的實施例中的一個或者多個實施例的各種硬體元件稱為實施（即，進行、執行等）本文結合相應模組所描述的各種功能的“模組”。如本文所使用的，模組包括本領域中具有通常知識者認為適合於給定的實施方式的硬體（例如，一個或者多個處理器、一個或者多個微處理器、一個或者多個微控制器、一個或者多個微晶片、一個或者多個專用積體電路（ASIC）、一個或者多個現場可程式設計閘陣列（FPGA）、一個或者多個記憶體裝置）。各個描述的模組還可以包括對於實施描述為由相應模組實施的一個或者多個功能可執行的指令，並且注意，這些指令可以採取或包括硬體（即，硬連線）指令、韌體指令、軟體指令等的形式，並且可以將這些指令儲存在任何合適的非暫時性電腦可讀媒體或媒體（例如，通常將其稱為RAM、ROM等）中。
儘管上文按照特定組合描述了特徵及元件，但是本領域中具有通常知識者瞭解，可以單獨使用各個特徵或者元件、或者可以在與其它特徵及元件的任何組合中使用各個特徵或者元件。另外，可以在由電腦或者處理器執行的電腦可讀媒體中包含的電腦程式、軟體、或者韌體中實施本文描述的方法。電腦可讀媒體的範例包括電子信號（經由有線或者無線連接傳輸）及電腦可讀儲存媒體。電腦可讀儲存媒體的範例包括、但不限於唯讀記憶體（ROM）、隨機存取記憶體（RAM）、暫存器、快取記憶體、半導體記憶體裝置、磁性媒體（例如，內部硬碟及可移光碟）、磁光媒體、及光學媒體，例如，CD-ROM盤及數位多功能光碟（DVD）。可以使用與軟體相關聯的處理器來實施射頻收發器，以供在WTRU、UE、終端、基地台、RNC、或者任何主機中使用。
100‧‧‧編碼器102‧‧‧輸入視訊訊號104‧‧‧轉換106‧‧‧量化108、208‧‧‧熵編碼單元110、210‧‧‧逆量化112、212‧‧‧逆轉換116‧‧‧目前視訊塊120、202、100‧‧‧位元流126‧‧‧預測塊160、260‧‧‧空間預測162、262‧‧‧時間預測164、264‧‧‧參考圖像儲存器166‧‧‧迴路濾波器180‧‧‧模式決定塊200‧‧‧解碼器1001‧‧‧NAL（網路抽象層）單元1002‧‧‧視訊參數集合（VPS）1003‧‧‧序列參數集合（SPS）1004‧‧‧圖像參數集合（PPS）1005‧‧‧片段標頭資料1006‧‧‧編碼片段1007‧‧‧補充增強資訊資料（SEI訊息）1215‧‧‧空中介面1202‧‧‧無線傳輸/接收單元（WTRU）1218‧‧‧處理器1220‧‧‧收發器1222‧‧‧傳輸/接收元件1224‧‧‧揚聲器/麥克風1226‧‧‧小鍵盤1228‧‧‧顯示器/觸控板1230‧‧‧非可移記憶體1231‧‧‧可移記憶體1234‧‧‧電源1236‧‧‧全球定位系統（GPS）晶片組1238‧‧‧週邊設備1300‧‧‧通信系統1302‧‧‧編碼器1304‧‧‧通信網路1306‧‧‧解碼器1308、1310‧‧‧連接
藉由下面結合附圖作為範例呈現的描述可以得到更詳細的理解，以下首先對附圖進行簡要描述。 第1圖是圖示了基於塊的視訊編碼器的範例的功能方塊圖。 第2圖是圖示了基於塊的視訊解碼器的範例的功能方塊圖。 第3圖是圖示了在塊與模板之間的空間關係的示意圖。 第4A圖至第4C圖圖示了在之前編碼的圖像的預測殘差圖像與重建殘差圖像之間的時間相似性。第4A圖：原始圖像。第4B圖：其預測殘差圖像。第4C圖：其中一個之前編碼的圖像的重建殘差圖像。 第5圖是根據範例性實施例的使用運動補償殘差預測的視訊編碼器的功能方塊圖。 第6圖是在範例性實施例中用於視訊編碼器的運動補償殘差預測模組的功能方塊圖。 第7圖是根據範例性實施例的使用運動補償殘差預測的視訊解碼器的功能方塊圖。 第8圖是在範例性實施例中用於視訊解碼器的運動補償殘差預測模組的功能方塊圖。 第9圖是示出了在重建的一階殘差參考圖像的光柵掃描線中的雜訊信號的範例的圖。縱軸表示重建的一階殘差的值，並且橫軸表示水平像素座標。 第10圖是示出了濾波器係數的範例性迭代訓練過程的流程圖。 第11圖示出了針對各個16x16塊繪製的像素域MV（黑色）及殘差域MV（白色）的範例。在繪製此圖時，採用了單一參考訊框及單預測。 第12圖是示出了用於MCRP及其它預測模式的範例性聯合最佳化過程的流程圖。 第13圖是示出了編碼的位元流結構的範例的示意圖。 第14圖是圖示了範例通信系統的示意圖。 第15圖是圖示了在一些實施例中可以用作編碼器或者解碼器的範例無線傳輸/接收單元（WTRU）的示意圖。

Claims (20)

  1. 一種用於運動補償剩餘預測的方法，包括：產生包括至少一個塊的一殘差參考圖像，該殘差參考圖像表示在一參考圖像的一對應塊與該參考圖像的一對應一階預測之間的一差異；以一去雜訊濾波器對該殘差參考圖像進行濾波以產生一濾波後的殘差參考圖像；以及針對在一目前圖像中的至少一個目前塊：形成該目前塊的一階預測；使用運動補償預測以從該濾波後的殘差參考圖像中的一殘差參考塊預測該目前塊的殘差；以及組合該一階預測以及該預測的殘差以產生該目前塊的一複合預測信號。
  2. 如申請專利範圍第1項所述的方法，其中，在一位元流中在一塊級傳訊一旗標，該旗標表明是否要從該濾波後的殘差參考圖像預測該目前塊的殘差。
  3. 如申請專利範圍第1項所述的方法，其中產生該一階預測包括使用訊框內預測來預測該目前塊。
  4. 如申請專利範圍第1項所述的方法，其中產生該一階預測包括使用訊框間預測來預測該目前塊。
  5. 如申請專利範圍第1項所述的方法，其中對該殘差參考圖像進行濾波包括取該殘差參考圖像中的多個樣本中的至少一些樣本的一絕對值。
  6. 如申請專利範圍第5項所述的方法，其中，針對該目前塊，在一位元流中傳訊一符號值，以及其中預測該目前塊的殘差包括將該殘差參考塊乘以該符號值。
  7. 如申請專利範圍第5項所述的方法，其中，針對該目前塊，在一位元 流中傳訊一加權因數，以及其中預測該目前塊的殘差包括將該殘差參考塊乘以該加權因數。
  8. 如申請專利範圍第1項所述的方法，其中產生該殘差參考圖像包括從該參考圖像的一濾波後的重建信號或者一未濾波的重建信號減去該參考圖像的一階預測，以及其中在一位元流中傳訊是否要使用該濾波後的重建信號或者該未濾波的重建信號的一指示。
  9. 如申請專利範圍第1項所述的方法，其中對該殘差參考圖像進行濾波包括對該殘差參考圖像應用一臨界值，使得在該殘差參考圖像中的低於該臨界值的殘差值在該濾波後的殘差參考圖像中為0。
  10. 如申請專利範圍第9項所述的方法，其中該臨界值適應性地被選擇以大體上達到一預定比率k，其中k是該目前圖像中的低於該臨界值的一樣本數量與高於該臨界值的一樣本數量的一比率。
  11. 如申請專利範圍第1項所述的方法，其中對該殘差參考圖像進行濾波包括對該殘差參考圖像中的樣本值進行量化。
  12. 如申請專利範圍第1項所述的方法，其中對該殘差參考圖像進行濾波包括對該殘差參考圖像應用一線性濾波器，其中在一位元流中傳訊該線性濾波器的係數。
  13. 如申請專利範圍第1項所述的方法，其中在一位元流中傳訊一殘差運動向量，以及其中預測殘差包括使用該殘差運動向量來識別該殘差參考塊。
  14. 如申請專利範圍第1項所述的方法，更包括：確定二階殘差，該二階殘差表示在(i)對應於該目前塊的一輸入視訊塊與(ii)該目前塊的該複合預測信號之間的一差異；以及將該二階殘差編碼在一位元流中。
  15. 如申請專利範圍第1項所述的方法，更包括：在一位元流中接收針對該目前塊的二階殘差；以及 藉由將該二階殘差加至該目前塊的該複合預測信號以重建該目前塊。
  16. 一種用於運動補償剩餘預測的系統，包括：一處理器，被配置為至少執行：產生包括至少一個塊的一殘差參考圖像，該殘差參考圖像表示在一參考圖像的一對應塊與該參考圖像的一階預測之間的一差異；以一去雜訊濾波器對該殘差參考圖像進行濾波以產生一濾波後的殘差參考圖像；以及針對在一目前圖像中的至少一個目前塊：形成該目前塊的一階預測；使用運動補償預測以從該濾波後的殘差參考圖像中的一殘差參考塊預測該目前塊的殘差；以及組合該一階預測及該預測的殘差以產生該目前塊的一複合預測信號。
  17. 如申請專利範圍第16項所述的系統，其中該處理器更被配置為執行多個功能，該多個功能包括：確定二階殘差，該二階殘差表示在(i)對應於該目前塊的一輸入視訊塊與(ii)該目前塊的該複合預測信號之間的一差異；以及將該二階殘差編碼在一位元流中。
  18. 如申請專利範圍第16項所述的系統，其中該處理器更被配置為執行多個功能，該多個功能包括：在一位元流中接收針對該目前塊的二階殘差；以及藉由將該二階殘差加至該目前塊的該複合預測信號以重建該目前塊。
  19. 一種用於從一位元流解碼一視訊的視訊解碼器，其中該視訊包括多個圖像，該多個圖像包括一目前圖像以及至少一參考圖像，各圖像包括樣本塊，該視訊解碼器操作以執行多個功能，該多個功能包括： 產生包括至少一個塊的一殘差參考圖像，該殘差參考圖像表示在該參考圖像的一對應塊與該參考圖像的一階預測之間的一差異；以一去雜訊濾波器對該殘差參考圖像進行濾波以產生一濾波後的殘差參考圖像；以及針對在該目前圖像中的至少一個目前塊：形成該目前塊的一階預測；使用運動補償預測以從該濾波後的殘差參考圖像中的一殘差參考塊預測該目前塊的殘差；以及組合該一階預測及該預測的殘差以產生該目前塊的一複合預測信號。
  20. 如申請專利範圍第19項所述的視訊解碼器，其中該解碼器更被配置為執行多個功能，該多個功能包括：在一位元流中接收針對該目前塊的二階殘差；以及藉由將該二階殘差加至該目前塊的該複合預測信號以重建該目前塊。
TW106114639A 2016-05-06 2017-05-03 運動補償剩餘預測系統及方法 TWI745370B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201662332929P 2016-05-06 2016-05-06
US62/332,929 2016-05-06

Publications (2)

Publication Number Publication Date
TW201740737A TW201740737A (zh) 2017-11-16
TWI745370B true TWI745370B (zh) 2021-11-11

Family

ID=58708041

Family Applications (1)

Application Number Title Priority Date Filing Date
TW106114639A TWI745370B (zh) 2016-05-06 2017-05-03 運動補償剩餘預測系統及方法

Country Status (5)

Country Link
US (1) US10694204B2 (zh)
EP (1) EP3453178A1 (zh)
CN (1) CN109121465B (zh)
TW (1) TWI745370B (zh)
WO (1) WO2017192616A1 (zh)

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110035286B (zh) * 2012-07-09 2021-11-12 Vid拓展公司 用于多层视频编码的编解码器架构
WO2018123801A1 (ja) * 2016-12-28 2018-07-05 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 三次元モデル配信方法、三次元モデル受信方法、三次元モデル配信装置及び三次元モデル受信装置
EP3725074A1 (en) 2017-12-14 2020-10-21 InterDigital VC Holdings, Inc. Texture-based partitioning decisions for video compression
US20200344474A1 (en) * 2017-12-14 2020-10-29 Interdigital Vc Holdings, Inc. Deep learning based image partitioning for video compression
EP3797516A1 (en) 2018-06-29 2021-03-31 Beijing Bytedance Network Technology Co. Ltd. Interaction between lut and amvp
TWI723444B (zh) 2018-06-29 2021-04-01 大陸商北京字節跳動網絡技術有限公司 使用一個或多個查找表來按順序存儲先前編碼的運動信息並使用它們來編碼後面的塊的概念
JP7460617B2 (ja) 2018-06-29 2024-04-02 北京字節跳動網絡技術有限公司 Ｌｕｔ更新条件
EP3791588A1 (en) 2018-06-29 2021-03-17 Beijing Bytedance Network Technology Co. Ltd. Checking order of motion candidates in lut
WO2020003278A1 (en) 2018-06-29 2020-01-02 Beijing Bytedance Network Technology Co., Ltd. Update of look up table: fifo, constrained fifo
CN110662057B (zh) 2018-06-29 2022-06-21 北京字节跳动网络技术有限公司 视频处理方法、装置、设备以及存储比特流的方法
CN110662056B (zh) 2018-06-29 2022-06-07 北京字节跳动网络技术有限公司 哪个查找表需要更新或不更新
KR20210024502A (ko) 2018-06-29 2021-03-05 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 Hmvp 후보를 병합/amvp에 추가할 때의 부분/풀 프루닝
EP4307679A3 (en) 2018-07-02 2024-06-19 Beijing Bytedance Network Technology Co., Ltd. Luts with intra prediction modes and intra mode prediction from non-adjacent blocks
KR20240032173A (ko) * 2018-09-12 2024-03-08 후아웨이 테크놀러지 컴퍼니 리미티드 참조 화상 목록 구조에 대한 후보 시그널링
TW202025760A (zh) 2018-09-12 2020-07-01 大陸商北京字節跳動網絡技術有限公司 要檢查多少個hmvp候選
CN113273186A (zh) 2019-01-10 2021-08-17 北京字节跳动网络技术有限公司 Lut更新的调用
CN113383554B (zh) 2019-01-13 2022-12-16 北京字节跳动网络技术有限公司 LUT和共享Merge列表之间的交互
CN113302937B (zh) 2019-01-16 2024-08-02 北京字节跳动网络技术有限公司 运动候选推导
CN113519164A (zh) 2019-03-02 2021-10-19 北京字节跳动网络技术有限公司 对分割结构的限制
CN113615193B (zh) 2019-03-22 2024-06-25 北京字节跳动网络技术有限公司 Merge列表构建和其他工具之间的交互
US11962796B2 (en) * 2019-04-01 2024-04-16 Qualcomm Incorporated Gradient-based prediction refinement for video coding
EP3928524A4 (en) 2019-04-15 2022-06-22 Beijing Bytedance Network Technology Co., Ltd. TIME PREDICTION OF PARAMETERS IN A NONLINEAR ADAPTIVE LOOP FILTER
WO2020211810A1 (en) 2019-04-16 2020-10-22 Beijing Bytedance Network Technology Co., Ltd. On adaptive loop filtering for video coding
WO2020216177A1 (en) 2019-04-20 2020-10-29 Beijing Bytedance Network Technology Co., Ltd. Signaling of chroma and luma syntax elements in video coding
US11317088B2 (en) * 2019-05-17 2022-04-26 Qualcomm Incorporated Gradient-based prediction refinement for video coding
CN113785574B (zh) 2019-05-30 2022-10-11 北京字节跳动网络技术有限公司 色度分量的自适应环路滤波
CN112261409A (zh) * 2019-07-22 2021-01-22 中兴通讯股份有限公司 残差编码、解码方法及装置、存储介质及电子装置
WO2021141519A2 (en) * 2020-05-26 2021-07-15 Huawei Technologies Co., Ltd. Method and apparatus of high-level syntax for smoothing intra-prediction techniques
CN114335628B (zh) * 2021-12-29 2023-11-14 上海重塑能源科技有限公司 极化曲线的非储存式在线迭代估计方法及燃料电池系统

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080043840A1 (en) * 2006-08-16 2008-02-21 Samsung Electronics Co., Ltd. Image encoding/decoding method and apparatus
WO2011088594A1 (en) * 2010-01-25 2011-07-28 Thomson Licensing Video encoder, video decoder, method for video encoding and method for video decoding, separately for each colour plane
US20120243608A1 (en) * 2009-12-09 2012-09-27 Huawei Technologies Co., Ltd. Video coding and decoding method, and coding and decoding apparatus
US20130058404A1 (en) * 2011-09-01 2013-03-07 Jiun-In Guo Method of motion prediction of multimedia video coding
US20130336591A1 (en) * 2011-03-06 2013-12-19 Lg Electronics Inc. Intra prediction method of chrominance block using luminance sample, and apparatus using same
US20140023139A1 (en) * 2011-11-07 2014-01-23 Lidong Xu Cross-channel residual prediction
TW201433153A (zh) * 2012-09-07 2014-08-16 Vid Scale Inc 參考圖像列表修正
TW201440492A (zh) * 2012-12-07 2014-10-16 Qualcomm Inc 於可擴展及多視角視訊寫碼之進階殘差預測

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100694137B1 (ko) * 2005-07-08 2007-03-12 삼성전자주식회사 동영상 부호화 장치, 동영상 복호화 장치, 및 그 방법과,이를 구현하기 위한 프로그램이 기록된 기록 매체
WO2008111005A1 (en) 2007-03-15 2008-09-18 Nokia Corporation System and method for providing improved residual prediction for spatial scalability in video coding
JP2010258739A (ja) 2009-04-24 2010-11-11 Sony Corp 画像処理装置および方法、並びにプログラム
US8665964B2 (en) 2009-06-30 2014-03-04 Qualcomm Incorporated Video coding based on first order prediction and pre-defined second order prediction mode
WO2013009716A2 (en) 2011-07-08 2013-01-17 Dolby Laboratories Licensing Corporation Hybrid encoding and decoding methods for single and multiple layered video coding systems
US9906786B2 (en) 2012-09-07 2018-02-27 Qualcomm Incorporated Weighted prediction mode for scalable video coding
US9998727B2 (en) 2012-09-19 2018-06-12 Qualcomm Incorporated Advanced inter-view residual prediction in multiview or 3-dimensional video coding
US20180309995A1 (en) * 2015-04-21 2018-10-25 Vid Scale, Inc. High dynamic range video coding

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080043840A1 (en) * 2006-08-16 2008-02-21 Samsung Electronics Co., Ltd. Image encoding/decoding method and apparatus
US20120243608A1 (en) * 2009-12-09 2012-09-27 Huawei Technologies Co., Ltd. Video coding and decoding method, and coding and decoding apparatus
WO2011088594A1 (en) * 2010-01-25 2011-07-28 Thomson Licensing Video encoder, video decoder, method for video encoding and method for video decoding, separately for each colour plane
US20130336591A1 (en) * 2011-03-06 2013-12-19 Lg Electronics Inc. Intra prediction method of chrominance block using luminance sample, and apparatus using same
US20130058404A1 (en) * 2011-09-01 2013-03-07 Jiun-In Guo Method of motion prediction of multimedia video coding
US20140023139A1 (en) * 2011-11-07 2014-01-23 Lidong Xu Cross-channel residual prediction
TW201433153A (zh) * 2012-09-07 2014-08-16 Vid Scale Inc 參考圖像列表修正
TW201440492A (zh) * 2012-12-07 2014-10-16 Qualcomm Inc 於可擴展及多視角視訊寫碼之進階殘差預測

Also Published As

Publication number Publication date
TW201740737A (zh) 2017-11-16
WO2017192616A1 (en) 2017-11-09
EP3453178A1 (en) 2019-03-13
CN109121465A (zh) 2019-01-01
US20190166380A1 (en) 2019-05-30
CN109121465B (zh) 2023-06-06
US10694204B2 (en) 2020-06-23

Similar Documents

Publication Publication Date Title
TWI745370B (zh) 運動補償剩餘預測系統及方法
US11134259B2 (en) System and method for enhanced motion compensation using adaptive filtering
CN109417625B (zh) 编码或解码视频的装置及方法
KR102402622B1 (ko) 블록 벡터 도출을 이용하여 인트라 블록 복사 코딩을 위한 방법 및 시스템
EP3158754B1 (en) Methods and systems for intra block copy search enhancement
JP6640731B2 (ja) 無損失ビデオコーディングのシグナリングのための方法および装置
US20190182482A1 (en) Prediction systems and methods for video coding based on filtering nearest neighboring pixels
KR102136666B1 (ko) 스케일가능한 비디오 코딩을 위한 계층간 예측
KR20230170987A (ko) 광류를 사용한 인터 예측 개선을 위한 시스템, 장치 및 방법
US11153602B2 (en) Generalized bi-prediction for video coding with reduced coding complexity
WO2018045332A1 (en) Methods and apparatus for coded block flag coding in quad-tree plus binary-tree block partitioning
WO2014052602A1 (en) Method and apparatus of edge guided processing for video coding

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees