TWI527441B - 一種執行單循環適應性內插濾波的方法、編碼器和解碼器 - Google Patents

一種執行單循環適應性內插濾波的方法、編碼器和解碼器 Download PDF

Info

Publication number
TWI527441B
TWI527441B TW099122136A TW99122136A TWI527441B TW I527441 B TWI527441 B TW I527441B TW 099122136 A TW099122136 A TW 099122136A TW 99122136 A TW99122136 A TW 99122136A TW I527441 B TWI527441 B TW I527441B
Authority
TW
Taiwan
Prior art keywords
filter
interpolation filter
frame
adaptive interpolation
current frame
Prior art date
Application number
TW099122136A
Other languages
English (en)
Other versions
TW201127070A (en
Inventor
郭峋
張凱
黃毓文
傅智銘
雷少民
Original Assignee
聯發科技（新加坡）私人有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 聯發科技（新加坡）私人有限公司 filed Critical 聯發科技（新加坡）私人有限公司
Publication of TW201127070A publication Critical patent/TW201127070A/zh
Application granted granted Critical
Publication of TWI527441B publication Critical patent/TWI527441B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/523—Motion estimation or motion compensation with sub-pixel accuracy
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

一種執行單循環適應性內插濾波的方法、編碼器和解碼器
本發明係有關於適應性內插濾波器，更特別地，係有關於一種執行單循環適應性內插濾波的方法、編碼器和解碼器。
在運動補償預測處理中，使用具有分圖素解析度(例如1/4圖素或1/8圖素)的位移向量，用以改善預測精確度。為了估測和補償這些分圖素位移，在視訊編碼與解碼中使用內插濾波器。與習知的固定內插濾波器相比，適應性內插濾波器(Adaptive Interpolation Filter，AIF)經由對一個序列的不同內部圖像提供不同的濾波器，進一步地增強編碼效率。基於威能濾波器(Wiener filter)的AIF是非常流行的一種，濾波之後可有效地減少預測錯誤。這種類型的AIF對視訊訊號的一些非平穩統計特性(例如，運動和疊頻)進行補償，並最小化原始圖素和預測圖素之間的預測錯誤。
請參考第1圖，第1圖係具有適應性內插濾波器的編碼器100的示意圖。如第1圖所示，編碼器100包括訊框間(inter prediction)預測單元(運動估測/補償ME/MC單元)110和訊框內(intra prediction)預測單元105兩者、產生用於運動估測/補償和模式決定的分圖素的AIF 115、參考訊框緩衝器120、解塊(deblocking)單元130、重構單元135、轉換和量化(T/Q)單元140、反轉換和反量化(IT/IQ)單元145、熵編碼(entropy coding)單元150。濾波器資訊(例如，濾波器切換、濾波器類型和濾波 器係數)經由熵編碼單元150在位元流中進行編碼。相應的解碼器從該位元流中擷取該濾波器資訊，並將其發送至該解碼器的一個AIF。
通常，對於AIF，至少需要雙循環(two-pass)編碼處理。在第一循環(pass)中，對於參考圖像，使用一個預設內插濾波器用以內插分圖素值，並產生一預測訊號。然後，濾波器參數估測器經由計算該預測訊號的自相關矩陣和原始訊號與該預測訊號之間的互相關向量，構建威能-霍樸法(Wiener-Hopf)方程式。之後，對該威能-霍樸法方程式進行求解，用以為每個子圖素位置產生最優濾波器係數。第二循環中，在該參考圖像的內插處理中，使用該等最優濾波器係數，用以為運動估測/補償和模式決定產生分圖素。需注意的是，可循環執行第二循環，但執行次數的增長增加了系統的延遲和複雜度。
因此，在性能和複雜度之間存在一個折衷。更多循環將產生更精確的運動向量，但也將增加編碼延遲和計算能力。此外，AIF的每個循環須串列地執行。對於每個循環，也需要從片外記憶體(off-chip memory)下載參考訊框至片內記憶體(on-chip memory)。因此，極大地增加了功耗和存取時間。
為改善編碼效率，本發明提供一種具有單循環適應性內插濾波器的編碼器和解碼器。
本發明提供一種執行單循環適應性內插濾波的方法，用以依據本發明一範例實施例編碼一位元流，該方法包括：接收多個視訊訊框；對於當前訊框的一特殊區域，從一競爭濾波器集合選擇一內插濾波 器；對於該當前訊框的該特殊區域，使用該內插濾波器執行運動預測；將該當前訊框編碼至該位元流；以及更新該競爭濾波器集合。
本發明另提供一種編碼器，以一單循環方式對已接收的多個視訊訊框執行適應性內插濾波，該編碼器包括：一預測單元，用以依據一原始資料和一已重構資料，對該已接收的多個視訊訊框的一當前訊框執行預測，以產生一預測樣本；一重構單元，耦接該預測單元，用以對該預測樣本進行重構以形成該已重構資料；一參考訊框緩衝器，用以存儲該已重構資料；一係數緩衝器，用以存儲一競爭濾波器集合；以及一適應性內插濾波器，耦接該參考訊框緩衝器與該預測單元之間，對於該當前訊框，用以依據選擇自該競爭濾波器集合的一內插濾波器對該已重構資料進行濾波。
本發明再提供一種解碼器，用以將一位元流解碼至多個視訊訊框，該解碼器包括：用以對該位元流進行解析以產生一訊框間模式資訊、一濾波器資訊和一殘差的裝置；用以依據一預測樣本和該殘差產生一已重構資料的裝置；用以存儲該已重構資料的裝置；用以利用選擇自一競爭濾波器集合的一內插濾波器對該已重構資料進行濾波的裝置，其中該內插濾波器係依據該濾波器資訊於一特殊級選取；以及用以自該熵解碼單元接收該訊框間模式資訊，並自該適應性內插濾波器接收該已濾波的已重構資料，以產生該預測樣本的裝置。
本發明提供的執行單循環適應性內插濾波的方法、編碼器和解碼器能以單循環的方式執行內插濾波和濾波器係數的產生，從而減少編碼延遲和記憶體存取的間接開銷，提高編碼和解碼效率。
任何習知技藝者在閱讀接下來的優選實施例的細節描述之後，可 毫無疑問地了解本發明的其他目的，其中以多個附圖舉例說明該等優選實施例。
如上所述，多循環AIF解決方案造成延遲和計算複雜度。在本發明中，提議在視訊編碼和解碼中使用多個單循環AIF設計。基於威能濾波器的AIF為單循環AIF的濾波器類型的示例。
當具有單循環AIF的編碼器接收輸入訊框FT時，用於訊框FT的特殊區域的競爭濾波器集合(competitive filter set，CFS)已經可供本地濾波器選擇。競爭濾波器集合包括用於N個不同內插濾波器的濾波器係數。請注意，N可以是固定數目或可變數目，且對於每個訊框在位元流中可適應性地傳輸。在一些實施例中，在區塊級進行濾波器選擇，例如，預測分區(prediction partitions)、巨集區塊或超巨集區塊級。輸入訊框FT的每個區塊可執行計算用以自競爭濾波器集合選擇一個最佳濾波器。例如，該計算可以為率失真最優化(rate-distortion optimization，RDO)，且該最佳濾波器與競爭濾波器集合的其他濾波器相比，具有最低率失真。競爭濾波器集合可以包括最近的先前訊框的最優濾波器以及H.264內插濾波器或其他固定內插濾波器。所選濾波器的資訊可被明確地編碼至位元流用以通知該解碼器。
在一些實施例中，時間延遲單循環AIF產生當前訊框FT的最優濾波器係數，然後將該已產生的最優濾波器係數包括至競爭濾波器集合，用於下一個訊框FT+1。通常，連續的視訊訊框非常相似，幾乎沒有改變，所以，使用當前訊框FT的最優濾波器係數對隨後的訊框進行濾波是足夠好的。在本實施例中，當前訊框FT的最優濾波器係數在當 前訊框FT被完全編碼之後獲得，且作為隨後訊框所使用的競爭濾波器集合的一個濾波器的係數進行存儲。例如，用於當前訊框FT的競爭濾波器集合包括N個濾波器；如果N=2，競爭濾波器集合中的濾波器為標準H.264濾波器和用於先前訊框FT-1的最優濾波器；如果N=3，則競爭濾波器集合中的濾波器為標準H.264濾波器、用於訊框FT-1的最優濾波器和用於訊框FT-2的最優濾波器。為了保持位元流的寫入順序，當前訊框FT的最優濾波器係數可以以編碼順序在其隨後的訊框FT+1的條帶標頭(slice header)中傳輸，並做為訊框FT+1的候選濾波器係數包含於該競爭濾波器集合中。
連續的訊框之間不會存在大幅度變化的事實引導出時間延遲單循環AIF設計中的一個創新性概念，即用於先前訊框的最優濾波器也可用於對當前訊框進行濾波。利用率失真最優化局部地選擇一個最優濾波器可以最小化任何編碼損失，其中，該編碼損失於使用時間延遲適應性內插濾波器時產生。
與時間延遲單循環AIF類似，在另一實施例中，空間延遲單循環AIF依據當前訊框FT的先前已編碼區塊產生濾波器係數，且為當前訊框FT的隨後的區塊更新該競爭濾波器集合。例如，用於上半部份訊框的最優濾波器可被獲得並為了下半部份訊框而包括至該競爭濾波器集合。在此情形下，該上半部份訊框的最優濾波器係數也可與該當前訊框一起傳輸。
如上所述，該競爭濾波器集合選擇可在一特殊級執行，因為不是一個訊框的所有區域都可使用相同的濾波器達到最好的結果。對於先前訊框的最優濾波器實際上可為當前訊框中大多數區塊的最佳濾波 器。請參考第4圖，第4圖係特殊訊框的巨集區塊級濾波器選擇的示意圖。請注意，第4圖係僅用於舉例目的的一個示例。如第4圖所示，每個巨集區塊從該競爭濾波器集合中選擇一個最佳濾波器。在對第4圖的特殊訊框進行編碼之後，計算出該特殊訊框的一個最優濾波器。對於第4圖所示的該特殊訊框的下一個訊框，將使用該已計算的最優濾波器作為該競爭濾波器集合的一個候選濾波器。用於競爭濾波器集合選擇的區塊分區可與用於視訊編碼的區塊分區相同或不同。濾波器選擇資訊可在區塊級(例如，巨集區塊級)編碼或編碼至該條帶標頭，因此，解碼器可利用該濾波器選擇資訊以正確地對已接收的位元流進行解碼。請注意，該競爭濾波器集合的濾波器選擇資訊和濾波器係數可在該位元流的相同或不同區段(segment)進行編碼。
請參考第2圖，第2圖係依據本發明一實施例的編碼器200。該編碼器200包括訊框內預測單元205、重構單元235、參考訊框緩衝器220、係數緩衝器225和AIF 215。其中，訊框內預測單元205用以依據原始資料和已重構資料，對已接收的視訊訊框的當前訊框執行預測，以產生預測樣本(例如訊框內模式資訊)；重構單元235用以對預測樣本進行重構以形成已重構資料；參考訊框緩衝器220用以存儲已重構資料；係數緩衝器225用以存儲競爭濾波器集合以對競爭濾波器集合進行緩衝；AIF 215用以為當前訊框，依據選擇自競爭濾波器集合的一內插濾波器對已重構資料進行濾波。來自該競爭濾波器集合的濾波器資訊(包括競爭濾波器集合的多個濾波器係數和濾波器選擇資訊)，例如用於當前訊框的濾波器係數，可經由放置於條帶標頭而被編碼至位元流。編碼器200也可包括選擇單元260，用以在一特殊級自 競爭濾波器集合選擇一個內插濾波器。自該競爭濾波器集合選擇一個內插濾波器的示例為計算率失真最優化並選擇具有最低率失真的內插濾波器。濾波器選擇資訊也輸出至熵編碼單元250，用以編碼至該位元流。第2圖的其他區塊與第1圖所示的相同，為簡潔在此不贅述。
請參考第3圖，第3圖係依據本發明一實施例的解碼器300。如第3圖所示，該編碼器300包括熵解碼單元305、訊框內預測(intra prediction)單元315和訊框間預測(inter prediction)(運動補償MC)單元320、重構單元335、反轉換和反量化(IT/IQ)單元310、解塊單元340、參考訊框緩衝器330和AIF 325。在一些實施例中，解碼器300也包括係數緩衝器345，用以存儲競爭濾波器集合的內插濾波器係數。在解碼器300中，熵解碼單元305將解析(parse)所有對解碼處理有必要的資訊，包括訊框間模式資訊、訊框內模式資訊、T/Q殘差(residues)和直接發送至AIF的濾波器資訊。該濾波器資訊可包含與每個訊框一起傳輸的適應性內插濾波器係數和用於每個區塊的濾波器選擇資訊。如上所述，該濾波器資訊可包含於每個訊框、條帶或巨集區塊的標頭，該濾波器資訊在位元流中編碼。這促使熵解碼單元305首先對該濾波器資訊進行解碼，因此解碼器300可依據編碼器200所選擇的內插濾波器立即開始進行解碼。重構單元335用以依據訊框內預測單元315、訊框間預測單元320、IT/IQ單元310輸出的預測樣本和殘差產生已重構資料。參考訊框緩衝器330用以存儲已重構資料。AIF 325利用選擇自競爭濾波器集合的內插濾波器對已重構資料進行濾波，其中該內插濾波器係依據濾波器資訊於一特殊級選取。訊框間預測單元320自熵解碼單元305接收訊框間模式資訊，並自AIF 325接收已濾波的已重 構資料，以產生預測樣本。
需注意的是，對於許多不同類型的AIF方法可執行單循環適應性內插濾波，包括(但不限於)，2D不可分(non-separable)AIF、2D可分(separable)AIF(SAIF)、定向(directional)AIF(DAIF)和增強(enhanced)AIF(EAIF)。對於上述每種AIF方法，使用於其相應單循環AIF的內插方法和係數計算方法可與其多循環AIF相同。然而，不同AIF方法的內插方法和係數計算方法不同。
這些不同方法的示例請參考第5-8圖。單循環AIF也可應用於增強定向(enhanced directional)AIF(EDAIF)，其為EAIF的低複雜度版本。經由對對角線上的子圖素位置使用一維濾波方法，當維持最大編碼增益時，EDAIF比EAIF更簡單。該示例並未圖示。
第5圖係用於單循環2D不可分AIF的子圖素內插處理的示意圖。AIF係數可經由預設固定濾波器係數或來自先前訊框的AIF濾波器係數進行預測編碼。如第5圖所示，對於每個子圖素位置使用不同數目的係數。
1)對於子圖素位置a、c、d和l，使用具有6個係數的6階濾波器(6-tap filter)。
2)對於子圖素位置b和h，使用具有3個係數的6階對稱濾波器(6-tap symmetric filter)。
3)對於子圖素位置e、g、m和o，使用具有21個係數的36階對稱濾波器(36-tap symmetric filter)。
4)對於子圖素位置f、i、k和n，使用具有18個係數的36階對稱濾波器。
5)對於子圖素位置j，使用具有6個係數的36階對稱濾波器。
第6圖係用於單循環2D可分AIF的子圖素內插處理的示意圖。濾波器係數的計算由兩個步驟執行：首先執行水平濾波器計算，用以為水平位置的分圖素計算濾波器係數：例如，對於濾波器計算，由使用圖素C1、C2、C3、C4、C5和C6的6階濾波器計算子圖素a、b和c；然後使用全圖素和已計算的子圖素a、b和c執行垂直濾波。例如，對於濾波器計算，由使用圖素A3、B3、C3、D3、E3和F3的6階濾波器計算子圖素d、h和l。
第7圖係用於單循環定向AIF的子圖素內插處理的示意圖。與2D不可分AIF相比，用於中間9個子圖素位置e、f、g、i、j、k、m、n和o的內插處理的整圖素已減少。也就是說，至多在兩個對角線方向使用12個整圖素(A1~F6、F1~A6)。對於子圖素e、o、g和m，僅使用6個整圖素。對於其他的子圖素，使用12個整圖素。
第8圖係用於單循環EAIF的子圖素內插處理的示意圖。使用求和法(summation)將濾波器偏移(offset)增加至子圖素位置。亦增加整圖素位置濾波器。然後對於2D子圖素(e~o)位置使用一個修改的12階濾波器，對於1D子圖素(a、b、c、d、h和l)位置使用一個修改的6階濾波器。
在一些實作中，上述的單循環AIF實施例可與雙循環或多循環AIF一起操作。在此情形下，需傳輸語法索引(syntax index)用以表示該單循環AIF是開啟或關閉：例如，如果位元流承載的濾波器資訊表示單循環AIF是關閉的，則使用雙循環AIF代替單循環AIF。又例如，可依據位元流中已編碼的索引關閉AIF，用以跳過濾波步驟。在巨集區塊、 條帶或圖像級或三者之組合從一競爭濾波器集合選擇一個濾波器的單循環AIF皆屬於本發明所揭露的範圍。此外，競爭濾波器集合的更新也可是適應性的，也就是說，依據該位元流中已編碼的濾波器資訊，該更新可在子圖素級、條帶級、多條帶級或圖像級發生。CFS可包括可變數目的濾波器，且該CFS中的濾波器數目可作為濾波器資訊在位元流中編碼。對於每個圖像，也可傳輸多於一組的AIF係數。為了將AIF的階數和類型告知解碼器，在位元流中置放了相應的語法元素。在條帶或多條帶級，詳細表述AIF係數、CFS資訊和AIF濾波器數目的語法元素可放置於條帶標頭或圖像參數集(Picture Parameter Set，PPS)。在圖像級，AIF係數可在條帶標頭或PPS中傳輸，而其他的語法元素在序列參數集(Sequence Parameter Set，SPS)或PPS中傳輸。也可在獨立的封包(package)中傳輸AIF係數和傳訊位元(signaling bit)，例如，AIF係數參數集(AIF coefficients parameter set，AIFCPS)，其中，傳訊位元係表示濾波器集合的數目和CFS資訊的語法元素。
綜上所述，本發明提出一種單循環適應性內插濾波方法，對於運動預測，允許在競爭濾波器集合的多個內插濾波器之間進行切換。濾波器係數和濾波器選擇資訊可編碼至位元流。在一些實施例中，解碼器可擷取該濾波器係數、已選擇的濾波器或該兩者，因此，對於編碼器而言，該濾波器資訊也許不必編碼至該位元流。依據先前訊框的最優濾波器係數的適應性內插濾波器的使用允許以單循環的方式執行內插濾波和濾波器係數的產生，從而減少編碼單元的編碼延遲和記憶體存取的間接開銷。
任何習知技藝者知曉設備和方法之眾多修改和選擇，然皆維持本 發明之教導。
100‧‧‧編碼器
105‧‧‧訊框內預測單元
110‧‧‧ME/MC單元
115‧‧‧AIF
120‧‧‧參考訊框緩衝器
130‧‧‧解塊單元
135‧‧‧重構單元
140‧‧‧T/Q單元
145‧‧‧IT/IQ單元
150‧‧‧熵編碼單元
200‧‧‧編碼器
205‧‧‧訊框內預測單元
210‧‧‧ME/MC單元
215‧‧‧AIF
220‧‧‧參考訊框緩衝器
225‧‧‧係數緩衝器
230‧‧‧解塊單元
235‧‧‧重構單元
240‧‧‧T/Q單元
245‧‧‧IT/IQ單元
250‧‧‧熵編碼單元
260‧‧‧選擇單元
300‧‧‧解碼器
305‧‧‧熵解碼單元
310‧‧‧IT/IQ單元
315‧‧‧訊框內預測單元
320‧‧‧MC單元
325‧‧‧AIF
330‧‧‧參考訊框緩衝器
335‧‧‧重構單元
340‧‧‧解塊單元
345‧‧‧係數緩衝器
第1圖係具有適應性內插濾波器的編碼器的示意圖；第2圖係依據本發明一實施例的具有單循環適應性內插濾波器的編碼器的示意圖；第3圖係依據本發明一實施例的具有單循環適應性內插濾波器的解碼器的示意圖；第4圖係競爭濾波器集合的巨集區塊級濾波器選擇的示意圖；第5圖係依據本發明一實施例的用於單循環2D不可分AIF的子圖素內插處理的示意圖；第6圖係依據本發明一實施例的用於單循環2D可分AIF的子圖素內插處理的示意圖；第7圖係依據本發明一實施例的用於單循環定向AIF的子圖素內插處理的示意圖；第8圖係依據本發明一實施例的用於單循環EAIF的子圖素內插處理的示意圖。
200‧‧‧編碼器
205‧‧‧訊框內預測單元
210‧‧‧ME/MC單元
215‧‧‧AIF
220‧‧‧參考訊框緩衝器
225‧‧‧係數緩衝器
230‧‧‧解塊單元
235‧‧‧重構單元
240‧‧‧T/Q單元
245‧‧‧IT/IQ單元
250‧‧‧熵編碼單元
260‧‧‧選擇單元

Claims (30)

  1. 一種執行單循環適應性內插濾波的方法，用以將多個視訊訊框編碼至一位元流，該方法包括：接收該多個視訊訊框；在一特殊級，從一競爭濾波器集合選擇一內插濾波器；在該特殊級，使用該已選擇內插濾波器對該多個視訊訊框的一當前訊框執行運動預測；將該當前訊框編碼至該位元流；以及以該當前訊框的一最優化內插濾波器更新該競爭濾波器集合以用於一隨後訊框。
  2. 如申請專利範圍第1項所述之方法，其中，該特殊級包括一區塊級、一條帶級、一圖像級或三者之組合。
  3. 如申請專利範圍第1項所述之方法，其中，選擇該內插濾波器的步驟進一步包括：計算率失真最優化，並選擇具有最低率失真的該內插濾波器。
  4. 如申請專利範圍第1項所述之方法，進一步包括：對於該當前訊框，計算該最優內插濾波器的多個濾波器係數，對於該隨後訊框，將該當前訊框之該最優內插濾波器包括至該競爭濾波器集合。
  5. 如申請專利範圍第4項所述之方法，進一步包括： 對於該當前訊框，將該最優內插濾波器的該多個濾波器係數編碼至該隨後訊框之一條帶標頭。
  6. 如申請專利範圍第1項所述之方法，進一步包括：將一濾波器資訊編碼至該位元流。
  7. 如申請專利範圍第6項所述之方法，其中，該濾波器資訊包括該競爭濾波器集合的多個濾波器係數。
  8. 如申請專利範圍第7項所述之方法，其中，將該競爭濾波器集合的該多個濾波器係數編碼至一條帶標頭。
  9. 如申請專利範圍第6項所述之方法，其中，該濾波器資訊包括一濾波器選擇資訊。
  10. 如申請專利範圍第1項所述之方法，其中，依據擷取自該當前訊框的先前已編碼區塊的多個濾波器係數，為該當前訊框的多個隨後區塊對該競爭濾波器集合進行更新。
  11. 如申請專利範圍第1項所述之方法，其中，該適應性內插濾波器係一2D不可分適應性內插濾波器、一2D可分適應性內插濾波器、一定向適應性內插濾波器、一增強適應性內插濾波器或一增強定向適應性內插濾波器。
  12. 如申請專利範圍第1項所述之方法，其中，對於該隨後訊框，依據擷取自該當前訊框的多個濾波器係數對該競爭濾波器集合進行更新。
  13. 一種編碼器，以一單循環方式對已接收的多個視訊訊框執行適應性內插濾波，該編碼器包括：一預測單元，用以依據一原始資料和一已重構資料，對該已接收的多個視訊訊框的一當前訊框執行預測，以產生一預測樣本；一重構單元，耦接該預測單元，用以對該預測樣本進行重構以形成該已重構資料；一參考訊框緩衝器，耦接該重構單元，用以存儲該已重構資料；一係數緩衝器，用以存儲一競爭濾波器集合；以及一適應性內插濾波器，耦接該參考訊框緩衝器與該預測單元之間，對於該當前訊框，用以依據選擇自該競爭濾波器集合的一內插濾波器對該已重構資料進行濾波，其中，該競爭濾波器集合係以該當前訊框的一最優化內插濾波器更新的，以用於一隨後訊框。
  14. 如申請專利範圍第13項所述之編碼器，進一步包括：一熵編碼單元，用以對該已接收的多個視訊訊框進行編碼，其中，一濾波器資訊已編碼至該位元流。
  15. 如申請專利範圍第14項所述之編碼器，其中，該濾波器資訊包括該競爭濾波器集合的多個濾波器係數。
  16. 如申請專利範圍第15項所述之編碼器，其中，該競爭濾波器集合的該多個濾波器係數編碼至一條帶標頭。
  17. 如申請專利範圍第14項所述之編碼器，其中，該濾波器資訊包括一濾波器選擇資訊。
  18. 如申請專利範圍第13項所述之編碼器，進一步包括：一選擇單元，對於該當前訊框，用以在一特殊級自該競爭濾波器集合選擇該內插濾波器。
  19. 如申請專利範圍第18項所述之編碼器，其中，該選擇單元計算率失真最優化並選擇具有最低率失真的該內插濾波器。
  20. 如申請專利範圍第13項所述之編碼器，進一步包括：一計算單元，對於該當前訊框，用以計算該最優內插濾波器的多個濾波器係數，並對於該隨後訊框，用以將該多個濾波器係數發送至該係數緩衝器以包括至該競爭濾波器集合。
  21. 如申請專利範圍第13項所述之編碼器，其中，該適應性內插濾波器係一2D不可分適應性內插濾波器、一2D可分適應性內插濾波器、一定向適應性內插濾波器、一增強適應性內插濾波器或一增強定向適應性內插濾波器。
  22. 一種解碼器，用以將一位元流解碼至多個視訊訊框，該解碼 器包括：一熵解碼單元，用以對該位元流進行解析以產生一訊框間模式資訊、一濾波器資訊和一殘差；一重構單元，用以依據一預測樣本和該殘差產生一已重構資料；一參考訊框緩衝器，耦接該重構單元，用以存儲該已重構資料；一適應性內插濾波器，耦接該參考訊框緩衝器和該熵解碼單元，用以對於一當前訊框，利用選擇自一競爭濾波器集合的一內插濾波器對該已重構資料進行濾波，其中該內插濾波器係依據該濾波器資訊於一特殊級選取，且該競爭濾波器集合係以該當前訊框的一最優化內插濾波器更新的，以用於一隨後訊框；以及一運動補償單元，耦接該熵解碼單元和該適應性內插濾波器，用以自該熵解碼單元接收該訊框間模式資訊，並自該適應性內插濾波器接收該已濾波的已重構資料，以產生該預測樣本。
  23. 如申請專利範圍第22項所述之解碼器，其中，該濾波器資訊包括該競爭濾波器集合的多個濾波器係數。
  24. 如申請專利範圍第23項所述之解碼器，其中，該熵解碼單元自一條帶標頭對該競爭濾波器集合的該多個濾波器係數進行解析。
  25. 如申請專利範圍第22項所述之解碼器，其中，該濾波器資訊包括用於一特殊區域的一濾波器選擇資訊。
  26. 如申請專利範圍第22項所述之解碼器，其中，該適應性內插 濾波器依據該濾波器資訊的一索引進行關閉，用以跳過該濾波步驟。
  27. 如申請專利範圍第22項所述之解碼器，其中，該競爭濾波器集合的濾波器數目由該濾波器資訊決定。
  28. 如申請專利範圍第22項所述之解碼器，其中，該適應性內插濾波器依據該濾波器資訊，於一圖像級、一條帶級或多條帶級對該競爭濾波器集合進行更新。
  29. 如申請專利範圍第22項所述之解碼器，其中，該熵解碼單元自一序列參數集、一圖像參數集、一適應性內插濾波器係數參數集、一條帶標頭或四者之組合對該濾波器資訊進行解析。
  30. 如申請專利範圍第22項所述之解碼器，進一步包括一係數緩衝器，用以存儲該競爭濾波器集合的多個濾波器係數。
TW099122136A 2009-07-06 2010-07-06 一種執行單循環適應性內插濾波的方法、編碼器和解碼器 TWI527441B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US22311609P 2009-07-06 2009-07-06
PCT/CN2010/074327 WO2011003326A1 (en) 2009-07-06 2010-06-23 Single pass adaptive interpolation filter

Publications (2)

Publication Number Publication Date
TW201127070A TW201127070A (en) 2011-08-01
TWI527441B true TWI527441B (zh) 2016-03-21

Family

ID=43428776

Family Applications (1)

Application Number Title Priority Date Filing Date
TW099122136A TWI527441B (zh) 2009-07-06 2010-07-06 一種執行單循環適應性內插濾波的方法、編碼器和解碼器

Country Status (4)

Country Link
US (1) US20110116546A1 (zh)
CN (1) CN102037732B (zh)
TW (1) TWI527441B (zh)
WO (1) WO2011003326A1 (zh)

Families Citing this family (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120243611A1 (en) * 2009-12-22 2012-09-27 Sony Corporation Image processing apparatus and method as well as program
US9094658B2 (en) * 2010-05-10 2015-07-28 Mediatek Inc. Method and apparatus of adaptive loop filtering
US8849053B2 (en) * 2011-01-14 2014-09-30 Sony Corporation Parametric loop filter
US9049454B2 (en) * 2011-01-19 2015-06-02 Google Technology Holdings Llc. High efficiency low complexity interpolation filters
KR20120090740A (ko) * 2011-02-07 2012-08-17 (주)휴맥스 정밀한 단위의 필터 선택을 적용한 영상 부호화/복호화 장치 및 방법
US9313519B2 (en) 2011-03-11 2016-04-12 Google Technology Holdings LLC Interpolation filter selection using prediction unit (PU) size
WO2012178178A2 (en) 2011-06-24 2012-12-27 General Instrument Corporation Selection of phase offsets for interpolation filters for motion compensation
CN103650506B (zh) 2011-07-01 2017-08-15 谷歌技术控股有限责任公司 用于时间预测的联合亚像素插值滤波器
CN102857751B (zh) * 2011-07-01 2015-01-21 华为技术有限公司 一种视频编解码方法和装置
US10051289B2 (en) * 2011-11-04 2018-08-14 Qualcomm Incorporated Adaptive center band offset filter for video coding
US9762903B2 (en) * 2012-06-01 2017-09-12 Qualcomm Incorporated External pictures in video coding
KR20140022122A (ko) * 2012-08-10 2014-02-21 한국전자통신연구원 율―왜곡 최적화를 이용한 비디오 부호화 방법 및 장치
US10009622B1 (en) 2015-12-15 2018-06-26 Google Llc Video coding with degradation of residuals
US10341659B2 (en) * 2016-10-05 2019-07-02 Qualcomm Incorporated Systems and methods of switching interpolation filters
WO2020003275A1 (en) 2018-06-29 2020-01-02 Beijing Bytedance Network Technology Co., Ltd. Partial/full pruning when adding a hmvp candidate to merge/amvp
EP4322533A3 (en) 2018-06-29 2024-03-06 Beijing Bytedance Network Technology Co., Ltd. Checking order of motion candidates in lut
CN110662057B (zh) 2018-06-29 2022-06-21 北京字节跳动网络技术有限公司 视频处理方法、装置、设备以及存储比特流的方法
TWI743506B (zh) 2018-06-29 2021-10-21 大陸商北京字節跳動網絡技術有限公司 來自多個查找表（lut）的選擇
KR20210025537A (ko) 2018-06-29 2021-03-09 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 하나 또는 다수의 룩업 테이블들을 사용하여 이전에 코딩된 모션 정보를 순서대로 저장하고 이를 사용하여 후속 블록들을 코딩하는 개념
TWI744662B (zh) 2018-06-29 2021-11-01 大陸商北京字節跳動網絡技術有限公司 更新查閱資料表（lut）的條件
KR20240005239A (ko) 2018-06-29 2024-01-11 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 Lut와 amvp 사이의 상호작용
EP3794825A1 (en) 2018-06-29 2021-03-24 Beijing Bytedance Network Technology Co. Ltd. Update of look up table: fifo, constrained fifo
EP3815376A1 (en) 2018-07-02 2021-05-05 Beijing Bytedance Network Technology Co. Ltd. Luts with intra prediction modes and intra mode prediction from non-adjacent blocks
CN111064959B (zh) 2018-09-12 2023-09-01 北京字节跳动网络技术有限公司 要检查多少个hmvp候选
WO2020084474A1 (en) 2018-10-22 2020-04-30 Beijing Bytedance Network Technology Co., Ltd. Gradient computation in bi-directional optical flow
KR102628361B1 (ko) 2018-11-12 2024-01-23 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 인터-예측을 위한 대역폭 제어 방법
CN118250459A (zh) * 2018-11-16 2024-06-25 北京字节跳动网络技术有限公司 组合帧间帧内预测模式中的权重
CN113056914B (zh) 2018-11-20 2024-03-01 北京字节跳动网络技术有限公司 基于部分位置的差计算
CN113597760B (zh) 2019-01-02 2024-08-16 北京字节跳动网络技术有限公司 视频处理的方法
WO2020140949A1 (en) * 2019-01-02 2020-07-09 Beijing Bytedance Network Technology Co., Ltd. Usage of interweaved prediction
KR102648159B1 (ko) 2019-01-10 2024-03-18 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 Lut 업데이트의 호출
WO2020143824A1 (en) 2019-01-13 2020-07-16 Beijing Bytedance Network Technology Co., Ltd. Interaction between lut and shared merge list
CN113302937B (zh) 2019-01-16 2024-08-02 北京字节跳动网络技术有限公司 运动候选推导
WO2020177755A1 (en) 2019-03-06 2020-09-10 Beijing Bytedance Network Technology Co., Ltd. Usage of converted uni-prediction candidate
CN113615193B (zh) 2019-03-22 2024-06-25 北京字节跳动网络技术有限公司 Merge列表构建和其他工具之间的交互
EP3932058A4 (en) 2019-04-01 2022-06-08 Beijing Bytedance Network Technology Co., Ltd. USING HISTORY INTERPOLATION FILTERS BASED ON MOTION VECTOR PREDICTION
BR112022002480A2 (pt) 2019-08-20 2022-04-26 Beijing Bytedance Network Tech Co Ltd Método para processamento de vídeo, aparelho em um sistema de vídeo, e, produto de programa de computador armazenado em uma mídia legível por computador não transitória
WO2021043786A1 (en) * 2019-09-04 2021-03-11 Interdigital Vc Holdings France, Sas Switchable interpolation filters

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7106322B2 (en) * 2000-01-11 2006-09-12 Sun Microsystems, Inc. Dynamically adjusting a sample-to-pixel filter to compensate for the effects of negative lobes
PT2938071T (pt) * 2001-11-29 2018-01-08 Godo Kaisha Ip Bridge 1 Método de remoção de distorção de codificação
US7379501B2 (en) * 2002-01-14 2008-05-27 Nokia Corporation Differential coding of interpolation filters
US20040076333A1 (en) * 2002-10-22 2004-04-22 Huipin Zhang Adaptive interpolation filter system for motion compensated predictive video coding
US20060114995A1 (en) * 2004-12-01 2006-06-01 Joshua Robey Method and system for high speed video encoding using parallel encoders
KR100688510B1 (ko) * 2004-12-20 2007-03-02 삼성전자주식회사 계수 갱신 회로, 이를 포함하는 적응 등화기, 및 적응등화기의 계수 갱신 방법
US8094814B2 (en) * 2005-04-05 2012-01-10 Broadcom Corporation Method and apparatus for using counter-mode encryption to protect image data in frame buffer of a video compression system
US8208564B2 (en) * 2005-06-24 2012-06-26 Ntt Docomo, Inc. Method and apparatus for video encoding and decoding using adaptive interpolation
JP4643453B2 (ja) * 2006-01-10 2011-03-02 株式会社東芝 情報処理装置及び情報処理装置の動画像復号方法
WO2007111292A1 (ja) * 2006-03-27 2007-10-04 Matsushita Electric Industrial Co., Ltd. 画像符号化装置および画像復号化装置
BRPI0714233A2 (pt) * 2006-07-18 2013-01-15 Thomson Licensing mÉtodos e aparelho para filtragem de referÊncia adaptativa
RU2420004C2 (ru) * 2006-11-06 2011-05-27 Квэлкомм Инкорпорейтед Обнаружение mimo с подавлением помех у своевременных компонентов сигнала
KR20080040892A (ko) * 2006-11-06 2008-05-09 삼성전자주식회사 적응 등화기 및 적응 등화 방법
KR101369746B1 (ko) * 2007-01-22 2014-03-07 삼성전자주식회사 적응적 보간 필터를 이용한 영상 부호화, 복호화 방법 및장치
US8050320B2 (en) * 2007-02-09 2011-11-01 Ericsson Television, Inc. Statistical adaptive video rate control
US8369411B2 (en) * 2007-03-29 2013-02-05 James Au Intra-macroblock video processing
US8270472B2 (en) * 2007-11-09 2012-09-18 Thomson Licensing Methods and apparatus for adaptive reference filtering (ARF) of bi-predictive pictures in multi-view coded video
US8811484B2 (en) * 2008-07-07 2014-08-19 Qualcomm Incorporated Video encoding by filter selection
US8625681B2 (en) * 2008-07-09 2014-01-07 Intel Corporation Rate-distortion cost reducing video encoding techniques
WO2010063881A1 (en) * 2008-12-03 2010-06-10 Nokia Corporation Flexible interpolation filter structures for video coding

Also Published As

Publication number Publication date
US20110116546A1 (en) 2011-05-19
WO2011003326A1 (en) 2011-01-13
TW201127070A (en) 2011-08-01
CN102037732B (zh) 2013-03-27
CN102037732A (zh) 2011-04-27

Similar Documents

Publication Publication Date Title
TWI527441B (zh) 一種執行單循環適應性內插濾波的方法、編碼器和解碼器
US11729420B2 (en) Intra-prediction method using filtering, and apparatus using the method
KR101313956B1 (ko) 스위칭된 보간 필터들에서의 오프셋 계산
JP5425640B2 (ja) 適応フィルタ表現
CN101971632B (zh) 自适应滤波
CN103460700B (zh) 以帧内预测模式解码图像的方法
JP5415081B2 (ja) フレキシブル・マクロブロック配列（ｆｍｏ）ビデオ符号化のためにフレーム選択を最適化する方法及び装置
JP5875989B2 (ja) ビデオ・エンコードおよびデコードのための低複雑性テンプレート照合予測のための方法および装置
WO2011121894A1 (ja) 画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法
RU2573747C2 (ru) Способ и устройство кодирования видео, способ и устройство декодирования видео и программы для них
TWI437888B (zh) 混合分接頭濾波器
US7961785B2 (en) Method for encoding interlaced digital video data
JP2008507190A (ja) 動き補償方法
TW201132131A (en) Global motion parameter estimation using block-based motion vectors
JP2011518508A (ja) ビデオコーディングにおけるサブピクセル解像度のための補間フィルタサポート
KR20090095317A (ko) 영상 부호화 및 복호화 방법 및 장치
JP2011517240A (ja) ビデオコーディングにおける整数ピクセル位置の補間的フィルタリング
WO2010008655A1 (en) Simple next search position selection for motion estimation iterative search
JP5439162B2 (ja) 動画像符号化装置および動画像復号装置
KR101691380B1 (ko) 시프팅 매트릭스를 이용한 dct 기반의 부화소 단위 움직임 예측 방법
JP2011223316A (ja) 画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法
KR101184571B1 (ko) 동영상 부호화를 위한 움직임 추정 방법 및 장치
JP2004158946A (ja) 動画像符号化方法とその復号化方法、およびそれらの装置
JP2011223315A (ja) 画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees