TWI575932B - 混成視訊解碼器、混成視訊編碼器及資料串流 - Google Patents

混成視訊解碼器、混成視訊編碼器及資料串流 Download PDF

Info

Publication number
TWI575932B
TWI575932B TW100112639A TW100112639A TWI575932B TW I575932 B TWI575932 B TW I575932B TW 100112639 A TW100112639 A TW 100112639A TW 100112639 A TW100112639 A TW 100112639A TW I575932 B TWI575932 B TW I575932B
Authority
TW
Taiwan
Prior art keywords
block
filter
iir
reference image
current image
Prior art date
Application number
TW100112639A
Other languages
English (en)
Other versions
TW201204046A (en
Inventor
哈里賈蘭 萊克須曼
班加明 布洛斯
希克 史瓦茲
湯瑪士 威剛德
Original Assignee
弗勞恩霍夫爾協會
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 弗勞恩霍夫爾協會 filed Critical 弗勞恩霍夫爾協會
Publication of TW201204046A publication Critical patent/TW201204046A/zh
Application granted granted Critical
Publication of TWI575932B publication Critical patent/TWI575932B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/523—Motion estimation or motion compensation with sub-pixel accuracy
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

混成視訊解碼器、混成視訊編碼器及資料串流 發明領域
本發明之實施例係有關於混成視訊解碼器。本發明之額外實施例係有關於混成視訊編碼器、資料串流、用以編碼視訊之方法及用以解碼視訊之方法。
 發明背景
於先前技術或最先進(混成)視訊編碼，利用先前圖像之重建組分藉運動補償預測，或利用相同圖像之先前重建區塊藉內部預測來預測一視訊框之組分(例如參考Thomas Wiegand、Gary J. Sullivan、Gisle Bjontegaard及Ajay Luthra：H.264/AVC視訊編碼標準，IEEE視訊技術之電路及系統議事錄第13卷第7期第560至576頁，2003年7月)。舉例言之，若視訊框係使用YUV色彩空間表示，則該視訊框之組分為三個Y、U及V色彩組分。殘差信號，亦即原先信號與相對應的預測信號間之差，通常係使用變換編碼而編碼(解相關變換、變換係數之量化、與所得量化符碼之熵編碼之組合)。當圖像係由多個組分(平面)組成時，預測可分開進行或藉共享預測資訊而群組化(平面群組化)進行。運動補償預測可針對一圖像之某些子區進行(例如參考Thomas Wiegand、Markus Flierl及Bernd Girod：四叉樹視訊編碼方案之熵限制設計，第六屆IEE影像處理及其應用之國際會議議事錄，愛爾蘭都柏林1997年7月2日)。通常子區為矩形樣本區塊。但於構想上也可能使用相同運動參數用於任意樣本集合。運動參數係含括在位元串流及傳輸至解碼器。可能使用任意運動模型。常見地，運動係使用平移運動模型而模型化，該種情況下，載明位移之一運動向量(2參數)係傳輸給各區。其它常見運動模型包括罰運動模型(6參數)、3-、4-及5-參數模型。運動參數可以任意準確度傳輸。舉例言之，針對平移運動模型，運動向量可使用全樣本準確度或子樣本準確度(例如四分之一樣本準確度)編碼。第一情況下，預測樣本可直接從重建樣本拷貝。於子樣本準確運動向量(或通用運動參數)情況下，預測樣本係使用重建樣本內插。針對運動補償預測之最先進子樣本產生方法係利用FIR濾波。晚近，提出適應性FIR濾波器(例如參考Thomas Wedi，用於運動補償混成視訊編碼之適應性內插濾波器，圖像編碼研討會議事錄(PSC 2001)，韓國首爾2001年4月)用以改良運動補償預測。先前傳輸的圖像中之任一者皆可用於運動補償(例如參考Thomas Wiegand、Xiaozheng Zhang及Bernd Girod：長期記憶運動補償預測，IEEE視訊技術之電路及系統異動，第9卷第1期第70至84頁，1999年2月)。若參考圖像未被高階參數固定，則參考指數可傳輸來識別所使用的參考圖像。也可能使用加權因數及偏移值來修改預測信號(通稱加權預測)或任何其它加權函數來獲得終預測信號。此外，可組合若干預測信號來獲得終預測信號。俗稱多假說預測(例如參考Sullivan,G.；用於低位元率視訊編碼之多假說運動補償，IEEE國際聲學、語音及信號會議議事錄，第5期1993年)。組合預測信號例如可藉不同預測信號之加權和獲得。個別預測信號可植基於相同或相異升取樣參考圖像。若組合二預測信號，則多假說預測也稱作為雙預測(如近代視訊編碼標準之B截割片支援)。但也可使用多於兩個假說。量化變換係數之熵編碼例如可藉可變長度編碼或(適應性)算術編碼進行(例如參考Detlev Marpe、Heiko Schwarz及Thomas Wiegand：基於脈絡之適應性二進制算術編碼，於H264/AVC視訊壓縮標準，IEEE視訊技術之電路及系統議事錄第13卷第7期第620至636頁，2003年7月)。
但於混成視訊編碼期望改良所傳輸資訊之壓縮效率。
 發明概要
本發明之目的係提供一種於混成視訊編碼中改良傳輸資訊之壓縮效率之構想。
如申請專利範圍第1、23、33項之混成視訊解碼器、如申請專利範圍第16、30、34項之混成視訊編碼器、如申請專利範圍第20項之資料串流、如申請專利範圍第21、22、31、32、35、36項之方法、及如申請專利範圍第37項之電腦程式可解決此項目的。
本發明之若干實施例中，提供一種混成視訊解碼器。該混成視訊解碼器包含一抽取器係經組配來針對一目前圖像之一區塊而從一資料串流抽取運動資訊及殘差資訊。該混成視訊解碼器進一步包含一預測器，其係經組配來依據運動資訊而運用一無限脈衝響應(IIR)濾波器與一有限脈衝響應(FIR)濾波器之組合，藉內插一參考圖像來提供針對該目前圖像之區塊之一預測。該混成視訊解碼器進一步包含一重建器係經組配來利用該區塊之預測及殘差資訊而重建在該區塊之目前圖像。
本發明之額外實施例提供一種混成視訊編碼器。該混成視訊編碼器包含一升取樣器係經組配來使用IIR濾波器與FIR濾波器之組合而以子樣本之解析度升取樣一參考圖像而獲得該參考圖像之一升取樣版本。該混成視訊編碼器進一步包含一預測器，其係經組配來運用該參考圖像之升取樣版本，針對該目前圖像之區塊，決定與針對該目前圖像之區塊之一運動資訊相對應的運動補償預測。該混成視訊編碼器更包含一殘差資訊測定器，其係經組配來運用針對該目前圖像之區塊之運動補償預測及該目前圖像之區塊，而針對該目前圖像之區塊測定一殘差資訊。該混成視訊編碼器又更包含一資料串流插入器，其係經組配來將針對該目前圖像之區塊之運動資訊及殘差資訊插入一資料串流。
本發明之一構想為若使用IIR濾波器組合FIR濾波器來內插該重建樣本或圖像而獲得升取樣之參考樣本或參考圖像，則可改良於混成視訊編碼之壓縮效率。業已發現若有IIR濾波器與FIR濾波器之組合，則可達成得自升取樣參考圖像之信號值的更準確估算。如此改良的升取樣可顯示減少運動補償預測誤差。因此，比較只使用FIR濾波器來升取樣重組圖像而獲得升取樣參考圖像之情況，所得表示預測殘差之視訊信號(亦即例如量化變換係數)可以更佳率/失真折衷表示。
比較只仰賴FIR濾波器之升取樣系統，即便採用密實支承之FIR濾波器核心，本發明之實施例仍可提供總升取樣系統之頻率響應的突然截止。一方面，實施例可提供難以或無法以只有FIR之系統實現的頻率響應。另一方面，針對相似的頻率響應，比較只有FIR系統，使用本發明之實施例可達成複雜度的顯著減低。
依據本發明之若干實施例中，一種混成視訊解碼器之預測器可經組配來內插參考圖像，使得參考圖像係以IIR濾波器濾波而獲得該參考圖像之IIR濾波版本。然後FIR濾波器施加至該參考圖像之IIR濾波版本來獲得該目前圖像區塊之預測。換言之，IIR濾波器可為前置濾波器且可經設計來保有該參考圖像之解析度，該FIR濾波器可為針對該參考圖像之IIR濾波樣本之後濾波器或後內插濾波器。
依據其它實施例中，一種混成視訊編碼器可進一步包含一重建器，其係組配來獲得該參考圖像作為一先前編碼圖像之重建版本。
圖式簡單說明
將參考附圖解釋本發明之實施例之進一步細節，附圖中：第1圖顯示依據本發明之一實施例一種混成視訊解碼器之方塊圖；第2a圖顯示依據本發明之一實施例一種混成視訊解碼器之方塊圖；第2b圖顯示可用在得自第2a圖之混成視訊解碼器之升取樣器之方塊圖；第3圖顯示依據本發明之又一實施例一種混成視訊解碼器之方塊圖；第4圖顯示依據本發明之又一實施例一種混成視訊編碼器之方塊圖；第5圖顯示依據本發明之又一實施例一種混成視訊編碼器之方塊圖；第6圖顯示依據本發明之又一實施例一種混成視訊編碼器之方塊圖；第7圖顯示針對一參考圖像之一區塊之實例，樣本位置係以大寫字母指示，而子樣本位置係以小寫字母指示；第8a至8c圖顯示針對FIR濾波器選擇一基函數之略圖；第9圖顯示依據本發明之又一實施例一種混成視訊解碼器之方塊圖；第10圖顯示採用在第9圖之混成視訊解碼器之FIR濾波器可能的基函數之略圖；及第11圖顯示可用在本發明之實施例之IIR濾波器可能的具體實現之方塊圖。
 較佳實施例之詳細說明
於後文中基於附圖以進一步細節解釋本發明之實施例之前，須指出相同的元件或功能上相當的元件於各幅圖間係標示以相同的元件符號且刪除此等元件之重複描述。如此，標示以相同元件符號之各元件之描述於各個實施例間可彼此互換及/或使用。
第1圖顯示混成視訊解碼器100之方塊圖。混成視訊解碼器100包含一抽取器110、一預測器120、及一重建器130。預測器120包含一IIR濾波器122及一FIR濾波器124。抽取器110係組配來從一資料串流112針對一目前圖像區塊抽取運動資訊114及殘差資訊116。預測器120係組配來依據運動資訊114，提供目前圖像之區塊之預測126給該目前圖像區塊。預測器120係組配來藉由使用IIR濾波器122與FIR濾波器124之組合而內插一參考圖像132來提供預測。重建器130係組配來使用該區塊之預測126及該目前圖像區塊之殘差資訊116而在該區塊重建該目前圖像。
資料串流112包含目前圖像之該區塊之運動資訊114及目前圖像之該區塊之殘差資訊116，且可進一步包含額外側邊資訊。運動資訊114及殘差資訊116可使用熵編碼而編碼。殘差資訊116可在變換域內，亦即以頻譜分解方式編碼。運動資訊114例如可使用兩個參數測定運動向量，一個參數係用於目前圖像之該區塊之水平方向及一個參數係用於垂直方向。另外，運動資訊114可基於更高階移動模型，其實例已經陳述於本案之引言部分。運動資訊114之精度可為任意。於紙樣本解析度之情況下，任意精度表示運動資訊114係以小於參考圖像132之樣本間距之單位定義，參考圖像132必需經過內插(使用IIR濾波器122與FIR濾波器124之組合)。如前文說明，預測器120基於運動資訊114及參考圖像132(例如為先前編碼圖像之重建圖像)，提供針對目前圖像之該區塊之預測126。殘差資訊116也包含在資料串流112，決定目前圖像之該區塊之預測126與目前圖像之該區塊之原先版本間之量化差。該圖像區塊之預測126與該圖像區塊間之類似性愈高，則目前圖像區塊之殘差資訊116愈小。較小的殘差資訊116結果導致資料串流112之殘差資訊116之複雜度減低，資料串流112可以較少位元表示。如前述，本發明之實施例藉由使用IIR濾波器122與FIR濾波器124之組合可達成升取樣參考圖像(屬參考圖像132)之信號值更準確的估算。參考圖像132改良之升取樣顯著減少運動補償預測誤差，因此減少欲在殘差資訊116內部傳輸之資訊。因此預測器120比較單純使用FIR濾波可針對目前圖像之該區塊獲得改良預測126，原因在於參考圖像132之改良升取樣。參考圖像132之升取樣的改良係因IIR濾波器122與FIR濾波器124之組合，使用具有中等數目濾波器分接頭之IIR濾波器，藉鮮明截止頻率響應而可能達成。特別當針對類似的頻率響應考慮時，例如藉IIR濾波器122與FIR濾波器124之組合所獲得者考慮時，運算負載更顯著增高，須採用遠更複雜的只含FIR之系統，涉及較高數目之FIR濾波器分接頭。
圖像區塊樣本或圖像樣本例如可為該區塊或該圖像之像素。
重建器130可包含濾波部分134，其例如執行欲在顯示器上顯示的重建圖像數值的四捨五入或截短。例如若殘差資訊116及預測126之位元解析度係高於該重建圖像之位元解析度，則參考圖像132可以是重建圖像、或該重建圖像之未經剪短或未經濾波版本。第2a圖顯示第1圖之混成視訊解碼器100之一部分以進一步細節顯示之方塊圖。第2a圖中並未顯示混成視訊解碼器100之抽取器110。第2a圖之方塊圖顯示預測器120可劃分成運動補償區塊214及升取樣器210。重建器130可分裂成預測及殘差資訊組合器216及回路內處理區塊134。如前述，參考圖像132例如可為在迴路內處理區塊134剪短、濾波或四捨五入後之重建圖像，或可為直接得自預測及殘差資訊組合器216之該重建圖像之高位元深度或位元解析度版本218。重建圖像之高解析度版本218於後文也可稱作為高位元解析度重建圖像218。
參考圖像132饋進升取樣器210，此處藉由使用IIR濾波器122與FIR濾波器124之組合進行升取樣來測定一升取樣參考圖像212。升取樣參考圖像於後文中也稱作為參考圖像之升取樣版本。換言之，升取樣參考圖像212係藉升取樣參考圖像132而產生，該參考圖像132可為重建圖像或重建圖像之高位元解析度版本218。因此，升取樣參考圖像212為該目前圖像區塊之運動資訊114所指的先前解碼圖像(參考圖像132，其先前已經解碼)之空間升取樣版本。運動補償區塊214將目前圖像之該區塊的運動資訊114施加至升取樣參考圖像212(其為先前解碼圖像之升取樣版本)來測定該目前圖像區塊之預測126。然後預測126饋進預測及殘差資訊組合器216來獲得高解析度重建圖像218(屬目前圖像)。容後詳述，使用IIR濾波器122及FIR濾波器124之組合升取樣階段及施加運動資訊114可整合成一個內插步驟，此處升取樣單純係於由運動資訊114所界定的子樣本位置進行。於高位元解析度重建圖像218在回路內處理區塊134之回路內處理而獲得重建(目前)圖像後，該圖像可饋至圖像輸出裝置例如顯示器。然後重建圖像或高解析度重建圖像218可用作為其後之各圖像之一參考圖像132。
如前述，運動資訊114及殘差資訊116可與目前圖像之某個區塊相對應。因此，於運動補償區塊214之運動補償可針對目前圖像之相對應區塊進行。因此，預測126也可與目前圖像之區塊相對應，因此預測及殘差資訊組合器216針對該目前圖像個區塊組合各個預測126及各個殘差資訊116來獲得高位元解析度重建圖像218。一圖像區塊例如可為方形或任意形狀。一個區塊例如可含有16x16樣本、8x8樣本或4x4樣本或16x8樣本或其它任意數值。尤其目前圖像之不同區塊之大小在目前圖像內部可相異。
第2b圖顯示可用在依據第2a圖之混成視訊解碼器100之升取樣器210之方塊圖。依據若干實施例，IIR濾波器122可為在FIR濾波器124前方之前置-濾波器，利用後者進行實際內插，如第2b圖所示。換言之，本發明之實施例採用IIR濾波器122(第2b圖中標示為前置濾波器)與FIR濾波器124(第2b圖中標示為內插濾波器)的組合。換言之，使用參考圖像132之IIR濾波器122進行IIR濾波獲得參考圖像132之IIR濾波版本220。然後於初始步驟之後施加FIR濾波器124至參考圖像132之IIR濾波版本220。
假設參考圖像132之大小為WxH，參考圖像132之IIR濾波版本220之大小也是WxH。因此，由於實際上空間解析度不變及IIR濾波允許濾波期間直接操作樣本，故無需額外記憶體用來儲存參考圖像132之IIR濾波版本220。升取樣參考圖像212之大小(含有在參考圖像132之IIR濾波版本220之升取樣樣本部分之數值)可為MxN，該大小係大於參考圖像132之大小或參考圖像132之IIR濾波版本220之大小。
一般而言，在升取樣樣本位置之數值可為在原先圖像之樣本部分之原先圖像之原先樣本數值，其已經內插或係與原先圖像相同(若該數值尚未經內插)或可為介於原先圖像之原先樣本間之值，該原先樣本已經就原先圖像而在子樣本位置內插。
升取樣參考圖像212之大小可取決於運動資訊114之解析度。假設平移運動資訊114具有四分之一樣本準確度之解析度，針對參考圖像132之各個樣本位置必需藉FIR濾波器124計算高達四個升取樣樣本部分來測定升取樣參考圖像212。假設4x4樣本之參考圖像大小，則完整升取樣參考圖像212之大小至少為16x16樣本。
依據又一實施例，FIR濾波器124可經組配使得在升取樣參考圖像212之樣本位置之樣本值(所謂的整數像素值)係未經計算或未經內插。於升取樣參考圖像212，此等值可與參考圖像132之值相同。
此外，FIR濾波器124可經組配來例如基於運動補償、模糊或亮度變化等，判定升取樣參考圖像212之整數像素值是否經過計算/內插。若經計算，則可與參考圖像132之樣本值相異。
依據若干實施例，FIR濾波器124可於行進間(on-the-fly)施用。如此表示使用FIR濾波器124對參考圖像132之IIR濾波版本220的樣本進行FIR濾波可於需要時進行，換言之，當運動補償預測(運動補償區塊214)試圖存取由運動資訊114所判定的在升取樣參考圖像212中之一個或多個特定樣本時進行。可導致用於升取樣處理程序之記憶體節省及複雜度減低(於升取樣器210)。
因此，唯有當需要存取特定參考圖像樣本時使用FIR濾波器124進行FIR濾波才要求儲存IIR濾波輸出(參考圖像132之IIR濾波版本220)，其大小為WxH(與參考圖像132相同大小)。與此做比較，事先產生整個升取樣參考圖像212要求儲存FIR濾波輸出(完整升取樣參考圖像212)，其具有MxN之大小。針對於行進間FIR濾波之記憶體要求係與升取樣因素獨立無關(特別係與運動資訊114之解析度獨立無關)。通常，升取樣參考圖像大小MxN係大於重建圖像大小WxH。因此只儲存參考圖像132之IIR濾波版本220將導致記憶體節省。此外，藉由只運算所選用的升取樣參考圖像212樣本，比較FIR濾波器進行參考圖像132之完整FIR濾波，FIR濾波器124進行於行進間FIR濾波將耗用更少的時間。因此於行進間FIR濾波不僅導致記憶體節省，同時也導致時間節省及複雜度減低。
於解碼器(諸如混成視訊解碼器100)中，通常只有升取樣參考圖像212之一個樣本子集被存取來運算運動補償預測126。此種情況下，當進行於行進間濾波時，可節省由於參考圖像132之IIR濾波版本220之FIR濾波來產生未被存取的升取樣參考圖像212樣本所導致的複雜度。如此導致記憶體及時間的節省。
換言之，預測器120(包含IIR濾波器122及FIR濾波器124)係組配來依據運動資訊114而選擇性地施加FIR濾波器124至參考圖像132之IIR濾波版本220。預測器120因而只內插參考圖像132之IIR濾波版本220於(升取樣參考圖像212之)(可能的)升取樣樣本位置之一子集。此種子集例如係藉運動資訊114測定。
舉個實例，假設參考圖像132之一區塊有四個樣本A(0;0),B(1;0),C(0;1)及D(1;1)，及針對述及該參考圖像132之該區塊的目前圖像之第一區塊運動資訊114(或所謂的運動向量)m(0.5;0.25)具有四分之一樣本準確度。
使用FIR濾波器，其未在於行進間FIR濾波進行，需要計算升取樣參考圖像212之至多四個樣本位置。舉例言之，在A與B間，需要計算位置(0;0)、(0.25;0)、(0.5;0)及(0.75;0)。必需針對參考樣本132之該區塊的全部樣本位置進行來決定參考圖像132之該區塊之升取樣板本。
藉由使用FIR濾波器124進行於行進間FIR濾波，只須計算升取樣參考圖像212之升取樣樣本位置之一第一子集。參考實例，只須計算升取樣樣本位置a(0.5;0.25)、b(1.5;0.25)、c(0.5;1.25)及d(1.5;1.25)來獲得第一區塊之預測126。
為了獲得目前圖像之又一區塊例如目前圖像之第一區塊的相鄰區塊之進一步預測，依據該額外區塊之進一步運動資訊，FIR濾波器124可重新施加至參考圖像132之IIR濾波版本220。又一區塊之進一步運動資訊可與得自第一區塊之運動資訊114不同。因此，參考圖像132之IIR濾波版本220係在升取樣參考圖像212之升取樣樣本位置之又一子集內插。又一子集係藉目前圖像之又一區塊之進一步運動資訊114決定。第一區塊之第一子集可重疊又一區塊之又一子集。換言之，依據若干實施例，預測器120可依據進一步運動資訊，在針對目前圖像之另一區塊提供預測中，重新選擇性施加FIR濾波器124至參考圖像132之IIR濾波版本220。FIR濾波器124係依據進一步運動資訊施加來將參考圖像132之IIR濾波版本220內插在升取樣樣本位置之又一子集。如前文敘述，升取樣樣本位置之又一子集係藉進一步運動資訊決定。又一子集至少部分重疊針對目前圖像之另一先前區塊之計算得的升取樣樣本子集。如此表示在目前圖像之第一區塊的內插期間，只計算升取樣參考圖像212之升取樣樣本位置之一子集。為了進一步預測目前圖像之又一區塊，計算升取樣參考圖像212之更多升取樣樣本位置，該等樣本位置形成該又一子集且至少部分重疊第一子集。
第3圖顯示依據本發明之一實施例混成視訊解碼器300之方塊圖。第3圖所示混成視訊解碼器300與第1圖所示混成視訊解碼器100之差異在於抽取器110係經組配來從資料串流112抽取目前圖像之該區塊之濾波資訊310。此外，預測器120係組配來使用濾波資訊310而調整適應IIR濾波器122及/或FIR濾波器124。IIR濾波器122及/或FIR濾波器124可在混成視訊編碼器(例如於依據第5圖及第6圖之混成視訊編碼器)適應性估算，且可傳輸至資料串流112內部之混成視訊解碼器300做為濾波資訊310。資料串流112也可稱作為位元串流。如此導致四種不同的可能性：固定的IIR係數及固定的FIR係數(於濾波器非適應性之情況)、固定的IIR係數及適應性FIR係數、適應性IIR係數及固定的FIR係數、適應性IIR係數及適應性FIR係數。因此，濾波資訊310可取決於針對IIR濾波器122及FIR濾波器124係選用所述四項可能性中之哪一者。
依據若干實施例，預測器120可包含一個記憶體，帶有針對IIR濾波器122及/或FIR濾波器124之兩個不同濾波參數儲存在本記憶體。取決於濾波資訊310，預測器120可經組配來從至少兩個濾波參數中選出一者而基於所選的濾波參數來調適IIR濾波器122及/或FIR濾波器124。換言之，可能的濾波器集合可儲存在編碼器及混成視訊解碼器300。濾波資訊310可測定可能的濾波器中之哪一者係用來升取樣或濾波該目前圖像區塊。例如，濾波資訊310可從該集合測定所使用之濾波器指數。此等指數可經預測或發信號做為資料串流112中之濾波資訊310。記憶體例如可為詢查表。濾波參數可為IIR濾波器122及/或FIR濾波器124之移轉函數或極零值或增益值。
依據若干額外實施例，濾波資訊310指示IIR濾波器122之移轉函數之極零值及/或FIR濾波器124之濾波器分接頭係數，及預測器120係組配來經由將該極零值插入IIR濾波器122之參數化及/或將濾波器分接頭係數插入FIR濾波器124之參數化而調適IIR濾波器122及/或FIR濾波器124。換言之，IIR濾波器122及/或FIR濾波器124之極零值及最終增益值可做為濾波資訊310而於資料串流112中傳輸，及預測器120可經組配來基於此極零值及最終增益值而調適IIR濾波器122及/或FIR濾波器124。
有關所採用的濾波器(IIR濾波器122及/或FIR濾波器124)之此種濾波資訊310之傳輸可以多種方式進行。數種可能敘述如下。舉例言之，所採用的濾波係數可直接傳輸，或濾波係數可經預測，及預測殘差可在位元串流或資料串流112傳輸。另外，如前述，可傳輸極零值及/或增益值。此外，如前述，可能的濾波器集合可儲存在編碼器及解碼器，來自該集合所使用之濾波器指數可於資料串流112之位元串流預測或傳訊。濾波資訊310可與目前圖像之一區塊或完整目前圖像或任何子集例如目前圖像之一截割片相對應。
於重建圖像係由多個彩色平面所組成之情況下，考慮該組群之一此平面或該組群之一平面子集或全部平面，可進行濾波器測定(濾波係數之測定)。舉例言之，使用亮度平面樣本可估算適應性濾波器，且可針對全部平面(亮度平面及彩度平面)施用。此外，適應性濾波器可選擇性地只適用至某些平面，同時維持其它平面之升取樣濾波器(IIR濾波器122及/或FIR濾波器124)為固定。舉例言之，亮度升取樣濾波器可經調整適應，彩度升取樣濾波器可為固定，或其它可能的組合。
根據若干實施例，IIR前置濾波器124只可用於亮度平面，並無任何IIR前置濾波器可用於彩度平面，或其它可能的組合。
根據若干實施例，IIR濾波器122及/或FIR濾波器124可為二維濾波器。二維IIR濾波器及/或FIR濾波器於此種情況下可設計為分開，經由在第一方向(例如水平方向)回旋一個一維濾波器及在第二方向(例如垂直方向)回旋一個一維濾波器，可獲得運算複雜度顯著減低。濾波設計程序之結果例如為估算某個期望的濾波器做為分開濾波器或做為分開濾波器之和。IIR濾波器122及/或FIR濾波器124之分開結構結果例如在混成視訊編碼器或混成視訊解碼器導致濾波器具體實現之複雜度減低。
換言之，依據若干實施例，預測器120可組配來使得IIR濾波器122包含沿第一方向(例如沿水平方向)之第一一維IIR濾波器與沿第二方向(例如沿垂直方向)之第二一維IIR濾波器之級聯(concatenation)。
依據若干實施例，沿第一方向之第一一維IIR濾波器可等於沿第二方向之第二一維IIR濾波器。
依據又一實施例，第一一維IIR濾波器及/或第二一維IIR濾波器之一維移轉函數可基於第一階因果IIR濾波器及/或基於第一階反因果IIR濾波器。
前述濾波器之分離可用在本發明之實施例用於各方向之大量並列處理。因此於各個方向為了達成高量並列程度可對多個樣本同時施加一維濾波，因而達成運算時間的顯著縮短。
第4圖顯示依據本發明之實施例混成視訊編碼器400之方塊圖。混成視訊編碼器400包含一升取樣器210，升取樣器210係組配來使用IIR濾波器122與FIR濾波器124之組合而在紙樣本解析度升取樣參考圖像132而獲得參考圖像132之升取樣版本212。升取樣器210係類似依據第2a及2b圖之升取樣器210。混成視訊編碼器400進一步包含一預測器410來使用參考圖像132之升取樣版本212而針對目前圖像412之一區塊測定運動補償預測126，其係與該目前圖像之區塊的運動資訊114相對應。混成視訊編碼器400進一步包含殘差資訊測定器420，其係組配來經由使用針對該目前圖像412之區塊之運動補償預測126(從預測器410測定)其係經組配來經由使用針對該目前圖像412之區塊的運動補償預測126(由預測器410測定)及該目前圖像412之區塊而測定該目前圖像412之區塊之殘差資訊116。混成視訊編碼器400進一步包含一資料串流插入器430，其係組配來將針對目前圖像412之該區塊之運動資訊114及針對目前圖像412之該區塊之殘差資訊416插入資料串流112。
混成視訊編碼器400可如後文所述發揮作用。已經編碼之目前圖像412饋至預測器410。預測器410比較目前圖像412之一區塊與參考圖像132之升取樣版本212。參考圖像132可為先前編碼圖像(在目前圖像412之前的圖像)之重建版本。參考圖像132已經藉升取樣器210施加IIR濾波器122與FIR濾波器124之組合至參考圖像132來獲得參考圖像132之升取樣版本212。與所述先前技術做比較，如先前技術已知，IIR濾波器122與FIR濾波器124之組合提供參考圖像132之升取樣版本212之改良版本。將目前圖像412與參考圖像132之升取樣版本212比較之預測器410比較較差解析度情況，可決定較佳移動資訊及因而決定目前圖像412之該區塊之較佳預測126。預測器410將目前圖像412之該區塊與參考圖像132之升取樣版本212做比較，及依據目前圖像412之該區塊最佳地匹配參考圖像132之升取樣版本212而決定運動資訊114。預測器410可對可能的運動資訊及搜尋最佳運動資訊限制其搜尋空間。預測器410可施加可能的運動資訊之一子集做為支援點來決定所得殘差資訊。最後，預測器410組合所測定之運動資訊114與參考圖像132之升取樣版本212而針對目前圖像412之該區塊決定運動補償預測126。殘差資訊測定器420從目前圖像412之該區塊扣除目前圖像412之該區塊之運動補償預測126來決定針對該目前圖像之區塊之殘差資訊116。如前述，經由於參考圖像132之升取樣處理程序中採用IIR濾波器122組合FIR濾波器124，比較只使用FIR之系統，可獲得針對目前圖像412之該區塊的更佳預測126。如此，針對目前圖像412該區塊之殘差資訊116可較小，因此可以資料串流112中之較少位元表示。針對目前圖像412之該區塊之殘差資訊116及針對目前圖像412之該區塊之運動資訊114然後藉資料串流插入器430而插入資料串流112。於資料串流插入器430內部，針對該目前圖像412之該區塊的殘差資訊116及運動資訊114及若干選擇性額外側邊資訊可經熵編碼。殘差資訊116可經變換，及所得變換係數可在無損編碼之前經量化。所示混成視訊編碼器400之品質損失只發生在變換係數量化處理程序(若有)。從參考元件符號可知，混成視訊編碼器400之若干部分係與依據第1圖之混成視訊解碼器100相同。此種情況之原因在於針對該目前圖像412之區塊的運動資訊114及殘差資訊116係用在混成視訊解碼器100來重建目前圖像，及然後可用作為接續其後圖像之參考圖像132。藉由使用IIR濾波器122與FIR濾波器124之組合進行參考圖像132之升取樣的升取樣器210也可等於混成視訊編碼器及相對應混成視訊解碼器100，因此在混成視訊編碼器400決定的參考圖像132之升取樣版本212係與在混成視訊解碼器100決定的參考圖像132之升取樣版本212相同。
依據若干實施例，如第4圖所示，混成視訊編碼器400可包含一重建器440，其係組配來獲得參考圖像132做為先前編碼圖像之重建版本。因此，重建器440可從資料串流112中抽取運動資訊114及殘差資訊116。但另外，重建器440也可組配在資料串流插入器430內部從介面432獲得殘差資訊116及運動資訊114，分開資料串流插入器430之損耗部分及無損部分，於該介面432中，例如運動資訊114及殘差資訊116尚未經編碼，例如熵編碼。
如前述，IIR濾波器122及/或FIR濾波器124可為適應性。IIR濾波器122及/或FIR濾波器124之參數例如對已經編碼之不同圖像或已經編碼之圖像區塊或截割片為不同。
將FIR濾波器核心(屬於FIR濾波器124)施用在位在於或接近圖像邊界的樣本可能要求圖像的延伸。此種延伸也稱作填充襯墊。欲填充襯墊之額外樣本數目(加在圖像邊界)係依濾波器支援決定(例如依據FIR濾波器所包含的分接頭數目決定)。
依據本發明之若干實施例，欲FIR濾波之圖像可使用鏡對稱性邊界狀況延伸。額外實施例可假設在邊界外側的全部樣本皆為零或等於在邊界的最接近樣本，圖像係週期性重複或為其它可能的延伸。
此種在圖像邊界填充襯墊也可應用於IIR濾波器122。因此在施用IIR濾波器122之前參考圖像132可在其邊界填充襯墊。
依據本發明之額外實施例，重建圖像(參考圖像132)可分裂成較小區，各區可分開升取樣(於升取樣器210使用IIR濾波器122與FIR濾波器124之組合升取樣)。一區例如可為圖像之一區塊或圖像之一截割片。一區之大小或形狀可為任意，一圖像之不同區可具有不同大小或形狀。各區可重疊鄰近區用於邊界樣本的處理(位在邊界或在一區邊界之樣本)。如前述，含圖像邊界之區可使用填充襯墊延伸超過邊界。此外，於行進間運動補償預測期間可進行該等區之升取樣，亦即當運動補償預測(例如預測器120或編碼器400之預測器410之運動補償區塊214)嘗試存取參考圖像132之一區時，參考圖像132之區可視需要而升取樣。如此，使用IIR濾波器122之IIR濾波及使用FIR濾波器124之IIR濾波皆係在於行進間(視需要)進行。
藉此方式，可達成針對IIR階段及FIR階段(濾波器)之逐區並列處理，以及參考圖像之不同區可並列升取樣，因此針對目前圖像不同區塊之預測可並列測定。
此外，藉此方式，也可採用IIR濾波器122及/或FIR濾波器124之逐區適應性。
第5圖顯示依據本發明之又一實施例之混成視訊編碼器500。混成視訊編碼器500採用適應性濾波，其中濾波器參數係基於針對該目前圖像之區塊的運動資訊而產生。混成視訊編碼器500與依據第4圖之混成視訊編碼器400之差異在於實際上混成視訊編碼器500之預測器520進一步係組配來基於參考圖像132之初步升取樣版本516而測定針對該目前圖像412之區塊之初步運動資訊526。參考圖像132之初步升取樣版本516於後文中也可稱作為初步升取樣參考圖像516。此外，升取樣器510係組配來基於針對該目前圖像412之區塊之初步運動資訊526而決定針對該目前圖像412區塊之濾波資訊310。升取樣器510進一步係組配來基於濾波資訊310而調適IIR濾波器122及/或FIR濾波器124。此外，資料串流插入器430係組配來將濾波資訊310插入資料串流112。換言之，針對目前圖像412之該區塊或目前圖像412之初步運動資訊526初步係使用該參考圖像132之初步升取樣版本516而於預測器520之運動資訊測定器522估算。參考圖像132之初步升取樣版本516係經由使用IIR濾波器122與FIR濾波器124之組合可藉升取樣器510產生。IIR濾波器122及FIR濾波器124之參數可固定。然後藉預測器520之運動資訊測定器522所測定的針對該目前圖像412之區塊之初步運動資訊526可用來微調(調適)升取樣濾波器(IIR濾波器122及/或FIR濾波器124)。
隨後，參考圖像132再度使用新的(已調適的)濾波器而在升取樣器510升取樣。如依據第3圖對混成視訊解碼器300所述，濾波器適應性之任一種可能性皆屬可能。如此表示IIR濾波器122可能為適應性或否及FIR濾波器124可能為適應性或否。因此濾波資訊310可包括IIR濾波資訊及/或FIR濾波資訊。
然後參考圖像132之(改良式)升取樣版本212用來在運動資訊測定器522中測定針對目前圖像412之該區塊之(改良式)運動資訊114。然後目前圖像412及該區塊之運動資訊114由預測器520之提供器524組合參考圖像132之升取樣版本212用來獲得針對目前圖像412之區塊之預測126。
換言之，目前圖像重新編碼來利用改良式升取樣參考圖像(藉升取樣器510使用適應性IIR濾波器122及/或適應性FIR濾波器124測定)。
藉升取樣器510測定之濾波資訊310連同殘差資訊116及運動資訊114藉資料串流插入器430而插入資料串流112。如前述，解碼器(例如依據第3圖之混成視訊解碼器300)可從資料串流112中抽取濾波資訊310來適應其IIR濾波器122及/或FIR濾波器124。
經由基於運動資訊114調適升取樣器510之濾波器，殘差資訊116可選擇為最小值，因此需要資料串流112中較少的位元。插入資料串流112做為側邊資訊之濾波資訊310特別包含比較藉應用適應性濾波器而在殘差資訊116所節省的位元更少位元。
雖然於前述實施例中，使用參考圖像132之(改良式)升取樣版本212，獲得插入資料串流112之運動資訊114，表示運動資訊係重新計算(原因在於在使用初步升取樣版本516之前已經計算)，依據額外實施例，運動資訊可能並未重新計算。此種情況下，運動資訊114可藉初步運動資訊526置換及插入資料串流112。因此再度並未進行運動資訊及測定，而減少運算之額外管理資料量。目前圖像412之該區塊之預測126然後可經由使用初步運動資訊526及參考圖像132之(改良式)升取樣版本212而藉提供器524測定。
依據本發明之額外實施例，所產生之濾波參數(濾波資訊310)可能未用來改良目前圖像412之該區塊之預測126。但針對目前圖像412之該區塊所測定的濾波資訊310然後可用來改良針對升取樣器510目前圖像412之隨後接續圖像所產生的升取樣參考圖像。此種情況下，目前圖像無需重新編碼，因此無需測定針對目前圖像412之該區塊之初步升取樣參考圖像也無需測定初步運動資訊。參考圖像132之升取樣版本212然後可使用已經基於先前編碼圖像區塊之運動資訊而測定的用來調適IIR濾波器122及/或FIR濾波器124之濾波資訊，於升取樣器510從參考圖像132測定。
第6圖顯示依據本發明之額外實施例之混成視訊編碼器600之方塊圖。混成視訊編碼器600具體實現混成視訊編碼器600之升取樣器610中另一項適應性濾波的可能。升取樣器610係組配來針對目前圖像412之該區塊測定濾波資訊310而與目前圖像412之該區塊之運動資訊114獨立無關。升取樣器610例如可依據參考圖像132及/或原先圖像而決定濾波資訊310。升取樣器610進一步係組配來基於濾波資訊310而調適IIR濾波器122及/或FIR濾波器124。升取樣器610進一步係組配來經由使用IIR濾波器122及FIR濾波器124之組合(其中二濾波器中之至少一者為適應性)可測定參考圖像132之升取樣版本212。由於升取樣器610之濾波器中之至少一者的適應性，參考圖像132之升取樣版本212比較依據第4圖之混成視訊編碼器400改良，其中針對每個參考圖像132，IIR濾波器122之係數及FIR濾波器124之係數可固定。然後經由使用目前圖像412之區塊及參考圖像132之升取樣版本212，預測器410測定針對目前圖像412之區塊之預測126及針對目前圖像412之區塊之運動資訊114。如於先前實施例，資料串流插入器430係組配用來將針對目前圖像412之濾波資訊310插入資料串流112。
換言之，於第6圖所示實施例中，升取樣器610之濾波器(IIR濾波器122及/或FIR濾波器124)(或升取樣器610之濾波器中之至少一者)為適應性，使得目前重建圖像(參考圖像132藉重建器440而重件)之升取樣改良。如此導致使用目前升取樣圖像做為參考針對隨後圖像之運動補償預測之改良。
依據若干實施例，濾波器可依據參考圖像132而調適。如此表示若重建圖像係用作為針對多個隨後接續圖像之參考圖像132(表示隨後接續圖像之運動資訊114全部皆參考該參考圖像132)，則該濾波器之濾波資訊310針對全部隨後接續圖像可相同。因此IIR濾波及最終FIR濾波(若未進行選擇性FIR濾波)參考參考圖像132，針對全部隨後接續圖像只在參考圖像132上執行一次。除了前述圖像適應性結構外，濾波器之適應性也可採用於表示圖像之區塊、截割片或群組等之一樣本集合。
如前述，用於解碼器，濾波資訊310可直接傳輸，或濾波係數可經預測及預測殘差可在資料串流112傳輸。另外，極零值及增益值可在濾波資訊310傳輸，此外，可能的濾波器集合可儲存在混成視訊編碼器(例如混成視訊編碼器500或600)及混成視訊解碼器(例如混成視訊解碼器300)，及來自該集合之所使用濾波器(屬於所使用之IIR濾波器122及/或FIR濾波器124)之指數可經預測或在資料串流112中發信號做為濾波資訊310。
如前文描述，依據若干實施例，濾波器之適應性對圖像之不同色彩平面可為不同。
依據若干實施例，IIR濾波器122可為前置濾波器及FIR濾波器124可為後濾波器，如同依據第2b圖對升取樣器210所述。因此參考圖像132可為使用IIR濾波器122進行IIR濾波而決定參考圖像132之IIR濾波版本220。然後FIR濾波器124施加至參考圖像132之該IIR濾波版本220來決定升取樣版本212。
依據若干實施例，混成視訊編碼器也可組配來進行於行進間FIR濾波而節省記憶體，如同前文對混成視訊解碼器所述。因此FIR濾波器124可逐區塊施加至參考圖像132或施加至參考圖像132之IIR濾波版本220(若IIR濾波器122應用做為前置濾波器)。後文中，假設FIR濾波器124係逐區塊應用至參考圖像132之IIR濾波版本220。
參考圖像132之IIR濾波版本220之一區塊(其上施加FIR濾波器124)之區塊大小可藉針對目前圖像412之該區塊之運動資訊114之搜尋去決定。然後使用FIR濾波器124進行FIR濾波結果導致參考圖像132之IIR濾波版本220之該區塊的升取樣版本。經由使用於行進間FIR濾波，只能產生及儲存升取樣版本212之升取樣樣本位置之一子集，其減少對依據本發明之一實施例混成視訊編碼器之升取樣器中對記憶體的需求。目前圖像之一區塊針對運動資訊114之搜尋區可藉運動資訊114之最大範圍測定。舉例言之，假設目前圖像之一區塊為具有座標A(0;0)、B(1;0)、C(0;1)及D(1;1)之2x2樣本，及運動資訊114或運動向量114具有於第一方向之最大值為+/-10及於第二方向之最大值為+/-10之搜尋區。如此表示樣本A於第一方向最大可移動+/-10樣本位置，及於第二方向最大可移動+/-10樣本位置。同樣也對應於目前圖像之其它樣本，例如樣本D於第一方向移位+/-10樣本位置及於第二方向移位+/-10樣本位置。因此，目前圖像412之區塊連同針對目前圖像412之該區塊的運動資訊114之搜尋區，一起決定逐區塊施加FIR濾波器124之參考圖像132之IIR濾波版本220之區塊大小。針對前述實施例參考圖像132之IIR濾波版本220之區塊可具有角隅座標F(-10;-10)、G(11;-10)、H(-10;11)及I(11;11)。參考圖像132之IIR濾波版本220之區塊因而比目前圖像412之區塊更大，但比完整升取樣版本212更小。與該目前圖像區塊相對應之參考圖像132之IIR濾波版本220之區塊可至少部分重疊與該目前圖像之又一區塊相對應的參考圖像132之IIR濾波版本220之又一區塊。
換言之，在針對目前圖像412之又一區塊提供升取樣版本212之又一區塊中，依據目前圖像之又一區塊之又一運動資訊，升取樣器可經組配來再度逐區塊施加FIR濾波器124在參考圖像132之IIR濾波版本220之又一區塊。參考圖像132之IIR濾波版本220之該又一區塊之區塊大小可藉針對該目前圖像之又一區塊之額外運動資訊之搜尋區決定。因此升取樣器210決定參考圖像132之IIR濾波版本220之該額外區塊之升取樣版本。如前述，參考圖像132之IIR濾波版本220之進一步區塊可至少部分重疊針對目前圖像之先前編碼區塊或先前編碼圖像所測定的參考圖像132之IIR濾波版本220之另一區塊。
後文中，用在依據本發明之實施例之混成視訊編碼器或混成視訊解碼器之升取樣器的具體實現將以進一步細節解說。在小數點之後具有固定位數之實際資料的整數精度表示型態於本章節稱作為固定點表示型態，可用在編碼器及解碼器用於快速硬體實現及/或快速軟體實現。當執行處理器/硬體不具有浮點單元時，固定點數目用來表示分數值，通常係以2為底或以10為底。大部分低成本嵌入式微處理器及微控制器不具有浮點單元。固定點實施例也更容易保障在編碼器及解碼器中例如於編碼器及解碼器平台之架構差之情況下具有匹配值。如此，於固定表示型態中IIR濾波器及FIR濾波器之實施例通常較佳用於標準化目的。
重建圖像132(或參考圖像132)可使用M1位元表示，通常表示自0至-1之無符號樣本值。升取樣處理程序s之輸出，表示升取樣版本212係使用M2位元表示。於已知整數網格樣本(於FIR濾波器124)間之樣本估算期間，輸出可超過輸入範圍。如此，需要一符號位元及一溢流位元來將此等情況含括於輸出信號(於升取樣版本212)。因此，於升取樣版本212之剩餘位元數目為
Q=M 2-M 1-2.　(2)
此等額外Q位元可用來提高(升取樣版本212之)輸出信號之精度。如此協助改良運動補償。
依據若干實施例，(參考圖像132之)重建圖像r之樣本在IIR濾波(使用IIR濾波器122)前左移Q位元。顯示於如下方程式：
r'[x,y]=r[x,y]<<Q.　(3)
其中[x,y]表示圖像座標，r表示重建圖像或參考圖像132及r’表示重建圖像或移位Q之參考圖像132。考慮具有一對軛合對稱極之IIR濾波器(IIR濾波器122)，一維移轉函數可定義為：
其中z1為於z變換域之單位圓周之極，及g為標準化因數。上示H(z)之因數化可實現為第一階因果濾波器及第一階反因果濾波器，而標準化g可在濾波後進行。此等濾波器可逐列施加於參考圖像132之移位樣本r’[x,y]用來獲得參考圖像132之IIR濾波版本220之逐列樣本c’[x,y]，及稍後逐行施用在c’[x,y]來獲得參考圖像132之IIR濾波版本220 c。於單位圓中之極z1位置(|Z 1|<1)允許表示型態為T1位元固定點數目，具有T1-1精度位元及1符號位元。逐列因果濾波及反因果濾波可執行為
c +[x,y]=r'[x,y]+rnd(z 1 c +[x-1,y]),(x=1,...,W-1),　(5)
c'[x,y]=rnd(z 1(c'[x+1,y]-c +[x,y])),(x=W-2,...0),　(6)
其中rnd(z1‧a)執行移位及四捨五入運算，可依據T1-1亦即z1之精度位元數目進行。可以類似方式進行逐行濾波，結果導致M3位元輸出c(參考圖像132之IIR濾波版本220)，小數點之後有Q精度位元。
如前述，可對各列並排執行逐列濾波(於第一方向)，及隨後可對各行並排執行逐行濾波(於第二方向)。
依據若干實施例，於FIR濾波器124之FIR濾波處理程序也可執行固定點。輸入FIR濾波器124之M3位元輸入c(參考圖像132之IIR濾波版本220)係經濾波來獲得M2位元升取樣參考圖像212(s)。可選擇FIR核心K，使得濾波係數幅度係小於一個單位，如此可以T2位元固定點數目表示，具有T2-1精度位元及1符號位元。FIR濾波階段(FIR濾波器124)以參考圖像132(c)之IIR濾波版本220執行迴旋卷積來獲得升取樣版本212(s)。於迴旋卷積中，移位及四捨五入運算可依據位元大小T2-1，亦即FIR濾波係數中精度位元數目(於FIR濾波器核心K)進行。於(FIR濾波器124之)FIR階段之加法處理中可能的溢流/欠流已經藉對溢流分配1位元以及對內插樣本之符號分配1位元(升取樣參考圖像212(s)之樣本)進行。
後文中，須顯示針對低複雜度16位元操作IIR濾波及FIR濾波之固定點具體實現之特定實例。後文中，M1=8、M2=M3=16，T1=T2=16，Q=6。極z1係選擇為有15精度位元之16位元固定點數目，z1=-11726。具有2精度位元之g=21固定點標準化因數係在FIR濾波器124中在FIR濾波後施加。
用在四分之一樣本內插之FIR核心K以4x4矩陣描述如下：
於FIR濾波器124中，濾波器核心K依據下式而施加至一維向量：
其中F、G、H、I為參考圖像132之IIR濾波版本220之樣本位置，a、b、c為位在G與H間之子樣本位置，及G’為位在G之FIR濾波樣本。
依據標準化因素g之精度位元數目，FIR濾波結果(值G’、a、b、c)係向下位移及四捨五入2位。
由濾波器核心K可知，FIR濾波器124為4分接頭FIR濾波器，其與典型用在媒體編解碼器的6分接頭FIR濾波器更不複雜。使用IIR濾波器122組合FIR濾波器124允許FIR濾波器124用於內插更容易具體實現，仍然提供在整體升取樣系統之頻率響應的更鮮明截止，此點為先前技術所已知。
第7圖顯示參考圖像132之IIR濾波版本220樣本之略圖，樣本位置以大寫字母表示，而子樣本位置以小寫字母表示。使用濾波器核心K，子樣本位置a計算為：
a=2889‧F+19079‧G+10520‧H+280‧I。　(9)
FIR核心K之表示型態也是固定點表示型態，表示實例中使用的濾波係數經位元移位，使用固定點算術來計算FIR濾波處理程序。若FIR核心K例如移位15位元，則數值6242將相對應於0.19049072。因此可施加其它FIR核心，其係與所示濾波器核心K成正比來接收參考圖像132之相同升取樣版本220。
依據額外實施例，依據本發明之一實施例在混成視訊解碼器或混成視訊編碼器中之升取樣器適合用於升取樣參考圖像產生平移及參數運動模型。於參數運動模型中之運動域可指升取樣參考圖像的任意位置。因此，參考位置無需位在均勻格網。針對此項要求，IIR濾波(使用IIR濾波器122)仍然可施加為前置濾波器而與所要求的位置獨立無關。FIR濾波器(FIR濾波器124)執行與整數格網樣本之迴旋卷積，現在須考慮就整數格網改變移位。
依據若干實施例，藉由在關注位置取樣，可從連續核心函數而產生FIR濾波124。如前文已述，組裝及迴旋卷積也可在於行進間進行。
本發明之實施例可以直捷方式擴充來使用多於一個參考圖像132進行運動補償預測。於多重參考圖像預測之情況下，預測器可植基於先前重建影像中之任一者。此種情況下，(參考圖像132之)重建圖像之升取樣來產生參考圖像之升取樣版本220可使用固定濾波器(固定IIR濾波器122及固定FIR濾波器124)進行，或可使用適應性濾波器(適應性IIR濾波器122及/或適應性FIR濾波器124)進行，取決於目前圖像或先前圖像。
此外，於多重假說預測，經由多個預測器之加權加法(例如藉運動資訊114之加權加法)(也稱作為假說)可從相同的或相異的升取樣參考圖像220獲得預測器。IIR濾波器122及/或FIR濾波器124之估算(參數之估算)可調整適應假說數目或可與假說數目獨立無關。根據若干實施例，P區塊之FIR核心(單一假說，稱作為只有一個參考圖像132)比較B區塊(二假說，指稱相同或相異參考圖像132)係以不同方式產生，來考慮在假說之加權加法中不明確的低通濾波。
依據本發明之額外實施例，用在本發明實施例之濾波器(IIR濾波器122及/或FIR濾波器124)之適應性可基於參考圖像指數。目前圖像區塊之運動資訊典型係指在目前圖像之前已經編碼或解碼的參考圖像。基於與該目前區塊之運動資訊相對應之參考指數，解碼器或編碼器可調整適應該濾波器。因此不同的參考指數係與濾波器之不同濾波調整適應相對應(例如通常為不同參數之不同濾波係數、移轉函數、極零值、增益值)。
此外，依據本發明之一實施例，編碼器或解碼器可經組配來針對一個參考圖像決定多個升取樣參考圖像，其中在多個升取樣參考圖像中，各個升取樣參考圖像係與針對該等濾波器之一不同濾波資訊相對應，且因而係與該等濾波器之不同適應性相對應。此等多重升取樣參考圖像可以固定濾波器或適應性濾波器各自產生。編碼器可傳訊為資料串流中之側邊資訊，升取樣參考圖像中之該者係用來編碼目前圖像之一區塊(指參考圖像)，因此該圖像必需由解碼器用來解碼目前圖像區塊。解碼器可基於資料串流中之側邊資訊而從多個升取樣參考圖像中選擇該升取樣參考圖像。根據額外實施例，解碼器可經組配來基於在解碼器衍生之資料，而從多個升取樣參考圖像中選定該升取樣參考圖像。
目前圖像之不同區塊可指不同參考圖像指數，因此可逐區塊進行採用於編碼或解碼該區塊之濾波器的調整適應。此外，目前圖像之不同區塊可指此一參考圖像之相同參考圖像但不同升取樣參考圖像，說明如前。
後文中，將敘述IIR濾波器122及FIR濾波器124之可能的具體實現變化例(例如用在混成視訊解碼器100之預測器120或用在混成視訊編碼器400之升取樣器210)。
發現到的是，升取樣之IIR濾波導入在參考圖像132之全像素位置之IIR濾波值比較內插前在參考圖像132之此等全像素位置之相關聯值的一偏差。換言之，IIR濾波不僅在全像素位置之數值間內插，同時也在全像素位置操作數值，可能導致殘餘資訊增加，因而導致壓縮效率減低。
此項問題可藉預測器120或升取樣器210解決，經由選擇IIR濾波器122之極值為...其中N1>N2>...>Nm及N1、N2、...、Nm為大於0之自然數，以及經由選擇FIR濾波器124之濾波參數，使得在參考圖像132之全像素位置之IIR濾波值比較其在內插前於參考圖像132之相關聯值的偏差，藉FIR濾波器124減少達至少50%或70%或90%或95%。
一種構想當IIR濾波器122之極值選用為單純二進制分 數值時，IIR濾波及FIR濾波組合之低複雜度可在預測器120或升取樣器210實現。藉由對IIR濾波器122之極使用此種簡單二進制分數值，IIR濾波器122可具體實現乘法樹((只)使用加法及移位運算)。
另一個構想，若選用FIR濾波器124之濾波參數(取決於IIR濾波器122之極值)使得該濾波參數比較藉IIR濾波器122而在參考圖像132之全像素位置所導入的IIR濾波值偏差，則可減少該偏差。
後文中將描述獲得此種低複雜度IIR及FIR濾波器組合之方法。此種方法可用來獲得乘法樹IIR及FIR濾波器。也可用來針對給定IIR濾波器122修改FIR濾波器124之分接頭數目而最佳化內插品質。
首先描述如何決定IIR濾波器122之極值。舉個實例，選擇簡單二進制表示型態之負分數做為極值例如p=-0.5。
p值為由此種設計程序所得IIR濾波器122之因果極。所考慮之因果IIR濾波器122可呈y[n]=x[n]+p．y[n-1]形式。可結合y[n]=x[n]+p．y[n+1]形式之反因果IIR使用。
使用呈...形式之極值(特例為-0.5，相對應於N1=1及N2至Nm等於0)，允許使用因果IIR濾波器122之乘法樹具體實現。
於p=-2-N之特例中，IIR濾波器122變成y[n]=x[n]-(y[n-1]>>N)。
使用-2-N之乘法容易使用低複雜度容易實現的位元移位來替代複雜的乘法具體實現。
於p=-0.5之特例中，IIR濾波器122變成y[n]=x[n]-(y[n-1]>>1)。
於選擇IIR濾波器122之(單一)極值後，可選擇FIR濾波器124之濾波參數，使得在參考圖像132之全像素位置由IIR濾波器122所導入IIR濾波值之偏差減小。此濾波參數可為FIR濾波器124之基本函數。
舉個實例，取連續基本函數之參數形式用於內插(使用FIR濾波器124)，例如f(x;α)，此處α為自由參數集合及x表示x座標。
依據若干實施例，FIR濾波器124之基本函數為B-樣條函數與B-樣條函數導數之組合。
B-樣條函數導數可藉微分B-樣條函數而導算出。第二B-樣條函數導數可藉微分B-樣條函數兩次而導算出。
於較佳實施例中，基本函數f(x;α)為B-樣條函數及其導數之線性組合，而α表示該組合之權值。
第8a圖於略圖顯示FIR濾波器124之兩個不同可能基本函數801、802。兩個不同可能基本函數801、802彼此只差異在於其加權因數α。第一基本函數801具有加權因數α1及第二基本函數具有加權因數α2。
在整數位置(全像素位置)之基本函數樣本係以自由參數表示，例如
F=[...,f(-2,α),f(-1,α),f(0,α),f(1,α),f(2,α),...].
第8b圖以略圖顯示第一基本函數801，在全像素位置之樣本加註記號。
決定基本函數之自由參數(或選用多個可能基本函數之一適當基本函數)，使得在所選用極p之整數位置樣本之z變換變成零，亦即決定參數α使得
…+f(-2,α)‧p -2+f(-1,α)‧p -1+f(0,α)+f(1,α)‧p 1+f(2,α)‧p 2+…=0.
至於額外實例，顯示對全像素位置之3分接頭FIR濾波器之最佳化。
注意樣本[f(-1,α),f(0,α),f(1,α)]=[b 1,b 0,b 1].
設為了獲得全像素位置期望的FIR濾波器具有下述形式：f[n]=[b 1,b 0,b 1]
結果導致3分接頭FIR濾波器之z變換移轉函數如下：
F(z)=b 1‧z -1+b 0+b 1‧z.
設相對應IIR濾波器標示為H(z)。
為了在預測器120及升取樣器210之輸出端再生全像素值，於IIR濾波及FIR濾波後期望下列狀況：
F(z)×H(z)=1.
或者換言之，期望在全像素位置之參考圖像132之值不因IIR及FIR濾波而改變。
其暗示：
為了使得IIR濾波器之極為p=-0.5，F(p)須等於零，亦即
F(p)=b 1‧p -1+b 0+b 1‧p 1=0.
因此判定α(及因而基本函數)使得
f(-1,α)‧p -1+f(0,α)+f(1,α)‧p 1=0.
因此，基本函數可經選擇使得其將在參考圖像之全像素位置之IIR濾波值的偏差減至零。發現藉由使用B-樣條函數及其導數之線性組合做為FIR濾波器124之基本函數，可達成此項偏差減至零。
最佳化之一般通式如下：
考慮所選用之極導致下述形式之IIR濾波器：
然後判定α使得：
f(0,α)=a 0,f(-1,α)=a 1,f(1,α)=a 1,f(-2,α)=a 2,f(2,α)=a 2,…
當α固定時，藉由在期望的分數位置(取決於運動資訊114及殘差資訊116之解析度)藉由取樣f(x)(所找到的基本函數)產生FIR係數。
第8d圖顯示半像素內插濾波器之f(x)取樣。結果所得半像素之FIR係數為：[f(-1.5),f(-0.5),f(0.5),f(1.5)]。其可經量化且以有限位元寬度儲存。藉由只使用移位及加法，FIR濾波也可具體實現乘法樹。
典型地，在極值量化之精度損耗可能造成內插的假影。除了乘法樹具體實現之外，選擇簡單二進制分數做為IIR濾波器122之極具有於有限精度之無損表示型態之額外優點。
於若干情況下，可能期望只施用至濾波器於混成視訊解碼器之預測器或於混成視訊編碼器之升取樣器。
第9圖顯示根據本發明之一實施例之混成視訊解碼器900。混成視訊解碼器900與混成視訊解碼器100之差異在於混成視訊解碼器900之預測器920。
預測器920係組配來依據針對第一目前圖像區塊之運動資訊114，只使用(而未使用IIR濾波器)由B-樣條函數與至少一個B-樣條函數導數之組合所形成之FIR濾波器924，來藉由內插目前圖像132而提供第一目前圖像區塊之預測126。
須指出針對預測器920之最佳化係提供預測126，使得殘差資訊116儘可能地小。因此人類眼睛如何覺察預測126之品質並不相關。此種最佳化目的並未重合單一圖像之最佳化，就人類眼睛良好觀看性而言為最佳化。
發現使用形成FIR濾波器924之B-樣條函數與至少一個B-樣條函數導數之組合，比較習知用於FIR濾波器924之基本函數可達成更佳壓縮效率。或者換言之，使用B-樣條函數與至少一個B-樣條函數導數之組合結果導致目前圖像之較佳預測，因而導致必需傳輸之較小殘差資訊116。
後文中，將簡短解釋FIR濾波器924之設計程序。
取欲用於內插之FIR濾波器924之基本函數之參數形式，例如f(x;α)，此處α為自由參數集合及x表示x座標。於較佳實施例中，f(x;α)為B-樣條函數及其導數之線性組合及α表示組合之權值。
參數α之判定使得基本函數通過整數位置之零(於全像素位置)，但原點除外(其係與目前樣本相對應)，取數值1，亦即：
f(0,α)=1及f(N,α)=0，針對整數N不等於0。
第10圖為一實例顯示滿足前述標準之此種基本函數呈B-樣條函數及其導數之線性組合。
當α固定時，經由在期望分數位置取樣f(x)而產生FIR係數。
舉個實例，使用第10圖之基本函數針對4分接頭情況以八分之一分數準確度所產生之FIR係數為：
舉另一個實例，使用第10圖之基本函數針對6分接頭情況以八分之一分數準確度所產生之FIR係數為：
只使用FIR濾波器之此一原理也可應用於混成視訊編碼器。或者換言之，額外實施例形成一種混成視訊編碼器包含升取樣器，該升取樣器係經組配來使用(只)由B-樣條函數與至少一個B-樣條函數導數之組合所形成之FIR濾波器，升取樣在子樣本解析度之參考圖像而獲得參考圖像之升取樣版本。
當使用有限位元寬度儲存FIR係數時，濾波器之某些分接頭(典型為外側分接頭)可獲得量化為0。此項事實可使用迭代重複設計來探勘，該迭代重複設計中前述方法可針對基本f(x;α)以較高的支援及較大自由度重複直到達到或超過於有限位元寬度所要求之分接頭數目為止。若針對某些分數位置，超過所要求之分接頭數目，可增加外側分接頭值至內側分接頭來減少濾波長度。於最終階段，需要注意四捨五入效益來維持濾波增益等於不含係數量化之情況。
於較佳實施例中，外側分接頭加法或四捨五入可用來產生係數，該等係數於二進制表示型態為較簡單，因而允許更容易使用移位及加法而具體實現。
第11圖以方塊圖顯示IIR濾波器122可能之具體實現。如前文說明，IIR濾波器122可包含因果IIR濾波器1110及反因果IIR濾波器1112。由第11圖可知，因果IIR濾波器1110及因果IIR濾波器1112可同時施加至參考圖像(或重建圖像)132來達成因果濾波結果及反因果濾波結果。因果濾波結果及反因果濾波結果可與未濾波之參考圖像132組合來導算出參考圖像132之IIR濾波版本220(也標示為IIR濾波版本220)。由第11圖可知，因果濾波結果及反因果濾波結果可加總，參考圖像132可從因果濾波結果及反因果濾波結果之加法結果扣除。
依據額外實施例，因果IIR濾波器1110及因果IIR濾波器1112可於第一步驟於參考圖像132之第一方向(例如水平方向)及於第二步驟於第二方向(例如垂直方向)施加至參考圖像132。或者換言之，因果IIR濾波器1110及因果IIR濾波器1112可為一維濾波器。
此外，因果IIR濾波器與反因果IIR濾波器彼此獨立無關，亦即其皆係於參考圖像132上發揮作用。
比較下述系統，其中重建圖像首先經因果濾波及隨後經反因果濾波，其中因因果濾波階段的最終位置所導致的誤差藉反因果濾波階段期間的誤差而進一步放大。因有限精度所導致的此項問題有限，原因在於第11圖所示之因果IIR濾波器1110及因果IIR濾波器1112並非以循序方式操作，反而係以並列方式操作。此外，因果IIR濾波器1112無需等待1110完成，因此比較其中進行循序因果濾波及IIR濾波之系統，整個IIR濾波之潛伏期延遲縮短。
第122圖所示IIR濾波之具體實現具有當使用有限算術精度具體實現時限制運算誤差的優點。
IIR濾波器122之一維移轉函數可選用為：
其中g表示標準化因數，p表示參數及z表示z移轉變數。
依據其它實施例，FIR濾波器124之FIR濾波器核心K可選擇為與相等或成比例。
此處結合混成視訊解碼器所述之功能及構面也可適用於混成視訊編碼器及反之亦然。
雖然於裝置目錄中已經描述若干構面，但顯然此等構面也表示相對應方法之描述，此處一區塊或一裝置係與一方法步驟或一方法步驟之特徵相對應。同理，於方法步驟之脈絡中描述的構面也表示相對應區塊或相對應裝置之項目或特徵之描述。部分或全部方法步驟可藉(或使用)硬體裝置執行，例如微處理器、可規劃電腦或電子電路。於若干實施例中，最重要方法步驟中之某一者或多者可藉此等裝置執行。
依據某些具體實現要求，本發明之實施例可於硬體或於軟體具體實現。具體實現可使用其上儲存有可電子式讀取控制信號之數位儲存媒體例如軟碟、DVD、藍光、CD、ROM、PROM、EPROM、EEPROM或快閃記憶體與可規劃電腦系統協力合作(或可協力合作)因而進行個別方法。因此，數位儲存媒體可為電腦可讀取。
依據本發明之若干實施例包含具有可電子式讀取控制信號之資料載體，其可與可規劃電腦系統協力合作因而執行此處所述方法中之一者。
一般而言，本發明之實施例可以程式碼實施為電腦程式產品，當該電腦程式產品係在電腦上跑時，該程式碼可操作用來執行該等方法中之一者。程式碼例如可儲存在機器可讀取載體上。
其它實施例包含執行儲存在機器可讀取載體上之用來執行此處所述方法中之一者之電腦程式。
換言之，本發明方法之實施例因而為當電腦程式在電腦上跑時，具有程式碼用來執行此處所述方法中之一者之電腦程式。
因此，本發明方法之又一實施例為包含其上紀錄用以執行此處所述方法中之一者之電腦程式的資料載體(或數位儲存媒體，或電腦可讀取媒體)。
本發明方法之又一實施例因而為表示用以執行此處所述方法中之一者之電腦程式之資料串流或信號序列。該資料串流或信號序列例如可經組配來透過資料通訊連結例如透過網際網路傳輸。
又一實施例包含組配來或調整適應執行此處所述方法中之一者之處理裝置，例如電腦或可規劃邏輯裝置。
又一實施例包含其上安裝用以執行此處所述方法中之一者之電腦程式之電腦。
若干實施例中，可規劃邏輯裝置(例如場可規劃閘陣列)可用來執行此處所述方法之部分或全部功能。於若干實施例中，場可規劃閘陣列可與微處理器協力合作來執行此處所述方法中之一者。大致上，該等方法較佳係藉任一種硬體裝置執行。
前述實施例僅供舉例說明本發明之原理。須瞭解此處所示配置及細節之修改及變化為熟諳技藝人士顯然易知。因此意圖只受隨附之申請專利範圍之範圍所限而非受藉由舉例說明及解釋此處實施例而呈現之特定細節所限。
100、300、900．．．混成視訊解碼器
110．．．抽取器
112‧‧‧資料串流
114‧‧‧運動資訊
116‧‧‧殘差資訊
120、410、520、920‧‧‧預測器
122‧‧‧IIR濾波器
124、924‧‧‧FIR濾波器
126‧‧‧預測
130、440‧‧‧重建器
132‧‧‧參考圖像或重建圖像
134‧‧‧濾波部分、回路內處理區塊
210、510、610‧‧‧升取樣器
212‧‧‧升取樣參考圖像
214‧‧‧運動補償區塊
216‧‧‧預測及殘差資訊組合器
218‧‧‧高位元解析度重建圖像
220‧‧‧IIR濾波版本
310‧‧‧濾波資訊
400、500、600‧‧‧混成視訊編碼器
412‧‧‧目前圖像
420‧‧‧殘差資訊測定器
430‧‧‧資料串流插入器
432‧‧‧介面
516‧‧‧初步升取樣版本
522‧‧‧運動資訊測定器
524‧‧‧提供器
526‧‧‧初步運動資訊
1110‧‧‧因果IIR濾波器
1112‧‧‧反因果IIR濾波器
第1圖顯示依據本發明之一實施例一種混成視訊解碼器之方塊圖；
第2a圖顯示依據本發明之一實施例一種混成視訊解碼器之方塊圖；
第2b圖顯示可用在得自第2a圖之混成視訊解碼器之升取樣器之方塊圖；
第3圖顯示依據本發明之又一實施例一種混成視訊解碼器之方塊圖；
第4圖顯示依據本發明之又一實施例一種混成視訊編碼器之方塊圖；
第5圖顯示依據本發明之又一實施例一種混成視訊編碼器之方塊圖；
第6圖顯示依據本發明之又一實施例一種混成視訊編碼器之方塊圖；
第7圖顯示針對一參考圖像之一區塊之實例，樣本位置係以大寫字母指示，而子樣本位置係以小寫字母指示；
第8a至8c圖顯示針對FIR濾波器選擇一基函數之略圖；
第9圖顯示依據本發明之又一實施例一種混成視訊解碼器之方塊圖；
第10圖顯示採用在第9圖之混成視訊解碼器之FIR濾波器可能的基函數之略圖；及
第11圖顯示可用在本發明之實施例之IIR濾波器可能的具體實現之方塊圖。
100．．．混成視訊解碼器
110．．．抽取器
112．．．資料串流
114．．．運動資訊
116．．．殘差資訊
120．．．預測器
122．．．IIR濾波器
124．．．FIR濾波器
126．．．預測
130．．．重建器
132．．．參考圖像或重建圖像
134．．．濾波部分、回路內處理區塊

Claims (39)

  1. 一種混成視訊解碼器，其係包含：一抽取器，其係經組配來針對一目前圖像之一第一區塊，從一資料串流抽取運動資訊及殘差資訊；一預測器，其係經組配來依據針對該目前圖像之該第一區塊之該運動資訊，而運用一IIR濾波器與FIR濾波器之組合，藉內插一參考圖像來提供針對該目前圖像之該第一區塊之一預測；及一重建器，其係經組配來針對該目前圖像之該第一區塊，利用該預測及該殘差資訊而重建在該第一區塊之目前圖像，其中該預測器係經組配來內插該參考圖像，使得該參考圖像係以該IIR濾波器濾波而獲得該參考圖像之一IIR濾波版本，且該FIR濾波器係施加至該參考圖像之該IIR濾波版本而獲得針對該目前圖像之該第一區塊之預測。
  2. 如申請專利範圍第1項之混成視訊解碼器，其中該預測器係經組配來依據針對該目前圖像之該第一區塊的運動資訊來選擇性地施加該FIR濾波器至該參考圖像之該IIR濾波版本，以內插該參考圖像之該IIR濾波版本在升取樣樣本位置之一子集，該子集係由針對該目前圖像之該第一區塊的運動資訊決定。
  3. 如申請專利範圍第2項之混成視訊解碼器，其中該預測器係經組配來在針對該目前圖像之另一區塊提供一預 測時，依據針對該目前圖像之另一區塊的一進一步運動資訊而再度選擇性地施加該FIR濾波器至該參考圖像之該IIR濾波版本、依據該進一步運動資訊而內插該參考圖像之該IIR濾波版本在藉該進一步運動資訊所決定之升取樣樣本位置之一另一子集，該另一子集係至少部分重疊由針對該目前圖像之該第一區塊的運動資訊所決定的該等升取樣樣本位置之該子集。
  4. 如申請專利範圍第1項之混成視訊解碼器，其中該FIR濾波器係由一B-樣條函數與至少一B-樣條函數導數之組合所形成。
  5. 如申請專利範圍第1項之混成視訊解碼器，其中該預測器係經組配來使得該IIR濾波器包含沿一第一方向之第一一維IIR濾波器與沿一第二方向之第二一維IIR濾波器之級聯。
  6. 如申請專利範圍第5項之混成視訊解碼器，其中該預測器係經組配來使得該第一一維IIR濾波器係等於該第二一維IIR濾波器。
  7. 一種混成視訊解碼器，其係包含：一抽取器，其係經組配來針對一目前圖像之一第一區塊，從一資料串流抽取運動資訊及殘差資訊；一預測器，其係經組配來依據針對該目前圖像之該第一區塊之該運動資訊，而運用一IIR濾波器與FIR濾波器之組合，藉內插一參考圖像來提供針對該目前圖像之該第一區塊之一預測， 其中該預測器包含一升取樣器，其用以使用該IIR濾波器及該FIR濾波器之組合來執行該參考圖像之升取樣，以決定一升取樣參考圖像，其中該預測器進一步包含一運動補償區塊，其用以施加該運動資訊至該升取樣參考圖像，以決定對於該目前圖像之該第一區塊之預測；以及一重建器，其係經組配來針對該目前圖像之該第一區塊，利用該預測及該殘差資訊而重建在該第一區塊之目前圖像。
  8. 如申請專利範圍第7項之混成視訊解碼器，其中該抽取器係經組配來從該資料串流抽取針對該目前圖像之該第一區塊之IIR濾波器資訊，及其中該預測器係經組配來使用該IIR濾波器資訊而調適該IIR濾波器。
  9. 如申請專利範圍第7項之混成視訊解碼器，其中該預測器包含一升取樣器，其用以使用該IIR濾波器及該FIR濾波器之組合來執行該參考圖像之升取樣，以決定一升取樣參考圖像，以及其中該預測器進一步包含一運動補償區塊，其用以施加該運動資訊至該升取樣參考圖像，以決定對於該目前圖像之該第一區塊之預測。
  10. 如申請專利範圍第8項之混成視訊解碼器，其中該IIR資訊指示該IIR濾波器之一移轉函數之一極零值，及其中該預測器係經組配來藉由將該極零值插入該IIR濾波器之參數化而調適該IIR濾波器。
  11. 如申請專利範圍第8項之混成視訊解碼器，其中該預測器包含一記憶體，具有針對該IIR濾波器之至少二個不同濾波器參數儲存在該記憶體；及其中該預測器係經組配來依據該IIR濾波器資訊而從儲存在該記憶體的該至少二個不同濾波器參數中選出一者來基於所選取之該濾波器參數而調適該IIR濾波器。
  12. 一種混成視訊解碼器，其係包含：一抽取器，其係經組配來針對一目前圖像之一第一區塊，從一資料串流抽取運動資訊及殘差資訊；一預測器，其係經組配來依據針對該目前圖像之該第一區塊之該運動資訊，而運用一IIR濾波器與FIR濾波器之組合，藉內插一參考圖像來提供針對該目前圖像之該第一區塊之一預測；以及一重建器，其係經組配來針對該目前圖像之該第一區塊，利用該預測及該殘差資訊而重建在該第一區塊之目前圖像，其中該預測器係經組配來使得該IIR濾波器包含沿一第一方向之第一一維IIR濾波器與沿一第二方向之第二一維IIR濾波器之級聯，其中該預測器係經組配來使得該第一一維IIR濾波器及/或該第二一維IIR濾波器之一維移轉函數係基於一第一階因果IIR濾波器及基於一第一階反因果IIR濾波器。
  13. 如申請專利範圍第12項之混成視訊解碼器，其中該一維移轉函數係定義為 其中g表示標準化因數，z1表示一參數及z表示z移轉變數。
  14. 如申請專利範圍第12項之混成視訊解碼器，其中該一維移轉函數係定義為 其中g表示標準化因數，p表示一參數及z表示z移轉變數。
  15. 一種混成視訊解碼器，其係包含：一抽取器，其係經組配來針對一目前圖像之一第一區塊，從一資料串流抽取運動資訊及殘差資訊；一預測器，其係經組配來依據針對該目前圖像之該第一區塊之該運動資訊，而運用一IIR濾波器與FIR濾波器之組合，藉內插一參考圖像來提供針對該目前圖像之該第一區塊之一預測；以及一重建器，其係經組配來針對該目前圖像之該第一區塊，利用該預測及該殘差資訊而重建在該第一區塊之目前圖像，其中該IIR濾波器包含一因果IIR濾波器及一反因果IIR濾波器，及 其中該預測器係經組配來同時施加該因果IIR濾波器及該反因果IIR濾波器至該參考圖像。
  16. 一種混成視訊解碼器，其係包含：一抽取器，其係經組配來針對一目前圖像之一第一區塊，從一資料串流抽取運動資訊及殘差資訊；一預測器，其係經組配來依據針對該目前圖像之該第一區塊之該運動資訊，而運用一IIR濾波器與FIR濾波器之組合，藉內插一參考圖像來提供針對該目前圖像之該第一區塊之一預測；以及一重建器，其係經組配來針對該目前圖像之該第一區塊，利用該預測及該殘差資訊而重建在該第一區塊之目前圖像，其中該預測器係經組配來使得該FIR濾波器為4抽頭FIR濾波器。
  17. 一種混成視訊解碼器，其係包含：一抽取器，其係經組配來針對一目前圖像之一第一區塊，從一資料串流抽取運動資訊及殘差資訊；一預測器，其係經組配來依據針對該目前圖像之該第一區塊之該運動資訊，而運用一IIR濾波器與FIR濾波器之組合，藉內插一參考圖像來提供針對該目前圖像之該第一區塊之一預測；以及一重建器，其係經組配來針對該目前圖像之該第一區塊，利用該預測及該殘差資訊而重建在該第一區塊之目前圖像， 其中該FIR濾波器係由與或成正比之FIR濾波器核心 K 決定，其中該FIR濾波器包含依據下式而施加該FIR濾波器核心 K 至一一維向量 其中F G H I為該參考圖像之IIR濾波版本之樣本位置，a b c為位在G與H間之子樣本位置，及G’為在G之FIR濾波樣本。
  18. 一種混成視訊編碼器，其係包含：一升取樣器，其係經組配來使用IIR濾波器與FIR濾波器之組合以在子樣本解析度上升取樣一參考圖像而獲得該參考圖像之一升取樣版本；一預測器，其係經組配來運用該參考圖像之升取樣版本，針對一目前圖像之第一區塊，決定與針對該目前圖像之該第一區塊之一運動資訊相對應的一運動補償預測；一殘差資訊測定器，其係經組配來運用針對該目前圖像之該第一區塊之該運動補償預測及該目前圖像之區塊，而針對該目前圖像之該第一區塊測定一殘差資訊；及 一資料串流插入器，其係經組配來將針對該目前圖像之該第一區塊之該運動資訊及該殘差資訊插入一資料串流。
  19. 如申請專利範圍第18項之混成視訊編碼器，其係進一步包含一重建器來獲得該參考圖像作為一先前編碼圖像之重建版本。
  20. 如申請專利範圍第18項之混成視訊編碼器，其中該預測器係經組配來基於該參考圖像之一初步升取樣版本而決定針對該目前圖像之該第一區塊之一初步運動資訊；其中該升取樣器係經組配來基於針對該目前圖像之該第一區塊之該初步運動資訊而決定該目前圖像之該第一區塊之IIR濾波器資訊，及基於該IIR濾波器資訊而調適該IIR濾波器；及其中該資料串流插入器係進一步組配來將該IIR濾波器資訊插入該資料串流。
  21. 如申請專利範圍第18項之混成視訊編碼器，其中該升取樣器係經組配來使得該參考圖像係以該IIR濾波器進行IIR濾波而決定該參考圖像之IIR濾波版本，及該FIR濾波器係逐區塊施加至該參考圖像之該IIR濾波版本之第一區塊，該參考圖像之該IIR濾波版本之該第一區塊之一區塊大小係由針對該目前圖像之該第一區塊之該運動資訊之一搜尋區決定，來獲得該參考圖像之該IIR濾波版本之該第一區塊之升取樣版本； 其中該升取樣器係經組配來在針對該目前圖像之另一區塊提供一預測時，依據針對該目前圖像之該另一區塊的一進一步運動資訊而再度在該參考圖像之該IIR濾波版本之一另一區塊逐塊地使用該FIR濾波器、依據該進一步運動資訊，該另一區塊之一區塊大小由該進一步運動資訊之一搜尋區所決定，來獲得該參考圖像之IIR濾波版本之該另一區塊的升取樣版本；及其中該參考圖像之該IIR濾波版本之該另一區塊係至少部分地重疊該參考圖像之該IIR濾波版本之該第一區塊。
  22. 如申請專利範圍第18項之混成視訊編碼器，其中該FIR濾波器係由一B-樣條函數與至少一B-樣條函數導數之組合所形成。
  23. 一種用以解碼視訊之方法，其係包含：針對一目前圖像之一區塊，從一資料串流抽取運動資訊及殘差資訊；依據該運動資訊，而運用一IIR濾波器與FIR濾波器之組合，藉內插一參考圖像來提供針對該目前圖像之該區塊之一預測，使用該IIR濾波器及該FIR濾波器之組合藉由升取樣該參考圖像以決定一升取樣參考圖像，及藉由施加該運動資訊至該升取樣參考圖像來執行以決定針對該目前圖像之該第一區塊之預測；及針對該區塊利用對於該區塊之該預測及該殘差資訊而在該區塊重建該目前圖像。
  24. 如申請專利範圍第23項之解碼視訊之方法，其中依據該運動資訊，而運用IIR濾波器與FIR濾波器之組合，藉內插參考圖像來提供針對該目前圖像之該區塊之預測之步驟係使用該IIR濾波器及FIR濾波器之組合藉升取樣該參考圖像來執行以決定一升取樣參考圖像，及藉由施加該運動資訊至該升取樣參考圖像來執行以決定針對該目前圖像之該第一區塊之預測。
  25. 如申請專利範圍第23項之解碼視訊之方法，其中該FIR濾波器係由一B-樣條函數與至少一B-樣條函數導數之組合所形成。
  26. 一種用以編碼視訊之方法，其係包含：利用IIR濾波器與FIR濾波器之一組合，以子像素解析度升取樣一參考圖像而獲得該參考圖像之一升取樣版本；運用該參考圖像之該升取樣版本，針對目前圖像之一區塊，決定與針對該目前圖像之該區塊之一運動資訊相對應的運動補償預測；運用針對該目前圖像之該區塊之該運動補償預測及該目前圖像之該區塊，而針對該目前圖像之該區塊決定一殘差資訊；及將針對該目前圖像之該區塊之該運動資訊及該殘差資訊插入一資料串流。
  27. 如申請專利範圍第26項之編碼視訊之方法，其中該FIR濾波器係由一B-樣條函數與至少一B-樣 條函數導數之組合所形成以獲得該參考圖像之一升取樣版本。
  28. 一種混成視訊解碼器，其係包含：一抽取器，其係經組配來針對一目前圖像之一第一區塊，從一資料串流抽取運動資訊及殘差資訊；一預測器，其係經組配來依據針對該目前圖像之該第一區塊之該運動資訊，而運用一IIR濾波器與FIR濾波器之組合，藉內插一參考圖像來提供針對該目前圖像之該第一區塊之一預測；其中該IIR濾波器之一極值p係選定為 其中N1>N2>...>Nm；其中N1,N2,...,Nm為大於0之自然數；其中該FIR濾波器之一濾波器參數係經選擇使得在該參考圖像之全像素位置的IIR濾波值比較在內插前其在該參考圖像之相關聯值之偏差，係藉該FIR濾波器而縮小至少50%；及一重建器，其係經組配來針對該目前圖像之該第一區塊，利用該預測及該殘差資訊而在該第一區塊重建該目前圖像。
  29. 如申請專利範圍第28項之混成視訊解碼器，其中該IIR濾波器之極值p係選定為p=-2-N 其中N為大於0之自然數。
  30. 如申請專利範圍第28項之混成視訊解碼器，其中該FIR濾波器之濾波器參數為該FIR濾波器之基函數，其中該基函數係經選擇使得該基函數將在該參考圖像之全像素位置的該IIR濾波值之偏差減至零。
  31. 如申請專利範圍第28項之混成視訊解碼器，其中該FIR濾波器之濾波器參數係藉取樣一基函數獲得，其中該基函數經選擇使得利用在該基函數之全像素位置之樣本的該IIR濾波值之FIR濾波將在該參考圖像之全像素位置的所得值之偏差減至零或接近零。
  32. 如申請專利範圍第28項之混成視訊解碼器，其中該FIR濾波器之基函數為一B-樣條函數與一B-樣條函數導數之組合。
  33. 如申請專利範圍第28項之混成視訊解碼器，其中該IIR濾波器之極值為-0.5。
  34. 如申請專利範圍第28項之混成視訊解碼器，其中該IIR濾波器係只使用移位運算及加法運算之乘法樹實現。
  35. 一種混成視訊編碼器，其係包含：一升取樣器，其係經組配來使用IIR濾波器與FIR濾波器之組合而以子樣本之解析度升取樣一參考圖像而獲得該參考圖像之一升取樣版本；其中該IIR濾波器之一極值p係選定為 其中N1>N2>...>Nm； 其中N1,N2,...,Nm為大於0之自然數；其中該FIR濾波器之一濾波器參數係經選擇使得在該參考圖像之全像素位置的IIR濾波值比較在內插前其在該參考圖像之相關聯值之偏差，係藉該FIR濾波器而縮小至少50%；及一預測器，其係經組配來使用該參考圖像之升取樣版本，針對一目前圖像之一第一區塊，決定與針對該目前圖像之該第一區塊之一運動資訊相對應的一運動補償預測；一殘差資訊測定器，其係經組配來針對該目前圖像之該第一區塊及該目前圖像之區塊，使用該運動補償預測而決定針對該目前圖像之該第一區塊之一殘差資訊；及一資料串流插入器，其係經組配來將針對該目前圖像之該第一區塊之該運動資訊及該殘差資訊插入一資料串流。
  36. 一種用以解碼一視訊之方法，其係包含：針對一目前圖像之一區塊，從一資料串流抽取運動資訊及殘差資訊；依據該運動資訊而運用一IIR濾波器與FIR濾波器之組合，藉內插一參考圖像來提供針對該目前圖像之該區塊之一預測；其中該IIR濾波器之一極值p係選定為 其中N1>N2>...>Nm；其中N1,N2,...,Nm為大於0之自然數；其中該FIR濾波器之一濾波器參數係經選擇使得在該參考圖像之全像素位置的IIR濾波值比較在內插前其在該參考圖像之相關聯值之偏差，係藉該FIR濾波器而縮小至少50%；及利用該區塊之預測及該區塊之殘差資訊而在該區塊重建該目前圖像。
  37. 一種用以編碼一視訊之方法，其係包含：使用IIR濾波器與FIR濾波器之組合而以子像素之解析度升取樣一參考圖像而獲得該參考圖像之一升取樣版本；其中該IIR濾波器之一極值p係選定為 其中N1>N2>...>Nm；其中N1,N2,...,Nm為大於0之自然數；其中該FIR濾波器之一濾波器參數係經選擇使得在該參考圖像之全像素位置的IIR濾波值比較在內插前其在該參考圖像之相關聯值之偏差，係藉該FIR濾波器而縮小至少50%；使用該參考圖像之升取樣版本，針對該目前圖像之一區塊，決定與針對該目前圖像之該區塊之一運動資訊相對應的一運動補償預測；使用針對該目前圖像之區塊及該目前圖像之區塊 之該運動補償預測而針對該目前圖像之區塊決定一殘差資訊；及將針對該目前圖像之區塊之該運動資訊及該殘差資訊插入一資料串流。
  38. 一種用以解碼一視訊之方法，其係包含：針對一目前圖像之一區塊，從一資料串流抽取運動資訊及殘差資訊；依據該運動資訊，而運用一IIR濾波器與FIR濾波器之組合，藉內插一參考圖像來提供針對該目前圖像之該區塊之一預測；及針對該區塊利用對於該區塊之該預測及該殘差資訊而在該區塊重建該目前圖像，其中該提供針對該目前圖像之該區塊之該預測的步驟包含內插該參考圖像，使得該參考圖像係以該IIR濾波器濾波而獲得該參考圖像之一IIR濾波版本，且施加該FIR濾波器至該參考圖像之該IIR濾波版本而獲得針對該目前圖像之該區塊之預測。
  39. 一種電腦可讀取數位儲存媒體，其上儲存有具有一程式碼之一電腦程式，用以當在一電腦上運行時，執行如申請專利範圍第23、26、36、37、或38項之一方法。
TW100112639A 2010-04-13 2011-04-12 混成視訊解碼器、混成視訊編碼器及資料串流 TWI575932B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP10159773 2010-04-13
EP2010054825 2010-04-13
US201161432917P 2011-01-14 2011-01-14

Publications (2)

Publication Number Publication Date
TW201204046A TW201204046A (en) 2012-01-16
TWI575932B true TWI575932B (zh) 2017-03-21

Family

ID=43920953

Family Applications (1)

Application Number Title Priority Date Filing Date
TW100112639A TWI575932B (zh) 2010-04-13 2011-04-12 混成視訊解碼器、混成視訊編碼器及資料串流

Country Status (4)

Country Link
US (1) US9420305B2 (zh)
EP (1) EP2559254B1 (zh)
TW (1) TWI575932B (zh)
WO (1) WO2011128272A2 (zh)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011142644A2 (ko) * 2010-05-14 2011-11-17 삼성전자 주식회사 확장 블록 필터링을 이용한 비디오 부호화, 복호화 방법 및 장치
US9066108B2 (en) 2012-04-20 2015-06-23 Technische Universitat Berlin System, components and method for parametric motion vector prediction for hybrid video coding
CN104584553A (zh) * 2012-09-28 2015-04-29 英特尔公司 层间残差预测
JP2014082541A (ja) * 2012-10-12 2014-05-08 National Institute Of Information & Communication Technology 互いに類似した情報を含む複数画像のデータサイズを低減する方法、プログラムおよび装置
WO2014096236A2 (en) 2012-12-19 2014-06-26 Dolby International Ab Signal adaptive fir/iir predictors for minimizing entropy
KR102274321B1 (ko) 2014-01-09 2021-07-07 삼성전자주식회사 스케일러블 비디오 부호화/복호화 방법 및 장치
EP3105927B1 (en) * 2014-02-13 2021-04-14 Intel Corporation Methods and apparatus to perform fractional-pixel interpolation filtering for media coding
US10432928B2 (en) 2014-03-21 2019-10-01 Qualcomm Incorporated Using a current picture as a reference for video coding
US9883184B2 (en) 2014-10-07 2018-01-30 Qualcomm Incorporated QP derivation and offset for adaptive color transform in video coding
US10349064B2 (en) 2015-03-10 2019-07-09 Apple Inc. Adaptive chroma downsampling and color space conversion techniques
WO2018147329A1 (ja) * 2017-02-10 2018-08-16 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 自由視点映像生成方法及び自由視点映像生成システム
EP3741121B1 (en) * 2018-02-14 2024-09-25 Huawei Technologies Co., Ltd. Adaptive interpolation filter
CN108769682B (zh) * 2018-06-20 2022-08-16 腾讯科技（深圳）有限公司 视频编码、解码方法、装置、计算机设备和存储介质
US11546617B2 (en) 2020-06-30 2023-01-03 At&T Mobility Ii Llc Separation of graphics from natural video in streaming video content

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020149685A1 (en) * 2001-03-23 2002-10-17 Nec Viewtechnology, Ltd. Method of and apparatus for improving picture quality
US20030223505A1 (en) * 1999-12-30 2003-12-04 Rami Verbin Data transceiver with filtering and precoding
US20070094317A1 (en) * 2005-10-25 2007-04-26 Broadcom Corporation Method and system for B-spline interpolation of a one-dimensional signal using a fractional interpolation ratio
WO2009151563A1 (en) * 2008-06-12 2009-12-17 Thomson Licensing Methods and apparatus for locally adaptive filtering for motion compensation interpolation and reference picture filtering

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2181008B (en) * 1985-09-25 1989-09-20 Sony Corp Infinite impulse response filters
US6965644B2 (en) * 1992-02-19 2005-11-15 8×8, Inc. Programmable architecture and methods for motion estimation
JP4186242B2 (ja) * 1997-12-26 2008-11-26 ソニー株式会社 画像信号処理装置及び画像信号処理方法
US6567571B1 (en) * 1998-06-24 2003-05-20 Canon Kabushiki Kaisha Image sensing device capable of outputting image signals by blocks and processing circuit which processes image signals by blocks
DE19948374A1 (de) * 1999-10-07 2001-04-12 Siemens Ag Sigma-Delta-Modulator
US20010016010A1 (en) * 2000-01-27 2001-08-23 Lg Electronics Inc. Apparatus for receiving digital moving picture
US7019777B2 (en) * 2000-04-21 2006-03-28 Flight Landata, Inc. Multispectral imaging system with spatial resolution enhancement
US7038733B2 (en) * 2002-01-30 2006-05-02 Ericsson Inc. Television receivers and methods for processing signal sample streams synchronously with line/frame patterns
US20030202665A1 (en) * 2002-04-24 2003-10-30 Bo-Ting Lin Implementation method of 3D audio
US7068722B2 (en) * 2002-09-25 2006-06-27 Lsi Logic Corporation Content adaptive video processor using motion compensation
US7408988B2 (en) * 2002-12-20 2008-08-05 Lsi Corporation Motion estimation engine with parallel interpolation and search hardware
US20050030393A1 (en) * 2003-05-07 2005-02-10 Tull Damon L. Method and device for sensor level image distortion abatement
US7627040B2 (en) * 2003-06-10 2009-12-01 Rensselaer Polytechnic Institute (Rpi) Method for processing I-blocks used with motion compensated temporal filtering
US7505636B2 (en) * 2004-03-04 2009-03-17 Broadcom Corporation System and method for two-pass interpolation for quarter-pel motion compensation
US8417066B2 (en) * 2004-03-04 2013-04-09 Broadcom Corporation Method and system for polyphase filtering by combining IIR and FIR filters and its applications in video scaling
US8018463B2 (en) * 2004-05-10 2011-09-13 Nvidia Corporation Processor for video data
US7676362B2 (en) * 2004-12-31 2010-03-09 Motorola, Inc. Method and apparatus for enhancing loudness of a speech signal
US8537903B2 (en) * 2005-09-23 2013-09-17 Entropic Communications, Inc. De-blocking and de-ringing systems and methods
US7865030B2 (en) * 2006-09-13 2011-01-04 Broadcom Corporation Method and system for motion compensated temporal filtering using both FIR and IIR filtering
AU2006252248B2 (en) * 2006-12-22 2009-06-04 Canon Kabushiki Kaisha Efficient kernel calculation for interpolation
KR100951794B1 (ko) * 2008-04-30 2010-04-07 포항공과대학교 산학협력단 다양한 정밀도를 갖는 적화(積和) 연산기 및 그 연산방법
EP2157799A1 (en) * 2008-08-18 2010-02-24 Panasonic Corporation Interpolation filter with local adaptation based on block edges in the reference frame

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030223505A1 (en) * 1999-12-30 2003-12-04 Rami Verbin Data transceiver with filtering and precoding
US20020149685A1 (en) * 2001-03-23 2002-10-17 Nec Viewtechnology, Ltd. Method of and apparatus for improving picture quality
US20070094317A1 (en) * 2005-10-25 2007-04-26 Broadcom Corporation Method and system for B-spline interpolation of a one-dimensional signal using a fractional interpolation ratio
WO2009151563A1 (en) * 2008-06-12 2009-12-17 Thomson Licensing Methods and apparatus for locally adaptive filtering for motion compensation interpolation and reference picture filtering

Also Published As

Publication number Publication date
EP2559254B1 (en) 2019-01-02
WO2011128272A3 (en) 2011-12-15
CN103098476A (zh) 2013-05-08
TW201204046A (en) 2012-01-16
WO2011128272A2 (en) 2011-10-20
EP2559254A2 (en) 2013-02-20
US20130039428A1 (en) 2013-02-14
US9420305B2 (en) 2016-08-16

Similar Documents

Publication Publication Date Title
TWI575932B (zh) 混成視訊解碼器、混成視訊編碼器及資料串流
TWI831421B (zh) 用於線性成分樣本預測之新樣本集合及新向下取樣方案
US9344744B2 (en) Apparatus for intra predicting a block, apparatus for reconstructing a block of a picture, apparatus for reconstructing a block of a picture by intra prediction
TWI646827B (zh) 使用非對稱內插濾波器的內插影像用的方法與裝置
CN109302608B (zh) 图像处理方法、设备及系统
TWI771679B (zh) 以區塊為基礎之預測技術
WO2012161444A2 (ko) 화면 내 예측 방법 및 장치
JP2012191655A (ja) 多重解像度ビデオ符号化および復号化のための再サンプリングおよび画像サイズ変更の演算
KR20110059654A (ko) 적응 필터
US20100226434A1 (en) Method and apparatus for encoding and decoding image by using sub-pixel-based motion prediction
EP3984229A1 (en) Simplified downsampling for matrix based intra prediction
TWI672941B (zh) 影像處理方法、設備及系統
KR20160101994A (ko) 적응적 샘플링을 이용한 비디오 신호의 인코딩, 디코딩 방법 및 그 장치
KR101690253B1 (ko) 영상 처리 장치 및 그 방법
JP2013048307A (ja) 動画像復号化装置および動画像復号化方法
US20120300848A1 (en) Apparatus and method for generating an inter-prediction frame, and apparatus and method for interpolating a reference frame used therein
KR102435316B1 (ko) 이미지 처리 장치 및 방법
CN103098476B (zh) 混合视频解码器、混合视频编码器及数据流
CN113966617A (zh) 对mip缩减预测的样本值裁剪
JP2013034160A (ja) 動画像符号化装置および動画像符号化方法