TWI513279B - 一種確定用於對訊框的一個或多個像素進行內插的濾波器之方法 - Google Patents

一種確定用於對訊框的一個或多個像素進行內插的濾波器之方法 Download PDF

Info

Publication number
TWI513279B
TWI513279B TW098116959A TW98116959A TWI513279B TW I513279 B TWI513279 B TW I513279B TW 098116959 A TW098116959 A TW 098116959A TW 98116959 A TW98116959 A TW 98116959A TW I513279 B TWI513279 B TW I513279B
Authority
TW
Taiwan
Prior art keywords
filter
frame
interpolation
pixels
determined
Prior art date
Application number
TW098116959A
Other languages
English (en)
Other versions
TW201002077A (en
Inventor
Edouard Francois
Dominique Thoreau
Jerome Vieron
Aurelie Martin
Original Assignee
Thomson Licensing
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thomson Licensing filed Critical Thomson Licensing
Publication of TW201002077A publication Critical patent/TW201002077A/zh
Application granted granted Critical
Publication of TWI513279B publication Critical patent/TWI513279B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/223—Analysis of motion using block-matching
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/33—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/523—Motion estimation or motion compensation with sub-pixel accuracy
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
    • H04N19/635—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets characterised by filter definition or implementation details
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

一種確定用於對訊框的一個或多個像素進行內插的濾波器之方法
本發明係關於確定用於訊框內所包括一個或多個像素進行內插的濾波器之方法。本發明又關於訊框之編碼或解碼方法，其中該編碼或解碼方法使用該濾波器確定方法。本發明再關於訊框之編碼或解碼裝置，其中該裝置適於使用該編碼或解碼方法。
為在圖像間寫碼，有些影像寫碼方案使用時間預估，借助基於運動向量之運動補償，具有分部像素解像度，以水平相位和/或垂直相位表示，並有相對應內插濾波器，與該水平相位和/或垂直相位關聯。
為減少假化幻象，內插濾波器可適應。策略包含以下步驟：
在第一次編碼傳遞中，訊框是以預設內插濾波器編碼。
根據計算之運動向量，計算最適多相內插濾波器。意即該等內插濾波器之確定，可把現行訊號與該現行訊號的運動補償內插間之預估錯誤能量減到最少。
在第二次編碼傳遞中，使用所計算的內插濾波器。所計算內插濾波器之濾波器係數，連同訊框一起編碼。
美國專利申請案2004/0076333號記載複數分立內插濾波器，位於搜尋空格內。基於所選擇現行最小濾波器，識別包括複數候選濾波器之搜尋區域。造成最小預估誤差之候選濾波器，識別為現行最小濾波器，並重複搜尋，直至預估錯誤最小為止。
技術上正進行努力改善內插，以及減少編碼時間潛候期和傳輸帶寬。
本發明即從事此項努力。擬議一種確定用於訊框內所包括一個或多個像素進行內插的濾波器之方法，包括申請專利 範圍第1項之特點。
意即該方法包括步驟為，決定訊框剩餘部份內之那些其他像素，其中與該其他像素關聯之運動向量，參照與該像素關聯的另一運動向量同樣參照訊框、同樣水平相位和/或同樣垂直相位，並基於訊框剩餘部份內的其他像素，確定濾波器，其中濾波器之確定，使該其他像素的內插品質(該內插係使用該已確定之濾波器確定)，到達或超過使用濾波器候選組內所包括不同濾波器候選之一可確定的該其他像素之任何其他內插品質。
在單純依賴同樣訊框內所包括不同的其他像素，且具有至少一運動向量參數，係與待濾波的像素共同之接力確定內插濾波器中，該內插用濾波器之確定方法得以實現單一傳遞編碼框架。
在具體例中，該不同的濾波器候選者，在濾波器型式、濾波參數之數目，和/或指定給濾波參數之數值，均有所不同。
該濾波器型式可為中等內插、線形內插、雙線形內插、雙立體內插，和梯度基礎之內插。
另一具體例中，該不同的濾波器候選者係與該參照訊框、該水平相位和/或該垂直相位關聯。
又一具體例中，該濾波器候選者包括剩餘偏差，與該水相位和/或該垂直相位關聯。
然則，濾波器可依據照明變化決定。
若該濾波器候選係一維度，則該所確定濾波器可為一維度濾波器，而該方法又包括，確定二維度濾波器，把所確定之一維度濾波器與另一個一維度濾波器組合。
把確定二維度濾波器分成確定一維度濾波器和與另一個一維度濾波器組合，得以快速計算。
尤其是，若該所確定一維度濾波器之一和該另一個一維度濾波器是垂直濾波器，而其一為水平濾波器。
所確定二維度濾波器甚至更適於內插像素，若該另一個一維度濾波器是借助本方法之一具體例確定，以確決定內插像素用之濾波器。
在又一具體例中，該其他像素的內插品質，是以該其他像素的內插和該其他像素完全重構間之平均次方或平均絕對值相差確定之，而確定濾波器包括確定為該其他像素的不同內插所確定若干品質當中最佳者。
平均次方差異是確定品質的良好措施。亦可改用平方差異之和，或是絕對值差異之和。
本發明亦關係到在空間性和/或訊雜比可標度的影像寫碼框架中，與運動向量關聯的增進層段內插用濾波器之確定方法。該方法包括步驟為，確定共位下層段是否與同樣或相對應準確性的相對應運動向量關聯，其中該相對應運動向量有至少一運動參數，與該運動向量共同，若然，確定濾波器做為該共位下層段內插用下層濾波器。至少若該相對應運動向量無任何運動參數與該運動向量共同，則增進層內所用濾波器是以確定內插用濾波器之方法的一具體例確定。
如此，即容許在可標度的影像寫碼框架內使用本發明方法，不需在各層和為各段達最佳。
本發明進而涉及訊框之編碼或解碼方法，包括令運動向量與該訊框現時段之像素關聯，並使用該運動向量和內插用濾波器確定方法之一具體例所確定濾波器，確定該現時段的像素內插。
使用本發明編碼方法使段之內插更佳，從而可壓縮之餘數更佳。使用本發明解碼方法使解碼可獨立於濾波器參數和/或濾波器型式之正確傳輸。
在該訊框編碼或解碼方法之一具體例中，於進行內插用濾波器確定方法之一具體例中所確定的該其他像素，係包括在訊框之一或以上其他段內，該其他段業已在使用另一運動向量時編碼或解碼。
此舉得以單次傳遞，藉適應性內插濾波器，把訊框編碼或解碼。
在訊框編碼或解碼方法之該具體例中，該其他段可包括在鄰接或包圍該現時段之視窗內。
然後，濾波器適應局部圖像內容。
在訊框編碼或解碼方法之進一步具體例中，又包括確定現時段的餘數，並把餘數編碼，或使用餘數把現時段解碼。
本發明又涉及訊框之編碼和解碼裝置。該裝置包括該訊框編碼或解碼方法之一具體例的訊框編碼或解碼機構。
茲參見附圖所示本發明具體例詳述如下。
本發明擬議適應在間型寫碼(inter-coding)內所用內插濾波器飛擊。此項適應可包括濾波器參數數量、數值和/或濾波器型式之適應。
該項對飛擊適應，容許一次傳遞編碼，幾近最佳內插濾波器。
間型寫碼所用內插濾波器，關聯或指涉到參照圖像。此外，關聯或指涉水平相位和/或垂直相位。
與某一參照圖像以及某一水平和垂直相位關聯之內插濾波器，用於現行訊框段之編碼或解碼，若該段具有之運動向量，其分數像素解像度相當於該某一水平和垂直相位，並參考在該某一參照圖像內之相對位置。
使用內插濾波器，從參照圖像內的參照區域產生內插參照段，該參照區域是以運動向量之相對位置資訊確定方位，並以內插濾波器的維數(dimensionality)確定垂直和/或水平延伸。意即內插是以該內插濾波器使用運動向量所產生運動補償像素加以濾波而確定。
下文中，內插參照段使用段之運動向量朝該段位置偏移，稱為運動補償段。
第1圖表示現時影像ICUR具體例，具有舉例之第一段 FB，舉例之第二段SB，以視窗WIN包圍，以及舉例之第三段TB。
若指定之參照圖像，以第一段FB之第一運動向量參考為第一次，即使用預設濾波器確定第一運動補償段。
在舉例之編碼框架中，第一餘數是在第一段FB和第一運動補償段間確定。該第一餘數是例如利用分立餘弦轉換、快速傅立葉轉換或小波轉換，進行轉換。將轉換之餘數量化，連同第一運動向量一起編碼。再者，形成第一完全重構段，其中量化餘數經去量化，逆向轉換，並與第一運動補償段組合。在舉例之編碼框架中，於濾波器適應中使用第一完全重構段。
在舉例之解碼框架中，第一餘數是由所接受串流加以解碼。然後，形成第一完全重構段，一如編碼框架。
在第一具體例中，預設濾波器是在第一段FB編碼和解碼之後更新。亦即使用不同的內插濾波器候選，產生數個不同之內插參照段。不同的內插濾波器候選在其濾波器型式和/或其濾波器參數有所不同，但全部相當於預設濾波器之水平和/或垂直相位。
不同的內插參照段各與第一完全重構段比較。確定更新之預設濾波器，是為產生最佳或最接近近似第一完全重構段之內插濾波器。評估近似程度的適當措施，是例如決定為平均平方差異或平均絕對差異之畸變。
若預設濾波器之更新，造成濾波器重大變化，則第一段FB可第二次編碼，使用更新濾波器。第一段FB的二次傳遞編碼之優點是，容許使用簡單預設濾波器。缺點是需要第二次寫碼傳遞。
第二段SB具有之運動向量，指涉和更新預設濾波器同樣參照訊框和同樣水平和/或垂直相位，即以更新預設濾波器編碼。該第二段SB經編碼和解碼後，確定為更新之濾波器再一次更新，此次係基於該第二段SB之第二完全重構 段。
在第二具體例中，一旦該第二段SB要編碼或解碼，即將預設濾波器更新。
在第二具體例中，內插參照像素組之產生，是使用不同的內插濾波器候選，其濾波器型式和/或其濾波器參數有別，但全部相當於預設濾波器之水平和/或垂直相位。
茲借助第2圖說明形成內插參照像素組如下：
在包圍或鄰近第二段SB的視窗WIN中，確定一組PS完全重構像素，包括使用和第二段SB的運動向量具有同樣水平和/或垂直相位，並參考同樣參照圖像的運動向量，業已編碼和解碼過的像素完全重構。此組PS甚至更限制於使用又參考在同樣參照圖像內同樣相對位置的運動向量，業已編碼或解碼過的像素。
視窗WIN可包括全部業已編碼或解碼過之像素，或部份該業已編碼或解碼過之像素。
為完全重構像素確定組PS，使用不同的內插濾波器候選，產生若干不同的內插參照像素。不同的內插濾波器候選，在其濾波器型式和/或其濾波器參數有所分別，但全部一如第一具體例相當於預設濾波器之水平和/或垂直相位。
不同之內插參照像素組各與完全重構像素組PS比較。確定更新之預設濾波器，做為產生就濾波器候選組最佳品質之內插濾波器。品質的衡量，即達成之大約程度，可基於例如較完全重構像素組PS之畸變。該大約程度可用例如平均平方差異或平均絕對值差異確定。
所確定之完全重構像素組PS可以放空，由於事實上未有已編碼或解碼之像素，使用與第二段SB的運動向量同樣水平和垂直相位並參考同樣參照圖像之運動向量，進行編碼或解碼。否則，尚無現行訊框之單一像素已經編碼或解碼。
然後，濾波器保留不變。
一旦具有參考和更新預設濾波器同樣參照訊框以及同樣 水平和/或垂直相位的運動向量之第三段TB，要編碼或解碼，則更新之預設濾器再度更新。
故，濾波器按照位於要施用適應濾波器之段附近的圖像內容內插要求，一再適應。
在編碼器側和解碼器側進行同樣濾波器適應，二者均使用以其參照圖像處理過的現時圖像至少一部份之重構訊號。不同組的適應性內插濾波器可與各參照圖像關聯。因此，此等濾波器不需編碼，節省帶寬。再者，內插濾波器對局部圖像內容適應更好。
濾波器更新
一般選用最適內插濾波器，因為可將評估完全重構圖像和運動補償圖像間視為支援(視選用具體例，可為剛編碼段，或完全重構像素組PS)差異之畸變量度，減到最小。
可用若干不同內插方法之一或以上，例如中等內插、線性或雙線性內插、雙立體內插或梯度基礎之內插。
對於各可參數化內插方法，確定候選型式，一種最適參數化，把該內插方法候選型式的可能參數化當中之畸變減到最少。對各不可參數化內插方法候選，亦決定畸變量度。
在確定之畸變當中，確定最小值。再選擇在所確定畸變當中相當於最小值的內插方法候選，若可行，具有參數化。
在另一具體例中，濾波器更新包含從有限的內插方法候選中選用。例如，內插方法候選可限於線性內插濾波器，而更新可限於確定最適(即畸變量度最小)係數。
線性內插濾波器
參考參照圖像IREF的線性內插濾波器組，包含一組MxM多階段線性濾波器HIREF,px,py ，其中px=0...M-1而py=0...M-1。各MxM多相位線性濾波器HIREF,px,py 係2D矩陣，含PxQ線性濾波係數。
若HIREF,px,py 可分離，即可寫成FIREF,px * GIREF,py ，其中FIREF,px 和GIREF,py 係1D矩陣，其P和Q均係可調節之參數。
然則，濾波器更新過程可分成更新FIREF,px 和更新GIREF,py 。
更新FIREF,px 之過程分三步驟作業，如第3圖所示：1.相鄰貼合像素之識別IDHPL；2.垂直訊號內插VINPL；3.濾波器確定HUPDT。
此三步驟可詳述如下：
1.步驟IDHPL
在鄰近或包圍要以水平相位px加以編碼或解碼之視窗WIN內，確定屬於使用參照圖像IREF 間型寫碼段之像素組PS，以及水平相位px之運動向量。相對於該像素組PS，在參照圖像IREF 內有一組參照像素。使用該參照像素組，該像素組PS之像素即在空白圖像內完全重構，若尚未完成完全重構，即得所謂完全重構圖像IREC 。完全重構圖像不必然參考全部像素均重構之圖像，而是像素經重構的完全重構之圖像。
2.步驟VINPL
參照圖像組是垂直內插，使用垂直濾波器GIREF,pz 相當於要內插的像素之垂直相位。垂直內插像素再各置於空白或空無圖像內相對應完全重構像素之位置。此即得所謂垂直運動補償圖像Ivert。
3.步驟HUPDT
垂直運動補償圖像Ivert進一步經水平內插，使用： 其中Dx係在像素(x,y)和[.]的水平運動向量組成份之整數部份，回到其引數之整數部份。
所含偏差值OIREF,px 考量到照明變化，可為0。在此情況下： 平均平方解像度包含計算FIREF,px ，把能量功能減到最小： 導致P方程式之線性系統的傳統解像度，P為未知數，其中一或以上方程式反映常態化拘限物。
更新過程GIREF,px 作業相當於第4圖所示：
1.步驟IDHPL
在鄰近或包圍要以水平相位py加以編碼或解碼之視窗WIN內，決定屬於使用參照圖像IREF 間型寫碼段之另一像素組PS，以及垂直相位py之運動向量。相對於該另一像素組，在參照圖像IREF 內有一組參照像素。使用該另一參照像素組，該另一像素組之像素即在空白圖像內完全重構，得所謂另一完全重構圖像。另一完全重構圖像也不必然參考全部重構之圖像，而是像素經重構的完全重構之圖像。
2.步驟HINPL
另一組參照圖像是水平內插，使用可能更新的水平濾波器FIREF,pz 相當於要內插的像素之水平相位。水平內插像素再各置於空白或空無圖像內相對應完全重構像素之位置。此即得所謂水平運動補償圖像IHORZ 。
3.步驟VUPDT
水平運動補償圖像IHORZ 進一步經垂直內插，使用： 其中Dx係在像素(x,y)的垂直運動向量組成份之整數部份，而所含偏差值OIREF,py 可為0。
平均平方解像度包含計算GIREF,px ，把能量功能減到最小： 導致Q方程式之線性系統的傳統解像度，Q為未知數，其中 一或以上方程式反映常態化拘限物。
水平更新可限於要以運動向量編碼和解碼段，具有垂直相位py=0。而垂直更新可限於要以運動向量編碼和解碼段，具有水平相位px=0。
訊雜比(SNR)和空間性可標度影像寫碼(SVC)，係分層影像寫碼計劃，引起空間/時間性和品質標度力。在SVC計劃內，較高或增進層的現時段之運動補償，可用副像素濾波器，可從所謂下層或基層內段而得或確定。
以SNR標度力而言，若所謂下層段含有和現時段同樣的副像素，則為下層段界定之副像素濾波器，即可用於增進層段。
以空間性標度力而言，若現時副像素向量相當於共位段所含之一，則同樣副像素濾波器可分別用於2*副像素解像度(只供二元空間性SVC)，例如：四分一像素濾波器→一半副像素濾波器八分一像素濾波器→四分一像素濾波器
在第5圖所示具體例中，內插濾波器對飛擊之適應，產生方式與廣播或發射端BE之編碼器ENC內所包括濾波器適應裝置FAD，以及接收端的解碼器DEC內所包括同類型和參數設定之相對應濾波器適應裝置FAD內相同。然後，濾波參數經由連接CON(可為電纜連接或無線連接)之廣播或傳輸，已遭廢。
本發明有如下優點：
利用內插濾波器之線內決定或更新，達成此等濾波器之局部適應。
避免濾波器係數之傳輸，節省專屬於相對應側面資訊位元之帶寬，潛在造成寫碼效率增益。
又，避免二次傳遞編碼過程，達成減少編碼器之複製性。
本發明可應用於有關影像壓縮之任何架構。本發明尤其 適合但非限於高解像度影像之低位元率應用，例如行動電話用之HD，以及超解像度影像應用，像HD和更高。
FB‧‧‧第1段
ICUR‧‧‧現時影像
SB‧‧‧第2段
TB‧‧‧第3段
WIN‧‧‧視窗
PS‧‧‧完全重構像素組
IDHPL‧‧‧相鄰貼合像素之識別
VINPL‧‧‧垂直訊號內插
HINPL‧‧‧水平訊號內插
HUPDT‧‧‧濾波器確定
BE‧‧‧發射端
ENC‧‧‧發射端之編碼器
FAD‧‧‧濾波器適應裝置
RE‧‧‧接收端
DEC‧‧‧接收端的解碼器
CON‧‧‧連接
第1圖表示具有舉例第一段和周圍視窗以及舉例第二段和第三段之現時影像；第2圖表示視窗細部以及該視窗內選定像素組；第3圖表示水平濾波器組成份更新方法之舉例流程圖；第4圖表示垂直濾波器組成份更新方法之舉例流程圖；第5圖表示傳輸或廣播圖像資料用之舉例系統。
FB‧‧‧第1段
ICUR‧‧‧現時影 像
SB‧‧‧第2段
TB‧‧‧第3段
WIN‧‧‧視窗

Claims (17)

  1. 一種確定用於對訊框的一個或多個像素進行內插的濾波器之方法，包括步驟為：確定訊框餘數內之其他像素，其中與該一個或多個像素關聯的運動向量，和與該其他像素關聯的另一運動向量參考相同之參考訊框和/或相同之分數像素解析度；如訊框餘數內無其他像素，確定該濾波器係預設濾波器；若訊框餘數內有至少一其他像素，則根據該其他像素，確定濾波器，令該其他像素使用確定濾波器所確定之內插品質，到達或超過使用濾波器候選集合內不同濾波器候選之一可確定的該其他像素任何其他內插品質者。
  2. 如申請專利範圍第1項之方法，其中：該不同之濾波器候選，在濾波器型式、濾波參數數量和/或指定給濾波參數之數值，為不同者。
  3. 如申請專利範圍第2項之方法，其中：該濾波器型式係中等內插、線性內插、雙線性內插、雙立體內插和基於梯度的內插之一者。
  4. 如申請專利範圍第1項之方法，其中：該不同的濾波器候選係與該參照訊框、該水平相位和/或該垂直相位相關聯者。
  5. 如申請專利範圍第4項之方法，其中：該濾波器候選包括與該水平相位和/或該垂直相位關聯之殘留誤差者。
  6. 如申請專利範圍第4項之方法，其中：該濾波器候選係一維度；該確定之濾波器是一維度濾波器，而該方法又包括將該確定的一維度濾波器與另一個一維度濾波器組合，確定二維度濾波器者。
  7. 如申請專利範圍第6項之方法，其中： 該確定的一維度濾波器和該另一個一維度濾波器，一個是垂直濾波器，而另一個是水平濾波器者。
  8. 如申請專利範圍第6項之方法，其中：該另一個一維度濾波器以確定該一維濾波器之相同方法進行確定。
  9. 如申請專利範圍第1項之方法，其中：確定該其他像素之內插品質，為該其他像素的該內插和該其他像素的完全重構間之平均平方或平均絕對值差；且確定濾波器包括確定該其他像素不同內插所確定若干品質當中最佳者。
  10. 一種確定用於與空間和/或訊號雜訊比可標度影像寫碼框架內的運動向量關聯之增進層段進行內插的濾波器之確定方法，包括步驟為：確定共置下層段是否相同或相當準確性的相當運動向量關聯，其中該相當運動向量有至少一運動參數，與該運動向量相同；而若如此，即確定濾波器做為該共置下層段內插所用下層濾波器；否則，以申請專利範圍第1-9項任一項之一方法，確定增進層內之濾波器者。
  11. 一種訊框之編碼方法，包括：令運動向量與該訊框現時段之像素關聯；且使用該另一運動向量，以及如申請專利範圍第1至9項中任一項所述之方法以確定濾波器，確定該現時段之像素內插者。
  12. 如申請專利範圍第11項之方法，其中：確定之該其他像素，係包括在該訊框之一個或多個其他段內，該其他段係借助該運動向量業已編碼或解碼者。
  13. 如申請專利範圍第12項之方法，其中： 該其他段係包括在鄰近該現時段之視窗內者。
  14. 如申請專利範圍第11-13項中任一項之方法，又包括：確定現時段之餘數；和把餘數編碼，或借助餘數把現時段解碼者。
  15. 一種訊框之編碼裝置，包括：訊框之編碼機構，進行如申請專利範圍第11項所述之方法者。
  16. 一種訊框之解碼方法，包括：令運動向量與該訊框現時段之像素關聯；且使用該另一運動向量，以及如申請專利範圍第1-9項中任一項所述之方法以確定濾波器，確定該現時段之像素內插者。
  17. 一種訊框之解碼裝置，包括：訊框之解碼機構，進行如申請專利範圍第16項所述之方法者。
TW098116959A 2008-06-19 2009-05-22 一種確定用於對訊框的一個或多個像素進行內插的濾波器之方法 TWI513279B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
EP08305283A EP2136565A1 (en) 2008-06-19 2008-06-19 Method for determining a filter for interpolating one or more pixels of a frame, method for encoding or reconstructing a frame and method for transmitting a frame

Publications (2)

Publication Number Publication Date
TW201002077A TW201002077A (en) 2010-01-01
TWI513279B true TWI513279B (zh) 2015-12-11

Family

ID=40174740

Family Applications (1)

Application Number Title Priority Date Filing Date
TW098116959A TWI513279B (zh) 2008-06-19 2009-05-22 一種確定用於對訊框的一個或多個像素進行內插的濾波器之方法

Country Status (7)

Country Link
US (1) US8804833B2 (zh)
EP (2) EP2136565A1 (zh)
JP (1) JP5211240B2 (zh)
KR (1) KR101563330B1 (zh)
CN (1) CN102067604B (zh)
TW (1) TWI513279B (zh)
WO (1) WO2009153104A1 (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10123050B2 (en) 2008-07-11 2018-11-06 Qualcomm Incorporated Filtering video data using a plurality of filters
EP2398240A1 (en) * 2010-06-16 2011-12-21 Canon Kabushiki Kaisha A method and device for encoding and decoding a video signal
US9172972B2 (en) * 2011-01-05 2015-10-27 Qualcomm Incorporated Low complexity interpolation filtering with adaptive tap size
JP5950541B2 (ja) * 2011-11-07 2016-07-13 キヤノン株式会社 動きベクトル符号化装置、動きベクトル符号化方法及びプログラム、動きベクトル復号装置、動きベクトル復号方法及びプログラム
CN102750678A (zh) * 2012-06-18 2012-10-24 西北工业大学 基于自然图像统计稀疏模型的单帧图像超分辨重建方法
JP6098226B2 (ja) * 2013-02-27 2017-03-22 三菱電機株式会社 画像符号化装置および画像復号装置
US10171821B2 (en) 2013-07-16 2019-01-01 Samsung Electronics Co., Ltd. Scalable video encoding method and apparatus and scalable video decoding method and apparatus using up-sampling filter accompanied by conversion of bit depth and color format
CN115002457A (zh) * 2015-06-05 2022-09-02 杜比实验室特许公司 图像编码和解码方法和图像解码设备
US10855951B2 (en) * 2018-07-13 2020-12-01 Analog Devices Global Unlimited Company Methods and devices for compensating sag effect
CN111010568B (zh) * 2018-10-06 2023-09-29 华为技术有限公司 插值滤波器的训练方法、装置及视频图像编解码方法、编解码器
CN113647110B (zh) 2019-04-01 2022-11-08 北京字节跳动网络技术有限公司 帧间编码模式中的二分之一像素插值滤波器的指示
JP7359942B2 (ja) 2019-08-20 2023-10-11 北京字節跳動網絡技術有限公司 映像処理における代替の補間フィルタの選択的使用

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040076333A1 (en) * 2002-10-22 2004-04-22 Huipin Zhang Adaptive interpolation filter system for motion compensated predictive video coding
TWI288896B (en) * 2005-04-12 2007-10-21 Realtek Semiconductor Corp Method and apparatus of deinterlacing
TWI290438B (en) * 2004-12-01 2007-11-21 Samsung Electronics Co Ltd A pipelined deblocking filter
WO2008068623A2 (en) * 2006-12-01 2008-06-12 France Telecom Adaptive interpolation method and system for motion compensated predictive video coding and decoding

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3085678B2 (ja) * 1989-12-14 2000-09-11 沖電気工業株式会社 予測符号化方法及び装置
JP3184487B2 (ja) 1990-07-26 2001-07-09 日本分光株式会社 全反射測定装置
JP3747970B2 (ja) * 1996-12-24 2006-02-22 ソニー株式会社 画像符号化装置および画像符号化方法、画像復号化装置および画像復号化方法
FI114679B (fi) 2002-04-29 2004-11-30 Nokia Corp Satunnaisaloituspisteet videokoodauksessa
JP4295236B2 (ja) 2005-03-29 2009-07-15 日本電信電話株式会社 階層間予測符号化方法，装置，階層間予測復号方法，装置，階層間予測符号化プログラム，階層間予測復号プログラムおよびそれらのプログラム記録媒体
BRPI0714233A2 (pt) * 2006-07-18 2013-01-15 Thomson Licensing mÉtodos e aparelho para filtragem de referÊncia adaptativa
US9014280B2 (en) * 2006-10-13 2015-04-21 Qualcomm Incorporated Video coding with adaptive filtering for motion compensated prediction
KR100835662B1 (ko) 2006-12-04 2008-06-09 부산대학교 산학협력단 필터 예측 기능을 가지는 움직임 보상 예측 장치 및 이를이용한 동영상 압축 장치 및 방법
US8199812B2 (en) * 2007-01-09 2012-06-12 Qualcomm Incorporated Adaptive upsampling for scalable video coding
KR101369746B1 (ko) * 2007-01-22 2014-03-07 삼성전자주식회사 적응적 보간 필터를 이용한 영상 부호화, 복호화 방법 및장치
US8705622B2 (en) * 2008-04-10 2014-04-22 Qualcomm Incorporated Interpolation filter support for sub-pixel resolution in video coding
US8804831B2 (en) * 2008-04-10 2014-08-12 Qualcomm Incorporated Offsets at sub-pixel resolution
US20110188571A1 (en) * 2010-02-04 2011-08-04 Sony Corporation Recursive adaptive interpolation filters (raif)

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040076333A1 (en) * 2002-10-22 2004-04-22 Huipin Zhang Adaptive interpolation filter system for motion compensated predictive video coding
TWI290438B (en) * 2004-12-01 2007-11-21 Samsung Electronics Co Ltd A pipelined deblocking filter
TWI288896B (en) * 2005-04-12 2007-10-21 Realtek Semiconductor Corp Method and apparatus of deinterlacing
WO2008068623A2 (en) * 2006-12-01 2008-06-12 France Telecom Adaptive interpolation method and system for motion compensated predictive video coding and decoding

Also Published As

Publication number Publication date
KR20110031952A (ko) 2011-03-29
US20110080953A1 (en) 2011-04-07
EP2297962B1 (en) 2019-12-04
JP2011524708A (ja) 2011-09-01
EP2297962A1 (en) 2011-03-23
JP5211240B2 (ja) 2013-06-12
TW201002077A (en) 2010-01-01
EP2136565A1 (en) 2009-12-23
KR101563330B1 (ko) 2015-10-26
CN102067604A (zh) 2011-05-18
WO2009153104A1 (en) 2009-12-23
US8804833B2 (en) 2014-08-12
CN102067604B (zh) 2013-10-09

Similar Documents

Publication Publication Date Title
TWI513279B (zh) 一種確定用於對訊框的一個或多個像素進行內插的濾波器之方法
CN101208957B (zh) 视频编码器和编码方法
JP5236746B2 (ja) ビデオ符号化及び復号においてｄｃ変化パラメータを使用するシステム及び方法
JP5730770B2 (ja) 切替え補間フィルタにおけるオフセット計算
JP5536034B2 (ja) 固定フィルタまたは適応フィルタに基づくビデオ・コーディングのためのレートひずみ定義補間
JP5180366B2 (ja) ビデオコーディングにおけるサブピクセル位置の補間フィルタリングに対する対称性
CN102986220B (zh) 视频信号的编解码器及方法和视频编解码器设备
EP2048886A1 (en) Coding of adaptive interpolation filter coefficients
EP1983759A1 (en) Estimation of separable adaptive interpolation filters for hybrid video coding
JP2008507190A (ja) 動き補償方法
WO2011121894A1 (ja) 画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法
KR20070038396A (ko) 영상 신호의 인코딩 및 디코딩 방법
JP2011517237A (ja) ビデオ・コーディングにおける補間のための予測技法
JP2008536414A (ja) ビデオの拡張された符号化方法及び装置
JP2011518508A (ja) ビデオコーディングにおけるサブピクセル解像度のための補間フィルタサポート
CN114073087A (zh) 基于矩阵的内预测
JP2011517240A (ja) ビデオコーディングにおける整数ピクセル位置の補間的フィルタリング
WO2022194103A1 (zh) 解码方法、编码方法、装置、设备及存储介质
KR20130098121A (ko) 적응적 보간 필터를 이용하는 영상 부호화/복호화 장치 및 영상을 부호화/복호화하는 방법
CN109891888A (zh) 基于内部的局部层间预测方法
JP2010288182A (ja) 動画像復号化方法、動画像復号化装置及び動画像復号化プログラム
CN112154667A (zh) 视频的编码和解码
KR20110023430A (ko) 움직임 추정방법 및 움직임 추정장치, 이를 이용한 부호화 방법 및 비디오 인코더, 이를 이용한 복호화 방법 및 비디오 디코더
KR20140127407A (ko) 비디오 부호화 및 복호화 방법, 그를 이용한 장치
KR20140127406A (ko) 비디오 부호화 및 복호화 방법, 그를 이용한 장치