TWI523528B - 用於視訊編碼中整體像素位置之似內插濾波之方法、裝置、器件及電腦可讀儲存媒體 - Google Patents

用於視訊編碼中整體像素位置之似內插濾波之方法、裝置、器件及電腦可讀儲存媒體 Download PDF

Info

Publication number
TWI523528B
TWI523528B TW098112085A TW98112085A TWI523528B TW I523528 B TWI523528 B TW I523528B TW 098112085 A TW098112085 A TW 098112085A TW 98112085 A TW98112085 A TW 98112085A TW I523528 B TWI523528 B TW I523528B
Authority
TW
Taiwan
Prior art keywords
pixel
video
filter
filtering
sub
Prior art date
Application number
TW098112085A
Other languages
English (en)
Other versions
TW201006252A (en
Inventor
葉琰
馬塔 卡茲維克茲
Original Assignee
高通公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 高通公司 filed Critical 高通公司
Publication of TW201006252A publication Critical patent/TW201006252A/zh
Application granted granted Critical
Publication of TWI523528B publication Critical patent/TWI523528B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/523—Motion estimation or motion compensation with sub-pixel accuracy
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H04N19/122—Selection of transform size, e.g. 8x8 or 2x4x8 DCT; Selection of sub-band transforms of varying structure or type
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/192—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding the adaptation method, adaptation tool or adaptation type being iterative or recursive
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
    • H04N19/635—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets characterised by filter definition or implementation details

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

用於視訊編碼中整體像素位置之似內插濾波之方法、裝置、器件及電腦可讀儲存媒體
本發明係關於數位視訊編碼及解碼，且更特定言之，係關於應用於產生視訊編碼及解碼中所使用之預測性資料的濾波技術。
本申請案主張於2008年4月10日申請之美國臨時申請案第61/044,020號、於2008年4月10日申請之美國臨時申請案第61/044,023號、於2008年4月11日申請之美國臨時申請案第61/044,240號及於2008年5月30日申請之美國臨時申請案第61/057,373號的權利，該等申請案之全部內容以引用方式併入本文中。
數位視訊能力可併入至寬範圍之器件中，包括數位電視、數位直播系統、無線廣播系統、個人數位助理(PDA)、膝上型或桌上型電腦、數位相機、數位記錄器件、視訊遊戲器件、視訊遊戲控制台、蜂巢式或衛星無線電電話及其類似者。數位視訊器件實施視訊壓縮技術(諸如，由MPEG-2、MPEG-4或ITU-T H.264/MPEG-4第10部分進階視訊編碼(AVC)定義之標準中所描述的視訊壓縮技術)以較有效地傳輸及接收數位視訊資訊。視訊壓縮技術可執行空間預測及/或時間預測以減少或移除視訊序列中固有之冗餘。
基於區塊之圖框間編碼為非常適用之編碼技術，其依賴於時間預測以減少或移除視訊序列之連續經編碼單元之視訊區塊之間的時間冗餘。該等經編碼單元可包含視訊圖框、視訊圖框之切片(slice)、圖片之集合或經編碼視訊區塊之另一經定義單元。對於圖框間編碼，視訊編碼器執行運動估計及運動補償以追蹤兩個或兩個以上之鄰近經編碼單元之相應視訊區塊的移動。運動估計產生運動向量，其指示相對於一或多個參考圖框或其他經編碼單元中之相應預測視訊區塊的視訊區塊之位移。運動補償使用該等運動向量以自該一或多個參考圖框或其他經編碼單元產生預測視訊區塊。在運動補償後，藉由自正編碼之原始視訊區塊減去預測視訊區塊來形成殘差視訊區塊。
視訊編碼器亦可應用變換、量化及熵編碼程序來進一步減少與殘差區塊之通信相關聯的位元率。變換技術可包含離散餘弦變換(DCT)或概念上類似之程序。或者，可使用小波變換、整數變換或其他類型之變換。在DCT程序中，作為一實例，將一組像素值轉換成變換係數，其可表示該等像素值在頻域中之能量。量化應用於該等變換係數，且通常包含減少與任何給定變換係數相關聯之位元的數目的程序。熵編碼包含共同地壓縮一連串之編碼模式、運動資訊、經編碼區塊樣式及經量化變換係數的一或多個程序。熵編碼之實例包括但不限於內容適應性可變長度編碼(CAVLC)及內容脈絡適應性二進位算術編碼(CABAC)。
一經編碼視訊區塊可藉由可用以產生或識別一預測性區塊之預測資訊及指示正編碼之區塊與該預測性區塊之間的差異的殘差資料區塊來表示。該預測資訊可包含用以識別該預測性資料區塊之一或多個運動向量。給定該等運動向量，則解碼器能夠重建用以對殘差資料區塊編碼的預測性區塊。因此，給定一組殘差區塊及一組運動向量(且可能給定一些額外語法)，解碼器可重建原始編碼之視訊圖框。基於運動估計及運動補償之圖框間編碼可達成極好之壓縮，因為連續之視訊圖框或其他類型之經編碼單元通常非常類似。一經編碼視訊序列可包含殘差資料區塊、運動向量且可能包含其他類型之語法。
已開發出內插技術以便改良可在圖框間編碼中達成之壓縮的級別。在此種情況下，可自運動估計中所使用之視訊圖框或其他經編碼單元之視訊區塊的像素來內插在運動補償期間產生之預測性資料(其用以對視訊區塊編碼)。通常執行內插以產生預測性半像素(半圖元)值及預測性四分之一像素(四分之一圖元)值。半圖元及四分之一圖元值與子像素位置相關聯。分數運動向量可用於以子像素解析度來識別視訊區塊以便捕獲視訊序列中之分數移動，且藉此提供比整體視訊區塊更類似於正編碼之視訊區塊的預測性區塊。
大體而言，本發明描述在視訊編碼及/或解碼程序之預測階段期間由編碼器及解碼器應用之濾波技術。所描述之濾波技術可增強在分數內插期間所使用之預測性資料的準確性，且在一些情況下，可改良像素之整體區塊的預測性資料。本發明存在若干態樣，包括可用於內插之適用十二像素濾波器支援、使用係數對稱性及像素對稱性來減少為了組態用於內插之濾波器支援而需要在編碼器與解碼器之間發送的資料量的技術，及用於以類似於子像素內插之方式來對整體像素位置處之資料濾波的技術。本發明之其他態樣關於用於編碼位元流中之資訊以傳送所使用之濾波器類型且可能傳送所使用之濾波器係數的技術。亦描述用於濾波器係數之預測性編碼技術。本發明之此等及其他態樣將自下文之描述而變得顯而易見。
在一實例中，本發明提供一種方法，其包含：獲得像素區塊，其中該等像素區塊包括對應於該等像素區塊內之整體像素位置的整數像素值；基於該像素區塊內之其他整數像素值來對該等整數像素值濾波以產生經調整整數像素值，其中該等經調整整數像素值對應於該等整體像素位置；及基於該等經調整整數像素值來產生一預測區塊。
在另一實例中，本發明提供一種裝置，其包含一視訊編碼器，該視訊編碼器：獲得像素區塊，其中該等像素區塊包括對應於該等像素區塊內之整體像素位置的整數像素值；基於該像素區塊內之其他整數像素值來對該等整數像素值濾波以產生經調整整數像素值，其中該等經調整整數像素值對應於該等整體像素位置；且基於該等經調整整數像素值來產生一預測區塊。
在另一實例中，本發明提供一種器件，其包含：用於獲得像素區塊之構件，其中該等像素區塊包括對應於該等像素區塊內之整體像素位置的整數像素值；用於基於該像素區塊內之其他整數像素值來對該等整數像素值濾波以產生經調整整數像素值的構件，其中該等經調整整數像素值對應於該等整體像素位置；及用於基於該等經調整整數像素值來產生一預測區塊的構件。
可以硬體、軟體、韌體、或其任何組合來實施本發明中所描述之技術。若以軟體來實施，則可在一或多個處理器(諸如，微處理器、特殊應用積體電路(ASIC)、場可程式化閘陣列(FPGA)或數位信號處理器(DSP))中執行軟體。執行該等技術之軟體最初可儲存於電腦可讀媒體中且載入於處理器中並在處理器中執行。
因此，本發明亦預期一種電腦可讀儲存媒體，其包含指令，該等指令在由處理器執行時使該處理器：獲得像素區塊，其中該等像素區塊包括對應於該等像素區塊內之整體像素位置的整數像素值；基於該像素區塊內之其他整數像素值來對該等整數像素值濾波以產生經調整整數像素值，其中該等經調整整數像素值對應於該等整體像素位置；且基於該等經調整整數像素值來產生一預測區塊。
本發明之一或多個態樣的細節陳述於附圖及下文之描述中。本發明中所描述之技術的其他特徵、目標及優點將自描述及圖式且自[申請專利範圍]而顯而易見。
本發明描述在視訊編碼及/或解碼程序之預測階段期間由編碼器及解碼器應用之濾波技術。所描述之濾波技術可增強在分數內插期間所使用之預測性資料的準確性，且在一些情況下，可改良像素之整體區塊的預測性資料。本發明存在若干態樣，包括可用於內插之適用十二像素濾波器支援、使用係數對稱性及像素對稱性來減少為了組態用於內插之濾波器支援而需要在編碼器與解碼器之間發送的資料量的技術及用於以類似於子像素內插之方式來對整體像素位置處之資料濾波的技術。在下文詳細描述此等及其他技術。
圖1為說明可用於實施本發明之技術中之一或多者的一例示性視訊編碼及解碼系統10的方塊圖。如圖1所示，系統10包括一經由通信頻道15而將經編碼視訊傳輸至目的器件16的源器件12。源器件12及目的器件16可包含寬範圍之器件中之任一者。在一些情況下，源器件12及目的器件16包含無線通信器件，諸如，無線手機、所謂的蜂巢式或衛星無線電電話、或可經由通信頻道15而傳達視訊資訊的任何無線器件，在此種情況下，通信頻道15為無線的。然而，本發明之技術(其關於預測性編碼期間之預測性資料之濾波及產生)未必限於無線應用或設置。該等技術亦可適用於寬範圍之其他設置及器件中，包括經由實體線、光纖或其他實體或無線媒體來通信之器件。另外，該等編碼或解碼技術亦可應用於未必與任何其他器件通信的獨立器件中。
在圖1之實例中，源器件12可包括視訊源20、視訊編碼器22、調變器/解調變器(數據機)23及傳輸器24。目的器件16可包括接收器26、數據機27、視訊解碼器28及顯示器件30。根據本發明，源器件12之視訊編碼器22可經組態以應用本發明之技術中之一或多者，作為視訊編碼程序之一部分。類似地，目的器件16之視訊解碼器28可經組態以應用本發明之技術中之一或多者，作為視訊解碼程序之一部分。
且，圖1之所說明之系統10僅為例示性的。本發明之各種技術可由支援基於區塊之預測性編碼的任何編碼器件或由支援基於區塊之預測性解碼的任何解碼器件來執行。源器件12及目的器件16僅為此等編碼器件之實例，其中源器件12產生經編碼視訊資料以供傳輸給目的器件16。在一些情況下，器件12、16可以大體上對稱之方式來操作，以使得器件12、16中之每一者包括視訊編碼及解碼組件。因此，系統10可支援視訊器件12、16之間的單向或雙向視訊傳輸，例如，用於視訊串流、視訊播放、視訊廣播或視訊電話。
源器件12之視訊源20可包括一視訊捕獲器件，諸如，視訊相機、含有先前捕獲之視訊的視訊存檔或來自視訊內容提供者之視訊饋入。作為另一替代，視訊源20可產生基於電腦圖形之資料，作為源視訊、或直播視訊、存檔視訊及電腦產生之視訊的組合。在一些情況下，若視訊源20為視訊相機，則源器件12及目的器件16可形成所謂的相機電話或視訊電話。在每一種情況下，可由視訊編碼器22來對所捕獲、預捕獲或電腦產生之視訊編碼。可接著藉由數據機23根據通信標準(例如，分碼多重存取(CDMA)或另一通信標準)來調變該等經編碼視訊資訊並經由傳輸器24及通信頻道15來將該等經編碼視訊資訊傳輸至目的器件16。數據機23可包括各種混頻器、濾波器、放大器或經設計以用於信號調變的其他組件。傳輸器24可包括經設計以用於傳輸資料的電路，包括放大器、濾波器及一或多個天線。
目的器件16之接收器26經由通信頻道15來接收資訊，且數據機27解調變該資訊。如同傳輸器24，接收器26可包括經設計以用於接收資料的電路，包括放大器、濾波器及一或多個天線。在一些情況下，傳輸器24及/或接收器26可併入於一包括接收電路及傳輸電路兩者的單一收發器組件內。數據機27可包括各種混頻器、濾波器、放大器或經設計以用於信號解調變的其他組件。在一些情況下，數據機23及27可包括用於執行調變及解調變兩者的組件。
且，由視訊編碼器22執行之視訊編碼程序可在運動補償期間實施本文所描述之技術中的一或多者。由視訊解碼器28執行之視訊解碼程序亦可在其解碼程序之運動補償階段期間執行此等技術。術語「編碼器」在本文中用於指執行視訊編碼或視訊解碼的專用電腦器件或裝置。術語「編碼器」大體上指任何視訊編碼器、視訊解碼器或組合之編碼器/解碼器(編解碼器)。術語「編碼」指編碼或解碼。顯示器件30向使用者顯示經解碼視訊資料，且可包含各種顯示器件中之任一者，諸如，陰極射線管(CRT)、液晶顯示器(LCD)、電漿顯示器、有機發光二極體(OLED)顯示器或另一類型之顯示器件。
在圖1之實例中，通信頻道15可包含任何無線或有線通信媒體，諸如，射頻(RF)頻譜或一或多個實體傳輸線、或無線及有線媒體之任何組合。通信頻道15可形成一基於封包之網路(諸如，區域網路、廣域網路或諸如網際網路之全球網路)的一部分。通信頻道15通常表示用於將視訊資料自源器件12傳輸至目的器件16的任何合適通信媒體或不同通信媒體之集合。通信頻道15可包括路由器、交換器、基地台或可用於促進自源器件12至目的器件16之通信的任何其他設備。
視訊編碼器22及視訊解碼器28可根據一視訊壓縮標準(諸如，ITU-T H.264標準，替代地描述為MPEG-4，第10部分，進階視訊編碼(AVC))來操作。然而，本發明之技術不限於任何特定視訊編碼標準。雖然未展示於圖1中，但在一些態樣中，視訊編碼器22及視訊解碼器28可各自與音訊編碼器及解碼器整合，且可包括適當MUX-DEMUX單元或其他硬體及軟體以處置共同資料流或獨立資料流中之音訊及視訊兩者的編碼。若適用，則MUX-DEMUX單元可遵照ITU H.223多工器協定或諸如使用者資料報協定(UDP)之其他協定。
視訊編碼器22及視訊解碼器28各自可實施為一或多個微處理器、數位信號處理器(DSP)、特殊應用積體電路(ASIC)、場可程式化閘陣列(FPGA)、離散邏輯、軟體、硬體、韌體、或其任何組合。視訊編碼器22及視訊解碼器28中之每一者可包括於一或多個編碼器或解碼器中，其任一者可整合為在各別行動器件、用戶器件、廣播器件、伺服器或其類似者中提供編碼及解碼能力的組合編解碼器的一部分。
一視訊序列通常包括一連串視訊圖框。視訊編碼器22對個別視訊圖框內之視訊區塊操作以便對視訊資料編碼。視訊區塊可具有固定或變化大小，且可根據指定編碼標準而在大小方面不同。每一視訊圖框包括一連串切片。每一切片可包括一連串巨集區塊，其可配置成子區塊。作為一實例，ITU-T H.264標準支援各種區塊大小(諸如，用於明度分量之16x16、8x8或4x4及用於色度分量之8x8)之圖框內預測以及各種區塊大小(諸如，用於明度分量之16x16、16x8、8x16、8x8、8x4、4x8及4x4及用於色度分量之相應經按比例調整之大小)之圖框間預測。舉例而言，在諸如離散餘弦變換(DCT)或概念上類似之變換程序的變換程序之後，視訊區塊可包含像素資料之區塊或變換係數之區塊。
較小視訊區塊可提供較好解析度，且可用於包括高精細級別之視訊圖框的位置。大體而言，可將巨集區塊及各種子區塊視為視訊區塊。另外，可將切片視為一連串視訊區塊，諸如，巨集區塊及/或子區塊。每一切片可為一視訊圖框之一可獨立解碼單元。或者，圖框自身可為可解碼單元，或圖框之其他部分可被定義為可解碼單元。術語「經編碼單元」指視訊圖框之任何可獨立解碼單元，諸如，整個圖框、圖框之切片或根據所使用之編碼技術而定義的另一可獨立解碼單元。
為了對視訊區塊編碼，視訊編碼器22執行圖框內或圖框間預測以產生一預測區塊。視訊編碼器22自待編碼之原始視訊區塊減去該等預測區塊以產生殘差區塊。因此，殘差區塊指示正編碼之區塊與預測區塊之間的差異。視訊編碼器22可對殘差區塊執行變換以產生變換係數之區塊。在圖框內或圖框間預測性編碼及變換技術之後，視訊編碼器22執行量化。量化通常指將係數量化以可能地減少用於表示該等係數之資料量的程序。在量化之後，可根據熵編碼方法(諸如，內容脈絡適應性可變長度編碼(CAVLC)或內容脈絡適應性二進位算術編碼(CABAC))來執行熵編碼。將在下文在圖2中更詳細地描述由視訊編碼器22執行之編碼程序的每一步驟之更多細節。
在目的器件16中，視訊解碼器28接收經編碼視訊資料。視訊解碼器28根據熵編碼方法(諸如，CAVLC或CABAC)來對所接收視訊資料進行熵解碼以獲得經量化係數。視訊解碼器28應用逆量化(解量化)及逆變換功能以在像素域中重建殘差區塊。視訊解碼器28亦基於經編碼視訊資料中所包括之控制資訊或語法資訊(例如，編碼模式、運動向量、定義濾波器係數之語法及其類似者)來產生預測區塊。視訊解碼器28將預測區塊與經重建殘差區塊相加以產生經重建視訊區塊以供顯示。將在下文在圖16中更詳細地描述由視訊編碼器22執行之編碼程序的每一步驟之更多細節。
根據本發明之技術，視訊編碼器22及視訊解碼器28可在運動補償期間使用該一或多個內插濾波技術。特定言之，根據本發明之一態樣，視訊編碼器22及/或視訊解碼器28可：獲得像素區塊，其中該像素區塊包括對應於該像素區塊內之整體像素位置的整數像素值；基於該等整數像素值來計算用於與該像素區塊相關聯之子像素位置的子像素值，其中計算該等子像素值包含應用一內插濾波器，該內插濾波器定義對應於以放射狀形狀圍繞該等子像素位置的一組十二個或十二個以上之整體像素位置的濾波器支援位置之二維陣列；且基於該等子像素值中之至少一些來產生一預測區塊。在下文更詳細地解釋對應於一組十二個或十二個以上之整體像素位置的濾波器支援位置之該二維陣列的實例。
根據本發明之另一態樣，視訊編碼器22及/或視訊解碼器28可利用對稱性之態樣以便減少為了傳達內插中所使用之濾波器係數而需要在源器件12與目的器件16之間傳達的資料量。視訊編碼器22可：判定用於十五個不同子像素位置的八組濾波器係數，其中該八組濾波器係數係基於十五個子像素位置中之係數對稱性及像素對稱性來產生；且將該八組濾波器係數作為經編碼位元流之一部分而輸出至另一器件。以此方式，該八組濾波器係數連同像素對稱性及係數對稱性之態樣可定義用於所有十五個半圖元及四分之一圖元像素位置的所有濾波器係數。此外，該十五個子像素位置中之不同者之間在垂直維度上及在水平維度上可存在像素對稱性，但該十五組子像素位置中之至少一些在對角維度上可不存在像素對稱性。該十五個位置中之至少一些在對角維度上的像素對稱性之此缺少可改良視訊編碼及解碼中之內插及視訊品質。
目的器件16之視訊解碼器28可：將該八組濾波器係數作為一經編碼視訊位元流之一部分來接收；基於該八組濾波器係數來產生對應於十五個不同子像素位置的十五組濾波器係數；基於該十五組濾波器係數中之一者來產生用於視訊解碼之經內插預測性資料，其中該經內插預測性資料對應於該十五個不同子像素位置中之一者；且基於該經內插預測性資料來對一或多個視訊區塊解碼。
根據本發明之另一態樣，視訊編碼器22及/或視訊解碼器28可將似內插濾波用於整體像素位置以便產生經調整整數像素值。此似內插濾波可具體言之在照度改變、場景淡入或淡出期間改良壓縮，可移除雜訊且促進影像圖框銳化，且可尤其在未對濾波器係數強加對稱性時幫助改良連續視訊圖框之間的精細物件移動之編碼。
視訊編碼器22及/或視訊解碼器28之似內插濾波技術可包括：獲得像素區塊，其中該等像素區塊包括對應於該等像素區塊內之整體像素位置的整數像素值；基於該像素區塊內之其他整數像素值來對該等整數像素值濾波以產生經調整整數像素值，其中該等經調整整數像素值對應於該等整體像素位置；及基於該等經調整整數像素值來產生一預測區塊。
根據本發明之另一態樣，視訊編碼器22可：基於一第一內插濾波器來產生用於視訊資料之編碼的第一經內插預測性資料；基於一第二內插濾波器來產生用於該視訊資料之視訊編碼的第二經內插預測性資料；基於一率失真分析來在該第一經內插預測性資料與該第二經內插預測性資料之間選擇；基於該選擇來對該視訊資料編碼；及對指示該選擇之語法編碼。該第一內插濾波器可包含一固定內插濾波器，且該第二內插濾波器可包含一適應性內插濾波器，但本發明未必限於此等實例。
此外，亦可應用額外內插濾波器以產生額外經內插預測性資料，在率失真分析中亦可考慮該等額外經內插預測性資料。換言之，本發明之技術不限於僅基於兩個內插濾波器來產生第一及第二經內插預測性資料，而是可應用於基於任何數目之內插濾波器來產生任何複數個經內插預測性資料。重要的是，使用率失真分析經內插預測性資料來識別選擇哪一濾波器。
在一實例中，一種方法可包含：基於複數個不同內插濾波器來產生用於視訊資料之編碼的預測性資料之複數個不同版本；基於一率失真分析來在預測性資料之該複數個不同版本間選擇；基於該選擇來對該視訊資料編碼；及對指示該選擇之語法編碼。
本發明亦預期用於對濾波器係數編碼的技術。舉例而言，視訊編碼器22可：識別在視訊編碼中用於預測性資料之內插的一組濾波器係數；基於相對於與固定內插濾波器相關聯之濾波器係數的該組濾波器係數之預測性編碼來產生與該組濾波器係數相關聯的殘差值；將量化應用於該等殘差值；及將該等經量化殘差值作為一經編碼位元流之一部分來輸出。
視訊解碼器28可：接收與一組濾波器係數相關聯之殘差值；基於該組殘差值及與固定內插濾波器相關聯之濾波器係數使用預測性解碼來產生該組濾波器係數；及應用該組濾波器係數來內插用於視訊區塊之預測性解碼的預測性資料。
圖2為說明與本發明一致的可執行濾波技術的視訊編碼器50之一實例的方塊圖。視訊編碼器50為在本文中被稱為「編碼器」之特定視訊電腦器件或裝置的一實例。視訊編碼器50可對應於器件20之視訊編碼器22或一不同器件之視訊編碼器。視訊編碼器50可執行視訊圖框內之區塊的圖框內及圖框間編碼，但是，為了說明之簡易起見而未在圖2中展示圖框內編碼組件。圖框內編碼依賴於空間預測以減少或移除給定視訊圖框內之視訊之空間冗餘。圖框間編碼依賴於時間預測以減少或移除一視訊序列之鄰近圖框內之視訊之時間冗餘。圖框內模式(I-模式)可指基於空間之壓縮模式，且諸如預測(P-模式)或雙向(B-模式)之圖框間模式可指基於時間之壓縮模式。本發明之技術在圖框間編碼期間應用，且因此，為了說明之簡單及簡易起見，未在圖2中說明諸如空間預測單元之圖框內編碼單元。
如圖2所示，視訊編碼器50接收待編碼之視訊圖框內之視訊區塊。在圖2之實例中，視訊編碼器50包括預測單元32、記憶體34、加法器48、變換單元38、量化單元40及熵編碼單元46。對於視訊區塊重建，視訊編碼器50亦包括逆量化單元42、逆變換單元44及加法器51。亦可包括去區塊濾波器(未圖示)以對區塊邊界進行濾波以自經重建視訊移除成塊性假影。若需要，該去區塊濾波器將通常對加法器51之輸出進行濾波。
預測單元32可包括運動估計(ME)單元35及運動補償(MC)單元37。根據本發明，濾波器39可包括於預測單元32中且可由ME單元35及MC單元37中之一者或兩者調用以執行內插或似內插濾波，作為運動估計及/或運動補償之一部分。濾波器39實際上可表示複數個不同濾波器以促進如本文所描述之無數不同類型之內插及內插類型之濾波。因此，預測單元32可包括複數個內插或似內插濾波器。在編碼程序期間，視訊編碼器50接收待編碼之視訊區塊(在圖2中標記為「視訊區塊」)，且預測單元32執行圖框間預測編碼以產生預測區塊(在圖2中標記為「預測區塊」)。具體言之，ME單元35可執行運動估計以識別記憶體34中之預測區塊，且MC單元37可執行運動補償以產生該預測區塊。
通常將運動估計視為產生運動向量之程序，該等運動向量估計視訊區塊之運動。舉例而言，運動向量可指示相對於當前圖框(或其他經編碼單元)內之待編碼之區塊的預測或參考圖框(或其他經編碼單元，例如，切片)內之預測區塊的位移。該參考圖框(或該圖框之一部分)在時間上可位於當前視訊區塊所屬之視訊圖框(或該視訊圖框之一部分)之前或之後。通常將運動補償視為自記憶體34提取預測區塊或產生預測區塊或可能基於由運動估計判定之運動向量來內插或以其他方式產生經濾波預測性資料的程序。
ME單元35藉由將該待編碼之視訊區塊與一或多個參考圖框(例如，先前圖框及/或後續圖框)之視訊區塊比較來選擇用於該視訊區塊之適當運動向量。ME單元35可以分數像素精度執行運動估計，其有時被稱為分數像素、分數圖元或子像素運動估計。因而，可互換地使用術語分數像素、分數圖元及子像素運動估計。在分數像素運動估計中，ME單元35可選擇一指示與不同於一整體像素位置之位置相距之位移的運動向量。以此方式，分數像素運動估計允許預測單元32以比整體像素(或全像素)位置高之精度來追蹤運動，因此產生更準確之預測區塊。分數像素運動估計可具有半像素精度、四分之一像素精度、八分之一像素精度或任何更細之精度。ME單元35可調用濾波器39以用於運動估計程序期間之任何必需內插。
為了執行分數像素運動補償，MC單元37可執行內插(有時被稱為內插濾波)以便以子像素解析度產生資料(本文中被稱為子像素或分數像素值)。MC單元37可調用濾波器39以用於此內插。預測單元32可使用本文所描述之技術來執行該內插(或整體像素之似內插濾波)。
一旦待編碼之視訊區塊之運動向量由ME單元35選擇，MC單元37便產生與此運動向量相關聯之預測視訊區塊。MC單元37可基於由MC單元35判定之運動向量而自記憶體34提取預測區塊。在具有分數像素精度之運動向量的情況下，MC單元37對來自記憶體34之資料濾波以內插此資料達子像素解析度，例如，調用濾波器39以用於此程序。在一些情況下，用以產生子像素預測資料之內插濾波技術或模式可被指示為包括於經編碼位元流中的用於熵編碼單元46之一或多個內插語法元素。確實，本發明之一些態樣關於使用像素對稱性及係數對稱性來減少需要傳送之語法的量。
一旦預測單元32已產生預測區塊，視訊編碼器50便藉由自正編碼之原始視訊區塊減去該預測區塊來形成殘差視訊區塊(在圖2中標記為「殘差區塊」)。加法器48表示執行此減法運算之一或多個組件。變換單元38將一變換(諸如，離散餘弦變換(DCT)或概念上類似之變換)應用於該殘差區塊，進而產生一包含殘差變換區塊係數之視訊區塊。舉例而言，變換單元38可執行概念上類似於DCT之其他變換，諸如，由H.264標準定義之變換。亦可使用小波變換、整數變換、子頻帶變換或其他類型之變換。在任何情況下，變換單元38將該變換應用於該殘差區塊，進而產生殘差變換係數之一區塊。該變換可將殘差資訊自像素域轉換至頻域。
量化單元40量化該等殘差變換係數以進一步減少位元率。該量化程序可減少與該等係數中之一些或所有相關聯的位元深度。在量化之後，熵編碼單元46對量化變換係數熵編碼。舉例而言，熵編碼單元46可執行CAVLC、CABAC或另一熵編碼方法。
熵編碼單元46亦可對自預測單元32或視訊編碼器50之另一組件獲得的一或多個預測語法元素編碼。該一或多個預測語法元素可包括一編碼模式、一或多個運動向量、一用以產生子像素資料之內插技術、一組濾波器係數或該組濾波器係數之子集或與預測區塊之產生相關聯的其他資訊。根據本發明之一些態樣，係數預測及量化單元41可對預測語法(諸如，濾波器係數)預測性編碼並量化。在由熵編碼單元46進行熵編碼之後，可將經編碼視訊及語法元素傳輸至另一器件或存檔以供稍後傳輸或擷取。
逆量化單元42及逆變換單元44分別應用逆量化及逆變換以在像素域中重建殘差區塊(例如)以供稍後用作參考區塊。該經重建殘差區塊(在圖2中標記為「經重建殘差區塊」)可表示提供至變換單元38之殘差區塊之經重建版本。歸因於由量化及逆量化運算造成的細節的損失，該經重建殘差區塊可不同於由求和器48產生之殘差區塊。求和器51將該經重建殘差區塊加入由預測單元32產生之經運動補償之預測區塊以產生經重建視訊區塊以供儲存於記憶體34中。該經重建視訊區塊可由預測單元32用作可用以隨後對後續視訊圖框或後續經編碼單元中之區塊編碼的參考區塊。
如上所述，預測單元32可以分數像素(或子像素)精度執行運動估計。當預測單元32使用分數像素運動估計時，預測單元32可使用本發明所描述之內插運算來以子像素解析度產生資料(例如，子像素或分數像素值)。換言之，使用該等內插運算來計算在整體像素位置之間的位置處的值。位於整體像素位置之間的距離一半處的子像素位置可被稱為半像素(半圖元)位置，位於整體像素位置與半像素位置之間的距離一半處的子像素位置可被稱為四分之一像素(四分之一圖元)位置，位於整體像素位置(或半像素位置)與四分之一像素位置之間的距離一半處的子像素位置被稱為八分之一像素(八分之一圖元)位置，及其類似者。
圖3為說明與預測資料相關聯之整體像素(或全像素)位置及與經內插預測資料相關聯之子像素(或分數像素)位置的概念圖。在圖3之概念說明中，不同方框表示一圖框或一圖框之一區塊內之像素及子像素位置。大寫字母(在具有實線之方框中)表示整體像素位置，而小寫字母(在具有虛線之方框中)表示子像素位置。特定言之，像素位置A1-A6、B1-B6、C1-C6、D1-D6、E1-E6及F1-F6表示一圖框、切片或其他經編碼單元內之整體像素位置的6x6陣列。子像素位置「a」至「o」表示(例如)整體像素位置C3、C4、D3及D4之間的與整體像素C3相關聯之十五個子像素位置。每一整體像素位置可存在類似子像素位置。子像素位置「a」至「o」表示與整體像素C3相關聯之每一半圖元及四分之一圖元像素位置。
在最初產生視訊資料時，整體像素位置可與實體感測器元件(諸如，光電二極體)相關聯。該光電二極體可量測在該感測器之位置處的光源之強度且將像素強度值與該整體像素位置相關聯。且，每一整體像素位置可具有一組相關聯之十五個子像素位置(或可能更多)。與整體像素位置相關聯之子像素位置的數目可取決於所要精度。在圖3所說明之實例中，所要精度為四分之一像素精度，在此種情況下，整體像素位置中之每一者對應於十五個不同子像素位置。可基於所要精度使更多或更少子像素位置與每一整體像素位置相關聯。對於半像素精度，舉例而言，每一整體像素位置可對應於三個子像素位置。作為另一實例，對於八分之一像素精度，整體像素位置中之每一者可對應於六十三個子像素位置。每一像素位置可定義一或多個像素值(例如，一或多個明度及色度值)。
Y可表示明度，且Cb及Cr可表示三維YCbCr色空間之兩個不同色度值。對於三維色空間而言，每一像素位置實際上可定義三個像素值。然而，出於簡單之目的，本發明之技術可指關於一維之預測。就關於一維中之像素值來描述該等技術而論，可將類似技術擴展至其他維度。
在圖3之實例中，對於四分之一像素精度，說明與整體像素「C3」相關聯之子像素位置。將與像素C3相關聯之十五個子像素位置標記為「a」、「b」、「c」、「d」、「e」、「f」、「g」、「h」、「i」、「j」、「k」、「l」、「m」、「n」及「o」。為了簡單起見，未展示與其他整體像素位置相關聯之其他分數位置的大部分(如下文更詳細地描述，不同於用以產生與像素位置C3相關聯之15個不同分數位置中之一或多者的分數位置)。子像素位置「b」、「h」及「j」可被稱為半像素位置，且子像素位置「a」、「c」、「d」、「e」、「f」、「g」、「i」、「k」、「l」、「m」及「o」可被稱為四分之一像素位置。
視訊編碼器40之預測單元32可使用由MC單元37進行之內插濾波來判定子像素位置「a」至「o」的像素值。與ITU-T H.264標準一致，舉例而言，預測單元32可使用6分接頭內插濾波器(諸如，文納(Wiener)濾波器)來判定半像素位置之像素值。在H.264標準之情況下，6分接頭內插濾波器之濾波器係數通常為[1,-5,20,20,-5,1]，但是可使用其他係數。預測單元32可首先在水平方向上應用內插濾波器且接著在垂直方向上應用內插濾波器，或首先在垂直方向上應用內插濾波器且接著在水平方向上應用內插濾波器。對於半像素位置「b」及「h」，每一分接頭可分別在水平方向及垂直方向上對應於一整體像素位置。特定言之，對於半像素位置「b」，6分接頭濾波器之分接頭對應於C1、C2、C3、C4、C5及C6。同樣，對於半像素位置「h」，6分接頭濾波器之分接頭對應於A3、B3、C3、D3、E3及F3。舉例而言，可使用方程式(1)及(2)來計算子像素位置「b」及「h」之像素值：
b=((C1-5*C2+20*C3+20*C4-5*C5+C6)+16)/32　(1)
h=((A3-5*B3+20*C3+20*D3-5*E3+F3)+16)/32　(2)
對於半像素位置「j」，6分接頭濾波器之分接頭將其自身對應於在位置C1-C6與D1-D6之間水平內插或在位置A3-F3與A4-F4之間垂直內插。可(例如)根據方程式(3)或(4)中之一者藉由使用半像素位置之先前內插之像素值的6分接頭濾波器來計算半像素位置「j」：
j=((aa-5*bb+20*b+20*hh-5*ii+jj)+16)/32　(3)
j=((cc-5*dd+20*h+20*ee-5*ff+gg)+16)/32　(4)
其中(如圖3所說明)aa對應於A3與A4之間的內插，bb對應於B3與B4之間的內插，b對應於C3與C4之間的內插，hh對應於D3與D4之間的內插，ii對應於E3與E4之間的內插，且jj對應於F3與F4之間的內插。在方程式4中，cc對應於C1與D1之間的內插，dd對應於C2與D2之間的內插，h對應於C3與D3之間的內插，ee對應於C4與D4之間的內插，ff對應於C5與D5之間的內插，且gg對應於C6與D6之間的內插。
與H.264標準一致，預測單元32可使用雙線性內插濾波器及周圍整體像素位置及半像素位置之像素值來判定四分之一像素位置「a」、「c」、「d」、「e」、「f」、「g」、「i」、「k」、「l」、「m」、「n」及「o」處的像素值。舉例而言，預測單元32可使用C3及「b」之像素值來判定與子像素位置「a」相關聯之像素值，使用「b」及C4之像素值來判定與子像素位置「c」相關聯之像素值，及其類似者。
由MC單元37用以產生子像素位置處之經內插資料的實際濾波器可經受廣泛各種實施方案。作為一實例，預測單元32可使用如下文所述之適應性內插濾波器(AIF)來定義該等經內插值。ITU-T SG16/Q.6/VCEG(視訊編碼專家群)委員會已正在研究提供比H.264高之編碼效率的編碼技術且特定言之為AIF。AIF提供優於H.264標準中所使用的內插濾波之大編碼增益，尤其對具有高解析度(例如，720i/p或1080i/p)之視訊序列。在AIF中，藉由最小化預測誤差能量來對每一視訊圖框分析地計算每一子像素位置之內插濾波器。此情形幫助解決原始及參考視訊圖框中含有之鋸齒、量化及運動估計誤差、相機雜訊或其他假影。每一圖框的分析地導出之適應性濾波器係數接著經預測、量化、編碼且在視訊位元流中發送。本發明之技術中之一些可在AIF方案以及許多其他內插方案內工作。
存在與本發明之態樣一致的許多不同類型之AIF方案。舉例而言，一第一方案為二維非可分離AIF(NS-AIF)，一第二方案為可分離AIF(S-AIF)，且一第三方案為具有方向性濾波器之AIF(D-AIF)。雖然此等AIF方案中之每一者使用不同內插技術及支援，但所有三個AIF方案可使用類似分析程序以導出濾波器係數，將在下文使用非可分離AIF作為實例來對此進行解釋。
假定一6x6二維非可分離濾波器具有係數，其中i,j=0...5且SP表示圖3所示之15個子像素位置(「a」至「o」)中之一者。應注意，該15個子像素位置中之6個(亦即，「a」、「b」、「c」、「d」、「h」及「l」)為一維(1D)子像素位置，且預測單元32可使用一6分接頭內插濾波器來內插此資料。子像素位置「a」、「b」、「c」、「d」、「h」及「l」在其位於兩個整體像素位置之間的水平線或垂直線中的意義上而言為1D的。又，假定參考圖框中之整體像素位置(圖3中之A1至F6)處之預測像素採用像素值P i , j ，其中i,j=0...5。亦即，A1採用值P 0,0，...，A6採用值P 5,0，...，F1採用值P 5,0，...，且F6採用值P 5,5。接著，可由預測單元32使用以下方程式來計算子像素位置處之經內插值P SP ：
令S x , y 為位置(x,y)處之當前視訊圖框中之像素值。
其中(mvx,mvy)為運動向量，為運動向量之整數分量，且FO為濾波器偏差。值為參考圖框中之相應像素位置。舉例而言，在6分接頭濾波器之情況下，FO=6/2-1=2。對於每一子像素位置SP，可由預測單元32針對具有對應於子像素位置SP之運動向量精度的所有像素積累當前圖框中之實際像素值與經內插值之間的預測誤差能量(e SP )2。可由預測單元32使用以下方程式來計算預測誤差能量(e SP )2：
對於子像素位置a至o中之每一者，MC單元37可藉由計算關於濾波器係數之(e SP )2之導數來設置一組個別方程式。在此種情況下，方程式之數目等於用於當前子像素位置SP之濾波器係數的數目。對於每一二維(2D)子像素位置「e」、「f」、「g」、「i」、「j」、「k」、「m」、「n」及「o」，預測單元32可使用一6x6分接頭2D內插濾波器。子像素位置「e」、「f」、「g」、「i」、「j」、「k」、「m」、「n」及「o」在其不位於兩個整體像素位置之間的垂直線或水平線中的意義上而言為2D的。在此種情況下，可由MC單元37來對具有三十六個未知數之三十六個方程式之方程組求解。剩餘之1D子像素位置「a」、「b」、「c」、「d」、「h」及「1」可僅需要1D內插濾波器(例如，1D 6分接頭濾波器)。在1D 6分接頭濾波器之情況下，可由MC單元37來對六個方程式之方程組求解。
濾波器39可表示可由MC單元37用以產生預測性資料的一個濾波器或一組許多個不同濾波器。
因此，導出及應用AIF濾波器之一實例程序可具有以下步驟，其可由預測單元32執行：
1.估計每一待編碼之視訊區塊之運動向量(mvx,mvy)。在運動估計期間，可應用固定內插濾波器(例如，H.264/AVC之內插程序)。
2.使用此等運動向量，積累當前視訊圖框內之每一子像素位置SP的預測誤差能量。接著，藉由如在上述兩個預測能量方程式中最小化預測誤差能量來獨立地計算每一子像素位置SP之適應性濾波器係數。
3.估計新運動向量。在此運動估計程序期間，可應用在步驟2中計算出之適應性內插濾波器。使用該等適應性內插濾波器，減少由鋸齒、相機雜訊等造成之運動估計誤差且達成更好之運動預測。
不同AIF方案可使用如上文給出之相同分析程序。該等不同方案之間的差異主要存在於所使用之獨特濾波器係數的數目(無論內插濾波器是可分離還是不可分離的)及所使用之濾波器支援(亦即，用於內插子像素位置之至少一部分的整體像素位置)。在此等方案中之每一者中，可對AIF濾波器強加特定對稱性約束以減少需要編碼且在視訊位元流中發送之濾波器係數的數目。
對於NS-AIF，舉例而言，預測單元32之MC單元37可使用1D 6分接頭內插濾波器(亦被稱為6位置濾波器，因為每一分接頭對應於一整體像素位置)來內插1D子像素位置「a」、「b」、「c」、「d」、「h」及「l」，該1D 6分接頭內插濾波器需要6個係數。6位置濾波器之用於內插1D子像素之六個係數各自對應於圖3所說明之整體像素位置中之一者。舉例而言，對於子像素位置「a」、「b」及「c」，對應於該等係數之六個整體像素位置為C1、C2、C3、C4、C5及C6，且對於子像素位置「d」、「h」及「l」，對應於該等係數之六個整體像素位置為A3、B3、C3、D3、E3及F3。此等整體像素位置表示內插濾波器之「濾波器支援」。
預測單元32可使用2D 6x6內插濾波器來內插2D子像素位置「e」、「f」、「g」、「i」、「j」、「k」、「m」、「n」及「o」，該2D 6x6內插濾波器需要三十六個濾波器係數。2D 6x6內插濾波器之用於內插2D子像素的三十六個係數各自對應於整體像素位置A1-A6、B1-B6、C1-C6、D1-D6、E1-E6及F1-F6。此等整體像素位置表示內插濾波器之「濾波器支援」。若不強加額外限制(例如，無係數或像素對稱性)，則視訊編碼器50可編碼並輸出九組三十六個係數(對於2D子像素位置)及六組六個係數(對於1D子像素位置)，總共360個係數。編碼並在視訊位元流中發送彼數目之係數可導致昂貴的位元額外負擔。對於給定失真級別，高位元額外負擔又可增加位元率，此為不良的。
為了減少與發送濾波器係數相關聯之位元額外負擔，可將特定對稱性限制強加於內插濾波器以減少需要發送至解碼器28之獨特濾波器係數的數目。可單獨或以組合形式來強加兩種類型之對稱性(亦即，像素對稱性及係數對稱性)。像素對稱性對不同子像素位置實行一組相同之濾波器係數(及該組濾波器係數之鏡射、倒轉及/或旋轉版本)。像素對稱性亦可被稱為子像素對稱性，只要此等像素對稱性適用於與兩個或兩個以上之子像素位置相關聯的濾波器係數。另一方面，係數對稱性實行關於各個濾波器支援位置相對於待內插之給定子像素值的其他濾波器支援位置在特定方向(例如，水平方向、垂直方向或其兩者)上對稱的給定內插濾波器。
像素對稱性可用於NS-AIF中。再次參看圖3，令為用於子像素位置「a」之該組濾波器係數，則用於子像素位置「c」之該組濾波器係數為，亦即，呈逆序或經水平倒轉之相同係數。亦即，可分別使用(8)及(9)來計算子像素位置「a」處之預測像素值p a 及子像素位置「c」處之預測像素值p c ：
可分別使用與子像素位置「a」及「c」相同之一組內插濾波器係數來內插子像素位置「d」及「l」。因而，子像素位置「a」及「c」可具有相對於子像素位置「d」及「l」之像素對稱性。
本發明之一態樣為實際上移除子像素位置「a」及「c」與子像素位置「d」及「l」之間的像素對稱性。另外，可避免相對於子像素位置「i」之子像素位置「f」之像素對稱性。另外，可避免相對於子像素位置「n」之子像素位置「k」之像素對稱性。在此等情況下，對角相關可為低的，進而使得在此等情況下強加對角對稱性為效率低或無效的。
作為另一實例，令為用於子像素位置「e」之該組6x6 2D濾波器係數。因此，用於位置「g」之該組濾波器係數為(經水平倒轉之版本)。類似地，用於子像素位置「m」之該組濾波器係數為(經垂直倒轉之版本)，且用於子像素位置「o」之該組濾波器係數為(首先水平倒轉且接著垂直倒轉)。因而，子像素位置「e」「g」、「m」及「o」具有像素對稱性。以與上文給出之實例類似之方式來強加子像素位置「b」與「h」之間及位置「f」、「i」、「k」及「n」之間的對稱性。在此種像素對稱性約束下，僅剩下五群獨特濾波器組，即，用於子像素群「a」、「c」、「d」及「l」之第一組濾波器係數、用於子像素群「b」及「h」之第二組濾波器係數、用於子像素群「e」、「g」、「m」及「o」之第三組濾波器係數、用於群「f」、「i」、「k」及「n」之第四組濾波器係數及用於子像素群「j」之第五組濾波器係數。
此外，NS-AIF可將係數對稱性限制單獨或以與上述子像素對稱性組合之形式強加於此等濾波器組中之一些。在一些情況下，可故意地避免對角係數對稱性，例如，消除任何對角係數對稱性約束。在一情況下，對於第一群子像素位置，無係數對稱性強加於濾波器，該第一群子像素位置包括子像素位置「a」、「c」、「d」及「l」。然而，根據方程式(10)，第二群子像素位置(其包括係數「b」及「h」)可具有係數對稱性：
同樣，如分別在方程式(11)、(12)及(13)中所給出，第三、第四及第五群子像素位置(其分別包括子像素位置「e」、「f」及「j」)之內插濾波器的係數可具有係數對稱性：
在上述之此像素對稱性及係數對稱性約束下，獨特濾波器係數之數目可自360個(無對稱性約束)減少至6(a)+3(b)+21(e)+18(f)+6(j)=54個係數，亦即，用於包括子像素位置「a」之該群子像素位置之6個係數，用於包括子像素位置「b」之該群子像素位置之3個係數，用於包括子像素位置「e」之該群子像素位置之21個係數，用於包括子像素位置「f」之該群子像素位置之18個係數及用於包括子像素位置「j」之該群子像素位置之6個係數。因此，在NS-AIF中，視訊編碼器22可對五十四個係數而非對在無對稱性約束之情況下的360個係數進行編碼並將其傳輸。如上所述，可基於上述方程式(7)來對該五十四個係數分析地求解。視訊編碼器50可接著預測、量化、編碼(例如，使用帶有正負號之指數哥倫布(Golomb)碼)該等係數且在位元流中發送該等係數。在下文更詳細地論述關於濾波器係數之預測性編碼的額外細節。與本發明一致，係數預測及量化單元41可用於濾波器係數之預測性編碼及量化。
在另一AIF方案(亦即，S-AIF)中，預測單元32可在水平方向上及在垂直方向上使用可分離內插濾波器，而非如NS-AIF中所使用之非可分離內插濾波器。對於1D子像素位置，預測單元32(例如，預測單元32之MC單元37)取決於子像素位置而僅應用水平方向性濾波器或僅應用垂直方向性濾波器。在一實例中，水平及垂直方向性濾波器包含6位置(或6分接頭)濾波器。預測單元32在整體像素位置C1、C2、C3、C4、C5及C6(見圖3)作為濾波器支援之情況下將水平方向性濾波器應用於子像素位置「a」、「b」及「c」，且在整體像素位置A3、B3、C3、D3、E3及F3(見圖3)作為濾波器支援之情況下將垂直方向性濾波器應用於子像素位置「d」、「h」及「l」。對於剩餘子像素位置(亦即，2D子像素位置)，預測單元32首先應用水平濾波，繼之以垂直濾波，或首先應用垂直濾波，繼之以水平濾波。且，可根據上述方程式(7)來計算用於可分離水平及垂直濾波器之濾波器係數。在無任何對稱性之情況下，S-AIF可將需要編碼且發送之係數數目自在無對稱性之NS-AIF之情況下的360個係數減少至144個係數。
S-AIF可進一步將一或多個對稱性限制強加於該等內插濾波器中之至少一些。不同於NS-AIF之子像素對稱性，在S-AIF之情況下，用於子像素位置「a」及「c」之濾波器組不對稱，亦即，彼此之經水平倒轉之版本。實情為，用於子像素位置「a」及「c」之濾波器組的係數係彼此無關地分別作為導出。對於具有垂直移動之每一子像素位置，子像素對稱性類似於NS-AIF。亦即，用於子像素位置「d」及「l」之係數、用於子像素位置「e」及「m」之係數、用於子像素位置「f」及「n」之係數及用於子像素位準「g」及「o」之係數分別為彼此之經垂直倒轉之版本。舉例而言，若用於子像素位置「d」之垂直濾波器的係數為，則用於子像素位置「l」之垂直濾波器的係數為。因此，S-AIF中所使用之子像素對稱性在一維中僅具有垂直子像素對稱性。然而，S-AIF不具有水平子像素對稱性。在S-AIF中之子像素對稱性可將需要編碼並發送之係數數目自144個係數減少至102個係數。
如同NS-AIF，S-AIF亦可使用係數對稱性來進一步減少需要由視訊編碼器50編碼並發送之係數的數目。S-AIF中所使用之係數對稱性可與NS-AIF中之係數對稱性相同，不同之處在於在S-AIF中僅存在1D(水平或垂直)6分接頭濾波器。換言之，不存在6x6 2D濾波器。在S-AIF中，對於每一子像素位置SP(SP∈{b,h,i,j,k})，如方程式(14)中所指示，濾波器係數可具有對稱性。
因此，在具有子像素對稱性及係數對稱性兩者之情況下，S-AIF濾波器可具有十一組獨特1D 6分接頭濾波器，其中之五組為各自具有三個獨特係數的對稱濾波器。剩餘六組濾波器可各自具有六個獨特係數。在此種情況下，視訊編碼器22可量化、預測、編碼總共五十一個獨特濾波器係數並在視訊位元流中發送該五十一個濾波器係數。
在另一AIF方案(D-AIF)中，預測單元32將方向性濾波器用於2D子像素位置「e」、「f」、「g」、「i」、「j」、「k」、「m」、「n」及「o」。該等方向性濾波器可包含6分接頭濾波器，且係數可具有對稱性，以使得僅需要傳輸該等係數之一子集。如本文所描述，濾波器支援指來自用於內插子像素位置之參考圖框的像素位置。MC單元37可藉由具有整體像素位置A1、B2、C3、D4、E5及F6作為濾波器支援的6位置(或6分接頭)對角內插濾波器來計算子像素位置「e」及「o」。預測單元32可藉由具有整體像素位置A6、B5、C4、D3、E2及F1作為濾波器支援的6位置對角內插濾波器來計算子像素位置「g」及「m」。預測單元32可藉由具有整體像素位置A1、B2、C3、D4、E5、F6、A6、B5、C4、D3、E2及F1作為濾波器支援的12位置對角內插濾波器來計算子像素位置「f」、「i」、「j」、「k」及「n」。
D-AIF可使用與上文關於NS-AIF描述之子像素及係數對稱性相同的子像素及係數對稱性。在子像素對稱性方面，存在用於內插十五個子像素位置之五組獨特濾波器係數，其中子像素位置「a」、「c」、「d」及「l」共用相同濾波器係數(例如，經鏡射、倒轉及/或旋轉之版本)，子像素位置「e」、「g」、「m」及「o」共用相同濾波器係數(例如，經鏡射、倒轉及/或旋轉之版本)，子像素位置「b」及「h」共用相同濾波器係數(「b」為水平濾波器且「h」為垂直濾波器)，子像素位置「f」、「i」、「k」及「n」共用相同濾波器係數(例如，經鏡射、倒轉及/或旋轉之版本)，且子像素位置「j」具有其自身的一組濾波器係數。
在係數對稱性方面，用於包括「a」、「c」、「d」及「1」之第一子像素群的濾波器係數使用具有六個獨特係數之1D6位置濾波器(亦即，該第一群為非對稱的)，用於第二子像素群「b」及「h」之濾波器係數使用具有三個獨特係數的1D 6位置濾波器係數(亦即，b為對稱的)，且用於子像素群「e」、「g」、「m」及「o」之第三組濾波器係數使用具有六個獨特係數之方向性6位置濾波器。用於群「f」、「i」、「k」及「n」之第四組濾波器係數使用具有6個獨特係數之12分接頭濾波器，且用於群「j」之第五組濾波器係數具有三個獨特係數。D-AIF方案中之獨特係數的總數為6(a)+3(b)+6(e)+6(f)+3(j)=24個係數。此等濾波器係數可經預測、量化、編碼且在視訊位元流中發送。
預測單元32之MC單元37可使用本文所描述之內插技術中之一或多者以增強子像素位置之內插的準確性及/或減少需要編碼並傳輸之內插濾波器係數的數目。在下文更詳細地描述可用於內插之具有放射狀形狀之適用十二像素濾波器支援、使用係數對稱性及像素對稱性來減少為了組態用於內插之濾波器支援而需要在編碼器與解碼器之間發送的資料量的技術、用於移除關於習知技術之對稱性的一些態樣的技術及用於以類似於子像素內插之方式來對整體像素位置處之資料濾波的技術。亦描述偏差技術。另外，亦描述用於在內插濾波器之間選擇的技術及用於對濾波器係數預測性編碼的技術。
圖4為說明關於九個子像素位置的十二像素濾波器支援的概念圖。根據本發明，MC單元37可基於有陰影之整數像素值來計算子像素位置「e」、「f」、「g」、「i」、「j」、「k」、「m」、「n」及「o」之子像素值。在此種情況下，計算子像素值包含應用一內插濾波器，該內插濾波器如圖4所說明定義對應於圍繞子像素位置之一組十二個(或可能更多個)整體像素位置的濾波器支援位置的二維陣列。濾波器支援位置被展示為具有陰影及大寫字母，且子像素位置被展示為具有虛線及小寫字母的方框。MC單元37可以此方式針對視訊區塊之每一像素內插像素，且可基於經內插之子像素值來產生預測區塊。該12位置濾波器支援具有一放射狀形狀，且具有與NS-AIF中所使用之36位置濾波器支援類似之頻率回應但具有大量減少之內插複雜性。
如可自圖3瞭解到，子像素值可包含十五個半圖元值及四分之一圖元值。如圖4所示，將定義濾波器支援位置之二維陣列的內插濾波器應用於定義該十五個半圖元值及四分之一圖元值中之九個。
圍繞該等子像素位置之該組十二個或更多個整體像素位置在圖4中被展示為具有陰影，且可包括圍繞該九個半圖元值及四分之一圖元值的四個整體像素位置C3、C4、D3及D4及圍繞該四個整體像素位置的八個整體像素位置B3、B4、C2、C5、D2、D5、E3及E4。圖4所示之濾波器支援位置之二維陣列中的濾波器支援位置中之每一者係在相對於該等子像素位置之兩個整體像素位置內。在由視訊編碼器50(圖2)進行之視訊編碼程序期間或在由視訊解碼器60(圖16)進行之視訊解碼程序期間，此濾波可形成運動補償之一部分。在視訊編碼程序期間，預測單元32將複數組係數值作為預測語法元素之一部分轉發至熵編碼單元46。如圖4所示，圍繞子像素位置的該組十二個或更多個整體像素位置具有放射狀形狀且可包含在空間上最接近於由內插濾波器(例如，圖2中之濾波器39)定義之九個半圖元值及四分之一圖元值的一組整體像素位置。
熵編碼單元46可對該多組係數值編碼且將該內插濾波器之係數值作為經編碼位元流之一部分來輸出，可接著將該經編碼位元流傳輸至另一器件。關於圖4所示之每一不同子像素位置所定義的該複數組係數值中之每一者可針對該十二個或更多個整體像素位置定義不同權重。可存在像素對稱性，以使得M組係數值針對該十二個或更多個整體像素位置定義N個不同權重，其中M及N為正整數，且N大於M。換言之，像素對稱性可允許像素位置中之一些依賴於其他像素位置之經鏡射，反轉或旋轉權重，以使得不需要針對與其他子像素位置具有像素對稱性的位置而對係數編碼。
圖5為說明關於三個水平子像素位置的水平六像素濾波器支援及關於三個垂直子像素位置的垂直六像素濾波器支援的概念圖。濾波器支援位置有陰影且具有大寫字母，且子像素位置無陰影且具有小寫字母及虛線。MC單元37可藉由應用一線性內插濾波器來計算位置「a」、「b」及「c」之子像素值，該線性內插濾波器定義濾波器支援位置C1-C6的一維陣列。MC單元37亦可藉由應用一線性內插濾波器來計算位置「d」、「h」及「l」之子像素值，該線性內插濾波器定義濾波器支援位置A3-F3的一維陣列。以此方式，可將線性內插濾波器用於圖3所示之十五個半圖元值及四分之一圖元值中之六個。
圖6為說明用於對整體像素位置濾波的五像素x五像素濾波器支援的概念圖。在此種情況下，可將似內插濾波應用於整體像素位置以便產生經調整整數像素值。在圖6中，舉例而言，可基於五x五像素陣列A1-A5、B1-B5、C1-C5、D1-D5及E1-E5來對位置C3處之整數像素值濾波。可針對整體濾波定義其他濾波器支援。在此種情況下，若ME單元35識別一整體像素區塊，則MC單元37可基於圖6所示之五x五像素陣列(或其他濾波器支援)來對每一像素濾波以產生經濾波整數像素值。以此方式，可將似內插濾波應用於整體像素，此在照度改變或場景淡入或淡出時可改良編碼。另外，整體濾波可移除雜訊且促進影像圖框銳化，且可尤其在未對濾波器係數強加對稱性時幫助改良連續視訊圖框之間的精細物件移動之編碼。在改良具有焦點改變之視訊序列之品質及/或壓縮中，整體圖元濾波亦可為極適用的。
因此，視訊編碼器22及/或視訊解碼器28可將似內插濾波用於整體像素位置以便產生經調整整數像素值。視訊編碼器22或視訊解碼器28可(例如)獲得像素區塊，其中該等像素區塊包括對應於像素區塊內之整體像素位置的整數像素值。視訊編碼器22或視訊解碼器28可：基於該等像素區塊內之其他整數像素值來對整數像素值濾波以產生經調整整數像素值，其中該等經調整整數像素值對應於整體像素位置；且基於該等經調整整數像素值來產生一預測區塊。接著，取決於該程序是在編碼期間執行還是在解碼期間執行，可使用該預測區塊來對視訊區塊編碼或解碼。
若該技術係在編碼程序期間執行，則視訊編碼器22可按照正編碼之當前視訊區塊與該預測區塊之間的差異來產生殘差視訊區塊。視訊編碼器22亦可針對整體濾波而每經編碼單元對一組濾波器係數編碼，或可能在經編碼單元內之不同位置處針對整體濾波而每經編碼單元對兩組或兩組以上濾波器係數編碼。在圖6之實例中，用於整體濾波之濾波器支援可定義二維濾波器，例如，具有偏差之5x5濾波器。此外，用於該濾波之至少一些係數之間可存在係數對稱性，以使得判定該濾波器之所有25個係數僅需要該25個不同係數之一子集。可根據整體圖元濾波而使用許多其他濾波器大小及形狀。
若在解碼程序期間執行該整體圖元濾波，則該技術可包含按照與正解碼之當前視訊區塊相關聯之殘差視訊區塊與該預測區塊之和而產生經重建視訊區塊。在此種情況下，解碼器件(例如，目的器件16)亦可針對整體濾波而每經編碼單元接收一組濾波器係數，或可在經編碼單元內之不同位置處針對整體濾波而每經編碼單元接收兩組或兩組以上濾波器係數。每一經編碼單元可具有一或多組整體圖元濾波係數以及多組子圖元濾波係數，例如，可用於產生用於半圖元位置及四分之一圖元位置之所有十五組的八組。
且，整數像素值之似內插濾波可具體言之在照度改變、場景淡入或淡出期間改良壓縮，可移除雜訊且促進影像圖框銳化，且可尤其在未對濾波器係數強加對稱性時幫助改良連續視訊圖框之間的精細物件移動之編碼。此外，亦發現整體圖元濾波在具有焦點改變之視訊序列中極適用(例如，以改良壓縮)。
習知地，在AIF中不對整體像素位置執行似內插濾波。實情為，僅「按原樣地」使用參考圖框中之相應整體像素位置。然而，根據本發明，可以類似於內插之方式來將濾波器用於整體像素位置。對整體像素位置內插濾波在技術上為誤稱，因為整體像素位置之像素值已存在。因此，整體像素位置之濾波在本文中被稱為似內插濾波，且可被視為僅對整數像素值濾波以產生新的經調整像素值。
不同於子像素位置之內插濾波(在其中，目標為獲得在參考圖框中不存在之值)，在參考圖框中之整體位置處之像素已存在。然而，對參考圖框中之整體像素位置應用濾波提供許多益處。舉例而言，當整體像素位置含有偏差時，該等整體像素位置之濾波可允許更好地捕獲圖框之間的照度改變。另外，對整體像素位置濾波可允許整體像素位置捕獲諸如淡入及淡出之特效。對整體像素位置濾波亦可移除特定信號雜訊(諸如，相機雜訊)及/或執行銳化(若需要)。此外，若無對稱性強加於整體像素濾波器，則整體像素濾波器可幫助捕獲精細物件移動，諸如並非為四分之一像素之倍數的物件移動。最後，當發生焦點改變時，整體像素濾波亦可適用於改良視訊序列之壓縮。
在一些情況下，整體像素位置之內插濾波可取決於運動向量。換言之，預測單元32之MC單元37可基於由ME單元35識別之運動向量來適應性地應用內插濾波。舉例而言，在運動向量指向整體像素位置時，可執行整體像素位置之內插濾波。該內插濾波可導致用於整體像素位置之經調整像素值。當運動向量指向子像素位置時，不執行關於整數像素值的整體像素位置之濾波，但濾波可用於子像素值之內插。以此方式，可基於運動向量而將整體像素濾波視為適應性的。
對於整體像素位置，可使用用於導出子像素位置濾波器的相同分析程序來導出呈方程式(15)之形式的5x5內插濾波器。
其中pFP為經濾波整數像素值，Pi,j為位置(i，j)處之整數像素值，hFP i,j為用於位置(i,j)之係數，且oFP為濾波器偏差。在一些情況下，用於整體像素位置之內插濾波器可不具有濾波器偏差(亦即，oFP=0)。在其他情況下，濾波器偏差oFP可使用許多技術中之任一者。
可針對每一子像素位置定義不同偏差，例如，可針對圖3所示之每一子像素位置定義十五個不同偏差。可針對整體像素定義另一偏差，進而使總偏差數為十六。為Karczewicz等人申請且標題為「OFFSETS AT SUB-PIXEL RESOLUTION」之具有檔案號碼081399U2的同在申請中且共同讓與之美國專利申請案第　　　號提供關於將許多偏差用於不同像素及子像素位置的許多額外細節，該專利申請案與本申請案在同一天申請且以引用之方式併入本文中。
為了減少待傳輸之濾波器係數的數目，可將如方程式(16)中之係數對稱性強加於整體像素濾波器。
亦可使用其他形式之係數對稱性。是否強加係數對稱性可由編碼器來決定且用信號通知解碼器。若對整體像素濾波器使用如(16)中之對稱性，則可需要將9個濾波器係數及1個偏差發送至解碼器。
可藉由首先對整數偏差編碼且接著對每一分數偏差編碼來進行偏差之編碼。在此種情況下，以不同方式來對整數偏差及分數偏差編碼。可使用帶有正負號之指數哥倫布碼來對整數偏差編碼。取決於整數偏差之量值，可與整數偏差不同地來量化分數偏差。舉例而言，當整數偏差具有大量值時，可將較粗級別之量化應用於分數偏差。在量化後，可使用固定長度碼來對分數偏差編碼。作為一實例，以下偽碼可說明可如何使用基於整數偏差值而定義之不同固定長度碼來對給定分數偏差編碼。
在此種情況下，視訊編碼器50可使用係數預測及量化單元41，係數預測及量化單元41針對偏差值中之每一者將第一數目個位元指派給給定偏差值之整數部分且將第二數目個位元指派給該給定偏差值之分數部分，其中該第一位元數目及該第二位元數目係基於該整數部分之量值來判定。在此種情況下，在與上述偽碼一致地執行偏差值之量化後，可將偏差值之經量化版本作為預測語法元素自預測單元32轉發。在任何情況下，視訊編碼器50可以與第二數目個位元不同之方式來對第一數目個位元編碼。
圖7為與本發明一致的說明四個整體像素位置及十五個子像素位置的概念圖，其中陰影用以聚集可使用濾波器係數之像素對稱性的像素位置。特定言之，圖7說明對應於整體像素位置C3的子像素位置「a」至「o」。圖7所示之子整體像素位置對應於圖4及圖5所示之子整體像素位置。亦即，子像素位置「e」、「f」、「g」、「i」、「j」、「k」、「m」、「n」及「o」可具有藉由如圖4所示之十二像素支援來判定的值，而子像素位置「a」、「b」及「c」以及子像素位置「d」、「h」及「l」可具有藉由圖5所示之水平及線性像素支援來判定的值。
在此種情況下，可強加像素對稱性，以使得用於像素位置「a」之濾波器係數與用於像素位置「c」之濾波器係數對稱。類似地，可強加像素對稱性，以使得用於像素位置「d」之濾波器係數與用於像素位置「l」之濾波器係數對稱。可強加像素對稱性，以使得用於像素位置「e」之濾波器係數與用於像素位置「g」、「m」及「o」之濾波器係數對稱，且可強加像素對稱性，以使得用於像素位置「i」之濾波器係數與用於像素位置「k」之濾波器係數對稱，且可強加像素對稱性，以使得用於像素位置「f」之濾波器係數與用於像素位置「n」之濾波器係數對稱。因此，可僅需要將八組係數值作為視訊位元流之一部分來傳達，以便使解碼器能夠產生用於所有十五個像素位置的多組完全係數值。此外，對於任一組給定係數，係數對稱性可允許僅發送該等係數值之一子集，且解碼器可基於該子集及係數對稱性來產生一給定像素位置之該組完全係數值。
本發明之一態樣為實際上移除子像素位置「a」及「c」與子像素位置「d」及「l」之間的任何像素對稱性。另外，可避免相對於子像素位置「i」之子像素位置「f」之像素對稱性。另外，可避免相對於子像素位置「n」之子像素位置「k」之像素對稱性。在此等情況下，對角相關可為低的，進而使得強加對角對稱性為效率低或無效的。以此方式，用於產生所有十五組係數的該八組係數可為比一些習知技術大之組，只要避免該等像素位置中之一些在對角維度上之對稱性。在一些情況下，可消除或避免對角像素對稱性及對角係數對稱性以允許垂直維度上之變化。
再次參看圖1，視訊編碼器22可判定八組濾波器係數且使用該八組濾波器係數以基於係數對稱性及像素對稱性來產生對應於十五個不同子像素位置的所有十五組濾波器係數，且將該八組濾波器係數作為經編碼位元流之一部分來輸出。可針對該經編碼位元流之每一經編碼單元輸出八組濾波器係數，或可能可針對經編碼單元之不同區域輸出該八組濾波器係數的若干個出現。
該十五組濾波器係數對應於圖3所示之每一半圖元及四分之一圖元子像素位置，且該八組濾波器係數、係數對稱性及像素對稱性定義每一半圖元及四分之一圖元子像素位置的濾波器支援。目的器件16之視訊解碼器28可：將八組濾波器係數作為經編碼視訊位元流之一部分來接收；基於該八組濾波器係數來產生對應於十五個不同子像素位置的十五組濾波器係數；基於該十五組濾波器係數中之一者來產生用於視訊解碼之經內插預測性資料，其中該經內插預測性資料對應於該十五個不同子像素位置中之一者；且基於該經內插預測性資料來對一或多個視訊區塊解碼。
該八組濾波器係數中之至少一些可具有係數對稱性，以使得具有係數對稱性之給定組包含與相關聯於該給定組之給定子像素位置之濾波器支援相關聯的濾波器係數的子集。因此，視訊解碼器28可至少部分基於兩個或兩個以上之不同子像素位置之間的像素對稱性來產生該十五組濾波器係數。此外，視訊解碼器28可至少部分基於兩個或兩個以上之不同子像素位置之間的像素對稱性且至少部分基於針對給定組定義之係數對稱性來產生該十五組濾波器係數，以使得具有係數對稱性之該給定組包含與相關聯於該給定組之給定子像素位置之濾波器支援相關聯的濾波器係數之子集。
且，該十五組可對應於每一半圖元及四分之一圖元子像素位置。該十五組濾波器係數中之不同者之間在垂直維度上及在水平維度上可存在像素對稱性，但該十五組濾波器係數中之至少一些在對角維度上可不存在像素對稱性。如下文更詳細地解釋，該八組中之兩組可定義用於水平濾波器支援的該十五組中之三組，該八組中之兩組可定義用於垂直濾波器支援的該十五組中之三組，且該八組中之四組可定義用於二維濾波器支援的該十五組中之九組。該二維支援可包含以放射狀形狀來圍繞九個子像素位置的適用12位置濾波器支援。
具體言之，經內插預測性資料可包含十五個半圖元值及四分之一圖元值(例如，展示於圖7中)，其中內插濾波器定義十二個濾波器支援位置之二維陣列(例如，展示於圖4中)，該十二個濾波器支援位置應用於定義該十五個半圖元值及四分之一圖元值中之九個且(例如)亦展示於圖4中。產生該經內插預測性資料可進一步包含應用定義該十五個半圖元值及四分之一圖元值中之六個(例如，如圖5所示)的濾波器支援位置的一維陣列的線性內插濾波器。
可看出關於子像素位置「a」與「c」或關於子像素位準「i」與「k」之水平對稱性、及對角對稱性的缺少。在此種情況下，子整體像素位置「a」與「c」沿著水平X軸對稱，但此等像素沿著對角軸不存在對稱性，以使得子像素位置「d」及「l」分別不與子像素位置「a」及「c」對稱。類似地，子像素位置「i」與「k」沿著水平X軸對稱，但此等像素沿著對角軸不存在對稱性，以使得子像素位置「f」及「n」分別不與子像素位置「i」及「k」對稱。
像素對稱性意謂關於第一子像素位置之第一組係數與關於第二子像素位置之第二組係數對稱。舉例而言，像素位置「a」與像素位置「c」具有像素對稱性，且像素位置「d」與像素位置「l」具有像素對稱性。像素位置「f」與像素位置「n」具有像素對稱性，且像素位置「i」與像素位置「k」具有像素對稱性。像素位置「e」與像素位置「g」、「m」及「o」具有像素對稱性。圖7中所示之陰影演示此像素對稱性，例如，其中共同陰影對應於與其他像素位置對稱的像素位置。在此種情況下，八個像素位置之係數(連同像素對稱性之態樣)可定義所有十五個像素位置的係數。另外，在一組給定係數內，可存在係數對稱性，以使得僅需要藉由位元流來傳達此組係數中之該等係數的一子集。
視訊編碼器22可基於經內插預測性資料來產生經編碼視訊資料，其中該經內插預測性資料包含十五個半圖元值及四分之一圖元值，其中內插濾波器定義應用於定義該十五個半圖元值及四分之一圖元值中之九個的十二個濾波器支援位置的二維陣列。基於經內插預測性資料而產生經編碼視訊資料可進一步包含應用定義該十五個半圖元值及四分之一圖元值中之六個的濾波器支援位置的一維陣列的線性內插濾波器。
圖8為說明相對於子像素位置「b」之六個水平線性像素支援位置C1-C6的概念圖，其中陰影展示係數對稱性。在此種情況下，係數對稱性意謂僅需要C1、C2及C3之三個濾波器係數以便定義濾波器支援位置C1-C6之整組係數。
C1與C6對稱，C2與C5對稱，且C3與C4對稱。因此，僅需要將三個係數作為經編碼視訊位元流之一部分來傳達以便定義內插子像素位置「b」所需之該組六個係數。
圖9為說明相對於一子像素之六個水平線性像素支援位置的概念圖，其中陰影展示任何係數對稱性之缺少。因此，需要所有六個係數以便定義關於子像素位置「a」的濾波器支援之該組係數。然而，如上所註明，像素對稱性意謂關於子像素位置「a」之此等相同係數亦可用於導出子像素位置「c」之濾波器支援(見圖7)。因此，僅需要將六個係數作為經編碼視訊位元流之一部分來傳達以便定義內插子像素位置「a」及「c」所需之兩組不同的六個係數。
圖10為說明相對於子像素「h」之六個垂直線性像素支援位置A3、B3、C3、D3、E3及F3的概念圖，其中陰影展示係數對稱性。在此種情況下，係數對稱性意謂僅需要A3、B3及C3之三個濾波器係數以便定義濾波器支援位置A3、B3、C3、D3、E3及F3之整組係數。A3與F3對稱，B3與E3對稱，且C3與D3對稱。因此，僅需要將三個係數作為經編碼視訊位元流之一部分來傳達以便定義內插子像素位置「h」所需之該組六個係數。
圖11為說明相對於一子像素之六個垂直線性像素支援位置的概念圖，其中陰影展示任何係數對稱性之缺少。
因此，需要所有六個係數以便定義關於子像素位置「d」的濾波器支援之該組係數。然而，如上所註明，像素對稱性意謂關於子像素位置「d」之此等相同係數亦可用於導出子像素位置「1」之濾波器支援(見圖7)。因此，僅需要將六個係數作為經編碼視訊位元流之一部分來傳達以便定義內插子像素位置「d」及「1」所需之兩組不同的六個係數。
圖12為說明相對於一子像素位置「e」之十二個二維像素支援位置(被展示為具有大寫字母及陰影的整體像素位置)的概念圖。陰影展示任何係數對稱性之缺少。因此，需要所有十二個係數以便定義關於子像素位置「e」的濾波器支援之該組係數。然而，如上所註明，像素對稱性意謂關於子像素位置「e」之此等相同係數亦可用於導出子像素位置「g」、「m」及「o」之濾波器支援(見圖7)。因此，12個係數定義子像素位置「e」之濾波器支援，且此等相同係數可用於導出子像素位置「g」、「m」及「o」之該組係數。
圖13為說明相對於一子像素「i」之十二個二維像素支援位置(被展示為具有大寫字母的整體像素位置)的概念圖，其中陰影展示係數對稱性。在此種情況下，係數對稱性意謂濾波器支援位置B3、B4、C2、C3、C4及C5之濾波器係數可用於定義濾波器支援位置E3、E4、D2、D3、D4及D5之濾波器係數。B3與E3對稱，B4與E4對稱，C2與D2對稱，C3與D3對稱，C4與D4對稱，且C5與D5對稱。因此，僅需要將六個係數作為經編碼視訊位元流之一部分來傳達以便定義內插子像素位置「i」所需之該組十二個係數。此外，如上所註明，子像素位置「i」可與子像素位置「k」具有像素對稱性。因此，六個係數之相同子集可定義子像素位置「i」及「k」之整組十二個濾波器係數。
圖14為說明相對於一子像素「f」之十二個二維像素支援位置(被展示為具有大寫字母的整體像素位置)的概念圖，其中陰影展示係數對稱性。在此種情況下，係數對稱性意謂濾波器支援位置C2、D2、B3、C3、D3及E3之濾波器係數可用於定義濾波器支援位置C5、D5、B4、C4、D4及E4之濾波器係數。C2與C5對稱，D2與D5對稱，B3與B4對稱，C3與C4對稱，D3與D4對稱，且E3與E4對稱。因此，僅需要將六個係數作為經編碼視訊位元流之一部分來傳達以便定義內插子像素位置「f」所需之該組十二個係數。此外，如上所註明，子像素位置「f」可與子像素位置「n」具有像素對稱性。因此，六個係數之相同子集可定義子像素位置「f」及「n」之整組十二個濾波器係數。
圖15為說明相對於一子像素「j」之十二個二維像素支援位置(被展示為具有大寫字母的整體像素位置)的概念圖，其中陰影展示係數對稱性。在此種情況下，係數對稱性意謂僅需要B3、C2及C3之三個濾波器係數以便定義濾波器支援位置B3、B4、C2、C3、C4、C5、D2、D3、D4、D5、E3及E4之整組十二個係數。C3與C4、D3及D4對稱，C2與D2、C5及E4對稱，且B3與B4、E3及D5對稱。因此，僅需要將三個係數作為經編碼視訊位元流之一部分來傳達以便定義內插子像素位置「j」所需之該組十二個係數。
圖16為說明一視訊解碼器之實例的方塊圖，該視訊解碼器可對以本文所描述之方式編碼之視訊序列解碼。視訊解碼器60為在本文中被稱為「編碼器」之特定視訊電腦器件或裝置的一實例。視訊解碼器60包括一熵解碼單元52，熵解碼單元52對所接收位元流熵解碼以產生經量化係數及預測語法元素。該等預測語法元素可包括一編碼模式、一或多個運動向量、識別用以產生子像素資料之內插技術的資訊、內插濾波中所使用之係數及/或與預測區塊之產生相關聯的其他資訊。
將預測語法元素(例如，係數)轉發至預測單元55。若使用預測來相對於與固定濾波器之係數對該等係數編碼或相對於彼此來編碼，則係數預測及逆量化單元53可對該等語法元素解碼以定義實際係數。又，若將量化應用於預測元素中之任一者，則係數預測及逆量化單元53亦可移除此量化。根據本發明，可對濾波器係數(例如)預測性編碼且量化，且在此種情況下，係數預測及逆量化單元53可由視訊解碼器60用以對此等係數預測性解碼且解量化。
預測單元55可基於該等預測語法元素及儲存於記憶體62中之一或多個先前解碼之區塊以與在上文關於視訊編碼器50之預測單元32詳細描述之方式大致相同之方式來產生預測資料。特定言之，預測單元55可在運動補償期間執行本發明之內插濾波技術中之一或多者以在特定精度(諸如，四分之一像素精度)下產生一預測區塊。因而，本發明之技術中之一或多者可由視訊解碼器60用於產生一預測區塊。預測單元55可包括一運動補償單元，該運動補償單元包含用於本發明之內插及似內插濾波技術的濾波器。為了說明之簡單及簡易起見，運動補償組件未展示於圖16中。
逆量化單元56對量化係數逆量化(亦即，解量化)。逆量化程序可為針對H.264解碼定義之程序。逆變換單元58將一逆變換(例如，逆DCT或概念上類似之逆變換程序)應用於變換係數以便在像素域中產生殘差區塊。求和器64將該殘差區塊與由預測單元55產生之相應預測區塊相加以形成由視訊編碼器50編碼之原始區塊的經重建版本。若需要，亦可應用去區塊濾波器來對經解碼區塊濾波以便移除成塊性假影。接著將該等經解碼視訊區塊儲存於參考圖框儲存器62中，參考圖框儲存器62對後續運動補償提供參考區塊且亦產生經解碼視訊以驅動顯示器件(諸如，圖1之器件28)。
NS-AIF技術可使用具有36位置濾波器支援(亦即，2D 6x6濾波器支援)之內插濾波器來計算2D子像素位置的像素值。S-AIF使用可分離整體像素位置作為濾波器支援以用於首先在水平方向上進行內插濾波接著在垂直維度上進行內插濾波。D-AIF使用與NS-AIF相比較不複雜之內插濾波器來計算2D子像素位置。在D-AIF中，使用具有6位置濾波器支援或12位置對角濾波器支援的內插濾波器來計算2D子像素位置。
使用如D-AIF中之對角濾波器支援的一個缺點為濾波中所使用之整體像素位置遠離待內插之當前位置。隨著待內插之當前位置與用作濾波器支援之像素位置之間的距離增加，空間像素相關性減小。因而，D-AIF中所使用之對角濾波器支援較不適於形成準確預測。
為了使用與待內插之位置具有較高相關性的像素(亦即，更接近於待內插之位置或與待內插之位置相距較短距離的像素位置)來提供更好的預測，同時維持由D-AIF提供之相同低複雜性，可使用圖4所示之12位置濾波器支援來內插。本發明中所描述之12位置濾波器支援中所使用的整體像素位置包括圍繞子像素位置之四個整體像素位置(亦即，整體像素位置C3、C4、D3及D4)，該四個整體像素位置被稱為「角落」整體像素位置，因為其位於2D子像素位置之角落附近。除了該等角落整體像素位置外，緊鄰於該等角落整體像素位置的一或多個整體像素位置亦可用於濾波器支援中。緊鄰於角落整體像素位置之整體像素位置可包括緊靠在角落整體像素位置上方(朝著頂部或朝北)或緊靠在其下方(朝著底部或朝南)的整體像素位置以及緊靠在角落整體像素位置的左方(或朝西)或緊靠在其右方(或朝東)的整體像素位置。在圖4所說明之實例中，12位置濾波器支援可包括整體像素位置B3、B4、C2、C3、C4、C5、D2、D3、D4、D5、E3及E4。所有此等整體像素位置皆位於待內插之子像素的兩個整體像素位置內。
然而，根據本發明之技術的濾波器支援可包括額外整體像素位置。舉例而言，濾波器支援可包括位於待內插之子像素位置的形成放射狀形狀之三個整體像素位置內的整體像素位置。
可基於位於至少兩個整體像素位置內之整體像素位置來內插甚至四分之一像素位置或較精細解析度。以此方式，本發明之濾波器支援技術使用與待內插之位置具有較高相關性的整體像素來提供更好之內插預測，同時維持由D-AIF提供之相同低複雜性。
如上所述，子像素對稱性可對一群一或多個子像素位置實行同一組濾波器係數(及該組濾波器係數之經鏡射、反轉及/或旋轉版本)。使用分析程序(諸如方程式(5)中之分析程序)可用以導出所有子像素位置(例如，在四分之一像素精度之情況下為十五個子像素位置)的內插濾波器係數。對十五組內插濾波器係數間之相關性的分析揭露在相同維度(例如，垂直維度或水平維度)上之子像素位置(1D及2D子像素位置兩者)之濾波器係數之間的相對強之相關性。相比而言，在不同對角方向上之子像素位置之濾波器係數之間的相關性可顯著較弱。
舉例而言，子像素位置「a」與「c」(其均在水平維度上)之濾波器係數之間可存在高相關性。作為另一實例，子像素位置「d」與「l」(其均在垂直維度上)之濾波器係數之間可存在高相關性。然而，在水平維度上之子像素位置「a」與在垂直維度上之子像素位置「d」之濾波器係數之間可存在很少相關性(若存在相關性)。基於對相關性之此等觀測，子像素對稱性可經設計，以使得不對在對角維度上之子像素位置的濾波器係數強加子像素對稱性。如本文所描述，此導致八組係數，其可為比一些習知方法所需要之係數組更多的係數組。藉由消除一些像素位置之對角像素對稱性，如本文所描述，可改良視訊編碼及壓縮。
且，圖7展示屬於具有子像素對稱性之一群子像素位置的具有相同陰影(或影線)的像素位置。特定言之，子像素位置「a」及「c」形成具有子像素對稱性之第一群，子像素位置「d」及「l」形成具有子像素對稱性之第二群，子像素位置「e」、「g」、「m」及「o」形成具有子像素對稱性之第三群，子像素位置「f」及「n」形成具有子像素對稱性之第四群，且子像素位置「i」及「k」形成具有子像素對稱性之第五群。子像素位置「b」、「h」及「j」不與任何其他子像素位置具有子像素對稱性。因而，子像素位置「b」、「h」及「j」可被視為屬於其自身的群；分別為第六群、第七群及第八群。每一群係數(其可歸因於係數對稱性而為子集)可每經編碼單元傳達一次，或可能在針對經編碼單元之不同區域或特徵定義不同類型之濾波時每經編碼單元傳達多次。用於整體圖元似內插濾波的係數亦可每經編碼單元發送一次或若干次。
在NS-AIF及D-AIF中，在相同維度上之子像素位置(例如，在垂直維度上之兩個子像素位置或在水平維度上之兩個子像素位置)之間存在子像素對稱性。在一些習知NS-AIF及D-AIF中，在不同維度上之子像素位置之間在對角方向上亦存在對稱性。舉例而言，在一些習知NS-AIF及D-AIF中，在垂直維度上之子像素位置「a」與在水平方向上之子像素位置「d」之間存在子像素對稱性。在水平、垂直及對角維度上具有子像素對稱性之情況下，對於四分之一像素精度，可使用少達五組之獨特內插濾波器係數。
另一方面，對於一些類型之S-AIF，在垂直方向(或維度)上之子像素位置之間存在子像素對稱性，但在水平維度上之子像素位置之間不存在子像素對稱性。換言之，在相同維度上之子像素位置不始終存在子像素對稱性。在對角維度上亦不存在子像素對稱性。因此，一些S-AIF方案之對稱性需要更多組內插係數。特定言之，對於四分之一像素精度，一些S-AIF方案需要十一組獨特內插係數。
本發明中所描述且圖7中所說明之子像素對稱性方案可導致比在上文關於一些類型之NS-AIF及D-AIF所描述之子像素對稱性更準確的預測。特定言之，圖7之子像素對稱性方案在一維度上(例如，在水平方向或垂直方向上)強加子像素對稱性，但不同時在兩個維度上(例如，對角方向上)強加子像素對稱性。
藉由不在對角方向上對子像素位置強加子像素對稱性，不將在不同維度上之內插濾波器係數及子像素位置之間的弱相關性整合至內插中。雖然可需要更多組內插係數(例如，八組而非五組)，但所得經內插預測資料可更準確。以大致相同之方式，亦可避免或消除對角係數對稱性。
預測單元32亦可如上所述地強加係數對稱性。特定言之，對在一維度(例如，水平方向或垂直方向)上之濾波器係數強加係數對稱性，但不以對角方式對兩個維度上之濾波器係數強加係數對稱性。舉例而言，不迫使子像素位置「e」之濾波器係數如在上文所述且在方程式(11)中所表示之NS-AIF方案中在對角方向上對稱。在下文在方程式(17)至(21)中總結係數對稱性。
應注意，對於子像素位置「f」、「i」及「j」，在可使用關於圖4詳細描述之12位置濾波器的情況下，一些濾波器係數(亦即，)等於零。因而，本發明所描述之子像素對稱性及係數對稱性可與濾波器支援技術結合使用或與濾波器支援技術分開使用。當與圖4所描述之12位置濾波器支援結合使用時，存在需要發送至解碼器之此等子像素位置之6(a)+3(b)+6(d)+3(h)+12(e)+6(f)+6(i)+3(j)=45個獨特係數，亦即，用於包括子像素位置「a」之群之6個係數、用於包括子像素位置「b」之群之3個係數、用於包括子像素位置「d」之群之6個係數、用於包括子像素位置「h」之群之3個係數、用於包括子像素位置「e」之群之12個係數、用於包括子像素位置「f」之群之6個係數、用於包括子像素位置「i」之群之6個係數及用於包括子像素位置「j」之群之3個係數。
圖17為說明與本發明一致的利用十二像素濾波器支援的視訊編碼器之實例操作的流程圖。將自圖2之視訊編碼器50之觀點來描述圖17之技術，但是其他器件可執行類似技術。如圖所示，在圖17中，預測單元32之MC單元37自記憶體34獲得包括對應於整體像素位置之整數像素值的像素區塊(171)。濾波器39基於包含圍繞子像素位置之十二個或更多個位置的濾波器支援來計算子像素值(172)。如上文更詳細地解釋，十二位置濾波器支援可用以產生十五個可能子像素內插中之九個，而線性水平濾波及線性垂直濾波可用以產生十五個可能子像素內插中之六個。
MC單元37接著基於所計算子像素值來產生預測區塊(173)。特定言之，MC單元37可產生並輸出包含經內插子像素值的經內插預測區塊。加法器48可接著(例如)藉由自正編碼之視訊區塊減去該經內插預測區塊以產生殘差區塊基於該經內插預測區塊來對當前視訊區塊編碼(174)。可接著分別由變換單元38及量化單元40來對該殘差區塊變換及量化。在由熵編碼單元46熵編碼後，視訊編碼器50可輸出經編碼視訊位元流及濾波器資訊(175)。如本文所描述，該濾波器資訊可包含用於產生用於十五個子圖元位置的所有十五組係數的八組係數。該濾波器資訊可每經編碼單元輸出一次，或可能在經編碼單元之不同區域使用不同類型之子圖元內插時每經編碼單元輸出若干次。
圖18為說明與本發明一致的利用十二像素濾波器支援的視訊解碼器之實例操作的流程圖。因此，圖18之程序可被視為與圖17之編碼程序相反的解碼程序。將自圖16之視訊解碼器60之觀點來描述圖18，但是其他器件可執行類似技術。如圖18所示，視訊解碼器60接收經編碼視訊區塊及濾波器資訊(181)。熵解碼單元52可對此所接收資訊熵解碼。預測單元55根據本發明之技術來執行內插運動補償。特定言之，預測單元55自記憶體62獲得包括對應於整體像素位置之整數像素值的像素區塊(182)。預測單元55可使用所接收運動向量來判定如何執行內插。基於該等運動向量，預測單元55可基於包含圍繞子像素位置之十二個或更多個位置的濾波器支援來計算子像素(183)。以此方式，預測單元55使用內插來產生該預測區塊(184)。該預測區塊可用以藉由調用加法器64以將該預測區塊加入殘差視訊區塊來對該殘差區塊解碼(185)。本文所描述之內插的各種態樣(包括以放射狀形狀圍繞子像素位置之十二位置濾波器支援的使用)可藉由提供品質比習知技術更好的內插資料來改良視訊編碼。
圖19為說明與本發明一致的利用係數對稱性及像素對稱性的視訊編碼器之實例操作的流程圖。將自圖2之視訊編碼器50之觀點來描述圖19之技術，但是其他器件可執行類似技術。如圖所示，在圖19中，如本文所描述，視訊編碼器50之預測單元32基於係數對稱性及像素對稱性來定義十五個子像素位置的八組濾波器係數(201)。特定言之，預測單元32可使用像素對稱性來將該多組係數自十五組減少至八組，且可基於給定係數組之係數之間的係數對稱性來進一步減少該八組中之一些或所有的係數之數目。預測單元32可接著使用內插濾波器(諸如，濾波器39)及該八組濾波器係數來對視訊資料編碼(202)。視訊編碼器50可輸出經編碼視訊資料及該八組濾波器係數(203)。該八組係數(其經編碼且在位元流中輸出)可隨每一經編碼單元(例如，每一圖框或切片)發送，以使得解碼器件可被告知用於內插之該等濾波器係數。或者，八組係數之不同群可經編碼且隨每一經編碼單元發送以在經編碼單元內之不同位置處致能不同類型之內插。
圖20為說明與本發明一致的利用係數對稱性及像素對稱性的視訊解碼器之實例操作的流程圖。在此種情況下，視訊解碼器60之預測單元55接收八組濾波器係數(191)，且基於該八組濾波器係數、係數對稱性及像素對稱性來產生十五組濾波器係數。預測單元60可接著程式化其內插濾波器且應用此等內插濾波器以便適當地產生經內插預測性資料(193)。視訊解碼器60可接著基於該預測性資料來對視訊區塊解碼(194)，例如，調用加法器64以將由預測單元55內插之正確預測性資料加入待解碼之殘差區塊。
圖21為說明與本發明一致的利用整體像素位置之濾波來產生經調整整數像素值的視訊編碼器之實例操作的流程圖。此在上文中被論述為似內插濾波，只要其類似於內插，但不產生子整數值。實情為，此程序產生基於原始整數值及圍繞原始整數值之其他整數值來濾波的新整數值。
將自圖2之視訊編碼器50之觀點來描述圖21，但是其他器件可執行類似技術。如圖所示，在圖21中，預測單元32之MC單元37自記憶體34獲得包括對應於整體像素位置之整數像素值的像素區塊(211)。預測單元32之濾波器39基於該像素區塊之其他整數像素值來對該等整數像素值濾波以產生經調整整數像素值(212)。預測單元32基於該等經調整整數像素值來產生預測區塊(213)，且視訊編碼器50基於該預測區塊來對視訊區塊編碼(214)，例如，調用加法器48以自正編碼之視訊區塊減去該預測區塊以產生殘差區塊。在由變換單元38及量化單元40對該殘差區塊變換及量化後，且在由熵編碼單元46熵編碼後，視訊編碼器50輸出經編碼視訊區塊及濾波器資訊(215)。如同子圖元內插，關於整體像素位置之似內插濾波可包含每經編碼單元輸出並傳達濾波器資訊一次或可能在經編碼單元之不同區域使用不同類型之整體似內插濾波時每經編碼單元輸出並傳達濾波器資訊若干次。
圖22為說明與本發明一致的利用整體像素位置之濾波來產生經調整整數像素值的視訊解碼器之實例操作的流程圖。視訊解碼器60之預測單元55接收經編碼視訊區塊，且亦接收濾波器資訊(例如，每經編碼單元一次)(221)。預測單元55自記憶體62獲得包括對應於整體像素位置之整數像素值的像素區塊(222)。預測單元55作為運動補償之一部分來調用一濾波器(未圖示)以基於該像素區塊之其他整數像素值來對整數像素值濾波以產生經調整整數像素值(223)。預測單元55基於該經調整整數像素值來產生預測區塊(224)。視訊解碼器60可接著基於該預測區塊來對視訊區塊解碼，例如，調用加法器64以將由預測單元55內插之預測性區塊加入待解碼之殘差視訊區塊(225)。
圖23為說明用於基於兩組候選濾波器用於視訊編碼的由率失真定義之內插的技術的流程圖。在此種情況下，預測單元32之MC單元37可產生兩組或兩組以上之不同預測性資料，一組係基於第一組候選內插濾波器且另一組係基於第二組候選內插濾波器。MC單元37可接著使用基於率失真之分析以便選擇自率及失真之觀點哪一內插濾波器將產生最好的結果。以此方式，MC單元37不僅考慮哪組預測性資料將產生最好結果(亦即，最少失真)，且亦將考慮以下事實：一組候選濾波器可需要較少位元額外負擔以便將其濾波器係數傳送至解碼器。
如圖23所示，預測單元32之MC單元37基於一第一內插濾波器來產生用於視訊資料之編碼的第一經內插預測性資料(231)。在一實例中，該第一內插濾波器包含對應於由特定視訊編碼標準定義之濾波器的固定內插濾波器，諸如，對應於ITU-T H.264內插濾波器之濾波器。對於增加之精度，在一些情況下，該固定內插濾波器可對應於不具有用以產生四分之一像素值之半像素值的中間捨入的ITU-T H.264內插濾波器。在此種情況下，該固定內插濾波器可產生半像素值且可向上捨入此等值以達成達到半像素解析度之內插的目的。然而，就此等半像素值亦將用於達到四分之一像素解析度之內插而論，MC單元37可儲存該等半像素值之未經捨入版本且使用該等半像素值之未經捨入版本來進行達到四分之一像素解析度的任何內插。為Karczewicz等人申請且標題為「ADVANCED INTERPOLATION TECHNIQUES FOR MOTION COMPENSATION IN VIDEO CODING」之具有檔案號碼081399U1的同在申請中且共同讓與之美國專利申請案第　　　號提供關於不具有用以產生四分之一像素值之半像素值的中間捨入的內插濾波的許多額外細節，該專利申請案與本申請案在同一天申請且以引用之方式併入本文中。
接著，預測單元32之MC單元37基於第二內插濾波器來產生用於視訊資料之視訊編碼的第二經內插預測性資料(232)。在一實例中，該第二內插濾波器可包含適應性內插濾波器。在此種情況下，與適應性內插一致，MC單元37可定義待使用之濾波器係數。特定言之，MC單元37可執行適應性內插程序，其中MC單元37開始於預設濾波器係數，產生初步預測性資料，且接著在適應性程序中調整該等濾波器係數，以使得此等濾波器係數定義更合意之預測性資料。
一旦預測單元32之MC單元37已產生第一經內插預測性資料及第二經內插預測性資料兩者，MC單元37便可基於率失真分析來在該第一經內插預測性資料與該第二經內插預測性資料之間選擇(233)。以此方式，MC單元37不僅考慮哪一組預測性資料將產生最好結果(亦即，最少失真)，且MC單元37亦考慮第一內插濾波器相對於第二內插濾波器將需要之不同資料量(亦即，不同位元率)。值得注意的是，若使用固定內插濾波器(例如，作為第一內插濾波器)，則視訊編碼器50將不需要在位元流中對濾波器係數編碼，而若使用適應性內插濾波器(例如，作為第二內插濾波器)，則視訊編碼器50將需要對濾波器係數編碼。因此，率失真分析可藉由考量以下事實來判定哪組預測性資料將產生最好結果(亦即，最少率失真成本)：固定內插濾波器之使用不需要額外位元以便將濾波器係數傳送至解碼器。
更具體言之，基於率失真分析來在該第一經內插預測性資料與該第二經內插預測性資料之間選擇(233)可包含：在視訊資料係經由該第一經內插預測性資料來編碼時計算與視訊資料相關聯之第一率失真成本；在視訊資料係經由該第二經內插預測性資料來編碼時計算與視訊資料相關聯之第二率失真成本；及基於該第一率失真成本及該第二率失真成本來在該第一經內插預測性資料與該第二經內插預測性資料之間選擇。
在視訊資料係經由該第一經內插預測性資料來編碼時與視訊資料相關聯之率失真成本可包含一指示視訊資料與該第一經內插預測性資料之間的差異的第一差異量度(例如，像素值之均方差(MSE)或像素值之絕對差和(SAD)或像素值之平方差和(SSD))加上量化與濾波器係數之編碼相關聯的成本的第一值。在此種情況下，若該第一內插濾波器為固定內插濾波器，則可將量化成本之第一值定義為零。類似地，該第二率失真成本可包含指示視訊資料與該第二經內插預測性資料之間的差異的第二差異量度(MSE、SAD或SSD)加上量化與濾波器係數之編碼相關聯的成本的第二值。在該第二內插濾波器為適應性內插濾波器之情況下，量化與濾波器係數之編碼相關聯的成本的第二值可包含對適應性內插濾波器係數編碼所需要之位元數目(r)或可能地此數目(r)乘以拉格朗日(Lagrangian)乘數(λ)。
在基於率失真分析來在該第一經內插預測性資料與該第二經內插預測性資料之間選擇(233)後，預測單元32之MC單元37基於該選擇來對視訊資料編碼(234)且對指示該選擇之語法編碼(235)。該語法可包含定義解碼器應使用該第一內插濾波器還是該第二內插濾波器的一位元旗標或多位元旗標。可針對視訊序列之每一經編碼單元之複數個子像素位置中之每一者重複圖23之程序以指示解碼器應將該第一內插濾波器還是該第二內插濾波器用於該複數個子像素位置中之每一者。該等子像素位置可包含與達到四分之一像素解析度之內插一致的十五個可能子像素位置或可包含不同數目之子像素位置。亦可針對視訊序列之每一經編碼單元之整體像素位置重複圖23之程序以指示解碼器應將該第一內插濾波器還是該第二內插濾波器用於該整體像素位置。
一旦視訊編碼器50(圖2)已基於該選擇來對視訊資料編碼(234)且對指示該選擇之語法編碼(235)，數據機23及傳輸器24(圖1)便可調變該經編碼視訊資料及該語法並將其傳輸至目的器件16。在該第一內插濾波器為固定內插濾波器且該第二內插濾波器為適應性內插濾波器之情況下，在該語法指示該第二經內插預測性資料用以產生該經編碼視訊資料時，傳輸器24可傳輸濾波器係數，但在該語法指示該第一經內插預測性資料用以產生該經編碼視訊資料時，傳輸器24可不傳輸濾波器係數。以此方式，當該第一內插濾波器為固定內插濾波器且該第二內插濾波器為適應性內插濾波器時，若該語法指示使用適應性內插濾波，則僅發送濾波器係數，且是否使用適應性內插濾波之決定不僅考慮預測性視訊品質且亦考慮位元率，位元率受所傳輸位元流中之濾波器係數之存在的影響。然而，在其他實例中，該第一內插濾波器及該第二內插濾波器可均為固定內插濾波器，或可均為適應性內插濾波器。
本發明之技術可應用於許多情況下，包括在編碼器選擇兩組以上之濾波器時之情況。換言之，亦可應用額外內插濾波器以產生額外經內插預測性資料，在率失真分析中亦可考慮該額外經內插預測性資料。換言之，該方法不限於僅基於兩個內插濾波器來產生第一及第二經內插預測性資料，而是可應用於基於任何數目之內插濾波器來產生任何複數個經內插預測性資料。重要的是，使用率失真分析內插預測性資料來識別選擇哪一濾波器。在一實例中，由視訊編碼器50執行之方法可包含：基於複數個不同內插濾波器來產生用於視訊資料之編碼之預測性資料之複數個不同版本；基於率失真分析來在預測性資料之該複數個不同版本間選擇；基於該選擇來對該視訊資料編碼；及對指示該選擇之語法編碼。
除了基於率失真分析來選擇內插濾波器及產生指示該選擇之語法外，預測單元32之MC單元37亦可對整體像素濾波進行類似率失真分析，在上文對此進行更詳細地解釋。特定言之，預測單元32之MC單元37可針對整體像素位置產生兩組或兩組以上之不同預測性資料(例如，一組具有整體像素濾波且一組不具有整體像素濾波)，且可對此等兩個不同組進行率失真分析以便判定整體像素濾波是否為所要的。因此，預測單元32之MC單元37可基於與兩組不同整體預測性資料相關聯之率失真分析來產生另一語法元素以指示是否應將整體像素濾波應用於經編碼單元，其中第一組該整體預測性資料為未經濾波的且第二組該整體預測性資料為經濾波的。以此方式，尤其在整體像素濾波將包含用於執行此整體像素濾波之整體像素濾波器係數的編碼及發送時，是否進行整體像素濾波之決定可不僅基於視訊編碼之品質，且亦基於與整體像素濾波相關聯之可能位元額外負擔。整體濾波亦可考慮N個整體濾波器(例如，其中N為任何正整數且複數整數)。與N個整體濾波器之使用一致，上述實例將對應於N為二且該等濾波器中之一者不應用任何濾波的情況。
只要內插濾波器係數實際上經編碼且自源器件12發送至目的器件16，本發明亦涵蓋用於對此等內插濾波器係數編碼的技術。濾波器係數之所述編碼可改良資料壓縮。特定言之，本發明涵蓋用於濾波器係數(例如，相對於固定濾波器係數)之預測技術。另外，本發明涵蓋用於關於第一組濾波器係數之第二組濾波器係數的預測技術。以此等方式，不同濾波器係數之間的不完全對稱性可用以允許資料壓縮。除了將此等預測技術用於內插濾波器係數外，本發明亦提供適用量化技術及基於首碼及尾碼編碼來對內插濾波器係數進行之熵編碼。以下論述提供關於本發明之此等態樣的更多細節。
圖24為說明用於使用預測性編碼來對濾波器係數編碼的技術的流程圖。在此種情況下，可相對於固定濾波器之濾波器係數來對由視訊編碼器50使用之濾波器係數預測性編碼，在將濾波器係數作為經編碼位元流之一部分發送時，此可進一步改良資料壓縮。
如圖24所示，預測單元32之MC單元37識別用於視訊編碼中之預測性資料之內插的一組濾波器係數(241)。舉例而言，MC單元37可藉由執行適應性內插濾波程序來識別該組濾波器係數。在此種情況下，MC單元37可經由該適應性內插濾波程序來判定該組濾波器係數且基於在該適應性內插濾波程序中識別之濾波器係數來產生預測性資料。在適應性內插濾波中，如本文中更詳細地解釋，MC單元37可執行兩步做法，其中基於固定濾波器來產生預測性資料，且接著調整濾波器係數，以使得該預測性資料更類似於正編碼之視訊資料。接著，該等經調整濾波器係數定義所使用且編碼至位元流中的濾波器係數。
為了對濾波器係數編碼以使得可將此等濾波器係數作為位元流之一部分來傳輸，係數預測及量化單元41可基於相對於與固定內插濾波器相關聯之濾波器係數的該組濾波器係數之預測性編碼來產生與該組濾波器係數相關聯的殘差值(242)。特定言之，係數預測及量化單元41可自與固定濾波器(諸如，ITU-T H.264內插濾波器或不具有半像素值之中間捨入的ITU-T H.264內插濾波器)相關聯之相應濾波器係數減去在該適應性內插濾波程序中判定之濾波器係數。藉由對殘差值編碼並傳輸，而非傳輸實際濾波器係數，可減少在位元流中傳達之資料量。在此種情況下，解碼器可經程式化以獲知對濾波器係數編碼的方式。
視訊編碼器50可調用係數預測及量化單元41以預測並量化殘差係數，且熵編碼單元46可對經量化殘差係數熵編碼(243)。視訊編碼器50可接著將殘差值作為經編碼位元流之一部分來輸出(244)。與濾波器係數相關聯之殘差值的量化可包含量化殘差值，其中與不同濾波器係數相關聯的該等殘差值中之至少一些被指派不同量化級別。以此方式，係數預測及量化單元41可將較多量化指派給較大殘差係數，且可將較少量化指派給較精細之殘差係數，以便達成量化與準確性之所要平衡。當使用較多量化時，消除更多資料，但可達成更多壓縮。熵編碼單元46可藉由在殘差值之量化後對殘差值指派一首碼、指派一尾碼及指派一正負號值來對殘差值熵編碼。視訊編碼器50可接著將殘差值作為經編碼位元流之一部分來輸出(244)。
圖27為說明可經預測性編碼之一些說明性濾波器係數的概念圖。在此種情況下，濾波器係數O1、O2、O3及O4可定義與固定內插濾波器相關聯之濾波器係數。濾波器係數X1、X2、X3及X4可定義所要濾波器係數，其可相當類似於固定內插濾波器之濾波器係數。因此，可分別基於濾波器係數O1、O2、O3及O4來預測濾波器係數X1、X2、X3及X4。特定言之，第一殘差可按照X1與O1之間的差異形成。類似地，第二殘差可按照X2與O2之間的差異形成，第三殘差可按照X3與O3之間的差異形成，且第四殘差可按照X4與O4之間的差異形成。該等殘差可包含比原始濾波器係數少之資料，藉此促進資料壓縮。
在一些情況下，該組濾波器係數包含定義與適應性內插濾波器相關聯之一整組濾波器係數之僅一部分的第一組濾波器係數，其中可由解碼器基於該第一組濾波器係數及係數對稱性來判定一第二組濾波器係數。舉例而言，可分別基於O1及O2來對濾波器係數X1及X2預測性編碼。然而，在此種情況下，X3及X4可與X1及X2對稱，且解碼器可經程式化以獲知強加此對稱性。因此，經由使用對稱性，在此簡單實例中，可自位元流消除係數X3及X4，且一旦對係數X1及X2進行預測性解碼，便可基於已知係數對稱性來在解碼器處計算係數X3及X4。
圖25為說明用於使用預測性編碼來對濾波器係數編碼的技術的另一流程圖。然而，在此種情況下，使用兩種不同類型之預測。如圖25所示，預測單元32之MC單元37識別用於視訊編碼中之預測性資料之內插的一組濾波器係數(251)。如同圖24之程序，在圖25中，MC單元37可藉由執行適應性內插濾波程序來識別該組濾波器係數。在此種情況下，MC單元37可經由該適應性內插濾波程序來判定該組濾波器係數且基於在該適應性內插濾波程序中識別之濾波器係數來產生預測性資料。在適應性內插濾波中，MC單元37可執行兩步做法，其中基於固定濾波器來產生預測性資料，且接著調整濾波器係數，以使得該預測性資料更類似於正編碼之視訊資料。接著，該等經調整濾波器係數定義所使用且編碼至位元流中的濾波器係數。
為了對濾波器係數編碼以使得可將此等濾波器係數作為位元流之一部分來傳輸，係數預測及量化單元41可基於相對於與固定內插濾波器相關聯之濾波器係數的預測性編碼來產生與第一組該等濾波器係數相關聯的第一組殘差值(252)。特定言之，係數預測及量化單元41可自與固定濾波器(諸如，ITU-T H.264內插濾波器或不具有半像素值之中間捨入的ITU-T H.264內插濾波器)相關聯之相應濾波器係數減去該第一組濾波器係數。接著，係數預測及量化單元41可基於相對於該第一組濾波器係數之預測性編碼來產生與第二組該等濾波器係數相關聯的第二組殘差值(253)。特定言之，係數預測及量化單元41可自該第一組係數之經鏡射或旋轉之值減去該第二組濾波器係數。因此，基於固定濾波器之係數來對該第一組係數預測性編碼，且基於該第一組係數來對該第二組係數預測性編碼。藉由產生殘差值而非使用實際濾波器係數，可減少在位元流中傳達之資料量。此外，藉由使用固定濾波器來預測該第一組係數且接著使用該第一組係數來預測該第二組係數，可相對於僅依賴於固定濾波器之預測來達成進一步資料壓縮。
如同圖24之程序，在圖25中，視訊編碼器50可調用係數預測及量化單元41以對殘差係數預測性編碼並量化，且熵編碼單元46可對經量化殘差係數熵編碼(254)。視訊編碼器50可接著將殘差值作為經編碼位元流之一部分來輸出(254)。且，與濾波器係數相關聯之殘差值的量化可包含量化殘餘值，其中與不同濾波器係數相關聯的該等殘差值中之至少一些被指派不同量化級別。以此方式，係數預測及量化單元41可將較多量化指派給較大殘差係數，且可將較少量化指派給較精細之殘差係數，以便達成量化與準確性之所要平衡。熵編碼單元46可藉由在殘差值之量化後對殘差值指派一首碼、指派一尾碼及指派一正負號值來對殘差值熵編碼。視訊編碼器50可接著將殘差值作為經編碼位元流之一部分來輸出(255)。
圖28為說明與圖25之程序一致的可經預測性編碼之一些說明性濾波器係數的概念圖。在此種情況下，濾波器係數O1及O2可定義與固定內插濾波器相關聯之濾波器係數。濾波器係數X1及X2可定義第一組該等所要濾波器係數，其可相當類似於固定內插濾波器之濾波器係數。因此，可分別基於濾波器係數O1及O2來預測濾波器係數X1及X2。特定言之，第一殘差可按照X1與O1之間的差異形成，且第二殘差可按照X2與O2之間的差異形成。該等殘差可包含比原始濾波器係數少之資料，藉此促進資料壓縮。該等殘差接著由係數預測及量化單元41來量化且由熵編碼單元46來熵編碼。及可指藉由將經解量化殘差加入預測濾波器係數O1及O2來產生之經修改濾波器係數。
接著，可基於第一組係數X1及X2(例如，具體言之，自基於係數X1及X2而定義之係數及)來對第二組濾波器係數Z1及Z2預測性編碼。特定言之，第三殘差可按照Z1與之間的差異形成，且第四殘差可按照Z2與之間的差異形成。及可比O1及O2更類似於Z1及Z2，且因此，藉由使用及來對Z1及Z2預測性編碼，可促進進一步資料壓縮。
圖26為說明用於使用預測性編碼來對濾波器係數解碼的技術的流程圖。將自圖16之視訊解碼器60之觀點來描述圖26。如圖所示，視訊解碼器60接收與一組濾波器係數相關聯之殘差值(261)。視訊解碼器60可經由熵解碼單元52來對該等殘差值熵解碼，且可調用係數預測及逆量化單元53來對該等殘差值解量化(262)，該等殘差值接著發送至預測單元55。預測單元55使用該等殘差值之預測性解碼來產生該組濾波器係數(263)。
特定言之，預測單元55可基於該等殘差值及與固定內插濾波器相關聯之濾波器係數來產生該整組濾波器係數(例如，如在圖27中概念性地說明且在上文在編碼之情形下所解決)。在一些情況下，可基於該等殘差值及與固定內插濾波器相關聯之濾波器係數來產生第一組濾波器係數，且可基於對稱性來產生第二組濾波器係數。在其他情況下，可基於該等殘差值及與固定內插濾波器相關聯之濾波器係數來產生第一組濾波器係數，且可基於額外殘差值及該第一組濾波器係數來產生第二組濾波器係數(例如，如在圖28中概念性地說明且在上文在編碼之情形下所解決)。在任何情況下，視訊解碼器60之預測單元55應用該組濾波器係數來內插用於視訊區塊之預測性解碼的預測性資料(264)。特定言之，預測單元55對資料濾波以使用經預測性解碼之濾波器係數來產生經內插預測性資料，以使得可基於此經內插預測性資料來對視訊區塊解碼。
且，該組經預測性解碼之濾波器係數可包含定義與適應性內插濾波器相關聯之整組濾波器係數之僅一部分的第一組濾波器係數。在此種情況下，視訊解碼器60之係數預測及逆量化單元53可基於該第一組濾波器係數及係數對稱性來產生第二組濾波器係數，且應用該第一組及該第二組濾波器係數來內插該預測性資料。
在另一種情況下，該組經預測性解碼之濾波器係數可包含定義與適應性內插濾波器相關聯之整組濾波器係數之僅一部分的第一組濾波器係數。在此種情況下，視訊解碼器60可接收與該整組濾波器係數相關聯之額外殘差值。係數預測及逆量化單元53可基於額外殘差值及該第一組濾波器係數使用預測性解碼來產生第二組濾波器係數，且預測單元55可應用該第一組及該第二組濾波器係數來內插該預測性資料。
在一些情況下，基於H.264/AVC濾波器之固定內插濾波器可用以預測1-D濾波器(其可包括用於圖8、圖9、圖10及圖11中所示之子像素位置a、b、d、h的濾波器)。對於2-D濾波器(其包括用於圖12、圖13、圖14及圖15所示之子像素位置e、f、i及j的濾波器)，可使用以下預測方案中之一者：
1.將預定設定為零(無預測)，
2.使用固定濾波器預測，諸如，在訓練組內聚集之平均濾波器，亦即，，其中為用於子像素位置SP之平均濾波器的第(i,j)個濾波器係數。
3.採用該等係數之可能對稱性且使用已編碼之係數來預測剩餘係數。
對於1-D濾波器，亦可應用此三種預測方法中之任一種。
關於預測，圖29提供可使用預測技術來編碼的整體像素濾波器係數的陣列的實例。在此實例中，可假定無對稱性強加於該整體像素濾波器。首先可對係數(h0,0)、(h0,1)、(h1,0)、(h1,1)、(h2,0)、(h2,1)、(h0,2)、(h1,2)及(h2,2)量化並編碼。接著，可使用已編碼左上部係數(h0,0)、(h0,1)、(h1,0)、(h1,1)及(h2,0)來預測右上部係數(h0,3)、(h1,3)、(h2,3)、(h0,4)、(h1,4)及(h2,4)。接著，一旦對濾波器係數之上半部(h0,0)、(h0,1)、(h0,2)、(h0,3)、(h0,4)、(h1,0)、(h1,1)、(h1,2)、(h1,3)及(h1,4)量化並編碼，其可進一步用以預測濾波器係數之下半部(h3,0)、(h3,1)、(h3,2)、(h3,3)、(h3,4)、(h4,0)、(h4,1)、(h4,2)、(h4,3)及(h4,4)。可以類似方式來進行其他濾波器係數之預測。舉例而言，對於子像素位置「e」濾波器(見圖12)(其可在對角方向上具有一些對稱性)，可首先對右上部係數量化並編碼，且接著使用其來預測左下部係數。
在任何情況下，在係數之預測(例如，由預測單元32之係數預測及量化單元41進行)後，對預測誤差量化(例如，由係數預測及量化單元41進行)。如上文所概述，可使用所謂之「非均勻量化」。在此種情況下，由係數預測及量化單元41應用之量化精度可取決於係數位置。已發現，對於具有較小量值之係數(其通常為離濾波器之中心較遠的係數)，更好之精度可為所要的。相比而言，具有較大量值之係數(其通常為距濾波器之中心較近的係數)，較少精度為更合意的。
以下矩陣Q 1 D 、Q 2 D 、Q FP 可由係數預測及量化單元41用以分別指定1D濾波器、2D濾波器及整體像素濾波器中之係數的量化精度。應注意，在該等矩陣中所給出之位元數目可包括1個位元以對各別係數之正負號編碼。
係數預測及量化單元41可基於簡單首碼編碼方案來對經量化係數預測誤差(亦即，係數殘差)進行編碼。首先，將預測誤差之量值的動態範圍劃分成N個碼字組(例如，N=6)。若該量值之動態範圍為[0,...,2 q -1-1]，其中q為給定係數位置(諸如在上述矩陣中指定)之量化精度，則每一碼字組n(n=0,...N-1)可橫跨以下範圍：
在此種情況下，可使用一元首碼(其採用b+1個位元)來對碼字組b(b=0,...,N-1)(輸入量值m屬於其)編碼。接著，可使用(q-N+b-1)個位元的固定長度尾碼來對該量值之剩餘部分(m-b start )編碼。最後，使用1個位元來對預測誤差之正負號編碼。
舉例而言，對於1D濾波器中之中心係數，可由係數預測及量化單元41使用9位元精度來對預測誤差量化(亦即，q=9)，其中8個位元可用以對誤差量值量化。若誤差量值為97，則其落入第4個碼字組內，亦即，b=4。因此，一元首碼「11110」可經編碼以指示該第4個碼字組，且可使用(q-N+b-1)=(9-6+4-1)=6個位元之固定長度尾碼來對m-b start =97-64=33之剩餘量值來編碼。最後，可對位元「0」編碼以指示正號。
可在包括無線手機及積體電路(IC)或一組積體電路(亦即，晶片組)之廣泛各種器件或裝置中實施本發明之技術。提供已描述之任何組件、模組或單元以強調功能性態樣且未必要求藉由不同硬體單元來實現。
因此，可以硬體、軟體、韌體或其任何組合來實施本文所描述之技術。若以硬體來實施，則描述為模組、單元或組件之任何特徵可共同實施於整合式邏輯器件中或獨立地實施為離散但可共同操作之邏輯器件。若以軟體來實施，則該等技術可至少部分藉由電腦可讀媒體來實現，該電腦可讀媒體包含在處理器中執行時執行上述方法中之一或多者的指令。該電腦可讀媒體可包含一電腦可讀儲存媒體且可形成一電腦程式產品之一部分，該電腦程式產品可包括封裝材料。該電腦可讀儲存媒體可包含隨機存取記憶體(RAM)(諸如，同步動態隨機存取記憶體(SDRAM))、唯讀記憶體(ROM)、非揮發性隨機存取記憶體(NVRAM)、電可抹除可程式化唯讀記憶體(EEPROM)、快閃記憶體、磁性或光學資料儲存媒體，及其類似者。另外或其他，該等技術可至少部分藉由載運或傳達呈指令或資料結構之形式的程式碼且可由電腦存取、讀取及/或執行的電腦可讀通信媒體來實現。
可由諸如一或多個數位信號處理器(DSP)、通用微處理器、特殊應用積體電路(ASIC)、場可程式化邏輯陣列(FPGA)、或其他等效積體邏輯電路或離散邏輯電路的一或多個處理器來執行程式碼。因此，如本文所使用之術語「處理器」可指前述結構或適於實施本文所述之技術的任何其他結構中之任一者。另外，在一些態樣中，本文所描述之功能性可提供於經組態以用於編碼及解碼的專用軟體模組或硬體模組內或併入於組合之視訊編解碼器中。又，該等技術可完全實施於一或多個電路或邏輯元件中。
已描述本發明之各種態樣。此等及其他態樣係在以下[申請專利範圍]之範疇內。
10．．．視訊編碼及解碼系統
12．．．源器件
15．．．通信頻道
16．．．目的器件
20．．．視訊源
22．．．視訊編碼器
23．．．調變器/解調變器(數據機)
24．．．傳輸器
26．．．接收器
27．．．數據機
28．．．視訊解碼器
30．．．顯示器件
32．．．預測單元
34．．．記憶體
35．．．運動估計單元
37．．．運動補償單元
38．．．變換單元
39．．．濾波器
40．．．量化單元
41．．．係數預測及量化單元
42．．．逆量化單元
44．．．逆變換單元
46．．．熵編碼單元
48．．．加法器
50．．．視訊編碼器
51．．．求和器
52．．．熵解碼單元
53．．．係數預測及逆量化單元
55．．．預測單元
56．．．逆量化單元
58．．．逆變換單元
60．．．視訊解碼器
62．．．記憶體
64．．．求和器
A1-A6、B1-B6、C1-C6、D1-D6、E1-E6、F1-F6．．．像素位置
a-o．．．子像素位置
aa．．．A3與A4之間的內插
bb．．．B3與B4之間的內插
cc．．．C1與D1之間的內插
dd．．．C2與D2之間的內插
ee．．．C4與D4之間的內插
ff．．．C5與D5之間的內插
gg．．．C6與D6之間的內插
hh．．．D3與D4之間的內插
ii．．．E3與E4之間的內插
jj．．．F3與F4之間的內插
O1、O2、O3、O4．．．濾波器係數
X1、X2、X3、X4．．．濾波器係數
Z1及Z2．．．濾波器係數
圖1為說明可實施本發明之技術的一例示性視訊編碼及解碼系統的方塊圖。
圖2為說明與本發明一致的可執行濾波技術的視訊編碼器之實例的方塊圖。
圖3為說明與預測資料相關聯之整體像素位置及與經內插預測資料相關聯之子像素位置的概念圖。
圖4為說明關於九個子像素位置的12像素濾波器支援的概念圖。
圖5為說明關於三個水平子像素位置的水平6像素濾波器支援及關於三個垂直子像素位置的垂直6像素濾波器支援的概念圖。
圖6為說明用於對整體像素位置濾波的五像素x五像素濾波器支援的概念圖。
圖7為與本發明一致的說明四個整體像素位置及十五個子像素位置的概念圖，其中陰影用以聚集可使用濾波器係數之像素對稱性的像素位置。
圖8為說明相對於一子像素之六個水平線性像素支援位置的概念圖，其中陰影展示係數對稱性。
圖9為說明相對於一子像素之六個水平線性像素支援位置的概念圖，其中陰影展示任何係數對稱性之缺少。
圖10為說明相對於一子像素之六個垂直線性像素支援位置的概念圖，其中陰影展示係數對稱性。
圖11為說明相對於一子像素之六個垂直線性像素支援位置的概念圖，其中陰影展示任何係數對稱性之缺少。
圖12為說明相對於一子像素之十二個二維像素支援位置的概念圖，其中陰影展示任何係數對稱性之缺少。
圖13為說明相對於一子像素之十二個二維像素支援位置的概念圖，其中陰影展示係數對稱性。
圖14為說明相對於一子像素之十二個二維像素支援位置的概念圖，其中陰影展示係數對稱性。
圖15為說明相對於一子像素之十二個二維像素支援位置的概念圖，其中陰影展示係數對稱性。
圖16為說明一視訊解碼器之實例的方塊圖，該視訊解碼器可對以本文所描述之方式編碼之視訊序列解碼。
圖17為說明與本發明一致的利用十二像素濾波器支援的視訊編碼器之實例操作的流程圖。
圖18為說明與本發明一致的利用十二像素濾波器支援的視訊解碼器之實例操作的流程圖。
圖19為說明與本發明一致的利用係數對稱性及像素對稱性的視訊編碼器之實例操作的流程圖。
圖20為說明與本發明一致的利用係數對稱性及像素對稱性的視訊解碼器之實例操作的流程圖。
圖21為說明與本發明一致的利用對整體像素位置之濾波來產生經調整整數像素值的視訊編碼器之實例操作的流程圖。
圖22為說明與本發明一致的利用對整體像素位置之濾波來產生經調整整數像素值的視訊解碼器之實例操作的流程圖。
圖23為說明用於基於固定濾波器或適應性濾波器用於視訊編碼的由率失真定義之內插的技術的流程圖。
圖24為說明用於使用預測性編碼來對濾波器係數編碼的技術的流程圖。
圖25為說明用於使用預測性編碼來對濾波器係數編碼的技術的另一流程圖。
圖26為說明用於使用預測性編碼來對濾波器係數解碼的技術的流程圖。
圖27及圖28為說明可經預測性編碼的濾波器係數的概念圖。
圖29為可使用預測技術來編碼的整體像素濾波器係數的陣列的說明性實例。
(無元件符號說明)

Claims (44)

  1. 一種在一視訊序列之一經寫碼(coded)單元內之一視訊區塊之編碼(encoding)或解碼期間執行於一運動補償程序中之方法，其包含：自該運動補償程序中之一或多個參考視訊單元獲得像素區塊，其中該等像素區塊包含先前被解碼之經重建參考區塊且包括對應於該等像素區塊內之整數像素位置的整數像素值；在獲得該等像素區塊後且在子像素位置之一內插程序期間，對對應於由其他整數像素位置所圍繞之一整數像素位置之一整數像素值實施濾波，其中該濾波基於對應該等像素區塊內之該等其他整數像素位置之其他整數像素值及對應於該整數像素位置之一原始整數像素值以產生一經調整整數像素值，其中該經調整整數像素值對應於該整體像素位置；及在實施該濾波之後，至少部分基於該經調整整數像素值而在該視訊區塊之該編碼或解碼期間在該運動補償程序中產生一預測區塊。
  2. 如請求項1之方法，其中該方法係在一編碼程序期間執行，該方法進一步包含按照正編碼之一當前視訊區塊與該預測區塊之間的一差異來產生一殘差視訊區塊。
  3. 如請求項1之方法，其中該方法係在一編碼程序期間執行，該方法進一步包含針對整數濾波而每經寫碼單元對一組濾波器係數編碼。
  4. 如請求項1之方法，其中該方法係在一編碼程序期間執行，該方法進一步包含在每一經寫碼單元內之不同位置處針對整數濾波而每一經寫碼單元對兩組或兩組以上之濾波器係數編碼。
  5. 如請求項1之方法，其中實施該濾波包含應用一二維濾波器。
  6. 如請求項5之方法，其中該二維濾波器包含一具有偏差之5x5濾波器。
  7. 如請求項1之方法，其中用於該濾波之至少一些係數之間存在係數對稱性。
  8. 如請求項1之方法，其中該方法係在一解碼程序期間執行，該方法進一步包含按照一與正解碼之一當前視訊區塊相關聯之殘差視訊區塊與該預測區塊之一總和來產生一經重建視訊區塊。
  9. 如請求項1之方法，其中該方法係在一解碼程序期間執行，該方法進一步包含針對整數濾波而每一經寫碼單元接收一組濾波器係數。
  10. 如請求項1之方法，其中該方法係在一解碼程序期間執行，該方法進一步包含在每一經寫碼單元內之不同位置處針對整體濾波而每一經寫碼單元接收兩組或兩組以上之濾波器係數。
  11. 一種裝置，其包含一視訊寫碼器，該視訊寫碼器在一視訊序列之一寫碼單元內之一視訊區塊之編碼或解碼期間執行一運動補償程序，其中該視訊寫碼器： 自該運動補償程序中之一或多個參考視訊單元獲得像素區塊，其中該等像素區塊包含先前被解碼之經重建參考區塊且包括對應於該等像素區塊內之整數像素位置的整數像素值；在該視訊寫碼器獲得該等像素區塊後且在子像素位置之一內插程序期間，對對應於由其他整數像素位置所圍繞之一整體像素位置之一整數像素值實施濾波，其中該濾波基於對應該等像素區塊內之該等其他整數像素位置之其他整數像素值及對應於該整數像素位置之一原始整數像素值以產生一經調整整數像素值，其中該經調整整數像素值對應於該整數像素位置；且在該視訊寫碼器實施該濾波之後，至少部分基於該經調整整數像素值而在該視訊區塊之該編碼或解碼期間在該運動補償程序中產生一預測區塊。
  12. 如請求項11之裝置，其中該視訊編碼器執行一視訊編碼程序，其中該視訊編碼器按照正編碼之一當前視訊區塊與該預測區塊之間的一差異來產生一殘差視訊區塊。
  13. 如請求項11之裝置，其中該視訊寫碼器執行一視訊編碼程序，其中該視訊寫碼器針對整數濾波而每經編碼單元對一組濾波器係數編碼。
  14. 如請求項11之裝置，其中該視訊寫碼器執行一視訊編碼程序，其中該視訊寫碼器在每一經寫碼單元內之不同位置處針對整數濾波而每經寫碼單元對兩組或兩組以上之濾波器係數編碼。
  15. 如請求項11之裝置，其中在實施該濾波中，該裝置應用一二維濾波器。
  16. 如請求項15之裝置，其中該二維濾波器包含一具有偏差之5x5濾波器。
  17. 如請求項11之裝置，其中用於該濾波之至少一些係數之間存在係數對稱性。
  18. 如請求項11之裝置，其中該視訊寫碼器執行一解碼程序，其中該視訊寫碼器按照一與正解碼之一當前視訊區塊相關聯之殘差視訊區塊與該預測區塊之一總和來產生一經重建視訊區塊。
  19. 如請求項11之裝置，其中該視訊編碼器執行一解碼程序，其中該視訊編碼器針對整體濾波而每經編碼單元接收一組濾波器係數。
  20. 如請求項11之裝置，其中該視訊寫碼器執行一解碼程序，其中該視訊寫碼器在每一經寫碼單元內之不同位置處針對整數濾波而每經寫碼單元接收兩組或兩組以上之濾波器係數。
  21. 如請求項11之裝置，其中該視訊寫碼器包含一積體電路。
  22. 如請求項11之裝置，其中該視訊寫碼器包含一微處理器。
  23. 如請求項11之裝置，其中該裝置包含一包括該視訊寫碼器之無線通信器件。
  24. 一種器件，其在一視訊序列之一經寫碼單元內之一視訊 區塊之編碼或解碼期間執行一運動補償程序，該器件包含：用於自該運動補償程序中之一或多個參考視訊單元獲得像素區塊的構件，其中該等像素區塊包含先前被解碼之經重建參考區塊且包括對應於該等像素區塊內之整數像素位置的整數像素值；用於在該視訊編碼器獲得該等像素區塊後且在子像素位置之一內插程序期間，對對應於由其他整數像素位置所圍繞之一整數像素位置之一整數像素值實施濾波的構件，其中該濾波基於對應該等像素區塊內之該等其他整數像素位置之其他整數像素值及對應於該整數像素位置之一原始整數像素值以產生一經調整整數像素值，其中該經調整整數像素值對應於該整數像素位置；及用於在該視訊編碼器實施該濾波之後，至少部分基於該經調整整數像素值而在該視訊區塊之該編碼或解碼期間在該運動補償程序中產生一預測區塊的構件。
  25. 如請求項24之器件，其中該器件執行一編碼程序，該器件包含用於按照正編碼之一當前視訊區塊與該預測區塊之間的一差異來產生一殘差視訊區塊的構件。
  26. 如請求項24之器件，其中該器件執行一編碼程序，該器件進一步包含用於針對整數濾波而每一經寫碼單元對一組濾波器係數編碼的構件。
  27. 如請求項24之器件，其中該器件執行一編碼程序，該器件進一步包含用於在每一經寫碼單元內之不同位置處針 對整數濾波而每一經寫碼單元對兩組或兩組以上之濾波器係數編碼的構件。
  28. 如請求項24之器件，其中用於實施該濾波的構件包含用於應用一二維濾波器的構件。
  29. 如請求項28之器件，其中該二維濾波器包含一具有偏差之5x5濾波器。
  30. 如請求項24之器件，其中用於該濾波之至少一些係數之間存在係數對稱性。
  31. 如請求項24之器件，其中該器件執行一解碼程序，該器件進一步包含用於按照一與正解碼之一當前視訊區塊相關聯之殘差視訊區塊與該預測區塊之一總和來產生一經重建視訊區塊的構件。
  32. 如請求項24之器件，其中該器件執行一解碼程序，該器件進一步包含用於針對整數濾波而每一經寫碼單元接收一組濾波器係數的構件。
  33. 如請求項24之器件，其中該器件執行一解碼程序，該器件進一步包含用於在每一經寫碼單元內之不同位置處針對整數濾波而每一經編寫單元接收兩組或兩組以上之濾波器係數的構件。
  34. 一種非暫時性之電腦可讀儲存媒體，其包含指令，該等指令在由一處理器執行時使該處理器在一視訊序列之一寫碼單元內之一視訊區塊之編碼或解碼期間執行一運動補償程序，其中該等指令使該處理器：自該運動補償程序中之一或多個參考視訊單元獲得像 素區塊，其中該等像素區塊包含先前被解碼之經重建參考區塊且包括對應於該等像素區塊內之整數像素位置的整數像素值；在獲得該等像素區塊後且在子像素位置之一內插程序期間，對對應於由其他整數像素位置所圍繞之一整數像素位置之一整數像素值實施濾波，其中該濾波基於對應該等像素區塊內之該等其他整數像素值及對應於該整體像素位置之一原始整數像素值以產生一經調整整數像素值，其中該經調整整數像素值對應於該整數像素位置；且在實施該濾波之後，至少部分基於該經調整整數像素值而在該視訊區塊之該編碼或解碼期間在該運動補償程序中產生一預測區塊。
  35. 如請求項34之非暫時性之電腦可讀儲存媒體，其中該等指令使該處理器執行一編碼程序，其中該等指令使該處理器按照正編碼之一當前視訊區塊與該預測區塊之間的一差異來產生一殘差視訊區塊。
  36. 如請求項34之非暫時性之電腦可讀儲存媒體，其中該等指令使該處理器執行一編碼程序，其中該等指令使該處理器針對整體濾波而每一經寫碼單元對一組濾波器係數編碼。
  37. 如請求項34之非暫時性之電腦可讀儲存媒體，其中該等指令使該處理器執行一編碼程序，其中該等指令使該處理器在每一經寫碼單元內之不同位置處針對整數濾波而 每一經寫碼單元對兩組或兩組以上之濾波器係數編碼。
  38. 如請求項34之非暫時性之電腦可讀儲存媒體，其中在實施該濾波中，該等指令使該處理器應用一二維濾波器。
  39. 如請求項38之非暫時性之電腦可讀儲存媒體，其中該二維濾波器包含一具有偏差之5x5濾波器。
  40. 如請求項34之非暫時性之電腦可讀儲存媒體，其中用於該濾波之至少一些係數之間存在係數對稱性。
  41. 如請求項34之非暫時性之電腦可讀儲存媒體，其中該等指令使該處理器執行一解碼程序，其中該等指令使該處理器按照一與正解碼之一當前視訊區塊相關聯之殘差視訊區塊與該預測區塊之一總和來產生一經重建視訊區塊。
  42. 如請求項34之非暫時性之電腦可讀儲存媒體，其中該等指令使該處理器執行一解碼程序，其中該等指令使該處理器執行一解碼程序，其中該等指令針對整數濾波而每一經寫碼單元接收一組濾波器係數。
  43. 如請求項34之非暫時性之電腦可讀儲存媒體，其中該等指令使該處理器執行一解碼程序，其中該等指令在每一經編碼單元內之不同位置處針對整數濾波而每經編碼單元接收兩組或兩組以上之濾波器係數。
  44. 一種在一視訊序列之一經寫碼單元內之一視訊區塊之編碼或解碼期間執行於一運動補償程序中之方法，其包含：自該運動補償程序中之一或多個參考視訊單元獲得像 素區塊，其中該等像素區塊包含先前被解碼之經重建參考區塊且包括對應於該等像素區塊內之整數像素位置的整數像素值；在獲得該等像素區塊後且在子像素位置之一內插程序期間，對對應於由其他整數像素位置所圍繞之一整數像素位置之一整數像素值實施濾波，其中該濾波基於對應該等像素區塊內之該等其他整數像素位置之其他整數像素值及對應於該整數像素位置之一原始整數像素值以產生一經調整整數像素值，其中該濾波係在該運動補償程序期間實施，以產生對應於該整理像素位置之該經調整整數像素值；及在實施該濾波之後，至少部分基於該經調整整數像素值而在該視訊區塊之該編碼或解碼期間在該運動補償程序中產生一預測區塊。
TW098112085A 2008-04-10 2009-04-10 用於視訊編碼中整體像素位置之似內插濾波之方法、裝置、器件及電腦可讀儲存媒體 TWI523528B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US4402308P 2008-04-10 2008-04-10
US4402008P 2008-04-10 2008-04-10
US4424008P 2008-04-11 2008-04-11
US5737308P 2008-05-30 2008-05-30
US12/420,292 US9077971B2 (en) 2008-04-10 2009-04-08 Interpolation-like filtering of integer-pixel positions in video coding

Publications (2)

Publication Number Publication Date
TW201006252A TW201006252A (en) 2010-02-01
TWI523528B true TWI523528B (zh) 2016-02-21

Family

ID=40755172

Family Applications (1)

Application Number Title Priority Date Filing Date
TW098112085A TWI523528B (zh) 2008-04-10 2009-04-10 用於視訊編碼中整體像素位置之似內插濾波之方法、裝置、器件及電腦可讀儲存媒體

Country Status (15)

Country Link
US (1) US9077971B2 (zh)
EP (2) EP2827593B1 (zh)
JP (1) JP5575747B2 (zh)
KR (1) KR101214021B1 (zh)
CN (1) CN102017631B (zh)
BR (1) BRPI0910638B1 (zh)
CA (1) CA2719404C (zh)
DK (1) DK2827593T3 (zh)
ES (1) ES2633476T3 (zh)
HU (1) HUE033226T2 (zh)
PL (1) PL2827593T3 (zh)
PT (1) PT2827593T (zh)
SI (1) SI2827593T1 (zh)
TW (1) TWI523528B (zh)
WO (1) WO2009126929A1 (zh)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9967590B2 (en) 2008-04-10 2018-05-08 Qualcomm Incorporated Rate-distortion defined interpolation for video coding based on fixed filter or adaptive filter
US8705622B2 (en) * 2008-04-10 2014-04-22 Qualcomm Incorporated Interpolation filter support for sub-pixel resolution in video coding
US8462842B2 (en) * 2008-04-10 2013-06-11 Qualcomm, Incorporated Symmetry for interpolation filtering of sub-pixel positions in video coding
JP5964755B2 (ja) * 2009-12-31 2016-08-03 トムソン ライセンシングＴｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ ビデオ符号化および復号化用の適応型結合前処理および後処理フィルタのための方法および装置
US9219921B2 (en) 2010-04-12 2015-12-22 Qualcomm Incorporated Mixed tap filters
TWI399971B (zh) * 2010-07-28 2013-06-21 Vatics Inc 降低數位影像雜訊的方法及其電子裝置
US10045046B2 (en) * 2010-12-10 2018-08-07 Qualcomm Incorporated Adaptive support for interpolating values of sub-pixels for video coding
US9172972B2 (en) 2011-01-05 2015-10-27 Qualcomm Incorporated Low complexity interpolation filtering with adaptive tap size
CN107347157B (zh) * 2011-07-22 2020-03-17 Sk电信有限公司 视频解码装置
US9357235B2 (en) * 2011-10-13 2016-05-31 Qualcomm Incorporated Sample adaptive offset merged with adaptive loop filter in video coding
KR20130050149A (ko) * 2011-11-07 2013-05-15 오수미 인터 모드에서의 예측 블록 생성 방법
US9313498B2 (en) 2012-04-16 2016-04-12 Qualcomm Incorporated Sign hiding techniques for quantized transform coefficients in video coding
US11330284B2 (en) 2015-03-27 2022-05-10 Qualcomm Incorporated Deriving motion information for sub-blocks in video coding
KR102357142B1 (ko) * 2017-11-07 2022-02-08 후아웨이 테크놀러지 컴퍼니 리미티드 비디오 코딩을 위한 인터 예측 장치 및 방법을 위한 보간 필터
CA3119646A1 (en) 2018-12-31 2020-07-09 Panasonic Intellectual Property Corporation Of America Encoder, decoder, encoding method, and decoding method

Family Cites Families (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS61210599A (ja) 1985-03-14 1986-09-18 Casio Comput Co Ltd 録音機能付電子機器
US6266373B1 (en) * 1998-06-15 2001-07-24 U.S. Philips Corporation Pixel data storage system for use in half-pel interpolation
JP3992419B2 (ja) * 2000-03-27 2007-10-17 パイオニア株式会社 情報再生装置
US6950469B2 (en) 2001-09-17 2005-09-27 Nokia Corporation Method for sub-pixel value interpolation
SG149694A1 (en) 2002-01-14 2009-02-27 Nokia Corp Coding dynamic filters
US7129962B1 (en) * 2002-03-25 2006-10-31 Matrox Graphics Inc. Efficient video processing method and system
US7305034B2 (en) 2002-04-10 2007-12-04 Microsoft Corporation Rounding control for multi-stage interpolation
JP4120301B2 (ja) * 2002-04-25 2008-07-16 ソニー株式会社 画像処理装置およびその方法
CA2491679A1 (en) 2002-07-09 2004-01-15 Nokia Corporation Method and system for selecting interpolation filter type in video coding
KR20050018948A (ko) 2002-07-09 2005-02-28 노키아 코포레이션 비디오 부호화에서 보간 필터 유형을 선택하기 위한 방법및 장치
JP4724351B2 (ja) 2002-07-15 2011-07-13 三菱電機株式会社 画像符号化装置、画像符号化方法、画像復号装置、画像復号方法、および通信装置
US20040012610A1 (en) * 2002-07-22 2004-01-22 Taneja Nimita J. Anti-aliasing interlaced video formats for large kernel convolution
KR100472476B1 (ko) * 2002-08-31 2005-03-10 삼성전자주식회사 움직임 보상을 위한 보간 방법 및 그 장치
KR100534207B1 (ko) * 2002-12-09 2005-12-08 삼성전자주식회사 비디오 부호화기의 움직임 추정기 및 그 방법
JP2004297768A (ja) 2003-03-10 2004-10-21 Mitsubishi Electric Corp 映像信号符号化装置、および映像信号符号化方法
US8094715B2 (en) 2003-03-10 2012-01-10 Mitsubishi Denki Kabushiki Kaisha Video signal encoding device and video signal encoding method
RU2305377C2 (ru) 2003-05-20 2007-08-27 Корпорация "САМСУНГ ЭЛЕКТРОНИКС Ко., Лтд." Способ уменьшения искажения сжатого видеоизображения и устройство для его реализации
US7599438B2 (en) * 2003-09-07 2009-10-06 Microsoft Corporation Motion vector block pattern coding and decoding
CN1294490C (zh) 2003-12-31 2007-01-10 宏碁股份有限公司 智能卡与终端机间的数据处理方法及数据处理系统
EP1578137A2 (en) * 2004-03-17 2005-09-21 Matsushita Electric Industrial Co., Ltd. Moving picture coding apparatus with multistep interpolation process
JP4709143B2 (ja) * 2004-04-21 2011-06-22 パナソニック株式会社 動き補償装置、画面間予測符号化装置、画面間予測復号化装置、動き補償方法、および集積回路
JP2005318297A (ja) 2004-04-28 2005-11-10 Toshiba Corp 動画像符号化・復号方法及び装置
KR100605105B1 (ko) 2004-05-28 2006-07-26 삼성전자주식회사 영상 보간 장치
EP1617672A1 (en) 2004-07-13 2006-01-18 Matsushita Electric Industrial Co., Ltd. Motion estimator/compensator including a 16-bit 1/8 pel interpolation filter
EP1641274B1 (en) 2004-09-23 2013-06-05 Panasonic Corporation Video coding employing an image de-graining loop-filter
JP4284265B2 (ja) * 2004-11-02 2009-06-24 株式会社東芝 動画像符号化装置、動画像符号化方法、動画像復号化装置および動画像復号化方法
US7653132B2 (en) * 2004-12-21 2010-01-26 Stmicroelectronics, Inc. Method and system for fast implementation of subpixel interpolation
JP2008536414A (ja) 2005-04-13 2008-09-04 ゴットフリート・ヴィルヘルム・ライプニッツ・ウニヴェルジテート・ハノーヴァー ビデオの拡張された符号化方法及び装置
US7778494B2 (en) * 2005-10-13 2010-08-17 Texas Instruments Incorporated FIR-based interpolation in advanced video codecs on VLIW processor
KR100754841B1 (ko) 2005-10-28 2007-09-04 경희대학교 산학협력단 비트율 왜곡 비용에 기초하여 선택된 보간 필터를 이용하여공간 계층간 예측을 수행하는 스케일러블 ｈ.264부호화/복호화 방법
TWI444047B (zh) 2006-06-16 2014-07-01 Via Tech Inc 用於視訊解碼的去方塊效應濾波器、視訊解碼器與圖形處理單元
KR20080001116A (ko) 2006-06-29 2008-01-03 삼성전자주식회사 정착온도 제어 방법 및 장치와 화상형성장치
EP2041981B1 (en) 2006-07-18 2013-09-04 Thomson Licensing Methods and apparatus for adaptive reference filtering
TW200808067A (en) 2006-07-31 2008-02-01 Univ Nat Cheng Kung Prediction module
US8582663B2 (en) * 2006-08-08 2013-11-12 Core Wireless Licensing S.A.R.L. Method, device, and system for multiplexing of video streams
SG140508A1 (en) * 2006-08-31 2008-03-28 St Microelectronics Asia Multimode filter for de-blocking and de-ringing
WO2008084378A2 (en) 2007-01-09 2008-07-17 Nokia Corporation Adaptive interpolation filters for video coding
US20090097545A1 (en) * 2007-10-14 2009-04-16 Nokia Corporation Fixed-Point Implementation of an Adaptive Image Filter with High Coding Efficiency
US8462842B2 (en) * 2008-04-10 2013-06-11 Qualcomm, Incorporated Symmetry for interpolation filtering of sub-pixel positions in video coding
US8705622B2 (en) * 2008-04-10 2014-04-22 Qualcomm Incorporated Interpolation filter support for sub-pixel resolution in video coding

Also Published As

Publication number Publication date
DK2827593T3 (en) 2017-07-24
EP2827593B1 (en) 2017-05-17
EP2827593A1 (en) 2015-01-21
TW201006252A (en) 2010-02-01
SI2827593T1 (sl) 2017-07-31
CN102017631A (zh) 2011-04-13
EP2304960A1 (en) 2011-04-06
BRPI0910638B1 (pt) 2020-11-24
CA2719404C (en) 2013-07-30
CA2719404A1 (en) 2009-10-15
HUE033226T2 (hu) 2017-11-28
JP2011517240A (ja) 2011-05-26
KR20100130643A (ko) 2010-12-13
KR101214021B1 (ko) 2012-12-20
BRPI0910638A2 (pt) 2016-08-02
PT2827593T (pt) 2017-07-24
CN102017631B (zh) 2013-05-01
US9077971B2 (en) 2015-07-07
ES2633476T3 (es) 2017-09-21
PL2827593T3 (pl) 2017-10-31
US20090257501A1 (en) 2009-10-15
JP5575747B2 (ja) 2014-08-20
WO2009126929A1 (en) 2009-10-15

Similar Documents

Publication Publication Date Title
TWI542222B (zh) 用於基於固定濾波器或適應性濾波器用於視訊編碼之由率失真定義之內插之方法、裝置、器件及電腦可讀儲存媒體
TWI523528B (zh) 用於視訊編碼中整體像素位置之似內插濾波之方法、裝置、器件及電腦可讀儲存媒體
JP5619725B2 (ja) ビデオコーディングにおけるサブピクセル解像度のための補間フィルタサポート
KR101202632B1 (ko) 비디오 코딩에서의 보간을 위한 예측 기술
JP5180366B2 (ja) ビデオコーディングにおけるサブピクセル位置の補間フィルタリングに対する対称性
TWI468017B (zh) 用於視訊寫碼中運動補償之進階內插技術
RU2505938C2 (ru) Интерполяция на основе искажений в зависимости от скорости передачи для кодирования видео на основе неперестраиваемого фильтра или адаптивного фильтра