TWI574552B - 使用非對稱內插濾波器的內插影像用的方法與裝置 - Google Patents

使用非對稱內插濾波器的內插影像用的方法與裝置 Download PDF

Info

Publication number
TWI574552B
TWI574552B TW105127336A TW105127336A TWI574552B TW I574552 B TWI574552 B TW I574552B TW 105127336 A TW105127336 A TW 105127336A TW 105127336 A TW105127336 A TW 105127336A TW I574552 B TWI574552 B TW I574552B
Authority
TW
Taiwan
Prior art keywords
unit
interpolation
filter
code
interpolation filter
Prior art date
Application number
TW105127336A
Other languages
English (en)
Other versions
TW201642660A (zh
Inventor
雅希納艾爾納
雅辛亞歷山大
Original Assignee
三星電子股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 三星電子股份有限公司 filed Critical 三星電子股份有限公司
Publication of TW201642660A publication Critical patent/TW201642660A/zh
Application granted granted Critical
Publication of TWI574552B publication Critical patent/TWI574552B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/523—Motion estimation or motion compensation with sub-pixel accuracy
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/537—Motion estimation other than block-based
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Processing (AREA)
  • Television Systems (AREA)

Description

使用非對稱內插濾波器的內插影像用的方法與裝置
本發明是關於使用運動補償而進行的預測編碼。
在典型的影像編碼以及解碼方法中，為了對影像做編碼，一個圖像分割為巨集區塊。此後，藉由使用畫面間預測(inter prediction)或畫面內預測(intra prediction)對每一巨集區塊執行預測編碼。
畫面間預測指藉由移除圖像之間的時間冗餘而壓縮影像之方法，且其代表性實例為運動估計編碼。在運動估計編碼中，藉由使用至少一個參考圖像而預測當前圖像之每一區塊。藉由使用預定評估功能而在預定搜尋範圍內發現最類似於當前區塊之參考區塊。
基於參考區塊而預測而當前區塊，且對藉由自當前區塊減去作為預測結果產生之預測區塊而獲得的殘餘區塊做編碼。在此狀況下，為了更準確地執行預測，對搜尋參考圖像之範圍執行內插，產生小於整數像素單位像素之子像素單位像素，且對所產生之子像素單位像素執行畫面間預測。
本發明提供一種用於判定對稱或非對稱內插濾波器之濾波係數以便藉由內插整數像素單位像素產生子像素單位像素的方法以及裝置。
根據本發明之一態樣，提供一種使用基於轉換之內插濾波器的影像內插方法，所述方法包含：根據由用於產生位於整數像素單位像素之間的至少一個子像素單位像素值的內插濾波器支援之區域中的子像素單位內插位置，自所述內插濾波器對應所述內插位置個別地選擇對稱或非對稱內插濾波器；以及藉由使用所述所選擇之內插濾波器以內插所述整數像素單位像素而產生所述至少一個子像素單位像素值。
所述對稱內插濾波器可在由所述對稱內插濾波器支援之區域中之內插位置的兩側處包含相同數目個濾波係數，且所述非對稱內插濾波器可在由所述非對稱內插濾波器支援之區域中之內插位置的兩側處包含不同數目個濾波係數。
所述至少一個子像素單位像素值之所述產生可包含：若選擇所述非對稱內插濾波器，則藉由使用所述非對稱內插濾波器之濾波係數來執行濾波以支援非對稱地位於由所述非對稱內插濾波器支援之區域中之內插位置的兩側處之整數像素單位像素；以及若選擇所述對稱內插濾波器，則藉由使用所述對稱內插濾波器之濾波係數來執行濾波以支援整數像素單位像素，其是對稱地位於由所述對稱內插濾波器支援之區域中之內插位置的兩側處。
所述至少一個子像素單位像素值之所述產生可包含：若自所述內插濾波器選擇包含奇數個濾波係數之非對稱奇數分接頭內插濾波器，則藉由使用所述非對稱奇數分接頭內插濾波器的所述奇數個濾波係數執行濾波以支援位於由所述非對稱奇數分接頭內插濾波器支援之區域中之內插位置的兩側處的奇數個整數像素單位像素；以及若自所述內插濾波器選擇包含偶數個濾波係數之對稱偶數分接頭內插濾波器，則藉由使用所述對稱偶數分接頭內插濾波器的所述偶數個濾波係數執行濾波以支援偶數個整數像素單位像素，其位於由所述對稱偶數分接頭內插濾波器支援之區域中之內插位置的兩側處。
為了在空間域中內插所述整數像素單位像素，所述內插濾波器中之每一者可包含藉由組合使用用於轉換以及逆轉換之多個基礎函數的濾波器與非對稱或對稱窗濾波器而獲得之濾波係數。
所述內插濾波器之所述選擇可包含：自所述內插濾波器選擇經規則化以使頻率回應誤差減至最小的內插濾波器，所述頻率回應誤差是作為使用所述所選擇之內插濾波器之內插結果而產生，且所述經規則化之內插濾波器可包含i）包含7分接頭濾波係數{-1, 4, -10, 58, 17, -5, 1}且窗大小為8.7之1/4像素單位內插濾波器，以及ii）包含8分接頭濾波係數{-1, 4, -11, 40, 40, -11, 4, -1}且窗大小為9.5的1/2像素單位內插濾波器。
根據本發明之另一態樣，提供一種使用基於轉換之內插濾波器的影像內插裝置，所述裝置包含：濾波器選擇器，其用於根據由用於產生位於整數像素單位像素之間的至少一個子像素單位像素值的內插濾波器所支援之區域中的子像素單位內插位置，自所述內插濾波器對應所述內插位置個別地選擇對稱或非對稱內插濾波器；以及內插器，其用於藉由使用所述所選擇之內插濾波器內插所述整數像素單位像素而產生所述至少一個子像素單位像素值。
根據本發明之另一態樣，提供一種使用影像內插濾波器之視訊編碼裝置，所述裝置包含：編碼器，其用於根據由用於產生位於整數像素單位像素之間的至少一個子像素單位像素值的內插濾波器支援之區域中的子像素單位內插位置自所述內插濾波器針對輸入圖像之每一區塊個別地選擇對稱或非對稱內插濾波器，所述選擇是對應由所述所選擇之內插濾波器所支援之區域中的內插位置而進行，藉由使用所述所選擇之內插濾波器內插所述整數像素單位像素而產生所述至少一個子像素單位像素值，執行預測編碼，且根據所述預測編碼對預測結果執行轉換以及量化；輸出單元，其用於輸出藉由對經量化之轉換係數以及編碼資訊執行熵編碼而產生之位元串流；以及儲存單元，其用於儲存所述內插濾波器之濾波係數。
根據本發明之另一態樣，提供一種使用影像內插濾波器之視訊解碼裝置，所述裝置包含：接收器以及提取器(extractor)，其用於接收視訊之已經編碼之位元串流，執行熵解碼以及剖析，且提取所述視訊之圖像的編碼資訊以及已經編碼之資料；解碼器，其用於對所述圖像之當前區塊的所述已經編碼之資料的經量化之轉換係數執行逆量化以及逆轉換，根據由用於產生位於整數像素單位像素之間的至少一個子像素單位像素值的內插濾波器所支援之區域中的子像素單位內插位置，自所述內插濾波器對應所述內插位置個別地選擇對稱或非對稱內插濾波器，藉由使用所述所選擇之內插濾波器內插所述整數像素單位像素而產生所述至少一個子像素單位像素值，且執行預測解碼以復原所述圖像；以及儲存單元，其用於儲存所述內插濾波器之濾波係數。
根據本發明之另一態樣，提供一種電腦可讀記錄媒體，所述電腦可讀記錄媒體上記錄有用於執行以上方法的程式。
在以下描述中，「影像」可泛指諸如視訊之動態影像，以及靜止影像。
參考圖1至圖12B揭露根據本發明之實施例的考慮到平滑化而使用非對稱內插濾波器以及對稱內插濾波器進行的內插。且，參考圖13A至圖27揭露根據本發明之實施例的使用非對稱內插濾波器以及對稱內插濾波器而進行之視訊編碼以及解碼。具體言之，參考圖15至圖25揭露根據本發明之實施例的使用基於具有樹狀結構之寫碼(coding)單元之非對稱內插濾波器以及對稱內插濾波器而進行的視訊編碼以及解碼。
現將參考圖1至圖12B詳細描述根據本發明之實施例的考慮到平滑化而使用非對稱內插濾波器以及對稱內插濾波器進行的內插。
圖1為根據本發明之實施例之影像內插裝置10的方塊圖。
使用對稱以及非對稱內插濾波器之影像內插裝置10包含濾波器選擇器12以及內插器14。影像內插裝置10之濾波器選擇器12以及內插器14的操作可由視訊編碼處理器、中央處理單元（central processing unit；CPU）以及圖形處理器合作控制。
影像內插裝置10可接收輸入影像，且可藉由內插整數像素單位像素而產生子像素單位像素值。輸入影像可為視訊之圖像序列、圖像、畫面或區塊。
濾波器選擇器12可基於子像素單位內插位置而不同地選擇用於產生位於整數像素單位之間的至少一個子像素單位像素值的內插濾波器。
內插器14可藉由使用由濾波器選擇器12選擇之內插濾波器來內插鄰近於子像素單位內插位置的整數像素單位像素，藉此產生子像素單位像素值。用以產生子像素單位像素值之整數像素單位像素的內插濾波可包含整數像素單位參考像素值之內插濾波，整數像素單位參考像素值包含鄰近於由內插濾波器支援之區域中之子像素單位內插位置的整數像素單位像素。
內插濾波器可包含用於基於多個基礎函數轉換整數像素單位參考像素以及用於逆轉換作為轉換結果而產生之多個係數的濾波係數。
內插濾波器可為一維濾波器或二維濾波器。若所選擇之內插濾波器為一維濾波器，則內插器14可藉由在兩個或兩個以上方向上使用一維內插濾波器而連續地執行濾波，藉此產生當前子像素單位像素值。
濾波器選擇器12可根據子像素單位內插位置個別地選擇內插濾波器。內插濾波器可包含：對稱內插濾波器，其在由對稱內插濾波器支援之區域中之內插位置的兩側處包含相同數目個濾波係數；以及非對稱內插濾波器，其在由非對稱內插濾波器支援之區域中之內插位置的兩側處包含不同數目個濾波係數。濾波器選擇器12可根據子像素單位內插位置個別地選擇對稱內插濾波器以及非對稱內插濾波器。
舉例而言，7分接頭內插濾波器可在由7分接頭內插濾波器支援之區域中之內插位置的兩側處包含三個濾波係數以及四個濾波係數。在此狀況下，7分接頭內插濾波器可視為非對稱內插濾波器。
舉例而言，8分接頭內插濾波器可在由8分接頭內插濾波器支援之區域中之內插位置的兩側處包含四個濾波係數以及四個濾波係數。在此狀況下，8分接頭內插濾波器可視為對稱內插濾波器。
若濾波器選擇器12選擇非對稱內插濾波器，則內插器14可對對應內插位置非對稱地定位之整數像素單位像素執行濾波。否則，若選擇對稱內插濾波器，則內插器14可對對應內插位置對稱地定位之整數像素單位像素執行濾波。
內插濾波器可包含：包含奇數個濾波係數之非對稱奇數分接頭內插濾波器，以及包含偶數個濾波係數之對稱偶數分接頭內插濾波器。濾波器選擇器12可根據子像素單位內插位置個別地選擇非對稱奇數分接頭內插濾波器以及對稱偶數分接頭內插濾波器。舉例而言，可個別地且不同地選擇1/2像素單位內插濾波器以及1/4像素單位內插濾波器。因此，可選擇8分接頭內插濾波器（亦即，對稱偶數分接頭內插濾波器）作為1/2像素單位內插濾波器，且可選擇7分接頭內插濾波器（亦即，非對稱奇數分接頭內插濾波器）作為1/4像素單位內插濾波器。
為了在空間域中內插整數像素單位像素，可藉由組合用於藉由使用多個基礎函數執行轉換以及逆轉換之濾波係數與用於執行低通濾波的窗濾波係數而獲得每一內插濾波器。
可基於對應內插位置非對稱之窗濾波器或對應內插位置對稱的窗濾波器而產生內插濾波器。
亦可藉由組合用於基於多個基礎函數執行轉換以及逆轉換之濾波器與非對稱窗濾波器而產生非對稱內插濾波器。
若選擇奇數分接頭內插濾波器，則內插器14可藉由使用奇數分接頭內插濾波器之奇數個濾波係數而對對應內插位置定位之奇數個整數像素單位像素執行濾波。
若選擇偶數分接頭內插濾波器，則內插器14可藉由使用偶數分接頭內插濾波器之偶數個濾波係數而對對應內插位置定位之偶數個整數像素單位像素執行濾波。
奇數分接頭內插濾波器可在對應支援區域中之內插位置的兩側處包含不同數目個濾波係數，且因此可為非對稱內插濾波器。偶數分接頭內插濾波器可為在對應支援區域中之內插位置之兩側處包含相同數目個濾波係數的對稱內插濾波器。
濾波器選擇器12可選擇經規則化以使頻率回應誤差減至最小之內插濾波器，頻率回應誤差是作為使用內插濾波器之內插結果而產生。舉例而言，經規則化之內插濾波器可包含i）包含7分接頭濾波係數{-1, 4, -10, 58, 17, -5, 1}且窗大小為8.7之1/4像素單位內插濾波器，以及ii）包含8分接頭濾波係數{-1, 4, -11, 40, 40, -11, 4, -1}且窗大小為9.5的1/2像素單位內插濾波器。
且，濾波器選擇器12可根據色彩分量個別地且不同地選擇內插濾波器。舉例而言，用於明度像素之經規則化之內插濾波器可判定為1/4像素單位7分接頭內插濾波器以及1/2像素單位8分接頭內插濾波器。用於色度像素之經規則化之內插濾波器可判定為1/8像素單位、1/4像素單位以及1/2像素單位4分接頭內插濾波器。
用於色度像素的所判定之經規則化之內插濾波器可包含i）針對1/8內插位置包含4分接頭濾波係數{-2, 58, 10, -2}且平滑度為0.012之1/8像素單位內插濾波器，ii）針對1/4內插位置包含4分接頭濾波係數{-4, 54, 16, -2}且平滑度為0.016之1/4像素單位內插濾波器，iii）針對3/8內插位置包含4分接頭濾波係數{-6, 46, 28, -4}且平滑度為0.018之1/8像素單位內插濾波器，以及iv）針對1/2內插位置包含4分接頭濾波係數{-4, 36, 36, -4}且平滑度為0.020的1/2像素單位內插濾波器。
內插濾波器可為鏡面反射性對稱濾波器，其中內插位置α之濾波係數f(α)以及內插位置(1-α)之濾波係數fl (1-α)可為相同的。
用於明度像素之1/4像素單位內插濾波器可為鏡面反射性對稱濾波器。因此，用於1/4內插位置之內插濾波器以及用於3/4內插位置之內插濾波器可對稱地包含相同的係數。若1/4像素單位7分接頭明度內插濾波器包含1/4內插位置之濾波係數{-1, 4, -10, 58, 17, -5, 1}，則其可包含3/4內插位置之濾波係數{1, -5, 17, 58, -10, 4, -1}。
用於色度像素之1/8像素單位內插濾波器可為鏡面反射性對稱濾波器。因此，用於1/8內插位置之內插濾波器以及用於7/8內插位置之內插濾波器可對稱地包含相同的係數。類似地，用於3/8內插位置之內插濾波器以及用於5/8內插位置之內插濾波器可對稱地包含相同的係數。可根據基於轉換之內插濾波器而判定內插濾波器，所述基於轉換之內插濾波器包含藉由使用多個基礎函數而判定之濾波係數。且，自基於轉換之內插濾波器修改的經平滑化之內插濾波器可用以藉由根據在內插位置與整數像素單位像素之間的距離使其平滑度變化而執行濾波。
可基於內插位置與整數像素單位像素之間的距離而判定經平滑化之內插濾波器之平滑度。內插濾波器可根據子像素單位內插位置以及其平滑度包含不同的濾波係數。
亦可基於內插位置與鄰近於內插位置之整數像素單位像素之間的距離而判定經平滑化之內插濾波器之平滑度。
且，內插濾波器可包含用於允許遠離內插位置之整數像素單位參考像素平滑化之濾波係數。
藉由組合用於執行轉換以及逆轉換之濾波係數與用於執行低通濾波之窗濾波係數而獲得的經平滑化之內插濾波器可包含用於對接近於內插位置之整數像素單位參考像素給出大的權重且對遠離內插位置之整數像素單位參考像素給出小的權重的濾波係數。
經平滑化之內插濾波器可包含用於使整數像素單位參考像素平滑化、藉由使用多個基礎函數轉換經平滑化之整數像素單位參考像素以及逆轉換作為轉換結果而產生之多個係數的濾波係數。
經平滑化之內插濾波器可根據其長度以及子像素單位內插位置與其平滑度而包含不同的濾波係數。
且，經平滑化之內插濾波器可根據作為內插結果之縮放比率、以及子像素單位內插位置、其平滑度以及其長度而包含不同的濾波係數。濾波器選擇器12可選擇濾波係數增大至整數之經平滑化之內插濾波器。內插器14使藉由使用由濾波器選擇器12選擇之經平滑化之內插濾波器而產生的像素值規則化。
且，濾波器選擇器12可根據像素特性不同地選擇內插濾波器。內插器14可藉由使用根據像素特性不同地選擇之內插濾波器來產生子像素單位像素值。
可由濾波器選擇器12選擇之內插濾波器可包含經平滑化之內插濾波器以及不考慮平滑化之一般內插濾波器。因此，根據影像特性，濾波器選擇器12可選擇根本不考慮平滑化之一般內插濾波器。
舉例而言，根據另一實施例，影像內插裝置10可藉由根據色彩分量使用不同的內插濾波器而執行影像內插。
根據另一實施例，濾波器選擇器12可基於子像素單位內插位置以及當前像素之色彩分量而不同地選擇內插濾波器。根據另一實施例，內插器14可藉由使用所選擇之內插濾波器而內插整數像素單位像素，藉此產生至少一個子像素單位像素值。
舉例而言，濾波器選擇器12可不同地判定用於明度分量之內插濾波器以及用於色度分量之內插濾波器。
為了內插色度像素，濾波器選擇器12可選擇平滑度大於用於明度像素之內插濾波器之平滑度的經平滑化之內插濾波器。
且，為了內插色度像素，可選擇包含基於平滑度大於用於明度像素之內插濾波器之平滑度的平滑化參數而判定之濾波係數的內插濾波器，或包含與用於移除比用於明度像素之內插濾波器多的高頻分量之窗濾波器組合的濾波係數之內插濾波器。
為了獲得色度分量之經平滑之內插結果，可選擇藉由組合用於基於多個基礎函數執行轉換以及逆轉換之濾波係數與用於執行低通濾波之窗濾波係數而獲得的經平滑化之內插濾波器。
影像內插裝置10可包含用於廣泛地控制濾波器選擇器12以及內插器14之CPU（未圖示）。或者，濾波器選擇器12以及內插器14可由個別處理器（未圖示）驅動，且處理器可彼此合作操作，藉此操作整個影像內插裝置10。或者，在影像內插裝置10外部之處理器（未圖示）可控制濾波器選擇器12以及內插器14。
影像內插裝置10可包含用於儲存濾波器選擇器12以及內插器14之輸入/輸出（input/output；I/O）資料之一或多個資料儲存單元（未圖示）。影像內插裝置10亦可包含用於控制資料儲存單元（未圖示）之資料I/O的記憶體控制器（未圖示）。
影像內插裝置10可包含額外處理器，其中包含用於執行影像內插之電路。或者，影像內插裝置10可包含記錄有影像內插模組之儲存媒體，且CPU可呼叫且驅動影像內插模組以便執行影像內插。
影像內插用以將低品質影像轉換為高品質影像、將交錯影像轉換為漸進影像，或將低品質影像升頻取樣（up-sample）為高品質影像。且，當視訊編碼裝置對影像做編碼時，運動估計器以及補償器可藉由使用經內插之參考畫面而執行畫面間預測。可藉由內插參考畫面以產生高品質影像且基於高品質影像執行運動估計以及補償來提高畫面間預測之準確度。類似地，當影像解碼裝置對影像做解碼時，運動補償器可藉由使用經內插之參考畫面而執行運動補償，藉此提高畫面間預測的準確度。
且，由影像內插裝置10使用之經平滑化之內插濾波器可藉由使用內插濾波器減少內插結果中之高頻分量而獲得平滑的內插結果。由於高頻分量降低影像壓縮之效率，因此影像編碼以及解碼之效率亦可藉由執行平滑度可調整影像內插而改良。
且，可選擇性地使用濾波係數對應內插位置對稱地定位之對稱內插濾波器或濾波係數對應內插位置非對稱地定位的非對稱內插濾波器。且，作為內插濾波器，可根據內插位置選擇性地使用奇數分接頭內插濾波器或偶數分接頭內插濾波器。因此，影像內插裝置10可對對應內插位置非對稱地定位之整數像素單位像素以及對應內插位置對稱地定位之整數像素單位像素執行影像內插濾波。
現將參考圖2至圖7B詳細描述根據本發明之實施例的使用藉由組合用於基於多個基礎函數執行轉換以及逆轉換之濾波係數與窗濾波係數而獲得的內插濾波器進行之內插。
圖2為用於描述整數像素單位與子像素單位之間的關係之圖式。
參考圖2，影像內插裝置10藉由在空間域中內插預定區塊20之位置「O」的整數像素單位像素值而產生位置「X」之像素值。位置「X」之像素值為藉由αx 以及αy 而判定之內插位置的子像素單位像素值。儘管圖2說明預定區塊20為4×4區塊，但一般熟習此項技術者將理解，區塊大小不限於4×4且可大於或小於4×4。
在視訊處理中，運動向量用以對當前影像執行運動補償以及預測。根據預測編碼，參考先前解碼之影像以便預測當前影像，且運動向量指示參考影像之預定點。因此，運動向量指示參考影像之整數像素單位像素。
然而，待由當前影像參考之像素可位於參考影像之整數像素單位像素之間。此位置被稱為子像素單位位置。由於像素並不存在於子像素單位位置處，因此僅藉由使用整數像素單位像素值來預測子像素單位像素值。換言之，藉由內插整數像素單位像素而估計子像素單位像素值。
現將參考圖3以及圖4A至圖4C詳細描述內插整數像素單位像素之方法。
圖3為說明根據本發明之實施例的待參考以便判定子像素單位像素值之鄰近整數像素單位像素的圖式。
參考圖3，影像內插裝置10藉由在空間域中內插整數像素單位像素值31以及33而產生內插位置之子像素單位像素值35。內插位置由α判定。
圖4A至圖4C為說明根據本發明之實施例的待參考以便判定子像素單位像素值之整數像素單位像素之實例的圖式。
參考圖4A，為了藉由內插兩個整數像素單位像素值31以及33而產生子像素單位像素值35，使用包含整數像素單位像素值31以及33之多個鄰近整數像素單位像素值37以及39。換言之，可藉由對自第-(M-1)個像素值至第M個像素值之2M個像素值執行一維內插濾波而內插第0個以及第1個像素。
且，儘管圖4A說明內插在水平方向上之像素值，但可藉由使用在垂直或對角方向上之像素值來執行一維內插濾波。
參考圖4B，可藉由內插在垂直方向上彼此鄰近之像素P0 41以及P1 43而產生內插位置α之像素值P(α)。當比較圖4A與圖4B時，其內插濾波方法為類似的，且圖4A與圖4B間的僅有差異在於在圖4B中內插在垂直方向上對準之像素值47以及49，而在圖4A中內插在水平方向上對準之像素值37以及39。
參考圖4C，類似地，藉由內插兩個鄰近像素值40以及42而產生內插位置α之像素值44。與圖4A之僅有差異在於替代於在水平方向上對準的像素值37以及39，使用在對角方向上對準之像素值46以及48。
除了在圖4A至圖4C中所示之方向之外，亦可在各種方向上執行一維內插濾波。
可執行內插濾波以內插整數像素單位像素，來產生子像素單位像素值。可藉由以下方程式來表示內插濾波。
藉由根據2M個整數像素單位參考像素之向量p {pm }={p-M+1 , p-M+2 , ..., p0 , p1 , ..., pM }與濾波係數之向量f(x) {fm }={f-M+1 , f-M+2 , ..., f0 , f1 , ..., fM }的內積執行內插而產生像素值p(x)。由於濾波係數f(α)根據內插位置α而變化且藉由執行內插而獲得之像素值p(α)是根據濾波係數f(α)而判定，因此所選擇之內插濾波器（亦即，所判定之濾波係數f(x)）極大地影響內插濾波的效能。
現將詳細描述基於基礎函數使用轉換以及逆轉換而進行之影像內插，以及判定內插濾波器之方法。
使用轉換以及逆轉換之內插濾波器最初藉由使用具有不同頻率分量的多個基礎函數來轉換像素值。轉換可包含自空間域中之像素值至轉換域中之係數的所有類型之轉換，且可為離散餘弦轉換（discrete cosine transformation；DCT）。藉由使用多個基礎函數而轉換整數像素單位像素值。像素值可為明度像素值或色度像素值。基礎函數不限於特定基礎函數，且可包含用於將空間域中之像素值轉換為轉換域中之像素值的所有基礎函數。舉例而言，基礎函數可為用於執行DCT以及逆DCT（inverse DCT；IDCT）之餘弦或正弦函數。或者，可使用諸如仿樣函數（spline function）以及多項式基礎函數之各種基礎函數。且，DCT可為經修改之DCT（modified DCT；MDCT）或具有開窗之MDCT。
使用轉換以及逆轉換之內插濾波器使用以執行轉換之基礎函數的相位移位，且逆轉換藉由使用經相移之基礎函數而產生之多個係數的值（亦即，轉換域中之值）。作為逆轉換結果，輸出空間域中之像素值，且輸出值可為內插位置之像素值。
＜ 基於正交基礎函數使用正交轉換以及逆轉換之濾波係數 ＞
現將詳細描述內插器14基於正交基礎函數使用轉換以及逆轉換而執行內插濾波時之狀況。具體言之，DCT描述為轉換之實例。
舉例而言，參考圖4A，為了藉由內插兩個整數像素單位像素值31以及33而產生子像素單位像素值35，藉由使用包含整數像素單位像素值31以及33之多個鄰近整數像素單位像素值37以及39，可藉由對自第-(M-1)個像素值至第M個像素值之2M個像素值執行一維DCT，且基於經相移之基礎函數而執行一維IDCT而內插第0個以及第1個像素。
內插器14最初對整數像素單位像素值執行一維DCT。可如方程式1中所表示而執行一維DCT。
[方程式1]
p(l)表示自第(M-1)個像素值至第M個像素值之像素值37以及39，且Ck 表示頻域中之多個係數，其是藉由對像素值37以及39執行一維DCT而產生。在此狀況下，k為滿足方程式1之以上條件的正整數。
在藉由使用方程式1對像素值37以及39執行一維DCT之後，內插器14如方程式2中所表示而對係數執行逆轉換。
[方程式2]
α表示如圖13中所說明之兩個像素值之間的內插位置，且可具有諸如1/2、1/4、3/4、1/8、3/8、5/8、7/8、1/16等的各種分數值。分數值不限於特定值，且α可為實值而非分數值。P(α)表示內插位置α之子像素單位像素值35，其作為一維IDCT結果而產生。
當方程式2與方程式1比較時，作為用以執行IDCT之基礎函數的餘弦函數之相位是根據分數α而非整數1而判定，且因此不同於用以執行一維DCT之基礎函數的相位。換言之，用以執行逆轉換之每一基礎函數（亦即，餘弦函數）的相位根據2α而移位。若內插器14根據方程式2基於經相移之餘弦函數而執行IDCT，則內插位置α之子像素單位像素值35（亦即，P(α)）得以產生。
根據方程式1之DCT由方程式3中所表示之行列式（determinant）表達。  [方程式3]
此處，C為上文關於方程式1所述之2M個係數的2M×1矩陣，且REF為整數像素單位像素值之2M×1矩陣，亦即，上文關於方程式1所述的P-(M-1) , ... PM 像素值。用以執行內插之整數像素單位像素值的數目（亦即，2M）指一維內插濾波器之分接頭的數目。D為用於執行一維DCT之正方矩陣且可如方程式4中所表示而定義。
[方程式4]
k以及l為滿足以上條件之整數，且Dkl 指在方程式3中用於執行DCT之正方矩陣D的第k列以及第l行。M與方程式3之M相同。
根據方程式2使用多個經相移之基礎函數而進行之IDCT由方程式5中所表示的行列式表達。
[方程式5]
此處，P(α)與方程式2之P(α)相同，且W(α)為用於藉由使用多個經相移之基礎函數執行一維IDCT之1×2M矩陣且可如方程式6中所表示而定義。
[方程式6]
k為滿足以上條件之整數，且Wk (α)指上文關於方程式5所述之矩陣W(α)的第k行。可如方程式7中所表示而定義用於基於方程式3以及5使用多個經相移之基礎函數執行一維DCT以及一維IDCT的濾波器F(α)。
[方程式7]
k以及l為滿足以上條件之整數，Fl (α)指F(α)之第l行，且W(α)及D與方程式3之W(α)及D相同。
＜ 用於經縮放之內插之內插濾波係數 ＞
根據本發明之實施例的各種內插濾波器產生方法基於用於產生浮點數而非整數之算數表達式，且濾波係數之絕對值通常不大於1。具體言之，可由子像素單位內插位置α產生實數而非整數之計算結果。
基於整數之計算的效率大於基於浮點之計算的效率。因而，影像內插裝置10可藉由使用縮放比率將濾波係數縮放為整數而改良內插濾波之計算效率。且，由於像素值之位元深度增大，因此亦可改良內插濾波之準確度。
影像內插裝置10可將濾波係數fm (α)乘以預定值，且可藉由使用大的濾波係數Fm (α)而執行影像內插。舉例而言，濾波係數Fm (α)可如方程式8中所表示自濾波係數fm (α)縮放。
[方程式8]
針對計算之效率，縮放比率可呈2n 之形式。n可為0或正整數。使用按2n 縮放之濾波係數的內插濾波結果與藉由使用原始濾波係數而獲得的結果相比可具有按n個位元縮放的位元深度。
使用經縮放之濾波係數Fm (α)之整數計算內插濾波可滿足方程式9。換言之，在藉由使用經縮放之濾波係數Fm (α)執行內插濾波之後，經縮放之位元深度必須復原至原始位元深度。
[方程式9]在此狀況下，偏移可為2n-1。
換言之，由於使用經縮放之內插濾波器的經縮放之濾波結果必須按縮放比率（亦即，2n ）減小以便復原至原始位元，因此經縮放之濾波結果之位元深度可按n個位元減小。
若藉由在水平方向上執行一維內插濾波且在垂直方向上執行一維內插濾波而執行兩步驟內插濾波，則可按總共2n個位元減少。因此，若第一一維內插濾波器按n1個位元縮放且第二一維內插濾波器按n2個位元縮放，則在藉由使用第一一維內插濾波器以及第二一維內插濾波器執行兩步驟內插濾波之後，可按n1與n2之總和（亦即，2n）個位元減少。第一一維內插濾波器可為未縮放之內插濾波器。
由於濾波係數fm (α)之總和為1， [方程式10]因此用於使經縮放之內插濾波器之濾波係數Fm(α)規則化的條件需要滿足方程式11。
[方程式11]。
然而，根據方程式11之規則化條件可引起捨位錯誤。影像內插裝置10可根據方程式11基於規則化條件而對經縮放之濾波係數Fm (α)進行捨入。針對規則化，可在預定範圍之原始值內調整經縮放之濾波係數Fm (α)中之一些。舉例而言，可在±1之範圍內調整經縮放之濾波係數Fm (α)中之一些，以便校正捨位錯誤。
針對具有奇數個參考像素之內插濾波器或對應內插位置之非對稱內插濾波器，內插器14可基於多個基礎函數使用轉換以及逆轉換來改變內插濾波器。
下文將描述使用包含奇數個濾波係數之奇數分接頭內插濾波器作為基於多個基礎函數使用轉換以及逆轉換之內插濾波器而進行的影像內插。
＜ 非對稱內插濾波器 ＞
圖5A為用於描述根據本發明之實施例的使用對應內插位置非對稱地定位之參考像素以便判定子像素單位像素值之內插濾波方法的圖式。
假設，為了計算子像素單位內插位置α之像素p(α) 50，對應內插位置α之左側參考像素52以及右側參考像素54用以執行內插濾波。左側參考像素52之數目為3且右側參考像素54之數目為5。由於奇數個像素由內插濾波支援，因此左側參考像素52以及右側參考像素54對應內插位置α非對稱地定位。
如上文關於方程式1至7所述，藉由使用對應內插位置α對稱地分佈之2M個整數像素單位參考像素p-M+1 , p-M+2 , ..., p0 , p1 , ..., pM 而執行內插濾波。亦即，若參考像素表示為pl ，則整數l之範圍表示為-M+1 ≤ l ≤ M。
若方程式1至7之內插位置α平行平移至α-h，則可藉由使用方程式1至7而產生如圖5A中所說明使用對應內插位置α非對稱地定位之參考像素的內插濾波器。
換言之，若非對稱的左側參考像素52以及右側參考像素54表示為pl ，則整數l之範圍為-M+1+h ≤ l ≤ M+h。在此狀況下，M為4且h為1。左側參考像素52之數目比2M個參考像素對應內插位置α對稱地分佈之狀況下之數目小一。
根據方程式1至7之內插濾波器為一維濾波器。為了執行二維濾波，藉由使用一維濾波器，在垂直方向上且在水平方向上執行內插濾波。換言之，兩次執行一維內插濾波。一維內插濾波之兩次執行中，針對執行運動補償，第二一維內插濾波使用濾波器分接頭之數目增加一半的濾波器，且第一一維內插濾波對所擴展之區塊執行。
當對區塊之左側邊界執行內插濾波時，區塊必須自左側邊界向左側擴展。若使用了使用對應內插位置α對稱地定位之2M個參考像素的對稱內插濾波器，則為了執行內插濾波，區塊必須按M個像素向左側擴展。
然而，若使用了使用對應內插位置α非對稱地定位之參考像素的非對稱內插濾波器，則為了執行內插濾波，濾波區域必須按M-h個像素向區塊之左側擴展。類似地，若h為負方向，則當對區塊之右側邊界執行內插濾波時，濾波區域必須按M+h個像素向區塊之右側擴展。換言之，若對區塊之邊界執行內插濾波，則與使用對稱內插濾波器時之狀況比較，當使用非對稱內插濾波器時，可減小待擴展之區塊的區域。因而，可減小用於儲存所擴展之區域之像素值的儲存空間，且亦可減少用於擴展區塊之計算的量。
＜ 奇數分接頭內插濾波器 ＞
圖5B為用於描述根據本發明之實施例的使用包含奇數個濾波係數之內插濾波器以便判定子像素單位像素值之內插方法的圖式。
假設，為了計算子像素單位內插位置α之像素p(α) 55，內插濾波器使用參考像素{p-2 , p-1 , p0 , p1 , p2 }。參考像素之數目為5（亦即，奇數），且可參考對應內插位置α之三個左側參考像素51以及兩個右側參考像素53以便執行內插濾波。
由於左側參考像素51以及右側參考像素53對應內插位置α非對稱地定位且右側參考像素53之數目小於左側參考像素51的數目，因此圖5B中所說明之內插濾波器可有效地對區塊之右側邊界執行內插濾波。
最初，根據方程式12至15，判定使用整數l之範圍為-M+1 ≤ l ≤ M-1的參考像素{pl }且濾波器大小Size（亦即，濾波器分接頭之數目）為2M-1的內插濾波器之濾波係數{p(α)}。
[方程式12]
[方程式13]
[方程式14]
[方程式15]若M為3，則可根據方程式15判定圖5B之內插濾波係數。
或者，根據方程式16至19，可判定使用整數l之範圍為-M+2 ≤ l ≤ M的參考像素{pl }且濾波器大小Size（亦即，濾波器分接頭之數目）為2M-1的內插濾波器之濾波係數{p(α)}。
[方程式16]
[方程式17]
[方程式18]
[方程式19]
可對自圖5B之參考像素按1向右平行平移之像素執行使用根據方程式19而判定之濾波係數的內插濾波。
在方程式12至19中，α不限於等於或大於0且等於或小於1之值。換言之，α可具有小於0或大於1之值。因此，基於方程式12至19，可獲得具有奇數個濾波器分接頭之奇數分接頭內插濾波器。由於濾波器分接頭之數目為奇數，因此可對奇數個參考像素執行使用內插濾波器進行之內插濾波。
亦可藉由組合使用對應內插位置非對稱地定位之參考像素的內插濾波器與奇數分接頭內插濾波器而獲得內插濾波器。亦即，用於對對應內插位置非對稱地定位之奇數個像素執行內插濾波的內插濾波器亦為可獲的。
若使方程式12至15中之參考像素的中心一般化，則可根據方程式20以及21導出內插濾波器之濾波係數。
[方程式20]
[方程式21]
此處，Mmax 以及Mmin 分別表示參考像素中之最小以及最大索引值，且可表示參考像素之範圍。因此，濾波器大小Size可判定為Mmax -Mmin +1。舉例而言，在7分接頭內插濾波器中，若Mmax =3且Mmin =-3，則參考像素之中央索引Center可為0。換言之，Center具有Mmax 與Mmin 之平均值。
且，若用於根據方程式20以及21之內插濾波器的基礎函數表示為餘弦轉換函數之基礎函數Wk，則導出方程式22以及23。
[方程式22]
[方程式23]
因此，內插濾波器可為使用對應內插位置非對稱地定位之參考像素的非對稱內插濾波器，且可包含濾波係數之數目為奇數的奇數分接頭內插濾波器。如上文關於方程式1至7所述，內插濾波器亦可包含對稱內插濾波器以及偶數分接頭內插濾波器。
一般而言，奇數分接頭內插濾波器可為非對稱內插濾波器。然而，偶數分接頭內插濾波器可為對稱內插濾波器或非對稱內插濾波器。舉例而言，若8分接頭內插濾波器在由對稱偶數分接頭內插濾波器支援之區域中的內插位置之兩側處包含四個濾波係數以及四個濾波係數，則8分接頭內插濾波器可為對稱偶數分接頭內插濾波器，且若8分接頭內插濾波器在由非對稱偶數分接頭內插濾波器支援之區域中的內插位置之兩側處包含三個濾波係數以及五個濾波係數，則8分接頭內插濾波器可為非對稱偶數分接頭內插濾波器。
內插濾波器可包含藉由根據內插位置調整內插濾波器之回應的平滑度而產生之濾波係數。
現將詳細描述窗濾波器用以判定各種經平滑化之內插濾波器時之狀況。
＜ 使用窗濾波器之經平滑化之內插濾波器 ＞
現將詳細描述藉由使用窗濾波器來使內插濾波係數平滑化之方法。
窗濾波器可使用漢明窗函數（hamming window function）、餘弦窗函數（cosine window function）、指數窗函數（exponential window function）、漢寧窗函數（hanning window function）、布雷克門窗函數（Blackman window function）以及三角窗函數（triangle window function）。儘管下文為便於解釋將描述藉由使用某些窗函數來使基於轉換以及逆轉換之內插濾波器平滑化時的狀況，但一般熟習此項技術者將理解，除了所述窗函數之外，亦可使用具有類似頻率回應的其他窗函數。
根據漢明窗函數之窗係數滿足方程式24。    [方程式24]
在包含漢明窗函數之各種窗函數中，輸入的n以N/2為參考是對稱的，且頻率回應類似於低通濾波器之頻率回應。窗函數之輸入中，僅由窗函數所形成之窗涵蓋的輸入可為輸出。窗大小N可設定為大於原始內插濾波器之長度的正整數。舉例而言，為了將窗函數應用於內插濾波器以用於產生諸如1/2或1/4像素之子像素單位像素，窗函數的中央位置可按1/2或1/4像素移動。亦即，由於窗函數之中央位置移動至內插位置，因此窗函數可對應內插位置為對稱的。
舉例而言，方程式25以及26分別展示用於1/2像素單位以及1/4像素單位內插濾波器之漢明窗函數的窗係數。
[方程式25]
[方程式26]
方程式27順序地展示作為用於內插濾波器之窗函數的漢明窗函數、餘弦窗函數以及指數窗函數之窗係數，其是根據子像素單位內插位置α而一般化。
[方程式27]
藉由組合根據方程式27之窗係數與原始內插濾波器fk (α)，可根據方程式28判定經平滑化之內插濾波係數。
[方程式28]
由於藉由使用窗濾波器而判定經平滑化之內插濾波器，因此可基於整數像素單位參考像素與內插位置之間的距離而調整內插濾波係數之權重。舉例而言，可按一種方式判定經平滑化之內插濾波器，所述方式使得藉由窗函數，內插濾波器之濾波係數中，用於遠離內插位置而定位之整數像素單位參考像素的濾波係數極大地平滑化，且用於靠近內插位置而定位之整數像素單位參考像素的濾波係數並未極大地改變。
且，若藉由使用窗濾波器而判定經平滑化之內插濾波器，則可在使整數像素單位參考像素平滑化之後執行內插濾波。輸入整數像素單位參考像素Ref={p-M+1 , p-M+2 , ..., p0 , p1 , ..., pM }可包含雜訊，或可能歸因於諸如量化誤差之誤差而損壞。因而，若在執行內插濾波之前使整數像素單位參考像素平滑化，則影像內插裝置10可改良內插效應。
＜ 使用非對稱窗濾波器之內插濾波器 ＞
非對稱窗濾波器對應濾波器之中心為非對稱的。因此，用於內插濾波器之非對稱窗濾波器可用以對應內插位置非對稱地執行內插濾波。
方程式29展示呈最簡單形式之非對稱窗濾波器的濾波係數wl 。  [方程式29]
N表示窗大小，且Mmin 以及Mmax 表示距內插位置之最遠位置的參考像素。
可藉由使窗大小N變化而調整窗濾波器之濾波器特性。窗大小N可等於或大於內插濾波器之濾波器大小Size，且可等於或小於濾波器大小Size之兩倍（Size ≤ N ≤ 2×Size）。
舉例而言，當方程式1至7與方程式29組合時，若判定M為4之對稱內插濾波器的濾波係數，則由於參考像素之數目（2M）為8，因此獲得8分接頭內插濾波器。若使用窗大小N=13之窗函數，則1/4像素單位內插濾波器以及1/2像素單位內插濾波器之濾波係數如下文所表示。此處，所使用之縮放因數S為64。
1/4像素單位內插濾波係數{pl }={-1, 4, -10, 57, 19, -7, 3, -1}。
1/2像素單位內插濾波係數{pl }={-1, 4, -11, 40, 40, -11, 4, -1}。
類似地，當方程式1至7與方程式29組合時，若不同地調整Mmin 以及Mmax ，則可藉由使用非對稱窗濾波器而判定非對稱內插濾波器之濾波係數。
＜ 使用兩個參數之經平滑化之內插濾波器 ＞
經平滑化之內插濾波器可基於兩個參數來判定濾波係數之平滑度。藉由基於轉換以及逆轉換組合平滑化矩陣S與內插濾波係數而獲得的子像素單位的經平滑化之內插濾波係數滿足方程式30。
[方程式30]方程式31展示平滑化矩陣S之實例。
[方程式31]
根據方程式31之平滑化矩陣S為3對角矩陣。換言之，平滑化矩陣S之分量中，除了在一條中央對角線以及彼此對應且鄰近於中央對角線之兩條對角線上之分量以外的分量皆為0。
在平滑化矩陣S中，可判定平滑度σi ，而不管距待內插之整數像素單位像素的距離(i-α)。在此狀況下，根據平滑化矩陣S之平滑化可被稱為均勻平滑化。
且，在平滑化矩陣S中，平滑度σi 可根據整數像素單位像素位置之索引I而改變。在此狀況下，根據平滑化矩陣S之平滑化可被稱為非均勻平滑化。舉例而言，平滑度σi 可滿足方程式32。
[方程式32]
若內插位置與整數像素單位參考像素之間的距離大，則正索引l可增加平滑化效應。因此，正索引l可根據內插位置與整數像素單位參考像素之間的距離來控制平滑化之速度。平滑化參數β可控制圍繞內插位置之平滑化之範圍。
若平滑化參數β小於0，則根據方程式13之平滑化矩陣S可改變為銳化濾波器。因此，若小於0之平滑化矩陣S與使用轉換以及逆轉換之內插濾波器組合，則可產生用於放大高頻分量之濾波器。
為了執行子像素單位預測，影像內插裝置10可使用先前儲存於記憶體中之經平滑化之內插濾波係數資料。
圖6為根據本發明之實施例的基於經平滑化之內插濾波器之平滑化參數β的平滑化因數之曲線圖67。
第一曲線68以及第二曲線69展示用於基於離散轉換來使內插濾波器平滑化之平滑化因數。若m大，亦即，若距待內插之整數像素單位像素的距離增加，則平滑化因數接近於0。
此處，與平滑化參數β大時之狀況下的第二曲線69相比，平滑化參數β小時之狀況下的第一曲線68具有平滑化因數之相對大的寬度。換言之，若經平滑化之內插濾波器之平滑化參數β大，則可主要對低頻分量濾波，且因此可產生相對強平滑化之子像素單位像素值。若經平滑化之內插濾波器之平滑化參數β相對小，則可保留相對高頻之分量且進行內插，且因此可產生子像素單位像素值。
上文描述了各種內插濾波器以及濾波係數。具體言之，作為用於判定內插濾波器之濾波係數的函數，可使用窗函數、仿樣函數、多項式函數等。針對內插濾波器，函數之頻率回應可根據頻率而變化，但函數之頻率回應的濾波增益可接近於1。因此，即使在頻率變化時，影像內插裝置10仍可藉由使用頻率回應之濾波增益接近於1之函數來判定濾波係數，且可選擇包含所述濾波係數的內插濾波器。
＜ 經規則化 之內插濾波器 ＞
若內插濾波器之濾波器大小增大，則可改良內插之準確度。然而，若濾波器大小增大，則高頻分量保留於濾波結果中且因此內插濾波器易受雜訊影響。內插濾波器可藉由使用以內插位置α作為中心之餘弦窗函數而使參考像素值{pl }平滑化，藉此減小內插濾波結果中之雜訊。藉由使用餘弦窗函數來使參考像素值{pl }平滑化之操作滿足方程式33。
[方程式33]
N表示用於平滑化之窗大小，但可能未必為整數。因此，若根據方程式7的使用轉換以及逆轉換而進行之濾波與根據方程式33的窗濾波組合，則啟用用於子像素單位內插位置α之經平滑化之內插濾波。經平滑化之內插濾波可藉由使用有限脈衝回應（finite impulse response；FIR）濾波器而執行，且滿足方程式34以及35。
[方程式34]
[方程式35]
在方程式34以及35中，pα 表示作為經平滑化之內插濾波結果而產生之像素值，且Filterl (α)表示經平滑化之內插濾波器之濾波係數。Mmin 以及Mmax 表示參考像素之範圍。
在用於色度像素之經平滑化之內插濾波器中，可調整經平滑化之內插濾波器之平滑化參數以更多地移除高頻分量的影響。可如方程式36以及37中所表示而判定使用平滑化參數之色度內插濾波器的濾波係數。
[方程式36]
[方程式37]
圖7為根據本發明之實施例的內插濾波器之振幅頻率回應曲線圖70。
若大小為1之諧波信號輸入至內插濾波器，則內插濾波器之振幅頻率回應曲線圖70可展示執行內插濾波之結果。
振幅頻率回應曲線圖70展示根據本發明之實施例的基於基礎函數使用DCT以及IDCT之8分接頭經平滑化之內插濾波器的第一頻率回應71、根據本發明之實施例的經規則化的8分接頭經平滑化之內插濾波器之第二頻率回應72，以及根據H.264視訊寫碼標準之6分接頭內插濾波器的第三頻率回應73。
在第一至第三頻率回應71至73中，峰711、715、721以及731表示信號在對應頻率下放大，且谷713表示信號在對應頻率下減幅。將輸入信號放大或減幅之效應在內插濾波中並不適用。
在理想的振幅頻率回應74中，濾波增益在所有頻率下恆定地維持為1，且因此峰或谷根本不存在。此意謂歸因於內插濾波之失真不會發生。
若內插濾波器之頻率回應較接近於理想的振幅頻率回應74，則內插濾波結果較準確。內插濾波器之頻率回應與理想的振幅頻率回應74相比之失真可表示為內插濾波器之頻率回應與理想的振幅頻率回應74之間的差之平方，亦即，差區域之面積。
舉例而言，經規則化的經平滑化之內插濾波器之頻率回應與理想的振幅頻率回應74相比之失真可藉由調整其窗濾波器大小N以及其平滑度σ而減至最小。經規則化的經平滑化之內插濾波器之頻率回應與理想的振幅頻率回應74相比之失真對應於振幅頻率回應曲線圖70中之理想的振幅頻率回應74與第二頻率回應72之間的陰影區域之面積。亦即，若陰影區域之面積小，則可改良藉由使用經規則化的經平滑化之內插濾波器而執行之內插的準確度。
且，由於FIR濾波器之頻率回應隨著頻率接近於π而接近於0，因此FIR濾波器可能不產生高頻分量。且，若內插濾波器之剪切層級低，則內插濾波器可能不復原參考影像之詳細資訊。一般而言，若濾波器之長度大，則可指派高的剪切層級。在振幅頻率回應曲線圖70中，由於經平滑化之內插濾波器以及經規則化的經平滑化之內插濾波器之第一頻率回應71以及第二頻率回應71的剪切層級719以及729高於H.264內插濾波器之第三頻率回應73的剪切層級739，因此經平滑化之內插濾波器以及經規則化的經平滑化之內插濾波器與H.264內插濾波器相比可較準確地復原參考影像的詳細資訊。
因此，與H.264內插濾波器相比，經平滑化之內插濾波器可在執行內插濾波之後留下輸入信號之高頻分量。且，與H.264內插濾波器相比，經平滑化之內插濾波器之失真區域相對小，且因此內插結果中之失真相對小。
經平滑化之內插濾波器中，經規則化的經平滑化之內插濾波器之第二頻率回應72接近於理想的振幅頻率回應74，且未經規則化的經平滑化之內插濾波器之第一頻率回應71歸因於峰以及谷而具有相對大的失真區域。換言之，與經規則化的經平滑化之內插濾波器相比，未經規則化的經平滑化之內插濾波器之濾波結果可包含較多不合需要的假影。
因此，作為根據本發明之實施例的內插濾波器之濾波係數，可選擇與理想的振幅頻率回應74相比用於使失真區域減至最小的經規則化的經平滑化之內插濾波器之濾波係數。換言之，若調整經平滑化之內插濾波器之窗濾波器大小N以及平滑度σ且使其濾波係數規則化，則可判定用於使經平滑化之內插濾波器之頻率回應的失真區域減至最小的濾波係數。
因此，影像內插裝置10之內插濾波器可包含考慮到平滑化而判定的濾波係數。
＜ 經相移之 α & 運動向量值 ＞
用於典型運動補償之準確度是以諸如1/2像素單位或1/4像素單位之1/2p 像素單位為子像素單位的。然而，用於判定根據本發明之實施例的子像素單位內插濾波器之濾波係數的內插位置α不限於1/2p 像素單位。
為了以除了1/2像素單位或1/4像素單位以外之子像素單位對內插位置α執行運動補償，可使用1/2像素單位或1/4像素單位運動向量的部分向量。舉例而言，假設1/2像素單位運動向量MV之子像素單位分量集合{α, 1/2, 1-α}。由於若α小於1/4，則運動向量MV之寫碼單元分量的長度減小，因此可改良用於運動補償之內插濾波的穩定性且可節省用於差分運動向量的寫碼位元。
視訊寫碼中最常用的色彩格式為4:2:0格式。在此狀況下，可對對應於明度樣本之數目之一半的色度樣本做編碼。若相同運動向量在明度樣本與色度樣本之間共用，則色度運動向量之大小為明度運動向量之大小的一半。因此，明度內插濾波器之相移可與色度內插濾波器之相移同步。
舉例而言，若明度內插濾波器之相移為{αi }，則色度內插濾波器之相移可同步為{αi /2}∪{1-αi /2}∪{1/2}。
舉例而言，當藉由使用運動向量MV之子像素單位分量集合來執行運動補償時，若明度內插濾波器之相移為{α, 1/2, 1-α}，則色度內插濾波器的相移可同步為{α/2, (1-α)/2, 1/2, 1-α/2, 1-(1-α)/2}。
作為根據本發明之實施例的內插濾波器，上文描述了基於多個基礎函數使用轉換以及逆轉換之內插濾波器、用於以子像素單位執行內插的內插濾波器、對稱或非對稱內插濾波器、奇數或偶數分接頭內插濾波器、使用窗濾波器之內插濾波器、考慮平滑化的內插濾波器以及經規則化之內插濾波器。
上文所提及之內插濾波器可個別地操作或可組合。舉例而言，根據本發明之實施例的內插濾波器可按子像素單位執行內插，且可執行內插濾波而不管參考像素對應內插位置對稱地抑或非對稱地定位。且，由於濾波係數之數目可為偶數或奇數，因此內插濾波器可對奇數個整數像素單位像素以及偶數個整數像素單位像素執行內插濾波。此外，由於可選擇經規則化的經平滑化之內插濾波器之濾波係數，因此參考像素之詳細資訊可保留且諸如雜訊之不合需要的高頻分量可減至最小，藉此使歸因於內插濾波的失真減至最小。
圖8為根據本發明之實施例之影像內插方法的流程圖。
在操作81中，自用於產生位於圖像之整數像素單位之間的至少一個子像素單位像素值之內插濾波器，根據子像素單位內插位置個別地選擇對稱或非對稱內插濾波器。
所選擇之非對稱內插濾波器可為奇數分接頭內插濾波器。所選擇之對稱內插濾波器可為偶數分接頭內插濾波器。為了在空間域中內插整數像素單位像素，內插濾波器可包含藉由組合基於多個基礎函數使用轉換以及逆轉換之濾波器與非對稱或對稱窗濾波器而獲得的濾波係數。
選擇經規則化以使頻率回應誤差減至最小的內插濾波器，頻率回應誤差是作為使用所選擇之內插濾波器時之內插結果而產生。且，為了防止諸如雜訊之高頻分量被復原，可選擇包含用於使參考像素平滑化之濾波係數的內插濾波器。
在操作83中，藉由使用操作81中所選擇之內插濾波器來內插整數像素單位像素值，藉此產生至少一個子像素單位像素值。
若在操作81中選擇非對稱內插濾波器，則在操作83中，可對對應內插位置非對稱地定位之整數像素單位像素執行濾波。若在操作81中選擇對稱內插濾波器，則在操作83中，可對對應內插位置對稱地定位之整數像素單位像素執行濾波。
且，若在操作81中選擇非對稱奇數分接頭內插濾波器，則在操作83中，可藉由使用非對稱奇數分接頭內插濾波器之奇數個濾波係數而對對應內插位置定位的奇數個整數像素單位像素執行濾波。若在操作81中選擇對稱偶數分接頭內插濾波器，則在操作83中，可藉由使用對稱偶數分接頭內插濾波器之偶數個濾波係數而對對應內插位置定位的偶數個整數像素單位像素執行濾波。
現將參考圖9A至圖12B描述根據子像素單位內插位置選擇性地判定之對稱或非對稱內插濾波器之濾波係數的各種實例。
根據上文所述之原理，圖9A至圖12B中所說明之內插濾波器為藉由組合基於多個基礎函數使用轉換以及逆轉換之子像素單位內插濾波器與用於使高頻分量平滑化之窗濾波器而獲得的濾波器，且包含窗大小以及平滑度經調整以使內插結果中之失真減至最小的濾波係數。且，下文將描述各種對稱以及非對稱內插濾波器與奇數以及偶數分接頭內插濾波器。
由於內插濾波器為鏡面反射性對稱濾波器，因此可藉由使用內插位置α之濾波係數fm (α)而判定內插位置(1-α)的濾波係數fm (1-α)。因此，在圖9A至12B中所示之表格中，儘管僅展示在運動向量MV之子像素單位等於或小於1/2時之狀況下的內插濾波係數{fm (α)}，但一般熟習此項技術者將理解，可判定在運動向量MV之子像素單位大於1/2之狀況下的其他內插濾波係數{fm (α)}。
最初，在圖9A至圖11C中所示之表格中，第一欄中之「FracMV」表示用於1/2p 像素單位運動補償之運動向量MV的子像素單位。為了執行子像素單位內插濾波，「FracMV」之值可與第二欄中之濾波係數組合。第三欄中之內插位置α為用於界定子像素單位內插位置之參數，且可表示相對於整數像素單位的相移量。第四欄中之窗濾波器大小N可能未必為整數。內插濾波器之縮放位元為6個位元。
圖9A至圖9D分別展示根據本發明之實施例的基於內插位置以及窗濾波器大小而判定之3分接頭至6分接頭內插濾波器的濾波係數。
圖9A展示作為3分接頭內插濾波器且包含濾波係數{p-1 , p0 , p1 }之非對稱內插濾波器。因此，圖9A中所示之內插濾波器可對對應內插位置非對稱地定位之整數像素單位像素執行內插濾波。舉例而言，若執行水平內插，則可對對應內插位置之兩個左側整數像素單位參考像素以及一個右側整數像素單位參考像素執行內插濾波。
圖9B展示作為4分接頭內插濾波器且包含濾波係數{p-1 , p0 , p1 , p2 }之對稱內插濾波器。因此，圖9B中所示之內插濾波器可對對應內插位置對稱地定位之整數像素單位像素執行內插濾波。舉例而言，若執行水平內插，則可藉由使用對應內插位置之兩個左側整數像素單位參考像素以及兩個右側整數像素單位參考像素執行內插濾波。
圖9C展示作為5分接頭內插濾波器且包含濾波係數{p-1 , p0 , p1 , p2 , p3 }之非對稱內插濾波器。因此，若執行水平內插，則可對對應內插位置非對稱地定位之兩個左側整數像素單位參考像素以及三個右側整數像素單位參考像素執行內插濾波。
圖9D展示作為6分接頭內插濾波器且包含濾波係數{p-2 , p-1 , p0 , p1 , p2 , p3 }之對稱內插濾波器。因此，若執行水平內插，則可藉由使用對應內插位置對稱地定位之三個左側整數像素單位參考像素以及三個右側整數像素單位參考像素執行內插濾波。
圖10A至圖10C分別展示根據本發明之實施例的基於內插位置以及窗濾波器大小而判定之7分接頭內插濾波器的濾波係數。
圖10A展示包含濾波係數{p-3 , p-2 , p-1 , p0 , p1 , p2 , p3 }之非對稱內插濾波器。因此，若藉由使用圖10A中所示之內插濾波器執行水平內插，則可對對應內插位置非對稱地定位之四個左側整數像素單位參考像素以及三個右側整數像素單位參考像素執行內插濾波。
圖10B展示包含濾波係數{p-2 , p-1 , p0 , p1 , p2 , p3 , p4 }之非對稱內插濾波器。因此，若藉由使用圖10B中所示之內插濾波器執行水平內插，則可對對應內插位置非對稱地定位之三個左側整數像素單位參考像素以及四個右側整數像素單位參考像素執行內插濾波。
圖10C展示包含濾波係數{p-1 , p0 , p1 , p2 , p3 , p4 , p5 }之非對稱內插濾波器。因此，若藉由使用圖10C中所示之內插濾波器執行水平內插，則可對對應內插位置非對稱地定位之兩個左側整數像素單位參考像素以及五個右側整數像素單位參考像素執行內插濾波。
圖11A至圖11C分別展示根據本發明之實施例的基於內插位置以及窗濾波器大小而判定之8分接頭內插濾波器的濾波係數。
圖11A展示包含濾波係數{p-3 , p-2 , p-1 , p0 , p1 , p2 , p3 , p4 }之對稱內插濾波器。因此，若藉由使用圖11A中所示之內插濾波器執行水平內插，則可對對應內插位置對稱地定位之四個左側整數像素單位參考像素以及四個右側整數像素單位參考像素執行內插濾波。
圖11B展示包含濾波係數{p-2 , p-1 , p0 , p1 , p2 , p3 , p4 , p5 }之非對稱內插濾波器。因此，若藉由使用圖11B中所示之內插濾波器執行水平內插，則可對對應內插位置非對稱地定位之三個左側整數像素單位參考像素以及五個右側整數像素單位參考像素執行內插濾波。
圖11C展示包含濾波係數{p-4 , p-3 , p-2 , p-1 , p0 , p1 , p2 , p3 }之非對稱內插濾波器。因此，若藉由使用圖11C中所示之內插濾波器執行水平內插，則可對對應內插位置非對稱地定位之五個左側整數像素單位參考像素以及三個右側整數像素單位參考像素執行內插濾波。
圖12A以及圖12B分別展示根據本發明之實施例的經規則化之明度內插濾波器以及經規則化之色度內插濾波器之濾波係數。
圖12A以及圖12B展示如上文在＜ 經規則化 之內插濾波器 ＞ 中所述之經選擇以使失真區域減至最小之經規則化之內插濾波器的濾波係數。
根據圖12A，窗濾波器大小N經調整以使明度內插濾波器規則化。圖9A至圖11C中所示之各種內插濾波器中，可選擇窗大小為8.7之7分接頭內插濾波器{-1, 4, -10, 58, 17, -5, -1}作為用於執行1/4像素單位內插濾波的經規則化之明度內插濾波器。且，可選擇窗大小為9.5之8分接頭內插濾波器{-1, 4, -11, 40, 40, -11, 4, -1}作為用於執行1/2像素單位內插濾波之經規則化之明度內插濾波器。換言之，可選擇非對稱內插濾波器作為經規則化之1/4像素單位明度內插濾波器，且可選擇對稱內插濾波器作為經規則化之1/2像素單位明度內插濾波器。
根據圖12B，平滑度σ經調整以使色度內插濾波器規則化。可選擇1/8像素單位4分接頭對稱內插濾波器作為經規則化之色度內插濾波器。
下文參考圖13A至圖27描述根據本發明之實施例的使用內插濾波器而進行之視訊編碼以及解碼。下文參考圖15至圖25描述根據本發明之實施例的基於具有樹狀結構之寫碼單元的視訊編碼以及解碼。下文參考圖26以及圖27描述根據本發明之實施例的使用內插濾波器之視訊編碼以及解碼方法。
當對影像資料執行各種操作時，可將影像資料分割為資料群組，且可對同一資料群組之資料執行相同的操作。在以下描述中，根據預定標準而形成之資料群組被稱為「資料單元」，且操作藉由使用包含於資料單元中之資料而對每一「資料單元」執行。
＜使用內插濾波器而進行之視訊編碼以及解碼＞
圖13A為根據本發明之實施例的使用內插濾波器之視訊編碼裝置100的方塊圖。
視訊編碼裝置100之編碼器120以及輸出單元130的操作可由視訊編碼處理器、CPU以及圖形處理器合作控制。
為了對輸入視訊之當前圖像做編碼，視訊編碼裝置100將當前圖像分割為具有預定大小之資料單元且對每一資料單元做編碼。
舉例而言，當前圖像包含空間域中之像素。為了同時對當前圖像之空間上鄰近的像素做編碼，當前圖像可按使得預定範圍內之鄰近像素形成一個群組的方式分割為具有預定大小之像素群組。藉由對所分割之像素群組之像素執行一系列編碼操作，可對當前圖像做編碼。
由於待編碼之圖像的初始資料為空間域中之像素值，因此每一像素群組可用作待編碼的資料單元。且，當藉由對空間域中之像素群組的像素值執行用於視訊編碼之轉換而產生轉換域中之轉換係數時，轉換係數包含於大小與空間域中之像素群組相同的係數群組中。因此，轉換域中之轉換係數的係數群組亦可用作用於對圖像做編碼之資料單元。
因此，在空間域以及轉換域中，具有預定大小之資料群組可用作待編碼之資料單元。在此狀況下，資料單元之大小可定義為包含於資料單元中的資料段數。舉例而言，空間域中之像素的數目或轉換域中之轉換係數的數目可表示資料單元之大小。
可對應當前待要編碼之資料單元、片段、圖像以及視訊的圖像序列中任何資料層級的每一資料群組而判定當前資料單元之編碼方法或編碼特性。
視訊編碼裝置100可藉由對每一資料單元執行包含畫面間預測以及畫面內預測之預測編碼、轉換、量化以及熵編碼而對當前圖像做編碼。
根據畫面間預測，為了參考在時間上先前或後續的圖像之像素值來估計當前像素值，可判定在參考圖像之參考區域的像素值與當前圖像之像素值之間的殘餘資料，以及指示所參考像素值之參考資料。
為了更準確地執行畫面間預測，視訊編碼裝置100可藉由使用子像素單位像素值而判定殘餘資料以及參考資料。為了執行子像素單位畫面間預測，視訊編碼裝置100可藉由內插鄰近整數像素單位像素而判定位於鄰近整數像素單位像素之間的子像素單位像素值。
且，可藉由對包含鄰近整數像素單位像素之兩個或兩個以上整數像素單位參考像素執行內插濾波而產生子像素單位像素值。用於執行內插濾波之參考像素可為參考圖像的像素。
為了有效地執行影像內插，視訊編碼裝置100可選擇性地判定內插濾波係數。編碼器120可包含圖1中所說明之影像內插裝置10。換言之，為了執行子像素單位畫面間預測，編碼器120可藉由使用內插濾波器而產生子像素單位像素值，所述內插濾波器包含由影像內插裝置10基於轉換以及逆轉換而判定的濾波係數。
為了有效地執行內插濾波，視訊編碼裝置100可先前將內插濾波係數儲存於記憶體中。根據內插位置、平滑度、濾波器分接頭之數目、位元深度、縮放比率、基於轉換之內插濾波的基礎函數、窗函數以及窗大小，可將各種內插濾波係數儲存於視訊編碼裝置100的記憶體中。
舉例而言，i）包含7分接頭濾波係數{-1, 4, -10, 58, 17, -5, 1}且窗大小為8.7之1/4像素單位內插濾波器，以及ii）包含8分接頭濾波係數{-1, 4, -11, 40, 40, -11, 4, -1}且窗大小為9.5的1/2像素單位內插濾波器可儲存於記憶體中且可用以執行內插濾波。
除了上文所提及之內插濾波係數之外，可根據如圖9A至圖12B中所示之各種基礎函數以及窗函數修改的內插濾波係數亦可用以執行內插濾波。
若藉由使用儲存於記憶體中之濾波係數來執行內插濾波，則可改良畫面間預測之計算速度。
多個內插濾波器中，編碼器120可根據子像素單位內插位置α選擇且使用對稱或非對稱內插濾波器以執行畫面間預測。除此以外，可根據濾波器分接頭之數目、位元深度、縮放比率、窗濾波器大小、平滑度等而判定適用於當前像素之內插濾波器。
編碼器120可根據影像特性來判定內插濾波器。舉例而言，編碼器120可根據像素之色彩分量判定不同的內插濾波器。舉例而言，可單獨地選擇用於明度像素之內插濾波器以及用於色度像素之內插濾波器，且因此，可藉由執行內插濾波而個別地產生子像素單位像素值。
可藉由基於子像素單位內插、畫面內預測、轉換以及量化執行畫面間預測來對視訊做編碼。
輸出單元130可對編碼資訊做編碼且進行輸出，且可輸出已經編碼之圖像資料。作為編碼資訊，可另外對關於所選擇之內插濾波器之資訊做編碼。換言之，可對關於用以執行子像素單位預測編碼之內插濾波器的資訊做編碼。舉例而言，解碼器必須知曉用以對影像做編碼之內插濾波器，以便藉由使用編碼程序中所使用之相同內插濾波器來對影像做解碼。因此，指示所使用之內插濾波器之資訊可與影像一起編碼。然而，若基於先前編碼結果（亦即，內容脈絡）來選擇濾波器，則可能不另外對關於所選擇之濾波器的資訊做編碼。
輸出單元130可對編碼資訊以及已經編碼之圖像資料執行熵編碼，且可輸出位元串流。
圖13B為根據本發明之實施例的使用內插濾波器之視訊解碼裝置200的方塊圖。
視訊解碼裝置200包含接收器以及提取器220以及解碼器230。視訊解碼裝置200之接收器以及提取器220以及解碼器230的操作可由視訊解碼處理器、圖形處理器以及CPU合作控制。
為了自位元串流復原影像，視訊解碼裝置200可藉由執行包含熵解碼、逆量化、逆轉換、畫面間預測/補償以及畫面內預測/補償之操作而對位元串流的已經編碼之圖像資料做解碼。
接收器以及提取器220接收且剖析已經編碼之視訊之位元串流。接收器以及提取器220可自所剖析之位元串流提取當前圖像之每一資料單元的已經編碼之資料，以及包含關於待用以對已經編碼之資料做解碼之編碼方法之資訊的編碼資訊。
若編碼資訊包含內插濾波器資訊，則解碼器230可自內插濾波器資訊讀取關於用以執行子像素單位畫面內預測之內插濾波器的資訊，且可藉由使用編碼程序中所使用之內插濾波器而執行運動補償。
解碼器230可藉由根據基於關於寫碼模式之資訊而判定之各種解碼方法對已經編碼之圖像執行諸如熵解碼、逆量化、逆轉換、畫面間預測/補償以及畫面內預測/補償的各種解碼操作而對已經編碼之圖像資料做解碼。
為了執行運動補償，可藉由使用參考資料而判定在時間上在當前圖像之前或之後的參考圖像之參考區域，且可組合參考區域之像素值與殘餘資料以復原當前像素值。
若在編碼程序中基於以子像素單位內插的像素而判定殘餘資料以及參考資料，則解碼器230亦可基於以子像素單位內插的像素而執行運動補償。為了執行子像素單位運動補償，解碼器230可藉由內插參考圖像之鄰近整數像素單位像素而產生子像素單位像素值。可藉由對包含鄰近整數像素單位像素之兩個或兩個以上整數像素單位參考像素執行內插濾波而產生子像素單位像素值。
為了有效地執行影像內插，視訊解碼裝置200可選擇性地判定內插濾波係數。解碼器230可包含圖1中所說明之影像內插裝置10。換言之，為了執行子像素單位運動補償，解碼器230可藉由基於轉換使用內插濾波器而產生子像素單位像素值。
為了有效地執行內插濾波，視訊解碼裝置200可先前根據內插位置、平滑度、濾波器分接頭之數目、位元深度、縮放比率以及基於轉換之內插濾波的基礎函數而將可按各種方式選擇的內插濾波係數儲存於記憶體中。
如上文所述，舉例而言，i）包含7分接頭濾波係數{-1, 4, -10, 58, 17, -5, 1}且窗大小為8.7之1/4像素單位內插濾波器，以及ii）包含8分接頭濾波係數{-1, 4, -11, 40, 40, -11, 4, -1}且窗大小為9.5的1/2像素單位內插濾波器中之至少一者可儲存於記憶體中且可用以執行內插濾波。除了上文所提及之內插濾波係數之外，可根據如圖9A至圖12B中所示之各種基礎函數以及窗函數修改的內插濾波係數亦可用以執行內插濾波。
自多個內插濾波器，解碼器230可根據子像素單位內插位置α、濾波器分接頭之數目、位元深度、縮放比率等選擇且使用適用於當前像素的內插濾波器以執行子像素單位運動補償。
且，解碼器230可根據影像特性而判定內插濾波器。舉例而言，可根據像素之色彩分量而判定不同的內插濾波器，可單獨地執行用於明度像素之內插濾波以及用於色度像素之內插濾波，且因此可個別地產生經內插之子像素單位像素值。
因此，解碼器230可藉由執行逆量化/逆轉換而復原空間域中之資料，且可藉由基於子像素單位內插以及整數像素單位內插執行畫面內預測以及運動補償而復原像素值以及當前圖像。若復原了圖像，則可對視訊做解碼。
圖14A為根據本發明之實施例的使用內插濾波器之影像編碼方法的流程圖。
在操作1410中，為了對輸入視訊之當前圖像做編碼，執行使用子像素單位內插之預測編碼。自用於產生子像素單位像素值之內插濾波器，基於子像素單位內插位置以及平滑度不同地選擇內插濾波器。可基於內插位置與整數像素單位之間的距離而判定內插濾波器之平滑度。
可藉由對參考圖像之兩個或兩個以上整數像素單位參考像素執行內插濾波而產生子像素單位像素值。藉由使用所產生之子像素單位像素值而判定殘餘資料以及參考資料，藉此執行預測編碼。
為了有效地執行影像內插，可選擇性地判定內插濾波係數。記憶體可儲存對稱以及非對稱內插濾波器、奇數以及偶數分接頭內插濾波器以及經規則化之內插濾波器之內插濾波係數。自先前儲存於記憶體中之內插濾波係數，可根據子像素單位內插位置、平滑度、濾波器分接頭之數目、位元深度、縮放比率、基於轉換之內插濾波的基礎函數、窗濾波器大小以及色彩分量而選擇所要的內插濾波器，且可執行內插以產生子像素單位像素值。
在操作1420中，基於子像素單位內插以及畫面內預測對畫面間預測結果執行轉換以及量化。
在操作1430中，可藉由對編碼資訊以及呈經量化之轉換係數之形式的已經編碼之圖像資料執行熵編碼而輸出位元串流。編碼資訊可包含關於用以執行子像素單位預測編碼之內插濾波器的資訊。
圖14B為根據本發明之實施例的使用內插濾波器之影像解碼方法的流程圖。
在操作1450中，接收、熵解碼且剖析已經編碼之視訊之位元串流以自位元串流提取當前圖像的經量化之轉換係數以及編碼資訊。
若編碼資訊包含關於內插濾波器之資訊，則可自資訊讀取所需之內插濾波器的類型。
在操作1460中，根據基於自編碼資訊讀取之寫碼模式而判定的各種解碼方法，對經量化之轉換係數執行逆量化以及逆轉換，且添加殘餘資料，藉此復原空間域中之資料。
在操作1470中，可藉由基於寫碼模式執行諸如運動補償以及畫面內預測之各種解碼操作而對已經編碼之圖像資料做解碼。
具體言之，若基於以子像素單位內插之像素而提取經編碼之殘餘資料以及參考資料，則可基於以子像素單位內插的像素而執行運動補償。自用於產生子像素單位像素值之內插濾波器，基於子像素單位內插位置以及平滑度而不同地選擇內插濾波器。
為了有效地執行影像內插，可選擇性地判定內插濾波係數。記憶體可儲存對稱以及非對稱內插濾波器、奇數以及偶數分接頭內插濾波器以及經規則化之內插濾波器之內插濾波係數。自先前儲存於記憶體中之內插濾波係數，可根據子像素單位內插位置、平滑度、濾波器分接頭之數目、位元深度、縮放比率、基於轉換之內插濾波的基礎函數、窗濾波器大小以及色彩分量而選擇所要的內插濾波器，且可執行內插以產生子像素單位像素值。
由於對藉由使用先前儲存於記憶體中之內插濾波係數而內插之像素執行運動補償，因此可提高計算速度。記憶體可儲存對稱以及非對稱內插濾波器，與奇數以及偶數分接頭內插濾波器。
藉由使用參考資料而判定參考圖像以及參考區域，且可藉由對參考圖像之兩個或兩個以上整數像素單位參考像素執行內插濾波而產生子像素單位像素值。可藉由組合所產生之子像素單位像素值與殘餘資料而執行運動補償，且因此可執行預測解碼。
在操作1480中，藉由使用藉由執行預測解碼而獲得之像素值而復原當前圖像，且因此對視訊做解碼。
＜基於具有樹狀結構之寫碼單元使用內插而進行的視訊編碼以及解碼＞
現將參考圖13至27詳細描述根據本發明之實施例的基於具有樹狀結構之寫碼單元使用內插濾波器的視訊編碼以及解碼裝置，以及對應於視訊編碼以及解碼裝置之視訊編碼以及解碼方法。
視訊編碼裝置100可基於具有樹狀結構之寫碼單元以及轉換單元而對視訊做編碼。
可基於用於當前圖像之最大寫碼單元而分割視訊之當前圖像。若當前圖像大於最大寫碼單元，則當前圖像之影像資料可分割為至少一個最大寫碼單元。最大寫碼單元可為大小為32×32、64×64、128×128、256×256等之資料單元，其中資料單元之形狀為寬度以及長度為2的平方的正方形。編碼器120可對至少一個最大寫碼單元中之每一者的圖像資料做編碼。
根據本發明之實施例的寫碼單元可藉由最大大小以及深度來表徵。深度表示寫碼單元自最大寫碼單元在空間上分割之次數，且隨著深度加深，根據深度之較深寫碼單元可自最大寫碼單元分割為最小寫碼單元。最大寫碼單元之深度為最上層深度，且最小寫碼單元之深度為最下層深度。由於對應於每一深度之寫碼單元的大小隨著最大寫碼單元之深度加深而減小，因此對應於較上層深度之寫碼單元可包含對應於較下層深度的多個寫碼單元。
如上文所述，當前圖像之影像資料根據寫碼單元之最大大小分割為最大寫碼單元，且最大寫碼單元中的每一者可包含根據深度而分割的較深寫碼單元。由於根據本發明之實施例的最大寫碼單元是根據深度來分割，因此包含於最大寫碼單元中之空間域的影像資料可根據深度而階層式分類。
限制最大寫碼單元之高度以及寬度階層式分割之總次數的寫碼單元之最大深度以及最大大小可為預定的。
編碼器120對藉由根據深度來分割最大寫碼單元之區域而獲得的至少一個分割區域做編碼，且判定深度以根據此至少一個分割區域來輸出最終編碼之影像資料。換言之，編碼器120藉由根據當前圖像之最大寫碼單元來對根據深度之較深寫碼單元中之影像資料做編碼以及選擇具有最小編碼誤差的深度來判定已經寫碼之深度。
編碼器120可輸出對應於所判定之已經寫碼之深度的寫碼單元之已經編碼之影像資料。且，編碼器120可將關於所判定之已經寫碼之深度的資訊傳輸至輸出單元130，使得關於已經寫碼之深度之資訊可編碼為編碼資訊。
基於對應於等於或低於最大深度之至少一個深度的較深寫碼單元而對最大寫碼單元中之影像資料做編碼，且基於較深寫碼單元中的每一者而比較對影像資料做編碼之結果。可在比較較深寫碼單元之編碼誤差之後選擇具有最小編碼誤差的深度。可針對每一最大寫碼單元選擇至少一個已經寫碼之深度。
隨著寫碼單元根據深度而階層式分割，且隨著寫碼單元之數目增大，最大寫碼單元的大小被分割。且，即使寫碼單元對應於一個最大寫碼單元中之同一深度，仍藉由單獨量測每一寫碼單元之影像資料的編碼誤差而判定是否將對應於同一深度之寫碼單元中的每一者分割為較下層深度。因此，即使當影像資料包含於一個最大寫碼單元中時，影像資料仍根據深度而分割為區域且編碼誤差可根據所述一個最大寫碼單元中之區域而不同，且因此已經寫碼之深度可根據影像資料中的區域而不同。因此，可在一個最大寫碼單元中判定一或多個已經寫碼之深度，且可根據至少一個已經寫碼之深度的寫碼單元而劃分最大寫碼單元之影像資料。
因此，編碼器120可判定包含於最大寫碼單元中之具有樹狀結構的寫碼單元。根據本發明之實施例的「具有樹狀結構之寫碼單元」包含最大寫碼單元中所包含之所有較深寫碼單元中的對應於判定為已經寫碼之深度之深度的寫碼單元。可根據最大寫碼單元之同一區域中的深度而階層式判定已經寫碼之深度之寫碼單元，且可在不同的區域中獨立地進行判定。類似地，可獨立於另一區域中之已經寫碼之深度而判定當前區域中之已經寫碼之深度。
根據本發明之實施例的最大深度為與自最大寫碼單元至最小寫碼單元執行分割之次數相關的索引。根據本發明之實施例的第一最大深度可表示自最大寫碼單元至最小寫碼單元執行分割之總次數。根據本發明之實施例的第二最大深度可表示自最大寫碼單元至最小寫碼單元之總深度層級數。舉例而言，當最大寫碼單元之深度為0時，最大寫碼單元被分割一次之寫碼單元的深度可設定為1，且最大寫碼單元被分割兩次之寫碼單元的深度可設定為2。此處，若最小寫碼單元為最大寫碼單元被分割四次之寫碼單元，則存在深度0、1、2、3以及4之5個深度層級，且因此第一最大深度可設定為4，且第二最大深度可設定為5。
可根據最大寫碼單元執行預測編碼以及轉換。根據最大寫碼單元，亦基於根據等於最大深度之深度或小於最大深度之深度的較深寫碼單元來執行預測編碼以及轉換。
由於只要根據深度來分割最大寫碼單元，較深寫碼單元之數目便增大，因此對隨著深度加深而產生的所有較深寫碼單元執行包含預測編碼以及轉換的編碼。為便於描述，在最大寫碼單元中，現將基於當前深度之寫碼單元來描述預測編碼以及轉換。
視訊編碼裝置100可按各種方式選擇用於對影像資料做編碼之資料單元的大小或形狀。為了對影像資料做編碼，執行諸如預測編碼、轉換以及熵編碼之操作，且此時，同一資料單元可用於所有操作或不同資料單元可用於每一操作。
舉例而言，視訊編碼裝置100可不僅選擇用於對影像資料做編碼之寫碼單元，而且選擇不同於寫碼單元之資料單元，以便對寫碼單元中之影像資料執行預測編碼。
為了在最大寫碼單元中執行預測編碼，可基於對應於已經寫碼之深度之寫碼單元（亦即，基於不再分割為對應於較下層深度之寫碼單元的寫碼單元）來執行預測編碼。下文中，不再分割且變為用於預測編碼之基礎單元的寫碼單元現將被稱為「預測單元」。藉由分割預測單元而獲得之分區可包含藉由分割預測單元之高度以及寬度中的至少一者而獲得的預測單元或資料單元。
舉例而言，當2N×2N（其中N為正整數）之寫碼單元不再分割且變為2N×2N之預測單元時，分區之大小可為2N×2N、2N×N、N×2N或N×N。分區類型之實例包含藉由對稱地分割預測單元之高度或寬度而獲得的對稱分區、藉由非對稱地分割預測單元之高度或寬度（諸如，1:n或n:1）而獲得的分區、藉由用幾何方式分割預測單元而獲得之分區，以及具有任意形狀的分區。
預測單元之預測模式可為畫面內模式、畫面間模式以及跳過模式中之至少一者。舉例而言，可對2N×2N、2N×N、N×2N或N×N之分區執行畫面內模式或畫面間模式。且，可僅對2N×2N之分區執行跳過模式。在寫碼單元中對一個預測單元獨立地執行編碼，藉此選擇具有最小編碼誤差的預測模式。
視訊編碼裝置100亦可不僅基於用於對影像資料做編碼之寫碼單元而且基於不同於寫碼單元之資料單元而對寫碼單元中的影像資料執行轉換。
為了在寫碼單元中執行轉換，可基於具有小於或等於寫碼單元之大小的轉換單元來執行轉換。舉例而言，用於轉換之轉換單元可包含用於畫面內模式之資料單元以及用於畫面間模式之資料單元。
類似於寫碼單元，寫碼單元中之轉換單元可按遞回方式分割為較小大小的區域，使得轉換單元可按區域為單位獨立地判定。因此，可根據具有根據轉換深度之樹狀結構的轉換單元而劃分寫碼單元中之殘餘資料。
亦可在轉換單元中設定指示藉由分割寫碼單元之高度以及寬度而達到轉換單元所執行之分割次數的轉換深度。舉例而言，在2N×2N之當前寫碼單元中，當轉換單元之大小亦為2N×2N時，轉換深度可為0，當轉換單元之大小為N×N時，轉換深度可為1，且當轉換單元之大小為N/2×N/2時，轉換深度可為2。換言之，可根據轉換深度來設定具有樹狀結構之轉換單元。
根據已經寫碼之深度之編碼資訊不僅需要關於已經寫碼之深度之資訊，而且需要關於預測編碼以及轉換的資訊。因此，編碼器120不僅判定具有最小編碼誤差之已經寫碼之深度，而且判定預測單元中之分區類型、根據預測單元之預測模式以及用於轉換之轉換單元的大小。針對畫面間預測，根據已經寫碼之深度之編碼資訊可包含與用於內插子像素單位之內插濾波相關的資訊。
且，編碼器120可基於具有樹狀結構之轉換單元之最大分割層級藉由使用所述轉換單元而執行轉換以對寫碼單元做編碼，所述最大分割層級在每一最大寫碼單元或當前寫碼單元中先前且限制性地設定。
在根據深度之較深寫碼單元中的每一者中，具有小於或等於寫碼單元之大小的基礎轉換單元可階層式分割為較下層轉換深度的轉換單元。具有樹狀結構之轉換單元可包含具有當前允許之最大大小的基礎轉換單元，以及相對於可供寫碼單元使用之最大分割層級的較下層層級轉換單元。
在根據當前寫碼單元中之轉換深度在每一層級中執行轉換之後，編碼器120可判定具有樹狀結構的轉換單元，其獨立於鄰近區域之轉換單元且根據轉換深度而在同一區域中之轉換單元之間形成階層式結構。
換言之，可藉由使用各種大小之轉換單元對每一寫碼單元執行轉換且接著比較轉換的結果而判定具有樹狀結構之轉換單元。在判定寫碼單元時，可判定用於轉換寫碼單元之轉換單元。只要對根據一或多個深度中之每一者的寫碼單元做編碼，根據一或多個轉換深度中之每一者的轉換單元便可用以執行轉換。
必須針對每一寫碼單元而判定具有最小編碼誤差之轉換單元。為了判定在轉換單元中具有最小編碼誤差的轉換深度，可量測編碼誤差且在根據深度之所有較深轉換單元中比較。轉換單元可判定為用於使寫碼單元之轉換誤差減至最小的資料單元。
因此，由於在最大寫碼單元之每一區域中個別地判定根據深度之較深寫碼單元與較深轉換單元的組合（其具有最小編碼誤差），因此可判定具有樹狀結構之寫碼單元以及具有樹狀結構的轉換單元。
稍後將參考圖15至圖25詳細描述根據本發明之實施例的判定最大寫碼單元中具有樹狀結構之寫碼單元、分區以及具有樹狀結構之轉換單元的方法。
編碼器120可藉由基於拉格朗日乘數（Lagrangian multiplier）使用位元率-失真最佳化（Rate-Distortion Optimization）來量測根據深度之較深寫碼單元之編碼誤差。
視訊編碼裝置100可按位元串流之形式輸出最大寫碼單元之影像資料（其是基於由編碼器120判定之至少一個已經寫碼之深度而編碼）以及根據已經寫碼之深度關於寫碼模式的資訊（其是由輸出單元130編碼）。
隨著基於具有樹狀結構之寫碼單元、預測單元以及轉換單元對圖像做編碼而判定的關於根據深度之較深寫碼單元之寫碼模式的資訊可包含於位元串流之標頭、序列參數集合（sequence parameter set；SPS）或圖像參數集合（picture parameter set；PPS）中。
可藉由對影像之殘餘資料做編碼而獲得已經編碼之影像資料。
根據已經寫碼之深度關於寫碼模式的資訊可包含關於已經寫碼之深度、關於預測單元中之分區類型、預測模式以及轉換單元之大小的資訊。
可藉由使用根據深度之分割資訊來定義關於已經寫碼之深度的資訊，根據深度之分割資訊表示是否對較下層深度而非當前深度之寫碼單元執行編碼。若當前寫碼單元之當前深度為已經寫碼之深度，則對當前寫碼單元中之影像資料做編碼且輸出，且因此，分割資訊可定義為不將當前寫碼單元分割為較下層深度。或者，若當前寫碼單元之當前深度並非已經寫碼之深度，則對較下層深度之寫碼單元執行編碼，且因此分割資訊可定義為分割當前寫碼單元以獲得較下層深度的寫碼單元。
若當前深度並非已經寫碼之深度，則對分割為較下層深度之寫碼單元的寫碼單元執行編碼。由於較下層深度之至少一個寫碼單元存在於當前深度之一較寫碼單元中，因此對較下層深度之每一寫碼單元重複地執行編碼，且因此可對具有同一深度之寫碼單元按遞回方式執行編碼。
由於具有樹狀結構之多個寫碼單元是用以判定一最大寫碼單元，且關於至少一個寫碼模式的資訊是用以判定已經寫碼之深度之寫碼單元，因此關於至少一個寫碼模式的資訊可以用以判定一個最大寫碼單元。且，最大寫碼單元之影像資料的已經寫碼之深度可以根據位置而不同，此是因為根據深度而階層式分割影像資料，且因此可針對影像資料而設定關於已經寫碼之深度以及寫碼模式的資訊。
因此，輸出單元130可將關於對應已經寫碼之深度以及寫碼模式之編碼資訊指派給包含於最大寫碼單元中之寫碼單元、預測單元以及最小單元中的至少一者。
根據本發明之實施例的最小單元為藉由將構成最下層深度之最小寫碼單元分割為4份而獲得的矩形資料單元。或者，最小單元可為可包含於最大寫碼單元中所包含之所有寫碼單元、預測單元、分區單元以及轉換單元中的最大矩形資料單元。
舉例而言，經由輸出單元130而輸出之編碼資訊可分類為根據寫碼單元之編碼資訊，以及根據預測單元的編碼資訊。根據寫碼單元之編碼資訊可包含關於預測模式以及關於分區之大小的資訊。根據預測單元之編碼資訊可包含關於畫面間模式之估計方向、關於畫面間模式之參考影像索引、關於運動向量、關於畫面內模式之色度分量以及關於畫面內模式之內插方法的資訊。
關於根據圖像、片段或GOP所定義之寫碼單元之最大大小的資訊，以及關於最大深度之資訊可插入至位元串流的標頭、SPS或PPS中。
在視訊編碼裝置100中，較深寫碼單元可為藉由將較上層深度之寫碼單元（其為上一層）的高度或寬度劃分為2份而獲得的寫碼單元。換言之，在當前深度之寫碼單元的大小為2N×2N時，較下層深度之寫碼單元的大小為N×N。且，大小為2N×2N之當前深度的寫碼單元可包含較下層深度的最大4個寫碼單元。
因此，視訊編碼裝置100可藉由基於考慮當前圖像之特性而判定的最大寫碼單元之大小以及最大深度，藉由針對每一最大寫碼單元判定具有最佳形狀以及最佳大小的寫碼單元而形成具有樹狀結構之寫碼單元。且，由於藉由使用各種預測模式以及轉換中之任一者對每一最大寫碼單元執行編碼，因此可考慮各種影像大小之寫碼單元的特性來判定最佳寫碼模式。
因此，若在習知巨集區塊中對具有高解析度或大資料量之影像做編碼，則每圖像之巨集區塊的數目過度地增大。因此，針對每一巨集區塊產生之壓縮資訊之段數增大，且因此難以傳輸壓縮資訊，且資料壓縮效率降低。然而，藉由使用視訊編碼裝置100，因為在考慮影像之大小的而增大寫碼單元的最大大小的同時考慮影像之特性而調整寫碼單元，所以影像壓縮效率可提高。
輸出單元130可對編碼資訊做編碼且輸出，此編碼資訊指示用以基於具有樹狀結構之寫碼單元以及具有樹狀結構之轉換單元而對視訊做編碼之編碼方法。編碼資訊可包含關於對應於已經寫碼之深度之寫碼單元之各種寫碼模式的資訊，以及關於已經寫碼之深度之資訊。
用於視訊解碼裝置200之各種解碼操作的各種術語（諸如，寫碼單元、深度、預測單元、轉換單元以及關於各種寫碼模式之資訊）的定義與參考視訊編碼裝置100所述的術語相同。
接收器210接收已經編碼之視訊之位元串流。接收器以及提取器220剖析所接收之位元串流。接收器以及提取器220自所剖析之位元串流提取每一寫碼單元之已經編碼之圖像資料，其中寫碼單元具有根據每一最大寫碼單元之樹狀結構，且將所提取之圖像資料輸出至解碼器230。接收器以及提取器220可自關於當前圖像之標頭、SPS或PPS提取關於當前圖像之寫碼單元之最大大小的資訊。
且，接收器以及提取器220可自所剖析之位元串流提取關於具有根據每一最大寫碼單元之樹狀結構的寫碼單元之編碼資訊。關於已經寫碼之深度以及寫碼模式之資訊是自編碼資訊提取。關於已經寫碼之深度以及寫碼模式之所提取之資訊輸出至解碼器230。換言之，位元串流中之影像資料可分割為最大寫碼單元，使得解碼器230可針對每一最大寫碼單元而對影像資料作解碼。
可針對關於對應於已經寫碼之深度之至少一個寫碼單元的資訊而設定根據最大寫碼單元關於已經寫碼之深度以及寫碼模式的資訊，且關於寫碼模式之資訊可包含關於對應於已經寫碼之深度之對應寫碼單元的分區類型、關於預測模式以及轉換單元之大小的資訊。針對畫面間預測，可自根據已經寫碼之深度之編碼資訊提取與用於內插子像素單位之內插濾波相關的資訊。且，可將根據深度之分割資訊作為關於已經寫碼之深度之資訊來提取。
由接收器以及提取器220提取的根據每一最大寫碼單元關於已經寫碼之深度以及寫碼模式的資訊為關於經判定以在諸如視訊編碼裝置100之編碼器根據每一最大寫碼單元對根據深度之每一較深寫碼單元重複地執行編碼時產生最小編碼誤差的已經寫碼之深度以及寫碼模式的資訊。因此，視訊解碼裝置200可藉由根據產生最小編碼誤差之已經寫碼之深度以及寫碼模式來對影像資料解碼而復原影像。
由於關於已經寫碼之深度以及寫碼模式之編碼資訊可指派給對應寫碼單元、預測單元以及最小單元中的預定資料單元，因此接收器以及提取器220可提取根據預定資料單元關於已經寫碼之深度以及寫碼模式的資訊。被指派關於已經寫碼之深度以及寫碼模式之相同資訊的預定資料單元可推斷為包含於同一最大寫碼單元中的資料單元。
解碼器230可藉由使用根據深度之分割資訊而判定當前最大寫碼單元之至少一個已經寫碼之深度。若分割資訊表示影像資料在當前深度中不再分割，則當前深度為已經寫碼之深度。因此，解碼器230可藉由使用關於對應於已經寫碼之深度之每一寫碼單元之預測單元之分區類型、預測模式以及轉換單元的大小之資訊來對對應於當前最大寫碼單元中之每一已經寫碼之深度的至少一個寫碼單元之已經編碼之圖像資料做解碼，且輸出當前最大寫碼單元的影像資料。
換言之，可藉由觀測針對寫碼單元、預測單元以及最小單元中之預定資料單元而指派的編碼資訊集合來收集含有包含相同分割資訊之編碼資訊的資料單元，且可將所收集之資料單元視為待由解碼器230在同一寫碼模式中解碼的一個資料單元。
解碼器230可藉由基於根據最大寫碼單元關於已經寫碼之深度以及寫碼模式的資訊對每一最大寫碼單元中之已經編碼之圖像資料做解碼來復原當前圖像。分區類型、預測模式以及轉換單元可作為包含於每一最大寫碼單元中之具有樹狀結構之寫碼單元中的每一寫碼單元之寫碼模式來讀取。解碼程序可包含：包含畫面內預測以及運動補償之預測；以及逆轉換。
解碼器230可基於關於具有樹狀結構之寫碼單元之預測單元的分區類型以及預測模式的資訊根據每一寫碼單元之分區以及預測模式而執行畫面內預測或運動補償。
且，解碼器230可讀取具有樹狀結構之轉換單元的結構，且可基於轉換單元而對每一寫碼單元執行逆轉換。
視訊解碼裝置200可獲得關於在對每一最大寫碼單元按遞回方式執行編碼時產生最小編碼誤差之至少一個寫碼單元的資訊，且可使用此資訊來對當前圖像解碼。換言之，可對判定為每一最大寫碼單元中之最佳寫碼單元的具有樹狀結構之寫碼單元做解碼。且，考慮影像資料之解析度以及量來判定寫碼單元之最大大小。
因此，即使影像資料具有高解析度以及大量資料，仍可藉由使用自編碼器接收之關於最佳寫碼模式的資訊藉由使用根據影像資料之特性而適應性地判定之寫碼單元之大小以及寫碼模式來有效地對影像資料做解碼以及復原。
圖15為用於描述根據本發明之實施例的寫碼單元之概念的圖式。
寫碼單元之大小可用寬度×高度來表達，且可為64×64、32×32、16×16以及8×8。64×64之寫碼單元可分割為64×64、64×32、32×64或32×32之分區，32×32之寫碼單元可分割為32×32、32×16、16×32或16×16之分區，16×16之寫碼單元可分割為16×16、16×8、8×16或8×8之分區，且8×8之寫碼單元可分割為8×8、8×4、4×8或4×4的分區。
在視訊資料310中，解析度為1920×1080，寫碼單元之最大大小為64，且最大深度為2。在視訊資料320中，解析度為1920×1080，寫碼單元之最大大小為64，且最大深度為3。在視訊資料330中，解析度為352×288，寫碼單元之最大大小為16，且最大深度為1。圖15所示之最大深度表示自最大寫碼單元至最小解碼單元之總分割次數。
若解析度高或資料量大，則寫碼單元之最大大小可為大的，以便不僅提高編碼效率而且準確地反映影像之特性。因此，具有高於視訊資料330之解析度的視訊資料310以及320之寫碼單元的最大大小可為64。
由於視訊資料310之最大深度為2，因此視訊資料310之寫碼單元315可包含長軸大小為64的最大寫碼單元，以及長軸大小為32以及16的寫碼單元，此是因為深度藉由分割最大寫碼單元兩次而加深為兩層。同時，由於視訊資料330之最大深度為1，因此視訊資料330之寫碼單元335可包含長軸大小為16的最大寫碼單元，以及長軸大小為8之寫碼單元，此是因為深度藉由分割最大寫碼單元一次而加深為一層。
由於視訊資料320之最大深度為3，因此視訊資料320之寫碼單元325可包含長軸大小為64的最大寫碼單元，以及長軸大小為32、16以及8的寫碼單元，此是因為深度藉由分割最大寫碼單元三次而加深為三層。隨著深度加深，可精確地表達詳細資訊。
圖16為根據本發明之實施例的基於寫碼單元之影像編碼器400的方塊圖。
影像編碼器400執行視訊編碼裝置100之編碼器120的操作以對影像資料做編碼。換言之，畫面內預測器410對當前畫面405中的處於畫面內模式中之寫碼單元執行畫面內預測，且運動估計器420以及運動補償器425藉由使用當前畫面405以及參考畫面495而對當前畫面405中之處於畫面間模式中的寫碼單元執行畫面間估計以及運動補償。
為了藉由使用子像素單位之參考像素精確地執行運動估計，運動估計器420以及運動補償器425可藉由以整數像素單位內插像素而產生子像素單位的像素。用於產生子像素單位之像素的內插濾波器可為上文關於圖1以及圖13A所述的內插濾波器。
自畫面內預測器410、運動估計器420以及運動補償器425輸出之資料經由轉換器430以及量化器440作為經量化之轉換係數而輸出。經量化之轉換係數經由逆量化器460以及逆轉換器470復原為空間域中之資料，且空間域中之所復原之資料在經由解區塊單元480以及迴路濾波單元490後處理之後作為參考畫面495輸出。經量化之轉換係數可經由熵編碼器450作為位元串流455輸出。
為了使影像編碼器400應用於視訊編碼裝置100中，影像編碼器400之所有元件（亦即，畫面內預測器410、運動估計器420、運動補償器425、轉換器430、量化器440、熵編碼器450、逆量化器460、逆轉換器470、解區塊單元480以及迴路濾波單元490）必須在考慮每一最大寫碼單元之最大深度的同時基於具有樹狀結構之寫碼單元中的每一寫碼單元執行操作。
具體言之，畫面內預測器410、運動估計器420以及運動補償器425必須在考慮當前最大寫碼單元之最大大小以及最大深度的同時判定具有樹狀結構之寫碼單元中的每一寫碼單元之分區以及預測模式，且轉換器430必須判定具有樹狀結構之寫碼單元中的每一寫碼單元中之轉換單元的大小。
圖17為根據本發明之實施例的基於寫碼單元之影像解碼器500的方塊圖。
剖析器510自位元串流505剖析待解碼之已經編碼之影像資料以及的針對解碼所需之關於編碼的資訊。已經編碼之影像資料經由熵解碼器520以及逆量化器530作為經逆量化之資料而輸出，且經逆量化之資料經由逆轉換器540而復原為空間域中的影像資料。
畫面內預測器550關於空間域中之影像資料對處於畫面內模式中之寫碼單元執行畫面內預測，且運動補償器560藉由使用參考畫面585對處於畫面間模式中的寫碼單元執行運動補償。
為了藉由使用子像素單位之參考像素精確地執行運動估計，運動補償器560可藉由以整數像素單位內插像素而產生子像素單位的像素。用於產生子像素單位之像素的內插濾波器可為上文關於圖2以及圖13B所述的內插濾波器。
通過畫面內預測器550以及運動補償器560之空間域中的影像資料可在經由解區塊單元570以及迴路濾波單元580後處理之後作為所復原之畫面595輸出。且，經由解區塊單元570以及迴路濾波單元580後處理之影像資料可作為參考畫面585輸出。
為了在視訊解碼裝置200之解碼器230中對影像資料做解碼，影像解碼器500可執行在剖析器510之後執行的操作。
為了使影像解碼器500應用於視訊解碼裝置200中，影像解碼器500之所有元件（亦即，剖析器510、熵解碼器520、逆量化器530、逆轉換器540、畫面內預測器550、運動補償器560、解區塊單元570以及迴路濾波單元580）必須針對每一最大寫碼單元基於具有樹狀結構之寫碼單元來執行操作。
具體言之，畫面內預測器550以及運動補償器560必須針對具有樹狀結構之寫碼單元中之每一者判定分區以及預測模式，且逆轉換器540必須針對每一寫碼單元判定轉換單元的大小。
圖18為說明根據本發明之實施例的根據深度之較深寫碼單元以及分區的圖式。
視訊編碼裝置100以及視訊解碼裝置200使用階層式多個寫碼單元以便考慮影像之特性。可根據影像之特性來適應性地判定寫碼單元之最大高度、最大寬度以及最大深度，或可由使用者不同地進行設定。可根據寫碼單元之預定最大大小判定根據深度之較深寫碼單元的大小。
在根據本發明之實施例之寫碼單元之階層式結構600中，寫碼單元之最大高度以及最大寬度各為64，且最大深度為4。在此狀況下，最大深度表示自最大寫碼單元至最小寫碼單元執行分割之總次數。由於深度沿著階層式結構600之垂直軸加深，因此將較深寫碼單元之高度以及寬度各自分割。且，沿著階層式結構600之水平軸展示作為用於每一較深寫碼單元之預測編碼之基礎的預測單元以及分區。
換言之，寫碼單元610為階層式結構600中之最大寫碼單元，其中深度為0且大小（亦即，高度乘寬度）為64×64。深度沿著垂直軸而加深，且存在大小為32×32且深度為1之寫碼單元620、大小為16×16且深度為2之寫碼單元630、大小為8×8且深度為3之寫碼單元640。
寫碼單元之預測單元以及分區根據每一深度沿著水平軸而配置。換言之，若大小為64×64且深度為0之寫碼單元610為預測單元，則預測單元可分割為包含於寫碼單元610中的分區，亦即，大小為64×64之分區610、大小為64×32之分區612、大小為32×64之分區614或大小為32×32的分區616。
類似地，大小為32×32且深度為1之寫碼單元620的預測單元可分割為包含於寫碼單元620中的分區，亦即，大小為32×32之分區620、大小為32×16之分區622、大小為16×32之分區624或大小為16×16的分區626。
類似地，大小為16×16且深度為2之寫碼單元630的預測單元可分割為包含於寫碼單元630中的分區，亦即，大小為16×16之分區、大小為16×8之分區632、大小為8×16之分區634或大小為8×8的分區636。
類似地，大小為8×8且深度為3之寫碼單元640的預測單元可分割為包含於寫碼單元640中的分區，亦即，大小為8×8之分區、大小為8×4之分區642、大小為4×8之分區644或大小為4×4的分區646。
為了判定構成最大寫碼單元610之寫碼單元的至少一個已經寫碼之深度，視訊編碼裝置100之編碼器120針對對應於包含於最大寫碼單元610中之每一深度的寫碼單元執行編碼。
隨著深度加深，包含相同範圍中之資料以及相同大小的根據深度之較深寫碼單元的數目增大。舉例而言，需要對應於深度2之四個寫碼單元來涵蓋包含於對應於深度1之一個寫碼單元中的資料。因此，為了比較根據深度之相同資料的編碼結果，將對應於深度1之寫碼單元以及對應於深度2之四個寫碼單元各自編碼。
為了針對深度中之當前深度執行編碼，可藉由沿著階層式結構600之水平軸對對應於當前深度之寫碼單元中的每一預測單元執行編碼而針對當前深度選擇最小編碼誤差。或者，可藉由比較根據深度之最小編碼誤差、藉由隨著深度沿著階層式結構600之垂直軸加深而針對每一深度執行編碼來搜尋最小編碼誤差。可選擇寫碼單元610中具有最小編碼誤差之深度以及分區作為寫碼單元610之已經寫碼之深度以及分區類型。
圖19為用於描述根據本發明之實施例的寫碼單元710與轉換單元720之間的關係的圖式。
視訊編碼裝置100或視訊解碼裝置200針對每一最大寫碼單元根據具有小於或等於最大寫碼單元之大小的寫碼單元來對影像做編碼或解碼。可基於不大於對應寫碼單元之資料單元而選擇在編碼期間用於轉換之轉換單元的大小。
舉例而言，在視訊編碼裝置100或視訊解碼裝置200中，若寫碼單元710之大小為64×64，則可藉由使用大小為32×32之轉換單元720來執行轉換。
且，可藉由對大小為小於64×64之32×32、16×16、8×8以及4×4之轉換單元中的每一者執行轉換而對大小為64×64之寫碼單元710的資料做編碼，且接著可選擇具有最小編碼誤差的轉換單元。
圖20為用於描述根據本發明之實施例的對應於已經寫碼之深度之寫碼單元之編碼資訊的圖式。
視訊編碼裝置100之輸出單元130可對關於分區類型之資訊800、關於預測模式之資訊810，以及關於對應於已經寫碼之深度之每一寫碼單元的轉換單元之大小的資訊820做編碼且作為關於寫碼模式之資訊而傳輸。
資訊800表示關於藉由分割當前寫碼單元之預測單元而獲得的分區之形狀的資訊，其中分區為用於當前寫碼單元之預測編碼的資料單元。舉例而言，大小為2N×2N之當前寫碼單元CU_0可分割為大小為2N×2N之分區802、大小為2N×N之分區804、大小為N×2N之分區806以及大小為N×N的分區808中之任一者。此處，關於分區類型之資訊800設定為指示大小為2N×N之分區804、大小為N×2N之分區806以及大小為N×N之分區808中的一者。
資訊810表示每一分區之預測模式。舉例而言，資訊810可指示對由資訊800表示之分區執行的預測編碼之模式，亦即，畫面內模式812、畫面間模式814或跳過模式816。
資訊820表示待基於何時對當前寫碼單元執行轉換之轉換單元。舉例而言，轉換單元可為第一畫面內轉換單元822、第二畫面內轉換單元824、第一畫面間轉換單元826或第二畫面間轉換單元828。
根據每一較深寫碼單元，視訊解碼裝置200之接收器以及提取器220可提取且使用資訊800、810以及820以用於解碼。
圖21為根據本發明之實施例的根據深度之較深寫碼單元的圖式。
分割資訊可用以指示深度之改變。分割資訊表示當前深度之寫碼單元是否分割為較下層深度之寫碼單元。
用於深度為0且大小為2N_0×2N_0之寫碼單元900之預測編碼的預測單元910可包含大小為2N_0×2N_0之分區類型912、大小為2N_0×N_0之分區類型914、大小為N_0×2N_0之分區類型916以及大小為N_0×N_0的分區類型918之分區。圖21僅說明藉由對稱地分割預測單元910而獲得之分區類型912至918，但分區類型不限於此，且預測單元910之分區可包含非對稱分區、具有預定形狀之分區以及具有幾何形狀的分區。
根據每一分區類型，對大小為2N_0×2N_0之一個分區、大小為2N_0×N_0之兩個分區、大小為N_0×2N_0之兩個分區以及大小為N_0×N_0的四個分區重複地執行預測編碼。可對大小為2N_0×2N_0、N_0×2N_0、2N_0×N_0以及N_0×N_0之分區執行在畫面內模式以及畫面間模式中之預測編碼。僅對大小為2N_0×2N_0之分區執行在跳過模式中之預測編碼。
比較包含分區類型912至918中之預測編碼的編碼之誤差，且在分區類型中判定最小編碼誤差。若編碼誤差在分區類型912至916中之一者中最小，則預測單元910可能不分割為較下層深度。
若編碼誤差在分區類型918中最小，則深度自0改變為1以在操作920中分割分區類型918，且對深度為2且大小為N_0×N_0之寫碼單元930重複地執行編碼以搜尋最小編碼誤差。
用於深度為1且大小為2N_1×2N_1（=N_0×N_0）之寫碼單元930之預測編碼的預測單元940可包含大小為2N_1×2N_1之分區類型942、大小為2N_1×N_1之分區類型944、大小為N_1×2N_1之分區類型946以及大小為N_1×N_1的分區類型948之分區。
若編碼誤差在分區類型948中最小，則深度自1改變為2以在操作950中分割分區類型948，且對深度為2且大小為N_2×N_2之寫碼單元960重複地執行編碼以搜尋最小編碼誤差。
當最大深度為d時，可指派根據深度之較深寫碼單元直至深度變為d-1時，且可對分割資訊做編碼直至深度為0至d-2中之一者時。換言之，當執行編碼直至在對應於深度d-2之寫碼單元在操作970中分割之後深度為d-1時，用於深度為d-1且大小為2N_(d-1)×2N_(d-1)之寫碼單元980之預測編碼的預測單元990可包含大小為2N_(d-1)×2N_(d-1)之分區類型992、大小為2N_(d-1)×N_(d-1)之分區類型994、大小為N_(d-1)×2N_(d-1)之分區類型996以及大小為N_(d-1)×N_(d-1)的分區類型998之分區。
可對分區類型992至998中的大小為2N_(d-1)×2N_(d-1)之一個分區、大小為2N_(d-1)×N_(d-1)之兩個分區、大小為N_(d-1)×2N_(d-1)之兩個分區，大小為N_(d-1)×N_(d-1)的四個分區重複地執行預測編碼，以便搜尋具有最小編碼誤差的分區類型。
即使當分區類型998具有最小編碼誤差時，由於最大深度為d，因此深度為d-1之寫碼單元CU_(d-1)不再分割為較下層深度，且將構成當前最大寫碼單元900之寫碼單元的已經寫碼之深度判定為d-1，且可將當前最大寫碼單元900的分區類型判定為N_(d-1)×N_(d-1)。且，由於最大深度為d且具有最下層深度d-1之最小寫碼單元980不再分割為較下層深度，因此未設定用於最小寫碼單元980之分割資訊。
資料單元999可為當前最大寫碼單元之「最小單元」。根據本發明之實施例的最小單元可為藉由將最小寫碼單元980分割為4份而獲得的矩形資料單元。藉由重複地執行編碼，視訊編碼裝置100可藉由根據寫碼單元900之深度比較編碼誤差而選擇具有最小編碼誤差的深度以判定已經寫碼之深度，且將對應分區類型以及預測模式設定為已經寫碼之深度的寫碼模式。
因而，在所有深度1至d中比較根據深度之最小編碼誤差，且可將具有最小編碼誤差之深度判定為已經寫碼之深度。可對已經寫碼之深度、預測單元之分區類型以及預測模式做編碼且作為關於寫碼模式之資訊而傳輸。且，由於寫碼單元自深度0分割為已經寫碼之深度，因此僅已經寫碼之深度之分割資訊設定為0，且排除已經寫碼之深度之深度的分割資訊設定為1。
視訊解碼裝置200之接收器以及提取器220可提取且使用關於寫碼單元900之已經寫碼之深度以及預測單元的資訊以對分區912做解碼。視訊解碼裝置200可藉由使用根據深度之分割資訊而將分割資訊為0之深度判定為已經寫碼之深度，且使用關於對應深度之寫碼模式的資訊以用於解碼。
圖22至圖24為用於描述根據本發明之實施例的寫碼單元1010、預測單元1060與轉換單元1070之間的關係的圖式。
寫碼單元1010為在最大寫碼單元中對應於由視訊編碼裝置100判定之已經寫碼之深度的具有樹狀結構之寫碼單元。預測單元1060為寫碼單元1010中之每一者之預測單元的分區，且轉換單元1070為寫碼單元1010中之每一者的轉換單元。
當最大寫碼單元之深度在寫碼單元1010中為0時，寫碼單元1012以及1054之深度為1，寫碼單元1014、1016、1018、1028、1050以及1052之深度為2，寫碼單元1020、1022、1024、1026、1030、1032以及1048之深度為3，且寫碼單元1040、1042、1044以及1046的深度為4。
在預測單元1060中，藉由在寫碼單元1010中分割寫碼單元而獲得一些寫碼單元1014、1016、1022、1032、1048、1050、1052以及1054。換言之，寫碼單元1014、1022、1050以及1054中之分區類型的大小為2N×N，寫碼單元1016、1048以及1052中之分區類型的大小為N×2N，且寫碼單元1032之分區類型的大小為N×N。預測單元以及寫碼單元1010之分區小於或等於每一寫碼單元。
對小於寫碼單元1052之資料單元中之轉換單元1070中的寫碼單元1052之影像資料執行轉換或逆轉換。且，轉換單元1070中之寫碼單元1014、1016、1022、1032、1048、1050以及1052的大小以及形狀不同於預測單元1060中的寫碼單元。換言之，視訊編碼裝置100以及視訊解碼裝置200可對同一寫碼單元中之資料單元個別地執行畫面內預測、運動估計、運動補償、轉換以及逆轉換。
因此，對在最大寫碼單元之每一區域中具有階層式結構之寫碼單元中的每一者以遞回方式執行編碼以判定最佳寫碼單元，且因此可獲得具有遞回樹狀結構之多個寫碼單元。編碼資訊可包含關於寫碼單元之分割資訊、關於分區類型之資訊、關於預測模式之資訊，以及關於轉換單元之大小的資訊。表1展示可由視訊編碼裝置100以及視訊解碼裝置200設定之編碼資訊。
表1
視訊編碼裝置100之輸出單元130可輸出關於具有樹狀結構之寫碼單元的編碼資訊，且視訊解碼裝置200之接收器以及提取器220可自所接收之位元串流提取關於具有樹狀結構之寫碼單元的編碼資訊。
分割資訊表示當前寫碼單元是否分割為較下層深度之寫碼單元。若當前深度d之分割資訊為0，則當前寫碼單元不再分割為較下層深度之深度為已經寫碼之深度，且因此可針對已經寫碼之深度而定義關於分區類型、預測模式以及轉換單元之大小的資訊。若根據分割資訊進一步分割當前寫碼單元，則對較下層深度之四個分割寫碼單元獨立地執行編碼。
預測模式可為畫面內模式、畫面間模式以及跳過模式中之一者。可在所有分區類型中定義畫面內模式以及畫面間模式，且僅在大小為2N×2N之分區類型中定義跳過模式。
關於分區類型之資訊可指示：大小為2N×2N、2N×N、N×2N以及N×N之對稱分區類型，其是藉由對稱地分割預測單元之高度或寬度而獲得；以及大小為2N×nU、2N×nD、nL×2N以及nR×2N之非對稱分區類型，其是藉由非對稱地分割預測單元之高度或寬度而獲得。可藉由以1:3以及3:1分割預測單元之高度而分別獲得大小為2N×nU以及2N×nD之非對稱分區類型，且可藉由以1:3以及3:1分割預測單元的寬度而分別獲得大小為nL×2N以及nR×2N之非對稱分區類型。
轉換單元之大小可在畫面內模式中設定為兩種類型且在畫面間模式中設定為兩種類型。換言之，若轉換單元之分割資訊為0，則轉換單元之大小可為2N×2N，此為當前寫碼單元之大小。若轉換單元之分割資訊為1，則可藉由分割當前寫碼單元而獲得轉換單元。且，若大小為2N×2N之當前寫碼單元的分區類型為對稱分區類型，則轉換單元之大小可為N×N，且若當前寫碼單元之分區類型為非對稱分區類型，則轉換單元的大小可為N/2×N/2。
關於具有樹狀結構之寫碼單元的編碼資訊可包含對應於已經寫碼之深度之寫碼單元、預測單元以及最小單元中的至少一者。對應於已經寫碼之深度之寫碼單元可包含含有相同編碼資訊之預測單元以及最小單元中的至少一者。
因此，藉由比較鄰近資料單元之編碼資訊而判定鄰近資料單元是否包含於對應於已經寫碼之深度的同一寫碼單元中。且，藉由使用資料單元之編碼資訊而判定對應於已經寫碼之深度之對應寫碼單元，且因此可判定最大寫碼單元中之已經寫碼之深度的分佈。
因此，若基於鄰近資料單元之編碼資訊而預測當前寫碼單元，則可直接參考且使用鄰近於當前寫碼單元的較深寫碼單元中之資料單元的編碼資訊。
或者，若基於鄰近資料單元之編碼資訊而預測當前寫碼單元，則使用資料單元的已經編碼之資訊而搜尋鄰近於當前寫碼單元之資料單元，且可參考所搜尋之鄰近寫碼單元以用於預測當前寫碼單元。
圖25為用於描述根據表1之寫碼模式資訊的寫碼單元、預測單元或分區與轉換單元之間的關係的圖式。
最大寫碼單元1300包含已經寫碼之深度之寫碼單元1302、1304、1306、1312、1314、1316以及1318。此處，由於寫碼單元1318為已經寫碼之深度之寫碼單元，因此分割資訊可設定為0。關於大小為2N×2N之寫碼單元1318之分區類型的資訊可設定為大小為2N×2N之分區類型1322、大小為2N×N之分區類型1324、大小為N×2N之分區類型1326、大小為N×N之分區類型1328、大小為2N×nU之分區類型1332、大小為2N×nD之分區類型1334、大小為nL×2N之分區類型1336以及大小為nR×2N的分區類型1338中的一者。
轉換單元之分割資訊（TU大小旗標）為一種轉換索引，且對應於轉換索引之轉換單元的大小可根據寫碼單元之預測單元類型或分區類型而變化。
舉例而言，當分區類型設定為對稱（亦即，分區類型1322、1324、1326或1328）時，若TU大小旗標為0，則設定大小為2N×2N之轉換單元1342，且若TU大小旗標為1，則設定大小為N×N的轉換單元1344。
當分區類型設定為非對稱（亦即，分區類型1332、1334、1336或1338）時，若TU大小旗標為0，則設定大小為2N×2N之轉換單元1352，且若TU大小旗標為1，則設定大小為N/2×N/2的轉換單元1354。
參考圖21，TU大小旗標為具有值0或1之旗標，但TU大小旗標不限於1個位元，且具有樹狀結構之轉換單元可在TU大小旗標自0增大時階層式分割。TU大小旗標可用作轉換索引之實例。
在此狀況下，可藉由使用根據本發明之實施例的轉換單元之TU大小旗標與轉換單元之最大大小以及最小大小來表達已實際使用之轉換單元的大小。根據本發明之實施例，視訊編碼裝置100能夠對最大轉換單元大小資訊、最小轉換單元大小資訊以及最大TU大小旗標做編碼。最大轉換單元大小資訊、最小轉換單元大小資訊以及最大TU大小旗標之編碼結果可插入至SPS中。根據本發明之實施例，視訊解碼裝置200可藉由使用最大轉換單元大小資訊、最小轉換單元大小資訊以及最大TU大小旗標而而對視訊做解碼。
舉例而言，（a）若當前寫碼單元之大小為64×64且最大轉換單元大小為32×32，則（a-1）在TU大小旗標為0時，轉換單元之大小可為32×32；（a-2）在TU大小旗標為1時，轉換單元之大小可為16×16；且（a-3）在TU大小旗標為2時，轉換單元之大小可為8×8。
作為另一實例，（b）若當前寫碼單元之大小為32×32且最小轉換單元大小為32×32，則（b-1）在TU大小旗標為0時，轉換單元之大小可為32×32。此處，TU大小旗標不可設定為除0以外之值，此是因為轉換單元之大小不可小於32×32。
作為另一實例，（c）若當前寫碼單元之大小為64×64且最大TU大小旗標為1，則TU大小旗標可為0或1。此處，TU大小旗標不可設定為除0或1以外之值。
因此，若定義最大TU大小旗標為「MaxTransformSizeIndex」，最小轉換單元大小為「MinTransformSize」，且在TU大小旗標為0時根轉換單元大小為「RootTuSize」，則可在當前寫碼單元中判定之當前最小轉換單元大小「CurrMinTuSize」可由方程式（38）定義：    [方程式38] CurrMinTuSize=max(MinTransformSize, RootTuSize/(2^MaxTransformSizeIndex))
與可在當前寫碼單元中判定之當前最小轉換單元大小「CurrMinTuSize」比較，根轉換單元大小「RootTuSize」可表示可在系統中選擇的最大轉換單元大小。在方程式（38）中，「RootTuSize/(2^MaxTransformSizeIndex)」表示在根轉換單元大小「RootTuSize」分割對應於最大TU大小旗標之次數時的轉換單元大小，且「MinTransformSize」表示最小轉換大小。因此，「RootTuSize/ (2^MaxTransformSizeIndex)」以及「MinTransformSize」中之較小值可為可在當前寫碼單元中判定的當前最小轉換單元大小「CurrMinTuSize」。
根據本發明之實施例，根轉換單元大小「RootTuSize」可根據預測模式之類型而變化。
舉例而言，若當前預測模式為畫面間模式，則可藉由使用下文之方程式（39）來判定「RootTuSize」。在方程式（39）中，「MaxTransformSize」表示最大轉換單元大小，且「PUSize」表示當前預測單元大小。
[方程式39] RootTuSize=min(MaxTransformSize, PUSize)
亦即，若當前預測模式為畫面間模式，則在TU大小旗標為0時之根轉換單元大小「RootTuSize」可為最大轉換單元大小以及當前預測單元大小中的較小值。
若當前分區單元之預測模式為畫面內模式，則可藉由使用下文之方程式（40）來判定「RootTuSize」。在方程式（40）中，「PartitionSize」表示當前分區單元之大小。
[方程式40] RootTuSize=min(MaxTransformSize, PartitionSize)
亦即，若當前預測模式為畫面內模式，則根轉換單元大小「RootTuSize」可為最大轉換單元大小以及當前分區單元之大小中的較小值。
然而，根據分區單元中之預測模式之類型而變化的當前最大轉換單元大小、根轉換單元大小「RootTuSize」僅為實例，且本發明不限於此。
圖26為根據本發明之實施例的使用基於具有樹狀結構之寫碼單元之內插濾波器的視訊編碼方法的流程圖。
在操作2610中，為了對輸入視訊之當前圖像做編碼，將當前圖像分割為至少一個最大寫碼單元。可對藉由根據深度分割每一最大寫碼單元之區域而獲得的至少一個分割區域中之每一者做編碼。為了對根據深度之每一分割區域做編碼，基於子像素單位內插以及畫面內預測而對畫面間預測結果執行轉換以及量化。
此處，可藉由比較對根據深度之分割區域做編碼之結果而判定用於根據至少一個分割區域輸出最終編碼結果之分割深度，且可判定包含於當前最大寫碼單元中且具有樹狀結構的寫碼單元。如同具有樹狀結構之寫碼單元，可判定具有樹狀結構之轉換單元。換言之，作為圖像之編碼結果，如同具有樹狀結構之所判定之寫碼單元，可輸出具有樹狀結構之轉換單元的編碼結果作為圖像之已經編碼之資料。
可對寫碼單元之每一預測單元或分區執行畫面間預測。可參考藉由執行子像素單位內插而產生之像素來預測當前預測單元或分區之運動。自用於產生子像素單位像素值之內插濾波器，基於子像素單位內插位置不同地選擇內插濾波器。為了有效地執行影像內插，可選擇性地判定內插濾波係數。內插濾波器可根據內插位置按照對稱或非對稱內插濾波器來選擇。內插濾波器可為奇數或偶數分接頭內插濾波器。
自先前儲存於記憶體中之內插濾波係數，可根據子像素單位內插位置、平滑度、濾波器分接頭之數目、位元深度、縮放比率、基於轉換之內插濾波的基礎函數、窗濾波器大小以及色彩分量而選擇所要的內插濾波器，且可執行內插以產生子像素單位像素值。
在操作2620中，將作為根據每一最大寫碼單元之至少一個分割區域的最終編碼結果而獲得之影像資料以及關於已經寫碼之深度以及寫碼模式的資訊作為位元串流輸出。
關於寫碼模式之資訊可包含關於已經寫碼之深度或分割資訊之資訊、關於預測單元之分區類型的資訊、關於預測模式之資訊以及關於轉換單元之樹狀結構的資訊。編碼資訊可包含關於用以執行子像素單位預測編碼之內插濾波器的資訊。關於寫碼模式之已經編碼之資訊可與已經編碼之影像資料一起傳輸至解碼裝置。
圖27為根據本發明之實施例的使用基於具有樹狀結構之寫碼單元之內插濾波器的視訊解碼方法的流程圖。
在操作2710中，接收且剖析已經編碼之視訊之位元串流。
在操作2720中，自所剖析之位元串流提取指派給最大寫碼單元的當前圖像之已經編碼之影像資料以及根據最大寫碼單元關於已經寫碼之深度以及寫碼模式的資訊。可自編碼資訊提取關於執行子像素單位運動補償所需之內插濾波器的資訊。
可自編碼資訊提取關於已經寫碼之深度以及寫碼模式之資訊。根據關於已經寫碼之深度以及寫碼模式之資訊，最大寫碼單元可分割為具有樹狀結構之寫碼單元。且，根據關於包含於所提取之資訊中之轉換單元的樹狀結構的資訊，可判定寫碼單元中具有根據轉換深度之樹狀結構的轉換單元。
在操作2730中，藉由使用根據每一最大寫碼單元關於已經寫碼之深度以及寫碼模式之資訊，可基於具有樹狀結構之寫碼單元、預測單元以及具有樹狀結構的轉換單元來對每一最大寫碼單元之影像資料做解碼。由於基於關於已經寫碼之深度以及寫碼模式之資訊而對當前寫碼單元做解碼，因此可藉由使用自具有樹狀結構之轉換單元判定的轉換單元而逆轉換當前寫碼單元。
可藉由基於寫碼模式對寫碼單元之每一預測單元或分區執行諸如運動補償以及畫面內預測的各種解碼操作而對已經編碼之圖像資料做解碼。
具體言之，若基於以子像素單位內插之像素而提取已經編碼之殘餘資料以及參考資料，則可基於以子像素單位內插的像素而對當前預測單元或當前分區執行運動補償。自用於產生子像素單位像素值之內插濾波器，可基於子像素單位內插位置不同地選擇內插濾波器。內插濾波器可根據內插位置按照對稱或非對稱內插濾波器來選擇。內插濾波器可為奇數或偶數分接頭內插濾波器。
為了有效地執行影像內插，可選擇性地判定內插濾波係數。自先前儲存於記憶體中之內插濾波係數，可根據子像素單位內插位置、平滑度、濾波器分接頭之數目、位元深度、縮放比率、基於轉換之內插濾波的基礎函數、窗濾波器大小以及色彩分量而選擇所要的內插濾波器，且可執行內插以產生子像素單位像素值。
藉由使用參考資料而判定參考圖像以及參考區域，且可藉由對參考圖像之兩個或兩個以上整數像素單位參考像素執行內插濾波而產生子像素單位像素值。可藉由組合所產生之子像素單位像素值與殘餘資料而對當前預測單元或當前分區執行運動補償，且因此可執行預測解碼。
由於對每一最大寫碼單元做解碼，因此可復原空間域中之影像資料，且可復原圖像以及視訊（其為圖像序列）。所復原之視訊可由再生裝置再生、可儲存於儲存媒體中，或可在網路中傳輸。
本發明之實施例可寫為電腦程式，且可在使用電腦可讀記錄媒體執行程式的通用數位電腦中實施。電腦可讀記錄媒體之實例包含磁性儲存媒體（例如，ROM、軟碟、硬碟等）以及光學記錄媒體（例如，CD-ROM或DVD）。
儘管已參考本發明之較佳實施例特定地展示且描述了本發明，但一般熟習此項技術者將理解，在不脫離如由所附申請專利範圍界定的本發明之精神以及範疇的情況下，可對本發明進行形式以及細節上的各種改變。較佳實施例應僅在描述性意義上考慮且並非用於限制目的。因此，本發明之範疇並非由本發明之詳細描述界定而是由所附申請專利範圍界定，且在此範疇內之所有差異將解釋為包含於本發明中。
10‧‧‧影像內插裝置
12‧‧‧濾波器選擇器
14‧‧‧內插器
20‧‧‧預定區塊
31‧‧‧整數像素單位像素值
33‧‧‧整數像素單位像素值
35‧‧‧子像素單位像素值
37‧‧‧整數像素單位像素值
39‧‧‧整數像素單位像素值
40‧‧‧像素值
41‧‧‧像素P0
42‧‧‧像素值
43‧‧‧像素P1
44‧‧‧像素值
46‧‧‧像素值
47‧‧‧像素值
48‧‧‧像素值
49‧‧‧像素值
50‧‧‧像素p(α)
51‧‧‧左側參考像素
52‧‧‧左側參考像素
53‧‧‧右側參考像素
54‧‧‧右側參考像素
55‧‧‧像素p(α)
67‧‧‧曲線圖
68‧‧‧第一曲線
69‧‧‧第二曲線
70‧‧‧振幅頻率回應曲線圖
71‧‧‧第一頻率回應
72‧‧‧第二頻率回應
73‧‧‧第三頻率回應
74‧‧‧理想的振幅頻率回應
100‧‧‧視訊編碼裝置
120‧‧‧編碼器
130‧‧‧輸出單元
200‧‧‧視訊解碼裝置
220‧‧‧接收器以及提取器
230‧‧‧解碼器
310‧‧‧視訊資料
315‧‧‧寫碼單元
320‧‧‧視訊資料
325‧‧‧寫碼單元
330‧‧‧視訊資料
335‧‧‧寫碼單元
400‧‧‧影像編碼器
405‧‧‧當前畫面
410‧‧‧畫面內預測器
420‧‧‧運動估計器
425‧‧‧運動補償器
430‧‧‧轉換器
440‧‧‧量化器
450‧‧‧熵編碼器
455‧‧‧位元串流
460‧‧‧逆量化器
470‧‧‧逆轉換器
480‧‧‧解區塊單元
490‧‧‧迴路濾波單元
495‧‧‧參考畫面
500‧‧‧影像解碼器
505‧‧‧位元串流
510‧‧‧剖析器
520‧‧‧熵解碼器
530‧‧‧逆量化器
540‧‧‧逆轉換器
550‧‧‧畫面內預測器
560‧‧‧運動補償器
570‧‧‧解區塊單元
580‧‧‧迴路濾波單元
585‧‧‧參考畫面
595‧‧‧所復原之畫面
600‧‧‧階層式結構
610‧‧‧寫碼單元/分區/最大寫碼單元
612‧‧‧分區
614‧‧‧分區
616‧‧‧分區
620‧‧‧寫碼單元/分區
622‧‧‧分區
624‧‧‧分區
626‧‧‧分區
630‧‧‧寫碼單元/分區
632‧‧‧分區
634‧‧‧分區
636‧‧‧分區
640‧‧‧寫碼單元/分區
642‧‧‧分區
644‧‧‧分區
646‧‧‧分區
710‧‧‧寫碼單元
711‧‧‧峰
713‧‧‧谷
715‧‧‧峰
719‧‧‧剪切層級
720‧‧‧轉換單元
721‧‧‧峰
729‧‧‧剪切層級
731‧‧‧峰
739‧‧‧剪切層級
800‧‧‧資訊
802‧‧‧分區
804‧‧‧分區
806‧‧‧分區
808‧‧‧分區
810‧‧‧資訊
812‧‧‧畫面內模式
814‧‧‧畫面間模式
816‧‧‧跳過模式
820‧‧‧資訊
822‧‧‧第一畫面內轉換單元
824‧‧‧第二畫面內轉換單元
826‧‧‧第一畫面間轉換單元
828‧‧‧第二畫面內轉換單元
900‧‧‧寫碼單元/當前最大寫碼單元
910‧‧‧預測單元
912‧‧‧分區類型/分區
914‧‧‧分區類型
916‧‧‧分區類型
918‧‧‧分區類型
920‧‧‧操作
930‧‧‧寫碼單元
940‧‧‧預測單元
942‧‧‧分區類型
944‧‧‧分區類型
946‧‧‧分區類型
948‧‧‧分區類型
950‧‧‧操作
960‧‧‧寫碼單元
970‧‧‧操作
980‧‧‧寫碼單元
990‧‧‧預測單元
992‧‧‧分區類型
994‧‧‧分區類型
996‧‧‧分區類型
998‧‧‧分區類型
999‧‧‧資料單元
1010‧‧‧寫碼單元
1012‧‧‧寫碼單元
1014‧‧‧寫碼單元
1016‧‧‧寫碼單元
1018‧‧‧寫碼單元
1020‧‧‧寫碼單元
1022‧‧‧寫碼單元
1024‧‧‧寫碼單元
1026‧‧‧寫碼單元
1028‧‧‧寫碼單元
1030‧‧‧寫碼單元
1032‧‧‧寫碼單元
1040‧‧‧寫碼單元
1042‧‧‧寫碼單元
1044‧‧‧寫碼單元
1046‧‧‧寫碼單元
1048‧‧‧寫碼單元
1050‧‧‧寫碼單元
1052‧‧‧寫碼單元
1054‧‧‧寫碼單元
1060‧‧‧預測單元
1070‧‧‧轉換單元
1300‧‧‧最大寫碼單元
1302‧‧‧寫碼單元
1304‧‧‧寫碼單元
1306‧‧‧寫碼單元
1312‧‧‧寫碼單元
1314‧‧‧寫碼單元
1316‧‧‧寫碼單元
1318‧‧‧寫碼單元
1322‧‧‧分區類型
1324‧‧‧分區類型
1326‧‧‧分區類型
1328‧‧‧分區類型
1332‧‧‧分區類型
1334‧‧‧分區類型
1336‧‧‧分區類型
1338‧‧‧分區類型
1342‧‧‧轉換單元
1344‧‧‧轉換單元
1352‧‧‧轉換單元
1354‧‧‧轉換單元
CU_0‧‧‧當前寫碼單元
CU_1‧‧‧寫碼單元
CU_(d-1)‧‧‧寫碼單元
圖1為根據本發明之實施例之影像內插裝置的方塊圖。 圖2為用於描述整數像素單位與子像素單位之間的關係之圖式。 圖3為說明根據本發明之實施例的待參考以便判定子像素單位像素值之鄰近整數像素單位像素的圖式。 圖4A至圖4C為說明根據本發明之實施例的待參考以便判定子像素單位像素值之整數像素單位像素之實例的圖式。 圖5A為用於描述根據本發明之實施例的使用關於內插位置非對稱地定位之參考像素以便判定子像素單位像素值之內插濾波方法的圖式。 圖5B為用於描述根據本發明之實施例的使用包含奇數個濾波係數之內插濾波器以便判定子像素單位像素值之內插方法的圖式。 圖6為根據本發明之實施例的基於經平滑化之內插濾波器之平滑化參數的平滑化因數之曲線圖。 圖7為根據本發明之實施例的內插濾波器之振幅頻率回應曲線圖。 圖8為根據本發明之實施例之影像內插方法的流程圖。 圖9A至圖9D分別展示根據本發明之實施例的基於內插位置以及窗濾波器大小而判定之3分接頭至6分接頭內插濾波器的濾波係數。 圖10A至圖10C分別展示根據本發明之實施例的基於內插位置以及窗濾波器大小而判定之7分接頭內插濾波器的濾波係數。 圖11A至圖11C分別展示根據本發明之實施例的基於內插位置以及窗濾波器大小而判定之8分接頭內插濾波器的濾波係數。 圖12A以及圖12B分別展示根據本發明之實施例的經規則化之明度內插濾波器以及經規則化之色度內插濾波器之濾波係數。 圖13A為根據本發明之實施例的使用內插濾波器之視訊編碼裝置的方塊圖。 圖13B為根據本發明之實施例的使用內插濾波器之視訊解碼裝置的方塊圖。 圖14A為根據本發明之實施例的使用內插濾波器之影像編碼方法的流程圖。 圖14B為根據本發明之實施例的使用內插濾波器之影像解碼方法的流程圖。 圖15為用於描述根據本發明之實施例的寫碼單元之概念的圖式。 圖16為根據本發明之實施例的基於寫碼單元之影像編碼器的方塊圖。 圖17為根據本發明之實施例的基於寫碼單元之影像解碼器的方塊圖。 圖18為說明根據本發明之實施例的根據深度之較深寫碼單元以及分區的圖式。 圖19為用於描述根據本發明之實施例的寫碼單元與轉換單元之間的關係的圖式。 圖20為用於描述根據本發明之實施例的對應於已經寫碼之深度之寫碼單元的編碼資訊的圖式。 圖21為根據本發明之實施例的根據深度之較深寫碼單元的圖式。 圖22至圖24為用於描述根據本發明之實施例的寫碼單元、預測單元與轉換單元之間的關係的圖式。 圖25為用於描述根據表1之寫碼模式資訊的寫碼單元、預測單元或分區與轉換單元之間的關係的圖式。 圖26為根據本發明之實施例的使用基於具有樹狀結構之寫碼單元之內插濾波器的視訊編碼方法的流程圖。 圖27為根據本發明之實施例的使用基於具有樹狀結構之寫碼單元之內插濾波器的視訊解碼方法的流程圖。
10‧‧‧影像內插裝置
12‧‧‧濾波器選擇器
14‧‧‧內插器

Claims (3)

  1. 一種運動補償裝置，包括：        明度內插濾波單元，配置成使用當前區塊的明度運動向量，在明度參考影像中決定出用於所述當前區塊的預測的一明度參考區塊; 以及藉由施加7分接頭濾波器到所述明度參考影像的整數像素位置的多個明度樣本，而產生包含於所述明度參考區塊中的1/4像素位置或是3/4像素位置的明度樣本; 以及 色度內插濾波單元，配置成使用當前區塊的色度運動向量，在色度參考影像中決定出用於所述當前區塊的預測的一色度參考區塊; 以及藉由施加4分接頭濾波器到所述色度參考影像的整數像素位置的多個色度樣本，而產生包含於所述色度參考區塊中的1/8像素位置或是4/8像素位置的色度樣本， 其中所述7分接頭濾波器包含7個濾波係數，以及 所述4分接頭濾波器包含4個濾波係數。
  2. 如申請專利範圍第1項所述的運動補償裝置，其中所述明度內插濾波單元，配置成藉由使用明度縮放因子而縮放經由施加所述7分接頭濾波器所產生的所述明度樣本，如此所述7分接頭濾波器的係數總合為1。
  3. 如申請專利範圍第1項所述的運動補償裝置，其中所述色度內插濾波單元，配置成藉由使用色度縮放因子而縮放經由施加所述4分接頭濾波器所產生的所述色度樣本，如此所述4分接頭濾波器的係數總合為1。
TW105127336A 2011-06-28 2012-06-28 使用非對稱內插濾波器的內插影像用的方法與裝置 TWI574552B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US201161502056P 2011-06-28 2011-06-28

Publications (2)

Publication Number Publication Date
TW201642660A TW201642660A (zh) 2016-12-01
TWI574552B true TWI574552B (zh) 2017-03-11

Family

ID=47424683

Family Applications (3)

Application Number Title Priority Date Filing Date
TW105127336A TWI574552B (zh) 2011-06-28 2012-06-28 使用非對稱內插濾波器的內插影像用的方法與裝置
TW106102284A TWI646827B (zh) 2011-06-28 2012-06-28 使用非對稱內插濾波器的內插影像用的方法與裝置
TW101123314A TWI554088B (zh) 2011-06-28 2012-06-28 使用非對稱內插濾波器的內插影像用的方法與裝置

Family Applications After (2)

Application Number Title Priority Date Filing Date
TW106102284A TWI646827B (zh) 2011-06-28 2012-06-28 使用非對稱內插濾波器的內插影像用的方法與裝置
TW101123314A TWI554088B (zh) 2011-06-28 2012-06-28 使用非對稱內插濾波器的內插影像用的方法與裝置

Country Status (25)

Country Link
US (5) US9282339B2 (zh)
EP (4) EP2843950A1 (zh)
JP (5) JP5886953B2 (zh)
KR (7) KR20130002294A (zh)
CN (5) CN105791869B (zh)
AU (4) AU2012276477B2 (zh)
BR (4) BR122021004606B1 (zh)
CA (2) CA2976108C (zh)
CY (1) CY1121054T1 (zh)
DK (2) DK3232664T3 (zh)
ES (2) ES2701978T3 (zh)
HR (1) HRP20182054T1 (zh)
HU (2) HUE043939T2 (zh)
LT (1) LT3232664T (zh)
MX (5) MX336302B (zh)
MY (1) MY168224A (zh)
PH (4) PH12017501592A1 (zh)
PL (2) PL3232664T3 (zh)
PT (1) PT3232664T (zh)
RS (1) RS58193B1 (zh)
RU (4) RU2627294C1 (zh)
SI (1) SI3232664T1 (zh)
TW (3) TWI574552B (zh)
WO (1) WO2013002579A2 (zh)
ZA (1) ZA201502811B (zh)

Families Citing this family (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5323252B2 (ja) * 2010-03-30 2013-10-23 株式会社東芝 動画像符号化方法、復号化方法、符号化装置および復号化装置
CA2976108C (en) * 2011-06-28 2020-06-30 Samsung Electronics Co., Ltd. Method for image interpolation using asymmetric interpolation filter and apparatus therefor
CN107920249A (zh) * 2011-11-08 2018-04-17 株式会社Kt 对视频信号进行解码的方法
WO2014013805A1 (ja) * 2012-07-18 2014-01-23 ソニー株式会社 画像処理装置及び画像処理方法、並びに画像表示装置
WO2014107066A1 (ko) * 2013-01-04 2014-07-10 삼성전자 주식회사 위상차를 고려한 영상 업샘플링을 이용하는 스케일러블 비디오 부호화 방법 및 장치, 스케일러블 비디오 복호화 방법 및 장치
WO2014137175A1 (ko) 2013-03-06 2014-09-12 삼성전자 주식회사 선택적인 노이즈제거 필터링을 이용한 스케일러블 비디오 부호화 방법 및 그 장치, 선택적인 노이즈제거 필터링을 이용한 스케일러블 비디오 복호화 방법 및 그 장치
KR102286856B1 (ko) * 2013-06-12 2021-08-06 주식회사 케이티 스케일러블 비디오 신호 인코딩/디코딩 방법 및 장치
US10659806B2 (en) 2014-11-04 2020-05-19 Samsung Electronics Co., Ltd. Video encoding method and apparatus, and video decoding method and apparatus using interpolation filter on which image characteristic is reflected
US10291932B2 (en) * 2015-03-06 2019-05-14 Qualcomm Incorporated Method and apparatus for low complexity quarter pel generation in motion search
CN104883579B (zh) * 2015-06-08 2017-11-14 电子科技大学 一种基于空‑频域的联合视频图像的上采样方法
WO2017094298A1 (ja) * 2015-12-04 2017-06-08 ソニー株式会社 画像処理装置、画像処理方法及びプログラム
CN116156200A (zh) 2016-07-14 2023-05-23 三星电子株式会社 视频解码方法及其装置以及视频编码方法及其装置
US10116957B2 (en) * 2016-09-15 2018-10-30 Google Inc. Dual filter type for motion compensated prediction in video coding
KR20180042899A (ko) * 2016-10-19 2018-04-27 디지털인사이트 주식회사 적응적 보간 필터를 사용하는 비디오 코딩 방법 및 장치
CN116320498A (zh) * 2016-11-28 2023-06-23 韩国电子通信研究院 用于滤波的方法和装置
CN116156162A (zh) * 2017-01-04 2023-05-23 三星电子株式会社 视频解码方法和设备以及视频编码方法和设备
WO2018132043A1 (en) * 2017-01-10 2018-07-19 Telefonaktiebolaget Lm Ericsson (Publ) Deblocking filtering control
EP3471418A1 (en) * 2017-10-12 2019-04-17 Thomson Licensing Method and apparatus for adaptive transform in video encoding and decoding
CN111201791B (zh) * 2017-11-07 2022-05-24 华为技术有限公司 用于视频编码的帧间预测装置和方法的插值滤波器
KR102207258B1 (ko) 2018-01-15 2021-01-25 삼성전자주식회사 부호화 방법 및 그 장치, 복호화 방법 및 그 장치
MX2020010128A (es) * 2018-03-28 2020-10-19 Huawei Tech Co Ltd Un dispositivo de procesamiento de imagenes y metodo para ejecutar desbloqueo eficiente.
US10863190B2 (en) 2018-06-14 2020-12-08 Tencent America LLC Techniques for memory bandwidth optimization in bi-predicted motion vector refinement
CN112868232B (zh) * 2018-10-06 2023-07-11 华为技术有限公司 使用插值滤波器进行帧内预测的方法和装置
WO2020169114A1 (en) 2019-02-22 2020-08-27 Huawei Technologies Co., Ltd. Method and apparatus for affine based inter prediction of chroma subblocks
US11516512B2 (en) 2019-03-04 2022-11-29 Alibaba Group Holding Limited Method and system for processing video content
CN110276732B (zh) * 2019-06-18 2022-06-07 昆明理工大学 一种顾及地形特征线要素的山区点云空洞修复方法
KR20200144480A (ko) * 2019-06-18 2020-12-29 한국전자통신연구원 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
KR102155760B1 (ko) * 2019-06-25 2020-09-14 오스템임플란트 주식회사 Ct 영상의 해상도 강화 장치 및 그 방법
US11303909B2 (en) * 2019-09-18 2022-04-12 Qualcomm Incorporated Scaling ratio and output full resolution picture in video coding
EP4082195A4 (en) * 2019-12-24 2023-06-28 Beijing Dajia Internet Information Technology Co., Ltd. Methods and apparatuses for reference picture resampling
US11968356B2 (en) * 2022-03-16 2024-04-23 Qualcomm Incorporated Decoder-side motion vector refinement (DMVR) inter prediction using shared interpolation filters and reference pixels
WO2023200135A1 (ko) * 2022-04-15 2023-10-19 현대자동차주식회사 크로마 성분에 대한 개선된 인루프필터를 이용하는 비디오 코딩을 위한 방법 및 장치

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080069239A1 (en) * 2006-09-18 2008-03-20 Freescale Semiconductor Inc. Dyadic spatial re-sampling filters for inter-layer texture predictions in scalable image processing
US20080165857A1 (en) * 2007-01-05 2008-07-10 Yong Yan Method and system for sampling video data
US20090022412A1 (en) * 2007-07-20 2009-01-22 Sanyo Electric Co., Ltd. Image processing apparatus and image pickup apparatus using the same
TW201028015A (en) * 2008-12-03 2010-07-16 Nokia Corp Flexible interpolation filter structures for video coding

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AR016812A1 (es) * 1997-08-14 2001-08-01 Samsung Electronics Co Ltd Metodo para transmitir informacion de video comprimida, disposiciones de compresion y de grabacion de video y aparato de reproduccion de video
DE19746214A1 (de) 1997-10-21 1999-04-22 Bosch Gmbh Robert Verfahren zur bewegungskompensierenden Prädiktion von Bewegtbildfolgen
US6950469B2 (en) 2001-09-17 2005-09-27 Nokia Corporation Method for sub-pixel value interpolation
KR100624429B1 (ko) * 2003-07-16 2006-09-19 삼성전자주식회사 칼라 영상을 위한 비디오 부호화/복호화 장치 및 그 방법
US7623575B2 (en) * 2005-01-05 2009-11-24 Lsi Corporation Method and apparatus for sub-pixel motion compensation
US8208564B2 (en) * 2005-06-24 2012-06-26 Ntt Docomo, Inc. Method and apparatus for video encoding and decoding using adaptive interpolation
US20080075165A1 (en) 2006-09-26 2008-03-27 Nokia Corporation Adaptive interpolation filters for video coding
US9014280B2 (en) * 2006-10-13 2015-04-21 Qualcomm Incorporated Video coding with adaptive filtering for motion compensated prediction
JP2008118447A (ja) * 2006-11-06 2008-05-22 Canon Inc 画像形成装置及び画像形成方法ならびにそのプログラム
US9118927B2 (en) * 2007-06-13 2015-08-25 Nvidia Corporation Sub-pixel interpolation and its application in motion compensated encoding of a video signal
EP2048886A1 (en) 2007-10-11 2009-04-15 Panasonic Corporation Coding of adaptive interpolation filter coefficients
KR20090076019A (ko) * 2008-01-07 2009-07-13 엘지전자 주식회사 보간 필터, 그 보간 필터를 이용한 멀티 코덱 디코더 및디코딩 방법
US8705622B2 (en) 2008-04-10 2014-04-22 Qualcomm Incorporated Interpolation filter support for sub-pixel resolution in video coding
US20090257499A1 (en) * 2008-04-10 2009-10-15 Qualcomm Incorporated Advanced interpolation techniques for motion compensation in video coding
US8462842B2 (en) 2008-04-10 2013-06-11 Qualcomm, Incorporated Symmetry for interpolation filtering of sub-pixel positions in video coding
US8610673B2 (en) * 2008-12-03 2013-12-17 Microsoft Corporation Manipulation of list on a multi-touch display
US9317896B2 (en) * 2010-07-09 2016-04-19 Samsung Electronics Co., Ltd. Image interpolation method and apparatus
EP2996336B1 (en) * 2010-09-30 2017-09-13 Samsung Electronics Co., Ltd Device for interpolating images by using a smoothing interpolation filter
RU2559839C1 (ru) * 2011-06-24 2015-08-10 Нтт Докомо, Инк. Способ и устройство для компенсации движения с предсказанием
US9264725B2 (en) * 2011-06-24 2016-02-16 Google Inc. Selection of phase offsets for interpolation filters for motion compensation
CA2976108C (en) * 2011-06-28 2020-06-30 Samsung Electronics Co., Ltd. Method for image interpolation using asymmetric interpolation filter and apparatus therefor
KR20130050149A (ko) * 2011-11-07 2013-05-15 오수미 인터 모드에서의 예측 블록 생성 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080069239A1 (en) * 2006-09-18 2008-03-20 Freescale Semiconductor Inc. Dyadic spatial re-sampling filters for inter-layer texture predictions in scalable image processing
US20080165857A1 (en) * 2007-01-05 2008-07-10 Yong Yan Method and system for sampling video data
US7944969B2 (en) * 2007-01-05 2011-05-17 Freescale Semiconductor, Inc. Method and system for sampling video data
US20090022412A1 (en) * 2007-07-20 2009-01-22 Sanyo Electric Co., Ltd. Image processing apparatus and image pickup apparatus using the same
TW201028015A (en) * 2008-12-03 2010-07-16 Nokia Corp Flexible interpolation filter structures for video coding

Also Published As

Publication number Publication date
US20140133551A1 (en) 2014-05-15
PH12017501593B1 (en) 2018-06-11
PH12017501594B1 (en) 2018-06-11
RU2014102579A (ru) 2015-08-10
KR20150041760A (ko) 2015-04-17
US9407928B2 (en) 2016-08-02
CA2840638C (en) 2017-10-17
AU2017201283B2 (en) 2018-03-08
US20150189317A1 (en) 2015-07-02
TWI646827B (zh) 2019-01-01
HUE043939T2 (hu) 2019-09-30
JP2016129378A (ja) 2016-07-14
CN105791869A (zh) 2016-07-20
US20150189316A1 (en) 2015-07-02
MY168224A (en) 2018-10-15
PH12017501595A1 (en) 2018-07-02
DK3232664T3 (en) 2019-01-07
PH12017501594A1 (en) 2018-06-11
AU2016201052A1 (en) 2016-03-10
RU2595262C2 (ru) 2016-08-27
RU2654525C1 (ru) 2018-05-21
CN105744285B (zh) 2017-09-22
TW201715889A (zh) 2017-05-01
AU2018203838B2 (en) 2019-09-19
SI3232664T1 (sl) 2019-02-28
EP2728868A4 (en) 2015-02-25
CA2976108A1 (en) 2013-01-03
KR20150041758A (ko) 2015-04-17
JP5886953B2 (ja) 2016-03-16
JP6114419B2 (ja) 2017-04-12
AU2012276477A1 (en) 2014-01-30
AU2017201283A1 (en) 2017-03-16
EP2728868A2 (en) 2014-05-07
KR101675540B1 (ko) 2016-11-11
US9313522B2 (en) 2016-04-12
AU2016201052B2 (en) 2016-12-15
JP5921794B1 (ja) 2016-05-24
CN105791870B (zh) 2017-10-24
PH12017501592B1 (en) 2018-06-11
CN103765884B (zh) 2017-03-22
CN105744285A (zh) 2016-07-06
LT3232664T (lt) 2018-12-27
EP3232664A1 (en) 2017-10-18
RU2627294C1 (ru) 2017-08-07
BR112013033703A2 (pt) 2017-07-04
HRP20182054T1 (hr) 2019-02-08
JP6114420B2 (ja) 2017-04-12
KR20140146563A (ko) 2014-12-26
CN105791869B (zh) 2017-09-22
RU2689129C1 (ru) 2019-05-24
BR122021004604B1 (pt) 2022-07-26
BR122021004606B1 (pt) 2023-04-18
HUE048724T2 (hu) 2020-08-28
TW201642660A (zh) 2016-12-01
US9313520B2 (en) 2016-04-12
CN105847844B (zh) 2017-07-28
EP3448025B1 (en) 2020-01-08
CA2840638A1 (en) 2013-01-03
PH12017501595B1 (en) 2018-07-02
JP2014523185A (ja) 2014-09-08
EP3232664B1 (en) 2018-12-05
CN105847844A (zh) 2016-08-10
MX336371B (es) 2016-01-18
WO2013002579A2 (ko) 2013-01-03
US9313521B2 (en) 2016-04-12
RS58193B1 (sr) 2019-03-29
KR20130002294A (ko) 2013-01-07
MX336301B (es) 2016-01-14
CA2976108C (en) 2020-06-30
JP2016129377A (ja) 2016-07-14
KR101675537B1 (ko) 2016-11-11
PT3232664T (pt) 2018-12-14
JP2016129380A (ja) 2016-07-14
US20150189315A1 (en) 2015-07-02
AU2012276477B2 (en) 2016-02-18
KR101675539B1 (ko) 2016-11-11
KR20140122214A (ko) 2014-10-17
JP5921793B1 (ja) 2016-05-24
PL3232664T3 (pl) 2019-05-31
JP2016129379A (ja) 2016-07-14
CN105791870A (zh) 2016-07-20
CY1121054T1 (el) 2019-12-11
DK3448025T3 (da) 2020-01-27
PH12017501592A1 (en) 2018-06-11
KR101895428B1 (ko) 2018-09-05
TW201309035A (zh) 2013-02-16
BR122021004608B1 (pt) 2023-04-18
MX2014000056A (es) 2014-04-30
KR20150041759A (ko) 2015-04-17
EP3448025A1 (en) 2019-02-27
MX336303B (es) 2016-01-14
EP2843950A1 (en) 2015-03-04
BR112013033703B1 (pt) 2022-05-17
US9282339B2 (en) 2016-03-08
US20150189314A1 (en) 2015-07-02
CN103765884A (zh) 2014-04-30
AU2018203838A1 (en) 2018-06-21
KR101650545B1 (ko) 2016-08-23
ZA201502811B (en) 2017-01-25
MX336302B (es) 2016-01-14
KR20140085385A (ko) 2014-07-07
PL3448025T3 (pl) 2020-04-30
WO2013002579A3 (ko) 2013-04-11
ES2770320T3 (es) 2020-07-01
TWI554088B (zh) 2016-10-11
ES2701978T3 (es) 2019-02-26
KR101675538B1 (ko) 2016-11-11
PH12017501593A1 (en) 2018-06-11

Similar Documents

Publication Publication Date Title
TWI574552B (zh) 使用非對稱內插濾波器的內插影像用的方法與裝置
KR101707610B1 (ko) 평활화 보간 필터를 이용하여 영상을 보간하는 방법 및 그 장치