TWI521947B - Image processing apparatus, method and program, image coding apparatus, method and program, image decoding apparatus, method and program, and encoding and decoding system and method - Google Patents

Image processing apparatus, method and program, image coding apparatus, method and program, image decoding apparatus, method and program, and encoding and decoding system and method Download PDF

Info

Publication number
TWI521947B
TWI521947B TW098133602A TW98133602A TWI521947B TW I521947 B TWI521947 B TW I521947B TW 098133602 A TW098133602 A TW 098133602A TW 98133602 A TW98133602 A TW 98133602A TW I521947 B TWI521947 B TW I521947B
Authority
TW
Taiwan
Prior art keywords
filter
recorded
image
signal
conversion coefficient
Prior art date
Application number
TW098133602A
Other languages
English (en)
Other versions
TW201036450A (en
Inventor
Yoshinori Suzuki
Choong Seng Boon
Thiow Keng Tan
Original Assignee
Ntt Docomo Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ntt Docomo Inc filed Critical Ntt Docomo Inc
Publication of TW201036450A publication Critical patent/TW201036450A/zh
Application granted granted Critical
Publication of TWI521947B publication Critical patent/TWI521947B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop

Description

影像加工裝置、方法及程式、影像編碼裝置、方法及程式、影像解碼裝置、方法及程式、以及編碼解碼系統及方法
本發明係有關於將動畫進行加工的影像加工裝置、方法及程式、將動畫的編碼時所操作之再生影像中所殘留之失真訊號予以去除的動畫編碼裝置、方法及程式、將動畫的解碼時所操作之再生影像中所殘留之失真訊號予以去除的動畫解碼裝置、方法及程式、以及進行編碼與解碼的編碼‧解碼系統及方法。
為了有效率地進行動畫資料的傳送，採用了壓縮編碼技術。在動畫的情況下，廣泛地採用MPEG1、2、4或H.261~H.264之方式。
為了提高編碼效率，是先將要作為編碼處理的影像分割成複數對象區塊，然後才進行預測編碼‧解碼處理。具體而言，係將1畫格的影像分割成由16×16像素所成的對象區塊。在影像內預測編碼方法中，是使用位於與要作為編碼對象之對象區塊相同畫面內的相鄰之已再生的影像訊號(從已被壓縮之影像資料所還原而成者)來生成預測訊號之後，將從對象區塊之訊號中扣除該預測訊號所得到的差分訊號，予以編碼。
又，有時也會取代掉影像內預測編碼方法，改為使用畫面間預測編碼方法(參照動畫中在時間軸上相鄰之其他畫格來生成對象區塊的預測訊號並將該預測訊號與對象區 塊之差分予以編碼之方法)。此情況下，對於對象區塊，將已編碼且復原之其他畫格當作參照影像而進行運動偵測，決定出誤差最少的預測訊號之後，求出該預測訊號與對象區塊之差分值。
接著，對於畫面內預測編碼方法或畫面間預測編碼方法所得到的差分訊號，進行離散餘弦轉換與量化處理。然後，已被量化之離散餘弦轉換的係數，以及，將預測訊號加以特定所需之運動向量或模式資訊，係被熵編碼，生成編碼資料。
如此所被編碼之編碼資料，係為了求出下個對象區塊的預測訊號，而被再次復原並再生。所被再生之影像，係藉由迴圈內濾波器處理，去除了伴隨編碼所產生的失真之後，被當成參照影像而儲存在畫格記憶體中。
作為上記的迴圈內濾波器，係有將區塊間所產生之區塊失真予以去除的區塊失真去除濾波器為人所熟知，但該區塊失真去除濾波器，係具有容易生成模糊影像之問題點。另一方面，在專利文獻1中係記載著，將已被再生之影像內的原本的邊緣週邊的雜訊加以去除的濾波器處理。在該專利文獻1之手法中，係將影像內的物體的邊緣，以不發生破綻的方式，執行濾波器處理，因此具有一面保存邊緣，一面使影像全體的印象鮮明之效果。
〔先前技術文獻〕 〔專利文獻〕
[專利文獻1]美國公開公報2006/0153301
然而，專利文獻1的濾波器處理，係為將邊緣加以保存之處理，因此會造成殘留下無法去除之失真的另一問題點。尤其是，容易發生，區塊失真呈現階梯狀地發生的擬似輪廓。此種殘留失真訊號，係可藉由對畫面全體適用低通濾波器就能加以抑制。但是，若未加思考就對畫面全體適用低通濾波器，則影像原本的邊緣就會糊掉。
本發明係為了解決上記課題而研發，其目的在於，一面保持影像原本之邊緣，一面抑制在已被再生之影像上所產生之殘留失真訊號。
為了達成上記目的，本發明所述之影像加工裝置，其特徵為，具備：第1濾波器部，係對已被輸入之對象影像，適用第1濾波器，以生成第1濾波器影像；和屬性資訊生成部，係針對前記第1濾波器部所生成之前記第1濾波器影像的各像素，在已經適用了前記第1濾波器且濾波器係數資訊是滿足所定基準的情況下，生成第1屬性值，在前記第1濾波器未被適用、或前記濾波器係數資訊是不滿足所定基準的情況下，生成第2屬性值；和第2濾波器部，係只對具有前記第1屬性值的前記第1濾波器影像之對象像素，適用前記第2濾波器而生成第2濾波器影像。
上記本發明所述之影像加工裝置，係更具備：濾波器影像選擇部，係將前記第1濾波器影像與前記第2濾波器影像加以比較並求出各像素的差分值，關於前記差分值是預定閾值以上之像素係將前記第1濾波器影像的像素加以選擇並輸出，關於前記差分值是小於前記閾值之像素係將前記第2濾波器影像的像素加以選擇並輸出，較為理想。
又，本發明所述之影像加工裝置中，前記第2濾波器部，係當根據前記第1濾波器影像之前記對象像素所相關之前記屬性值與該對象像素所相鄰之所定數之像素所相關的前記屬性值所算出的值是大於所定值時，作為所生成之前記第2濾波器影像之像素，是選擇前記第1濾波器影像之前記對象像素之構成，較為理想。
又，本發明所述之影像加工裝置中，前記第2濾波器，係為1維之濾波器；前記第2濾波器部，係將前記第2濾波器，對於前記第1濾波器影像之對象像素，在水平方向及垂直方向當中之一方的方向上予以適用後，然後再將前記第2濾波器適用於另一方向之構成，較為理想。
又，本發明所述之影像加工裝置中，前記第2濾波器，係具有以{1,1,1,1,1,1,1,2,1,1,1,1,1,1,1}/16所表示之15節(tap)；前記第2濾波器部，係參照前記對象像素及該對象像素之左右相鄰的各7像素之總計15像素，或是前記對象像素及該對象像素之上下相鄰的各7像素之總計15像素，而對前記對象像素適用前記第2濾波器之構成，較為理想。
又，於本發明所述之影像加工裝置中，當前記第1濾波器是參照了被適用對象之像素的周圍M像素所圍繞之範圍之像素的濾波器時，前記第2濾波器，係由將適用對象之像素的周圍的、多於前記M像素的L像素所圍繞之範圍的像素加以參照的濾波器所構成，較為理想。
可是，本發明係亦可視為涉及影像加工方法之發明，以及涉及影像加工程式之發明，可分別描述如以下。
本發明所述之影像加工方法，係屬於被影像加工裝置所執行的影像加工方法，其特徵為，具備：第1濾波器步驟，係對已被輸入之對象影像，適用第1濾波器，以生成第1濾波器影像；和屬性資訊生成步驟，係針對前記第1濾波器步驟所生成之前記第1濾波器影像的各像素，在已經適用了前記第1濾波器且濾波器係數資訊是滿足所定基準的情況下，生成第1屬性值，在前記第1濾波器未被適用、或前記濾波器係數資訊是不滿足所定基準的情況下，生成第2屬性值；和第2濾波器步驟，係只對具有前記第1屬性值的前記第1濾波器影像之對象像素，適用前記第2濾波器而生成第2濾波器影像。
此外，上記本發明所述之影像加工方法，係更具備：濾波器影像選擇步驟，係將前記第1濾波器影像與前記第2濾波器影像加以比較並求出各像素的差分值，關於前記差分值是預定閾值以上之像素係將前記第1濾波器影像的像素加以選擇並輸出，關於前記差分值是小於前記閾值之像素係將前記第2濾波器影像的像素加以選擇並輸出，較 為理想。
本發明所述之影像加工程式，其特徵為，係使被設在影像加工裝置中的電腦發揮機能而成為：第1濾波器部，係對已被輸入之對象影像，適用第1濾波器，以生成第1濾波器影像；和屬性資訊生成部，係針對前記第1濾波器部所生成之前記第1濾波器影像的各像素，在已經適用了前記第1濾波器且濾波器係數資訊是滿足所定基準的情況下，生成第1屬性值，在前記第1濾波器未被適用、或前記濾波器係數資訊是不滿足所定基準的情況下，生成第2屬性值；和第2濾波器部，係只對具有前記第1屬性值的前記第1濾波器影像之對象像素，適用前記第2濾波器而生成第2濾波器影像。
此外，本發明所述之影像加工程式，係更使前記電腦發揮機能而成為：濾波器影像選擇部，係將前記第1濾波器影像與前記第2濾波器影像加以比較並求出各像素的差分值，關於前記差分值是預定閾值以上之像素係將前記第1濾波器影像的像素加以選擇並輸出，關於前記差分值是小於前記閾值之像素係將前記第2濾波器影像的像素加以選擇並輸出，較為理想。
若依據如以上之本發明，則可一面保持影像原本之邊緣，一面抑制在已被再生之影像上所產生之殘留失真訊號。
又，本發明係可藉由適用於動畫編碼裝置、方法、程式，而可使編碼處理的精度提升。同樣地，本發明係可藉 由適用於動畫解碼裝置、方法、程式，而可使解碼處理的精度提升。
其中，適用了本發明的動畫編碼裝置、方法、程式係可描述如下。
本發明所述之動畫編碼裝置，其特徵為，具備：區塊分割器，係將所被輸入之要作為編碼對象之影像，分割成複數區塊；和預測訊號生成器，係針對要作為編碼對象之對象區塊，生成預測訊號、及至少含有關於預測方法之資訊的附加資訊；和差分器，係藉由從前記對象區塊之訊號，減去前記已被生成之預測訊號，以生成殘差訊號；和轉換器，係將前記對象區塊的前記殘差訊號，轉換成頻率領域的轉換係數；和量化器，係將前記轉換係數藉由量化處理進行壓縮而獲得量化轉換係數；和逆量化器，係將前記量化轉換係數予以逆量化，以將解碼轉換係數予以復原；和逆轉換器，係將前記解碼轉換係數予以逆轉換，以再生出殘差訊號；和加算器，係將已被前記逆轉換器所再生之前記殘差訊號、和前記預測訊號，進行加算，以將再生影像予以復原；和迴圈內濾波器，係含有上述之影像加工裝置所構成，使用前記附加資訊及前記量化轉換係數之資訊，進行從前記再生影像中去除多餘失真之濾波器處理；和畫格記憶體，係將濾波器處理後之前記再生影像，加以儲存；和熵編碼器，係將前記量化轉換係數之資訊及前記附加資訊予以熵編碼，輸出成為位元串流。
本發明所述之動畫編碼方法，係屬於被動畫編碼裝置 所執行的動畫編碼裝置，其特徵為，具備：將所被輸入之要作為編碼對象之影像，分割成複數區塊之步驟；和針對要作為編碼對象之對象區塊，生成預測訊號、及至少含有關於預測方法之資訊的附加資訊之步驟；和藉由從前記對象區塊之訊號，減去前記已被生成之預測訊號，以生成殘差訊號之步驟；和將前記對象區塊的前記殘差訊號，轉換成頻率領域的轉換係數之步驟；和將前記轉換係數藉由量化處理進行壓縮而獲得量化轉換係數之步驟；和將前記量化轉換係數予以逆量化，以將解碼轉換係數予以復原之步驟；和將前記解碼轉換係數予以逆轉換，以再生出殘差訊號之步驟；和將已被前記逆轉換器所再生之前記殘差訊號、和前記預測訊號，進行加算，以將再生影像予以復原之步驟；和進行含有上述之影像加工裝置所構成之迴圈內濾波器之動作的步驟，該當步驟係使用前記附加資訊及前記量化轉換係數之資訊，進行從前記再生影像中去除多餘失真之濾波器處理；和將濾波器處理後之前記再生影像加以儲存之步驟；和將前記量化轉換係數之資訊及前記附加資訊予以熵編碼，輸出成為位元串流之步驟。
本發明所述之動畫編碼程式，其特徵為，係使被設在動畫編碼裝置中的電腦發揮機能而成為：區塊分割器，係將所被輸入之要作為編碼對象之影像，分割成複數區塊；和預測訊號生成器，係針對要作為編碼對象之對象區塊，生成預測訊號、及至少含有關於預測方法之資訊的附加資訊；和差分器，係藉由從前記對象區塊之訊號，減去前記 已被生成之預測訊號，以生成殘差訊號；和轉換器，係將前記對象區塊的前記殘差訊號，轉換成頻率領域的轉換係數；和量化器，係將前記轉換係數藉由量化處理進行壓縮而獲得量化轉換係數；和逆量化器，係將前記量化轉換係數予以逆量化，以將解碼轉換係數予以復原；和逆轉換器，係將前記解碼轉換係數予以逆轉換，以再生出殘差訊號；和加算器，係將已被前記逆轉換器所再生之前記殘差訊號、和前記預測訊號，進行加算，以將再生影像予以復原；和迴圈內濾波器，係含有上述之影像加工裝置所構成，使用前記附加資訊及前記量化轉換係數之資訊，進行從前記再生影像中去除多餘失真之濾波器處理；和畫格記憶體，係將濾波器處理後之前記再生影像，加以儲存；和熵編碼器，係將前記量化轉換係數之資訊及前記附加資訊予以熵編碼，輸出成為位元串流。
又，適用了本發明的動畫解碼裝置、方法、程式係可描述如下。
本發明所述之動畫解碼裝置，其特徵為，具備：資料解析器，係被輸入著，將殘差訊號之量化轉換係數與至少含有關於預測方法之資訊的附加資訊予以熵編碼所得到之位元串流，將前記位元串流予以熵解碼，獲得前記量化轉換係數與前記附加資訊；和預測訊號生成器，係基於前記附加資訊而生成預測訊號；和逆量化器，係將前記量化轉換係數予以逆量化，以獲得解碼轉換係數；和逆轉換器，係將前記解碼轉換係數予以逆轉換，以將殘差訊號予以復 原；和加算器，係藉由將前記預測訊號與前記殘差訊號予以加算，以生成再生影像；和迴圈內濾波器，係含有上述之影像加工裝置所構成，使用前記附加資訊及前記量化轉換係數之資訊，進行從前記再生影像中去除多餘失真之濾波器處理；和畫格記憶體，係將濾波器處理後之前記再生影像，加以儲存。
本發明所述之動畫解碼方法，係屬於被動畫解碼裝置所執行的動畫解碼方法，其特徵為，具備：被輸入著將殘差訊號之量化轉換係數與至少含有關於預測方法之資訊的附加資訊予以熵編碼所得到之位元串流，將前記位元串流予以熵解碼，獲得前記量化轉換係數與前記附加資訊之步驟；和基於前記附加資訊而生成預測訊號之步驟；和將前記量化轉換係數予以逆量化，以獲得解碼轉換係數之步驟；和將前記解碼轉換係數予以逆轉換，以將殘差訊號予以復原之步驟；和藉由將前記預測訊號與前記殘差訊號予以加算，以生成再生影像之步驟；和進行含有上述之影像加工裝置所構成之迴圈內濾波器之動作的步驟，該當步驟係使用前記附加資訊及前記量化轉換係數之資訊，進行從前記再生影像中去除多餘失真之濾波器處理；和將濾波器處理後之前記再生影像加以儲存之步驟。
本發明所述之動畫解碼程式，其特徵為，係使被設在動畫解碼裝置中的電腦發揮機能而成為：資料解析器，係被輸入著，將殘差訊號之量化轉換係數與至少含有關於預測方法之資訊的附加資訊予以熵編碼所得到之位元串流， 將前記位元串流予以熵解碼，獲得前記量化轉換係數與前記附加資訊；和預測訊號生成器，係基於前記附加資訊而生成預測訊號；和逆量化器，係將前記量化轉換係數予以逆量化，以獲得解碼轉換係數；和逆轉換器，係將前記解碼轉換係數予以逆轉換，以將殘差訊號予以復原；和加算器，係藉由將前記預測訊號與前記殘差訊號予以加算，以生成再生影像；和迴圈內濾波器，係含有上述之影像加工裝置所構成，使用前記附加資訊及前記量化轉換係數之資訊，進行從前記再生影像中去除多餘失真之濾波器處理；和畫格記憶體，係將濾波器處理後之前記再生影像，加以儲存。
再者，本發明係可作為編碼‧解碼系統、及編碼‧解碼方法，係可描述如下。
本發明所述之編碼‧解碼系統，係屬於含有動畫編碼裝置、和動畫解碼裝置所構成的編碼‧解碼系統，其特徵為，前記動畫編碼裝置係具備：區塊分割器，係將所被輸入之要作為編碼對象之影像，分割成複數區塊；和預測訊號生成器，係針對要作為編碼對象之對象區塊，生成預測訊號、及至少含有關於預測方法之資訊的附加資訊；和差分器，係藉由從前記對象區塊之訊號，減去前記已被生成之預測訊號，以生成殘差訊號；和轉換器，係將前記對象區塊的前記殘差訊號，轉換成頻率領域的轉換係數；和量化器，係將前記轉換係數藉由量化處理進行壓縮而獲得量化轉換係數；和逆量化器，係將前記量化轉換係數予以逆 量化，以將解碼轉換係數予以復原；和逆轉換器，係將前記解碼轉換係數予以逆轉換，以再生出殘差訊號；和加算器，係將已被前記逆轉換器所再生之前記殘差訊號、和前記預測訊號，進行加算，以將再生影像予以復原；和迴圈內濾波器，係含有上述之影像加工裝置所構成，使用前記附加資訊及前記量化轉換係數之資訊，進行從前記再生影像中去除多餘失真之濾波器處理；和畫格記憶體，係將濾波器處理後之前記再生影像，加以儲存；和熵編碼器，係將前記量化轉換係數之資訊及前記附加資訊予以熵編碼，輸出成為位元串流；前記動畫解碼裝置係具備：資料解析器，係被輸入著，將殘差訊號之量化轉換係數與至少含有關於預測方法之資訊的附加資訊予以熵編碼所得到之位元串流，將前記位元串流予以熵解碼，獲得前記量化轉換係數與前記附加資訊；和預測訊號生成器，係基於前記附加資訊而生成預測訊號；和逆量化器，係將前記量化轉換係數予以逆量化，以獲得解碼轉換係數；和逆轉換器，係將前記解碼轉換係數予以逆轉換，以將殘差訊號予以復原；和加算器，係藉由將前記預測訊號與前記殘差訊號予以加算，以生成再生影像；和迴圈內濾波器，係含有上述之影像加工裝置所構成，使用前記附加資訊及前記量化轉換係數之資訊，進行從前記再生影像中去除多餘失真之濾波器處理；和畫格記憶體，係將濾波器處理後之前記再生影像，加以儲存。
本發明所述之編碼‧解碼方法，係屬於含有動畫編碼 裝置、和動畫解碼裝置所構成的編碼‧解碼系統中所被執行的編碼‧解碼方法，其特徵為，具備：由前記動畫編碼裝置所執行之動畫編碼方法的處理步驟；和由前記動畫解碼裝置所執行之動畫解碼方法的處理步驟；前記動畫編碼方法之處理步驟，係含有：將所被輸入之要作為編碼對象之影像，分割成複數區塊之步驟；和針對要作為編碼對象之對象區塊，生成預測訊號、及至少含有關於預測方法之資訊的附加資訊之步驟；和藉由從前記對象區塊之訊號，減去前記已被生成之預測訊號，以生成殘差訊號之步驟；和將前記對象區塊的前記殘差訊號，轉換成頻率領域的轉換係數之步驟；和將前記轉換係數藉由量化處理進行壓縮而獲得量化轉換係數之步驟；和將前記量化轉換係數予以逆量化，以將解碼轉換係數予以復原之步驟；和將前記解碼轉換係數予以逆轉換，以再生出殘差訊號之步驟；和將已被前記逆轉換器所再生之前記殘差訊號、和前記預測訊號，進行加算，以將再生影像予以復原之步驟；和進行含有上述之影像加工裝置所構成之迴圈內濾波器之動作的步驟，該當步驟係使用前記附加資訊及前記量化轉換係數之資訊，進行從前記再生影像中去除多餘失真之濾波器處理；和將濾波器處理後之前記再生影像加以儲存之步驟；和將前記量化轉換係數之資訊及前記附加資訊予以熵編碼，輸出成為位元串流之步驟；前記動畫解碼方法之處理步驟，係含有：被輸入著將殘差訊號之量化轉換係數與至少含有關於預測方法之資訊的附加資訊予以熵編碼所得到 之位元串流，將前記位元串流予以熵解碼，獲得前記量化轉換係數與前記附加資訊之步驟；和基於前記附加資訊而生成預測訊號之步驟；和將前記量化轉換係數予以逆量化，以獲得解碼轉換係數之步驟；和將前記解碼轉換係數予以逆轉換，以將殘差訊號予以復原之步驟；和藉由將前記預測訊號與前記殘差訊號予以加算，以生成再生影像之步驟；和進行含有上述之影像加工裝置所構成之迴圈內濾波器之動作的步驟，該當步驟係使用前記附加資訊及前記量化轉換係數之資訊，進行從前記再生影像中去除多餘失真之濾波器處理；和將濾波器處理後之前記再生影像，加以儲存之步驟。
若依據本發明，則可一面保持影像原本之邊緣，一面抑制在已被再生之影像上所產生之殘留失真訊號。
以下，針對本發明所述之實施形態，使用圖1~圖13來說明。
(關於動畫編碼裝置)
圖1係具備本發明的殘留失真訊號去除機能的動畫編碼裝置100的區塊圖。動畫編碼裝置100，係具備：輸入端子101、區塊分割器102、差分器103、轉換器104、量 化器105、逆量化器106、逆轉換器107、加算器108、迴圈內濾波器109、畫格記憶體110、預測訊號生成器111、熵編碼器112、及輸出端子113。
關於此種動畫編碼裝置100，以下說明各構成部之動作。構成動畫的複數影像，係從輸入端子101進行輸入。
區塊分割器102，係將要作為編碼對象之影像，分割成複數個小領域(此處係為例如由8×8像素所成之區塊)。關於已被分割之各區塊，執行以下的壓縮‧編碼處理。
預測訊號生成器111，係針對要作為編碼對象之區塊(以下稱作「對象區塊」)而生成預測訊號，經由訊號線L111而輸出至差分器103。又，預測訊號生成器111，係執行畫面內預測方法或畫面間預測方法而生成複數預測方法之候補，然後，將經由訊號線L102所被輸入之對象區塊之訊號加以編碼之際所必須之編碼量為最小且與對象區塊之殘差最小的預測方法，從上記複數預測方法之候補中選擇出來。此外，關於預測方法之候補，在本發明中係沒有限定。表示已選擇之預測方法的預測模式資訊或伴隨畫面間預測而來的運動資訊等，係被當作附加資訊，經由訊號線L112而被輸出至熵編碼器115及迴圈內濾波器109。
差分器103，係從經由訊號線L102所輸入之對象區塊的訊號，減去經由訊號線L111所輸入之預測訊號，以生成殘差訊號。所被生成之殘差訊號，係經由訊號線 L103而被輸出至轉換器104。
轉換器104，係以將上記對象區塊再加以分割而成的差分訊號區塊(此處係為4×4像素所成之區塊)單位，將差分訊號轉換成頻率領域之轉換係數。轉換所得之轉換係數，係經由訊號線L104而被輸出至量化器105，藉由量化器105進行量化處理而被壓縮成量化轉換係數。此外，動畫編碼裝置100係亦可為，將轉換器104與量化器105當中之任一方予以省略之構成。
熵編碼器112，係將經由訊號線L105所被輸入之量化轉換係數，轉換成可變長度碼，藉由輸出端子113而輸出成為位元串流。此時，亦可取代掉可變長度碼而改為適用算術編碼。又，熵編碼器112，係同時將經由訊號線L112所被輸入之附加資訊，與量化轉換係數一起進行熵編碼。
逆量化器106，係以對應於量化器105之量化精度，將經由訊號線L105所被輸入之量化轉換係數進行逆量化，以將解碼轉換係數予以復原，經由訊號線L106而輸出至逆轉換器107。逆轉換器107，係將解碼轉換係數予以逆轉換，以再生出殘差訊號。此外，表示上記量化精度的量化參數，係被從量化器105送往熵編碼器112，於熵編碼器112中以畫格單位或區塊單位而被熵編碼，成為位元串流之一部分而從輸出端子113輸出(亦即，通知給用來解碼上記位元串流的動畫解碼裝置)。又，逆量化器106，係經由訊號線L113，將關於各4×4區塊的量化轉換 係數之資訊，輸出至迴圈內濾波器109。
加算器108係對經由訊號線L107所輸入之已被再生的殘差訊號，加算經由訊號線L111所被輸入之預測訊號，以將再生影像予以復原，經由訊號線L108而輸出至迴圈內濾波器109。
迴圈內濾波器109，係使用經由訊號線L112所被輸入之附加資訊、及經由訊號線L113所被輸入之關於各4×4區塊的量化轉換係數之資訊，從再生影像中去除多餘失真。此係稱作「濾波器處理」，其細節將於後述。實施過濾波器處理的再生影像，係為了作為下個影像編碼之際的參照影像，而經由訊號線L109從迴圈內濾波器109被輸出至畫格記憶體110，被儲存在畫格記憶體110中。
(關於迴圈內濾波器109)
接著，使用圖2~圖6來詳細說明迴圈內濾波器109。在本實施形態中，是使用特性互異的2種類之濾波器。亦即，迴圈內濾波器109，係含有：一面保持原本之邊緣一面使影像鮮明的方式來去除邊緣週邊之失真的第1濾波器(專利文獻1所記載之濾波器)；和具有模糊效果且尤其會將第1濾波器中所容易留下之區塊狀失真加以去除的第2濾波器所構成。
以下，說明迴圈內濾波器109之動作。圖2係圖示迴圈內濾波器109之處理流程。迴圈內濾波器109，首先係對經由訊號線L108所輸入之再生影像，適用第1濾波 器，生成第1濾波器影像(步驟702)。
接著，迴圈內濾波器109，係針對第1濾波器影像的各像素，生成用來判定是否適用第2濾波器所需之屬性值(步驟703)。以下，關於各像素的屬性值，係被使用來選擇出，即使實施第1濾波器而訊號值也不會有所變化之像素。
然後，迴圈內濾波器109，係基於已生成之屬性值而對第1濾波器影像適用第2濾波器，生成第2濾波器影像(步驟704)。亦即，迴圈內濾波器109，係相應於有關第1濾波器影像之各像素的屬性值，針對各像素來判定是否適用第2濾波器，針對被判定要適用第2濾波器之像素係適用第2濾波器，針對被判定不要適用第2濾波器之像素係避免第2濾波器之適用，藉此以生成第2濾波器影像。藉由如此利用有關第1濾波器影像之各像素的屬性值，可針對即使施行第1濾波器仍有失真殘留之領域，選擇性地適用第2濾波器，因此不會使原本的邊緣變模糊，可生成僅將第1濾波器影像中所殘留之失真訊號加以抑制的第2濾波器影像。
其後，迴圈內濾波器109，係生成第1濾波器影像與第2濾波器影像的差分影像(步驟705)。然後，針對該當差分影像的某個像素，差分影像的像素值(以下稱作「差分值」)與預先決定之閾值TH，進行比較(步驟706)。此處，當差分值是小於閾值TH時，則將第2濾波器影像的像素值當作最終的濾波器影像的像素值而加以選 擇(步驟707)，另一方面，當差分值是閾值TH以上時，則將第1濾波器影像的像素值當作最終的濾波器影像的像素值而加以選擇(步驟708)。藉此，於濾波器處理後的第2濾波器影像之各像素中，藉由與第1濾波器影像之比較，當訊號值的變化較大時則是第1濾波器影像之像素被選擇，當訊號值的變化較小時則是第2濾波器影像之像素被選擇，因此不會破壞原本的邊緣，可僅去除多餘的殘留失真。
以下，將步驟706~708之處理，對差分影像的所有像素重複進行之(步驟709)。
此外，閾值TH係亦可為，例如隨著量化器或逆量化器中的決定量化精度用的量化參數，來決定其值。若如此決定閾值TH，就可對應量化精度越粗而殘留失真的位準越大之狀況。
又，步驟705中的差分影像係並非一定要生成。例如，即使是不生成差分影像，而是從第1濾波器影像與第2濾波器影像分別取得1像素，以像素單位來算出差分值的方法，仍可執行步驟706~步驟708之處理。
又，步驟705~708所示之將濾波器影像加以選擇之處理，係亦可省略。又，亦可算出第2濾波器影像與輸入影像之誤差呈最小的平方誤差最小濾波器(Wiener Filter)，取代了步驟705~708之處理，改為將平方誤差最小濾波器適用至第2濾波器影像。此外，亦可和前述的量化參數同樣地，此處所被算出之平方誤差最小濾波器， 係加以編碼而傳輸到外部去。
接著，使用圖3來詳細說明圖2之步驟704的第2濾波器影像生成處理。
在圖3的步驟802中，對第1濾波器影像之像素之屬性值，係被依序輸入至迴圈內濾波器109，迴圈內濾波器109，係判定所被輸入之屬性值是否為0(步驟803)，若屬性值非0時(1的時候)則前進至步驟809，若屬性值為0時則前進至步驟804。
在步驟804中，迴圈內濾波器109係針對第1濾波器影像中的處理對象之像素及該處理對象之像素所相鄰的左右各7像素合計15像素，取得像素值和屬性值。接著，將針對所取得之15像素的屬性值進行加算(步驟805)，判定加算值是否為0(步驟806)。當加算值非0時則前進至步驟809，當加算值是0時則前進至步驟807。
在步驟807中，迴圈內濾波器109，係對於處理對象之像素，參照該處理對象之像素所相鄰之左右各7像素之總計14像素，而適用第2濾波器。此處，所被參照的14像素，係為第1濾波器影像內的像素，但，若預先決定了方法，則亦可參照第2濾波器適用後的像素。濾波器節數係如下記所示，濾波器形式係為低通濾波器。亦即，第2濾波器的輸出影像之值，係對第1濾波器影像中的處理對象之像素之值乘上2，對該乘算值，加算處理對象之像素所相鄰之左右7像素之值，將該加算值除以16而算出。
Filter tap={1,1,1,1,1,1,1,2,1,1,1,1,1,1,1}/16
在步驟808中，迴圈內濾波器109係將第2濾波器的輸出影像之值，輸出成為第2濾波器影像的像素值。另一方面，步驟809中，迴圈內濾波器109係將第1濾波器影像的像素值，輸出成為第2濾波器影像的像素值。
在下個步驟810中，確認是否有下個處理對象之像素殘留，若有殘留，則返回至步驟802，針對殘留的處理對象之像素，再度執行步驟802~810之處理。然後，當對於全部處理對象之像素都執行過步驟802~810之處理的時點上，結束圖3的處理。
此外，除了上記處理以外，亦可還把步驟802~810的濾波器處理對「垂直方向」來實施(亦即，參照處理對象之像素所相鄰之上下各7像素，將影像從左下往右上而縱方向(從上往下、從左往右)地掃描)。換言之，亦可對於作為第2濾波器而對「水平方向」施加過1維水平方向的影像，再度施加「垂直方向」的1維濾波器。再加上，亦可對於施加過「水平方向」之1維濾波器的影像，進行步驟705~708所示的濾波器影像選擇處理，對於所生成的中間輸出影像，施加「垂直方向」的1維濾波器。其後，對於施加過「垂直方向」之1維濾波器的影像，進行步驟705~708所示之濾波器影像選擇處理之際，亦可取代掉步驟705所示的第1濾波器影像與第2濾波器影像的差分值，改成對上記中間輸出影像與施加過「垂直方向」之1維濾波器的影像(相當於第2濾波器影像)的差分值，來進行步驟706~708之處理。此處理，係亦可藉 由將圖2的步驟706~708之處理，在圖3的步驟807與808之間進行，而加以實現。亦即，於步驟807的處理中，針對施加濾波器前後的像素值的差分，進行閾值處理(步驟706)，將濾波器適用後的像素值(步驟707)或濾波器適用前的像素值(步驟708)，於步驟808中加以輸出。只要變更成，將此步驟802~810(含有步驟706~708)之處理，依序度水平方向與垂直方向來實施即可。此處，「水平方向」與「垂直方向」的1維濾波器，係亦可為不同的濾波器。又，「水平方向」與「垂直方向」的1維濾波器適用後的濾波器影像選擇處理中所使用的閾值TH，亦可為互異的值。亦可將這些1維濾波器與閾值加以編碼。此時，亦可將1維濾波器與閾值當作1組資料而將水平方向與垂直方向的2組資料加以編碼。此外，於「水平方向」的1維濾波器與「垂直方向」的1維濾波器中，施加濾波器的順序係亦可為「垂直方向」的1維濾波器優先。又，亦可僅實施「垂直方向」的1維濾波器。
又，第2濾波器的濾波器形狀，係不限定於上記15節(tap)的濾波器。又，亦可不是適用1維之濾波器而是適用2維濾波器，或亦可適用其他的固定濾波器。節數與濾波器係數係無限定，亦可將第2濾波器的形狀資訊及節數資訊加以編碼，將編碼資料包含於位元串流中而傳輸至外部。更具體而言，亦可將屬性值全部設成「0」，算出第1濾波器影像與輸入影像之誤差呈最小的平方誤差最小濾波器(Wiener Filter)，將該平方誤差最小濾波器當 作第2濾波器。此時，亦可將平方誤差最小濾波器予以編碼，將編碼資料包含在位元串流中而傳輸至外部。甚至，亦可採用，屬性值從迴圈內濾波器109的外部進行輸入的方法(例如欲適用濾波器之對象像素，是由編碼裝置及解碼裝置來決定的方法)。此時，屬性值係亦可被壓縮編碼。
在上記的說明中，雖然是以影像單位來實施第1濾波器處理及第2濾波器處理，但亦可以區塊單位(例如編碼對象區塊單位)來實施。但是，因為解碼順序上會使用未來的區塊的再生訊號，若以區塊單位來進行上記的濾波器處理時，則必須要隨著濾波器的節數，來使濾波器處理比編碼‧解碼處理延遲數區塊份。例如，如上述，區塊尺寸是8×8而濾波器節數是7的情況下，係為了使第2濾波器中所參照之像素是已再生者，而使濾波器處理的實施，從編碼‧解碼處理延遲(1區塊列+1區塊)份。
在上記中，雖然勢將編碼畫格內的全部像素當作第2濾波器處理之對象，但亦可僅對容易發生殘留失真訊號的畫面內預測區塊(intra block)適用第2濾波器處理。又，亦可僅對畫面內編碼畫格(intra frame)適用第2濾波器處理，亦可僅對畫格內的intra區塊的頻繁度是大於所定值的畫格，適用第2濾波器處理。藉由如此限定要適用第2濾波器處理的區塊，就可削減演算量。
圖4中係圖示了，圖2與圖3中所說明之實施迴圈內濾波器處理的迴圈內濾波器109的區塊圖。迴圈內濾波器 109，係具備：第1濾波器201、屬性資訊生成器202、第2濾波器203、濾波器影像選擇器204。
第1濾波器201，係基於經由訊號線L112所輸入之附加資訊，和經由訊號線L113所輸入之各4×4區塊所相關之量化轉換係數之資訊，藉由例如專利文獻1所示之方法，對於經由訊號線L108所輸入之再生影像，適用第1濾波器，生成第1濾波器影像。已被生成之第1濾波器影像，係經由訊號線L202而被輸出至第2濾波器203，並且經由訊號線L205而被輸出至濾波器影像選擇器204。又，表示第1濾波器201之適用狀況的資訊，是經由訊號線L201而被輸出至屬性資訊生成器202。
屬性資訊生成器202，係使用所被生成的表示第1濾波器201之適用狀況的資訊，針對第1濾波器影像的各像素，生成表示是否要適用第2濾波器203的屬性值。所被生成之屬性值，係經由訊號線L203而被輸出至第2濾波器203。此外，屬性資訊生成器202之處理係基於從第1濾波器201所獲得之資料來實施，因此屬性資訊生成器202的機能係可被包含在第1濾波器201中。
第2濾波器203，係基於經由訊號線L203所輸入之屬性值，對經由訊號線L202所輸入之第1濾波器影像，適用第2濾波器，生成第2濾波器影像。所被生成之第2濾波器影像，係經由訊號線L204而被輸出至濾波器影像選擇器204。
濾波器影像選擇器204，係如圖2的步驟706~708所 示，生成經由訊號線L205所輸入之第1濾波器影像、與經由訊號線L204所輸入之第2濾波器影像的差分影像，將差分影像的各像素之值(差分值)，與所定之閾值TH進行比較。此處，當差分值是小於閾值TH時，則將第2濾波器影像的像素值加以選擇，另一方面，當差分值是閾值TH以上時，則將第1濾波器影像的像素值加以選擇。最終生成的濾波器影像，係經由訊號線L109而被輸出至畫格記憶體110。
此外，亦可不作成差分影像，而是從第1濾波器影像與第2濾波器影像分別各取得1像素並且計算差分值，以像素單位來進行濾波器影像的選擇處理。
又，於迴圈內濾波器109中，濾波器影像選擇器204係亦可省略。當第2濾波器是「水平方向」與「垂直方向」的1維濾波器所構成的情況下，藉由將濾波器影像選擇器204包含在第2濾波器203中，就可實現在施加了「水平方向」之1維濾波器之後與施加了「垂直方向」之1維濾波器之後進行步驟706~708所示之濾波器影像選擇處理的手法。又，亦可算出第2濾波器影像與輸入影像之誤差呈最小的平方誤差最小濾波器(Wiener Filter)，將該平方誤差最小濾波器適用於第2濾波器影像的方式，來變更濾波器影像選擇器204之處理。此外，亦可和前述的量化參數同樣地，此處所被算出之平方誤差最小濾波器，係加以編碼而傳輸到外部去。
圖5係專利文獻1所記載之第1濾波器201之一例的 區塊圖。第1濾波器201，係具備：16個轉換器(第1~第16轉換器)301-1~301-16、16個閾值處理器302-1~302-16、16個逆轉換器(第1~第16逆轉換器)303-1~303-16、合成器304、遮罩處理器305。
對第1濾波器201經由訊號線L108所被輸入之再生影像，係分割成例如4×4像素之區塊，而被進行頻率轉換(但是區塊尺寸並非限定於4×4)。此時，轉換器(第1轉換器301-1~第16轉換器301-16)，係將區塊交界以縱4像素、橫4像素之範圍分別挪移1像素，並且對再生影像實施16次頻率轉換，生成16組轉換影像。在本實施形態中，為了方便區別，將圖1的轉換器104與逆轉換器107中的4×4區塊稱作「C區塊」，將圖5的第1濾波器201中的4×4區塊稱作「D區塊」。
16個轉換影像係分別被輸入閾值處理器302-1~302-16。各閾值處理器，係基於經由訊號線L112所被輸入之附加資訊、及經由訊號線L113所被輸入之關於各C區塊的量化轉換係數之資訊，對全部的D區塊的轉換係數實施閾值處理，將小於閾值的轉換係數，變更成0值。亦即，將可能成為失真主因的轉換係數設成0值，藉此以去除影像內的失真。
該閾值，係隨每一D區塊而不同，是基於C區塊所相關之濾波器模式而決定。具體而言，係首先，使用各編碼對象區塊之預測方法及關於各C區塊的量化轉換係數之資訊，來對2個C區塊間的交界，設定濾波器模式。然後， 基於D區塊跨越C區塊交界的濾波器模式，來決定D區塊的濾波器模式。例如，預先決定濾波器模式的優先順位，當D區塊是跨過複數之C區塊交界時，則從複數濾波器模式之中選擇出優先順位最高的濾波器模式。
已被閾值處理過的D區塊，係被輸出至逆轉換器303-1~303-16。同時，各D區塊中所屬之0係數的數目，係經由訊號線L201而被輸出至屬性資訊生成器202。
逆轉換器(逆轉換器303-1~303-16)係對經過閾值處理的16組轉換影像，實施逆轉換，生成16組推定影像。所被生成之16組推定影像，係經由訊號線L303而被輸出至合成器304。
合成器304，係將16組推定影像藉由線性加權處理而進行合成，生成第1濾波器影像。所被生成之第1濾波器影像，係經由訊號線L304而被輸出至遮罩處理器305。此外，線性加權處理中的權重係數，係基於各D區塊內的0係數之數量等而決定。具體而言，0係數越多的D區塊，係被推測為屬於平坦領域，因此對0係數越多的D區塊，附加越大的權重。另一方面，0係數越少的D區塊，係被推測為含有邊緣，因此對0係數越少的D區塊，附加越小的權重。在該第1濾波器處理中，利用區塊轉換之轉換效率是越平坦領域則越高的性質，來抽出邊緣，一面使得該邊緣不被破壞，一面抑制平坦領域的雜訊。
遮罩處理器305，係為了避免過多的濾波器處理，而 對第1濾波器影像的C區塊交界，實施經由訊號線L108所被輸入之再生影像所作之遮罩處理。更具體而言，遮罩處理器305，係針對各C區塊交界，決定要遮蔽之像素的範圍，基於已決定之遮蔽像素之範圍，將第1濾波器影像之像素，置換成經由訊號線L108所輸入之再生影像之像素。換言之，針對遮罩處理中未被遮蔽之像素位置的像素，係將第1濾波器影像之像素，以經由訊號線L108所輸入之再生影像之像素加以置換。亦即，這些像素位置的再生影像，係沒有變化地通過第1濾波器。已被遮蔽之像素的資訊，係經由訊號線L201-17而被輸出至屬性資訊生成器202。又，遮罩處理過的第1濾波器影像，係經由訊號線L202而被輸出至第2濾波器203。
此外，雖未圖示，但轉換器301-1~301-16、閾值處理器302-1~302-16、逆轉換器303-1~303-16、合成器304及遮罩處理器305所進行的上記處理，係亦可使用不同的閾值，而反覆實施。
此外，第2濾波器，係為了將第1濾波器中飽和而未能處理之像素視為對象，通常係將濾波器的支援範圍設成比第1濾波器還長。例如，當第1濾波器是參照了相對於濾波器之適用對象之像素而被該像素之周圍3像素所圍繞之範圍的像素的濾波器之情況下，則想定第2濾波器是參照了對於濾波器的適用對象之像素而被該像素的周圍7像素(亦即比第1濾波器時的3像素還要多的像素數)所圍繞之範圍的濾波器。
圖6中係圖示，圖4的屬性資訊生成器202中的處理流程。在屬性資訊生成器202中，跨過用來決定屬性值之對象像素的16個D區塊中所屬的0係數的數目，和用來決定屬性值之對象像素的第1濾波器201中的遮罩處理結果，是經由訊號線L201而被輸入(步驟902)。
接著，屬性資訊生成器202，係根據第1濾波器201中的遮罩處理結果，判定處理對象之像素是否為濾波器處理對象外的像素(亦即不適用第1濾波器的像素，以及，在遮罩處理中未被遮蔽的像素)(步驟903)。處理對象之像素是濾波器處理對象外之像素時則前進至步驟906，處理對象之像素並非濾波器處理對象外之像素(是濾波器處理對象之像素)時則前進至步驟904。
在步驟904中，屬性資訊生成器202係針對16個D區塊之每一者，判定區塊內的0係數的數目是否為15以上。若全部的D區塊中區塊內的0係數之數目是15以上時則前進至步驟905，若於1個以上之D區塊中區塊內的0係數之數目是未滿15時則前進至步驟906。
在步驟905中，將處理對象之像素的屬性值輸出為「0」，另一方面，在步驟906中，將處理對象之像素的屬性值輸出為「1」。
以上，將步驟902~906之處理，重複執行直到全像素的屬性值都被決定為止(步驟907)。
此外，屬性值的決定方法，係不限定於上記。例如，D區塊內的0係數之數目係可以不是「15個」以上，而是 可使用其他的基準值。又，上記當中，雖然是將D區塊內的0係數之數目當作評價尺度來使用，但亦可將DC係數(直流成分)以外的0係數之數目，當作評價尺度。
又，第1濾波器之遮罩處理中未被遮蔽的像素，係沒有變化地通過第1濾波器，因此亦可當作是第2濾波器的濾波器處理對象。
作為另一例子，亦可將即使適用第1濾波器、訊號值仍不會變化的像素所成的領域予以抽出而決定屬性值。具體而言，針對往第1濾波器的輸入影像與來自第1濾波器的輸出影像，對每一像素取其差分，針對差分的絕對值小於規定值的像素(或差分為0的像素)係將屬性值設為「0」，其餘則設為「1」，可舉出如此例子。
如此，在本實施形態的迴圈內濾波器中，係一面保持影像原本之邊緣，一面將邊緣週邊之失真以第1濾波器加以抑制。然後，在第1濾波器中係基於用來表示變化較小的領域(含有在第1濾波器中無法去除之失真之可能性的領域)之資訊，對該當領域選擇性地適用第2濾波器，因此可生成邊緣鮮明且殘留失真成分少的濾波器影像。
此處，關於第1濾波器處理，雖然是以專利文獻1所記載之手法為例子來說明，但並不限定於專利文獻1所記載之手法。例如，當第1濾波器處理的細節是不明時，本實施形態的第2濾波器所作的殘留失真訊號去除處理係可適用。
作為1個例子，如上記所示，亦可將即使適用第1濾 波器、訊號值仍不會變化的像素所成的領域予以抽出而決定屬性值。又，作為另一例子，係改變濾波器的強度而將第1濾波器處理實施2次，藉由取其差分而決定屬性值。例如，第1濾波器201，係對再生影像實施考慮到量化器105或逆量化器107中所使用之量化參數QP的如通常之第1濾波器處理；屬性資訊生成器202，係以改變過濾波器強度的2個參數(例如對應於「QP+α」與「QP-α」)而分別對再生影像實施第1濾波器處理。然後，屬性資訊生成器202，係計算2次第1濾波器處理所得到的2個濾波器影像之差分值，將所得到的差分值，當作表示第1濾波器之適用狀況的第2濾波器影像之屬性值。藉由該處理，就可將即使濾波器的強度改變但濾波器處理之結果不變的像素所成的領域，加以抽出。在該領域中，第1濾波器處理是以QP所示的量化位準而呈飽和，再生影像之像素係直接通過。亦即，即使再生影像上有發生失真，在第1濾波器處理中仍無法去除。能夠將有可能發生此種在第1濾波器處理中無法去除之失真的領域，加以抽出。
(關於影像加工裝置)
上述的迴圈內濾波器109之處理，係不限於伴隨編碼而來的再生影像，亦可適用於一般的失真去除。從圖2~圖6所示的處理中，若去除了經由訊號線L112所被輸入之附加資訊、及經由訊號線L113所被輸入之關於各4×4區塊的量化轉換係數之資訊，則第1‧第2濾波器、屬性 資訊生成處理及濾波器影像選擇處理，係亦可適用於去除失真用的一般之影像加工處理。此時，亦可取代掉附加資訊及各4×4區塊所相關之量化轉換係數之資訊，改為利用從輸入訊號所得之資訊。
(關於動畫解碼裝置)
圖7係伴隨本發明的殘留失真訊號去除機能的動畫解碼裝置500的區塊圖。動畫解碼裝置500，係具備：輸入端子501、資料解析器502、逆量化器503、逆轉換器504、加算器505、預測訊號生成器506、迴圈內濾波器109、畫格記憶體507、及影像輸出端子508。迴圈內濾波器109的機能，係和圖1的迴圈內濾波器109相同。
關於此種動畫解碼裝置500，以下說明各構成部之動作。對輸入端子501係輸入著，含有各對象區塊之預測訊號之生成所需的附加資訊與對象區塊之殘差訊號之編碼資料的位元串流。在本實施形態中，由圖1的動畫編碼裝置100處理所得到之位元串流，是被輸入至動畫解碼裝置500。
資料解析器502，係將輸入資料(所被輸入之位元串流)加以解析，將殘差訊號的編碼資料(量化轉換係數)與附加資訊予以解碼。又，決定量化精度的量化參數，或在迴圈內濾波器所使用的第2濾波器之濾波器係數及節數，是未被包含在輸入資料中的情況下，則資料解析器502係亦將這些資訊予以解碼。此外，作為解碼方法係可 使用可變長度解碼或是算術解碼等。
已被解碼之殘差訊號的編碼資料(量化轉換係數)，係經由訊號線L502a而被輸入至逆量化器503，逆量化器503，係基於量化參數而將量化轉換係數進行逆量化，將解碼轉換係數予以復原而經由訊號線L503而輸出至逆轉換器504。逆轉換器504，係將所被輸入之解碼轉換係數進行逆轉換而將殘差訊號予以復原，經由訊號線L504而將該殘差訊號輸出至加算器505。此外，動畫解碼裝置500係亦可為，將逆轉換器504與逆量化器503當中之任一方予以省略之構成。
另一方面，已被資料解析器502所解碼之附加資訊，係經由訊號線L502b而被輸出至預測訊號生成器506。預測訊號生成器506，係基於所被輸入之附加資訊而生成預測訊號，經由訊號線L506而將預測訊號輸出至加算器505，並且經由訊號線L112而將附加資訊輸出至迴圈內濾波器109。加算器505係藉由將預測訊號與已被復原之殘差訊號進行加算以生成再生影像，將該再生影像經由訊號線L108而輸出至迴圈內濾波器109，並且將該再生影像經由訊號線L505而從影像輸出端子508予以輸出。
迴圈內濾波器109，係使用經由訊號線L112所被輸入之附加資訊、及經由訊號線L113所被輸入之關於各44區塊的量化轉換係數之資訊，從再生影像中去除多餘失真(亦即進行濾波器處理)。實施過濾波器處理的再生影像，係為了作為下個影像編碼之際的參照影像而使用，而 經由訊號線L109被輸出至畫格記憶體507，被儲存在畫格記憶體507中。
重複以上處理，直到位元串流的所有資料都被處理為止。藉此，動畫資料係被復原。此外，迴圈內濾波器109所作的處理內容，係由於已經使用圖2~圖6說明過了，因此這裡省略說明。
(關於動畫編碼方法)
圖8係被動畫編碼裝置100所執行的，伴隨殘留失真訊號去除機能的動畫編碼處理之流程圖。首先，編碼對象之影像(對象影像)是被輸入至動畫編碼裝置100，區塊分割器102係將所被輸入之對象影像，分割成複數個小區塊(步驟852)。
接著，預測訊號生成器111，係針對各對象區塊，使用已被儲存在畫格記憶體110中的參照影像，從複數預測方法之中，決定1個預測方法並生成預測訊號。同時，預測訊號生成器111，係將該預測訊號之生成時所需的附加資訊，予以生成(步驟853)。針對各對象區塊會取得預測訊號，藉此就可獲得關於對象影像的預測影像。
差分器103，係生成對象影像與預測影像的殘差影像(步驟854)，轉換器104係將殘差影像的各區塊，轉換成頻率領域之轉換係數(步驟855)。然後，量化器105係基於用來決定量化精度之量化參數而將上記轉換係數予以量化，生成量化轉換係數(步驟856)。
接著，逆量化器106，係基於上記量化參數而將量化轉換係數予以逆量化以將解碼轉換係數予以復原(步驟857)，逆轉換器107係將上記已被復原之轉換係數進行逆轉換，以將殘差影像予以復原(再生)(步驟858)。然後，加算器108，係將已被復原之殘差影像、和上記預測影像進行加算，以生成再生影像(步驟859)。
接著，迴圈內濾波器109，係使用上記附加資訊及量化轉換係數之資訊，實施從再生影像中去除多餘失真的迴圈內濾波器處理(步驟860)。然後，實施過迴圈內濾波器處理的再生影像，係為了作為下個影像編碼之際的參照影像，而被輸出至畫格記憶體110而儲存(步驟861)。
再者，熵編碼器112，係將上記附加資訊與量化轉換係數予以熵編碼，輸出成為位元串流(步驟862)。
此外，關於步驟860中的迴圈內濾波器處理，係由於已經使用圖2、圖3及圖6來說明，因此這裡省略說明。
(關於影像加工方法)
上述的迴圈內濾波器109之處理，係不限於伴隨編碼而來的再生影像，亦可適用於一般的雜訊去除。若從圖2、圖3及圖6所示的處理中，去除了附加資訊以及各4×4區塊所相關之量化轉換係數之資訊，則含有殘留失真訊號去除機能的第1‧第2濾波器處理、屬性資訊生成處理以及濾波器影像選擇處理，係亦可適用於去除失真用的一般之影像加工方法。亦可取代掉附加資訊及各4×4區塊所相 關之量化轉換係數，改為利用從輸入訊號所得之資訊。
(關於動畫解碼方法)
圖9係被動畫解碼裝置500所執行的，伴隨殘留失真訊號去除機能的動畫解碼處理之流程圖。在圖9的步驟952中，已被壓縮編碼之資料，是被輸入至動畫解碼裝置500，資料解析器902係將該已被輸入之編碼資料進行熵解碼，將量化轉換係數及附加資訊予以抽出。此時，當所被輸入之資料，是含有量化參數、迴圈內濾波器中所使用之濾波器係數或濾波器節數之資訊時，這些量化參數、濾波器係數或濾波器節數之資訊也會被解碼。
接著，預測訊號生成器506，係使用畫格記憶體507中所儲存的參照影像，基於上記附加資訊而生成預測影像(步驟953)。
又，逆量化器503，係將所抽出之量化轉換係數，基於量化參數而予以逆量化而獲得解碼轉換係數(步驟954)，逆轉換器504係將解碼轉換係數進行逆轉換，以將殘差影像予以復原(步驟955)。
然後，加算器505，係將上記預測結果和已被復原之殘差影像進行加，以生成再生影像(步驟956)。
接著，迴圈內濾波器109，係使用上記附加資訊及量化轉換係數之資訊，實施從再生影像中去除多餘失真的迴圈內濾波器處理(步驟957)。然後，實施過迴圈內濾波器處理的再生影像，係為了作為下個影像編碼之際的參照 影像，而被輸出至畫格記憶體110而儲存(步驟958)。
此外，關於步驟957中的迴圈內濾波器處理，係由於已經使用圖2、圖3及圖6來說明，因此這裡省略說明。
(關於動畫編碼程式、動畫解碼程式、影像加工程式)
動畫編碼裝置所涉及之發明，係可視為令電腦成為動畫編碼裝置而發揮機能的動畫編碼程式所涉及之發明。或者，亦可將本實施形態所涉及之動畫編碼方法，以程式的方式儲存在記錄媒體中來提供。又，動畫解碼裝置所涉及之發明，係可視為令電腦成為動畫解碼裝置而發揮機能的動畫解碼程式所涉及之發明。或者，亦可將本實施形態所涉及之動畫解碼方法，以程式的方式儲存在記錄媒體中來提供。再者，影像加工裝置所涉及之發明，係可視為令電腦成為影像加工裝置而發揮機能的影像加工程式所涉及之發明。或者，亦可將本實施形態所涉及之影像加工方法，以程式的方式儲存在記錄媒體中來提供。
動畫編碼程式、影像加工程式及動畫解碼程式，係例如被儲存在記錄媒體中來提供。作為記錄媒體則例如有，軟碟片、CD-ROM、DVD等記錄媒體，或是ROM等之記錄媒體，或是半導體記憶體等。
圖10中係圖示了，能夠執行動畫編碼方法的動畫編碼程式之模組。如圖10所示，動畫編碼程式P100，係具備：區塊分割模組P101、預測訊號生成模組P102、記憶模組P103、減算模組P104、轉換模組P105、量化模組 P106、逆量化模組P107、逆轉換模組P108、加算模組P109、迴圈內濾波器模組P110及熵編碼模組P111。
藉由執行上記各模組所實現的機能，係和上述圖1的動畫編碼裝置100的機能相同。亦即，於機能面而言，區塊分割模組P101係相當於圖1的區塊分割器102，預測訊號生成模組P102係相當於預測訊號生成器111，記憶模組P103係相當於畫格記憶體110，減算模組P104係相當於差分器103，轉換模組P105係相當於轉換器104，量化模組P106係相當於量化器105，逆量化模組P107係相當於逆量化器106，逆轉換模組P108係相當於逆轉換器107，加算模組P109係相當於加算器108，迴圈內濾波器模組P110係相當於迴圈內濾波器109，熵編碼模組P111係相當於熵編碼器112。
圖10的迴圈內濾波器模組P110，係可視為1個程式，可表示成為圖11所示的迴圈內濾波器程式P110。該迴圈內濾波器程式P110，係具備：第1濾波器模組P131、屬性資訊生成模組P132、第2濾波器模組P133、及濾波器影像選擇模組P134。
藉由執行上記各模組所實現的機能，係和上述圖4的迴圈內濾波器109的機能相同。亦即，於機能面而言，第1濾波器模組P131係相當於圖4的第1濾波器201，屬性資訊生成模組P132係相當於屬性資訊生成器202，第2濾波器模組P133係相當於第2濾波器203，濾波器影像選擇模組P134係相當於濾波器影像選擇器204。上記的 迴圈內濾波器程式P110，係相當於本發明所述之影像加工程式。
圖12中係圖示了，能夠執行動畫解碼方法的動畫解碼程式之模組。如圖12所示，動畫解碼程式P500，係具備：資料解析模組P501、預測訊號生成模組P502、記憶模組P503、逆量化模組P504、逆轉換模組P505、加算模組P506、及迴圈內濾波器模組P507。
藉由執行上記各模組所實現的機能，係和上述圖7的動畫解碼裝置500的機能相同。亦即，於機能面而言，資料解析模組P501係相當於圖7的資料解析器502，預測訊號生成模組P502係相當於預測訊號生成器506，記憶模組P503係相當於畫格記憶體507，逆量化模組P504係相當於逆量化器503，逆轉換模組P505係相當於逆轉換器504，加算模組P506係相當於加算器505，迴圈內濾波器模組P507係相當於迴圈內濾波器109。
如上記所被構成的動畫編碼程式P100、動畫解碼程式P500及迴圈內濾波器程式(影像加工程式)P110，係被記憶在圖13所示的記錄媒體10中，被後述的電腦30所執行。
圖13係圖示記錄媒體10中所記錄之程式加以執行所需之電腦30的硬體構成，圖14係上記電腦30的斜視圖。作為此處的電腦30，係亦包含具備CPU而可進行軟體所致之處理或控制的DVD播放器、機上盒、行動電話等。
如圖13所示，電腦30，係具備：軟碟片驅動裝置、CD-ROM驅動裝置、DVD驅動裝置等之讀取裝置12、讓作業系統常駐的作業用記憶體(RAM)14、用來記憶記錄媒體10中所記憶之程式的不揮發性之記憶體16、顯示器18、屬於輸入裝置的滑鼠20及鍵盤22、進行資料收送訊用的通訊裝置24、控制著程式之執行的CPU26。一旦記錄媒體10被插入至讀取裝置12，則電腦30，係可存取記錄媒體10中所儲存的動畫編碼程式、影像加工程式及動畫解碼程式。電腦30，係可藉由動畫編碼程式而動作成為本發明所述之動畫編碼裝置，可藉由影像加工程式而動作成為本發明所述之影像加工裝置，可藉由動畫解碼程式而動作成為本發明所述之動畫解碼裝置。
如圖14所示，動畫編碼程式、影像加工程式及動畫解碼程式，係亦可以被重疊於載波之電腦資料訊號40的方式，透過有線網路、無線網路而提供。此時，電腦30，係可將被圖13之通訊裝置24所收接之動畫編碼程式、影像加工程式及動畫解碼程式，儲存在記憶體16中，可藉由CPU26來執行該當動畫編碼程式、影像加工程式及動畫解碼程式。
此外，本發明係亦可視為含有上述的伴隨殘留失真訊號機能的動畫編碼裝置100(圖1)、和上述的伴隨殘留失真訊號機能的動畫解碼裝置500(圖7)所構成的編碼‧解碼系統之發明。如圖15所示，編碼‧解碼系統1，係含有動畫編碼裝置100和動畫解碼裝置500所構成。但 是，動畫編碼裝置100與動畫解碼裝置500，係可藉由任意之通訊部而連接，可從動畫編碼裝置100往動畫解碼裝置500傳送位元串流。
又，本發明係可視為於編碼‧解碼系統中所被執行的編碼‧解碼方法所涉及之發明。亦即，本發明所述之編碼‧解碼方法，係具備：被動畫編碼裝置100所執行之前述的動畫編碼方法之處理步驟(圖8)、和被動畫解碼裝置500所執行之前述的動畫解碼方法之處理步驟(圖9)。
若依據以上說明之本實施形態，則可獲得一面保持影像原本之邊緣，一面減輕在濾波器影像中所殘留之失真訊號的效果。
1‧‧‧編碼‧解碼系統
10‧‧‧記錄媒體
12‧‧‧讀取裝置
14‧‧‧作業用記憶體
16‧‧‧記憶體
18‧‧‧顯示器
20‧‧‧滑鼠
22‧‧‧鍵盤
24‧‧‧通訊裝置
30‧‧‧電腦
40‧‧‧電腦資料訊號
100‧‧‧動畫編碼裝置
500‧‧‧動畫解碼裝置
101、501‧‧‧輸入端子
102‧‧‧區塊分割器
103‧‧‧差分器
104、301‧‧‧轉換器
105‧‧‧量化器
106、503‧‧‧逆量化器
107、303、504‧‧‧逆轉換器
108‧‧‧加算器
109‧‧‧迴圈內濾波器
110、507‧‧‧畫格記憶體
111、506‧‧‧預測訊號生成器
112‧‧‧熵編碼器
201‧‧‧第1濾波器
202‧‧‧屬性資訊生成器
203‧‧‧第2濾波器
204‧‧‧濾波器影像選擇器
302‧‧‧閾值處理器
304‧‧‧合成器
305‧‧‧遮罩處理器
113、508‧‧‧輸出端子
502‧‧‧資料解析器
[圖1]本實施形態所述之動畫編碼裝置的區塊圖。
[圖2]迴圈內濾波器之處理的說明用流程圖。
[圖3]第2濾波器影像生成處理的說明用流程圖。
[圖4]迴圈內濾波器的區塊圖。
[圖5]第1濾波器之一例的區塊圖。
[圖6]屬性資訊生成器202中之處理的說明用流程圖。
[圖7]本實施形態所述之動畫解碼裝置的區塊圖。
[圖8]本實施形態所述之動畫編碼方法的流程圖。
[圖9]本實施形態所述之動畫解碼方法的流程圖。
[圖10]本實施形態所述之動畫編碼程式之模組的區塊圖。
[圖11]本實施形態所述之迴圈內濾波器程式之模組的區塊圖。
[圖12]本實施形態所述之動畫解碼程式之模組的區塊圖。
[圖13]將記錄媒體中所記錄之程式加以執行所需之電腦的硬體構成圖。
[圖14]圖13之電腦的斜視圖。
[圖15]本實施形態所述之編碼‧解碼系統之構成圖。
109‧‧‧迴圈內濾波器
201‧‧‧第1濾波器
202‧‧‧屬性資訊生成器
203‧‧‧第2濾波器
204‧‧‧濾波器影像選擇器
L108‧‧‧訊號線
L109‧‧‧訊號線
L112‧‧‧訊號線
L113‧‧‧訊號線
L201‧‧‧訊號線
L202‧‧‧訊號線
L203‧‧‧訊號線
L204‧‧‧訊號線
L205‧‧‧訊號線

Claims (20)

  1. 一種影像加工裝置，其特徵為，具備：第1濾波器部，係對已被輸入之對象影像，適用第1濾波器，以生成第1濾波器影像；和屬性資訊生成部，係針對前記第1濾波器部所生成之前記第1濾波器影像的各像素，在已經適用了前記第1濾波器且濾波器係數資訊是滿足所定基準的情況下，生成第1屬性值，在前記第1濾波器未被適用、或前記濾波器係數資訊是不滿足所定基準的情況下，生成第2屬性值；和第2濾波器部，係只對具有前記第1屬性值的前記第1濾波器影像之對象像素，適用前記第2濾波器而生成第2濾波器影像。
  2. 如申請專利範圍第1項所記載之影像加工裝置，其中，更具備：濾波器影像選擇部，係將前記第1濾波器影像與前記第2濾波器影像加以比較並求出各像素的差分值，關於前記差分值是預定閾值以上之像素係將前記第1濾波器影像的像素加以選擇並輸出，關於前記差分值是小於前記閾值之像素係將前記第2濾波器影像的像素加以選擇並輸出。
  3. 如申請專利範圍第1項所記載之影像加工裝置，其中，前記第2濾波器部，係當根據前記第1濾波器影像之前記對象像素所相關之前記屬性值與該對象像素所相鄰之所定數之像素所相關的 前記屬性值所算出的值是大於所定值時，作為所生成之前記第2濾波器影像之像素，是選擇前記第1濾波器影像之前記對象像素。
  4. 如申請專利範圍第1項所記載之影像加工裝置，其中，前記第2濾波器，係為1維之濾波器；前記第2濾波器部，係將前記第2濾波器，對於前記第1濾波器影像之對象像素，在水平方向及垂直方向當中之一方的方向上予以適用後，然後再將前記第2濾波器適用於另一方向。
  5. 如申請專利範圍第4項所記載之影像加工裝置，其中，前記第2濾波器，係具有以{1,1,1,1,1,1,1,2,1,1,1,1,1,1,1}/16所表示的15節(tap)，前記第2濾波器部，係參照前記對象像素及該對象像素之左右相鄰的各7像素之總計15像素，或是前記對象像素及該對象像素之上下相鄰的各7像素之總計15像素，而對前記對象像素適用前記第2濾波器。
  6. 如申請專利範圍第1項所記載之影像加工裝置，其中，當前記第1濾波器是參照了被適用對象之像素的周圍M像素所圍繞之範圍之像素的濾波器時，前記第2濾波器，係由將適用對象之像素的周圍的、多於前記M像素的 L像素所圍繞之範圍的像素加以參照的濾波器所構成。
  7. 一種影像加工方法，係屬於被影像加工裝置所執行的影像加工方法，其特徵為，具備：第1濾波器步驟，係對已被輸入之對象影像，適用第1濾波器，以生成第1濾波器影像；和屬性資訊生成步驟，係針對前記第1濾波器步驟所生成之前記第1濾波器影像的各像素，在已經適用了前記第1濾波器且濾波器係數資訊是滿足所定基準的情況下，生成第1屬性值，在前記第1濾波器未被適用、或前記濾波器係數資訊是不滿足所定基準的情況下，生成第2屬性值；和第2濾波器步驟，係只對具有前記第1屬性值的前記第1濾波器影像之對象像素，適用前記第2濾波器而生成第2濾波器影像。
  8. 如申請專利範圍第7項所記載之影像加工方法，其中，更具備：濾波器影像選擇步驟，係將前記第1濾波器影像與前記第2濾波器影像加以比較並求出各像素的差分值，關於前記差分值是預定閾值以上之像素係將前記第1濾波器影像的像素加以選擇並輸出，關於前記差分值是小於前記閾值之像素係將前記第2濾波器影像的像素加以選擇並輸出。
  9. 一種影像加工程式，其特徵為，係用以使被設在影像加工裝置中的電腦發揮機能而成為： 第1濾波器部，係對已被輸入之對象影像，適用第1濾波器，以生成第1濾波器影像；和屬性資訊生成部，係針對前記第1濾波器部所生成之前記第1濾波器影像的各像素，在已經適用了前記第1濾波器且濾波器係數資訊是滿足所定基準的情況下，生成第1屬性值，在前記第1濾波器未被適用、或前記濾波器係數資訊是不滿足所定基準的情況下，生成第2屬性值；和第2濾波器部，係只對具有前記第1屬性值的前記第1濾波器影像之對象像素，適用前記第2濾波器而生成第2濾波器影像。
  10. 如申請專利範圍第9項所記載之影像加工程式，其中，更使前記電腦發揮機能成為：濾波器影像選擇部，係將前記第1濾波器影像與前記第2濾波器影像加以比較並求出各像素的差分值，關於前記差分值是預定閾值以上之像素係將前記第1濾波器影像的像素加以選擇並輸出，關於前記差分值是小於前記閾值之像素係將前記第2濾波器影像的像素加以選擇並輸出。
  11. 一種動畫編碼裝置，其特徵為，具備：區塊分割器，係將所被輸入之要作為編碼對象之影像，分割成複數區塊；和預測訊號生成器，係針對要作為編碼對象之對象區塊，生成預測訊號、及至少含有關於預測方法之資訊的附加資訊；和差分器，係藉由從前記對象區塊之訊號，減去前記已 被生成之預測訊號，以生成殘差訊號；和轉換器，係將前記對象區塊的前記殘差訊號，轉換成頻率領域的轉換係數；和量化器，係將前記轉換係數藉由量化處理進行壓縮而獲得量化轉換係數；和逆量化器，係將前記量化轉換係數予以逆量化，以將解碼轉換係數予以復原；和逆轉換器，係將前記解碼轉換係數予以逆轉換，以再生出殘差訊號；和加算器，係將已被前記逆轉換器所再生之前記殘差訊號、和前記預測訊號，進行加算，以將再生影像予以復原；和迴圈內濾波器，係含有如申請專利範圍第1項所記載之影像加工裝置所構成，使用前記附加資訊及前記量化轉換係數之資訊，進行從前記再生影像中去除多餘失真之濾波器處理；和畫格記憶體，係將濾波器處理後之前記再生影像，加以儲存；和熵編碼器，係將前記量化轉換係數之資訊及前記附加資訊予以熵編碼，輸出成為位元串流。
  12. 一種動畫編碼方法，係屬於被動畫編碼裝置所執行之動畫編碼方法，其特徵為，具備：將所被輸入之要作為編碼對象之影像，分割成複數區塊之步驟；和 針對要作為編碼對象之對象區塊，生成預測訊號、及至少含有關於預測方法之資訊的附加資訊之步驟；和藉由從前記對象區塊之訊號，減去前記已被生成之預測訊號，以生成殘差訊號之步驟；和將前記對象區塊的前記殘差訊號，轉換成頻率領域的轉換係數之步驟；和將前記轉換係數藉由量化處理進行壓縮而獲得量化轉換係數之步驟；和將前記量化轉換係數予以逆量化，以將解碼轉換係數予以復原之步驟；和將前記解碼轉換係數予以逆轉換，以再生出殘差訊號之步驟；和將已被前記逆轉換之步驟所再生之前記殘差訊號、和前記預測訊號，進行加算，以將再生影像予以復原之步驟；和進行含有如申請專利範圍第1項所記載之影像加工裝置所構成之迴圈內濾波器之動作的步驟，該當步驟係使用前記附加資訊及前記量化轉換係數之資訊，進行從前記再生影像中去除多餘失真之濾波器處理；和將濾波器處理後之前記再生影像加以儲存之步驟；和將前記量化轉換係數之資訊及前記附加資訊予以熵編碼，輸出成為位元串流之步驟。
  13. 一種動畫編碼程式，其特徵為，係用以使被設在動畫編碼裝置中的電腦發揮機能而成為： 區塊分割器，係將所被輸入之要作為編碼對象之影像，分割成複數區塊；和預測訊號生成器，係針對要作為編碼對象之對象區塊，生成預測訊號、及至少含有關於預測方法之資訊的附加資訊；和差分器，係藉由從前記對象區塊之訊號，減去前記已被生成之預測訊號，以生成殘差訊號；和轉換器，係將前記對象區塊的前記殘差訊號，轉換成頻率領域的轉換係數；和量化器，係將前記轉換係數藉由量化處理進行壓縮而獲得量化轉換係數；和逆量化器，係將前記量化轉換係數予以逆量化，以將解碼轉換係數予以復原；和逆轉換器，係將前記解碼轉換係數予以逆轉換，以再生出殘差訊號；和加算器，係將已被前記逆轉換器所再生之前記殘差訊號、和前記預測訊號，進行加算，以將再生影像予以復原；和迴圈內濾波器，係含有如申請專利範圍第1項所記載之影像加工裝置所構成，使用前記附加資訊及前記量化轉換係數之資訊，進行從前記再生影像中去除多餘失真之濾波器處理；和畫格記憶體，係將濾波器處理後之前記再生影像，加以儲存；和 熵編碼器，係將前記量化轉換係數之資訊及前記附加資訊予以熵編碼，輸出成為位元串流。
  14. 一種動畫解碼裝置，其特徵為，具備：資料解析器，係被輸入著，將殘差訊號之量化轉換係數與至少含有關於預測方法之資訊的附加資訊予以熵編碼所得到之位元串流，將前記位元串流予以熵解碼，獲得前記量化轉換係數與前記附加資訊；和預測訊號生成器，係基於前記附加資訊而生成預測訊號；和逆量化器，係將前記量化轉換係數予以逆量化，以獲得解碼轉換係數；和逆轉換器，係將前記解碼轉換係數予以逆轉換，以將殘差訊號予以復原；和加算器，係藉由將前記預測訊號與前記殘差訊號予以加算，以生成再生影像；和迴圈內濾波器，係含有如申請專利範圍第1項所記載之影像加工裝置所構成，使用前記附加資訊及前記量化轉換係數之資訊，進行從前記再生影像中去除多餘失真之濾波器處理；和畫格記憶體，係將濾波器處理後之前記再生影像，加以儲存。
  15. 一種動畫解碼裝置，其特徵為，具備：資料解析器，係被輸入著，將殘差訊號之量化轉換係數與至少含有關於預測方法之資訊的附加資訊予以熵編碼 所得到之位元串流，將前記位元串流予以熵解碼，獲得前記量化轉換係數與前記附加資訊；和預測訊號生成器，係基於前記附加資訊而生成預測訊號；和逆量化器，係將前記量化轉換係數予以逆量化，以獲得解碼轉換係數；和逆轉換器，係將前記解碼轉換係數予以逆轉換，以將殘差訊號予以復原；和加算器，係藉由將前記預測訊號與前記殘差訊號予以加算，以生成再生影像；和迴圈內濾波器，係含有如申請專利範圍第2項所記載之影像加工裝置所構成，使用前記附加資訊及前記量化轉換係數之資訊，進行從前記再生影像中去除多餘失真之濾波器處理；和畫格記憶體，係將濾波器處理後之前記再生影像，加以儲存。
  16. 一種動畫解碼方法，係屬於被動畫解碼裝置所執行之動畫解碼方法，其特徵為，具備：被輸入著將殘差訊號之量化轉換係數與至少含有關於預測方法之資訊的附加資訊予以熵編碼所得到之位元串流，將前記位元串流予以熵解碼，獲得前記量化轉換係數與前記附加資訊之步驟；和基於前記附加資訊而生成預測訊號之步驟；和將前記量化轉換係數予以逆量化，以獲得解碼轉換係 數之步驟；和將前記解碼轉換係數予以逆轉換，以將殘差訊號予以復原之步驟；和藉由將前記預測訊號與前記殘差訊號予以加算，以生成再生影像之步驟；和進行含有如申請專利範圍第1項所記載之影像加工裝置所構成之迴圈內濾波器之動作的步驟，該當步驟係使用前記附加資訊及前記量化轉換係數之資訊，進行從前記再生影像中去除多餘失真之濾波器處理；和將濾波器處理後之前記再生影像加以儲存之步驟。
  17. 一種動畫解碼方法，係屬於被動畫解碼裝置所執行之動畫解碼方法，其特徵為，具備：被輸入著將殘差訊號之量化轉換係數與至少含有關於預測方法之資訊的附加資訊予以熵編碼所得到之位元串流，將前記位元串流予以熵解碼，獲得前記量化轉換係數與前記附加資訊之步驟；和基於前記附加資訊而生成預測訊號之步驟；和將前記量化轉換係數予以逆量化，以獲得解碼轉換係數之步驟；和將前記解碼轉換係數予以逆轉換，以將殘差訊號予以復原之步驟；和藉由將前記預測訊號與前記殘差訊號予以加算，以生成再生影像之步驟；和進行含有如申請專利範圍第2項所記載之影像加工裝 置所構成之迴圈內濾波器之動作的步驟，該當步驟係使用前記附加資訊及前記量化轉換係數之資訊，進行從前記再生影像中去除多餘失真之濾波器處理；和將濾波器處理後之前記再生影像加以儲存之步驟。
  18. 一種動畫解碼程式，其特徵為，係用以使被設在動畫解碼裝置中的電腦發揮機能而成為：資料解析器，係被輸入著，將殘差訊號之量化轉換係數與至少含有關於預測方法之資訊的附加資訊予以熵編碼所得到之位元串流，將前記位元串流予以熵解碼，獲得前記量化轉換係數與前記附加資訊；和預測訊號生成器，係基於前記附加資訊而生成預測訊號；和逆量化器，係將前記量化轉換係數予以逆量化，以獲得解碼轉換係數；和逆轉換器，係將前記解碼轉換係數予以逆轉換，以將殘差訊號予以復原；和加算器，係藉由將前記預測訊號與前記殘差訊號予以加算，以生成再生影像；和迴圈內濾波器，係含有如申請專利範圍第1項所記載之影像加工裝置所構成，使用前記附加資訊及前記量化轉換係數之資訊，進行從前記再生影像中去除多餘失真之濾波器處理；和畫格記憶體，係將濾波器處理後之前記再生影像，加以儲存。
  19. 一種編碼‧解碼系統，係屬於含有動畫編碼裝置、和動畫解碼裝置所構成的編碼‧解碼系統，其特徵為，前記動畫編碼裝置係具備：區塊分割器，係將所被輸入之要作為編碼對象之影像，分割成複數區塊；和預測訊號生成器，係針對要作為編碼對象之對象區塊，生成預測訊號、及至少含有關於預測方法之資訊的附加資訊；和差分器，係藉由從前記對象區塊之訊號，減去前記已被生成之預測訊號，以生成殘差訊號；和轉換器，係將前記對象區塊的前記殘差訊號，轉換成頻率領域的轉換係數；和量化器，係將前記轉換係數藉由量化處理進行壓縮而獲得量化轉換係數；和逆量化器，係將前記量化轉換係數予以逆量化，以將解碼轉換係數予以復原；和逆轉換器，係將前記解碼轉換係數予以逆轉換，以再生出殘差訊號；和加算器，係將已被前記逆轉換器所再生之前記殘差訊號、和前記預測訊號，進行加算，以將再生影像予以復原；和迴圈內濾波器，係含有如申請專利範圍第1項所記載之影像加工裝置所構成，使用前記附加資訊及前記量化轉 換係數之資訊，進行從前記再生影像中去除多餘失真之濾波器處理；和畫格記憶體，係將濾波器處理後之前記再生影像，加以儲存；和熵編碼器，係將前記量化轉換係數之資訊及前記附加資訊予以熵編碼，輸出成為位元串流；前記動畫解碼裝置係具備：資料解析器，係被輸入著，將殘差訊號之量化轉換係數與至少含有關於預測方法之資訊的附加資訊予以熵編碼所得到之位元串流，將前記位元串流予以熵解碼，獲得前記量化轉換係數與前記附加資訊；和預測訊號生成器，係基於前記附加資訊而生成預測訊號；和逆量化器，係將前記量化轉換係數予以逆量化，以獲得解碼轉換係數；和逆轉換器，係將前記解碼轉換係數予以逆轉換，以將殘差訊號予以復原；和加算器，係藉由將前記預測訊號與前記殘差訊號予以加算，以生成再生影像；和迴圈內濾波器，係含有如申請專利範圍第1項所記載之影像加工裝置所構成，使用前記附加資訊及前記量化轉換係數之資訊，進行從前記再生影像中去除多餘失真之濾波器處理；和畫格記憶體，係將濾波器處理後之前記再生影像，加 以儲存。
  20. 一種編碼‧解碼方法，係屬於含有動畫編碼裝置、和動畫解碼裝置所構成的編碼‧解碼系統中所被執行的編碼‧解碼方法，其特徵為，具備：由前記動畫編碼裝置所執行之動畫編碼方法的處理步驟；和由前記動畫解碼裝置所執行之動畫解碼方法的處理步驟；前記動畫編碼方法之處理步驟，係含有：將所被輸入之要作為編碼對象之影像，分割成複數區塊之步驟；和針對要作為編碼對象之對象區塊，生成預測訊號、及至少含有關於預測方法之資訊的附加資訊之步驟；和藉由從前記對象區塊之訊號，減去前記已被生成之預測訊號，以生成殘差訊號之步驟；和將前記對象區塊的前記殘差訊號，轉換成頻率領域的轉換係數之步驟；和將前記轉換係數藉由量化處理進行壓縮而獲得量化轉換係數之步驟；和將前記量化轉換係數予以逆量化，以將解碼轉換係數予以復原之步驟；和將前記解碼轉換係數予以逆轉換，以再生出殘差訊號之步驟；和 將已被前記逆轉換器所再生之前記殘差訊號、和前記預測訊號，進行加算，以將再生影像予以復原之步驟；和進行含有如申請專利範圍第1項所記載之影像加工裝置所構成之迴圈內濾波器之動作的步驟，該當步驟係使用前記附加資訊及前記量化轉換係數之資訊，進行從前記再生影像中去除多餘失真之濾波器處理；和將濾波器處理後之前記再生影像加以儲存之步驟；和將前記量化轉換係數之資訊及前記附加資訊予以熵編碼，輸出成為位元串流之步驟；前記動畫解碼方法之處理步驟，係含有：被輸入著將殘差訊號之量化轉換係數與至少含有關於預測方法之資訊的附加資訊予以熵編碼所得到之位元串流，將前記位元串流予以熵解碼，獲得前記量化轉換係數與前記附加資訊之步驟；和基於前記附加資訊而生成預測訊號之步驟；和將前記量化轉換係數予以逆量化，以獲得解碼轉換係數之步驟；和將前記解碼轉換係數予以逆轉換，以將殘差訊號予以復原之步驟；和藉由將前記預測訊號與前記殘差訊號予以加算，以生成再生影像之步驟；和進行含有如申請專利範圍第1項所記載之影像加工裝置所構成之迴圈內濾波器之動作的步驟，該當步驟係使用前記附加資訊及前記量化轉換係數之資訊，進行從前記再 生影像中去除多餘失真之濾波器處理；和將濾波器處理後之前記再生影像，加以儲存之步驟。
TW098133602A 2008-10-07 2009-10-02 Image processing apparatus, method and program, image coding apparatus, method and program, image decoding apparatus, method and program, and encoding and decoding system and method TWI521947B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008260717 2008-10-07

Publications (2)

Publication Number Publication Date
TW201036450A TW201036450A (en) 2010-10-01
TWI521947B true TWI521947B (zh) 2016-02-11

Family

ID=42100489

Family Applications (1)

Application Number Title Priority Date Filing Date
TW098133602A TWI521947B (zh) 2008-10-07 2009-10-02 Image processing apparatus, method and program, image coding apparatus, method and program, image decoding apparatus, method and program, and encoding and decoding system and method

Country Status (6)

Country Link
US (1) US9167271B2 (zh)
EP (1) EP2346256A4 (zh)
JP (1) JP5542680B2 (zh)
CN (1) CN102132566B (zh)
TW (1) TWI521947B (zh)
WO (1) WO2010041534A1 (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9445126B2 (en) * 2011-01-05 2016-09-13 Qualcomm Incorporated Video filtering using a combination of one-dimensional switched filter and one-dimensional adaptive filter
WO2012093491A1 (ja) * 2011-01-07 2012-07-12 株式会社 東芝 動画像符号化方法及び装置、動画像復号化方法及び装置
KR101462052B1 (ko) * 2011-11-09 2014-11-20 에스케이 텔레콤주식회사 변환을 이용한 주파수 도메인 상의 적응적 루프 필터를 이용한 영상 부호화/복호화 방법 및 장치
PE20191435A1 (es) * 2012-04-13 2019-10-14 Jvc Kenwood Corp Dispositivo de codificacion de imagenes, metodo de codificacion de imagenes, y programa de codificacion de imagenes, y dispositivos de codificacion de imagenes, metodo de decodificacion de imagenes, y programa de decodificacion de imagenes
AR091515A1 (es) * 2012-06-29 2015-02-11 Sony Corp Dispositivo y metodo para el procesamiento de imagenes
US10102613B2 (en) * 2014-09-25 2018-10-16 Google Llc Frequency-domain denoising
US10997695B2 (en) 2016-03-10 2021-05-04 Nec Corporation Image processing device, image processing method, and recording medium
KR20190107944A (ko) * 2018-03-13 2019-09-23 삼성전자주식회사 복원 영상에 대한 필터링을 수행하는 영상 처리 장치 및 이의 필터링 방법
EP4011086A1 (en) 2019-08-08 2022-06-15 Panasonic Intellectual Property Corporation of America System and method for video coding
WO2021025165A1 (en) * 2019-08-08 2021-02-11 Panasonic Intellectual Property Corporation Of America System and method for video coding
WO2021049593A1 (en) 2019-09-11 2021-03-18 Panasonic Intellectual Property Corporation Of America System and method for video coding
CN114401410B (zh) * 2021-12-29 2023-06-27 中星电子股份有限公司 非线性滤波信息处理方法、装置、电子设备和可读介质

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2650734B2 (ja) * 1988-08-23 1997-09-03 日本電信電話株式会社 画像符号化処理方法
US5367385A (en) * 1992-05-07 1994-11-22 Picturetel Corporation Method and apparatus for processing block coded image data to reduce boundary artifacts between adjacent image blocks
JP3495766B2 (ja) * 1993-10-01 2004-02-09 テキサス インスツルメンツ インコーポレイテツド 画像処理方法
US6134518A (en) 1997-03-04 2000-10-17 International Business Machines Corporation Digital audio signal coding using a CELP coder and a transform coder
US6539120B1 (en) * 1997-03-12 2003-03-25 Matsushita Electric Industrial Co., Ltd. MPEG decoder providing multiple standard output signals
JP4186242B2 (ja) * 1997-12-26 2008-11-26 ソニー株式会社 画像信号処理装置及び画像信号処理方法
EP1164799A1 (en) * 2000-06-16 2001-12-19 Sony International (Europe) GmbH Method for processing compressed image data for reducing blocking artefacts
US7929610B2 (en) * 2001-03-26 2011-04-19 Sharp Kabushiki Kaisha Methods and systems for reducing blocking artifacts with reduced complexity for spatially-scalable video coding
JP4495881B2 (ja) * 2001-05-14 2010-07-07 パナソニック株式会社 ブロック歪み除去装置
US8218634B2 (en) 2005-01-13 2012-07-10 Ntt Docomo, Inc. Nonlinear, in-the-loop, denoising filter for quantization noise removal for hybrid video compression
JP4635779B2 (ja) * 2005-08-18 2011-02-23 ソニー株式会社 データ処理装置およびデータ処理方法、並びにプログラム
US7496240B2 (en) * 2005-08-24 2009-02-24 Brother Kogyo Kabushiki Kaisha Image denoising apparatus and method
EP1927251A2 (en) * 2005-08-29 2008-06-04 Koninklijke Philips Electronics N.V. Apparatus for filtering an image obtained by block based image decompression
JP4455487B2 (ja) * 2005-12-16 2010-04-21 株式会社東芝 復号化装置及び復号化方法及びプログラム
JP2007174196A (ja) * 2005-12-21 2007-07-05 Toshiba Corp 情報処理装置、制御方法およびプログラム
US9277243B2 (en) * 2006-11-08 2016-03-01 Thomson Licensing Methods and apparatus for in-loop de-artifact filtering
US8111760B2 (en) * 2006-11-16 2012-02-07 Texas Instruments Incorporated Deblocking filters
US7899267B2 (en) * 2007-05-23 2011-03-01 Zoran Corporation Dynamic range compensation by filter cascade

Also Published As

Publication number Publication date
EP2346256A4 (en) 2013-01-02
CN102132566A (zh) 2011-07-20
US9167271B2 (en) 2015-10-20
WO2010041534A1 (ja) 2010-04-15
JP5542680B2 (ja) 2014-07-09
JPWO2010041534A1 (ja) 2012-03-08
TW201036450A (en) 2010-10-01
CN102132566B (zh) 2015-05-20
US20110228841A1 (en) 2011-09-22
EP2346256A1 (en) 2011-07-20

Similar Documents

Publication Publication Date Title
TWI521947B (zh) Image processing apparatus, method and program, image coding apparatus, method and program, image decoding apparatus, method and program, and encoding and decoding system and method
KR100813963B1 (ko) 동영상의 무손실 부호화, 복호화 방법 및 장치
KR102053242B1 (ko) 압축 파라미터를 이용한 영상 복원용 머신러닝 알고리즘 및 이를 이용한 영상 복원방법
CN1870754B (zh) 减少分块现象的编/解码装置和方法
RU2479938C2 (ru) Устройство обработки изображения, способ и программа
KR100739714B1 (ko) 인트라 예측 모드 결정 방법 및 장치
KR101608426B1 (ko) 영상의 인트라 예측 부호화/복호화 방법 및 그 장치
TWI521949B (zh) Image predictive coding apparatus, method and program, image predictive decoding apparatus, method and program, and coding decoding system and method
RU2642810C1 (ru) Устройство кодирования с предсказанием видео, способ кодирования с предсказанием видео, устройство декодирования с предсказанием видео и способ декодирования с предсказанием видео
CN102150427A (zh) 用于使用自适应环路滤波器进行视频编码的系统和方法
KR20090095317A (ko) 영상 부호화 및 복호화 방법 및 장치
KR20130096757A (ko) 화상 예측 부호화 방법, 화상 예측 부호화 장치, 화상 예측 부호화 프로그램, 화상 예측 복호 방법, 화상 예측 복호 장치 및 화상 예측 복호 프로그램
KR20090095014A (ko) 필터링된 예측 블록을 이용한 영상 부호화, 복호화 방법 및장치
TW201412120A (zh) 清除解塊人為雜訊的方法
US20080101720A1 (en) Method and architecture for temporal-spatial deblocking and deflickering with expanded frequency filtering in compressed domain
KR20090087767A (ko) 영상의 인트라 예측 부호화 방법
JP2007013298A (ja) 画像符号化装置
JP2008306510A (ja) 画像符号化方法、画像符号化装置、画像復号化方法及び画像復号化装置
KR101223780B1 (ko) 압축 화상 노이즈 제거 장치와 재생 장치
KR101443865B1 (ko) 인터 예측 방법 및 장치
JP5937926B2 (ja) 画像符号化装置、画像復号装置、画像符号化プログラム及び画像復号プログラム
KR20080013843A (ko) 동영상의 무손실 부호화, 복호화 방법 및 장치
WO2013145174A1 (ja) 動画像符号化方法、動画像復号方法、動画像符号化装置及び動画像復号装置
WO2018079444A1 (ja) 符号化装置、符号化方法およびプログラム記録媒体
US20230044603A1 (en) Apparatus and method for applying artificial intelligence-based filtering to image

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees