TW201941608A - 影像處理設備、濾波方法、非暫態電腦可讀取記錄媒體以及影像裝置 - Google Patents

影像處理設備、濾波方法、非暫態電腦可讀取記錄媒體以及影像裝置 Download PDF

Info

Publication number
TW201941608A
TW201941608A TW108108310A TW108108310A TW201941608A TW 201941608 A TW201941608 A TW 201941608A TW 108108310 A TW108108310 A TW 108108310A TW 108108310 A TW108108310 A TW 108108310A TW 201941608 A TW201941608 A TW 201941608A
Authority
TW
Taiwan
Prior art keywords
image
filter
pixel
deblocking
post
Prior art date
Application number
TW108108310A
Other languages
English (en)
Inventor
邊柱元
Original Assignee
南韓商三星電子股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 南韓商三星電子股份有限公司 filed Critical 南韓商三星電子股份有限公司
Publication of TW201941608A publication Critical patent/TW201941608A/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

一種用於對恢復影像實行濾波的影像處理設備及一種濾波方法：實行解區塊濾波，以用於移除恢復影像中所包括的多個恢復區塊之間的邊界的至少一些劣化；與實行解區塊濾波並行地產生所述多個恢復區塊的畫素參數；以及基於畫素參數對所述多個恢復區塊實行後解區塊濾波。

Description

影像處理設備、濾波方法、非暫態電腦可讀取記錄媒體以及裝置
本發明概念是有關於一種影像處理設備，且更具體而言，是有關於一種用於對恢復影像實行濾波操作的影像處理設備及一種所述影像處理設備的濾波方法。
隨著用於再現及儲存具有高解析度或高影像品質的視訊內容的硬體的發展及分配，對用於對具有高解析度或高影像品質的視訊內容進行有效地編碼或解碼的視訊編解碼器的需求正在增加。具體而言，下一代視訊編解碼器對恢復影像實行解區塊濾波，且接著實行後解區塊濾波。在此種情形中，為確定用於後解區塊濾波的後解區塊濾波器，在使用已藉由解區塊濾波器實行解區塊的恢復影像產生畫素參數時，解區塊濾波結果反映於畫素參數中，且因此，畫素參數取決於解區塊濾波結果的準確度。另外，由於畫素參數是在完成解區塊濾波操作之後產生，因此影像處理時間被低效消耗，且此外，在實施視訊編解碼器的硬體時會增加複雜度。
本發明概念提供一種影像處理設備及一種所述影像處理設備的濾波方法，所述影像處理設備實行濾波操作以用於使原始影像與恢復影像之間的差異最小化。
根據本發明概念的一個態樣，提供一種影像處理設備，所述影像處理設備包括：解區塊濾波器，被配置成接收恢復影像並實行解區塊濾波，以用於移除所述恢復影像中所包括的多個恢復區塊之間的邊界的至少一些劣化以產生被解區塊的恢復影像；畫素參數產生器，被配置成接收所述恢復影像且因應於此與所述解區塊濾波並行地產生所述多個恢復區塊的畫素參數；以及後解區塊濾波器，被配置成接收所述畫素參數及所述被解區塊的恢復影像，並基於所述畫素參數對所述多個恢復區塊實行後解區塊濾波。
根據本發明概念的另一態樣，提供一種用於恢復影像的濾波方法，所述濾波方法包括：解區塊濾波器實行解區塊濾波，以用於移除所述恢復影像中所包括的多個恢復區塊之間的邊界的至少一些劣化；濾波器參數產生器與實行所述解區塊濾波並行地產生所述多個恢復區塊的畫素參數；以及後解區塊濾波器基於所述畫素參數對所述多個恢復區塊實行後解區塊濾波。
根據本發明概念的又一態樣，提供一種非暫態電腦可讀取記錄媒體，所述非暫態電腦可讀取記錄媒體上儲存有電腦程式，所述電腦程式被配置成由處理器執行以下操作：實行解區塊濾波以移除恢復影像中所包括的多個恢復區塊之間的邊界的劣化；與實行所述解區塊濾波並行地產生所述多個恢復區塊的畫素參數；以及基於所述畫素參數對所述多個恢復區塊實行後解區塊濾波。
根據本發明概念的再一態樣，提供一種裝置，所述裝置包括：回路內濾波裝置，其包括：解區塊濾波器，被配置成接收包括多個恢復區塊的恢復影像，且實行解區塊濾波以用於移除所述多個恢復區塊之間的邊界的至少一些劣化以產生被解區塊的恢復影像；畫素參數產生器，被配置成接收所述恢復影像，且與所述解區塊濾波並行地自所述恢復影像產生所述多個恢復區塊的畫素參數；以及後解區塊濾波器，被配置成接收所述畫素參數及所述被解區塊的恢復影像，並基於所述畫素參數對所述多個恢復區塊實行後解區塊濾波以產生經濾波訊號；解碼影像緩衝器，被配置成接收並儲存所述經濾波訊號；以及預測器，被配置成接收來自所述解碼影像緩衝器的所述經濾波訊號且因應於此而產生預測訊號。
在下文中，將參照附圖詳細闡述實施例。
圖1是示出包括影像處理設備的影像處理系統10的實施例的方塊圖。
圖1中所示的影像處理系統10可包括影像傳輸設備100及影像接收設備200作為影像處理設備的實施例。作為另一種選擇，根據實施例的影像處理設備可包括影像傳輸功能及影像接收功能，且因此，可與影像處理系統10對應。
影像處理系統10可與各種系統對應。舉例而言，在影像處理系統10中，影像傳輸設備100及影像接收設備200可藉由無線網路或有線網路傳輸或接收包括影像的資訊。舉例而言，若影像處理系統10與無線通訊系統對應，則影像傳輸設備100及影像接收設備200中的每一者可為智慧型電話等的終端設備，所述終端設備對影像進行編碼以將經編碼的影像傳輸至基站，或者對自基站接收到的影像進行解碼。作為另一種選擇，影像處理系統10可與各種網路系統（例如，網際網路廣播或網際網路協議電視（Internet protocol television，IPTV））對應。
影像傳輸設備100可基於各種影像標準（例如，動畫專家群（moving picture experts group，MPEG）、H.264/高級視訊編碼（H.264/advanced video coding，H.264/AVC）、VP8及高效率視訊編碼（high efficiency video coding，HEVC））來實行編碼操作。可對特定單元影像（例如，訊框影像）實行影像編碼操作，且可基於訊框間預測（inter prediction）或訊框內預測（intra prediction）來壓縮訊框影像中的每一者。若壓縮是基於訊框內預測，則可在不參照先前訊框影像的條件下壓縮當前訊框影像。若壓縮是基於訊框間預測，則可參照一或多個先前訊框影像（例如，恢復影像）來壓縮當前訊框影像。在下文中，各實施例將參照作為影像標準中的一者的HEVC來闡述，但可適用於上述各種影像標準，例如H.264/AVC。
根據示例性實施例，影像傳輸設備100可包括編碼單元110及封包器120。另外，影像接收設備200可包括解封包器210及解碼單元220。
編碼單元110可基於最大編碼單元（largest coding unit，LCU）實行編碼操作。舉例而言，可基於訊框影像來界定LCU，且基於各種影像標準，LCU可被稱為巨集區塊（macroblock）。舉例而言，LCU可與包括64*64畫素的大小對應。
在實行編碼時，LCU可被劃分成多個編碼單元（coding unit，CU）。LCU或者CU中的每一者可與編碼單位對應，且編碼單元110可基於編碼單位對畫素值實行頻率轉換及量化操作。因此，實行轉換及量化所依據的單位可與CU對應，且實行轉換及量化所依據的單位的最大值（例如，最大轉換大小）可與LCU對應。
編碼單元110可基於解量化及逆轉換來對經編碼的訊框影像實行解碼操作以便實行訊框間預測，由此產生恢復影像。與原始影像不同，恢復影像一般可包括降低主觀品質（subjective quality）的假影（artifact）。舉例而言，假影可包括區塊假影及雜訊假影。為了自恢復影像移除假影，可將恢復影像傳送至解區塊濾波器102。解區塊濾波器102可移除恢復影像中出現的區塊現象。亦即，解區塊濾波器102可為影像處理濾波器，其用於移除在依據編碼單位對輸入影像進行編碼之後在藉由解碼獲得的恢復影像中出現的區塊現象。解區塊濾波器102可實行解區塊濾波以減少安置於最大編碼單位或者樹結構編碼單位（tree-structure unit of encoding）的邊界區域中的畫素中的區塊現象。
編碼單元110的實施例可使用畫素參數產生器104與實行解區塊濾波並行地產生畫素參數。畫素參數中的每一者可為確定後解區塊濾波器（圖中未示出）的濾波器參數所需的資訊以用於移除恢復影像中的假影。畫素參數產生器104可接收輸入至解區塊濾波器102的同一恢復影像，且基於恢復影像中所包括的恢復區塊中的每一者的畫素值，畫素參數產生器104可產生與恢復區塊中的每一者對應的畫素參數。區塊單元（或恢復區塊單元）可為之後將後解區塊濾波器（圖中未示出）應用於解碼影像所依據的單位。舉例而言，後解區塊濾波器可包括解振鈴濾波器（deringing filter）及自適應回路濾波器（adaptive loop filter）中的至少一者。可基於畫素參數產生器104產生的畫素參數來確定解振鈴濾波器或自適應濾波器的濾波器參數，且以下將闡述與其相關的細節。
在一個實施例中，可將藉由解區塊濾波器102進行解區塊所獲得的恢復影像及由畫素參數產生器104產生的畫素參數輸出至後解區塊濾波器（圖中未示出）。可基於畫素參數確定後解區塊濾波器（圖中未示出）的濾波器參數，且可將與所確定的濾波器參數對應的後解區塊濾波器（圖中未示出）應用於藉由解區塊獲得的恢復影像。
封包器120可以位元流格式將如上所述藉由編碼獲得的訊框影像的資料傳輸至影像接收設備200。封包器120可對經編碼的資料實行封包操作且可藉由網路將封包（或位元流）傳輸至影像接收設備200。此外，封包可包括經編碼的資料，且此外，畫素參數產生器104所產生的畫素參數中的至少一者以及後解區塊濾波器（圖中未示出）的參數可被編碼並添加至封包。
影像接收設備200可接收封包，且解封包器210可自藉由網路接收到的封包提取實際資訊（例如，酬載（payload））。解碼單元220可對所接收的資訊實行解碼操作以恢復訊框影像。
解碼單元220可包括解區塊濾波器222及畫素參數產生器224。在實施例中，解碼單元220可使用畫素參數產生器224與解區塊濾波器222實行的解區塊濾波並行地產生畫素參數。解區塊濾波器222及畫素參數產生器224的操作與編碼單元110的解區塊濾波器102及畫素參數產生器104的操作相同或相似，且因此，省略其詳細說明。
根據上述實施例，藉由並行地實行解區塊濾波操作及畫素參數產生操作，會縮短編碼操作或解碼操作所花費的時間，且因此，會高效地使用影像傳輸設備100或影像接收設備200的緩衝器。另外，所產生的畫素參數可獨立於解區塊濾波結果，且因此，可實行對雜訊更強健的編碼操作或解碼操作。
圖2是編碼單元300的實施例的方塊圖。
參照圖2，編碼單元300（其亦可被稱為影像編碼器）可包括影像分割單元310、轉換器320、量化器330、解量化器340、逆轉換器350、回路內濾波單元ILF、解碼影像緩衝器370、預測器380及熵解碼器390。回路內濾波單元ILF可包括解區塊濾波器362、畫素參數產生器364及後解區塊濾波器366。預測器380可包括訊框間預測器381及訊框內預測器385。
影像分割單元310可將輸入至編碼單元300的輸入影像（或圖像或訊框）分割成一或多個處理單元。舉例而言，所述一或多個處理單元中的每一者可為編碼樹單元（coding tree unit，CTU）、CU、預測單元（prediction unit，PU）或變換單元（transform unit，TU）。
然而，所述用語僅用於便於對本揭露進行說明，且本揭露不限於對應用語的界定。另外，在本說明書中，為了便於說明，用語「編碼單元」或「目標單元」用作在對影像訊號進行編碼或解碼的過程中使用的單元，但本揭露不限於此，而是可基於細節進行適當地解釋。
編碼單元300可自分割影像中減去自訊框間預測器381或訊框內預測器385輸出的預測訊號以產生殘餘訊號，且可將所產生的殘餘訊號傳輸至轉換器320。轉換器320可對殘餘訊號應用變換技術以產生變換係數。可將轉換過程應用於具有恆定大小的方形畫素區塊，或者可將轉換過程應用於具有可變大小的非方形區塊。量化器330可對變換係數進行量化以將經量化的變換係數傳輸至熵解碼器390，且熵解碼器390可對經量化訊號進行熵解碼以輸出經量化訊號作為位元流。可使用自量化器330輸出的經量化訊號來產生預測訊號。舉例而言，可藉由將解量化器340的解量化操作及逆轉換器350的逆轉換操作應用於經量化訊號來恢復殘餘訊號。此處，解量化器340與逆轉換器350串聯連接。可藉由將恢復的殘餘訊號加至自訊框間預測器381或訊框內預測器385輸出的預測訊號的加法器來產生恢復影像。
一般而言，在上述壓縮過程中，藉由不同的量化參數對鄰近區塊進行量化，從而導致看到區塊邊界此種情況下的劣化。為了減少劣化，解區塊濾波器362可接收恢復影像並對恢復影像實行解區塊濾波。在實施例中，畫素參數產生器364可接收恢復影像且可與解區塊濾波操作並行地產生畫素參數以進行後解區塊濾波。可基於畫素參數來確定後解區塊濾波器366的濾波器參數。後解區塊濾波器366可以區塊為單位對被解區塊的恢復影像實行後解區塊濾波操作以便使原始影像與恢復影像之間的差異最小化，由此產生經濾波訊號。
可將傳輸至解碼影像緩衝器370的經濾波訊號傳輸至預測濾波器（圖中未示出），且可對經濾波訊號實行用於增強預測效能的濾波操作。舉例而言，預測濾波器（圖中未示出）可為文納濾波器（Wiener filter）。另外，解碼影像緩衝器370可儲存經濾波訊號。
儲存於解碼影像緩衝器370中的經濾波訊號可被傳輸至預測器380且可用於產生預測訊號。舉例而言，經濾波訊號可被訊框間預測器381用作參考影像。以此種方式，藉由在訊框間預測模式中使用經濾波訊號作為參考影像來提高編碼效率。
訊框間預測器381可參照解碼影像緩衝器370中所儲存的恢復影像或經濾波訊號來實行時間預測及/或空間預測以用於移除時間冗餘及/或空間冗餘。此處，用於實行預測的參考影像可為藉由在先前時間的編碼/解碼中以區塊為單位實行的量化及解量化而獲得的訊號，且參考影像中可能包括區塊假影或振鈴假影。
因此，為了防止因訊號的量化或不連續性而降低效能，訊框間預測器381可使用低通濾波器以子畫素為單位在各畫素之間內插訊號。此處，子畫素可表示藉由應用內插濾波器而產生的虛擬畫素（virtual pixel），且整數畫素（integer pixel）可表示恢復影像中所包括的實際畫素。內插方法可使用線性內插（inear interpolation）、雙線性內插（bi-linear interpolation）及文納濾波器。
可將內插濾波器應用於恢復影像以增強預測的精度。舉例而言，訊框間預測器381可將內插濾波器應用於整數畫素以產生內插畫素，且可使用包括內插畫素的內插區塊作為預測區塊來實行預測。
訊框內預測器385可參照當前將在其上實行編碼的區塊附近的樣本來預測當前區塊。訊框內預測器385可實行以下過程來實行訊框內預測。首先，可準備產生預測訊號所需的參考樣本。另外，可自所準備的參考樣本產生預測訊號。隨後，可對預測模式進行編碼。在此種情形中，可藉由參考樣本填充過程（reference sample padding process）及/或參考樣本濾波過程來準備參考樣本。由於參考樣本應經受預測過程及恢復過程，因此可能發生量化誤差。因此，為了減小量化誤差，可對用於訊框內預測的每一預測模式實行參考樣本濾波製程。
由訊框間預測器381或訊框內預測器385產生的預測訊號可用於產生恢復影像或殘餘訊號。
圖3是解碼單元400的實施例的示意性方塊圖。
參照圖3，解碼單元400（其亦可被稱為影像解碼器）可包括熵解碼器410、解量化器420、逆轉換器430、回路內濾波單元ILF、解碼影像緩衝器470及預測器480。
藉由解碼單元400輸出的恢復影像可由再現設備再現。解碼單元400可接收位元流，且可藉由熵解碼器410對位元流進行熵解碼。
解量化器420與逆轉換器430串聯連接。解量化器420可基於量化步長（quantization step size）資訊自經熵解碼訊號獲得變換係數。逆轉換器430可對變換係數實行逆轉換以獲得殘餘訊號。可藉由將獲得的殘餘訊號加至自訊框間預測器481或訊框內預測器485輸出的預測訊號來產生恢復影像。
回路內濾波單元ILF可包括解區塊濾波器462、畫素參數產生器464及後解區塊濾波器466。解區塊濾波器462可接收恢復影像並對恢復影像實行解區塊濾波。在實施例中，畫素參數產生器464可接收恢復影像，且可與解區塊濾波操作並行地產生用於後解區塊濾波的畫素參數。後解區塊濾波器466可基於畫素參數確定濾波器參數，且可以區塊為單位對被解區塊的恢復影像實行後解區塊濾波操作以使原始影像與恢復影像之間的差異最小化，由此產生經濾波訊號。
在另一實施例中，用於後解區塊濾波器466的濾波器參數可自圖2的編碼單元300傳輸，或者可自其他編碼資訊來推斷。
回路內濾波單元ILF可實行解區塊濾波及後解區塊濾波以產生經濾波訊號作為輸出影像，且可將經濾波訊號傳輸至再現設備及/或解碼影像緩衝器470。可將傳輸至解碼影像緩衝器470的經濾波訊號傳輸至預測濾波器（圖中未示出），且可對經濾波訊號實行濾波操作以用於增強預測效能。
儲存於解碼影像緩衝器470中的經濾波訊號可被傳輸至預測器480且可用於產生預測訊號。舉例而言，經濾波訊號可被訊框間預測器481用作參考影像。解碼影像緩衝器470可儲存將在訊框間預測器481中用作參考影像的經濾波訊號或預測經濾波訊號。
圖4是用於闡述圖2或圖3的回路內濾波單元ILF的操作的實施例的示意性方塊圖。
參照圖4，回路內濾波單元ILF可包括解區塊濾波器362、畫素參數產生器364及後解區塊濾波器366。後解區塊濾波器366可包括解振鈴濾波器366a及自適應回路濾波器366b中的至少一者。在實施例中，若後解區塊濾波器366包括解振鈴濾波器366a及自適應回路濾波器366b，則後解區塊濾波器366可依序實行解振鈴濾波操作及自適應回路濾波操作。在其他實施例中，可改變實行解振鈴濾波操作及自適應回路濾波操作的次序。圖4中所示的後解區塊濾波器366的配置僅為示例性實施例，且並非僅限於此。在其他實施例中，後解區塊濾波器366可更包括一或多個濾波器以有效地減小恢復影像與原始影像之間的差異。
解區塊濾波器362可接收恢復影像RI，且可對恢復影像RI實行解區塊濾波操作以產生被解區塊的恢復影像DB_RI。在實施例中，畫素參數產生器364可包括第一參數產生器364a及第二參數產生器364b。第一參數產生器364a可與解區塊濾波操作並行地產生用於確定與解振鈴濾波器366a對應的濾波器參數的第一畫素參數。第一畫素參數可按照應用解振鈴濾波器366a所依據的單位來產生。第二參數產生器364b可與解區塊濾波操作並行地產生確定與自適應回路濾波器366b對應的濾波器參數所需的第二畫素參數。第二畫素參數可按照應用自適應回路濾波器366b所依據的單位來產生。
在實施例中，第一參數產生器364a及第二參數產生器364b可彼此並行地分別產生第一畫素參數及第二畫素參數。作為另一種選擇，第一參數產生器364a及第二參數產生器364b可基於適合於實行解振鈴濾波操作及自適應回路濾波操作的次序的產生次序而依序產生第一畫素參數及第二畫素參數。舉例而言，在解振鈴濾波操作之後實行自適應回路濾波操作的情形中，第一參數產生器364a可產生第一畫素參數，且接著第二參數產生器364b可產生第二畫素參數。將參照圖6A至圖6D來闡述第一畫素參數的細節，且將參照圖7來闡述第二畫素參數的細節。
此外，基於後解區塊濾波器366中所包括的濾波器的種類，可提供更多數目的參數產生器，且參數產生器可彼此並行或以特定次序產生畫素參數。
後解區塊濾波器366可自解區塊濾波器362接收被解區塊的恢復影像DB_RI，且可自畫素參數產生器364接收包括第一畫素參數及第二畫素參數中的至少一者的畫素參數PX_PM。
第一參數產生器364a可基於將於其上實行解區塊濾波的恢復影像的恢復區塊中的每一者中所包括的畫素的值，以所述恢復區塊為單位（或依據最大編碼單位）產生多個第一畫素參數。詳言之，第一參數產生器364a可使用每一恢復區塊中所包括的畫素的值來產生與代表每一恢復區塊的方向的資訊對應的第一畫素參數。
可基於與被解區塊的恢復影像DB_RI中所包括的恢復區塊對應的恢復區塊的方向，參照第一畫素參數來確定解振鈴濾波器366a的濾波器參數。舉例而言，可將具有第一濾波器參數的解振鈴濾波器366a應用於具有第一方向的第一恢復區塊，且可將具有第二濾波器參數的解振鈴濾波器366a應用於具有第二方向的第二恢復區塊。舉例而言，解振鈴濾波器366a的濾波器參數可包括用於將解振鈴濾波器366a的分接頭（tap）的位置改變至恢復區塊的位置的資訊。亦即，解振鈴濾波器366a的濾波器參數可表示被確定用於解振鈴濾波操作的解振鈴濾波器的值。解振鈴濾波器366a可移除被解區塊的恢復影像DB_RI的各恢復區塊之間的邊界附近的邊緣中的解振鈴假影。舉例而言，應用解振鈴濾波器366a的恢復影像可為藉由對被解區塊的恢復影像DB_RI進行自適應回路濾波而獲得的影像。
自適應回路濾波器366b可基於校正值對待校正畫素值的當前畫素的值進行校正，所述校正值是藉由對安置於當前畫素附近的周邊畫素的值以及與周邊畫素對應的係數實行算術運算來確定的。自適應回路濾波器366b可以恢復影像的恢復區塊為單位（或依據最大編碼單位）對畫素值進行校正。恢復影像可為被解區塊的恢復影像DB_RI或經解振鈴濾波的恢復影像。可基於第二畫素參數來確定自適應回路濾波器366b的濾波器參數。亦即，在對目標恢復區塊實行自適應回路濾波操作的情形中，可基於第二畫素參數確定自適應回路濾波器366b的形狀、大小及係數中的至少一者。
圖5是用於闡述濾波方法的實施例的流程圖。
參照圖5，在操作S100中，影像處理設備（例如，圖1的影像傳輸設備100）可對輸入影像進行編碼以產生經編碼影像資料。在操作S110中，影像處理設備可對經編碼影像資料進行解碼以產生恢復影像。隨後，在操作S120中，影像處理設備可將解區塊濾波器應用於恢復影像以產生被解區塊的恢復影像。另外，在操作S130中，影像處理設備可與解區塊濾波操作S120並行地使用恢復影像而以恢復影像中所包括的恢復區塊為單位產生畫素參數。在操作S140中，影像處理設備可基於在操作S130中產生的畫素參數來確定與後解區塊濾波器對應的濾波器參數。在操作S150中，影像處理設備可將後解區塊濾波器應用於在操作S120中藉由解區塊濾波器進行的解區塊濾波所獲得的被解區塊的恢復影像，以產生經濾波訊號，所述經濾波訊號可儲存於解碼影像緩衝器（參見以上的圖3及圖4）中。
影像處理設備彼此並行地實行解區塊濾波操作（例如，操作S120）及畫素參數產生操作（例如，及操作S130）的特徵可應用於圖1的影像接收設備200。由於此種有益濾波方法，可減少處理時間且畫素參數不依賴於解區塊濾波結果的準確度。
圖6A至圖6C是用於闡述圖4的第一畫素參數的細節的圖，且圖6D是用於闡述解振鈴操作的圖。
參照圖4及圖6A，在操作S200中，第一參數產生器364a可接收恢復影像RI且可將恢復影像RI分割成多個恢復區塊。所述多個恢復區塊可各自具有恆定大小或可變大小。隨後，在操作S202中，第一參數產生器364a可識別恢復區塊中的每一者的方向。在實施例中，第一參數產生器364a可確定與恢復區塊中的每一者中所包括的畫素的圖案匹配的方向以識別恢復區塊中的每一者的方向且可基於識別的結果產生第一畫素參數。第一參數產生器364a可以各種方式識別恢復區塊中的每一者的方向，且以下將參照圖6B及圖6C闡述用於識別恢復區塊中的每一者的方向的一個實施例。
參照6B，第一參數產生器364a可對所有恢復區塊或一些恢復區塊實行依序識別與恢復區塊中的每一者對應的方向的操作。在下文中，以下將闡述第一參數產生器364a識別恢復區塊中將實行識別操作的目標恢復區塊的方向的操作。
在闡述第一參數產生器364a的操作之前，將參照圖6C來闡述方向區塊DB。方向區塊DB可具有在特定方向上的畫素中的每一者的行編號。舉例而言，方向區塊DB可包括在對角線方向上的多個畫素線，且在方向區塊DB的左上角行L1中所包括的畫素可各自具有值「0」。以此種方式，方向區塊DB的畫素線L1至L8中所包括的畫素可分別具有特定值「0至7」。方向區塊DB的畫素線L1至L8可與一組預定方向中的一個方向對應。在實施例中，方向區塊DB的畫素線L1至L8可與四個預定方向中的一者對應。所述四個預定方向可分別為0度方向、45度方向、90度方向及135度方向，且圖6C中所示的方向區塊DB可具有45度方向。
返回圖6B，在操作S210中，第一參數產生器364a可選擇與至少四個方向中的一者對應的方向區塊。在操作S212中，第一參數產生器364a可計算與目標恢復區塊中所包括的畫素中的每一者的畫素值之和以及包括畫素的所選方向區塊的各畫素線之間的均方差相關聯的參數。在操作S214中，第一參數產生器364a可採用上述方式使用分別與其他方向對應的方向區塊來計算與所述其他方向中的每一者對應的參數。在操作S216中，第一參數產生器364a可將所述至少四個方向中對應於與具有最小值的均方差之和相關聯的參數的方向確定為目標恢復區塊的方向。第一參數產生器364a可選擇下一個目標恢復區塊，且可實行操作S210至S216。因此，第一參數產生器364a可識別恢復區塊的方向且可產生代表恢復區塊的方向的第一畫素參數。
參照圖6D，在操作S220中，可基於代表分別與被解區塊的恢復區塊對應的恢復區塊的所識別方向的第一畫素參數來確定解振鈴濾波器366a的濾波器參數。被解區塊的恢復區塊可包括於被解區塊的恢復影像DB_RI中。隨後，在操作S222中，可藉由將具有所確定的濾波器參數的解振鈴濾波器366a應用於被解區塊的恢復區塊中的每一者來實行解振鈴濾波操作。
圖7是用於闡述圖4的第二畫素參數的細節的圖。
參照圖7，圖7示出應用自適應回路濾波器的恢復區塊（或最大CU）中的樣本畫素A至樣本畫素I，樣本畫素E代表當前樣本畫素，且樣本畫素A、樣本畫素B、樣本畫素C、樣本畫素D、樣本畫素F、樣本畫素G、樣本畫素H及樣本畫素I代表周邊樣本畫素。可基於樣本畫素E與樣本畫素B及樣本畫素H之間的差異來看出樣本畫素E在垂直方向上的變化，且可基於樣本畫素E與樣本畫素D及樣本畫素F之間的差異來看出樣本畫素E在水平方向上的變化。可基於樣本畫素E與樣本畫素A及樣本畫素I之間的差異來看出在左上對角線方向上的變化，且可基於樣本畫素E與樣本畫素C及樣本畫素G之間的差異來看出在右上對角線方向上的變化。可基於水平方向上的變化、垂直方向上的變化以及對角線方向上變化來看出樣本畫素E的影像特性，且樣本畫素E的影像特性可代表影像的複雜度，且可基於影像特性來計算恢復區塊中的影像的活動。活動可為指示在其上將實行濾波的目標恢復區塊中的誤差或紋理的特性的指示符。另外，可藉由對垂直方向上的變化、水平方向上的變化及對角線方向上的變化進行比較來獲得對應區域中的影像的方向性。活動可為指示在其上將實行濾波的目標恢復區塊中的誤差或紋理的方向性的指示符。
在圖7的實例中，可使用九個樣本畫素來計算影像的特性，但在其他實例中，可藉由更多或更少的樣本畫素來計算影像的特性。
在實施例中，第二畫素參數可為代表在其上將實行自適應回路濾波的目標恢復區塊的活動及方向性中的至少一者的資訊。如上所述，圖4的自適應回路濾波器366b的濾波器參數可基於第二畫素參數來確定。舉例而言，可基於第二畫素參數確定自適應回路濾波器366b的形狀、大小及係數中的至少一者。然而，此僅為示例性實施例，且本實施例並非僅限於此。在其他實施例中，第二畫素參數可被實施成確定自適應回路濾波器366b的形狀、大小及係數中的至少一者所需的多條資訊。
圖8A及圖8B是用於闡述影像處理設備的實施例的緩衝器的用途的圖。
參照圖8A，根據實施例的影像處理設備的回路內濾波單元ILF包括解區塊濾波器362及畫素參數產生器364，解區塊濾波器362及畫素參數產生器364被實施成在第N階段Stage N中使用恢復影像並行地實行解區塊濾波操作及畫素參數產生操作。影像處理設備可更包括緩衝器BUFF，且緩衝器BUFF可儲存與恢復影像對應的原始影像，直至後解區塊濾波器366實行後解區塊濾波操作之前。原始影像可在影像處理設備中使用直至在第N+1階段Stage N+1中實行後解區塊濾波操作之前。因此，可在第N階段Stage N完成時的時間T1之後刪除儲存於緩衝器BUFF中的原始影像。在另一實施例中，當被解區塊的恢復影像及所產生的畫素參數被完全傳輸至後解區塊濾波器366時，可刪除儲存於緩衝器BUFF中的原始影像。
參照圖8B，先前技術影像處理設備的回路內濾波單元ILF'可包括解區塊濾波器362'及畫素參數產生器364'，解區塊濾波器362'及畫素參數產生器364'被實施成連續實行在第N階段Stage N中使用恢復影像進行的解區塊濾波操作及在第N+1階段Stage N+1中使用被解區塊的恢復影像進行的畫素參數產生操作。影像處理設備可更包括緩衝器BUFF'，且緩衝器BUFF'可儲存與恢復影像對應的原始影像，直至後解區塊濾波器366'實行後解區塊濾波操作之前。原始影像可在影像處理設備中使用，直至在第N+2階段Stage N+2中實行後解區塊濾波操作之前。因此，可在第N+1階段Stage N+1完成時的時間T2之後刪除儲存於緩衝器BUFF'中的原始影像。
由於根據本揭露的實施例的影像處理設備彼此並行地實行解區塊濾波操作及畫素參數產生操作，因此會減少直至實行後解區塊濾波操作的階段的數目，且會縮短緩衝器BUFF儲存與恢復影像對應的原始影像的時間。另外，另一原始影像可儲存於緩衝器BUFF的原始影像被刪除的空間中，且因此，緩衝器BUFF被高效地使用，由此減小緩衝器BUFF的大小。
圖9A及圖9B是用於闡述與畫素參數補償相關聯的回路內濾波單元ILFa的示例性實施例的操作的圖。
參照圖9A，回路內濾波單元ILFa可包括解區塊濾波器362'、畫素參數產生器364及後解區塊濾波器366。解區塊濾波器362'可接收恢復影像RI且可對恢復影像RI實行解區塊濾波以產生被解區塊的恢復影像DB_RI。在實施例中，解區塊濾波器362'可產生代表恢復影像RI與被解區塊的恢復影像DB_RI之間的畫素值差的差資訊DIFF_I。差資訊DIFF_I可針對被解區塊的恢復影像DB_RI的恢復區塊中的每一者來產生。
畫素參數產生器364可包括第一參數產生器364a及第二參數產生器364b。以上已參照圖4詳細闡述了畫素參數產生器364，且因此，不再重複其詳細說明。畫素參數產生器364可產生確定用於後解區塊濾波器366的畫素參數所需的畫素參數PX_PM。
在實施例中，後解區塊濾波器366可包括解振鈴濾波器366a、自適應回路濾波器366b及畫素參數補償器366c。畫素參數補償器366c可接收差資訊DIFF_I及畫素參數PX_PM。畫素參數補償器366c可基於差資訊DIFF_I來補償畫素參數PX_PM。亦即，畫素參數補償器366c可基於差資訊DIFF_I辨識恢復區塊RI的區塊假影分量，且可補償畫素參數PX_PM，以自其中反映區塊假影分量的畫素參數PX_PM中移除區塊假影分量。畫素參數補償器366c可將經補償的畫素參數提供至解振鈴濾波器366a及/或自適應回路濾波器366b。以上已參照圖4詳細闡述瞭解振鈴濾波器366a及自適應回路濾波器366b，且因此，不再重複其詳細說明。
參照圖9B，與圖9A不同，畫素參數補償器366c'可接收恢復影像RI、被解區塊的恢復影像DB_RI及畫素參數PX_PM。畫素參數補償器366c'可產生代表恢復影像RI與被解區塊的恢復影像DB_RI之間的畫素值差的差資訊。所述差資訊可包括與被解區塊的恢復影像DB_RI的恢復區塊中的每一者對應的資訊。畫素參數補償器366c'可基於所述差資訊來補償畫素參數PX_PM。其他元件與圖9A相同或相似，且因此，不再重複其詳細說明。
圖10A至圖10C是用於闡述回路內濾波單元ILF的示例性實施例的操作的圖。
參照圖10A，回路內濾波單元ILF可包括解區塊濾波器362、畫素參數產生器364及後解區塊濾波器366。在實施例中，畫素參數產生器364可調整畫素參數PX_PM的輸出時序以匹配當解區塊濾波器362將被解區塊的恢復影像DB_RI輸出至後解區塊濾波器366時的輸出時序。在實施例中，畫素參數產生器364可較解區塊濾波器362的解區塊濾波操作更早地使用恢復影像RI完成畫素參數產生操作。此時，畫素參數產生器364可以與當解區塊濾波器362輸出被解區塊的恢復影像DB_RI時的輸出時序匹配的時序輸出畫素參數PX_PM，而不立即將所產生的畫素參數PX_PM輸出至後解區塊濾波器366。畫素參數產生器364可更包括用於對畫素參數PX_PM的輸出時序進行調整的延遲電路。延遲電路可包括多個延遲元件。然而，此僅為示例性實施例，且本實施例並非僅限於此。在其他實施例中，在畫素參數產生器364的畫素參數產生操作較解區塊濾波器362的解區塊濾波操作更晚完成的情形中，可調整當解區塊濾波器362輸出被解區塊的恢復影像DB_RI時的輸出時序。
後解區塊濾波器366可包括解振鈴濾波器366a、自適應回路濾波器366b及畫素參數補償器366c'。畫素參數補償器366c'可接收具有相同或相似輸出時序的被解區塊的恢復影像DB_RI及畫素參數PX_PM且可將被解區塊的恢復影像DB_RI及畫素參數PX_PM輸出至解振鈴濾波器366a及自適應回路濾波器366b中的至少一者。
參照圖10B，與圖10A不同，畫素參數產生器364可立即將所產生的畫素參數PX_PM輸出至介面366d，而不調整畫素參數PX_PM的輸出時序。介面366d可包括畫素參數緩衝器366d_1及訊號匹配單元366d_2。在圖10B中，介面366d可包括於後解區塊濾波器366中，但此僅為示例性實施例。實施例並非僅限於此，且介面366d可安置於後解區塊濾波器366的外側。畫素參數緩衝器366d_1可依序儲存自畫素參數產生器364接收到的畫素參數PX_PM。參照圖10C，介面366d可產生並管理適合於儲存畫素參數PX_PM的次序的旗標資訊Flag。舉例而言，畫素參數緩衝器366d_1可依序儲存分別與被解區塊的恢復影像的恢復區塊對應的第一畫素參數PX_PM1至第n畫素參數PX_PMn，且介面366d可產生適合於儲存次序的多條旗標資訊Flag1至Flagn且可將所述多條旗標資訊Flag1至Flagn標記至第一畫素參數PX_PM1至第n畫素參數PX_PMn。
訊號匹配單元366d_2可參照表TB的旗標資訊將首先儲存的畫素參數PX_PM與對應於首先儲存的畫素參數PX_PM的恢復區塊匹配，且可同時將經匹配的畫素參數PX_PM_M及經匹配的恢復區塊DB_RB_M輸出至解振鈴濾波器366a及自適應回路濾波器366b中的至少一者。
解振鈴濾波器366a及/或自適應回路濾波器366b可參照經匹配的畫素參數PX_PM_M來確定濾波器參數，且可對經匹配的恢復區塊DB_RB_M實行後解區塊濾波操作。
圖11示出編碼單位的實施例的概念。
編碼單位可為與上述轉換大小或CU對應的單位。
參照圖11，編碼單位的大小可表示為寬度×高度，且可包括具有64×64大小的最大編碼單位中的32×32、16×16及8×8大小。具有64×64大小的最大編碼單位可被分割成分別具有64×64、64×32、32×64及32×32大小的編碼單位；具有32×32大小的編碼單位可被分割成分別具有32×32、32×16、16×32及16×16大小的編碼單位；具有16×16大小的編碼單位可被分割成分別具有16×16、16×8、8×16及8×8大小的編碼單位；且具有8×8大小的編碼單位可被分割成分別具有8×8、8×4、4×8及4×4大小的編碼單位。
舉例而言，在訊框影像A中，解析度可與1920×1080對應，編碼單位的最大大小可被設定成64，且最大深度可被設定成2。作為另一種選擇，在訊框影像B中，解析度可與1920×1080對應，編碼單位的最大大小可被設定成64，且最大深度可被設定成3。作為另一種選擇，在訊框影像C中，解析度可與352×288對應，編碼單位的最大大小可被設定成16，且最大深度可被設定成1。圖11中所示的最大深度可代表自最大編碼單位至最小編碼單位的分割總數目。
在解析度高或資料量大的情形中，編碼效率提高，且此外，編碼單位的最大大小可相對大以用於準確地反映影像特性。因此，在具有高解析度的訊框A及訊框B中，可將編碼單位的最大大小選擇為64。
由於訊框影像A的最大深度為2，因此訊框影像A的編碼單位D可包括具有長軸大小「64」的最大編碼單位至分別具有長軸大小「32」及「16」的編碼單位，此乃因深度藉由兩次分割被加深了兩層。另一方面，由於訊框影像C的最大深度為1，因此訊框影像C的編碼單位F可包括具有長軸大小「16」的編碼單位至具有長軸大小「8」的編碼單位，此乃因深度藉由一次分割被加深了一層。
由於訊框影像B的最大深度為3，因此訊框影像B的編碼單位G可包括具有長軸大小「64」的最大編碼單位至分別具有長軸大小「32」、「16」及「8」的編碼單位，此乃因深度藉由三次分割被加深了三層。隨著深度加深，表達詳細資訊的能力得以增強。
圖12是示出由執行軟體的處理器實施影像處理方法的實施例的實例的方塊圖。
參照圖12，影像處理設備500可包括處理器510及工作記憶體520。工作記憶體520可為電腦可讀取記錄媒體。處理器510可執行儲存於工作記憶體520中的電腦程式。工作記憶體520可儲存電腦程式以用於利用軟體處理根據上述實施例實行濾波操作的各種功能中的至少一些，且電腦程式中的每一者可基於其功能而包括回路內濾波模組525。
在實施例中，處理器510可總體控制根據上述實施例的對恢復影像的濾波操作。舉例而言，處理器510可執行回路內濾波模組525以並行地實行解區塊濾波操作及畫素參數產生操作。另外，處理器510可執行回路內濾波模組525，且因此，可實行與實行並行操作所需的輸出時序的控制及畫素參數的管理相關聯的操作。
圖13是示出包括影像處理設備的實施例的計算系統600的方塊圖。
參照圖13，計算系統600可包括應用處理器610、記憶體裝置620、儲存裝置630、輸入/輸出（input/output，I/O）裝置640、電源650及影像感測器660。儘管圖13中未示出，但計算系統600可更包括多個埠以用於與視訊卡、音效卡、記憶卡、通用串列匯流排（universal serial bus，USB）裝置等進行通訊，或者與其他電子裝置進行通訊。
應用處理器610可被實施成系統晶片（system-on chip，SoC）。應用處理器610可實行特定計算或任務。根據實施例，應用處理器610可為微處理器或中央處理單元（central processing unit，CPU）。應用處理器610可藉由位址匯流排、控制匯流排及資料匯流排與記憶體裝置620、儲存裝置630及I/O裝置640進行通訊。記憶體裝置620可儲存計算系統600的操作所需的資料。舉例而言，記憶體裝置620可以下列來實施：動態隨機存取記憶體（dynamic random access memory，DRAM）、行動DRAM、靜態隨機存取記憶體（static random access memory，SRAM）、快閃記憶體、相位隨機存取記憶體（phase random access memory，PRAM)）、鐵電式隨機存取記憶體（ferroelectric random access memory，FRAM）、電阻式隨機存取記憶體（resistive random access memory，RRAM）、及/或磁阻隨機存取記憶體（magnetoresistive random access memory，MRAM）。儲存裝置630可包括固態驅動機（solid state drive，SSD）、硬碟驅動機（hard disk drive，HDD）、光碟唯讀記憶體（compact disc read-only memory，CD-ROM）及/或類似裝置。I/O裝置640可包括輸入構件（例如鍵盤、小鍵盤及滑鼠裝置）以及輸出構件（例如列印機及顯示器）。電源650可供應計算系統600的操作所需的操作電壓。
應用處理器610可包括根據實施例的實行影像處理操作的編解碼器模組611，且編解碼器模組611可包括回路內濾波器611_1。回路內濾波器611_1可彼此並行地實行解區塊濾波操作及畫素參數產生操作。
上述方法的各種操作可由能夠實行操作的任何適合的構件來實行，例如各種硬體及/或軟體組件、電路及/或模組。
軟體可包括用於實施邏輯功能的可執行指令的有序列表，且可實施在任何「處理器可讀取媒體」中以供指令執行系統、設備或裝置（例如，單核處理器或多核處理器或包含處理器的系統）使用或與指令執行系統、設備或裝置結合使用。
結合本文中所揭露的實施例而闡述的方法或演算法及功能的區塊或步驟可直接實施於硬體中、由處理器執行的軟體模組中、或所述兩者的組合中。若實施於軟體中，則可將功能作為一或多個指令或代碼儲存於有形、非暫態電腦可讀取媒體上或者藉由有形、非暫態電腦可讀取媒體傳輸。軟體模組可常駐於隨機存取記憶體（Random Access Memory，RAM）、快閃記憶體、唯讀記憶體（Read Only Memory，ROM）、電可程式化ROM（Electrically Programmable ROM，EPROM）、電可抹除可程式化ROM（Electrically Erasable Programmable ROM，EEPROM）、暫存器、硬碟、可移磁碟、CD ROM、或此項技術中已知的任何其他形式的儲存媒體中。
儘管已參照本發明概念的實施例特別顯示並闡述了本發明概念，但應理解，在不背離以下申請專利範圍的精神及範圍的條件下可在其中作出形式及細節上的各種變化。
10‧‧‧影像處理系統
100‧‧‧影像傳輸設備
102、222、362、362'、462‧‧‧解區塊濾波器
104、224、364、364'、464‧‧‧畫素參數產生器
110、300‧‧‧編碼單元
120‧‧‧封包器
200‧‧‧影像接收設備
210‧‧‧解封包器
220、400‧‧‧解碼單元
310‧‧‧影像分割單元
320‧‧‧轉換器
330‧‧‧量化器
340、420‧‧‧解量化器
350、430‧‧‧逆轉換器
366、366'、466‧‧‧後解區塊濾波器
364a‧‧‧第一參數產生器
364b‧‧‧第二參數產生器
366a‧‧‧解振鈴濾波器
366b‧‧‧自適應回路濾波器
366c、366c'‧‧‧畫素參數補償器
366d‧‧‧介面
366d_1‧‧‧畫素參數緩衝器
366d_2‧‧‧訊號匹配單元
370、470‧‧‧解碼影像緩衝器
380、480‧‧‧預測器
381、481‧‧‧訊框間預測器
385、485‧‧‧訊框內預測器
390、410‧‧‧熵解碼器
500‧‧‧影像處理設備
510‧‧‧處理器
520‧‧‧工作記憶體
525‧‧‧回路內濾波模組
600‧‧‧計算系統
610‧‧‧應用處理器
611‧‧‧編解碼器模組
611_1‧‧‧回路內濾波器
620‧‧‧記憶體裝置
630‧‧‧儲存裝置
640‧‧‧輸入/輸出裝置
650‧‧‧電源
660‧‧‧影像感測器
A、B、C‧‧‧樣本畫素/訊框/訊框影像
BUFF、BUFF'‧‧‧緩衝器
D、F、G‧‧‧樣本畫素/編碼單位
DB‧‧‧方向區塊
DB_RI‧‧‧被解區塊的恢復影像
DB_RB_M‧‧‧經匹配的恢復區塊
DIFF_I‧‧‧差資訊
E、H、I‧‧‧樣本畫素
Flag、Flag1～Flagn‧‧‧旗標資訊
ILF、ILF'、ILFa‧‧‧回路內濾波單元
L1‧‧‧畫素線/左上角行
L2、L3、L4、L5、L6、L7、L8‧‧‧畫素線
PX_PM‧‧‧畫素參數/第一儲存畫素參數
PX_PM1‧‧‧第一畫素參數
PX_PM2‧‧‧第二畫素參數
PX_PMn‧‧‧第n畫素參數
PX_PM_M‧‧‧經匹配的畫素參數
RI‧‧‧恢復影像
S100、S110、S120、S130、S140、S150、S200、S202、S210、S212、S214、S216、S220、S222‧‧‧操作
Stage N‧‧‧第N階段
Stage N+1‧‧‧第N+1階段
Stage N+2‧‧‧第N+2階段
T1、T2‧‧‧時間
TB‧‧‧表
藉由結合附圖閱讀以下詳細說明，將更清楚地理解本發明概念的實施例。
圖1是示出包括影像處理設備的影像處理系統的實施例的方塊圖。
圖2是編碼單元的實施例的示意性方塊圖。
圖3是解碼單元的實施例的示意性方塊圖。
圖4是用於闡述圖2或圖3的回路內濾波單元的操作的實施例的示意性方塊圖。
圖5是用於闡述濾波方法的實施例的流程圖。
圖6A、圖6B、圖6C及圖6D是用於闡述圖4的第一畫素參數的細節的圖。
圖7是用於闡述圖4的第二畫素參數的細節的圖。
圖8A及圖8B是用於闡述影像處理設備的實施例的緩衝器的用途的圖。
圖9A及圖9B是用於闡述與畫素參數補償相關聯的回路內濾波單元的實施例的操作的圖。
圖10A、圖10B及圖10C是用於闡述回路內濾波單元的實施例的操作的圖。
圖11示出編碼單位（unit of encoding）的實施例的概念。
圖12是示出由執行軟體的處理器實施影像處理方法的實施例的實例的方塊圖。
圖13是示出包括影像處理設備的實施例的計算系統的方塊圖。

Claims (25)

  1. 一種影像處理設備，包括： 解區塊濾波器，被配置成接收恢復影像並實行解區塊濾波，以用於移除所述恢復影像中所包括的多個恢復區塊之間的邊界的至少一些劣化以產生被解區塊的恢復影像； 畫素參數產生器，被配置成接收所述恢復影像且因應於此與所述解區塊濾波並行地產生所述多個恢復區塊的畫素參數；以及 後解區塊濾波器，被配置成接收所述畫素參數及所述被解區塊的恢復影像，並基於所述畫素參數對所述多個恢復區塊實行後解區塊濾波。
  2. 如申請專利範圍第1項所述的影像處理設備，更包括緩衝器，所述緩衝器被配置成儲存與所述恢復影像對應的原始影像， 其中，當作為所述解區塊濾波的結果而產生的所述被解區塊的恢復影像及所產生的所述畫素參數被完全傳輸至所述後解區塊濾波器時，自所述緩衝器刪除所述原始影像。
  3. 如申請專利範圍第1項所述的影像處理設備，其中所述後解區塊濾波器包括解振鈴濾波器及自適應回路濾波器中的至少一者。
  4. 如申請專利範圍第3項所述的影像處理設備，其中所述解振鈴濾波器的濾波器參數是參照所述畫素參數而基於與所述多個恢復區塊中的每一者對應的方向來確定。
  5. 如申請專利範圍第3項所述的影像處理設備，其中所述自適應回路濾波器基於所述自適應回路濾波器的基於所述畫素參數確定的形狀、大小及係數中的至少一者來對所述被解區塊的恢復影像實行濾波。
  6. 如申請專利範圍第1項所述的影像處理設備，其中所述畫素參數產生器包括延遲電路，所述延遲電路被配置成調整所述畫素參數中的每一者的第一輸出時序，以使得當所述畫素參數被輸出至所述後解區塊濾波器時的所述第一輸出時序與當所述解區塊濾波器將所述被解區塊的恢復影像輸出至所述後解區塊濾波器時的第二輸出時序匹配。
  7. 如申請專利範圍第1項所述的影像處理設備，更包括緩衝器，所述緩衝器被配置成以所述畫素參數產生器產生所述畫素參數的次序儲存所述畫素參數， 其中所述後解區塊濾波器參照與目標恢復區塊對應且儲存於所述緩衝器中的畫素參數而以恢復區塊為單位對所述被解區塊的恢復影像實行所述後解區塊濾波。
  8. 一種用於恢復影像的濾波方法，所述濾波方法包括： 解區塊濾波器實行解區塊濾波，以用於移除所述恢復影像中所包括的多個恢復區塊之間的邊界的至少一些劣化； 濾波器參數產生器與實行所述解區塊濾波並行地產生所述多個恢復區塊的畫素參數；以及 後解區塊濾波器基於所述畫素參數對所述多個恢復區塊實行後解區塊濾波。
  9. 如申請專利範圍第8項所述的濾波方法，其中所述畫素參數中的每一者是用於確定關於實行所述後解區塊濾波的所述後解區塊濾波器的濾波器參數的資訊。
  10. 如申請專利範圍第8項所述的濾波方法，其中產生所述畫素參數包括對當所述畫素參數被輸出至用於實行所述後解區塊濾波的後解區塊濾波器時的第一輸出時序進行調整，以與當被解區塊的恢復影像被輸出至所述後解區塊濾波器時的第二輸出時序匹配。
  11. 如申請專利範圍第8項所述的濾波方法，更包括： 將所述畫素參數依序儲存於緩衝器中；以及 同時將以下輸出至實行所述後解區塊濾波的後解區塊濾波器：多個被解區塊的恢復區塊中的第一被解區塊的恢復區塊；以及所述畫素參數的與所述第一被解區塊的恢復區塊對應的第一畫素參數。
  12. 如申請專利範圍第8項所述的濾波方法，其中實行所述後解區塊濾波包括將解振鈴濾波器應用於多個被解區塊的恢復區塊。
  13. 如申請專利範圍第12項所述的濾波方法，其中所述畫素參數中的每一者是代表與應用所述解振鈴濾波器的所述多個被解區塊的恢復區塊中的每一者對應的所述恢復區塊的方向的資訊。
  14. 如申請專利範圍第8項所述的濾波方法，其中實行所述後解區塊濾波包括將自適應回路濾波器應用於多個被解區塊的恢復區塊。
  15. 如申請專利範圍第14項所述的濾波方法，其中所述畫素參數中的每一者是用於確定與應用所述自適應回路濾波器的所述被解區塊的恢復區塊相關聯的所述自適應回路濾波器的形狀、大小及係數中的至少一者的資訊。
  16. 如申請專利範圍第8項所述的濾波方法，其中實行所述後解區塊濾波包括： 將解振鈴濾波器應用於多個被解區塊的恢復區塊；以及 將自適應回路濾波器應用於應用所述解振鈴濾波器的所述多個被解區塊的恢復區塊。
  17. 如申請專利範圍第8項所述的濾波方法，更包括當作為所述解區塊濾波的結果而產生的被解區塊的恢復影像及所產生的所述畫素參數被完全傳輸至實行所述後解區塊濾波的所述後解區塊濾波器時，自實行所述濾波方法的影像處理設備的緩衝器刪除與所述恢復影像對應的原始影像。
  18. 如申請專利範圍第8項所述的濾波方法，其中產生所述畫素參數包括基於所述多個恢復區塊中的每一者中所包括的畫素的值來產生所述畫素參數。
  19. 一種非暫態電腦可讀取記錄媒體，所述非暫態電腦可讀取記錄媒體上儲存有電腦程式，所述電腦程式被配置成由處理器執行以下操作： 實行解區塊濾波以移除恢復影像中所包括的多個恢復區塊之間的邊界的劣化； 與實行所述解區塊濾波並行地產生所述多個恢復區塊的畫素參數；以及 基於所述畫素參數對所述多個恢復區塊實行後解區塊濾波。
  20. 如申請專利範圍第19項所述的非暫態電腦可讀取記錄媒體，其中所述後解區塊濾波包括解振鈴濾波及自適應回路濾波中的至少一者。
  21. 一種裝置，包括： 回路內濾波裝置，包括： 解區塊濾波器，被配置成接收包括多個恢復區塊的恢復影像，且實行解區塊濾波以用於移除所述多個恢復區塊之間的邊界的至少一些劣化以產生被解區塊的恢復影像； 畫素參數產生器，被配置成接收所述恢復影像且，與所述解區塊濾波並行地自所述恢復影像產生所述多個恢復區塊的畫素參數；以及 後解區塊濾波器，被配置成接收所述畫素參數及所述被解區塊的恢復影像，並基於所述畫素參數對所述多個恢復區塊實行後解區塊濾波以產生經濾波訊號； 解碼影像緩衝器，被配置成接收並儲存所述經濾波訊號；以及 預測器，被配置成接收來自所述解碼影像緩衝器的所述經濾波訊號且因應於此而產生預測訊號。
  22. 如申請專利範圍第21項所述的裝置，其中所述後解區塊濾波器包括解振鈴濾波器及自適應回路濾波器中的至少一者。
  23. 如申請專利範圍第22項所述的裝置，其中所述後解區塊濾波器被配置成自所述畫素參數導出關於所述解振鈴濾波器及所述自適應回路濾波器中的所述至少一者的至少一個濾波器參數。
  24. 如申請專利範圍第21項所述的裝置，更包括： 解量化器及逆轉換器，串聯連接以輸出殘餘訊號；以及 加法器，被配置成將所述殘餘訊號加至所述預測訊號以產生所述恢復影像且將所述恢復影像提供至所述解區塊濾波器及所述畫素參數產生器。
  25. 如申請專利範圍第24項所述的裝置，其中所述裝置是被配置成接收輸入影像的影像編碼器，所述影像編碼器包括： 影像分割單元，被配置成對所述輸入影像進行分割以產生經分割影像；以及 減法器，被配置成自所述經分割影像減去所述預測訊號。
TW108108310A 2018-03-13 2019-03-12 影像處理設備、濾波方法、非暫態電腦可讀取記錄媒體以及影像裝置 TW201941608A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020180029298A KR20190107944A (ko) 2018-03-13 2018-03-13 복원 영상에 대한 필터링을 수행하는 영상 처리 장치 및 이의 필터링 방법
KR10-2018-0029298 2018-03-13

Publications (1)

Publication Number Publication Date
TW201941608A true TW201941608A (zh) 2019-10-16

Family

ID=67903592

Family Applications (1)

Application Number Title Priority Date Filing Date
TW108108310A TW201941608A (zh) 2018-03-13 2019-03-12 影像處理設備、濾波方法、非暫態電腦可讀取記錄媒體以及影像裝置

Country Status (4)

Country Link
US (1) US20190289331A1 (zh)
KR (1) KR20190107944A (zh)
CN (1) CN110278442A (zh)
TW (1) TW201941608A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI789669B (zh) * 2020-12-31 2023-01-11 致茂電子股份有限公司 電子裝置及其影像處理方法

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10999602B2 (en) 2016-12-23 2021-05-04 Apple Inc. Sphere projected motion estimation/compensation and mode decision
US11259046B2 (en) 2017-02-15 2022-02-22 Apple Inc. Processing of equirectangular object data to compensate for distortion by spherical projections
US10924747B2 (en) 2017-02-27 2021-02-16 Apple Inc. Video coding techniques for multi-view video
US11093752B2 (en) 2017-06-02 2021-08-17 Apple Inc. Object tracking in multi-view video
US10754242B2 (en) 2017-06-30 2020-08-25 Apple Inc. Adaptive resolution and projection format in multi-direction video
US20190005709A1 (en) * 2017-06-30 2019-01-03 Apple Inc. Techniques for Correction of Visual Artifacts in Multi-View Images
CN110827206B (zh) * 2018-08-14 2024-05-28 钰创科技股份有限公司 过滤信号的数位滤波器
CN115018715A (zh) * 2021-03-05 2022-09-06 上海肇观电子科技有限公司 图像处理方法、电子设备及计算机可读存储介质

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8284844B2 (en) * 2002-04-01 2012-10-09 Broadcom Corporation Video decoding system supporting multiple standards
US9516326B1 (en) * 2005-12-09 2016-12-06 Nvidia Corporation Method for rotating macro-blocks of a frame of a video stream
SG140508A1 (en) * 2006-08-31 2008-03-28 St Microelectronics Asia Multimode filter for de-blocking and de-ringing
CN102132566B (zh) * 2008-10-07 2015-05-20 株式会社Ntt都科摩 图像加工装置及方法、动态图像编码装置及方法、动态图像解码装置及方法、以及编码解码系统和方法
US20130101027A1 (en) * 2011-06-20 2013-04-25 Matthias Narroschke Deblocking control by individual quantization parameters
PL2774359T3 (pl) * 2011-11-04 2016-06-30 Sun Patent Trust Filtrowanie deblokujące ze zmodyfikowanym wyprowadzaniem intensywności granicy bloku obrazu
MX365498B (es) * 2014-03-04 2019-06-05 Microsoft Technology Licensing Llc Conmutacion adaptativa de espacios de color, frecuencias de muestreo de color y/o profundidades de bits.
WO2015165030A1 (en) * 2014-04-29 2015-11-05 Microsoft Technology Licensing, Llc Encoder-side decisions for sample adaptive offset filtering
KR102276854B1 (ko) * 2014-07-31 2021-07-13 삼성전자주식회사 인루프 필터 파라미터 예측을 사용하는 비디오 부호화 방법 및 그 장치, 비디오 복호화 방법 및 그 장치
US9800898B2 (en) * 2014-10-06 2017-10-24 Microsoft Technology Licensing, Llc Syntax structures indicating completion of coded regions
CN107211128B (zh) * 2015-03-10 2021-02-09 苹果公司 自适应色度下采样和色彩空间转换技术
US10432932B2 (en) * 2015-07-10 2019-10-01 Mozilla Corporation Directional deringing filters
US10715816B2 (en) * 2015-11-11 2020-07-14 Apple Inc. Adaptive chroma downsampling and color space conversion techniques
US10575007B2 (en) * 2016-04-12 2020-02-25 Microsoft Technology Licensing, Llc Efficient decoding and rendering of blocks in a graphics pipeline
US10157480B2 (en) * 2016-06-24 2018-12-18 Microsoft Technology Licensing, Llc Efficient decoding and rendering of inter-coded blocks in a graphics pipeline
US10212456B2 (en) * 2017-06-02 2019-02-19 Apple Inc. Deblocking filter for high dynamic range (HDR) video
US20190116359A1 (en) * 2017-10-12 2019-04-18 Qualcomm Incorporated Guided filter for video coding and processing

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI789669B (zh) * 2020-12-31 2023-01-11 致茂電子股份有限公司 電子裝置及其影像處理方法

Also Published As

Publication number Publication date
KR20190107944A (ko) 2019-09-23
CN110278442A (zh) 2019-09-24
US20190289331A1 (en) 2019-09-19

Similar Documents

Publication Publication Date Title
TW201941608A (zh) 影像處理設備、濾波方法、非暫態電腦可讀取記錄媒體以及影像裝置
CN109691102B (zh) 跨分量滤波器
US11064195B2 (en) Merging filters for multiple classes of blocks for video coding
CN109964482B (zh) 视频译码中指示双边滤波器使用的方法
JP6345694B2 (ja) 大きなｈｅｖｃブロックアーティファクト用のブロッキネスメトリック
TW201943272A (zh) 以角度模式延伸之位置相關框內預測組合
JP2021530917A (ja) ビデオ符号器、ビデオ復号器、並びに対応する符号化及び復号化方法
CN109792541A (zh) 用于视频译码的去振铃滤波器
WO2018117938A1 (en) Deringing filter for video coding
JP7195348B2 (ja) ビデオコーディングにおけるフィルタリングのための装置および方法
CN110800295B (zh) 基于无除法双边滤波器解码方法、装置、存储介质
US11985306B2 (en) Method and apparatus for video encoding and decoding with matrix based intra-prediction
US20190253732A1 (en) Intra prediction for 360-degree video
EP3984231A1 (en) Methods and system of subblock transform for video coding
WO2020056017A1 (en) Methods and apparatus of video decoding using low complexity trellis-coded quantization
JP2024116348A (ja) ４：４：４彩度フォーマットにおける映像符号化の方法、電子装置、非一時的なコンピュータ可読記憶媒体及びコンピュータプログラム
US20200304785A1 (en) Simplified non-linear adaptive loop filter
US20170201767A1 (en) Video encoding device and video encoding method
JP2022548204A (ja) 変換スキップモードで映像データを符号化するための方法及び装置
JP2023113908A (ja) 予測デコーディング方法、装置及びコンピュータ記憶媒体
EP3641311A1 (en) Encoding and decoding methods and apparatus
CN112997497B (zh) 用于帧内预测的方法和装置
WO2021263251A1 (en) State transition for dependent quantization in video coding
KR20220024643A (ko) 위치 의존적 인트라 예측 조합을 이용한 픽처 인코딩 및 디코딩을 위한 방법 및 디바이스
WO2024138705A1 (zh) 一种帧内预测方法、视频编解码方法、装置和系统