TW202209886A - 圖像處理方法、裝置、設備、電腦儲存媒介和系統 - Google Patents

圖像處理方法、裝置、設備、電腦儲存媒介和系統 Download PDF

Info

Publication number
TW202209886A
TW202209886A TW110126409A TW110126409A TW202209886A TW 202209886 A TW202209886 A TW 202209886A TW 110126409 A TW110126409 A TW 110126409A TW 110126409 A TW110126409 A TW 110126409A TW 202209886 A TW202209886 A TW 202209886A
Authority
TW
Taiwan
Prior art keywords
network model
image
preset
blocks
block
Prior art date
Application number
TW110126409A
Other languages
English (en)
Inventor
馬展
王錫寧
陳彤
Original Assignee
大陸商Ｏｐｐｏ廣東移動通信有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 大陸商Ｏｐｐｏ廣東移動通信有限公司 filed Critical 大陸商Ｏｐｐｏ廣東移動通信有限公司
Publication of TW202209886A publication Critical patent/TW202209886A/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/002—Image coding using neural networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/436—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation using parallelised computational arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20132—Image cropping

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本申請實施例公開了一種圖像處理方法、裝置、設備、電腦儲存媒介和系統，該方法包括：獲取多個重構塊；其中，所述多個重構塊是由待處理圖像所劃分的多個圖像塊經由預設編碼網路模型和預設解碼網路模型後得到的；確定所述多個重構塊中至少一個重構塊的中心區域；對所述至少一個重構塊的中心區域進行品質增強，得到至少一個目標重構塊；根據所述至少一個目標重構塊和所述多個重構塊，生成重構圖像；對所述重構圖像中的塊邊界進行濾波處理，得到目標圖像。

Description

圖像處理方法、裝置、設備、電腦儲存媒介和系統
本申請涉及影像編解碼技術領域，尤其涉及一種圖像處理方法、裝置、設備、電腦儲存媒介和系統。
近年來，人工神經網路已經發展到了深度學習（deep learning）階段。深度學習是機器學習的分支，是一種試圖使用包含複雜結構或由多重非線性變換構成的多個處理層對資料進行高層抽象的演算法，其強大的表達能力使其在電腦視覺和圖像處理中得到了廣泛應用，在影像和圖像處理上的表現也具有較好的效果。
目前，基於深度學習的圖像編解碼以及圖像後處理技術往往採用將整張圖像一次性輸入編解碼網路進行處理的方案。但是隨著圖像尺寸的增大以及編解碼網路的加深，這種方案會導致編解碼的執行時間以及運行記憶體需求的大大增加。另外，即使目前存在一些基於塊的圖像編解碼方案，但是現有方案的結構使得塊與塊之間的編解碼不完全獨立，無法實現編解碼處理的並行化，仍然無法降低編解碼的執行時間以及運行記憶體需求。
本申請實施例提供一種幀間預測方法、編碼器、解碼器及儲存媒介，能夠基於時域運動資訊的重要程度進行運動資訊候選清單的建立，從而提升編解碼效率。本申請提出一種圖像處理方法、裝置、設備、電腦儲存媒介和系統，可以實現編解碼處理的並行化，能夠降低編解碼的執行時間以及運行記憶體需求，而且還能夠提高重構圖像的峰值訊噪比。
本申請的技術方案是這樣實現的：
第一方面，本申請實施例提供了一種圖像處理方法，應用於圖像處理裝置，所述方法包括：
獲取多個重構塊；其中，所述多個重構塊是由待處理圖像所劃分的多個圖像塊經由預設編碼網路模型和預設解碼網路模型後得到的；
確定所述多個重構塊中至少一個重構塊的中心區域；
對所述至少一個重構塊的中心區域進行品質增強，得到至少一個目標重構塊；
根據所述至少一個目標重構塊和所述多個重構塊，生成重構圖像；
對所述重構圖像中的塊邊界進行濾波處理，得到目標圖像。
第二方面，本申請實施例提供了一種圖像處理方法，應用於解碼設備，所述方法包括：
接收編碼設備傳輸的碼流；其中，所述碼流是由待處理圖像所劃分的多個圖像塊經由預設編碼網路模型後得到的；
利用預設解碼網路模型解析所述碼流，獲取多個重構塊；
利用預設後處理網路模型對所述多個重構塊中至少一個重構塊的中心區域進行品質增強，得到至少一個目標重構塊；
根據所述至少一個目標重構塊和所述多個重構塊，生成重構圖像；
利用所述預設後處理網路模型對所述重構圖像中的塊邊界進行濾波處理，得到目標圖像。
第三方面，本申請實施例提供了一種圖像處理方法，應用於編碼設備，所述方法包括：
獲取待處理圖像；
對所述待處理圖像進行分塊，得到多個圖像塊；其中，所述多個圖像塊大小相等且無重疊；
利用預設編碼網路模型對所述多個圖像塊進行編碼，生成碼流； 將所述碼流傳輸到解碼設備。
第四方面，本申請實施例提供了一種圖像處理裝置，所述圖像處理裝置包括：獲取單元、確定單元、增強單元和處理單元；其中，
所述獲取單元，配置為獲取多個重構塊；其中，所述多個重構塊是由待處理圖像所劃分的多個圖像塊經由預設編碼網路模型和預設解碼網路模型後得到的；
所述確定單元，配置為確定所述多個重構塊中至少一個重構塊的中心區域；
所述增強單元，配置為對所述至少一個重構塊的中心區域進行品質增強，得到至少一個目標重構塊；
所述處理單元，配置為根據所述至少一個目標重構塊和所述多個重構塊，生成重構圖像；以及對所述重構圖像中的塊邊界進行濾波處理，得到目標圖像。
第五方面，本申請實施例提供了一種圖像處理裝置，所述圖像處理裝置包括：第一記憶體和第一處理器；其中，
所述第一記憶體，用於儲存能夠在所述第一處理器上運行的可執行指令；
所述第一處理器，用於在運行所述可執行指令時，執行如第一方面所述的方法。
第六方面，本申請實施例提供了一種解碼設備，所述解碼設備包括：接收單元、解碼單元和後處理單元；其中，
所述接收單元，配置為接收編碼設備傳輸的碼流；其中，所述碼流是由待處理圖像所劃分的多個圖像塊經由預設編碼網路模型後得到的；
所述解碼單元，配置為利用預設解碼網路模型解析所述碼流，獲取多個重構塊；
所述後處理單元，配置為利用預設後處理網路模型對所述多個重構塊中至少一個重構塊的中心區域進行品質增強，得到至少一個目標重構塊；以及根據所述至少一個目標重構塊和所述多個重構塊，生成重構圖像，並利用所述預設後處理網路模型對所述重構圖像中的塊邊界進行濾波處理，得到目標圖像。
第七方面，本申請實施例提供了一種解碼設備，所述解碼設備包括：第二記憶體和第二處理器；其中，
所述第二記憶體，用於儲存能夠在所述第二處理器上運行的可執行指令；
所述第二處理器，用於在運行所述可執行指令時，執行如第二方面所述的方法。
第八方面，本申請實施例提供了一種編碼設備，所述編碼設備包括：獲取單元、分塊單元、編碼單元和發送單元；其中，
所述獲取單元，配置為獲取待處理圖像；
所述分塊單元，配置為對所述待處理圖像進行分塊，得到多個圖像塊；其中，所述多個圖像塊大小相等且無重疊；
所述編碼單元，配置為利用預設編碼網路模型對所述多個圖像塊進行編碼，生成碼流；
所述發送單元，配置為將所述碼流傳輸到解碼設備。
第九方面，本申請實施例提供了一種編碼設備，所述編碼設備包括：第三記憶體和第三處理器；其中，
所述第三記憶體，用於儲存能夠在所述第三處理器上運行的可執行指令；
所述第三處理器，用於在運行所述可執行指令時，執行如第三方面所述的方法。
第十方面，本申請實施例提供了一種電腦儲存媒介，所述電腦儲存媒介儲存有圖像處理程式，所述圖像處理程式被第一處理器執行時實現如第一方面所述的方法、或者被第二處理器執行時實現如第二方面所述的方法、或者被第三處理器執行時實現如第三方面所述的方法。
第十一方面，本申請實施例提供了一種影像系統，所述影像系統包括：編碼設備和解碼設備；其中，
所述編碼設備，配置為獲取待處理圖像；以及對所述待處理圖像進行分塊，得到多個圖像塊；其中，所述多個圖像塊大小相等且無重疊；以及利用預設編碼網路模型對所述多個圖像塊進行編碼，生成碼流；並將所述碼流傳輸到解碼設備；
所述解碼設備，配置為接收所述編碼設備傳輸的碼流；以及利用預設解碼網路模型解析所述碼流，獲取多個重構塊；以及利用預設後處理網路模型對所述多個重構塊中至少一個重構塊的中心區域進行品質增強，得到至少一個目標重構塊；以及根據所述至少一個目標重構塊和所述多個重構塊，生成重構圖像，並利用所述預設後處理網路模型對所述重構圖像中的塊邊界進行濾波處理，得到目標圖像。
本申請實施例所提供的一種圖像處理方法、裝置、設備、電腦儲存媒介和系統，透過獲取多個重構塊；其中，所述多個重構塊是由待處理圖像所劃分的多個圖像塊經由預設編碼網路模型和預設解碼網路模型後得到的；確定所述多個重構塊中至少一個重構塊的中心區域；對所述至少一個重構塊的中心區域進行品質增強，得到至少一個目標重構塊；根據所述至少一個目標重構塊和所述多個重構塊，生成重構圖像；對所述重構圖像中的塊邊界進行濾波處理，得到目標圖像。這樣，針對待處理圖像所劃分的多個圖像塊，塊與塊之間完全獨立，可以利用預設編碼網路模型和預設解碼網路模型實現多核並行編解碼處理；而且由於分塊後輸入預設編碼網路模型和預設解碼網路模型的圖像尺寸降低，還可以降低編解碼的執行時間以及運行記憶體需求；另外，透過對重構塊的中心區域進行品質增強，還能夠提高重構圖像的峰值訊噪比，同時減少了因與待濾波處理的區域重疊而導致的計算冗餘；透過對重構圖像中的塊邊界進行濾波處理，還能夠消除分塊邊界處的塊效應，且還進一步提高了重構圖像的峰值訊噪比。
下面將結合本申請實施例中的附圖，對本申請實施例中的技術方案進行清楚、完整地描述。可以理解的是，此處所描述的具體實施例僅僅用於解釋相關申請，而非對該申請的限定。另外還需要說明的是，為了便於描述，附圖中僅示出了與有關申請相關的部分。
人工神經網路（Artificial Neural Networks，ANNs）也可簡稱為神經網路，或者稱為連接模型，它是一種模仿動物神經網路行為特徵，進行分散式並行資訊處理的演算法數學模型。這種網路依靠系統的複雜程度，透過調整內部大量節點之間相互連接的關係，從而達到處理資訊的目的。
近年來，人工神經網路已經發展到了深度學習階段。深度學習是機器學習的分支，是一種試圖使用包含複雜結構或由多重非線性變換構成的多個處理層對資料進行高層抽象的演算法，其強大的表達能力使其在各個機器學習的任務上取得了最好的效果，而且在影像和圖像處理上的表現也超過了目前相關技術。
應理解，自編碼器（Autoencoder）是深度學習的一個重要內容，神經網路透過大量資料集進行端對端（end-to-end）的訓練，可以不斷提高準確率，而Autoencoder透過設計編碼（encode）和解碼（decode）過程使得輸入和輸出越來越接近，這是一種無監督學習過程。這裡，由於目前深度學習在影像和圖像處理上的優秀表現，結合深度學習中的Autoencoder的基本思路進行影像和圖像壓縮，並且用深度學習的方式來提供一種新的編解碼方法，對於未來視訊壓縮領域的發展是一個好的開始，也有利於未來在視訊壓縮方向上，基於神經網路的新方案在整個系統中有著比傳統方案更好的表現和前景。
還需要說明的是，目前圖像壓縮方案一般會造成圖像資訊損失、圖像品質下降，產生假影（artifacts）。這時候在圖像壓縮後就需要進行後處理，而且後處理是指標對壓縮圖像設計品質增強和假影消除的方法，用以改善圖像的視覺效果。類似地，後處理在視訊壓縮中也被廣泛採用。這樣，由於近年來，深度學習在電腦視覺和圖像處理中得到了廣泛應用，使得目前一些研究工作也可以將深度學習用於圖像或視訊壓縮後處理，並且取得了一定的效果。
參見圖1，其示出了相關技術方案提供的一種圖像處理的方塊圖示意圖。如圖1所示，主要包括有：編碼器11、通道傳輸模組12、解碼器13和後處理模組14。其中，解碼器13和後處理模組14可以集成在同一設備中。
在得到輸入圖像後，輸入圖像透過編碼器11進行編碼，並生成碼流；該碼流通過通道傳輸模組12傳輸至解碼器13，由解碼器13解析碼流，以得到重構圖像。這時候的重構圖像可以會存在圖像資訊損失、圖像品質下降以及塊效應等問題，因此重構圖像還需要經過後處理模組14進行相關處理，用以得到最終的目標圖像。
然而，在目前的相關技術方案中，往往採用將整幅圖像一次性輸入編碼器和解碼器進行處理，但是隨著圖像尺寸的增大以及編碼器所採用的編碼網路和解碼器所採用的解碼網路的加深，這種方案會導致編解碼的執行時間以及運行記憶體需求的大大增加，不利於實際應用。另外，即使目前存在一些基於塊的圖像編解碼方案，但是現有方案採用了長短期記憶人工神經網路結構，使得塊與塊之間的編解碼不完全獨立，無法實現編解碼處理的並行化，仍然無法降低編解碼的執行時間以及運行記憶體需求。
基於此，本申請實施例提供了一種圖像處理方法，該方法的基本思想是：獲取對待處理圖像，對待處理圖像進行分塊處理獲取對應的多個圖像塊，然後利用預設編碼網路模型對多個圖像塊進行編碼生成碼流，將碼流傳輸至解碼設備。解碼設備在接收到碼流之後，利用預設網路模型對碼流進行解析，獲取多個重構塊，然後確定多個重構塊中至少一個重構塊的中心區域；對至少一個重構塊的中心區域進行品質增強，得到至少一個目標重構塊；根據至少一個目標重構塊和多個重構塊，生成重構圖像；對重構圖像中的塊邊界進行濾波處理，得到目標圖像。
這樣，針對待處理圖像所劃分的多個圖像塊，塊與塊之間完全獨立，可以利用預設編碼網路模型和預設解碼網路模型實現多核並行編解碼處理；而且由於分塊後輸入預設編碼網路模型和預設解碼網路模型的圖像尺寸降低，還可以降低編解碼的執行時間以及運行記憶體需求。另外，透過對重構塊的中心區域進行品質增強，還能夠提高重構圖像的峰值訊噪比，同時減少了因與待濾波處理的區域重疊而導致的計算冗餘；透過對重構圖像中的塊邊界進行濾波處理，還能夠消除分塊邊界處的塊效應，且還進一步提高了重構圖像的峰值訊噪比。
下面將結合附圖對本申請各實施例進行詳細說明。
本申請的一實施例中，參見圖2，其示出了本申請實施例提供的一種圖像處理方法的流程示意圖。如圖2所示，該方法可以包括：
S101：獲取多個重構塊；其中，所述多個重構塊是由待處理圖像所劃分的多個圖像塊經由預設編碼網路模型和預設解碼網路模型後得到的。
需要說明的是，該方法應用於圖像處理裝置，或者集成有圖像處理裝置的設備，例如解碼設備。另外，該圖像處理裝置的一種具體實施例為圖1所示的後處理模組14。
還需要說明的是，編解碼網路包括編碼網路模型和解碼網路模型，而預設編碼網路模型和預設解碼網路模型是基於神經網路結構進行模型訓練得到的。其中，預設編碼網路模型用於對待處理圖像所劃分的多個圖像塊進行編碼以生成碼流，預設解碼網路模型用於對碼流進行解析以得到多個重構塊。
另外，針對待處理圖像所劃分的圖像塊，一個圖像塊可以為一個tile或者block，而且多個圖像塊大小相等且無重疊。通常情況下，每個圖像塊的大小可以為64*64尺寸、128*128尺寸、192*192尺寸、256*256尺寸或512*512尺寸等，具體根據圖像大小以及編解碼對於圖像塊大小的需求或要求確定。在本申請實施例中，圖像塊的大小通常設置為128*128尺寸，但是本申請實施例並不作具體限定。
這樣，針對待處理圖像所劃分的多個圖像塊，塊與塊之間完全獨立，可以利用預設編碼網路模型和預設解碼網路模型進行並行編解碼處理，能夠並行得到多個重構塊。
S102：確定所述多個重構塊中至少一個重構塊的中心區域。
S103：對所述至少一個重構塊的中心區域進行品質增強，得到至少一個目標重構塊。
需要說明的是，在得到多個重構塊之後，可以確定出多個重構塊中至少一個重構塊的中心區域。這裡，如果每一重構塊的大小為128*128，那麼可以提取重構塊的中心區域大小可以為112*112、110*110、100*100等，在本申請實施例中，通常可提取重構塊的中心大小為112*112的區域作為每一重構塊的中心區域。
這樣，在得到至少一個重構塊的中心區域後，可以對至少一個重構塊的中心區域進行品質增強，能夠得到至少一個目標重構塊。具體地，在一些實施例中，所述對所述至少一個重構塊的中心區域進行品質增強，得到至少一個目標重構塊，可以包括：
對所述至少一個重構塊的中心區域進行品質增強，得到至少一個增強區域；
根據所述至少一個增強區域對應替換所述至少一個重構塊的中心區域，得到所述至少一個目標重構塊。
也就是說，透過對至少一個重構塊的中心區域進行品質增強，能夠得到至少一個增強區域；然後利用這至少一個增強區域對應替換這至少一個重構塊的中心區域，從而得到至少一個目標重構塊。
還需要說明的是，在一些實施例中，該方法還可以包括：
構建預設後處理網路模型。
相應地，對於S103來說，所述對所述至少一個重構塊的中心區域進行品質增強，得到至少一個目標重構塊，可以包括：
利用所述預設後處理網路模型對所述至少一個重構塊的中心區域進行品質增強，得到至少一個目標重構塊。
這裡，預設後處理網路模型也是基於神經網路結構進行模型訓練得到的。在一些實施例中，所述構建預設後處理網路模型，可以包括： 獲取多個重構訓練塊；
構建後處理網路模型，以所述多個重構訓練塊和所述至少一張訓練圖像對所述後處理網路模型進行訓練，得到所述預設後處理網路模型。
需要說明的是，多個重構訓練塊可以是由訓練集合中的至少一張訓練圖像所劃分的多個訓練塊經由預設編碼網路模型和預設解碼網路模型後得到的。具體來講，在模型訓練前，首先需要獲取訓練集合，該訓練集合中包括至少一張訓練圖像。這裡，訓練集合的選取對於整個神經網路的訓練具有很大影響，在本申請實施例中，可以選取神經網路圖像轉碼器（Neutral Image Codec，NIC）資料集。NIC資料集是基於深度學習的圖像壓縮的電機電子工程師學會（Institute of Electrical and Electronics Engineers，IEEE）標準測試模型NIC的開發資料集，在該資料集中，可以包括有訓練集合，也可以包括有驗證集合和測試集合；其中，訓練集合中的圖像大小可以為256*256，驗證集合和測試集合中的圖像大小也可以對應為256*256；當然，在本實施例中，訓練集合、驗證集合以及測試集合中的圖像大小還可以設置為其他大小，例如，512*512或者其他尺寸大小，具體可以根據需要進行編解碼的影像對應的圖像大小來確定，在本申請實施例不作任何限定。
還需要說明的是，後處理網路模型採用神經網路結構，其可以是由卷積層、啟動函數以及用於提供模型性能的多個級聯的殘差塊構成。圖3給出了上述後處理網路結構的一個示例。這裡，啟動函數可以是線性整流函數（Rectified Linear Unit, ReLU），又稱修正線性單元，是一種人工神經網路中常用的啟動函數，通常指代以斜坡函數及其變種為代表的非線性函數。
示例性地，以消除重構塊邊界的塊效應為例，如圖3所示，針對帶有明顯塊效應的重構塊邊界像素，可以順序經過第一卷積層、多個殘差塊（例如，可以為9個級聯的殘差塊）、第二卷積層和第三卷積層，然後利用加法器將第三卷積層的輸出和第一卷積層的輸入進行疊加，能夠輸出無明顯塊效應的重構塊邊界像素。其中，第一卷積層和第二卷積層包括有啟動函數，第三卷積層不包括啟動函數。在一個可選的實施例中，第一卷積層和第二卷積層表示為k3n128+ReLU，表明第一卷積層和第二卷積層的卷積核大小為3*3，輸出特徵數為128，步長為1，且包括有啟動函數；而第三卷積層表示為k3n3，表明第三卷積層的卷積核大小為3*3，輸出特徵數為3，步長為1，但未包括啟動函數。
對於每一個殘差塊，其網路結構如圖4所示。在圖4中，將圖3中第一卷積層之後輸出的特徵圖作為輸入，然後順序經過第四卷積層和第五卷積層，再利用加法器將第五卷積層的輸出和第四卷積層的輸入進行疊加，從而得到輸出特徵圖。其中，第四卷積層包括有啟動函數，第五卷積層不包括啟動函數。在一個可選的實施例中，第四卷積層表示為k3n128+ReLU，表明第一卷積層和第二卷積層的卷積核大小為3*3，輸出特徵數為128，步長為1，且包括有啟動函數；而第五卷積層表示為k3n128，表明第五卷積層的卷積核大小為3*3，輸出特徵數為128，步長為1，但未包括啟動函數。
這樣，構建出後處理網路模型後，可以利用訓練集合以及預設演算法對後處理網路模型進行模型訓練。具體地，在一些實施例中，所述以所述多個重構訓練塊和所述至少一張訓練圖像對所述後處理網路模型進行訓練，得到所述預設後處理網路模型，可以包括：
基於所述多個重構訓練塊和所述至少一張訓練圖像，利用預設演算法對所述後處理網路模型進行模型訓練；
當所述模型訓練的代價函數對應的損失值收斂到預設閾值時，將訓練後得到的後處理網路模型確定為所述預設後處理網路模型。
需要說明的是，在訓練集合中，訓練圖像可以為256*256、512*512等尺寸，這裡以尺寸為256*256的訓練圖像為例，在將其劃分為等大且無重疊的128*128的訓練塊（也可以為其他尺寸大小的訓練塊）並輸入預設編碼網路模型和預設解碼網路模型後，將所得到的重構塊重新拼接為256*256（原圖像的尺寸大小）的帶有塊效應的重構訓練圖像。這時候可以直接將多個重構塊作為後處理網路模型的輸入，也可以將帶有塊效應的重構訓練圖像作為後處理網路模型的訓練輸入圖像；而將訓練集合中的訓練圖像作為後處理網路模型的訓練目標圖像，然後可以根據訓練輸入圖像和訓練目標圖像的均方差構建模型訓練的代價函數。這裡，代價函數可以為率失真代價函數，而失真度為訓練輸入圖像和訓練目標圖像的均方差。
還需要說明的是，預設演算法可以為自我調整矩估計（Adaptive moment estimation，Adam）梯度優化演算法。Adam梯度優化演算法是一種對隨機梯度下降法的擴展，在電腦視覺和自然語言處理中廣泛應用于深度學習應用，其工作表現良好，能夠很快地取得較好的成果。這樣，利用Adam梯度優化演算法訓練後處理網路，在訓練過程中保持預設編碼網路模型和預設解碼網路模型的網路參數固定，僅反覆運算更新後處理網路模型。在其代價函數對應的損失（Loss）值達到收斂且收斂到預設閾值後，這時候訓練得到的後處理網路模型即為預設後處理網路模型。這裡，預設閾值根據實際情況進行具體設定，本申請實施例不作任何限定。
具體地，參見圖5，其示出了本申請實施例提供的一種利用預設後處理網路模型進行品質增強的結構示意圖。如圖5所示，針對所獲取的多個重構塊，首先提取這多個重構塊的中心區域；然後將提取的中心區域輸入預設後處理網路模型，經過預設後處理網路模型後對應輸出多個增強區域；利用這多個增強區域對應替換這多個重構塊的中心區域，能夠得到多個目標重構塊，即經過品質增強的重構塊。
S104：根據所述至少一個目標重構塊和所述多個重構塊，生成重構圖像。
需要說明的是，在得到至少一個目標重構塊之後，可以透過拼接生成重構圖像。具體來講，在一些實施例中，所述根據所述至少一個目標重構塊和所述多個重構塊，生成重構圖像，可以包括：
利用所述至少一個目標重構塊對應替換所述多個重構塊中至少一個重構塊，將替換後得到的多個重構塊進行拼接，生成所述重構圖像。
也就是說，如果針對這多個重構塊中每一重構塊均進行品質增強，可以得到多個目標重構塊；然後利用這多個目標重構塊對應替換原來所有的多個重構塊，將替換後得到新的多個重構塊進行拼接，能夠得到重構圖像。或者，如果僅針對這多個重構塊中部分重構塊進行品質增強，那麼得到部分目標重構塊；然後利用這部分目標重構塊對應替換多個重構塊中原來的部分重構塊，將替換後得到新的多個重構塊進行拼接，能夠得到重構圖像。這時候，所得到的重構圖像帶有明顯塊效應。
S105：對所述重構圖像中的塊邊界進行濾波處理，得到目標圖像。
需要說明的是，由於重構圖像帶有明顯塊效應，這裡的濾波處理具體是指消除重構圖像中塊邊界處的塊效應。
在一個實施例中，對重構圖像進行濾波處理以消除塊邊界處的塊效應的濾波處理，可以採用任意的去塊效應的濾波演算法，在本實施例中不做限定。
在一些實施例中，對重構圖像進行濾波處理以消除塊邊界處的塊效應的濾波處理還可以是其他方式。具體的，對於S105來說，所述對所述重構圖像中的塊邊界進行濾波處理，得到目標圖像，可以包括：
利用所述預設後處理網路模型對所述重構圖像中的塊邊界進行濾波處理，得到目標圖像。
需要說明的是，這裡的預設後處理網路模型與前述品質增強所採用的預設後處理網路模型屬於同一個後處理網路模型，這樣能夠減小圖像處理裝置或者解碼設備中用於儲存網路參數所需要的儲存空間。
具體地，在一些實施例中，所述基於所述預設後處理網路模型對所述重構圖像中的塊邊界進行濾波處理，得到目標圖像，可以包括：
確定所述重構圖像中包括所述塊邊界的至少一個矩形區域；
將所述至少一個矩形區域輸入所述預設後處理網路模型，得到至少一個處理後的矩形區域；
利用所述至少一個處理後的矩形區域替換所述重構圖像中包括所述塊邊界的對應局部區域，得到所述目標圖像。
需要說明的是，首先需要提取重構圖像中塊邊界附件的矩形區域。對於橫向邊界，矩形區域具體範圍為，橫向方向：塊邊界左側預設像素至塊邊界右側預設像素（其中，預設像素可以為16像素）；縱向方向：重構塊上沿至下沿。對於縱向邊界，矩形區域具體範圍為，縱向方向：塊邊界上側預設像素至塊邊界下側預設像素（其中，預設像素可以為16像素）；橫向方向：重構塊左沿至右沿。這裡，預設像素可以為16像素，也可以為10像素、8像素等。另外，預設像素的不同，導致所提取的矩形區域具體範圍也不相同。通常情況下，預設像素可以為16像素，但是本申請實施例並不作任何限定。
示例性地，在對於橫向邊界，矩形區域具體範圍為，橫向方向：塊邊界左側16像素至塊邊界右側16像素；縱向方向：重構塊上沿至下沿；對於縱向邊界，矩形區域具體範圍為，縱向方向：塊邊界上側16像素至塊邊界下側16像素；橫向方向：重構塊左沿至右沿的情況下，如果採用大小均為128*128重構塊拼接成的重構圖像，其矩形區域大小均為32*128；如果採用大小均為192*192重構塊拼接成的重構圖像，其矩形區域大小均為32*192。這裡，32的單位為像素，128的單位為像素，192的單位也為像素；也就是說，重構圖像或者重構塊的大小都是採用像素數量表示。
這樣，在透過提取確定出重構圖像中包括塊邊界的至少一個矩形區域後，可以將這至少一個矩形區域輸入預設後處理網路模型，得到至少一個處理後的矩形區域；然後利用這至少一個處理後的矩形區域替換重構圖像中包括塊邊界的對應局部區域，得到目標圖像。這時候所得到的目標圖像能夠減弱塊效應。
為了進一步消除塊效應，還可以消除預設後處理網路模型對邊界補0的卷積操作所導致的邊界圖像失真，這時候需要對這至少一個處理後的矩形區域進行進一步裁剪。在一些實施例中，在所述得到至少一個處理後的矩形區域之後，該方法還可以包括：
對所述至少一個處理後的矩形區域進行裁剪，得到至少一個目標矩形區域；
利用所述至少一個目標矩形區域替換所述重構圖像中包括所述塊邊界的對應局部區域，得到所述目標圖像。
需要說明的是，以32*128的矩形區域為例，針對預設後處理網路模型所輸出的至少一個處理後的矩形區域，可以透過捨棄左右兩側寬度為8像素、高度為128像素的邊緣像素區域，僅保留中心大小為16*128的矩形區域；或者，也可以透過捨棄左右兩側寬度為4像素、高度為128像素的邊緣像素區域，僅保留中心大小為24*128的矩形區域；這裡所保留的矩形區域即為經過裁剪得到的至少一個目標矩形區域；最後利用這至少一個目標矩形區域替換重構圖像中包括塊邊界的對應局部區域，可以得到無明顯塊效應的目標圖像。
具體地，參見圖6，其示出了本申請實施例提供的一種利用預設後處理網路模型進行塊效應消除的結構示意圖。如圖6所示，針對帶有明顯塊效應的重構圖像，首先提取包括塊邊界的至少一個矩形區域，圖6所示的網格填充的矩形區域表示縱向邊界的矩形區域；將所提取出的至少一個矩形區域輸入預設後處理網路模型，輸出至少一個處理後的矩形區域；然後透過裁剪，捨棄矩形區域左右兩側的邊緣像素區域，得到至少一個目標矩形區域；最後透過替換，即利用這至少一個目標矩形區域替換重構圖像中包括塊邊界的對應局部區域，可以得到無明顯塊效應的重構圖像。
本實施例提供了一種圖像處理方法，透過獲取多個重構塊；其中，所述多個重構塊是由待處理圖像所劃分的多個圖像塊經由預設編碼網路模型和預設解碼網路模型後得到的；確定所述多個重構塊中至少一個重構塊的中心區域；對所述至少一個重構塊的中心區域進行品質增強，得到至少一個目標重構塊；根據所述至少一個目標重構塊和所述多個重構塊，生成重構圖像；對所述重構圖像中的塊邊界進行濾波處理，得到目標圖像。這樣，針對待處理圖像所劃分的多個圖像塊，塊與塊之間完全獨立，可以利用預設編碼網路模型和預設解碼網路模型實現多核並行編解碼處理；而且由於分塊後輸入預設編碼網路模型和預設解碼網路模型的圖像尺寸降低，還可以降低編解碼的執行時間以及運行記憶體需求；另外，透過對重構塊的中心區域進行品質增強，還能夠提高重構圖像的峰值訊噪比，同時減少了因與待濾波處理的區域重疊而導致的計算冗餘；透過對重構圖像中的塊邊界進行濾波處理，還能夠消除分塊邊界處的塊效應，且還進一步提高了重構圖像的峰值訊噪比。
本申請的另一實施例中，參見圖7，其示出了本申請實施例提供的另一種圖像處理方法的流程示意圖。如圖7所示，該方法可以包括：
S601：接收編碼設備傳輸的碼流；其中，所述碼流是由待處理圖像所劃分的多個圖像塊經由預設編碼網路模型後得到的。
S602：利用預設解碼網路模型解析所述碼流，獲取多個重構塊。
需要說明的是，該方法應用於解碼設備。在編碼設備透過預設編碼網路模型進行壓縮編碼生成碼流後，可以將碼流傳輸到解碼設備，由解碼設備利用預設解碼網路模型來解析碼流，從而獲取到多個重構塊。這裡，在得到多個重構塊之後，可以繼續執行前述圖1所述的方法，用以得到最終的目標圖像；這裡的目標圖像不僅實現了對重構塊的中心區域進行品質增強，而且還消除了重構圖像中塊邊界處的塊效應。
還需要說明的是，預設編碼網路模型和預設解碼網路模型是基於神經網路結構進行模型訓練得到的。其中，預設編碼網路模型用於指示編碼設備對待處理圖像所劃分的多個圖像塊進行編碼以生成碼流，預設解碼網路模型用於指示解碼設備解析碼流以得到多個重構塊。
這裡，對於預設編碼網路模型和預設解碼網路模型而言，在一些實施例中，該方法還可以包括：
獲取訓練集合；其中，所述訓練集合包括至少一張訓練圖像；
構建編碼網路模型和解碼網路模型，基於所述訓練集合對所述編碼網路模型和所述解碼網路模型進行模型訓練，得到所述預設編碼網路模型和所述預設解碼網路模型。
需要說明的是，在模型訓練前，首先需要獲取訓練集合，該訓練集合中包括至少一張訓練圖像。具體地，可以收集和整理規範的高清靜態圖像資料集，例如NIC資料集；然後根據NIC資料集，可以得到用於模型訓練的訓練集合，以及用於模型測試和模型驗證的測試集合和交叉驗證集合等。
另外，對於編碼網路模型和解碼網路模型的構建，需要建立多層深度神經網路模型，即端對端的編解碼網路結構。如圖8所示，其示出了本申請實施例提供的一種包括預設編碼網路模型和預設解碼網路模型的端對端網路結構示意圖。在圖8中，編碼端採用編碼網路模型結構，可以包括有主編碼器、超先驗（Hyper prior）編碼器、上下文模型、量化模組和熵編碼器。其中，對於輸入圖像，可以劃分為多個圖像塊。針對每一圖像塊，主編碼器的作用為將輸入的原始圖像變換為通道數為192，行和列尺寸分別為原尺寸大小1/16的特徵圖。超先驗轉碼器及上下文模型的作用為根據特徵圖來估計特徵圖中像素的概率分佈，並且將該概率分佈提供給熵編碼器。這裡的熵編碼器可以採用算術編碼，而且為無損熵編碼壓縮。在編碼端，針對主編碼器所產生的特徵圖可以透過量化模組採用四捨五入取整的方式進行量化，熵編碼器利用超先驗編碼器、超先驗解碼器和上下文模型提供的概率分佈對量化後的特徵圖進行無損熵編碼（如算術編碼）形成碼流；並且超先驗編碼器產生的壓縮資料採用固定概率分佈進行概率計算，在經過熵編碼器後作為額外資訊加入到最終的碼流中。解碼端採用解碼網路模型結構，可以包括有主解碼器、超先驗解碼器、上下文模型和熵解碼器。其中，超先驗解碼器以及上下文模型的作用為透過前述碼流中添加的額外資訊解碼出特徵圖中像素的概率分佈提供給熵解碼器，由熵解碼器解析出特徵圖；而主解碼器作用為將特徵圖還原為重構塊，然後再根據重構塊拼接成重構圖像。
還需要注意的是，在圖8中，主編碼器是用於將圖像的像素域轉換為特徵域，超先驗編碼器是用於將特徵域轉換為概率分佈；而超先驗解碼器則是用於將概率分佈轉換為特徵域，再由主解碼器將特徵域轉換為像素域，以重建出重構圖像。另外，上下文模型的概率分佈可以採用（
Figure 02_image001
,
Figure 02_image003
）表示；其中，
Figure 02_image001
表示均值，
Figure 02_image003
表示方差。
這樣，構建出編碼網路模型和解碼網路模型後，可以利用訓練集合以及預設演算法對編碼網路模型和解碼網路模型進行模型訓練。具體地，在一些實施例中，所述基於所述訓練集合對所述編碼網路模型和所述解碼網路模型進行模型訓練，得到所述預設編碼網路模型和所述預設解碼網路模型，可以包括：
基於所述訓練集合，利用預設演算法對所述編碼網路模型和所述解碼網路模型進行模型訓練；
當所述模型訓練的代價函數對應的損失值收斂到預設閾值時，將訓練後得到的編碼網路模型和解碼網路模型確定為所述預設編碼網路模型和所述預設解碼網路模型。
需要說明的是，預設演算法可以為Adam梯度優化演算法。採用Adam梯度優化演算法對編碼網路模型和解碼網路模型的端對端網路結構進行模型訓練。這裡，代價函數可以為率失真代價函數，失真度為網路結構輸入的訓練圖像和網路結構輸出的重構圖像之間的均方差。其中，碼率透過利用超先驗編碼器、超先驗解碼器及上下文模型所得的概率分佈計算特徵圖中像素包含的信息量進行估計。利用訓練集合對編碼網路模型和解碼網路模型進行充分訓練，在其代價函數對應的損失值達到收斂且收斂到預設閾值後，保存編碼網路模型和解碼網路模型，以作為本申請實施例中端對端網路結構的預設編碼網路模型和預設解碼網路模型。這裡，預設閾值根據實際情況進行具體設定，本申請實施例不作任何限定。
在預設編碼網路模型和預設解碼網路模型的基礎上，對後處理網路模型進行訓練。具體地，在一些實施例中，該方法還可以包括：
獲取多個重構訓練塊；其中，所述多個重構訓練塊是由所述訓練集合中的至少一張訓練圖像所劃分的多個訓練塊經由所述預設編碼網路模型和所述預設解碼網路模型後得到的；
構建後處理網路模型，以所述多個重構訓練塊和所述至少一張訓練圖像對所述後處理網路模型進行訓練，得到所述預設後處理網路模型。
進一步地，所述以所述多個重構訓練塊和所述至少一張訓練圖像對所述後處理網路模型進行訓練，得到所述預設後處理網路模型，可以包括：
基於所述多個重構訓練塊和所述至少一張訓練圖像，利用預設演算法對所述後處理網路模型進行模型訓練；
當所述模型訓練的代價函數對應的損失值收斂到預設閾值時，將訓練後得到的後處理網路模型確定為所述預設後處理網路模型。
需要說明的是，對於後處理網路模型的模型訓練，也可以採用Adam梯度優化演算法。針對訓練集合中的訓練圖像，可以將其劃分為等大且無重疊的多個訓練塊並輸入預設編碼網路模型和預設解碼網路模型後，將所得到的多個重構塊重新拼接為帶有塊效應的重構訓練圖像。這時候可以將帶有塊效應的重構訓練圖像作為後處理網路模型的訓練輸入圖像，將訓練集合中的訓練圖像作為後處理網路模型的訓練目標圖像；然後可以根據訓練輸入圖像和訓練目標圖像的均方差構建模型訓練的代價函數。在利用Adam梯度優化演算法訓練後處理網路的過程中，保持預設編碼網路模型和預設解碼網路模型的網路參數固定，僅反覆運算更新後處理網路模型。當其代價函數對應的損失（Loss）值達到收斂後，這時候訓練得到的後處理網路模型即為預設後處理網路模型。這裡，預設閾值根據實際情況進行具體設定，本申請實施例不作任何限定。
S603：利用預設後處理網路模型對所述多個重構塊中至少一個重構塊的中心區域進行品質增強，得到至少一個目標重構塊。
S604：根據所述至少一個目標重構塊和所述多個重構塊，生成重構圖像。
S605：利用所述預設後處理網路模型對所述重構圖像中的塊邊界進行濾波處理，得到目標圖像。
需要說明的是，在得到預設後處理網路模型後，可以利用該預設後處理網路模型對多個重構塊中至少一個重構塊的中心區域進行品質增強，以得到至少一個目標重構塊；並根據這至少一個目標重構塊，可以拼接生成重構圖像；由於這裡的重構圖像中存在塊效應，這時候可以利用同一個預設後處理網路模型對重構圖像中的塊邊界進行濾波處理，得到消除塊效應的目標圖像。
具體地，在一些實施例中，所述利用所述預設後處理網路模型對所述重構圖像中的塊邊界進行濾波處理，得到目標圖像，可以包括：
確定所述重構圖像中包括所述塊邊界的至少一個矩形區域；
將所述至少一個矩形區域輸入所述預設後處理網路模型，得到至少一個處理後的矩形區域；
利用所述至少一個處理後的矩形區域替換所述重構圖像中包括所述塊邊界的對應局部區域，得到所述目標圖像。
進一步地，在所述得到至少一個處理後的矩形區域之後，該方法還可以包括：
對所述至少一個處理後的矩形區域進行裁剪，得到至少一個目標矩形區域；
利用所述至少一個目標矩形區域替換所述重構圖像中包括所述塊邊界的對應局部區域，得到所述目標圖像。
也就是說，在提取確定出重構圖像中包括塊邊界的至少一個矩形區域後，可以將這至少一個矩形區域輸入預設後處理網路模型，得到至少一個處理後的矩形區域；然後利用這至少一個處理後的矩形區域替換重構圖像中包括塊邊界的對應局部區域，得到目標圖像。這時候所得到的目標圖像能夠減弱塊效應。為了進一步消除塊效應，還可以消除預設後處理網路模型對邊界補0的卷積操作所導致的邊界圖像失真，這時候需要對這至少一個處理後的矩形區域進行裁剪，比如捨棄左右兩側寬度為8像素、高度為128像素的邊緣像素區域，僅保留中心大小為16*128的矩形區域，以得到至少一個目標矩形區域；最後利用這至少一個目標矩形區域替換重構圖像中包括塊邊界的對應局部區域，可以得到無明顯塊效應的目標圖像。
本實施例提供了一種圖像處理方法，透過接收編碼設備傳輸的碼流；其中，所述碼流是由待處理圖像所劃分的多個圖像塊經由預設編碼網路模型後得到的；利用預設解碼網路模型解析所述碼流，獲取多個重構塊；利用預設後處理網路模型對所述多個重構塊中至少一個重構塊的中心區域進行品質增強，得到至少一個目標重構塊；根據所述至少一個目標重構塊和所述多個重構塊，生成重構圖像；利用所述預設後處理網路模型對所述重構圖像中的塊邊界進行濾波處理，得到目標圖像。這樣，針對待處理圖像所劃分的多個圖像塊，塊與塊之間完全獨立，可以利用預設編碼網路模型和預設解碼網路模型實現多核並行編解碼處理；而且由於分塊後輸入預設編碼網路模型和預設解碼網路模型的圖像尺寸降低，還可以降低編解碼的執行時間以及運行記憶體需求；另外，透過對重構塊的中心區域進行品質增強，還能夠提高重構圖像的峰值訊噪比，同時減少了因與待濾波處理的區域重疊而導致的計算冗餘；透過對重構圖像中的塊邊界進行濾波處理，還能夠消除分塊邊界處的塊效應，且還進一步提高了重構圖像的峰值訊噪比。
本申請的又一實施例中，參見圖9，其示出了本申請實施例提供的又一種圖像處理方法的流程示意圖。如圖9所示，該方法可以包括：
S801：獲取待處理圖像。
S802：對所述待處理圖像進行分塊，得到多個圖像塊；其中，所述多個圖像塊大小相等且無重疊。
S803：利用預設編碼網路模型對所述多個圖像塊進行編碼，生成碼流。
S804：將所述碼流傳輸到解碼設備。
需要說明的是，該方法應用於編碼設備。在編碼設備透過預設編碼網路模型進行壓縮編碼生成碼流後，可以將碼流傳輸到解碼設備，由解碼設備利用預設解碼網路模型來解析碼流，從而獲取到多個重構塊。
還需要說明的是，預設編碼網路模型和預設解碼網路模型是基於神經網路結構進行模型訓練得到的。其中，預設編碼網路模型用於指示編碼設備對待處理圖像所劃分的多個圖像塊進行編碼以生成碼流，預設解碼網路模型用於解碼設備解析碼流以得到多個重構塊。
這裡，對於預設編碼網路模型和預設解碼網路模型而言，在一些實施例中，該方法還可以包括：
獲取訓練集合；其中，所述訓練集合包括至少一張訓練圖像；
構建編碼網路模型和解碼網路模型，基於所述訓練集合對所述編碼網路模型和所述解碼網路模型進行模型訓練，得到預設編碼網路模型和預設解碼網路模型。
進一步地，所述基於所述訓練集合對所述編碼網路模型和所述解碼網路模型進行模型訓練，得到預設編碼網路模型和預設解碼網路模型，可以包括：
基於所述訓練集合，利用預設演算法對所述編碼網路模型和所述解碼網路模型進行模型訓練；
當所述模型訓練的代價函數對應的損失值收斂到預設閾值時，將訓練後得到的編碼網路模型和解碼網路模型確定為所述預設編碼網路模型和所述預設解碼網路模型。
需要說明的是，對於編碼網路模型和解碼網路模型的構建，需要建立多層深度神經網路模型，即端對端的編解碼網路結構，具體如圖8所示。在構建出編碼網路模型和解碼網路模型後，可以採用Adam梯度優化演算法對編碼網路模型和解碼網路模型進行模型訓練。這裡，代價函數可以為率失真代價函數，失真度為網路結構輸入的訓練圖像和網路結構輸出的重構圖像之間的均方差。利用訓練集合對編碼網路模型和解碼網路模型進行充分訓練，在其代價函數對應的損失值達到收斂且收斂到預設閾值後，這時候訓練得到的編碼網路模型和解碼網路模型即為本申請實施例中的預設編碼網路模型和預設解碼網路模型。這裡，預設閾值根據實際情況進行具體設定，本申請實施例不作任何限定。
本實施例提供了一種圖像處理方法，透過獲取待處理圖像；對所述待處理圖像進行分塊，得到多個圖像塊；其中，所述多個圖像塊大小相等且無重疊；利用預設編碼網路模型對所述多個圖像塊進行編碼，生成碼流；將所述碼流傳輸到解碼設備。這樣，針對待處理圖像所劃分的多個圖像塊，塊與塊之間完全獨立，可以利用預設編碼網路模型和預設解碼網路模型實現多核並行編解碼處理；而且由於分塊後輸入預設編碼網路模型和預設解碼網路模型的圖像尺寸降低，從而降低了編解碼的執行時間以及運行記憶體需求。
本申請的再一實施例中，基於前述實施例相同的發明構思，參見圖10，其示出了本申請實施例提供的一種圖像處理方法的詳細流程示意圖。如圖10所示，該詳細流程可以包括：
S901：構建訓練集合。
需要說明的是，對於步驟S901來說，可以選取合適的靜態圖像訓練集合。這裡，訓練集合的選取對於整個神經網路的訓練有很大的影響，在本申請實施例中，可以選取NIC資料集。NIC資料集是基於深度學習的圖像壓縮的IEEE標準測試模型NIC的開發資料集，在該資料集中，可以包括有圖像大小為256*256的訓練集合，也可以包括有圖像大小為256*256的驗證集合和測試集合。
S902：建立多層深度神經網路模型，包括編碼網路模型、解碼網路模型和後處理網路模型。
需要說明的是，編碼網路模型和解碼網路模型的端對端網路結構如圖8所示。編碼端採用編碼網路模型結構，包含主編碼器、超先驗編碼器及上下文模型。主編碼器的作用為將輸入圖像變換為通道數為192，行和列尺寸分別為原大小1/16的特徵圖。超先驗轉碼器及上下文模型的作用為根據特徵圖來估計特徵圖中像素的概率分佈提供給熵編碼器。在編碼端，超先驗編碼器產生的壓縮資料採用固定概率分佈進行概率計算，經熵編碼後作為額外資訊加入到最終的壓縮碼流中。解碼端採用解碼網路模型結構，包含主解碼器、超先驗解碼器及上下文模型。超先驗解碼器及上下文模型的作用為透過額外資訊解碼出特徵圖中像素的概率分佈並提供給熵解碼器。主解碼器的作用為將特徵圖還原為重構圖像。
對於後處理網路模型而言，具體如圖3所示，可以由卷積層、啟動函數及用於提高模型性能的多個級聯的殘差塊構成。其中，殘差塊內部的具體網路結構如圖4所示。在圖中，k3n128表示卷積核大小為3*3，輸出特徵數為128，步長為1的卷積層；k33表示卷積核大小為3*3，輸出特徵數為3，步長為1的卷積層。
S903：利用訓練集合和預設演算法對編碼網路模型和解碼網路模型進行模型訓練，得到預設編碼網路模型和預設解碼網路模型。
需要說明的是，對於步驟S903來說，可以採用Adam梯度優化演算法對端對端的編碼網路模型和解碼網路模型進行模型訓練。其中，代價函數為率失真代價函數，失真度為網路結構輸入的訓練圖像與網路結構輸出的重構圖像之間的均方差；碼率透過利用超先驗編碼器、超先驗解碼器及上下文模型所得的概率分佈計算特徵圖中像素包含的信息量進行估計。透過在S901中建立的訓練集合的基礎上進行充分訓練，當其代價函數對應的損失值達到收斂後，保存訓練後的編碼網路模型和解碼網路模型，將其作為端對端的預設編碼網路模型和預設解碼網路模型。
S904：基於訓練得到的預設編碼網路模型和預設解碼網路模型，利用訓練集合和預設演算法對後處理網路模型進行模型訓練，得到預設後處理網路模型。
需要說明的是，使用步驟S903中保存的預設編碼網路模型和預設解碼網路模型對後處理網路模型進行模型訓練。將步驟S901中所述訓練集合中尺寸為256*256的訓練圖像，在將其劃分為等大且無重疊的128*128的訓練塊並輸入預設編碼網路模型和預設解碼網路模型後，將所得到的重構塊重新拼接為256*256的帶有塊效應的重構訓練圖像。這時候可以將帶有塊效應的重構訓練圖像作為後處理網路模型的訓練輸入圖像，將訓練集合中未經編碼壓縮的訓練圖像作為後處理網路模型的訓練目標圖像；然後可以根據訓練輸入圖像和訓練目標圖像的均方差構建模型訓練的代價函數，採用Adam梯度優化演算法訓練後處理網路，在訓練過程中保持預設編碼網路模型和預設解碼網路模型的網路參數固定，僅反覆運算更新後處理網路模型。在其代價函數對應的損失（Loss）值達到收斂後，這時候訓練得到的後處理網路模型即為預設後處理網路模型。
S905：將待處理圖像劃分為128*128的等大小且無重疊的圖像塊並輸入預設編碼網路模型，生成待傳輸的碼流。
需要說明的是，針對待處理圖像，可以劃分為等大無重疊的多個圖像塊，將這些圖像塊輸入預設編碼網路模型，以生成碼流；具體可以是將預設編碼網路模型的輸出資料經過量化和無損熵編碼輸出為壓縮資料。
也就是說，在編碼端，將待處理圖像劃分為128*128等大小無重疊的圖像塊後輸入預設編碼網路模型，利用預設編碼網路模型對每個圖像塊獨立地進行編碼產生特徵圖。然後對特徵圖採用四捨五入取整的方式進行量化，熵編碼器則利用超先驗編碼器、超先驗解碼器及上下文模型提供的概率分佈對量化後的特徵圖進行無損熵編碼（如算術編碼）形成碼流，並與超先驗編碼器產生的額外碼流疊加作為最終的壓縮資料，再以碼流形式傳輸到解碼端。
S906：透過預設解碼網路模型解析碼流，得到128*128的重構塊。
需要說明的是，解碼端以同編碼端對稱的方式，透過熵解碼器和預設解碼網路模型將每個塊的特徵圖重建為128*128的重構塊。
S907：利用預設後處理網路模型對重構塊的中心區域進行品質增強，並且拼接生成重構圖像。
需要說明的是，對於步驟S907來說，對步驟S906中的重構塊進行中心增強處理。具體地，採用如圖5所示的方式提取重構塊中心大小為112*112的中心區域。將該中心區域輸入步驟S904中訓練的預設後處理網路模型，用以增強塊中心區域的圖像品質；最後利用預設後處理網路模型的輸出替換步驟S906中的重構塊對應的中心區域；並且透過拼接生成重構圖像。
S908：利用預設後處理網路模型對重構圖像中的塊邊界進行局部後處理，得到目標圖像。
需要說明的是，對於步驟S908來說，對步驟S907中重構圖像的塊邊界進行局部後處理。具體地，採用如圖6所示的方式提取圖像邊界附近的矩形區域。對於橫向邊界的矩形區域具體範圍為，橫向：塊邊界左側16像素至塊邊界右側16像素，縱向：塊上沿至塊下沿。對於縱向邊界的矩形區域具體範圍為，縱向：塊邊界上側16像素至塊邊界下側16像素。橫向：塊左沿至塊右沿。對於步驟S906中採用大小為128*128重構塊拼接成的重構圖像，其矩形區域的大小均為32*128像素。將該矩形區域像素輸入步驟S904中訓練的預設後處理網路模型，輸出減弱塊效應的邊界矩形區域。為了進一步消除預設後處理網路模型中對邊界補0的卷積操作所導致的邊界圖像失真，本申請實施例可以對預設後處理網路模型輸出的矩形區域進行進一步裁剪，例如，捨棄左右兩側寬度為8像素，高度為128像素的邊緣像素區域，僅保留中心大小為16*128的矩形區域。最後用該大小為16*128的矩形區域替換原重構圖像中對應的塊邊界矩形區域，可以得到無明顯塊效應的重構圖像。
這樣，本申請實施例提供了一種對於靜態圖像的分塊編解碼方案，透過對輸入圖像進行分塊後對每個圖像塊進行獨立地進行編解碼，能夠實現圖像的多核並行編解碼處理，從而減少了對圖像進行編解碼所需的執行時間以及每個核的運行記憶體需求；另外，針對重構塊中心進行增強，可以提高其峰值訊噪比；針對重構圖像的邊界處進行局部後處理，可以減小分塊邊界處的塊效應。具體步驟如下：（1）選取合適的靜態圖像訓練集合、訓練集合和驗證集合；（2）建立端對端網路的編碼網路模型、解碼網路模型以及重構圖像的後處理網路模型；（3）訓練端對端網路的編碼網路模型和解碼網路模型，訓練後得到預設編碼網路模型和預設解碼網路模型；（4）將訓練集合中的訓練圖像分成128*128的無重疊塊輸入訓練後的預設編碼網路模型和預設解碼網路模型，然後將解碼得到的重構塊拼接成重構圖像後作為新的訓練資料訓練後處理網路模型，訓練後得到預設後處理網路模型；（5）編碼端透過預設編碼網路模型後的輸出資料，在經過量化和無損熵編碼後作為壓縮資料，以碼流形式傳輸到解碼端；（6）解碼端透過預設解碼網路模型將碼流還原成128*128的重構塊；（7）對重構塊的中心區域採用預設後處理網路模型進行增強，並將其拼接為重構圖像；（8）利用與步驟（7）中相同的預設後處理網路模型對重構圖像中的塊邊界區域進行局部後處理，以減小邊界處的塊效應，最後得到目標圖像。
簡言之，在本申請實施例中，在現有圖像編解碼網路結構的基礎上對輸入圖像作分塊處理，塊與塊之間獨立地編解碼，實現編解碼多核並行處理，能夠降低執行時間及單核運行記憶體需求。另外，採用後處理網路模型對重構塊的中心區域進行增強，提高重構圖像的峰值訊噪比，同時只對塊中心區域進行後處理，還減少了因與待濾波處理的區域重疊而導致的計算冗餘。同時針對重構圖像中塊邊界處的矩形區域採用與品質增強處理相同的預設後處理網路模型進行局部後處理，這樣採用同一個預設後處理網路模型能夠減小解碼端用於儲存網路參數所需要的儲存空間。這裡，每個矩形區域在處理過程中完全獨立，能夠實現後處理的並行化，從而能夠達到降低執行時間及單核記憶體需求的效果。
也就是說，本申請實施例的技術方案能夠實現圖像的多核並行編解碼，且降低單核編解碼執行時間及運行記憶體需求。由於基於預設編碼網路模型和預設解碼網路模型的編解碼過程，對於劃分得到多個圖像塊的塊與塊之間完成獨立，因此可以實現圖像的多核並行編解碼。另外，由於分塊後輸入預設編碼網路模型和預設解碼網路模型的圖像尺寸降低，因此還降低了單核編解碼所需要的執行時間及運行記憶體需求。如表1所示，在原圖像大小為512*768的柯達測試集中，每個核的執行時間及單核運行記憶體需求均減小為無分塊編解碼處理的1/20。其中，執行時間的單位為秒（Second，s），運行記憶體需求的單位為百萬位元組（MByte，MB）。
表1
  無分塊編解碼網路參數 有分塊編解碼網路參數
執行時間（s） 10.85 0.5
運行記憶體需求（MB） 5195 263
另外，本申請實施例的技術方案採用預設後處理網路模型對重構塊的中心區域進行增強，可以提高重構圖像的峰值訊噪比。而且本申請實施例的技術方案採用預設後處理網路模型消除重構圖像中的塊效應，進一步提高了重構圖像的峰值訊噪比。這裡，本申請實施例的技術方案採用預設後處理網路模型解決了由於分塊編解碼導致塊邊界不連續產生的塊效應；如圖11A和圖11B所示，圖11A的重構圖像中明顯存在塊效應，在經過後處理之後，圖11B可以明顯看出重構圖像的塊效應問題得到了有效解決。如圖12所示，其示出了碼率和峰值訊噪比之間的率失真曲線示例；經過預設後處理網路模型的後處理之後，可以提升峰值訊噪比約0.08~0.11dB，在實現重構圖像分塊多核並行後處理的同時，能夠達到整幅圖像後處理80%~90%的峰值訊噪比增益效果。這裡，如表2所示，在對重構塊的中心區域進行增強時，每個核後處理所需執行時間和運行記憶體需求為整幅圖像後處理的1/30；在對重構圖像中邊界區域進行去塊效應處理時，每個核後處理所需執行時間和運行記憶體需求為整幅圖像後處理的1/90。
表2
  無分塊後處理網路參數 有分塊後處理網路參數
執行時間（s） 11.72 0.13（邊界區域）/ 0.37（中心區域）
運行記憶體需求（MB） 6352 63（邊界區域）/ 205（中心區域）
本實施例提供了一種圖像處理方法，透過本實施例對前述實施例的具體實現進行了詳細闡述，從中可以看出，針對待處理圖像所劃分的多個圖像塊，塊與塊之間完全獨立，可以利用預設編碼網路模型和預設解碼網路模型實現多核並行編解碼處理；而且由於分塊後輸入預設編碼網路模型和預設解碼網路模型的圖像尺寸降低，還可以降低編解碼的執行時間以及運行記憶體需求；另外，透過對重構塊的中心區域進行品質增強，還能夠提高重構圖像的峰值訊噪比，同時減少了因與待濾波處理的區域重疊而導致的計算冗餘；透過對重構圖像中的塊邊界進行濾波處理，還能夠消除分塊邊界處的塊效應，且還進一步提高了重構圖像的峰值訊噪比。
本申請的再一實施例中，基於前述實施例相同的發明構思，參見圖13，其示出了本申請實施例提供的一種圖像處理裝置120的組成結構示意圖。如圖13所示，圖像處理裝置120可以包括：獲取單元1201、確定單元1202、增強單元1203和處理單元1204；其中，
獲取單元1201，配置為獲取多個重構塊；其中，所述多個重構塊是由待處理圖像所劃分的多個圖像塊經由預設編碼網路模型和預設解碼網路模型後得到的；
確定單元1202，配置為確定所述多個重構塊中至少一個重構塊的中心區域；
增強單元1203，配置為對所述至少一個重構塊的中心區域進行品質增強，得到至少一個目標重構塊；
處理單元1204，配置為根據所述至少一個目標重構塊和所述多個重構塊，生成重構圖像；以及對所述重構圖像中的塊邊界進行濾波處理，得到目標圖像。
在一些實施例中，增強單元1203，具體配置為對所述至少一個重構塊的中心區域進行品質增強，得到至少一個增強區域；以及根據所述至少一個增強區域對應替換所述至少一個重構塊的中心區域，得到所述至少一個目標重構塊。
在一些實施例中，處理單元1204，具體配置為利用所述至少一個目標重構塊對應替換所述多個重構塊中至少一個重構塊，將替換後得到的多個重構塊進行拼接，生成所述重構圖像。
在一些實施例中，參見圖13，圖像處理裝置120還可以包括構建單元1205，配置為構建預設後處理網路模型；
增強單元1203，具體配置為利用所述預設後處理網路模型對所述至少一個重構塊的中心區域進行品質增強，得到至少一個目標重構塊；
處理單元1204，具體配置為利用所述預設後處理網路模型對所述重構圖像中的塊邊界進行濾波處理，得到目標圖像。
在一些實施例中，參見圖13，圖像處理裝置120還可以包括訓練單元1206；其中，
獲取單元1201，還配置為獲取多個重構訓練塊；其中，所述多個重構訓練塊是由訓練集合中的至少一張訓練圖像所劃分的多個訓練塊經由所述預設編碼網路模型和所述預設解碼網路模型後得到的；
構建單元1205，還配置為構建後處理網路模型；
訓練單元1206，配置為以所述多個重構訓練塊和所述至少一張訓練圖像對所述後處理網路模型進行訓練，得到所述預設後處理網路模型。
進一步地，訓練單元1206，具體配置為基於所述多個重構訓練塊和所述至少一張訓練圖像，利用預設演算法對所述後處理網路模型進行模型訓練；當所述模型訓練的代價函數對應的損失值收斂到預設閾值時，將訓練後得到的後處理網路模型確定為所述預設後處理網路模型。
在一些實施例中，確定單元1202，還配置為確定所述重構圖像中包括所述塊邊界的至少一個矩形區域；
處理單元1204，具體配置為將所述至少一個矩形區域輸入所述預設後處理網路模型，得到至少一個處理後的矩形區域；以及利用所述至少一個處理後的矩形區域替換所述重構圖像中包括所述塊邊界的對應局部區域，得到所述目標圖像。
進一步地，處理單元1204，還配置為對所述至少一個處理後的矩形區域進行裁剪，得到至少一個目標矩形區域；以及利用所述至少一個目標矩形區域替換所述重構圖像中包括所述塊邊界的對應局部區域，得到所述目標圖像。
可以理解地，在本申請實施例中，“單元”可以是部分電路、部分處理器、部分程式或軟體等等，當然也可以是模組，還可以是非模組化的。而且在本實施例中的各組成部分可以集成在一個處理單元中，也可以是各個單元單獨實體存在，也可以兩個或兩個以上單元集成在一個單元中。上述集成的單元既可以採用硬體的形式實現，也可以採用軟體功能模組的形式實現。
所述集成的單元如果以軟體功能模組的形式實現並非作為獨立的產品進行銷售或使用時，可以儲存在一個電腦可讀取儲存媒介中，基於這樣的理解，本實施例的技術方案本質上或者說對現有技術做出貢獻的部分或者該技術方案的全部或部分可以以軟體產品的形式體現出來，該電腦軟體產品儲存在一個儲存媒介中，包括若干指令用以使得一台電腦設備（可以是個人電腦，伺服器，或者網路設備等）或processor（處理器）執行本實施例所述方法的全部或部分步驟。而前述的儲存媒介包括：隨身碟、移動硬碟、唯讀記憶體（Read Only Memory，ROM）、隨機存取記憶體（Random Access Memory，RAM）、磁碟或者光碟等各種可以儲存程式碼的媒介。
因此，本申請實施例提供了一種電腦儲存媒介，應用於圖像處理裝置120，該電腦儲存媒介儲存有圖像處理程式，所述圖像處理程式被第一處理器執行時實現前述實施例中任一項所述的方法。
基於上述圖像處理裝置120的組成以及電腦儲存媒介，參見圖14，其示出了本申請實施例提供的圖像處理裝置120的硬體結構示意圖。如圖14所示，圖像處理裝置120可以包括：第一通訊介面1301、第一記憶體1302和第一處理器1303；各個元件透過第一匯流排系統1304耦合在一起。可理解，第一匯流排系統1304用於實現這些元件之間的連接通訊。第一匯流排系統1304除包括資料匯流排之外，還包括電源匯流排、控制匯流排和狀態信號匯流排。但是為了清楚說明起見，在圖14中將各種匯流排都標為第一匯流排系統1304。其中，
第一通訊介面1301，用於在與其他外部網路元件之間進行收發資訊過程中，信號的接收和發送；
第一記憶體1302，用於儲存能夠在第一處理器1303上運行的電腦程式；
第一處理器1303，用於在運行所述電腦程式時，執行：
獲取多個重構塊；其中，所述多個重構塊是由待處理圖像所劃分的多個圖像塊經由預設編碼網路模型和預設解碼網路模型後得到的；
確定所述多個重構塊中至少一個重構塊的中心區域；
對所述至少一個重構塊的中心區域進行品質增強，得到至少一個目標重構塊；
根據所述至少一個目標重構塊和所述多個重構塊，生成重構圖像；
對所述重構圖像中的塊邊界進行濾波處理，得到目標圖像。
可以理解，本申請實施例中的第一記憶體1302可以是揮發性記憶體或非揮發性記憶體，或可包括揮發性和非揮發性記憶體兩者。其中，非揮發性記憶體可以是唯讀記憶體（Read-Only Memory，ROM）、可程式設計唯讀記憶體（Programmable ROM，PROM）、可擦除可程式設計唯讀記憶體（Erasable PROM，EPROM）、電可擦除可程式設計唯讀記憶體（Electrically EPROM，EEPROM）或快閃記憶體。揮發性記憶體可以是隨機存取記憶體（Random Access Memory，RAM），其用作外部快取記憶體。透過示例性但不是限制性說明，許多形式的RAM可用，例如靜態隨機存取記憶體（Static RAM，SRAM）、動態隨機存取記憶體（Dynamic RAM，DRAM）、同步動態隨機存取記憶體（Synchronous DRAM，SDRAM）、雙倍數據速率同步動態隨機存取記憶體（Double Data Rate SDRAM，DDRSDRAM）、增強型同步動態隨機存取記憶體（Enhanced SDRAM，ESDRAM）、同步連接動態隨機存取記憶體（Synchlink DRAM，SLDRAM）和直接記憶體匯流排隨機存取記憶體（Direct Rambus RAM，DRRAM）。本申請描述的系統和方法的第一記憶體1302旨在包括但不限於這些和任意其它適合類型的記憶體。
而第一處理器1303可能是一種積體電路晶片，具有信號的處理能力。在實現過程中，上述方法的各步驟可以透過第一處理器1303中的硬體的集成邏輯電路或者軟體形式的指令完成。上述的第一處理器1303可以是通用處理器、數位訊號處理器（Digital Signal Processor，DSP）、專用積體電路（Application Specific Integrated Circuit，ASIC）、現成可程式設計閘陣列（Field Programmable Gate Array，FPGA）或者其他可程式設計邏輯器件、離散閘或者電晶體邏輯器件、分立硬體元件。可以實現或者執行本申請實施例中的公開的各方法、步驟及邏輯方塊圖。通用處理器可以是微處理器或者該處理器也可以是任何常規的處理器等。結合本申請實施例所公開的方法的步驟可以直接體現為硬體解碼處理器執行完成，或者用解碼處理器中的硬體及軟體模組組合執行完成。軟體模組可以位於隨機記憶體，快閃記憶體、唯讀記憶體，可程式設計唯讀記憶體或者電可讀寫可程式設計記憶體、寄存器等本領域成熟的儲存媒介中。該儲存媒介位於第一記憶體1302，第一處理器1303讀取第一記憶體1302中的資訊，結合其硬體完成上述方法的步驟。
可以理解的是，本申請描述的這些實施例可以用硬體、軟體、固件、中介軟體、微碼或其組合來實現。對於硬體實現，處理單元可以實現在一個或多個專用積體電路（Application Specific Integrated Circuits，ASIC）、數位訊號處理器（Digital Signal Processing，DSP）、數位信號處理設備（DSP Device，DSPD）、可程式設計邏輯裝置（Programmable Logic Device，PLD）、現場可程式設計閘陣列（Field-Programmable Gate Array，FPGA）、通用處理器、控制器、微控制器、微處理器、用於執行本申請所述功能的其它電子單元或其組合中。對於軟體實現，可透過執行本申請所述功能的模組（例如過程、函數等）來實現本申請所述的技術。軟體代碼可儲存在記憶體中並透過處理器執行。記憶體可以在處理器中或在處理器外部實現。
可選地，作為另一個實施例，第一處理器1303還配置為在運行所述電腦程式時，執行前述實施例中任一項所述的方法。
本實施例提供了一種圖像處理裝置，該圖像處理裝置可以包括獲取單元、確定單元、增強單元和處理單元。這樣，針對待處理圖像所劃分的多個圖像塊，塊與塊之間完全獨立，可以利用預設編碼網路模型和預設解碼網路模型實現多核並行編解碼處理；而且由於分塊後輸入預設編碼網路模型和預設解碼網路模型的圖像尺寸降低，還可以降低編解碼的執行時間以及運行記憶體需求；另外，透過對重構塊的中心區域進行品質增強，還能夠提高重構圖像的峰值訊噪比，同時減少了因與待濾波處理的區域重疊而導致的計算冗餘；透過對重構圖像中的塊邊界進行濾波處理，還能夠消除分塊邊界處的塊效應，且還進一步提高了重構圖像的峰值訊噪比。
本申請的再一實施例中，基於前述實施例相同的發明構思，參見圖15，其示出了本申請實施例提供的一種解碼設備140的組成結構示意圖。如圖15所示，解碼設備140可以包括：接收單元1401、解碼單元1402和後處理單元1403；其中，
接收單元1401，配置為接收編碼設備傳輸的碼流；其中，所述碼流是由待處理圖像所劃分的多個圖像塊經由預設編碼網路模型後得到的；
解碼單元1402，配置為利用預設解碼網路模型解析所述碼流，獲取多個重構塊；
後處理單元1403，配置為利用預設後處理網路模型對所述多個重構塊中至少一個重構塊的中心區域進行品質增強，得到至少一個目標重構塊；以及根據所述至少一個目標重構塊和所述多個重構塊，生成重構圖像，並利用所述預設後處理網路模型對所述重構圖像中的塊邊界進行濾波處理，得到目標圖像。
在一些實施例中，參見圖15，解碼設備140還可以包括獲取單元1404、構建單元1405和訓練單元1406；其中，
獲取單元1404，配置為獲取訓練集合；其中，所述訓練集合包括至少一張訓練圖像；
構建單元1405，配置為構建編碼網路模型和解碼網路模型；
訓練單元1406，配置為基於所述訓練集合對所述編碼網路模型和所述解碼網路模型進行模型訓練，得到所述預設編碼網路模型和所述預設解碼網路模型。
進一步地，訓練單元1406，具體配置為基於所述訓練集合，利用預設演算法對所述編碼網路模型和所述解碼網路模型進行模型訓練；以及當所述模型訓練的代價函數對應的損失值收斂到預設閾值時，將訓練後得到的編碼網路模型和解碼網路模型確定為所述預設編碼網路模型和所述預設解碼網路模型。
在一些實施例中，獲取單元1404，還配置為獲取多個重構訓練塊；其中，所述多個重構訓練塊是由所述訓練集合中的至少一張訓練圖像所劃分的多個訓練塊經由所述預設編碼網路模型和所述預設解碼網路模型後得到的；
構建單元1405，還配置為構建後處理網路模型；
訓練單元1406，還配置為以所述多個重構訓練塊和所述至少一張訓練圖像對所述後處理網路模型進行訓練，得到所述預設後處理網路模型。
進一步地，訓練單元1406，具體配置為基於所述多個重構訓練塊和所述至少一張訓練圖像，利用預設演算法對所述後處理網路模型進行模型訓練；以及當所述模型訓練的代價函數對應的損失值收斂到預設閾值時，將訓練後得到的後處理網路模型確定為所述預設後處理網路模型。
在一些實施例中，後處理單元1403，具體配置為確定所述重構圖像中包括所述塊邊界的至少一個矩形區域；以及將所述至少一個矩形區域輸入所述預設後處理網路模型，得到至少一個處理後的矩形區域；以及利用所述至少一個處理後的矩形區域替換所述重構圖像中包括所述塊邊界的對應局部區域，得到所述目標圖像。
進一步地，後處理單元1403，還配置為對所述至少一個處理後的矩形區域進行裁剪，得到至少一個目標矩形區域；以及利用所述至少一個目標矩形區域替換所述重構圖像中包括所述塊邊界的對應局部區域，得到所述目標圖像。
可以理解地，在本實施例中，“單元”可以是部分電路、部分處理器、部分程式或軟體等等，當然也可以是模組，還可以是非模組化的。而且在本實施例中的各組成部分可以集成在一個處理單元中，也可以是各個單元單獨實體存在，也可以兩個或兩個以上單元集成在一個單元中。上述集成的單元既可以採用硬體的形式實現，也可以採用軟體功能模組的形式實現。
所述集成的單元如果以軟體功能模組的形式實現並非作為獨立的產品進行銷售或使用時，可以儲存在一個電腦可讀取儲存媒介中。基於這樣的理解，本實施例提供了一種電腦儲存媒介，應用於解碼設備140，該電腦儲存媒介儲存有圖像處理程式，所述圖像處理程式被第二處理器執行時實現前述實施例中任一項所述的方法。
基於上述解碼設備140的組成以及電腦儲存媒介，參見圖16，其示出了本申請實施例提供的解碼設備140的硬體結構示意圖。如圖16所示，解碼設備140可以包括：第二通訊介面1501、第二記憶體1502和第二處理器1503；各個元件透過第二匯流排系統1504耦合在一起。可理解，第二匯流排系統1504用於實現這些元件之間的連接通訊。第二匯流排系統1504除包括資料匯流排之外，還包括電源匯流排、控制匯流排和狀態信號匯流排。但是為了清楚說明起見，在圖16中將各種匯流排都標為第二匯流排系統1504。其中，
第二通訊介面1501，用於在與其他外部網路元件之間進行收發資訊過程中，信號的接收和發送；
第二記憶體1502，用於儲存能夠在第二處理器1503上運行的電腦程式；
第二處理器1503，用於在運行所述電腦程式時，執行：
接收編碼設備傳輸的碼流；其中，所述碼流是由待處理圖像所劃分的多個圖像塊經由預設編碼網路模型後得到的；
利用預設解碼網路模型解析所述碼流，獲取多個重構塊；
利用預設後處理網路模型對所述多個重構塊中至少一個重構塊的中心區域進行品質增強，得到至少一個目標重構塊；
根據所述至少一個目標重構塊和所述多個重構塊，生成重構圖像；
利用所述預設後處理網路模型對所述重構圖像中的塊邊界進行濾波處理，得到目標圖像。
可選地，作為另一個實施例，第二處理器1503還配置為在運行所述電腦程式時，執行前述實施例中任一項所述的方法。
可以理解，第二記憶體1502與第一記憶體1302的硬體功能類似，第二處理器1503與第一處理器1303的硬體功能類似；這裡不再詳述。
本實施例提供了一種解碼設備，該解碼設備可以包括接收單元、解碼單元和後處理單元。這樣，針對待處理圖像所劃分的多個圖像塊，塊與塊之間完全獨立，可以利用預設編碼網路模型和預設解碼網路模型實現多核並行編解碼處理；而且由於分塊後輸入預設編碼網路模型和預設解碼網路模型的圖像尺寸降低，還可以降低編解碼的執行時間以及運行記憶體需求；另外，透過對重構塊的中心區域進行品質增強，還能夠提高重構圖像的峰值訊噪比，同時減少了因與待濾波處理的區域重疊而導致的計算冗餘；透過對重構圖像中的塊邊界進行濾波處理，還能夠消除分塊邊界處的塊效應，且還進一步提高了重構圖像的峰值訊噪比。
本申請的再一實施例中，基於前述實施例相同的發明構思，參見圖17，其示出了本申請實施例提供的一種編碼設備160的組成結構示意圖。如圖17所示，編碼設備160可以包括：獲取單元1601、分塊單元1602、編碼單元1603和發送單元1604；其中，
獲取單元1601，配置為獲取待處理圖像；
分塊單元1602，配置為對所述待處理圖像進行分塊，得到多個圖像塊；其中，所述多個圖像塊大小相等且無重疊；
編碼單元1603，配置為利用預設編碼網路模型對所述多個圖像塊進行編碼，生成碼流；
發送單元1604，配置為將所述碼流傳輸到解碼設備。
在一些實施例中，參見圖17，編碼設備160還可以包括構建單元1605和訓練單元1606；其中，
獲取單元1601，還配置為獲取訓練集合；其中，所述訓練集合包括至少一張訓練圖像；
構建單元1605，配置為構建編碼網路模型和解碼網路模型；
訓練單元1606，配置為基於所述訓練集合對所述編碼網路模型和所述解碼網路模型進行模型訓練，得到預設編碼網路模型和預設解碼網路模型；其中，預設解碼網路模型用於指示所述解碼設備解析所述碼流以得到多個重構塊。
進一步地，訓練單元1606，具體配置為基於所述訓練集合，利用預設演算法對所述編碼網路模型和所述解碼網路模型進行模型訓練；以及當所述模型訓練的代價函數對應的損失值收斂到預設閾值時，將訓練後得到的編碼網路模型和解碼網路模型確定為所述預設編碼網路模型和所述預設解碼網路模型。
可以理解地，在本實施例中，“單元”可以是部分電路、部分處理器、部分程式或軟體等等，當然也可以是模組，還可以是非模組化的。而且在本實施例中的各組成部分可以集成在一個處理單元中，也可以是各個單元單獨實體存在，也可以兩個或兩個以上單元集成在一個單元中。上述集成的單元既可以採用硬體的形式實現，也可以採用軟體功能模組的形式實現。
所述集成的單元如果以軟體功能模組的形式實現並非作為獨立的產品進行銷售或使用時，可以儲存在一個電腦可讀取儲存媒介中。基於這樣的理解，本實施例提供了一種電腦儲存媒介，應用於編碼設備160，該電腦儲存媒介儲存有圖像處理程式，所述圖像處理程式被第三處理器執行時實現前述實施例中任一項所述的方法。
基於上述編碼設備160的組成以及電腦儲存媒介，參見圖18，其示出了本申請實施例提供的編碼設備160的硬體結構示意圖。如圖18所示，解碼設備160可以包括：第三通訊介面1701、第三記憶體1702和第三處理器1703；各個元件透過第三匯流排系統1704耦合在一起。可理解，第三匯流排系統1704用於實現這些元件之間的連接通訊。第三匯流排系統1704除包括資料匯流排之外，還包括電源匯流排、控制匯流排和狀態信號匯流排。但是為了清楚說明起見，在圖18中將各種匯流排都標為第三匯流排系統1704。其中，
第三通訊介面1701，用於在與其他外部網路元件之間進行收發資訊過程中，信號的接收和發送；
第三記憶體1702，用於儲存能夠在第三處理器1703上運行的電腦程式；
第三處理器1703，用於在運行所述電腦程式時，執行：
獲取待處理圖像；
對所述待處理圖像進行分塊，得到多個圖像塊；其中，所述多個圖像塊大小相等且無重疊；
利用預設編碼網路模型對所述多個圖像塊進行編碼，生成碼流；
將所述碼流傳輸到解碼設備。
可選地，作為另一個實施例，第三處理器1703還配置為在運行所述電腦程式時，執行前述實施例中任一項所述的方法。
可以理解，第三記憶體1702與第一記憶體1302的硬體功能類似，第三處理器1703與第一處理器1303的硬體功能類似；這裡不再詳述。
本實施例提供了一種編碼設備，該編碼設備可以包括獲取單元、分塊單元、編碼單元和發送單元。這樣，針對待處理圖像所劃分的多個圖像塊，塊與塊之間完全獨立，可以利用預設編碼網路模型和預設解碼網路模型實現多核並行編解碼處理；而且由於分塊後輸入預設編碼網路模型和預設解碼網路模型的圖像尺寸降低，從而降低了編解碼的執行時間以及運行記憶體需求。
本申請的再一實施例中，基於前述實施例相同的發明構思，參見圖19，其示出了本申請實施例提供的一種影像系統180的組成結構示意圖。如圖19所示，影像系統180可以包括：前述實施例所述的編碼設備160和前述實施例所述的解碼設備140。其中，
編碼設備160，配置為獲取待處理圖像；以及對所述待處理圖像進行分塊，得到多個圖像塊；其中，所述多個圖像塊大小相等且無重疊；以及利用預設編碼網路模型對所述多個圖像塊進行編碼，生成碼流；並將所述碼流傳輸到解碼設備140；
解碼設備140，配置為接收編碼設備160傳輸的碼流；以及利用預設解碼網路模型解析所述碼流，獲取多個重構塊；以及利用預設後處理網路模型對所述多個重構塊中至少一個重構塊的中心區域進行品質增強，得到至少一個目標重構塊；以及根據所述至少一個目標重構塊和所述多個重構塊，生成重構圖像，並利用所述預設後處理網路模型對所述重構圖像中的塊邊界進行濾波處理，得到目標圖像。
在本申請實施例中，針對待處理圖像所劃分的多個圖像塊，塊與塊之間完全獨立，可以利用預設編碼網路模型和預設解碼網路模型實現多核並行編解碼處理；而且由於分塊後輸入預設編碼網路模型和預設解碼網路模型的圖像尺寸降低，還可以降低編解碼的執行時間以及運行記憶體需求；另外，透過對重構塊的中心區域進行品質增強，還能夠提高重構圖像的峰值訊噪比，同時減少了因與待濾波處理的區域重疊而導致的計算冗餘；透過對重構圖像中的塊邊界進行濾波處理，還能夠消除分塊邊界處的塊效應，且還進一步提高了重構圖像的峰值訊噪比。
需要說明的是，在本申請中，術語“包括”、“包含”或者其任何其他變體意在涵蓋非排他性的包含，從而使得包括一系列要素的過程、方法、物品或者裝置不僅包括那些要素，而且還包括沒有明確列出的其他要素，或者是還包括為這種過程、方法、物品或者裝置所固有的要素。在沒有更多限制的情況下，由語句“包括一個……”限定的要素，並不排除在包括該要素的過程、方法、物品或者裝置中還存在另外的相同要素。
上述本申請實施例序號僅僅為了描述，不代表實施例的優劣。
本申請所提供的幾個方法實施例中所揭露的方法，在不衝突的情況下可以任意組合，得到新的方法實施例。
本申請所提供的幾個產品實施例中所揭露的特徵，在不衝突的情況下可以任意組合，得到新的產品實施例。
本申請所提供的幾個方法或設備實施例中所揭露的特徵，在不衝突的情況下可以任意組合，得到新的方法實施例或設備實施例。
以上所述，僅為本申請的具體實施方式，但本申請的保護範圍並不局限於此，任何熟悉本技術領域的技術人員在本申請揭露的技術範圍內，可輕易想到變化或替換，都應涵蓋在本申請的保護範圍之內。因此，本申請的保護範圍應以所述請求項的保護範圍為准。
11:編碼器 12:通道傳輸模組 13:解碼器 14:後處理模組 S101~S105:步驟 S601~S605:步驟 S801~S804:步驟 S901~S908:步驟 120:圖像處理裝置 1201:獲取單元 1202:確定單元 1203:增強單元 1204:處理單元 1205:構建單元 1206:訓練單元 1301:第一通訊介面 1302:第一記憶體 1303:第一處理器 1304:第一匯流排系統 140:解碼設備 1401:接收單元 1402:解碼單元 1403:後處理單元 1404:獲取單元 1405:構建單元 1406:訓練單元 1501:第二通訊介面 1502:第二記憶體 1503:第二處理器 1504:第二匯流排系統 160:編碼設備 1601:獲取單元 1602:分塊單元 1603:編碼單元 1604:發送單元 1605:構建單元 1606:訓練單元 1701:第三通訊介面 1702:第三記憶體 1703:第三處理器 1704:第三匯流排系統 180:影像系統
圖1為相關技術方案提供的一種圖像處理的方塊圖示意圖；
圖2為本申請實施例提供的一種圖像處理方法的流程示意圖；
圖3為本申請實施例提供的一種後處理網路模型的結構示意圖；
圖4為本申請實施例提供的一種殘差塊的結構示意圖；
圖5為本申請實施例提供的一種利用預設後處理網路模型進行品質增強的結構示意圖；
圖6為本申請實施例提供的一種利用預設後處理網路模型進行塊效應消除的結構示意圖；
圖7為本申請實施例提供的另一種圖像處理方法的流程示意圖；
圖8為本申請實施例提供的一種包括預設編碼網路模型和預設解碼網路模型的端對端結構示意圖；
圖9為本申請實施例提供的又一種圖像處理方法的流程示意圖；
圖10為本申請實施例提供的一種圖像處理方法的詳細流程示意圖；
圖11A為本申請實施例提供的一種帶有塊效應的重構圖像示意圖；
圖11B為本申請實施例提供的一種無塊效應的重構圖像示意圖；
圖12為本申請實施例提供的一種預設後處理網路模型前後的圖像率失真曲線對比示意圖；
圖13為本申請實施例提供的一種圖像處理裝置的組成結構示意圖；
圖14為本申請實施例提供的一種圖像處理裝置的硬體結構示意圖；
圖15為本申請實施例提供的一種解碼設備的組成結構示意圖；
圖16為本申請實施例提供的一種解碼設備的硬體結構示意圖；
圖17為本申請實施例提供的一種編碼設備的組成結構示意圖；
圖18為本申請實施例提供的一種編碼設備的硬體結構示意圖；
圖19為本申請實施例提供的一種影像系統的組成結構示意圖。
S101~S105:步驟

Claims (26)

  1. 一種圖像處理方法，其特徵在於，應用於圖像處理裝置，所述方法包括： 獲取多個重構塊；其中，所述多個重構塊是由待處理圖像所劃分的多個圖像塊經由預設編碼網路模型和預設解碼網路模型後得到的； 確定所述多個重構塊中至少一個重構塊的中心區域； 對所述至少一個重構塊的中心區域進行品質增強，得到至少一個目標重構塊； 根據所述至少一個目標重構塊和所述多個重構塊，生成重構圖像； 對所述重構圖像中的塊邊界進行濾波處理，得到目標圖像。
  2. 根據請求項1所述的方法，其特徵在於，所述對所述至少一個重構塊的中心區域進行品質增強，得到至少一個目標重構塊，包括： 對所述至少一個重構塊的中心區域進行品質增強，得到至少一個增強區域； 根據所述至少一個增強區域對應替換所述至少一個重構塊的中心區域，得到所述至少一個目標重構塊。
  3. 根據請求項1所述的方法，其特徵在於，所述根據所述至少一個目標重構塊和所述多個重構塊，生成重構圖像，包括： 利用所述至少一個目標重構塊對應替換所述多個重構塊中至少一個重構塊，將替換後得到的多個重構塊進行拼接，生成所述重構圖像。
  4. 根據請求項1至3任一項所述的方法，其特徵在於，所述方法還包括： 構建預設後處理網路模型； 相應地，所述對所述至少一個重構塊的中心區域進行品質增強，得到至少一個目標重構塊，包括： 利用所述預設後處理網路模型對所述至少一個重構塊的中心區域進行品質增強，得到至少一個目標重構塊； 所述對所述重構圖像中的塊邊界進行濾波處理，得到目標圖像，包括： 利用所述預設後處理網路模型對所述重構圖像中的塊邊界進行濾波處理，得到目標圖像。
  5. 根據請求項4所述的方法，其特徵在於，所述構建預設後處理網路模型，包括： 獲取多個重構訓練塊；其中，所述多個重構訓練塊是由訓練集合中的至少一張訓練圖像所劃分的多個訓練塊經由所述預設編碼網路模型和所述預設解碼網路模型後得到的； 構建後處理網路模型，以所述多個重構訓練塊和所述至少一張訓練圖像對所述後處理網路模型進行訓練，得到所述預設後處理網路模型。
  6. 根據請求項5所述的方法，其特徵在於，所述以所述多個重構訓練塊和所述至少一張訓練圖像對所述後處理網路模型進行訓練，得到所述預設後處理網路模型，包括： 基於所述多個重構訓練塊和所述至少一張訓練圖像，利用預設演算法對所述後處理網路模型進行模型訓練； 當所述模型訓練的代價函數對應的損失值收斂到預設閾值時，將訓練後得到的後處理網路模型確定為所述預設後處理網路模型。
  7. 根據請求項4所述的方法，其特徵在於，所述基於所述預設後處理網路模型對所述重構圖像中的塊邊界進行濾波處理，得到目標圖像，包括： 確定所述重構圖像中包括所述塊邊界的至少一個矩形區域； 將所述至少一個矩形區域輸入所述預設後處理網路模型，得到至少一個處理後的矩形區域； 利用所述至少一個處理後的矩形區域替換所述重構圖像中包括所述塊邊界的對應局部區域，得到所述目標圖像。
  8. 根據請求項7所述的方法，其特徵在於，在所述得到至少一個處理後的矩形區域之後，所述方法還包括： 對所述至少一個處理後的矩形區域進行裁剪，得到至少一個目標矩形區域； 利用所述至少一個目標矩形區域替換所述重構圖像中包括所述塊邊界的對應局部區域，得到所述目標圖像。
  9. 一種圖像處理方法，其特徵在於，應用於解碼設備，所述方法包括： 接收編碼設備傳輸的碼流；其中，所述碼流是由待處理圖像所劃分的多個圖像塊經由預設編碼網路模型後得到的； 利用預設解碼網路模型解析所述碼流，獲取多個重構塊； 利用預設後處理網路模型對所述多個重構塊中至少一個重構塊的中心區域進行品質增強，得到至少一個目標重構塊； 根據所述至少一個目標重構塊和所述多個重構塊，生成重構圖像； 利用所述預設後處理網路模型對所述重構圖像中的塊邊界進行濾波處理，得到目標圖像。
  10. 根據請求項9所述的方法，其特徵在於，所述方法還包括： 獲取訓練集合；其中，所述訓練集合包括至少一張訓練圖像； 構建編碼網路模型和解碼網路模型，基於所述訓練集合對所述編碼網路模型和所述解碼網路模型進行模型訓練，得到所述預設編碼網路模型和所述預設解碼網路模型。
  11. 根據請求項10所述的方法，其特徵在於，所述基於所述訓練集合對所述編碼網路模型和所述解碼網路模型進行模型訓練，得到所述預設編碼網路模型和所述預設解碼網路模型，包括： 基於所述訓練集合，利用預設演算法對所述編碼網路模型和所述解碼網路模型進行模型訓練； 當所述模型訓練的代價函數對應的損失值收斂到預設閾值時，將訓練後得到的編碼網路模型和解碼網路模型確定為所述預設編碼網路模型和所述預設解碼網路模型。
  12. 根據請求項10所述的方法，其特徵在於，所述方法還包括： 獲取多個重構訓練塊；其中，所述多個重構訓練塊是由所述訓練集合中的至少一張訓練圖像所劃分的多個訓練塊經由所述預設編碼網路模型和所述預設解碼網路模型後得到的； 構建後處理網路模型，以所述多個重構訓練塊和所述至少一張訓練圖像對所述後處理網路模型進行訓練，得到所述預設後處理網路模型。
  13. 根據請求項12所述的方法，其特徵在於，所述以所述多個重構訓練塊和所述至少一張訓練圖像對所述後處理網路模型進行訓練，得到所述預設後處理網路模型，包括： 基於所述多個重構訓練塊和所述至少一張訓練圖像，利用預設演算法對所述後處理網路模型進行模型訓練； 當所述模型訓練的代價函數對應的損失值收斂到預設閾值時，將訓練後得到的後處理網路模型確定為所述預設後處理網路模型。
  14. 根據請求項9至13任一項所述的方法，其特徵在於，所述利用所述預設後處理網路模型對所述重構圖像中的塊邊界進行濾波處理，得到目標圖像，包括： 確定所述重構圖像中包括所述塊邊界的至少一個矩形區域； 將所述至少一個矩形區域輸入所述預設後處理網路模型，得到至少一個處理後的矩形區域； 利用所述至少一個處理後的矩形區域替換所述重構圖像中包括所述塊邊界的對應局部區域，得到所述目標圖像。
  15. 根據請求項14所述的方法，其特徵在於，在所述得到至少一個處理後的矩形區域之後，所述方法還包括： 對所述至少一個處理後的矩形區域進行裁剪，得到至少一個目標矩形區域； 利用所述至少一個目標矩形區域替換所述重構圖像中包括所述塊邊界的對應局部區域，得到所述目標圖像。
  16. 一種圖像處理方法，其特徵在於，應用於編碼設備，所述方法包括： 獲取待處理圖像； 對所述待處理圖像進行分塊，得到多個圖像塊；其中，所述多個圖像塊大小相等且無重疊； 利用預設編碼網路模型對所述多個圖像塊進行編碼，生成碼流； 將所述碼流傳輸到解碼設備。
  17. 根據請求項16所述的方法，其特徵在於，所述方法還包括： 獲取訓練集合；其中，所述訓練集合包括至少一張訓練圖像； 構建編碼網路模型和解碼網路模型，基於所述訓練集合對所述編碼網路模型和所述解碼網路模型進行模型訓練，得到預設編碼網路模型和預設解碼網路模型；其中，所述預設解碼網路模型用於指示所述解碼設備解析所述碼流以得到多個重構塊。
  18. 根據請求項17所述的方法，其特徵在於，所述基於所述訓練集合對所述編碼網路模型和所述解碼網路模型進行模型訓練，得到預設編碼網路模型和預設解碼網路模型，包括： 基於所述訓練集合，利用預設演算法對所述編碼網路模型和所述解碼網路模型進行模型訓練； 當所述模型訓練的代價函數對應的損失值收斂到預設閾值時，將訓練後得到的編碼網路模型和解碼網路模型確定為所述預設編碼網路模型和所述預設解碼網路模型。
  19. 一種圖像處理裝置，其特徵在於，所述圖像處理裝置包括：獲取單元、確定單元、增強單元和處理單元；其中， 所述獲取單元，配置為獲取多個重構塊；其中，所述多個重構塊是由待處理圖像所劃分的多個圖像塊經由預設編碼網路模型和預設解碼網路模型後得到的； 所述確定單元，配置為確定所述多個重構塊中至少一個重構塊的中心區域； 所述增強單元，配置為對所述至少一個重構塊的中心區域進行品質增強，得到至少一個目標重構塊； 所述處理單元，配置為根據所述至少一個目標重構塊和所述多個重構塊，生成重構圖像；以及對所述重構圖像中的塊邊界進行濾波處理，得到目標圖像。
  20. 一種圖像處理裝置，其特徵在於，所述圖像處理裝置包括：第一記憶體和第一處理器；其中， 所述第一記憶體，用於儲存能夠在所述第一處理器上運行的可執行指令； 所述第一處理器，用於在運行所述可執行指令時，執行如請求項1至8任一項所述的方法。
  21. 一種解碼設備，其特徵在於，所述解碼設備包括：接收單元、解碼單元和後處理單元；其中， 所述接收單元，配置為接收編碼設備傳輸的碼流；其中，所述碼流是由待處理圖像所劃分的多個圖像塊經由預設編碼網路模型後得到的； 所述解碼單元，配置為利用預設解碼網路模型解析所述碼流，獲取多個重構塊； 所述後處理單元，配置為利用預設後處理網路模型對所述多個重構塊中至少一個重構塊的中心區域進行品質增強，得到至少一個目標重構塊；以及根據所述至少一個目標重構塊和所述多個重構塊，生成重構圖像，並利用所述預設後處理網路模型對所述重構圖像中的塊邊界進行濾波處理，得到目標圖像。
  22. 一種解碼設備，其特徵在於，所述解碼設備包括：第二記憶體和第二處理器；其中， 所述第二記憶體，用於儲存能夠在所述第二處理器上運行的可執行指令； 所述第二處理器，用於在運行所述可執行指令時，執行如請求項9至15任一項所述的方法。
  23. 一種編碼設備，其特徵在於，所述編碼設備包括：獲取單元、分塊單元、編碼單元和發送單元；其中， 所述獲取單元，配置為獲取待處理圖像； 所述分塊單元，配置為對所述待處理圖像進行分塊，得到多個圖像塊；其中，所述多個圖像塊大小相等且無重疊； 所述編碼單元，配置為利用預設編碼網路模型對所述多個圖像塊進行編碼，生成碼流； 所述發送單元，配置為將所述碼流傳輸到解碼設備。
  24. 一種編碼設備，其特徵在於，所述編碼設備包括：第三記憶體和第三處理器；其中， 所述第三記憶體，用於儲存能夠在所述第三處理器上運行的可執行指令； 所述第三處理器，用於在運行所述可執行指令時，執行如請求項16至18任一項所述的方法。
  25. 一種電腦儲存媒介，其特徵在於，所述電腦儲存媒介儲存有圖像處理程式，所述圖像處理程式被第一處理器執行時實現如請求項1至8任一項所述的方法、或者被第二處理器執行時實現如請求項9至15任一項所述的方法、或者被第三處理器執行時實現如請求項16至18任一項所述的方法。
  26. 一種影像系統，其特徵在於，所述影像系統包括：編碼設備和解碼設備；其中， 所述編碼設備，配置為獲取待處理圖像；以及對所述待處理圖像進行分塊，得到多個圖像塊；其中，所述多個圖像塊大小相等且無重疊；以及利用預設編碼網路模型對所述多個圖像塊進行編碼，生成碼流；並將所述碼流傳輸到解碼設備； 所述解碼設備，配置為接收所述編碼設備傳輸的碼流；以及利用預設解碼網路模型解析所述碼流，獲取多個重構塊；以及利用預設後處理網路模型對所述多個重構塊中至少一個重構塊的中心區域進行品質增強，得到至少一個目標重構塊；以及根據所述至少一個目標重構塊和所述多個重構塊，生成重構圖像，並利用所述預設後處理網路模型對所述重構圖像中的塊邊界進行濾波處理，得到目標圖像。
TW110126409A 2020-08-21 2021-07-19 圖像處理方法、裝置、設備、電腦儲存媒介和系統 TW202209886A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202010852559.2 2020-08-21
CN202010852559.2A CN114078134A (zh) 2020-08-21 2020-08-21 图像处理方法、装置、设备、计算机存储介质和系统

Publications (1)

Publication Number Publication Date
TW202209886A true TW202209886A (zh) 2022-03-01

Family

ID=80282589

Family Applications (1)

Application Number Title Priority Date Filing Date
TW110126409A TW202209886A (zh) 2020-08-21 2021-07-19 圖像處理方法、裝置、設備、電腦儲存媒介和系統

Country Status (3)

Country Link
CN (1) CN114078134A (zh)
TW (1) TW202209886A (zh)
WO (1) WO2022037146A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118042163A (zh) * 2022-11-14 2024-05-14 杭州海康威视数字技术股份有限公司 一种图像处理方法、装置、电子设备及存储介质
CN116051662B (zh) * 2023-03-31 2023-06-23 腾讯科技（深圳）有限公司 图像处理方法、装置、设备和介质

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8340183B2 (en) * 2007-05-04 2012-12-25 Qualcomm Incorporated Digital multimedia channel switching
CN103297782B (zh) * 2013-06-08 2016-04-27 河海大学常州校区 分布式视频压缩感知系统中基于区域划分的重构方法
CN106097263A (zh) * 2016-06-03 2016-11-09 江苏大学 基于全变分范数图像分块梯度计算的图像重构方法
TWI669942B (zh) * 2016-10-14 2019-08-21 聯發科技股份有限公司 用以移除漣漪效應之平滑化濾波方法和裝置
CN110933429B (zh) * 2019-11-13 2021-11-12 南京邮电大学 基于深度神经网络的视频压缩感知与重构方法和装置

Also Published As

Publication number Publication date
CN114078134A (zh) 2022-02-22
WO2022037146A1 (zh) 2022-02-24

Similar Documents

Publication Publication Date Title
CN111711824B (zh) 视频编解码中的环路滤波方法、装置、设备及存储介质
JP6120896B2 (ja) ビデオ符号化および復号のためのスパース性に基づくアーティファクト除去フィルタリングを行う方法および装置
KR101838320B1 (ko) 예시-기반 데이터 프루닝을 이용한 비디오 디코딩
CN103210645B (zh) 使用运动补偿的基于实例的超分辨率的视频解码
CN113766249B (zh) 视频编解码中的环路滤波方法、装置、设备及存储介质
WO2021203394A1 (zh) 环路滤波的方法与装置
TW202209886A (zh) 圖像處理方法、裝置、設備、電腦儲存媒介和系統
CN110062239B (zh) 一种用于视频编码的参考帧选择方法及装置
CN116250235A (zh) 具有基于神经网络的环路滤波的视频编解码
JP2013537381A5 (zh)
TW202209885A (zh) 影像處理方法、裝置、設備、電腦儲存媒介和系統
CN115606179A (zh) 用于使用学习的下采样特征进行图像和视频编码的基于学习的下采样的cnn滤波器
WO2023082834A1 (zh) 视频压缩方法、装置、计算机设备和存储介质
CN117596413A (zh) 视频处理方法及装置
CN115552905A (zh) 用于图像和视频编码的基于全局跳过连接的cnn滤波器
CN114157863B (zh) 基于数字视网膜的视频编码方法、系统及存储介质
CN113822824B (zh) 视频去模糊方法、装置、设备及存储介质
CN112019854B (zh) 基于深度学习神经网络的环路滤波方法
CN114257810B (zh) 上下文模型的选择方法、装置、设备及存储介质
CN110677644A (zh) 一种视频编码、解码方法及视频编码帧内预测器
CN112001854A (zh) 一种编码图像的修复方法及相关系统和装置
WO2023082107A1 (zh) 解码方法、编码方法、解码器、编码器和编解码系统
CN112954350B (zh) 一种基于帧分类的视频后处理优化方法及装置
WO2022178686A1 (zh) 编解码方法、编解码设备、编解码系统以及计算机可读存储介质
WO2019225344A1 (ja) 符号化装置、画像補間システム及び符号化プログラム