TW202217742A - 影像品質提昇方法及使用該方法的影像處理裝置 - Google Patents

影像品質提昇方法及使用該方法的影像處理裝置 Download PDF

Info

Publication number
TW202217742A
TW202217742A TW109136487A TW109136487A TW202217742A TW 202217742 A TW202217742 A TW 202217742A TW 109136487 A TW109136487 A TW 109136487A TW 109136487 A TW109136487 A TW 109136487A TW 202217742 A TW202217742 A TW 202217742A
Authority
TW
Taiwan
Prior art keywords
image
model
convolutional network
order
network sub
Prior art date
Application number
TW109136487A
Other languages
English (en)
Other versions
TWI768517B (zh
Inventor
彭彥璁
黃莎涴
林明浩
吳晉賢
湯竣淋
Original Assignee
國立政治大學
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 國立政治大學 filed Critical 國立政治大學
Priority to TW109136487A priority Critical patent/TWI768517B/zh
Priority to US17/405,050 priority patent/US11948278B2/en
Publication of TW202217742A publication Critical patent/TW202217742A/zh
Application granted granted Critical
Publication of TWI768517B publication Critical patent/TWI768517B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/60—Image enhancement or restoration using machine learning, e.g. neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Processing (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Facsimile Image Signal Circuits (AREA)

Abstract

一種影像品質提昇方法及使用該方法的影像處理裝置。接收原始影像。利用濾波器對原始影像進行去雜訊濾波，而獲取初步處理影像。將初步處理影像輸入至多階卷積網路模型，而透過多階卷積網路模型產生優化影像。其中，前述多階卷積網路模型包括多個卷積網路子模型，且這些卷積網路子模型分別對應至不同網路架構。

Description

影像品質提昇方法及使用該方法的影像處理裝置
本發明是有關於一種影像處理技術，且特別是有關於一種影像品質提昇方法及使用該方法的影像處理裝置。
隨著科技的進步，現代人對於消費性電子產品之依賴性與日俱增，例如是具照相功能的可攜式電子裝置已漸成主流，且已成為現代人生活中不可或缺的工具。許多消費性電子產品皆具備照相功能，因此人們幾乎可隨時隨地進行拍照與攝影。具備照相功能的消費性電子產品皆設置有由感光元件構成的影像感測器，當這些感光元件或其他相關電子元件接收到影像訊號受到嚴重干擾時，影像會產生所謂的脈衝雜訊（Impulse noise）。其中，最常見的脈衝雜訊為椒鹽（salt-and-pepper）雜訊，椒鹽雜訊會在影像中隨機產生許多類似椒鹽的雜訊像素。
然而，隨著數位影像的應用越來越廣泛，影像品質也越來越受到重視，無論是國防、醫療、生活或交易等等應用，都會需要良好的影像品質來獲取正確的資訊。尤其是，對於需要依據數位影像提供相關應用服務的電腦視覺技術來說，良好的影像品質更為重要。由此可知，影像中的雜訊除了會降低影像品質，讓人無法清楚的看到影像內容之外，影像中的雜訊更會對影像分析處理與其他電腦視覺應用帶來相當不良的影響或引起錯誤判斷。基此，消除影像中的雜訊一直是一個相當重要的議題。
目前，已有眾多的影像去雜訊方法與相關演算法被提出來移除影像中的雜訊成份。這些影像去雜訊方法包括使用各式各樣的去雜訊濾波器對影像進行雜訊濾波。然而，無論是線性濾波器或非線性濾波器都可能會導致影像邊緣模糊或導致影像失真。此外，去雜訊濾波器的濾波遮罩尺寸也會直接影像去雜訊的結果。一般而言，當去雜訊濾波器的濾波遮罩尺寸較小時，對於高密度雜訊的去雜訊效果不好。反之，當去雜訊濾波器的濾波遮罩尺寸較大時，卻容易導致影像模糊化。此外，目前也有文獻提出使用卷積神經網路模型來消除影像雜訊，但其對於高密度雜訊的去雜訊效果不好。或者，也有文獻提出針對不同的雜訊密度訓練不同的卷積神經網路模型，但這也是相對不實際的作法。
有鑑於此，本發明提出一種影像品質提昇方法及使用該方法的影像處理裝置，其可消除影像雜訊並還原影像細節。
本發明實施例提供一種影像品質提昇方法，包括下列步驟：接收原始影像；利用濾波器對原始影像進行去雜訊濾波，而獲取初步處理影像；以及將初步處理影像輸入至多階卷積網路模型，而透過多階卷積網路模型產生優化影像。其中，前述多階卷積網路模型包括多個卷積網路子模型，且這些卷積網路子模型分別對應至不同網路架構。
本發明實施例提供一種影像處理裝置，其包括儲存電路與處理器。處理器耦接儲存電路，經配置以執行下列步驟：接收原始影像；利用濾波器對原始影像進行去雜訊濾波，而獲取初步處理影像；以及將初步處理影像輸入至多階卷積網路模型，而透過多階卷積網路模型產生優化影像。其中，前述多階卷積網路模型包括多個卷積網路子模型，且這些卷積網路子模型分別對應至不同網路架構。
基於上述，於本發明的實施例中，使用濾波器對原始影像進行初步的去雜訊處理，接著再使用包括多個卷積網路子模型的多階卷積網路模型修復影像邊緣與還原影像細節。藉此，對於具有高密度雜訊的原始影像，本發明可將影像雜訊消除並產生保留影像細節的優化影像。
為讓本發明的上述特徵和優點能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。
本發明的部份實施例接下來將會配合附圖來詳細描述，以下的描述所引用的元件符號，當不同附圖出現相同的元件符號將視為相同或相似的元件。這些實施例只是本發明的一部份，並未揭示所有本發明的可實施方式。更確切的說，這些實施例只是本發明的專利申請範圍中的方法與裝置的範例。
圖1是依照本發明一實施例的影像處理裝置的示意圖。影像處理裝置10包括儲存電路110以及處理器120。
儲存電路110用以儲存資料與供處理器120存取的程式碼（例如作業系統、應用程式、驅動程式）等資料，其可以例如是任意型式的固定式或可移動式隨機存取記憶體（random access memory，RAM）、唯讀記憶體（read-only memory，ROM）、快閃記憶體（flash memory）或其組合。
處理器120耦接儲存電路110，其中處理器120係為中央處理單元（central processing unit，CPU）、應用處理器（application processor，AP），或是其他可程式化之一般用途或特殊用途的微處理器（microprocessor）、數位訊號處理器（digital signal processor，DSP）、影像訊號處理器（image signal processor，ISP）、圖形處理器（graphics processing unit，GPU）或其他類似裝置、積體電路及其組合。處理器120可存取並執行記錄在儲存電路110中的程式碼與軟體元件，以實現本發明實施例中提昇影像品質方法。
在本實施例中，影像處理裝置10的儲存電路110中儲存有多個程式碼片段，在上述程式碼片段被安裝後，會由處理器120來執行。例如，儲存電路110中包括多個模組，藉由這些模組來分別執行應用於影像處理裝置10中的各個運作，其中各模組是由一或多個程式碼片段所組成。然而本發明不限於此，影像處理裝置10的各個運作也可以是使用其他硬體形式的方式來實現。
圖2是依照本發明一實施例的影像品質提昇方法的流程圖。圖3是依照本發明一實施例的影像品質提昇方法的示意圖。請參照圖1、圖2與圖3，本實施例的方式適用於上述實施例中的影像處理裝置10，以下即搭配影像處理裝置10中的各項元件說明本實施例之提昇影像品質方法的詳細步驟。
於步驟S201，處理器120接收原始影像Img_noise。於本實施例中，原始影像Img_noise可為包括雜訊的影像。於其他實施例中，原始影像可為需要進行影像修復（image inpainting）的影像，即影像中可能具有信息缺失區塊。
於步驟S202，處理器120利用濾波器對原始影像Img_noise進行去雜訊濾波，而獲取初步處理影像Img_oags。於此，處理器120可使用濾波遮罩在原始影像Img_noise中滑動，以識別出濾波遮罩內的雜訊像素，並可依據濾波遮罩內的其他非雜訊像素來去除雜訊像素。換言之，處理器120利用濾波器初步消除原始影像Img_noise中的雜訊並去除雜訊像素，從而產生初步處理影像Img_oags。
於本實施例中，濾波器包括重疊與自適應高斯平滑（Overlapped Adaptive Gaussian Smoothing）濾波器。透過可重疊的高斯濾波遮罩與適應性調整高斯濾波遮罩的尺寸，處理器120可利用非雜訊像素來去除雜訊像素。詳細而言，處理器120可先產生原始影像Img_noise的非雜訊圖（non-noise pixel map）。於原始影像Img_noise的非雜訊圖中，雜訊像素可表徵為“0”而非雜訊像素可表徵為“1”。於一實施例中，若預設遮罩中的非雜訊像素點過少，則處理器120將放大高斯濾波遮罩的尺寸。處理器120可依序利用具有不同遮罩尺寸的高斯濾波遮罩來針對原始影像Img_noise中的各雜訊像素產生多個還原結果，並將這些雜訊像素的還原結果進行平均處理，從而去除原始影像Img_noise中的雜訊像素並產生初步處理影像Img_oags。
然而，於其他實施例中，濾波器可實施為線性濾波器、非線性濾波器或自適應濾波器，例如均值濾波器、中值濾波器、加權中值濾波器、雙邊濾波器（Bilateral filter）等等。
於步驟S203，處理器120將初步處理影像Img_oags輸入至多階卷積網路模型M1，而透過多階卷積網路模型M1產生優化影像Img_f。於本實施例中，多階卷積網路模型M1包括多個卷積網路子模型Ms_1～Ms_n，且這些卷積網路子模型Ms_1～Ms_n分別對應至不同網路架構。具體而言，處理器120透過使用多階卷積網路模型M1來修復與還原初步處理影像Img_oags中的影像細節。這些卷積網路子模型Ms_1～Ms_n彼此依序串接且各自具有多個卷積層。基此，除了第一階之卷積網路子模型Ms_1的輸入影像為初步處理影像Img_oags，其他第二階至第n階之卷積網路子模型Ms_2～Ms_n的輸入影像皆為前一階之卷積網路子模型Ms_1～Ms_(n-1)所輸出的網路生成影像。像是，卷積網路子模型Ms_2的輸入影像為卷積網路子模型Ms_1所輸出的網路生成影像。透過這些卷積網路子模型Ms_1～Ms_n依序進行影像優化處理，最終，最後一級的卷積網路子模型Ms_n將可產生優化影像Img_f。
考量到不同網路架構的卷積網路子模型Ms_1～Ms_n的特色與優點有所差異，本發明串接多個不同網路架構的卷積網路子模型Ms_1～Ms_n。藉此，處理器120所產生的優化影像Img_f的去雜訊效果良好，且保留較多影像細節資訊並重現影像自然感。
需說明的是，基於卷積網路子模型Ms_1～Ms_n的串接關係，多階卷積網路模型M1中的卷積網路子模型Ms_1～Ms_n是同步進行訓練而建立的。此外，於一實施例中，於訓練多階卷積網路模型M1的過程中，卷積網路子模型Ms_1～Ms_n是基於多個損失函數同步進行訓練而產生。這些損失函數可分別用以監督不同階段的卷積網路子模型Ms_1～Ms_n，以準確建立出符合需求的多階卷積網路模型M1。
在一實施例中，處理器120在訓練階段會在多階卷積網路模型M1中加入損失層（Loss layer），損失層會分別比較每一卷積網路子模型Ms_1～Ms_n的網路生成影像與真實影像而依據對應的損失函數計算出多個損失值。處理器120可依據這些損失值來判斷多階卷積網路模型M1是否學習完成。此外，處理器120可依據這些損失值以倒傳遞的方式，逐一地由後往前，來調整多階卷積網路模型M1中的權重資料。在一實施例中，損失層只在訓練階段使用。當訓練階段完成後損失層可以被拿掉。
圖4是依照本發明一實施例的多階卷積網路模型的示意圖。請參照圖4，以三階之卷積網路子模型Ms_1～Ms_3（n＝3）為例，卷積網路子模型Ms_1～Ms_3可包括第一階之卷積網路子模型Ms_1、第二階卷之積網路子模型Ms_2與第三階之卷積網路子模型Ms_3。處理器120將初步處理影像Img_oags輸入至第一階之卷積網路子模型Ms_1，而透過第一階之卷積網路子模型Ms_1產生第一網路生成影像Img_1。第一網路生成影像Img_1輸入至第二階之卷積網路子模型Ms_2。亦即，處理器120將第一網路生成影像Img_1輸入至第二階之卷積網路子模型Ms_2，而透過第二階之卷積網路子模型Ms_2產生第二網路生成影像Img_2。接著，處理器120將第二網路生成影像Img_2輸入至第三階之卷積網路子模型Ms_3，而透第三階之卷積網路子模型Ms_3產生優化影像Img_f。
於一實施例中，第一階之卷積網路子模型Ms_1可為前處理卷積網路模型，其包括多層卷積層。卷積網路子模型Ms_1中的這些卷積層各自使用多個卷積核（Kernel）進行卷積運算。第二階之卷積網路子模型Ms_2可為殘差U-net（Residual U-net）模型。殘差U-net模型具有大小對應一致且中間有連接的編碼器層與解碼器層，殘差U-net模型的末端採用殘差學習策略，能夠更好地復原影像細節，並使影像銳化且避免過度擬合。第三階之卷積網路子模型Ms_3可為條件生成對抗網路（Conditional Generative Adversarial Network，cGAN）模型。於一實施例中，於條件生成對抗網路模型的訓練過程中，條件生成對抗網路模型具有生成器（Generator）與鑑別器（Discriminator）。透過生成器與鑑別器的交互訓練，鑑別器可引導生成器生成更接近真實影象的結果，可使生成器所產生的影像保留更多的影像細節且重現影像自然感。也就是說，於一實施例中，最終輸出的優化影像是由條件生成對抗網路模型的生成器來產生。
於本實施例中，基於卷積網路子模型Ms_1～Ms_3的串接關係，多階卷積網路模型M1中的卷積網路子模型Ms_1～Ms_3是基於一個多階損失函數同步進行訓練而建立的，而此多階損失函數包括多個損失函數的加權和。於本實施例中，用以組合出多階損失函數的損失函數可包括第一損失函數F1、第二損失函數F2，以及第三損失函數F3。第一損失函數F1是根據真實影像Img_t、第一網路生成影像Img_1與第二網路生成影像Img_2進行計算。此外，第二損失函數F2是根據真實影像Img_t、第二網路生成影像Img_2與優化影像Img_f進行計算，而第三損失函數F3是根據真實影像Img_t與優化影像Img_f進行計算。於是。透過加權加總第一損失函數F1、第二損失函數F2，以及第三損失函數F3的函數輸出L1～L3，可獲取多階損失函數的函數輸出。於一實施例中，第一損失函數F1可以是像素均方誤差（Mean square error，MSE）函數，其為網路生成影像的各像素與真實影像的各像素之間的均方誤差。第二損失函數F2可以是條件生成網路損失函數。第三損失函數F3可以是感知損失（perceptual loss）函數，例如內容損失函數。
圖5是依照本發明一實施例的影像品質提昇方法的示意圖。請參照圖5，於本實施例中，多階卷積網路模型50包括前處理卷積網路模型510、殘差U-net模型520，以及條件生成對抗網路模型530，而前處理卷積網路模型510、殘差U-net模型520，以及條件生成對抗網路模型530彼此依序串接。於本實施例中，透過使用重疊與自適應高斯平滑濾波器對原始影像
Figure 02_image001
進行去雜訊處理，可產生初步處理影像
Figure 02_image003
。
前處理卷積網路模型510可包括5層之卷積層510_1～510_5，但本發明不限制於此。卷積層510_1～510_5可使用多個n*n的卷積核（convolution kernel）進行卷積運算，例如3*3的卷積核。於本實施例中，卷積層510_1～510_5例如可使用修正線性函數（Rectified Linear Unit，ReLU）作為激勵函數。此外，除了第一層之卷積層510_1的輸入通道為3且第五層之卷積層510_5的輸出通道為3之外，其他層的輸出通道與輸入通道可例如為64。此外，卷積層510_1～510_5可具有等於1的滑動步幅（strides），並具有等於1的填充參數（padding）。卷積層510_1的輸出被饋送到卷積層510_2；卷積層510_2的輸出被饋送到卷積層510_3，依此類推。經過5層之卷積層510_1～510_5的卷積運算之後，前處理卷積網路模型510可輸出第一網路生成影像
Figure 02_image005
。
接著，殘差U-net模型520可包括編碼器層520_1～520_5、橋接層520_6，以及解碼器層520_7～520_11。在設置滑動步幅等於1且填充參數等於1的情下，編碼器層520_1～520_5、橋接層520_6以及解碼器層520_7～520_11可各自使用多個n*n的卷積核進行卷積運算，例如3*3的卷積核。編碼器層520_1～520_5、橋接層520_6以及解碼器層520_7～520_10例如可使用修正線性函數（ReLU）作為激勵函數。編碼器層520_2～520_5可執行非重疊池化操作，以防止模型過擬合。解碼器層520_7～520_10可透過例如雙線性插值法來執行上採樣操作。此外，編碼器層520_2～520_5、橋接層520_6以及解碼器層520_7～520_11可具有批量歸一化（Batch Normalization，BN）。需特別說明的是，基於殘差學習策略並為了保留編碼層520_2～520_5於池化操作中的丟失信息，第一網路生成影像
Figure 02_image007
與編碼層520_2～520_5的輸出會與後方層的輸出進行疊加或鏈接。經過編碼器層520_1～520_5、橋接層520_6，以及解碼器層520_7～520_11的卷積運算與其他相關操作之後，殘差U-net模型520可輸出第二網路生成影像
Figure 02_image009
。
然後，條件生成對抗網路模型530接收第二網路生成影像
Figure 02_image009
，並最終產生優化影像
Figure 02_image011
。需說明的是，圖5僅繪示出條件生成對抗網路模型530中的生成器。於本實施例中，條件生成對抗網路模型530的生成器可包括24層卷積層530_1～530_24，卷積層530_1～530_24使用多個卷積核各自進行卷積運算。此外，條件生成對抗網路模型530中的部份卷積層可使用殘差學習策略而組成9個殘差塊（ResNet Block），而將前層輸出結合至後層輸出。於本實施例中，一個殘差塊可包括兩層卷積層。此外，卷積層530_1～530_24可具有批量歸一化（batch normalization）。使用條件生成對抗網路模型530的相關細節可參照相關技術文獻（例如「 P. Isola, J. Zhu, T.Zhou, A. A. Efros, Image-to-Image translation with conditional adversarial networks, in: Proc. Conf. Computer Vision and Pattern Recognition, 2017 (2017)」），於此不另贅述。藉由條件生成對抗網路模型530的處理，優化影像
Figure 02_image011
可更為真實且自然。
值得一題的是，於本實施例中，多階卷積網路模型50中的前處理卷積網路模型510、殘差U-net模型520，以及條件生成對抗網路模型530是基於一多階損失函數進行訓練而建立。於一實施例中，此多階損失函數包括多個損失函數的加權和。於一實施例中，透過將真實影像以及前處理卷積網路模型510、殘差U-net模型520、條件生成對抗網路模型530各自輸出的影像輸入至多階損失函數，可產生一總損失值。隨後可基於最小化多階損失函數所產生的總損失值，以反向傳遞的方式，來調整多階卷積網路模型50中的權重資訊。
詳細而言，由於前處理卷積網路模型510、殘差U-net模型520，以及條件生成對抗網路模型530都可輸出一張完整的影像，因而前處理卷積網路模型510、殘差U-net模型520，以及條件生成對抗網路模型530的輸出影像可分別與真實影像進行比較而產生對應的損失值，從而依據這些損失值來迭代調整前處理卷積網路模型510、殘差U-net模型520，以及條件生成對抗網路模型530中的權重資訊。前述的權重資訊即為卷積核中的核元素值。 於本實施例中，於模型訓練過程中，在產生第一網路生成影像
Figure 02_image005
與第二網路生成影像
Figure 02_image009
之後，可使用下列公式(1)的第一損失函數F1計算損失值
Figure 02_image013
。
Figure 02_image015
公式(1) 其中，
Figure 02_image017
代表前處理卷積網路模型510於權重資訊為
Figure 02_image019
的條件下依據初步處理影像
Figure 02_image003
產生的輸出像素（即第一網路生成影像
Figure 02_image005
的像素），而
Figure 02_image021
代表殘差U-net模型520於權重資訊為
Figure 02_image023
的條件下依據第一網路生成影像
Figure 02_image005
產生的輸出像素即第二網路生成影像
Figure 02_image009
的像素），而
Figure 02_image025
代表真實影像的像素。
Figure 02_image027
代表對所有成對的
Figure 02_image029
(即模型輸出像素與其對應真實影像的像素)的期望值(平均值)。
此外，第二損失函數F2是條件生成對抗網路模型530的條件生成網路損失函數，條件生成網路損失函數包括一致性損失
Figure 02_image031
與對抗損失
Figure 02_image033
，如公式(2)所示。在產生優化影像
Figure 02_image011
之後，可使用下列公式(2)的第二損失函數計算損失值。
Figure 02_image035
公式(2) 其中，λ 1為一權重值，可依據實際狀況配置。一致性損失
Figure 02_image031
可依據下列公式(3)而產生，而對抗損失
Figure 02_image033
可依據下列公式(4)計算而產生。其中，公式(3)為平均絕對誤差(Mean Absolute Error，MAE)函數。公式(4)為交叉熵損失函數。
Figure 02_image037
公式(3)
Figure 02_image039
公式(4) 其中，
Figure 02_image025
代表真實影像的像素，
Figure 02_image041
代表條件生成對抗網路模型530於生成器的權重資訊為
Figure 02_image043
的條件下依據第二網路生成影像
Figure 02_image009
產生的輸出像素（即優化影像
Figure 02_image011
的像素）。條件生成對抗網路模型530的鑑別器的權重資訊為
Figure 02_image045
。
此外，第三損失函數F3是內容損失函數，如公式(5)所示。在產生優化影像
Figure 02_image011
之後，可使用下列公式(5)的第三損失函數F3計算損失值
Figure 02_image047
。
Figure 02_image049
公式(5) 其中，
Figure 02_image025
代表真實影像的像素。
Figure 02_image041
代表條件生成對抗網路模型530於生成器的權重資訊為
Figure 02_image043
的條件下依據第二網路生成影像
Figure 02_image009
產生的輸出像素（即優化影像
Figure 02_image011
的像素）。
Figure 02_image053
代表將真實影像與據第二網路生成影像
Figure 02_image009
分別輸入條件生成對抗網路模型530中，而條件生成對抗網路模型530中卷積層所產生的特徵圖。內容損失函數用以計算卷積層輸出的特徵圖的特徵差異性。
最後，本實施例的多階損失函數可如公式(6)所示。
Figure 02_image055
公式(6) 其中，λ 2與λ 3分別為權重值，可依據實際狀況配置。基此，透過公式(6)所示的多階損失函數來訓練本發明實施例的多階卷積網路模型50，可使得訓練完成的多階卷積網路模型50可依據包括雜訊成份或信息缺失區塊的影像產生保留有影像細節的優化影像。具體而言，第一損失函數F1可確保最後生成的優化影像的像素與真實資訊盡量貼近，第二損失函數F2可確保最後生成的優化影像具有高度自然感，而第三損失函數F3可確保最後生成的優化影像的感知內容盡量相似於真實資訊。
綜上所述，於本發明實施例中，使用濾波器對原始影像進行初步的去雜訊處理，接著再使用包括多個卷積網路子模型的多階卷積網路模型修復影像邊緣與還原影像細節。藉此，對於具有高密度雜訊的原始影像，本發明可將影像雜訊消除並產生保留影像細節的優化影像。此外，透過多階損失函數來同步訓練多階卷積網路模型中的各個卷積網路子模型，本發明實施例的多階卷積網路模型具有良好的去雜訊能力與圖像修復能力。另一方面，相較於直接將未經任何濾波處理的雜訊影像輸入至卷積網路模型來進行去雜訊，本發明實施例的多階卷積網路模型的訓練成本較低且去除雜訊效果良好，更不受限於雜訊密度，同時還原後的影像十分清晰擬真。
雖然本發明已以實施例揭露如上，然其並非用以限定本發明，任何所屬技術領域中具有通常知識者，在不脫離本發明的精神和範圍內，當可作些許的更動與潤飾，故本發明的保護範圍當視後附的申請專利範圍所界定者為準。
10:影像處理裝置 110:儲存電路 120:處理器 Img_noise:原始影像 Img_oags:初步處理影像 Img_f:優化影像 M1、50:多階卷積網路模型 Ms_1～Ms_n:卷積網路子模型 Img_1:第一網路生成影像 Img_2:第二網路生成影像 Img_t:真實影像 F1:第一損失函數 F2:第二損失函數 F3:第三損失函數 510:前處理卷積網路模型 520:殘差U-net模型 530:條件生成對抗網路模型 510_1～510_5:卷積層 520_1～520_5:編碼器層 520_6:橋接層 520_7～520_11:解碼器層 530_1～530_Q:卷積層 S201～S203:步驟
圖1是依照本發明一實施例的影像處理裝置的示意圖。 圖2是依照本發明一實施例的影像品質提昇方法的流程圖。 圖3是依照本發明一實施例的影像品質提昇方法的示意圖。 圖4是依照本發明一實施例的多階卷積網路模型的示意圖。 圖5是依照本發明一實施例的影像品質提昇方法的示意圖。
S201~S203:步驟

Claims (14)

  1. 一種影像品質提昇方法，所述方法包括： 接收一原始影像； 利用一濾波器對該原始影像進行去雜訊濾波，而獲取一初步處理影像；以及 將該初步處理影像輸入至多階卷積網路模型，而透過該多階卷積網路模型產生一優化影像，其中該多階卷積網路模型包括多個卷積網路子模型，且該些卷積網路子模型分別對應至不同網路架構。
  2. 如請求項1所述的影像品質提昇方法，其中該濾波器包括一重疊與自適應高斯平滑（Overlapped Adaptive Gaussian Smoothing）濾波器。
  3. 如請求項1所述的影像品質提昇方法，其中該些卷積網路子模型包括第一階之卷積網路子模型與第二階之卷積網路子模型，將該初步處理影像輸入至該多階卷積網路模型，而透過該多階卷積網路模型產生該優化影像的步驟包括： 將該初步處理影像輸入至該第一階之卷積網路子模型，而透過該第一階之卷積網路子模型產生一第一網路生成影像，其中該第一網路生成影像輸入至該第二階之卷積網路子模型。
  4. 如請求項3所述的影像品質提昇方法，其中該些卷積網路子模型更包括第三階之卷積網路子模型，將該初步處理影像輸入至該多階卷積網路模型，而透過該多階卷積網路模型產生該優化影像的步驟更包括： 將該第一網路生成影像輸入至該第二階之卷積網路子模型，而透過該第二階之卷積網路子模型產生一第二網路生成影像；以及 將該第二網路生成影像輸入至該第三階之卷積網路子模型，而透過該第三階之卷積網路子模型產生該優化影像。
  5. 如請求項4所述的影像品質提昇方法，其中該第一階之卷積網路子模型為前處理卷積網路模型，該第二階之卷積網路子模型為殘差U-net模型，該第三階之卷積網路子模型為條件生成對抗網路模型。
  6. 如請求項4所述的影像品質提昇方法，其中該些卷積網路子模型是基於一多階損失函數同步進行訓練而產生，且該多階損失函數包括多個損失函數的加權和。
  7. 如請求項6所述的影像品質提昇方法，其中該些損失函數包括第一損失函數、第二損失函數，以及第三損失函數，該第一損失函數是根據一真實影像、該第一網路生成影像與該第二網路生成影像進行計算，而該第二損失函數與第三損失函數是根據一真實影像與該優化影像進行計算。
  8. 一種影像處理裝置，包括： 一儲存電路； 一處理器，耦接至所述儲存電路，經配置以： 接收一原始影像； 利用一濾波器對該原始影像進行去雜訊濾波，而獲取一初步處理影像；以及 將該初步處理影像輸入至多階卷積網路模型，而透過該多階卷積網路模型產生一優化影像，其中該多階卷積網路模型包括多個卷積網路子模型，且該些卷積網路子模型分別對應至不同網路架構。
  9. 如請求項8所述的影像處理裝置，其中該濾波器包括一重疊與自適應高斯平滑（Overlapped Adaptive Gaussian Smoothing）濾波器。
  10. 如請求項8所述的影像處理裝置，其中該些卷積網路子模型包括第一階之卷積網路子模型與第二階之卷積網路子模型，該處理器經配置以： 將該初步處理影像輸入至該第一階之卷積網路子模型，而透過該第一階之卷積網路子模型產生一第一網路生成影像，其中該第一網路生成影像輸入至該第二階之卷積網路子模型。
  11. 如請求項10所述的影像處理裝置，其中該些卷積網路子模型更包括第三階之卷積網路子模型，該處理器經配置以： 將該第一網路生成影像輸入至該第二階之卷積網路子模型，而透過該第二階之卷積網路子模型產生一第二網路生成影像；以及 將該第二網路生成影像輸入至該第三階之卷積網路子模型，而透過該第三階之卷積網路子模型產生該優化影像。
  12. 如請求項11所述的影像處理裝置，其中該第一階卷積網路子模型為前處理卷積網路模型，該第二階之卷積網路子模型為殘差U-net模型，該第三階之卷積網路子模型為條件生成對抗網路模型。
  13. 如請求項11所述的影像處理裝置，其中該些卷積網路子模型是基於一多階損失函數同步進行訓練而產生，且該多階損失函數包括多個損失函數的加權和。
  14. 如請求項13所述的影像處理裝置，其中該些損失函數包括第一損失函數、第二損失函數，以及第三損失函數，該第一損失函數是根據一真實影像、該第一網路生成影像與該第二網路生成影像進行計算，而該第二損失函數與第三損失函數是根據一真實影像與該優化影像進行計算。
TW109136487A 2020-10-21 2020-10-21 影像品質提昇方法及使用該方法的影像處理裝置 TWI768517B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
TW109136487A TWI768517B (zh) 2020-10-21 2020-10-21 影像品質提昇方法及使用該方法的影像處理裝置
US17/405,050 US11948278B2 (en) 2020-10-21 2021-08-18 Image quality improvement method and image processing apparatus using the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW109136487A TWI768517B (zh) 2020-10-21 2020-10-21 影像品質提昇方法及使用該方法的影像處理裝置

Publications (2)

Publication Number Publication Date
TW202217742A true TW202217742A (zh) 2022-05-01
TWI768517B TWI768517B (zh) 2022-06-21

Family

ID=81185471

Family Applications (1)

Application Number Title Priority Date Filing Date
TW109136487A TWI768517B (zh) 2020-10-21 2020-10-21 影像品質提昇方法及使用該方法的影像處理裝置

Country Status (2)

Country Link
US (1) US11948278B2 (zh)
TW (1) TWI768517B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI799265B (zh) * 2022-05-12 2023-04-11 瑞昱半導體股份有限公司 超解析度裝置及方法

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115761242B (zh) * 2022-11-15 2023-09-19 山东财经大学 一种基于卷积神经网络和模糊图像特征的去噪方法及终端机

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10706348B2 (en) * 2016-07-13 2020-07-07 Google Llc Superpixel methods for convolutional neural networks
CN107464227A (zh) * 2017-08-24 2017-12-12 深圳市唯特视科技有限公司 一种基于深度神经网络进行去除反射和平滑图像的方法
EP3514733A1 (en) * 2018-01-18 2019-07-24 Aptiv Technologies Limited A device and a method for image classification using a convolutional neural network
US11379716B2 (en) * 2018-02-09 2022-07-05 Htc Corporation Method and electronic apparatus for adjusting a neural network
WO2020053837A1 (en) * 2018-09-13 2020-03-19 Spectrum Optix Inc. Photographic underexposure correction using a neural network
TWI692970B (zh) * 2018-10-22 2020-05-01 瑞昱半導體股份有限公司 影像處理電路及相關的影像處理方法
US10891537B2 (en) * 2019-03-20 2021-01-12 Huawei Technologies Co., Ltd. Convolutional neural network-based image processing method and image processing apparatus
KR20190119548A (ko) * 2019-10-02 2019-10-22 엘지전자 주식회사 이미지 노이즈 처리방법 및 처리장치

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI799265B (zh) * 2022-05-12 2023-04-11 瑞昱半導體股份有限公司 超解析度裝置及方法

Also Published As

Publication number Publication date
US20220122225A1 (en) 2022-04-21
TWI768517B (zh) 2022-06-21
US11948278B2 (en) 2024-04-02

Similar Documents

Publication Publication Date Title
CN107403415B (zh) 基于全卷积神经网络的压缩深度图质量增强方法及装置
Dong et al. Deep spatial–spectral representation learning for hyperspectral image denoising
CN110008817B (zh) 模型训练、图像处理方法、装置、电子设备及计算机可读存储介质
CN113658051B (zh) 一种基于循环生成对抗网络的图像去雾方法及系统
US10860929B2 (en) Machine-learning based video compression
TW202134997A (zh) 用於對影像進行去雜訊的方法、用於擴充影像資料集的方法、以及使用者設備
CN109325928A (zh) 一种图像重建方法、装置及设备
CN111091503A (zh) 基于深度学习的图像去失焦模糊方法
TWI768517B (zh) 影像品質提昇方法及使用該方法的影像處理裝置
CN110677651A (zh) 一种视频压缩方法
CN112164011B (zh) 基于自适应残差与递归交叉注意力的运动图像去模糊方法
CN111738952B (zh) 一种图像修复的方法、装置及电子设备
CN116681584A (zh) 一种多级扩散图像超分辨算法
CN113450290A (zh) 基于图像修补技术的低照度图像增强方法及系统
CN110992367B (zh) 对带有遮挡区域的图像进行语义分割的方法
CN113724136A (zh) 一种视频修复方法、设备及介质
Hai et al. Advanced retinexnet: a fully convolutional network for low-light image enhancement
CN109993701B (zh) 一种基于金字塔结构的深度图超分辨率重建的方法
CN114202460A (zh) 面对不同损伤图像的超分辨率高清重建方法和系统及设备
Liu et al. Facial image inpainting using multi-level generative network
CN113409216A (zh) 一种基于频带自适应修复模型的图像修复方法
CN115272131B (zh) 基于自适应多光谱编码的图像去摩尔纹系统及方法
CN115423697A (zh) 图像修复方法、终端及计算机存储介质
Cetinkaya et al. Image denoising using deep convolutional autoencoder with feature pyramids
CN113033616B (zh) 高质量视频重建方法、装置、设备及存储介质