TWI783834B - 超解析影像處理方法及其系統 - Google Patents
超解析影像處理方法及其系統 Download PDFInfo
- Publication number
- TWI783834B TWI783834B TW110148252A TW110148252A TWI783834B TW I783834 B TWI783834 B TW I783834B TW 110148252 A TW110148252 A TW 110148252A TW 110148252 A TW110148252 A TW 110148252A TW I783834 B TWI783834 B TW I783834B
- Authority
- TW
- Taiwan
- Prior art keywords
- frequency
- low
- feature
- resolution image
- block
- Prior art date
Links
Images
Landscapes
- Image Processing (AREA)
- Ultra Sonic Daignosis Equipment (AREA)
- Facsimile Image Signal Circuits (AREA)
Abstract
本發明提供一種超解析影像處理方法。小波轉換步驟根據小波轉換程序處理低解析影像以產生低頻低解析影像與高頻低解析影像。低頻成像步驟根據低頻網路模型處理低頻低解析影像以產生低頻超解析影像。特徵傳輸步驟傳輸第i低頻深層特徵至高頻網路模型。高頻成像步驟輸入高頻低解析影像至高頻網路模型以提取高頻淺層特徵並根據第i高頻殘差子區塊與第i細節增強區塊處理高頻淺層特徵與第i低頻深層特徵以產生高頻超解析影像。逆小波轉換步驟根據逆小波轉換程序重組低頻超解析影像與高頻超解析影像為超解析影像。藉此，增強影像邊緣和細節。
Description
本發明是關於一種影像處理方法及其系統，特別是關於一種專注於高頻網路模型之超解析影像處理方法及其系統。
超解析度(Super-Resolution；SR)成像是透過學習或是重建的方式把單張或是多張的低解析度影像，還原成一張具有高品質且富有豐富細節資訊的一種高解析度影像技術。然而，習知的超解析度成像僅考慮提高影像的解析度，但在許多自然圖像中仍無法有效地還原影像特定區塊的細節。在影像進行預處理時，除了很難取得有效的高頻資訊之外，圖像的高頻細節在網路訓練的過程中很容易消失，導致超解析影像趨於平滑。即使習知的超解析度成像提出其他訓練方式能加強超解析影像的高頻邊緣，但仍無法有效地重構影像細節和提取高頻資訊，導致重建的超解析影像的高頻邊緣和紋理細節扭曲且不真實。
有鑑於此，針對習知的超解析度成像所存在之問題點，如何建立一種專注於高頻網路模型之超解析影像處理方法及其系統，實為民眾所殷切企盼，亦係相關業者須努力研發突破之目標及方向。
因此，本發明之目的在於提供一種超解析影像處理方法及其系統，其用以增強影像邊緣和紋理細節。本發明建立出一個新穎的網路架構並稱其為一細節增強小波殘差網路(Detail-Enhanced Wavelet Residual Network；DeWRNet)。DeWRNet透過高頻細節增強(Detail Enhancement；DE)機制和聯合損失函數在訓練的過程中有效地保留高頻資訊，進而避免超解析影像顯示出不真實的紋理細節。此外，本發明相較於習知的超解析度成像更加關注高頻網路的強化和恢復能力。DeWRNet傳遞資訊較多的低頻網路至資訊較少的高頻網路進行訓練，使超解析影像產生真實的影像細節，並具有出色的視覺呈現和感知，尤其是在圖像邊界和紋理細節方面。
依據本發明的一實施方式提供一種超解析影像處理方法，其用以轉換一低解析影像為一超解析影像。超解析影像處理方法包含一小波轉換步驟、一低頻成像步驟、一特徵傳輸步驟、一高頻成像步驟及一逆小波轉換步驟。小波轉換步驟係驅動一處理單元根據一小波轉換程序處理低解析影像以產生一低頻低解析影像與一高頻低解析影像。低頻成像步驟包含驅動處理單元根據一低頻網路模型處理低頻低解析影像以產生一第i低頻深層特徵與一低頻超解析影像。特徵傳輸步驟係驅動處理單元將第i低頻深層特徵傳輸至一高頻網路模型之一第i高頻殘差子區塊與一第i細節增強區塊。高頻成像步驟包含驅動處理單元輸入高頻低解析影像至高頻網路模型以提取一高頻淺層特徵，並根據第i高頻殘差子區塊與第i細節增強區塊處理高頻淺層特徵與第i低頻深層特徵以產生一高頻超解析影像。逆小波轉換步驟係驅動處理單元根據一逆小波轉換程序重組低頻超解析影像與高頻超解析影像為超解析影像。其中，i=1~B，i與B均為正整數。
藉此，本發明的超解析影像處理方法藉由傳輸第i低頻深層特徵至第i高頻殘差子區塊以重建出高頻超解析影像，達到恢復和增強高頻細節。
前述實施方式之其他實施例如下：前述低頻網路模型可包含一第一卷積層、一第二卷積層、一第三卷積層、一上採樣區塊及一第i低頻殘差子區塊。低頻成像步驟可更包含一淺層特徵提取步驟、一深層特徵提取步驟、一最終深層特徵產生步驟及一特徵處理步驟。淺層特徵提取步驟係驅動處理單元輸入低頻低解析影像至第一卷積層以提取一低頻淺層特徵。深層特徵提取步驟係驅動處理單元輸入低頻淺層特徵至第1低頻殘差子區塊以提取第1低頻深層特徵，且相加低頻淺層特徵與一第j低頻深層特徵以產生一第j混合特徵，然後輸入第j混合特徵至一第j+1低頻殘差子區塊以提取一第j+1低頻深層特徵，其中j=1~(B-1)，j為正整數。最終深層特徵產生步驟係驅動處理單元根據第二卷積層處理低頻淺層特徵與第B低頻深層特徵以產生一最終深層特徵。特徵處理步驟係驅動處理單元根據上採樣區塊與第三卷積層處理低頻淺層特徵與最終深層特徵以產生低頻超解析影像。
前述實施方式之其他實施例如下：於前述低頻成像步驟中，低頻淺層特徵表示為
，第1低頻殘差子區塊表示為
，一第i–1低頻殘差子區塊表示為
，第i低頻殘差子區塊表示為
，第i低頻深層特徵表示為
，其符合下式：
。
前述實施方式之其他實施例如下：前述高頻網路模型可包含一第一卷積層、二第二卷積層、一第三卷積層、一連接層、一上採樣區塊及第i高頻殘差子區塊。高頻成像步驟可更包含一淺層特徵提取步驟、一深層特徵提取步驟、一最終深層特徵產生步驟及一特徵處理步驟。淺層特徵提取步驟係驅動處理單元輸入高頻低解析影像至第一卷積層以提取高頻淺層特徵。深層特徵提取步驟包含驅動處理單元輸入高頻淺層特徵至第1高頻殘差子區塊以提取一第1高頻深層特徵，且輸入一第j複合特徵至一第j+1高頻殘差子區塊以提取一第j+1高頻深層特徵，其中j=1~(B-1)，j為正整數，且深層特徵提取步驟更包含一增強特徵產生步驟與一特徵疊加步驟。增強特徵產生步驟係驅動處理單元傳輸一第i高頻深層特徵至第i細節增強區塊，並根據第i細節增強區塊處理第i低頻深層特徵與第i高頻深層特徵以產生第i增強特徵。特徵疊加步驟係驅動處理單元於第i高頻殘差子區塊中疊加第i高頻深層特徵、第i低頻深層特徵及第i增強特徵以產生一第i複合特徵。最終深層特徵產生步驟係驅動處理單元根據連接層及二第二卷積層處理第B複合特徵以產生一最終深層特徵。特徵處理步驟係驅動處理單元根據上採樣區塊與第三卷積層處理高頻淺層特徵與最終深層特徵以產生高頻超解析影像。
前述實施方式之其他實施例如下：於前述高頻成像步驟中，高頻淺層特徵表示為
，第1高頻殘差子區塊表示為
，第1低頻殘差子區塊表示為
，一第i–1低頻殘差子區塊表示為
，一第i–1高頻殘差子區塊表示為
，第i高頻殘差子區塊表示為
，第i低頻深層特徵表示為
，第i增強特徵表示為
，第i複合特徵表示為
，其符合下式：
。
前述實施方式之其他實施例如下：前述處理單元可根據第i細節增強區塊從第i低頻深層特徵與第i高頻深層特徵中提取一最大特徵值與一總和特徵值。處理單元可根據一1*1卷積運算與一激活函數處理最大特徵值與總和特徵值以產生第i增強特徵。
依據本發明的另一實施方式提供一種超解析影像處理系統，其用以轉換一低解析影像為一超解析影像。超解析影像處理系統包含一儲存單元以及一處理單元。儲存單元用以存取低解析影像、一小波轉換程序、一低頻網路模型、一高頻網路模型、一第i細節增強區塊及一逆小波轉換程序，其中高頻網路模型包含一第i高頻殘差子區塊。處理單元連接儲存單元，並經配置以實施一小波轉換步驟、一低頻成像步驟、一特徵傳輸步驟、一高頻成像步驟及一逆小波轉換步驟。小波轉換步驟係根據小波轉換程序處理低解析影像以產生一低頻低解析影像與一高頻低解析影像。低頻成像步驟包含根據低頻網路模型處理低頻低解析影像以產生一第i低頻深層特徵與一低頻超解析影像。特徵傳輸步驟係將第i低頻深層特徵傳輸至第i高頻殘差子區塊與第i細節增強區塊。高頻成像步驟包含輸入高頻低解析影像至高頻網路模型以提取一高頻淺層特徵，並根據第i高頻殘差子區塊與第i細節增強區塊處理高頻淺層特徵與第i低頻深層特徵以輸出一高頻超解析影像。逆小波轉換步驟係根據逆小波轉換程序重組低頻超解析影像與高頻超解析影像為超解析影像。其中，i=1~B，i與B均為正整數。
藉此，本發明的超解析影像處理系統藉由傳輸第i低頻深層特徵至第i高頻殘差子區塊以重建出高頻超解析影像，達到恢復和增強高頻細節。
前述實施方式之其他實施例如下：前述低頻網路模型可包含一第一卷積層、一第二卷積層、一第三卷積層、一上採樣區塊及一第i低頻殘差子區塊。低頻成像步驟可更包含一淺層特徵提取步驟、一深層特徵提取步驟、一最終深層特徵產生步驟及一特徵處理步驟。淺層特徵提取步驟係驅動處理單元輸入低頻低解析影像至第一卷積層以提取一低頻淺層特徵。深層特徵提取步驟係驅動處理單元輸入低頻淺層特徵至第1低頻殘差子區塊以提取第1低頻深層特徵，且相加低頻淺層特徵與一第j低頻深層特徵以產生一第j混合特徵，然後輸入第j混合特徵至一第j+1低頻殘差子區塊以提取一第j+1低頻深層特徵，其中j=1~(B-1)，j為正整數。最終深層特徵產生步驟係驅動處理單元根據第二卷積層處理低頻淺層特徵與第B低頻深層特徵以產生一最終深層特徵。特徵處理步驟係驅動處理單元根據上採樣區塊與第三卷積層處理低頻淺層特徵與最終深層特徵以產生低頻超解析影像。
前述實施方式之其他實施例如下：於前述低頻成像步驟中，低頻淺層特徵表示為
，第1低頻殘差子區塊表示為
，一第i–1低頻殘差子區塊表示為
，第i低頻殘差子區塊表示為
，第i低頻深層特徵表示為
，其符合下式：
。
前述實施方式之其他實施例如下：前述高頻網路模型可包含一第一卷積層、二第二卷積層、一第三卷積層、一連接層、一上採樣區塊及第i高頻殘差子區塊。高頻成像步驟可更包含一淺層特徵提取步驟、一深層特徵提取步驟、一最終深層特徵產生步驟及一特徵處理步驟。淺層特徵提取步驟係驅動處理單元輸入高頻低解析影像至第一卷積層以提取高頻淺層特徵。深層特徵提取步驟包含驅動處理單元輸入高頻淺層特徵至第1高頻殘差子區塊以提取一第1高頻深層特徵，且輸入一第j複合特徵至一第j+1高頻殘差子區塊以提取一第j+1高頻深層特徵，其中j=1~(B-1)，j為正整數，且深層特徵提取步驟更包含一增強特徵產生步驟與一特徵疊加步驟。增強特徵產生步驟係驅動處理單元傳輸一第i高頻深層特徵至第i細節增強區塊，並根據第i細節增強區塊處理第i低頻深層特徵與第i高頻深層特徵以產生第i增強特徵。特徵疊加步驟係驅動處理單元於第i高頻殘差子區塊中疊加第i高頻深層特徵、第i低頻深層特徵及第i增強特徵以產生一第i複合特徵。最終深層特徵產生步驟係驅動處理單元根據連接層及二第二卷積層處理第B複合特徵以產生一最終深層特徵。特徵處理步驟係驅動處理單元根據上採樣區塊與第三卷積層處理高頻淺層特徵與最終深層特徵以產生高頻超解析影像。
前述實施方式之其他實施例如下：於前述高頻成像步驟中，高頻淺層特徵表示為
，第1高頻殘差子區塊表示為
，第1低頻殘差子區塊表示為
，一第i–1低頻殘差子區塊表示為
，一第i–1高頻殘差子區塊表示為
，第i高頻殘差子區塊表示為
，第i低頻深層特徵表示為
，第i增強特徵表示為
，第i複合特徵表示為
，其符合下式：
。
前述實施方式之其他實施例如下：前述處理單元可根據第i細節增強區塊從第i低頻深層特徵與第i高頻深層特徵中提取一最大特徵值與一總和特徵值。處理單元可根據一1*1卷積運算與一激活函數處理最大特徵值與總和特徵值以產生第i增強特徵。
以下將參照圖式說明本發明之複數個實施例。為明確說明起見，許多實務上的細節將在以下敘述中一併說明。然而，應瞭解到，這些實務上的細節不應用以限制本發明。也就是說，在本發明部分實施例中，這些實務上的細節是非必要的。此外，為簡化圖式起見，一些習知慣用的結構與元件在圖式中將以簡單示意的方式繪示之；並且重複之元件將可能使用相同的編號表示之。
此外，本文中當某一元件(或單元或模組等)「連接/連結」於另一元件，可指所述元件是直接連接/連結於另一元件，亦可指某一元件是間接連接/連結於另一元件，意即，有其他元件介於所述元件及另一元件之間。而當有明示某一元件是「直接連接/連結」於另一元件時，才表示沒有其他元件介於所述元件及另一元件之間。而第一、第二、第三等用語只是用來描述不同元件，而對元件本身並無限制，因此，第一元件亦可改稱為第二元件。且本文中之元件/單元/電路之組合非此領域中之一般周知、常規或習知之組合，不能以元件/單元/電路本身是否為習知，來判定其組合關係是否容易被技術領域中之通常知識者輕易完成。
請一併參照第1圖與第2圖，其中第1圖係繪示依照本發明一第一實施例的一超解析影像處理方法100的流程示意圖，第2圖係繪示本發明第一實施例的超解析影像處理方法100的一細節增強小波殘差網路110(Detail-Enhanced Wavelet Residual Network；DeWRNet)的示意圖。如圖所示，超解析影像處理方法100利用細節增強小波殘差網路110轉換一低解析影像I
LR為一超解析影像I
SR，且包含一小波轉換步驟S02、一低頻成像步驟S04、一特徵傳輸步驟S06、一高頻成像步驟S08以及一逆小波轉換步驟S10。另外，細節增強小波殘差網路110包含一小波轉換程序111、一低頻網路模型112、一高頻網路模型113、一細節增強模型114以及一逆小波轉換程序115。
小波轉換步驟S02係驅動一處理單元根據一小波轉換程序111處理低解析影像I
LR以產生一低頻低解析影像I
LRLF與一高頻低解析影像I
LRHF。低頻成像步驟S04包含驅動處理單元根據一低頻網路模型112處理低頻低解析影像I
LRLF以產生一第i低頻深層特徵與一低頻超解析影像I
SRLF，其中i=1~B，且i與B均為正整數。特徵傳輸步驟S06係驅動處理單元將低頻網路模型112所產生的第i低頻深層特徵傳輸至一高頻網路模型113內部的一第i高頻殘差子區塊與細節增強模型114內部的一第i細節增強區塊。高頻成像步驟S08包含驅動處理單元輸入高頻低解析影像I
LRHF至高頻網路模型113以提取一高頻淺層特徵F
HF1，並根據第i高頻殘差子區塊與第i細節增強區塊處理高頻淺層特徵F
HF1與第i低頻深層特徵以產生一高頻超解析影像I
SRHF。逆小波轉換步驟S10係驅動處理單元根據一逆小波轉換程序115重組低頻超解析影像I
SRLF與高頻超解析影像I
SRHF為超解析影像I
SR。以下段落將配合圖式以詳細說明本發明之超解析影像處理方法100之運作機制。
請接續參照第1圖與第2圖。小波轉換程序111可為一穩定小波轉換(Stationary Wavelet Transform；SWT)。於小波轉換步驟S02中，小波轉換程序111利用低通濾波器和高通濾波器對低解析影像I
LR進行水平分解(rows)與垂直分解(columns)以產生4個不同頻率的頻帶。4個頻帶分別為第2圖中的低頻低解析影像I
LRLF及3個高頻子影像LH、HL、HH，其中高頻子影像LH、HL、HH即為高頻低解析影像I
LRHF。詳細地說，低頻低解析影像I
LRLF具有低解析影像I
LR的平滑部分，高頻子影像LH、HL、HH具有低解析影像I
LR的垂直細節、水平細節及對角細節。另一方面，逆小波轉換程序115係為小波轉換程序111的反向程序，其主要用以對低頻超解析影像I
SRLF與高頻超解析影像I
SRHF進行一反哈爾小波轉換；換言之，逆小波轉換程序115將低頻超解析影像I
SRLF與高頻超解析影像I
SRHF所對應的小波係數由頻率域轉回空間域，以重組成超解析影像I
SR。
請一併參照第1圖至第3圖，其中第3圖係繪示第1圖的超解析影像處理方法100的低頻成像步驟S04的流程示意圖。於第一實施例中，B為3，i=1~3。低頻網路模型112可包含一第一卷積層C
1、一第二卷積層C
2、一第三卷積層C
3、一上採樣區塊UB、一第1低頻殘差子區塊SLRB
1、一第2低頻殘差子區塊SLRB
2及一第3低頻殘差子區塊SLRB
3。低頻成像步驟S04可更包含一淺層特徵提取步驟S041、一深層特徵提取步驟S042、一最終深層特徵產生步驟S043及一特徵處理步驟S044。
淺層特徵提取步驟S041係驅動處理單元輸入低頻低解析影像I
LRLF至第一卷積層C
1以提取一低頻淺層特徵F
LF1。深層特徵提取步驟S042係驅動處理單元輸入低頻淺層特徵F
LF1至第1低頻殘差子區塊SLRB
1以提取第1低頻深層特徵F
SL1，且相加低頻淺層特徵F
LF1與一第j低頻深層特徵以產生一第j混合特徵，然後輸入第j混合特徵至一第j+1低頻殘差子區塊以提取一第j+1低頻深層特徵，其中j=1~(B-1)，j為正整數。詳細地說，於深層特徵提取步驟S042中，處理單元相加低頻淺層特徵F
LF1與第1低頻深層特徵F
SL1以產生一第1混合特徵MF
1，然後輸入第1混合特徵MF
1至一第2低頻殘差子區塊SLRB
2以提取一第2低頻深層特徵F
SL2。依此類推，處理單元輸入第2混合特徵MF
2至第3低頻殘差子區塊SLRB
3以提取第3低頻深層特徵F
SL3。最終深層特徵產生步驟S043係驅動處理單元根據第二卷積層C
2處理由低頻淺層特徵F
LF1與第3低頻深層特徵F
SL3相加後的一第3混合特徵MF
3以產生一最終深層特徵F
LF2。特徵處理步驟S044係驅動處理單元根據上採樣區塊UB與第三卷積層C
3處理由低頻淺層特徵F
LF1與最終深層特徵F
LF2相加後的一加總深層特徵(未另標號)以產生低頻超解析影像I
SRLF；換言之，處理單元利用上採樣區塊UB與第三卷積層C
3對加總深層特徵進行尺度放大及通道調整還原出低頻超解析影像I
SRLF。
此外，於低頻成像步驟S04中，低頻淺層特徵F
LF1可表示為
，第1低頻殘差子區塊SLRB
1可表示為
，第2低頻殘差子區塊可表示為
，第3低頻殘差子區塊SLRB
3可表示為
，第3低頻深層特徵F
SL3可表示為
且其符合下列式子(1)：
(1)。
詳細地說，低頻網路模型112主要專注在學習低頻低解析影像I
LRLF的內容和紋理。
代表第1低頻殘差子區塊SLRB
1透過自身內部的3*3卷積運算和激勵函數(PReLU)對低頻淺層特徵F
LF1進行複合運算而產生第1低頻深層特徵F
SL1；同理，其他低頻殘差子區塊的複合運算不另贅述。
請一併參照第1圖至第4圖，其中第4圖係繪示第1圖的超解析影像處理方法100的高頻成像步驟S08的流程示意圖。如圖所示，高頻網路模型113可包含一第一卷積層C
1、二第二卷積層C
2、一第三卷積層C
3、一連接層L(Concat)、一上採樣區塊UB、一第1高頻殘差子區塊SHRDB
1、一第2高頻殘差子區塊SHRDB
2及一第3高頻殘差子區塊SHRDB
3。細節增強模型114可包含一第1細節增強區塊DE
1、一第2細節增強區塊DE
2及一第3細節增強區塊DE
3。於特徵傳輸步驟S06中，處理單元將第1低頻深層特徵F
SL1傳輸至第1高頻殘差子區塊SHRDB
1與第1細節增強區塊DE
1；同理，其他低頻深層特徵的傳輸不另贅述。此外，高頻成像步驟S08可更包含一淺層特徵提取步驟S081、一深層特徵提取步驟S082、一最終深層特徵產生步驟S083及一特徵處理步驟S084。
淺層特徵提取步驟S081係驅動處理單元輸入高頻低解析影像I
LRHF至第一卷積層C
1以提取高頻淺層特徵F
HF1。深層特徵提取步驟S082包含驅動處理單元輸入高頻淺層特徵F
HF1至第1高頻殘差子區塊SHRDB
1以提取一第1高頻深層特徵F
SH1，且輸入一第j複合特徵至一第j+1高頻殘差子區塊以提取一第j+1高頻深層特徵，其中j=1~(B-1)，j為正整數。詳細地說，於深層特徵提取步驟S082中，處理單元輸入一第1複合特徵CF
1至一第2高頻殘差子區塊SHRDB
2以提取一第2高頻深層特徵F
SH2。依此類推，處理單元輸入一第2複合特徵CF
2至一第3高頻殘差子區塊SHRDB
3以提取一第3高頻深層特徵F
SH3。具體而言，深層特徵提取步驟S082可更包含一增強特徵產生步驟S0821與一特徵疊加步驟S0822。增強特徵產生步驟S0821係驅動處理單元傳輸第1高頻深層特徵F
SH1至第1細節增強區塊DE
1，並根據第1細節增強區塊DE
1處理第1低頻深層特徵F
SL1與第1高頻深層特徵F
SH1以產生一第1增強特徵F
DE1。依此類推，處理單元產生一第2增強特徵F
DE2與一第3增強特徵F
DE3。特徵疊加步驟S0822係驅動處理單元於第1高頻殘差子區塊SHRDB
1中疊加第1高頻深層特徵F
SH1、第1低頻深層特徵F
SL1及第1增強特徵F
DE1以產生前述的第1複合特徵CF
1。依此類推，處理單元分別於第2高頻殘差子區塊SHRDB
2與第3高頻殘差子區塊SHRDB
3中產生前述的第2複合特徵CF
2與一第3複合特徵CF
3。最終深層特徵產生步驟S083係驅動處理單元根據連接層L及二第二卷積層C
2處理第3複合特徵CF
3以產生一最終深層特徵F
HF2。特徵處理步驟S084係驅動處理單元根據上採樣區塊UB與第三卷積層C
3處理由高頻淺層特徵F
HF1與最終深層特徵F
HF2以產生高頻超解析影像I
SRHF。
此外，於高頻成像步驟S08中，高頻淺層特徵F
HF1表示為
，第1高頻殘差子區塊SHRDB
1表示為
，第1低頻殘差子區塊SLRB
1表示為
，第2低頻殘差子區塊SLRB
2表示為
，第2高頻殘差子區塊SHRDB
2表示為
，第3高頻殘差子區塊表示為
，第3低頻深層特徵F
SL3表示為
，第3增強特徵F
DE3表示為
，第3複合特徵CF
3表示為
，其符合下列式子(2)：
(2)。
詳細地說，高頻網路模型113主要專注在銳化高頻低解析影像I
LRHF的內容和細節。
代表第1高頻殘差子區塊SHRDB
1透過自身內部的3*3卷積運算和激勵函數(PReLU)對高頻淺層特徵F
HF1進行複合運算而產生第1高頻深層特徵F
SH1。第1高頻深層特徵F
SH1、第1低頻深層特徵F
SL1及第1增強特徵F
DE1疊加成第1複合特徵CF
1。接續地，
代表第2高頻殘差子區塊SHRDB
2透過自身內部的3*3卷積運算和激勵函數對第1複合特徵CF
1進行複合運算而產生第1高頻深層特徵F
SH1；同理，第3高頻殘差子區塊SHRDB
3的複合運算不另贅述。
請一併參照第1圖至第5圖，其中第5圖係繪示第2圖的細節增強小波殘差網路110的第1細節增強區塊DE
1的示意圖。於增強特徵產生步驟S0821中，處理單元可根據第1細節增強區塊DE
1從第1低頻深層特徵F
SL1與第1高頻深層特徵F
SH1中提取一最大特徵值F
max與一總和特徵值F
sum，然後處理單元可根據一1*1卷積運算1*1conv與一激活函數Sigmoid處理最大特徵值F
max與總和特徵值F
sum以產生第1增強特徵F
DE1。詳細地說，於第1細節增強區塊DE
1中，處理單元首先連接第1低頻深層特徵F
SL1與第1高頻深層特徵F
SH1，並從特徵維度中取出最大特徵值F
max與總和特徵值F
sum，其中高度H和寬度W爲空間維度，通道C爲通道維度。接續地，處理單元將最大特徵值F
max與總和特徵值F
sum組合起來，並進行1*1卷積運算1*1conv而得到特徵權重，再藉由激活函數Sigmoid對特徵權重運算出一收斂結果，然後將收斂結果相乘第1高頻深層特徵F
SH1以產生第1增強特徵F
DE1。依此類推，由第2細節增強區塊DE
2與第3細節增強區塊DE
3分別輸出第2增強特徵F
DE2與第3增強特徵F
DE3，且本發明不限定特徵圖之尺寸(H*W*C)。
藉此，本發明的超解析影像處理方法100在第3高頻殘差子區塊SHRDB
3重建高頻細節(即第3複合特徵CF
3)時，不只使用第3高頻深層特徵F
SH3，還提供了第3低頻深層特徵F
SL3與第3增強特徵F
DE3，使得高頻超解析影像I
SRHF同時擁有低頻紋理和高頻細節。因此，本發明相較於習知的超解析度成像，超解析影像I
SR具有出色的視覺呈現和感知，尤其是在圖像邊界和紋理細節方面。於其他實施例中，本發明的低頻殘差子區塊與高頻殘差子區塊的數量均可為16(即B為16，i=1~16)，進而在耗費最少資源前提下，使超解析影像I
SR具有最佳的影像品質，但本發明不以區塊數量為限。
請一併參閱第1圖至第6圖，其中第6圖係繪示依照本發明一第二實施例的超解析影像處理系統200的方塊示意圖。如圖所示，超解析影像處理系統200用以轉換低解析影像I
LR為超解析影像I
SR，且包含一儲存單元210以及一處理單元220。儲存單元210用以存取低解析影像I
LR、一小波轉換程序211、一低頻網路模型212、一高頻網路模型213、一細節增強模型214及一逆小波轉換程序215。處理單元220電性連接儲存單元210，並經配置以實施超解析影像處理方法100，其中處理單元220可為一數位訊號處理器(Digital Signal Processor；DSP)、一微處理器(Micro Processing Unit；MPU)、一中央處理器(Central Processing Unit；CPU)或其他電子處理器。第二實施例的儲存單元210所存取的程序和模型以及處理單元220均與第一實施例的對應元件相同。藉此，本發明的超解析影像處理系統200藉由從低頻網路模型212傳輸第i低頻深層特徵至第i高頻殘差子區塊(i=1~3)以重建出前述的高頻超解析影像I
SRHF，達到恢復和增強高頻細節。
雖然本發明已以實施例揭露如上，然其並非用以限定本發明，任何熟習此技藝者，在不脫離本發明之精神和範圍內，當可作各種之更動與潤飾，因此本發明之保護範圍當視後附之申請專利範圍所界定者為準。
100:超解析影像處理方法
110:細節增強小波殘差網路
111,211:小波轉換程序
112,212:低頻網路模型
113,213:高頻網路模型
114,214:細節增強模型
115,215:逆小波轉換程序
200:超解析影像處理系統
210:儲存單元
220:處理單元
S02:小波轉換步驟
S04:低頻成像步驟
S041,S081:淺層特徵提取步驟
S042,S082:深層特徵提取步驟
S043,S083:最終深層特徵產生步驟
S044,S084:特徵處理步驟
S06:特徵傳輸步驟
S08:高頻成像步驟
S0821:增強特徵產生步驟
S0822:特徵疊加步驟
S10:逆小波轉換步驟
I
LR:低解析影像
I
SR:超解析影像
I
LRLF:低頻低解析影像
I
LRHF:高頻低解析影像
I
SRLF:低頻超解析影像
I
SRHF:高頻超解析影像
LH,HL,HH:高頻子影像
C
1:第一卷積層
C
2:第二卷積層
C
3:第三卷積層
L:連接層
UB:上採樣區塊
SLRB
1:第1低頻殘差子區塊
SLRB
2:第2低頻殘差子區塊
SLRB
3:第3低頻殘差子區塊
SHRDB
1:第1高頻殘差子區塊
SHRDB
2:第2高頻殘差子區塊
SHRDB
3:第3高頻殘差子區塊
DE
1:第1細節增強區塊
DE
2:第2細節增強區塊
DE
3:第3細節增強區塊
F
LF1:低頻淺層特徵
F
HF1:高頻淺層特徵
F
SL1:第1低頻深層特徵
F
SL2:第2低頻深層特徵
F
SL3:第3低頻深層特徵
F
SH1:第1高頻深層特徵
F
SH2:第2高頻深層特徵
F
SH3:第3高頻深層特徵
F
DE1:第1增強特徵
F
DE2:第2增強特徵
F
DE3:第3增強特徵
F
LF2,F
HF2:最終深層特徵
F
max:最大特徵值
F
sum:總和特徵值
MF
1:第1混合特徵
MF
2:第2混合特徵
MF
3:第3混合特徵
CF
1:第1複合特徵
CF
2:第2複合特徵
CF
3:第3複合特徵
1*1conv:1*1卷積運算
Sigmoid:激活函數
H:高度
W:寬度
C:通道
為讓本發明之上述和其他目的、特徵、優點與實施例能更明顯易懂，所附圖式之說明如下：
第1圖係繪示依照本發明一第一實施例的一超解析影像處理方法的流程示意圖；
第2圖係繪示本發明第一實施例的超解析影像處理方法的一細節增強小波殘差網路的示意圖；
第3圖係繪示第1圖的超解析影像處理方法的一低頻成像步驟的流程示意圖；
第4圖係繪示第1圖的超解析影像處理方法的一高頻成像步驟的流程示意圖；
第5圖係繪示第2圖的細節增強小波殘差網路的一第1細節增強區塊的示意圖；以及
第6圖係繪示依照本發明一第二實施例的超解析影像處理系統的方塊示意圖。
100:超解析影像處理方法
S02:小波轉換步驟
S04:低頻成像步驟
S06:特徵傳輸步驟
S08:高頻成像步驟
S10:逆小波轉換步驟
ILR:低解析影像
ISR:超解析影像
Claims (8)
- 一種超解析影像處理方法，用以轉換一低解析影像為一超解析影像，且該超解析影像處理方法包含以下步驟：一小波轉換步驟，係驅動一處理單元根據一小波轉換程序處理該低解析影像以產生一低頻低解析影像與一高頻低解析影像；一低頻成像步驟，包含驅動該處理單元根據一低頻網路模型處理該低頻低解析影像以產生一第i低頻深層特徵與一低頻超解析影像；一特徵傳輸步驟，係驅動該處理單元將該第i低頻深層特徵傳輸至一高頻網路模型之一第i高頻殘差子區塊與一第i細節增強區塊；一高頻成像步驟，包含驅動該處理單元輸入該高頻低解析影像至該高頻網路模型以提取一高頻淺層特徵，並根據該第i高頻殘差子區塊與該第i細節增強區塊處理該高頻淺層特徵與該第i低頻深層特徵以產生一高頻超解析影像；以及一逆小波轉換步驟，係驅動該處理單元根據一逆小波轉換程序重組該低頻超解析影像與該高頻超解析影像為該超解析影像；其中，i=1~B，i與B均為正整數。
- 如請求項1所述之超解析影像處理方法，其 中該低頻網路模型包含一第一卷積層、一第二卷積層、一第三卷積層、一上採樣區塊及一第i低頻殘差子區塊，且該低頻成像步驟更包含：一淺層特徵提取步驟，係驅動該處理單元輸入該低頻低解析影像至該第一卷積層以提取一低頻淺層特徵；一深層特徵提取步驟，係驅動該處理單元輸入該低頻淺層特徵至該第1低頻殘差子區塊以提取該第1低頻深層特徵，且相加該低頻淺層特徵與一第j低頻深層特徵以產生一第j混合特徵，然後輸入該第j混合特徵至一第j+1低頻殘差子區塊以提取一第j+1低頻深層特徵，其中j=1~(B-1)，j為正整數；一最終深層特徵產生步驟，係驅動該處理單元根據該第二卷積層處理該低頻淺層特徵與該第B低頻深層特徵以產生一最終深層特徵；及一特徵處理步驟，係驅動該處理單元根據該上採樣區塊與該第三卷積層處理該低頻淺層特徵與該最終深層特徵以產生該低頻超解析影像。
- 如請求項1所述之超解析影像處理方法，其中該高頻網路模型包含一第一卷積層、二第二卷積層、一第三卷積層、一連接層、一上採樣區塊及該第i高頻殘差子區塊，且該高頻成像步驟更包含：一淺層特徵提取步驟，係驅動該處理單元輸入該高頻低解析影像至該第一卷積層以提取該高頻淺層特徵； 一深層特徵提取步驟，包含驅動該處理單元輸入該高頻淺層特徵至該第1高頻殘差子區塊以提取一第1高頻深層特徵，且輸入一第j複合特徵至一第j+1高頻殘差子區塊以提取一第j+1高頻深層特徵，其中j=1~(B-1)，j為正整數，且該深層特徵提取步驟更包含：一增強特徵產生步驟，係驅動該處理單元傳輸一第i高頻深層特徵至該第i細節增強區塊，並根據該第i細節增強區塊處理該第i低頻深層特徵與該第i高頻深層特徵以產生一第i增強特徵；及一特徵疊加步驟，係驅動該處理單元於該第i高頻殘差子區塊中疊加該第i高頻深層特徵、該第i低頻深層特徵及該第i增強特徵以產生一第i複合特徵；一最終深層特徵產生步驟，係驅動該處理單元根據該連接層及該二第二卷積層處理該第B複合特徵以產生一最終深層特徵；及一特徵處理步驟，係驅動該處理單元根據該上採樣區塊與該第三卷積層處理該高頻淺層特徵與該最終深層特徵以產生該高頻超解析影像。
- 如請求項3所述之超解析影像處理方法，其中該處理單元根據該第i細節增強區塊從該第i低頻深層特徵與該第i高頻深層特徵中提取一最大特徵值與一總和特徵值，該處理單元串接該最大特徵值與該總和特徵值並進行一1 * 1卷積運算而得到一特徵權重，該處理單元藉由 一激活函數對該特徵權重運算出一收斂結果，然後將該收斂結果相乘該第i高頻深層特徵以產生該第i增強特徵。
- 一種超解析影像處理系統，用以轉換一低解析影像為一超解析影像，且該超解析影像處理系統包含：一儲存單元，用以存取該低解析影像、一小波轉換程序、一低頻網路模型、一高頻網路模型、一第i細節增強區塊及一逆小波轉換程序，其中該高頻網路模型包含一第i高頻殘差子區塊；以及一處理單元，連接該儲存單元，並經配置以實施包含以下步驟之操作：一小波轉換步驟，係根據該小波轉換程序處理該低解析影像以產生一低頻低解析影像與一高頻低解析影像；一低頻成像步驟，包含根據該低頻網路模型處理該低頻低解析影像以產生一第i低頻深層特徵與一低頻超解析影像；一特徵傳輸步驟，係將該第i低頻深層特徵傳輸至該第i高頻殘差子區塊與該第i細節增強區塊；一高頻成像步驟，包含輸入該高頻低解析影像至該高頻網路模型以提取一高頻淺層特徵，並根據該第i高頻殘差子區塊與該第i細節增強區塊處理該高頻淺層特徵與該第i低頻深層特徵以輸出一高頻超解析影像；及一逆小波轉換步驟，係根據該逆小波轉換程序重組該低頻超解析影像與該高頻超解析影像為該超解析影像； 其中，i=1~B，i與B均為正整數。
- 如請求項5所述之超解析影像處理系統，其中該低頻網路模型包含一第一卷積層、一第二卷積層、一第三卷積層、一上採樣區塊及一第i低頻殘差子區塊，且該低頻成像步驟更包含：一淺層特徵提取步驟，係驅動該處理單元輸入該低頻低解析影像至該第一卷積層以提取一低頻淺層特徵；一深層特徵提取步驟，係驅動該處理單元輸入該低頻淺層特徵至該第1低頻殘差子區塊以提取該第1低頻深層特徵，且相加該低頻淺層特徵與一第j低頻深層特徵以產生一第j混合特徵，然後輸入該第j混合特徵至一第j+1低頻殘差子區塊以提取一第j+1低頻深層特徵，其中j=1~(B-1)，j為正整數；一最終深層特徵產生步驟，係驅動該處理單元根據該第二卷積層處理該低頻淺層特徵與該第B低頻深層特徵以產生一最終深層特徵；及一特徵處理步驟，係驅動該處理單元根據該上採樣區塊與該第三卷積層處理該低頻淺層特徵與該最終深層特徵以產生該低頻超解析影像。
- 如請求項5所述之超解析影像處理系統，其中該高頻網路模型包含一第一卷積層、二第二卷積層、一第三卷積層、一連接層、一上採樣區塊及該第i高頻殘差 子區塊，且該高頻成像步驟更包含：一淺層特徵提取步驟，係驅動該處理單元輸入該高頻低解析影像至該第一卷積層以提取該高頻淺層特徵；一深層特徵提取步驟，包含驅動該處理單元輸入該高頻淺層特徵至該第1高頻殘差子區塊以提取一第1高頻深層特徵，且輸入一第j複合特徵至一第j+1高頻殘差子區塊以提取一第j+1高頻深層特徵，其中j=1~(B-1)，j為正整數，且該深層特徵提取步驟更包含：一增強特徵產生步驟，係驅動該處理單元傳輸一第i高頻深層特徵至該第i細節增強區塊，並根據該第i細節增強區塊處理該第i低頻深層特徵與該第i高頻深層特徵以產生一第i增強特徵；及一特徵疊加步驟，係驅動該處理單元於該第i高頻殘差子區塊中疊加該第i高頻深層特徵、該第i低頻深層特徵及該第i增強特徵以產生一第i複合特徵；一最終深層特徵產生步驟，係驅動該處理單元根據該連接層及該二第二卷積層處理該第B複合特徵以產生一最終深層特徵；及一特徵處理步驟，係驅動該處理單元根據該上採樣區塊與該第三卷積層處理該高頻淺層特徵與該最終深層特徵以產生該高頻超解析影像。
- 如請求項7所述之超解析影像處理系統，其中該處理單元根據該第i細節增強區塊從該第i低頻深層 特徵與該第i高頻深層特徵中提取一最大特徵值與一總和特徵值，該處理單元串接該最大特徵值與該總和特徵值並進行一1 * 1卷積運算而得到一特徵權重，該處理單元藉由一激活函數對該特徵權重運算出一收斂結果，然後將該收斂結果相乘該第i高頻深層特徵以產生該第i增強特徵。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW110148252A TWI783834B (zh) | 2021-12-22 | 2021-12-22 | 超解析影像處理方法及其系統 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW110148252A TWI783834B (zh) | 2021-12-22 | 2021-12-22 | 超解析影像處理方法及其系統 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| TWI783834B true TWI783834B (zh) | 2022-11-11 |
| TW202326607A TW202326607A (zh) | 2023-07-01 |
Family
ID=85794511
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| TW110148252A TWI783834B (zh) | 2021-12-22 | 2021-12-22 | 超解析影像處理方法及其系統 |
Country Status (1)
| Country | Link |
|---|---|
| TW (1) | TWI783834B (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113284051A (zh) * | 2021-07-23 | 2021-08-20 | 之江实验室 | 一种基于频率分解多注意力机制的人脸超分辨方法 |
| CN113298714A (zh) * | 2021-05-24 | 2021-08-24 | 西北工业大学 | 一种基于深度学习的图像跨尺度超分辨率方法 |
| US20210312591A1 (en) * | 2020-04-07 | 2021-10-07 | Samsung Electronics Co., Ltd. | Systems and method of training networks for real-world super resolution with unknown degradations |
| US20210383516A1 (en) * | 2020-06-08 | 2021-12-09 | Guangzhou Computational Super-Resolution Biotech Co., Ltd. | Systems and methods for image processing |
-
2021
- 2021-12-22 TW TW110148252A patent/TWI783834B/zh active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20210312591A1 (en) * | 2020-04-07 | 2021-10-07 | Samsung Electronics Co., Ltd. | Systems and method of training networks for real-world super resolution with unknown degradations |
| US20210383516A1 (en) * | 2020-06-08 | 2021-12-09 | Guangzhou Computational Super-Resolution Biotech Co., Ltd. | Systems and methods for image processing |
| CN113298714A (zh) * | 2021-05-24 | 2021-08-24 | 西北工业大学 | 一种基于深度学习的图像跨尺度超分辨率方法 |
| CN113284051A (zh) * | 2021-07-23 | 2021-08-20 | 之江实验室 | 一种基于频率分解多注意力机制的人脸超分辨方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| TW202326607A (zh) | 2023-07-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Liu et al. | Multi-level wavelet-CNN for image restoration | |
| Liu et al. | Multi-level wavelet convolutional neural networks | |
| US7391901B2 (en) | Method for embedding color image information into a black-and-white image | |
| CN111105352A (zh) | 超分辨率图像重构方法、系统、计算机设备及存储介质 | |
| Chaudhury et al. | Construction of Hilbert transform pairs of wavelet bases and Gabor-like transforms | |
| CN110322404B (zh) | 一种图像增强方法及系统 | |
| Hsu et al. | Detail-enhanced wavelet residual network for single image super-resolution | |
| Zou et al. | Joint wavelet sub-bands guided network for single image super-resolution | |
| CN116797461A (zh) | 基于多级强化注意力机制的双目图像超分辨率重建方法 | |
| CN116188274A (zh) | 一种图像超分辨率重建方法 | |
| CN114926337A (zh) | 基于CNN和Transformer混合网络的单幅图像超分辨率重建方法及系统 | |
| Nha et al. | Consideration of a robust watermarking algorithm for color image using improved QR decomposition | |
| CN117196959B (zh) | 基于自注意力的红外图像超分辨率方法、装置及可读介质 | |
| CN113096015B (zh) | 基于渐进式感知和超轻量级网络的图像超分辨率重建方法 | |
| TWI783834B (zh) | 超解析影像處理方法及其系統 | |
| Vyas et al. | Review of the application of wavelet theory to image processing | |
| CN116862765A (zh) | 一种医学影像超分辨率重建方法及系统 | |
| Divakara et al. | High speed modular systolic array-based DTCWT with parallel processing architecture for 2D image transformation on FPGA | |
| CN113077403A (zh) | 基于局部数据块的张量增强技术的彩色图像重建方法 | |
| CN116823690B (zh) | 基于Swin Transformer的复杂场景HDR图像重建方法 | |
| CN111260551A (zh) | 一种基于深度学习的视网膜超分辨重建系统及方法 | |
| Wang et al. | Lightweight non-local network for image super-resolution | |
| Nagar et al. | Mathematical analysis of wavelet-based multi-image compression in medical diagnostics | |
| CN115601242B (zh) | 一种适用于硬件部署的轻量级图像超分辨率重建方法 | |
| Mukherjee et al. | Efficient Performance of Lifting Scheme Along With Integer Wavelet Transform In Image Compression |