TWI470580B - 無資料庫之紋理合成的超解析度系統及方法 - Google Patents

Description

無資料庫之紋理合成的超解析度系統及方法

本發明係有關一種數位影像處理，特別是關於一種無資料庫之紋理合成(database-free texture synthesis)的超解析度(super resolution)系統及方法。

超解析度(super resolution,SR)係為一種增加影像系統之解析度的技術，可用以將低解析度輸入影像回復得到具尖銳邊緣及豐富細節的高解析度影像。鑑於影像源之解析度逐漸趕不上顯示裝置的解析度，使得超解析度技術成為許多應用的必要技術，例如應用於電視視訊轉換器(scaler)及數位全像術(holography)。

傳統超解析度技術可分為二大類別：基於邊緣(edge-based)的方法及基於學習(learning-based)的方法。其中，基於邊緣的方法可產生尖銳邊緣，但於非邊緣區域則缺少細節；基於學習的方法可得到豐富細節，但需使用資料庫，且可能因資料庫與輸入影像之間的不匹配而難以抑制假影(artifact)。此外，資料庫的產生也有許多問題。大資料庫意味著大計算時間，而小資料庫則難以針對各種輸入影像提供適當的細節。

因此，亟需提出一種新穎的超解析度機制，不需使用資料庫而能產生豐富細節及尖銳邊緣。

鑑於上述，本發明實施例的目的之一在於提出一種無資料庫之紋理合成(texture synthesis)的超解析度系統及方法，其以輸入影像作為紋理樣本，並使用低複雜度、快速且高品質的方式執行。

根據本發明實施例，無資料庫之紋理合成(database-free texture synthesis)的超解析度系統包含升頻取樣(up-sampling)單元、邊緣強化單元、平滑區域偵測單元及紋理合成單元。升頻取樣單元對一輸入影像進行升頻取樣，以形成一升頻取樣影像。邊緣強化單元強化升頻取樣影像的邊緣。平滑區域偵測單元決定輸入影像是否具有一平滑區域，其中，如果偵測到平滑區域，則跳過邊緣強化單元的執行。紋理合成單元以輸入影像作為紋理樣本，用以對來自邊緣強化單元之強化升頻取樣影像或者來自升頻取樣單元之非強化升頻取樣影像進行紋理合成，以形成一合成影像。

10‧‧‧升頻取樣單元

11‧‧‧邊緣強化單元

12‧‧‧平滑區域偵測單元

13‧‧‧紋理萃取單元

14‧‧‧紋理合成單元

15‧‧‧改善單元

20~24‧‧‧步驟

231~233‧‧‧步驟

41‧‧‧升頻取樣影像

42‧‧‧輸入影像

p‧‧‧像素

q‧‧‧像素

第一圖的方塊圖顯示本發明實施例之無資料庫之紋理合成(database-free texture synthesis)的超解析度系統。

第二圖的流程圖顯示本發明實施例之無資料庫之紋理合成的超解析度方法。

第三圖顯示第二圖步驟23的詳細流程圖。

第四圖顯示對於升頻取樣影像的每一像素p，於輸入影像搜尋得到較佳匹配(BM)像素q。

第一圖的方塊圖顯示本發明實施例之無資料庫之紋理合成(database-free texture synthesis)的超解析度系統。第二圖的流程圖顯示本發明實施例之無資料庫之紋理合成的超解析度方法。根據所揭露之超解析度系統或方法，藉由自相似(self-similarity)性質，學習低解析度輸入影像的高頻細節，用以估算得到高解析度輸出影像。藉此，不需使用額外的資料庫，且不需使用者的引導或臨界值設定。相較於傳統超解析度系統及方法，本發明實施例所揭露之超解析度系統及方法提供低複雜度但高品質之超解析度機制，快速地產生更多豐富細節及尖銳邊緣，更適於硬體實施及適用於即時應用，例如電視視訊轉換器(scaler)。

參閱第一圖及第二圖，首先使用升頻取樣(up-sampling)單元10對低解析度之輸入影像進行升頻取樣(步驟20)，因而產生一升頻取樣影像。升頻取樣係數或放大係數可為整數(例如2)或者為分數。升頻取樣單元10可使用雙重內插(double-interpolation)架構，其細節可參考Y.C.Lin所揭露之“Direction-adaptive image upsampling using double interpolation”，Proc.Picture Coding Symposium,2010。雙重內插架構可大量地降低大部分的鋸齒狀假影，且較雙立方(bicubic)內插可得到更好的結果。

接著，使用邊緣強化單元11，以去模糊(deblur)技術對升頻取樣影像進行銳利化(sharpening)或強化(步驟22)。因此，得以強化升頻取樣影像的邊緣。於一例示實施例中，銳利化之執行係提高(例如，提高為二倍)升頻取樣影像的高頻部分，用以強化邊緣。

如第一圖及第二圖所示，可根據平滑區域偵測單元12的結果而跳過邊緣強化單元11及步驟22的執行。所述平滑區域偵測單元12係用以決定輸入影像是否具有平滑區域(步驟21)。如果偵測到平滑區域，則跳過步驟22(第二圖)或方塊11(第一圖)，並進入步驟23或方塊14。如果沒有偵測到平滑區域，則執行步驟22或方塊11，接著才進入步驟23或方塊14。於一例示實施例中，平滑區域之偵測如下所述。如果輸入影像與雙立方(bicubic)內插影像(其內插自輸入影像)之差值小於預設第一臨界值，則相應之像素即標記為平滑區域。當標記為平滑區域之像素數目大於預設第二臨界值，則輸入影像即認定為具有平滑區域。

接著，紋理合成單元14以輸入影像作為紋理樣本(texture example)，對強化影像(如果有執行步驟22或方塊11)或升頻取樣影像(如果跳過步驟22或方塊11)進行紋理合成(步驟23)，因而產生超解析度系統之合成影像(或輸出影像)。本實施例之所以使用輸入影像作為紋理樣本的原因在於，自然影像中的碎形(fractal)特性顯示出在各種尺寸比例影像之間存在有自相似(self-similarity)特性。觀察自然影像可得知，相似的區塊(patch)會傾向於重複出現在不同尺寸比例的影像中。

第三圖顯示第二圖步驟23的詳細流程圖。於步驟231，如第四圖所示，對於(強化或者未強化)升頻取樣影像41的每一像素p，於輸入 影像42的相應區域(或搜尋視窗)N_p搜尋得到較佳匹配(best match,BM)像素q，可表示如下：

其中，I^l為低解析度之輸入影像，I^h為高解析度之升頻取樣影像，且Ω_p及Ω_q分別為p和q的關聯(correlation)區域。一般來說，搜尋視窗N_p具有小尺寸，其遠小於整個輸入影像的尺寸，因此，相較於傳統方法，本實施例可以大量地縮減匹配時間。

接著，於步驟232，使用紋理萃取單元13以萃取得到輸入影像的高頻部分H(I^l)。在本實施例中，首先使用雙向(bilateral)濾波器B以得到輸入影像的低頻部分B(I^l)，該雙向濾波器B為一種邊緣保持及雜訊降低的平滑濾波器。接著，自輸入影像減去低頻部分B(I^l)，因而得到輸入影像的高頻部分H(I^l)，其可表示如下：H(I ^l )=I ^l -B(I ^l )

其中，B()為雙向濾波器，且H()為高頻部分。

最後，於步驟233，將輸入影像之萃取高頻部分H(I^l)加至(強化或者未強化)升頻取樣影像，如下所示：

其中，為升頻取樣影像的像素p，且為輸入影像的較佳匹配像素。

合成影像可藉由改善(refinement)單元15進行改善(步驟24)，因而形成改善影像。本實施例使用上述之改善步驟，使得輸出影像 (亦即，合成影像)可忠實於輸入影像。在本實施例中，以能量函數(energy function)對合成影像施予重建約束(reconstruction constraint)：E(I ^h |I ^l )=|D(I ^h * G)-I ^l |²

其中，G為高斯核心(Gaussian kernel)，且D為降頻取樣(down-sampled)程序。

上述之重建約束可強迫輸出影像之降頻取樣型式(亦即，改善影像)類似於輸入影像。藉此，當應用於視訊時，可避免閃爍假影。在本實施例中，能量函數藉由梯度下降(gradient descent)而被最小化：

其中，t為疊代指標，且τ為步距大小。

以上所述僅為本發明之較佳實施例而已，並非用以限定本發明之申請專利範圍；凡其它未脫離發明所揭示之精神下所完成之等效改變或修飾，均應包含在下述之申請專利範圍內。

10‧‧‧升頻取樣單元

11‧‧‧邊緣強化單元

12‧‧‧平滑區域偵測單元

13‧‧‧紋理萃取單元

14‧‧‧紋理合成單元

15‧‧‧改善單元

Claims (18)

1. 一種無資料庫之紋理合成(database-free texture synthesis)的超解析度系統，包含：一升頻取樣(up-sampling)單元，用以對一輸入影像進行升頻取樣，以形成一升頻取樣影像；一邊緣強化單元，用以強化該升頻取樣影像的邊緣；一平滑區域偵測單元，用以決定該輸入影像是否具有一平滑區域，其中，如果偵測到該平滑區域，則跳過該邊緣強化單元的執行；一紋理合成單元，以該輸入影像作為紋理樣本，用以對來自該邊緣強化單元之強化升頻取樣影像或者來自該升頻取樣單元之非強化升頻取樣影像進行紋理合成，以形成一合成影像；及一改善(refinement)單元，用以改善該合成影像，使得該合成影像忠實於該輸入影像，其中該改善單元以能量函數(energy function)對該合成影像施予重建約束(reconstruction constraint)：E(I ^h |I ^l )=|D(I ^h * G)-I ^l |²其中，I^l為該輸入影像，I^h為該升頻取樣影像，G為高斯核心(Gaussian kernel)，且D為降頻取樣(down-sampled)程序。
2. 如申請專利範圍第1項所述無資料庫之紋理合成的超解析度系統，其中該邊緣強化單元提高該升頻取樣影像的高頻部分，用以對該升頻取樣影像進行邊緣強化。
3. 如申請專利範圍第1項所述無資料庫之紋理合成的超解析度系統，其中該平滑區域偵測單元執行以下步驟用以對該輸入影像進行偵測：如果該輸入影像與其內插影像之差值小於一預設第一臨界值，則相應之像素即標記為平滑區域；及如果標記為平滑區域之像素數目大於一預設第二臨界值，則該輸入影像即認定為具有平滑區域。
4. 如申請專利範圍第1項所述無資料庫之紋理合成的超解析度系統，其中該紋理合成單元對該強化升頻取樣影像或該非強化升頻取樣影像的每一像素，於該輸入影像之一搜尋視窗搜尋得到一較佳匹配像素。
5. 如申請專利範圍第4項所述無資料庫之紋理合成的超解析度系統，其中對於該強化升頻取樣影像或該非強化升頻取樣影像I^h的每一像素p，該輸入影像I^l之較佳匹配像素q表示如下： 其中，Ω_p及Ω_q分別為p和q的關聯(correlation)區域。
6. 如申請專利範圍第4項所述無資料庫之紋理合成的超解析度系統，更包含一紋理萃取單元，用以萃取該輸入影像的高頻部分。
7. 如申請專利範圍第6項所述無資料庫之紋理合成的超解析度系統，其中該紋理萃取單元執行以下步驟以萃取該高頻部分：獲得該輸入影像的低頻部分；及 自該輸入影像減去該低頻部分，因而獲得該輸入影像之高頻部分。
8. 如申請專利範圍第6項所述無資料庫之紋理合成的超解析度系統，其中該紋理合成單元將該萃取高頻部分加至該強化升頻取樣影像或該非強化升頻取樣影像，因而形成該合成影性。
9. 如申請專利範圍第1項所述無資料庫之紋理合成的超解析度系統，其中該改善單元藉由梯度下降(gradient descent)而最小化該能量函數： 其中，t為疊代指標，且τ為步距大小。
10. 一種無資料庫之紋理合成(database-free texture synthesis)的超解析度方法，包含：對一輸入影像進行升頻取樣，以形成一升頻取樣影像；決定該輸入影像是否具有一平滑區域；強化該升頻取樣影像的邊緣，其中，如果偵測到該平滑區域，則跳過該邊緣強化步驟的執行；以該輸入影像作為紋理樣本，對該強化升頻取樣影像或非強化升頻取樣影像進行紋理合成，以形成一合成影像；及一改善(refinement)步驟，用以改善該合成影像，使得該合成影像忠實於該輸入影像，其中該改善步驟包含：以能量函數(energy function)對該合成影像施予重建約束(reconstruction constraint)：E(I ^h |I ^l )=|D(I ^h * G)-I ^l |² 其中，I^l為該輸入影像，I^h為該升頻取樣影像，G為高斯核心(Gaussian kernel)，且D為降頻取樣(down-sampled)程序。
11. 如申請專利範圍第10項所述無資料庫之紋理合成的超解析度方法，其中該邊緣強化步驟包含：提高該升頻取樣影像的高頻部分。
12. 如申請專利範圍第10項所述無資料庫之紋理合成的超解析度方法，其中該決定步驟包含：如果該輸入影像與其內插影像之差值小於一預設第一臨界值，則相應之像素即標記為平滑區域；及如果標記為平滑區域之像素數目大於一預設第二臨界值，則該輸入影像即認定為具有平滑區域。
13. 如申請專利範圍第10項所述無資料庫之紋理合成的超解析度方法，其中該紋理合成步驟包含：對該強化升頻取樣影像或該非強化升頻取樣影像的每一像素，於該輸入影像之一搜尋視窗搜尋得到一較佳匹配像素。
14. 如申請專利範圍第13項所述無資料庫之紋理合成的超解析度方法，其中對於該強化升頻取樣影像或該非強化升頻取樣影像I^h的每一像素p，該輸入影像I^l之較佳匹配像素q表示如下： 其中，Ω_p及Ω_q分別為p和q的關聯(correlation)區域。
15. 如申請專利範圍第13項所述無資料庫之紋理合成的超解析度方法，其中該紋理合成步驟更包含一紋理萃取步驟，用以萃取該輸入影像的高頻部分。
16. 如申請專利範圍第15項所述無資料庫之紋理合成的超解析度方法，其中該高頻部分係根據以下步驟而得到：獲得該輸入影像的低頻部分；及自該輸入影像減去該低頻部分，因而獲得該輸入影像之高頻部分。
17. 如申請專利範圍第15項所述無資料庫之紋理合成的超解析度方法，其中該紋理合成步驟更包含一步驟，用以將該萃取高頻部分加至該強化升頻取樣影像或該非強化升頻取樣影像，因而形成該合成影性。
18. 如申請專利範圍第10項所述無資料庫之紋理合成的超解析度方法，其中該能量函數藉由梯度下降(gradient descent)而得以最小化： 其中，t為疊代指標，且τ為步距大小。