TWI492187B

TWI492187B - 超解析度影像處理方法及其裝置

Info

Publication number: TWI492187B
Application number: TW103105050A
Authority: TW
Inventors: Yikuei Liu
Original assignee: Delta Electronics Inc
Priority date: 2014-02-17
Filing date: 2014-02-17
Publication date: 2015-07-11
Also published as: TW201533706A; US20150235345A1; US9311691B2

Description

超解析度影像處理方法及其裝置

本發明是有關於一種影像處理方法及其裝置，且特別是有關於一種超解析度(super-resolution)影像處理方法及其裝置。

顯示裝置於近年來日益進步，無論是手機、電腦或電視的螢幕尺寸越來越大，又拜於網路技術發展所賜，瀏覽影像相關之需求也越來越大。由於一般影像資料量都不小，所以放大影像導致的計算量也隨之增加，伴隨的處理時間則相對增長。

目前常見的影像放大技術，可分為兩大分類，一種是基於資料庫的技術類別，另一種則是基於內插法(interpolation)的技術類別。基於資料庫的技術類別通常需搜集大量的低解析度影像，以及相對應的高解析度影像，並將這些影像資料設成資料庫；當要提升某一張低解析度的影像時，會先將所述低解析度的影像切為多個區塊，並將每個區塊和資料庫中低解析度的影像資料進行比對，當其中一個區塊和資料庫其中一筆低解析度影像資料最相近時，則將所述低解析度影像資料對應的高解析度影像資料設至該區塊。因此，基於資料庫的技術類別所需處理時間通常過長，且佔的記憶體空間也過大，不適合在有限的硬體上實現。

另一方面，基於內插法的技術類別所需硬體資源則相對較低；現今基於內插法的影像放大技術，通常是先將影像升取樣(upsampling)之後，再將放大後的影像進行內插。然而，現今基於內插法的技術雖可達到較快的處理速度，但卻無法達到穩定的低失真率。

因此，於有限的硬體條件下，要使處理速度加快且維持一定的品質，需要有更效率的演算法。

本發明提供一種關於影像處理方法及其裝置，藉以減少放大影像導致的過長處理時間以及低的影像放大品質。

本發明之一態樣是有關一種影像處理方法。影像處理方法包含下列步驟：根據放大演算法以n倍倍率放大輸入影像成第一影像；以n倍倍率縮減取樣輸入影像成第二影像；根據所述放大演算法以n倍倍率放大第二影像成第三影像；將輸入影像減去第三影像成第一差值影像；根據所述放大演算法以n倍倍率放大第一差值影像成第二差值影像；以及加總第一影像及第二差值影像成輸出影像；其中，n為正整數。

在一實施例中，以所述放大演算法放大第一差值影像成第二差值影像的步驟包含：根據色彩濾波矩陣排列第一差值影像至中間影像中；以及根據內插演算法內插中間影像成第二差值影像，其中，中間影像及第二差值影像的尺寸為輸入影像的尺寸之n倍。

在次一實施例中，內插演算法為最近相鄰內插法(nearest neighbor interpolation)、雙線性插值法(bilinear interpolation)、視覺平緩轉換內插法(smooth hue transition interpolation)、邊緣檢測內插法(edge sensing interpolation)、邊緣導向內插法(edge directing interpolation)、Laplacian二階色彩相關性線性內插法(Laplacian second-order interpolation)、以梯度變量為閾值基準內插法(threshold-based variable number of gradient interpolation)、圖形識別內插法(pattern recognition interpolation)或交互投影法(alternating projection)。

在又一實施例中，色彩濾波矩陣為貝爾圖樣(Bayer Pattern)。

本發明之一態樣是關於一種影像處理裝置。影像處理裝置包含第一放大模組、校正模組及輸出模組。第一放大模組根據放大演算法以n倍倍率放大輸入影像成第一影像；校正模組校正經放大的第一影像，以n倍倍率縮減取樣輸入影像成第二影像，根據放大演算法以n倍倍率放大第二影像成第三影像，將輸入影像減去第三影像成第一差值影像並根據放大演算法以n倍倍率放大第一差值影像成第二差值影像；輸出模組加總第一影像及第二差值影像成輸出影像；其中，n為正整數。

在一實施例中，校正模組包含縮減取樣單元、第一放大單元、差值單元及第二放大單元。縮減取樣單元以n倍倍率縮減取樣輸入影像成第二影像；第一放大單元根據放大演算法以n倍倍率放大第二影像成第三影像；差值單元將輸入影像減去第三影像成第一差值影像；第二放大單元根據放大演算法以n倍倍率放大第一差值影像成第二差值影像。

在另一實施例中，第二放大單元包含排列元件及內插元件。排列元件將第一差值影像以色彩濾波矩陣排列至中間影像中；以及內插元件根據內插演算法內插中間影像成第二差值影像；中間影像及差值影像的尺寸為輸入影像的尺寸之n倍。

在又一實施例中，第一放大模組包含排列單元及內插單元。排列單元將輸入影像以色彩濾波矩陣排列至中間影像中；內插單元根據內插演算法內插中間影像成第一影像，其中中間影像及第一影像的尺寸為輸入影像之n倍。

本發明之一態樣是關於一種影像處理裝置。影像處理裝置包含第一放大模組、縮減取樣模組、第二放大模組、差值模組、第三放大模組及輸出模組。第一放大模組根據放大演算法以n倍倍率放大輸入影像成第一影像；縮減取樣模組以n倍倍率縮減取樣輸入影像成第二影像；第二放大模組根據放大演算法以n倍倍率放大第二影像成第三影像；差值模組將輸入影像減去第三影像成第一差值影像，第三放大模組根據放大演算法以n倍倍率放大第一差值影像成第二差值影像；以及輸出模組加總第三影像及第二差值影像成輸出影像；其中，n為正整數。

在另一實施例中，第三放大模組包含排列模組及內插模組。排列模組將第一差值影像以色彩濾波矩陣排列至中間影像中；以及內插模組根據內插演算法內插中間影像成第二差值影像；其中，中間影像及第二差值影像的尺寸為輸入影像的尺寸之n倍。

以下將以實施方式對上述之說明作詳細的描述，並對本發明之技術方案提供更進一步的解釋。

為讓本揭示內容能更明顯易懂，所附符號之說明如下：

100‧‧‧影像處理裝置

110‧‧‧放大模組

111‧‧‧排列單元

112‧‧‧內插單元

120‧‧‧校正模組

121‧‧‧縮減取樣單元

122‧‧‧排列元件

123‧‧‧內插元件

124‧‧‧差值單元

125‧‧‧排列元件

212‧‧‧第一影像

221‧‧‧第二影像

222‧‧‧中間影像

223‧‧‧第三影像

224‧‧‧第一差值影像

225‧‧‧中間影像

226‧‧‧第二差值影像

R_ij、G_ij、B_ij‧‧‧畫素

R_ij’、G_ij’、B_ij’‧‧‧畫素

R_ij”、G_ij”、B_ij”‧‧‧畫素

126‧‧‧內插元件

127‧‧‧放大單元

128‧‧‧放大單元

130‧‧‧輸出模組

201‧‧‧輸入影像

202‧‧‧輸出影像

211‧‧‧中間影像

301~303‧‧‧畫素資料

311~313‧‧‧畫素資料

321~323‧‧‧畫素資料

401~403‧‧‧畫素資料

501~503‧‧‧畫素資料

S601~S607‧‧‧步驟

為讓本發明之上述和其他目的、特徵、優點與實施例能更明顯易懂，所附圖式之說明如下：第1圖係依據本發明一實施例所繪示之一種影像處理裝置的方塊示意圖；第2圖係依據本發明一實施例所繪示之一種影像處理裝置產生的影像示意圖；第3圖係依據本發明一實施例所繪示之縮減取樣及根據貝爾圖樣排列畫素的示意圖；第4圖係依據本發明一實施例所繪示之相鄰內插法的示意圖；第5圖係依據本發明一實施例所繪示之雙線性插值法的示意圖；以及第6圖係依據本發明一實施例所繪示之超解析度影像處理方法的流程圖。

本發明將在本說明書中利用隨附圖示的參考更充分地陳述，其中隨附圖示繪有本發明的實施方式。然而本發明以許多不同形式實現而不應受限於本說明書陳述之實施方式。這些實施方式的提出令本說明書詳盡且完整，而將充分表達本發明範圍予本發明所屬技術領域之通常知識者。本文中相同的參考編號意指相同的元件。

關於本文中所使用之『第一』、『第二』、...等，並非特別指稱次序或順位的意思，亦非用以限定本發明，其僅僅是為了區別以相同技術用語描述的元件或操作而已。關於本文中所使用之『模組』、『單元』及『元件』並非特別指相對大小的意思，亦非用以限定本發明。

一併參照第1圖及第2圖。第1圖係依據本發明一實施例繪示之一種影像處理裝置的方塊示意圖。第2圖係依據本發明一實施例所繪示之一種影像處理裝置產生的影像示意圖。影像處理裝置100包含放大模組110、校正模組120以及輸出模組130。放大模組100用以根據一影像放大演算法以n倍倍率放大輸入影像201成第一影像212，並輸出第一影像212至輸出模組130，其中n為正整數，第一影像212的尺寸為輸入影像201之n倍。校正模組120用以校正經放大的第一影像212，其中校正模組120將產生第二差值影像226，並輸出第二差值影像226至輸出模組130。最後，輸出模組將加總第一影像212和第二差值影像226以得到具高解析度的輸出影像202。

更進一步來說，放大模組110包含排列單元111和內插單元112，並用以執行所述影像放大演算法。首先，排列單元111根據一色彩濾波矩陣將輸入影像201之RGB畫素資料排列至中間影像211中。接著，內插單元112根據一內插演算法根據中間影像211中已排列好的RGB畫素資料內插中間影像211中其餘畫素，進而產生第一影像212，內插單元112並進一步將第一影像212輸出至輸出模組130。

校正模組120包含縮減取樣(downsampling)單元121、放大單元127、差值單元124及放大單元128。放大單元127包含排列元件122及內插元件123。放大單元128包含排列元件125及內插元件126，其中放大單元127及放大單元128分別執行的影像大演算法與放大模組110執行的所述影像放大演算法相同。

作動上，縮減取樣單元121以n倍倍率縮減取樣輸入影像201成第二影像221。接著，同放大模組110之作動，放大單元127之排列元件122根據色彩濾波矩陣將第二影像221的RGB資料排列成至中間影像222。隨後，放大單元128之內插元件123根據所述內插演算法內插中間影像 222成第三影像223。

為更清楚說明縮減取樣單元121及放大單元127的作動，一併參照第3、4、5圖。在一些實施例中，色彩濾波矩陣可為貝爾圖樣(Bayer’s pattern)，而第3圖係依據本發明一實施例繪示之縮減取樣及根據貝爾圖樣排列畫素的示意圖。如第3圖所示，輸入影像201的尺寸為4X4(即長X寬)，並包含對應於紅色的畫素資料301、對應於綠色的畫素資料302以及對應於藍色的畫素資料303。畫素資料301包含16個畫素R_ij，畫素資料302包含16個畫素G_ij，畫素資料303包含16個畫素B_ij，其中索引i及索引j為1至4之其中一者。

在一些實施例中，輸入影像的畫素數量不限於16個。

首先，縮減取樣單元121分別將輸入影像201的畫素資料301、畫素資料302及畫素資料303作兩倍的縮減取樣以得到第二影像221，在本實施例中，兩倍縮減取樣是取單數直排(column)和單數橫排(row)所交集的畫素，但並不以此為限。因此，畫素資料311的尺寸為2X2，並包含畫素R11、R13、R31及R33；同理，畫素資料312與畫素資料313的尺寸也分別為2X2，並分別包含畫素G11、G13、G31及G33與畫素B11、B13、B31及B33。

接著，放大單元127之排列元件122會依貝爾圖樣將畫素資料311、312及313分別排列至尺寸為兩倍大的畫素資料321、322及323中以得到中間影像222。

值得注意的是，對應於綠色的畫素資料322相較對應於藍色的畫素資料321或對應於紅色的畫素資料323多了一倍的畫素，之所以如此排列是因為人眼對綠色的動態範圍較大，換句話說，綠色帶給人眼的資訊會較多；因此，畫素資料322除了包含畫素資料312的畫素G11、G13、G31及G33之外，更包含經內插出來的畫素G22’、G24’、G42’及G44’。

在一些實施例中，非邊緣的畫素G22’是由畫素G11、G13、G31及G33所決定，首先，會先比較畫素G11與G33的數值差值及畫素G13與G31的數值差值，當畫素G11與G33的數值差值小於畫素G13與G31的數值差值，畫素G22’的數值會設為畫素G11與G33的數值平均值；當畫素G11與G33的數值差值大於畫素G13與G31的數值差值，畫素G22’的數值會設為畫素G13與G31的數值平均，當畫素G11與G33的數值差值等於畫素G13與G31的數值差值，畫素G22’的數值會設為畫素G11、G13、G31及G33的數值平均。換句話說，畫素G22’的數值是由畫素數值較相近的對角畫素經內插所決定。

在一些實施例中，非邊緣的畫素G22’可為畫素G11、G13、G31及G33的數值平均。

在一些實施例中，邊緣的畫素G24’,G42’與G44’可由較相近的畫素數值決定，畫素G24’的數值可為畫素G13和G33的數值平均，畫素G42’的數值可為畫素G11和畫素G33的數值平均，畫素G44’可為畫素G33的數值。

接著，將以兩種內插演算法為例以清楚說明放大單元127之內插元件123的作動。在一些實施例中，內插演算法可為相鄰內插法(nearest neighbor interpolation)，而第4圖係依據本發明一實施例所繪示之相鄰內插法的示意圖。如第4圖所示，內插元件123將中間影像222分別的畫素資料321、322及323內差成第三影像223的畫素資料401、402及403。首先，於影像321中，內插元件123將畫素R11及畫素R31的右方、下方以及右下方(亦可為另三種方向，如下方、左方及左下方或其他任意組合)之畫素的數值分別設為畫素R11及畫素R33的數值，並將畫素R13及畫素R33的下方之畫素的數值分別設為畫素R13及畫素R33的數值，藉以得到畫素資料401。而畫素資料401中的邊緣畫素R11”、R21”、R31”及R41”可由鄰近的畫素來決定。同理，內插元件123利用上述之內插方式內插畫素資料323成畫素資料403。

另一方面，於影像322中，內插元件123先分別將畫素G11、G13、G22’、G31、G33及G42右邊的畫素設為畫素G11、G13、G22’、G31、G33及G42’的數值。接著，內插元件123將畫素G11及G31下方的畫素設為畫素G11及G31的數值，藉以得到畫素資料402。

在一些實施例中，邊緣畫素R11”的數值可設為最近畫素的數值，即右邊畫素R11的數值。同理，畫素R21”、R31”、R41”、B11”、B12”、B13”及B14”可依類似的方式設定對應的數值，其中畫素B11”、B12”、B13”及B14” 的最近畫素為下方的畫素。

在一些實施例中，內插演算法可為雙線性插值法(bilinear interpolation)，而第5圖係依據本發明一實施例所繪示之雙線性插值法的示意圖。如第5圖所示，內插元件123將中間影像222分別的畫素資料321、322及323內差成第三影像223的畫素資料501、502及503。於影像321中，以區塊504為例，不具數值的畫素可由上下、左右或斜對角之畫素所決定。如畫素資料501所示，畫素R13’的數值為左右畫素R11及R13的數值平均，畫素R22’為上下畫素R11及R31的數值平均，畫素R23’為四個斜對角畫素R11、R13、R31及R33所決定。同理，畫素資料323之區塊506亦使用相同的內插方式以得到畫素資料503中的區塊509。而畫素資料501的邊緣畫素R11”、R21”、R31”、R41”、R42”、R43”及R44”則由鄰近並具數值的畫素來決定。同理，內插元件123利用上述之內插演算法內插畫素資料323成畫素資料503。

接著，於畫素資料322中，以區塊505為例，不具數值的畫素可由上下左右的畫素來決定，如畫素資料502之區塊508所示，畫素G23’的數值為上下左右的畫素G13、G22’、G33、G24’的數值平均；若無其中一方，畫素的數值為其中三者的數值平均，如畫素G12’的數值為畫素G11、G13及G22’所決定；若無其中兩方，畫素的數值為其中兩者的數值平均，如畫素G14’的數值為畫素G13及G24’所決定。同理，內插元件123可依據上述之方式內插畫素資料 322中其餘未具數值的畫素，並產生畫素資料502。

在一些實施例中，內插演算法可為視覺平緩轉換內插法(smooth hue transition interpolation)、邊緣檢測內插法(edge sensing interpolation)、邊緣導向內插法(edge directing interpolation)、Laplacian二階色彩相關性線性內插法(Laplacian second-order interpolation)、以梯度變量為閾值基準內插法(threshold-based variable number of gradient interpolation)、圖形識別內插法(pattern recognition interpolation)或交互投影法(alternating projection)。

回到第1圖及第2圖，第三影像223輸出至差值單元124之後，差值單元124將輸入影像201每個畫素的數值減去第三影像223對應畫素的數值以得到一第一差值影像224。而放大單元128根據所述影像放大演算法以n倍倍率放大第一差值影像224成第二差值影像226，並輸出至加總模組103。

最後，輸出模組130加總第一影像212與第二差值影像226以得到輸出影像202。在一些實施例中，輸出模組130更用以裁切輸出影像202的邊緣畫素以刪除失真率較高的影像邊緣。

在一些實施例中，排列單元111、排列元件122及排列元件125可為相同的運算單元或相同的運算元件，內插元件123、內插單元112及內插元件126可為相同的運算單元或相同的運算元件。

如上所述之所有模組、單元及元件均可實作為程式碼，並將此些程式碼儲存於儲存元件中。於是，處理單元讀取並執行儲存元件中之此些程式碼後，提供各模組相應之功能。在一些實施方式中，儲存元件可為唯讀記憶體、快閃記憶體、軟碟、硬碟、光碟、隨身碟、磁帶、可由網路存取之資料庫或其他類型之儲存元件。

為更清楚說明影像處理裝置100的超解析度影像處理流程，一併參照第6圖。第6圖係依據本發明一實施例所繪示之超解析度影像處理方法的流程圖。首先，輸入欲放大的輸入影像201(S601)，接著，根據影像放大演算法以n倍倍率放大輸入影像201成第一影像212(S602)；另一方面，以n倍倍率縮減取樣輸入影像201成第二影像221(S603)，接著，根據所述影像放大演算法以n倍倍率放大第二影像221成第三影像223(S604)；將輸入影像201的畫素資料減去第三影像223的畫素資料成第一差值影像224(S605)，根據所述放大演算法以n倍倍率放大第一差值影像224成第二差值影像226(S606)；以及加總第一影像212及第二差值影像226以得到輸出影像202(S607)。

在一些實施例中，第6圖所示之影像處理方法可實作為一電腦程式產品(如應用程式)，並儲存於一電腦可讀取記錄媒體中，而使電腦讀取此記錄媒體後執行排程方法。電腦可讀取記錄媒體可為唯讀記憶體、快閃記憶體、軟碟、硬碟、光碟、隨身碟、磁帶、可由網路存取之資料庫或熟悉此技藝者可輕易思及具有相同功能之電腦可讀取記錄媒體。

綜上所述，本發明之技術方案與現有技術相比具有明顯的優點和有益效果。藉由上述技術方案，可達到相當的技術進步，並具有產業上的廣泛利用價值，本發明提供具快速的超解析度影像處理裝置及其方法，可快速地放大影像並保持較低的失真率。

雖然本發明已以實施方式揭露如上，然其並非用以限定本發明，任何熟習此技藝者，在不脫離本發明之精神和範圍內，當可作各種之更動與潤飾，因此本發明之保護範圍當視後附之申請專利範圍所界定者為準。