TWI497445B - 影像處理方法與影像擷取裝置 - Google Patents

Description

影像處理方法與影像擷取裝置

本發明是有關於一種影像處理方法與影像擷取裝置，且特別是有關於一種產生高解析度影像的影像處理方法與影像擷取裝置。

鑑於目前的相機於低照度下都會採用感測器合併模式(sensor binning mode)進行拍攝，感測器的合併作用，可以採用較低感光度(ISO值)進行拍攝，如此可達到降低雜訊的目的，然而卻會犧牲原有相機的解析度，例如採用四合一(4-in-1)感測器合併模式，其所產生的影像解析度約為正常的1/16。

一般而言，為了提高解析度，可採用單一影像放大來完成，舉例而言，目前常見的單一影像放大方法包括多項式內插法(polynomial interpolation)、沿著邊緣方向內插法(edge-directed interpolation)以及以樣本為基礎的超解析技術(exampled-based for super-resolution)。

多項式內插法雖然簡單且運算速度快，但是因缺乏影像高頻資訊而導致放大後的影像模糊，且會產生區塊效應(block effect)。沿著邊緣方向內插法則是為了解決多項式內插法在高頻資訊無法有效呈現的問題，高頻資訊所指的是影像的紋理和邊緣區域，此方法重點在於影像邊緣的保留，然而須要龐大的運算量才可完成。以樣本為基礎的超解析技術需要建立龐大的高低頻對應資料庫，且如何快速地從龐大的高低頻對應資料庫中找出相匹配的資料，亦為待解決之問題。

有鑑於此，本發明提供一種影像處理方法，可利用一張低感光度低解析度影像及一張高感光度高解析度影像，產生一張具有較低雜訊之高解析度影像。

本發明提供一種影像擷取裝置，可分別採用低感光度低解析度與高感光度高解析度之設定拍攝兩張影像，並輸出一張具有較低雜訊之高解析度影像。

從一觀點來看，本發明提出一種影像處理方法，包括下列步驟。首先，採用第一感光度及第一解析度以擷取第一影像，採用第二感光度及第二解析度以擷取第二影像，其中第一感光度及第一解析度分別小於第二感光度及第二解析度。對第一影像依據影像處理倍率進行縮小與放大後，產生第一處理後影像。並對第二影像依據影像處理倍率進行縮小與放大後，產生第二處理後影像與第三處理後影像。此外，將第一處理後影像與第一影像之差與第二處理後影像與第二影像之差進行區塊比對，藉以自第三處理後影像與第二影像之差對應產生重建差值影像。最後，將第一影像放大以產生第一放大影像，其中第一放大影像之解析度相同於第二解析度，將第一放大影像與重建差值影像相加以獲得第三影像。

在本發明之一實施例中，上述對第二影像依據影像處理倍率進行縮小與放大後，產生第二處理後影像的步驟包括將第二影像縮小以產生縮小之第二影像，其中縮小之第二影像之解析度相同於第一解析度。更針對縮小之第二影像依據影像處理倍率進行縮小，再依據影像處理倍率進行放大，以產生第二處理後影像。

在本發明之一實施例中，上述影像處理方法更包括對縮小之第二影像與第一影像進行移動量估測，藉以校正縮小之第二影像。

在本發明之一實施例中，上述影像處理方法更包括對校正後的縮小之第二影像依據該影像處理倍率進行縮小，再依據該影像處理倍率進行放大，以產生第二處理後影像。

在本發明之一實施例中，上述影像處理方法更包括依據移動量估測以校正第二影像。並對校正後的第二影像依據影像處理倍率進行縮小後，再依據影像處理倍率進行放大，以產生該第三處理後影像。

在本發明之一實施例中，上述產生該重建差值影像的步驟包括將第一差值影像規劃為多數個區塊，其中第一差值影像為第一處理後影像與第一影像之差。各區塊分別與第二差值影像進行區塊比對，以獲得與各區塊相關的多數個相近區塊，其中第二差值影像為第二處理後影像與第二影像之差。並分別計算各區塊與相對應的相近區塊之差，藉以產生多數個權重值。且分別依據各區塊相對應的相近區塊及權重值，自第三差值影像中產生重建差值影像，其中第三差值影像為第三處理後影像與第二影像之差。

在本發明之一實施例中，上述分別依據各區塊相對應的相近區塊及權重值，自第三差值影像中產生重建差值影像的步驟包括依據各區塊相對應的相近區塊及權重值，自第三差值影像中計算出對應各該區塊的重建差值區塊，並將此些重建差值區塊進行區塊邊緣模糊化處理以產生重建差值影像。

從另一觀點來看，本發明提出一種影像擷取裝置，其包括影像擷取模組以及影像處理模組。其中，影像擷取模組採用第一感光度及第一解析度以擷取第一影像，並採用第二感光度及第二解析度以擷取第二影像，其中第一感光度及第一解析度分別小於第二感光度及第二解析度。影像處理模組耦接至影像擷取模組，對第一影像依據影像處理倍率進行縮小與放大後，產生第一處理後影像。影像處理模組並對第二影像依據影像處理倍率進行縮小與放大後，產生第二處理後影像與第三處理後影像。將第一處理後影像與第一影像之差與第二處理後影像與第二影像之差進行區塊比對，藉以自第三處理後影像與第二影像之差對應產生重建差值影像。影像處理模組將第一影像放大以產生第一放大影像，其中第一放大影像之解析度相同於第二解析度，將第一放大影像與重建差值影像相加以獲得第三影像。

在本發明之一實施例中，上述影像擷取裝置更包括移動量校正模組，耦接至影像處理模組，移動量校正模組對縮小之第二影像與第一影像進行移動量估測，藉以校正縮小之第二影像。

在本發明之一實施例中，上述影像處理模組包括區塊比對單元，將第一差值影像規劃為多數個區塊，區塊比對單元將各區塊分別與第二差值影像進行區塊比對，以獲得與各區塊相關的多數個相近區塊。

基於上述，本發明所提供之影像處理方法及影像擷取裝置可利用一張具有高感光度(高ISO值)、高雜訊、高解析度的影像與一張具有低感光度(低ISO值)、低雜訊、低解析度影像，藉由分析其中相對應的關係，而將高解析度影像之細節轉移到低解析度影像，進而產生一張高解析度且具有較低雜訊之影像。

為讓本發明之上述特徵和優點能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。

圖1是依照本發明之一實施例所繪示之影像擷取裝置的方塊圖。請參照圖1，本實施例的影像擷取裝置100例如是數位相機、單眼相機或各種具有影像擷取功能之裝置。影像擷取裝置100包括影像擷取模組110、影像處理模組120。其功能分述如下：

影像擷取模組110包括鏡頭、感光元件等。感光元件例如是電荷耦合元件(Charge Coupled Device，CCD)、互補性氧化金屬半導體(Complementary Metal-Oxide Semiconductor，CMOS)元件或其他元件，其中感光元件對於光線感度的衡量稱為感光度，又稱為ISO值，通常以ISO加數字標示，例如ISO 100、ISO 200、ISO 400、ISO 800等來標示感光度大小。影像擷取模組110而可依據不同感光度及解析度的設定以擷取不同的影像。

影像處理模組120例如是中央處理單元(Central Processing Unit，CPU)，或是其他可程式化之微處理器(Microprocessor)、數位訊號處理器(Digital Signal Processor，DSP)、可程式化控制器、特殊應用積體電路(Application Specific Integrated Circuits，ASIC)、可程式化邏輯裝置(Programmable Logic Device，PLD)或其他類似裝置，其係耦接至影像擷取模組110，而用以對影像擷取模組110所擷取的影像進行處理，以獲得高解析度影像。

圖2是依照本發明之一實施例所繪示之一種影像處理方法的流程圖。為了使本發明之內容更為明瞭，以下即搭配影像擷取裝置100中的元件說明本實施例之影像處理方法的步驟，請同時參照圖1與圖2。首先如步驟S210所述，影像擷取模組110採用第一感光度(ISO值)及第一解析度以擷取第一影像，並採用第二感光度(ISO值)及第二解析度以擷取第二影像，其中第一感光度及第一解析度分別小於第二感光度及第二解析度。由於ISO值愈高所拍攝出來的影像雜訊愈大，因此第二感光度大於第一感光度也就表示第二影像的雜訊大於第一影像的雜訊。須說明的是，本實施例之影像擷取裝置100係針對同一場景連續拍攝第一影像與第二影像，故此兩張影像的相關性很大，以便進行後續的影像處理。

接著，如步驟S220所述，影像處理模組120依據影像處理倍率與第一影像，產生第一差值影像。詳言之，影像處理模組120將第一影像依據影像處理倍率進行縮小後，再依據影像處理倍率進行放大，產生第一處理後影像。

於步驟S230中，影像處理模組120對第二影像依據影像處理倍率進行縮小與放大後，產生第二處理後影像與第三處理後影像。詳細地說，影像處理模組120先將第二影像縮小以產生縮小之第二影像，其中縮小之第二影像之解析度相同於第一解析度，接著更針對縮小之第二影像依據影像處理倍率進行縮小，再依據影像處理倍率進行放大，以產生第二處理後影像。此外，影像處理模組120更包括直接將第二影像依據影像處理倍率進行縮小，再依據影像處理倍率進行放大，以產生第三處理後影像。

在影像處理模組120獲得第一至第三處理後影像之後則進行步驟S240，先將第一處理後影像與第一影像之差與第二處理後影像與第二影像之差進行區塊比對，藉以自第三處理後影像與第二影像之差對應產生重建差值影像。

最後在步驟S250中，影像處理模組120先將第一影像放大至以產生第一放大影像，其中第一放大影像之解析度相同於第二解析度，並將第一放大影像與重建差值影像相加以獲得第三影像。

據此，本發明係分別對同一場景連續拍攝一張低感光度(低ISO值)、低雜訊、低解析度與一張高感光度(高ISO值)、高雜訊、高解析度的影像，並將高解析度影像的細節轉移至低解析度影像來產生一張新的高解析度影像。為了降低新的高解析度影像之雜訊以提高影像品質，關鍵在於如何將高解析度影像的細節轉移至低解析度影像，因此，以下另舉一實施例來對本發明進行詳細說明。

圖3是依照本發明另一實施例所繪示之影像擷取裝置的方塊圖。在本實施例中，影像擷取裝置300除了包括影像擷取模組110以及影像處理模組120之外，還包括耦接至影像處理模組120的移動量校正模組130。圖4是依照本發明另一實施例所繪示之一種影像處理方法的流程圖，其中圖4(a)是依照本發明另一實施例之一種產生第一至第三差值影像的實施方式。以下請同時參照圖3與圖4(a)。

首先，影像擷取模組110採用第一感光度及第一解析度以擷取第一影像Lr(步驟S402)，影像擷取模組110並採用第二感光度及第二解析度以擷取第二影像Hn0(步驟S404)。接著，影像處理模組120依據影像處理倍率N，對第一影像Lr縮小N倍得到影像Lr_P(-N)(步驟S406)，然後再對影像Lr_P(-N)放大N倍得到第一處理後影像Lr_P(0)(步驟S408)。此時影像處理模組120便可計算第一差值影像D_Lr，第一差值影像D_Lr即為第一影像Lr與第一處理後影像Lr_P(0)之差(步驟S410)。須說明的是，影像處理倍率N為一正整數，可由使用者事先所設定或為影像擷取裝置300之一預設值，在此不設限。

此外，影像處理模組120對第二影像Hn0縮小以產生縮小之第二影像Hn_L(步驟S412)，其中縮小之第二影像之解析度相同於第一解析度。雖然第一影像Lr與第二影像Hn0係為針對同一場景連續拍攝，但仍會因為手震等原因造成影像位移。因此，移動量校正模組130對縮小之第二影像Hn_L與第一影像Lr進行移動量估測(步驟S414)，藉以校正影像位移，並將校正後的縮小之第二影像HnL(步驟S416)傳送給影像處理模組120進行處理。

影像處理模組120更針對校正後的縮小之第二影像HnL縮小N倍以得到影像HnL(-N)，然後再對影像HnL(-N)放大N倍以產生第二處理後影像HnL(0)。接著，影像處理模組120計算第二差值影像D_HnL，第二差值影像D_HnL即為校正後的影像HnL與第二處理後影像HnL(0)之差(步驟S418)。

另外，影像處理模組120可直接利用步驟S414之移動量估測所得的參數而對第二影像Hn0進行校正以得到校正後的第二影像Hn(步驟S420)。同樣地，影像處理模組120對影像Hn縮小N倍而得到影像Hn(-N)(步驟S422)。影像處理模組120再對影像Hn(-N)放大N倍而得到第三處理後影像Hn(0)(步驟S424)。最後，影像處理模組120計算第三差值影像D_Hn，第三差值影像D_Hn即為校正後的第二影像Hn與第三處理後影像Hn(0)之差(步驟S426)。

接下來將說明如何根據第一至第三差值影像D_Lr、D_HnL以及D_Hn來獲得重建差值影像及產生第三影像。圖4(b)是依照本發明另一實施例之一種產生重建差值影像及第三影像的實施方式。請同時配合參照圖3與圖4(b)。

如圖3所示，影像處理模組120包括區塊比對單元122，區塊比對單元122可將第一差值影像D_Lr規劃為多數個區塊(步驟S428)。區塊比對單元122分別針對第一差值影像D_Lr之各區塊，在第二差值影像D_HnL中標示出相對應的鄰近搜尋區域(步驟S430)。接著，區塊比對單元122分別將各區塊與相對應的鄰近搜尋區域進行區塊比對，以獲得與各區塊相關聯的多數個相近區塊(步驟S432)。接著，影像處理模組120便可分別計算各區塊與相對應的多個相近區塊之誤差，藉以產生多個權重值(weighting)(步驟S434)。影像處理模組120在第三差值影像D_Hn中，依據對應於第二差值影像D_HnL所獲得的多個相近區塊以及各相近區塊之權重值，自第三差值影像D_Hn中產生重建差值影像D_Hn_f(步驟S436~S440)。

為了使上述內容更為明瞭，以圖5作為輔助說明，圖5是依照本發明另一實施例之一種產生重建差值區塊的示意圖。請參照圖5，在本實施例中，第一差值影像D_Lr例如規劃為4×4個區塊。若以其中之一區塊50為例作說明，針對區塊50可自第二差值影像D_HnL中標示出相對應的鄰近搜尋區域52。接著，將區塊50與鄰近搜尋區域52進行區塊比對，以獲得與區塊50相關聯的相近區塊520、522以及524。再分別計算相近區塊520、522以及524與區塊50之誤差，根據此誤差，可利用例如雙向濾波(bilater filtering)之方法分別給予相近區塊520、522以及524不同的權重值。據此，根據相近區塊520、522以及524可從第三差值影像D_Hn中找出相對應的區塊520’、522’以及524’，再依據上述權重值將區塊520’、522’以及524’做加權平均，即可得到區塊50所對應的一重建差值區塊。最後，對第一差值影像D_Lr中之每一區塊，皆執行上述步驟，便可獲得每一區塊所對應的重建差值區塊，將這些重建差值區塊進行區塊邊緣模糊化處理便可產生一重建差值影像。圖5所示僅為一示範實施例，本發明並不以此為限。

回到圖4(b)，影像處理模組120在產生重建差值影像D_Hn_f之後，便可採用線性放大方式例如是內插法將第一影像Lr放大以產生第一放大影像Lr_x，其中第一放大影像Lr_x之解析度相同於第二影像Hn0之解析度，再將第一放大影像Lr_x與重建差值影像D_Hn_f相加即可獲得第三影像Lr_H(步驟S442~S444)。

須說明的是，上述實施例皆為對整張影像做處理，然而在某些實際應用上，可能對影像處理時間有所限制，此時可降低影像處理倍率或是針對影像局部區域進行處理，如此可降低影像處理時間，且對於一般人物攝影相關或是其他主題明確的影像之應用上，亦可達到強化主題的目的。

綜上所述，藉由內插方法放大低解析度影像只能提高影像的幾何尺寸，並無法有效提高放大後影像之解析度，因此必須藉由提取高解析度影像之細節並將其加入放大後影像，才能使放大後影像具有高解析度。而本發明之重建差值影像即為自高解析度影像中所擷取出的細節資訊，且因為重建差值影像經過區塊比對、加權平均等處理，可降低雜訊的影響。因此，藉由將重建差值影像加入由低解析度內插放大產生的高解析度影像中，可使得放大後影像不但具有高解析度，且與直接利用高感光度高解析度所拍攝的影像相較之下，具有較低雜訊之特性。

雖然本發明已以實施例揭露如上，然其並非用以限定本發明，任何所屬技術領域中具有通常知識者，在不脫離本發明之精神和範圍內，當可作些許之更動與潤飾，故本發明之保護範圍當視後附之申請專利範圍所界定者為準。

100、300．．．影像擷取裝置

110．．．影像擷取模組

120．．．影像處理模組

122．．．區塊比對單元

130．．．移動量校正模組

50．．．區塊

52、52’．．．鄰近搜尋區域

520~524、520’~524’．．．相近區塊

D_Lr．．．第一差值影像

D_HnL．．．第二差值影像

D_Hn．．．第三差值影像

S210~S250．．．影像處理方法之各步驟

S402~S426．．．產生第一至第三差值影像之各步驟

S428~S444．．．產生重建差值影像及第三影像之各步驟

圖1是依照本發明一實施例所繪示之影像擷取裝置的方塊圖。

圖2是依照本發明一實施例所繪示之一種影像處理方法的流程圖。

圖3是依照本發明另一實施例所繪示之影像擷取裝置的方塊圖。

圖4(a)是依照本發明另一實施例之一種產生第一至第三差值影像的實施方式。

圖4(b)是依照本發明另一實施例之一種產生重建差值影像及第三影像的實施方式。

圖5是依照本發明另一實施例之一種產生重建差值區塊的示意圖。

S210~S250．．．影像處理方法之各步驟

Claims (15)

1. 一種影像處理方法，包括：採用一第一感光度及一第一解析度以擷取一第一影像，採用一第二感光度及一第二解析度以擷取一第二影像，其中該第一感光度及該第一解析度分別小於該第二感光度及該第二解析度；對該第一影像依據一影像處理倍率進行縮小與放大後，產生一第一處理後影像，並對該第二影像依據該影像處理倍率進行縮小與放大後，產生一第二處理後影像與一第三處理後影像；將該第一處理後影像與該第一影像之差與該第二處理後影像與該第二影像之差進行區塊比對，藉以自該第三處理後影像與該第二影像之差對應產生一重建差值影像；以及將該第一影像放大以產生一第一放大影像，其中該第一放大影像之解析度相同於該第二解析度，將該第一放大影像與該重建差值影像相加以獲得一第三影像。
2. 如申請專利範圍第1項所述之影像處理方法，其中對該第二影像依據該影像處理倍率進行縮小與放大後，產生該第二處理後影像的步驟包括：將該第二影像縮小以產生一縮小之第二影像，其中該縮小之第二影像之解析度相同於該第一解析度；以及更針對該縮小之第二影像依據該影像處理倍率進行縮小，再依據該影像處理倍率進行放大，以產生該第二處 理後影像。
3. 如申請專利範圍第2項所述之影像處理方法，在將該第二影像縮小以產生該縮小之第二影像的步驟之後以及在更針對該縮小之第二影像依據該影像處理倍率進行縮小的步驟之前更包括：對該縮小之第二影像與該第一影像進行一移動量估測，藉以校正該縮小之第二影像。
4. 如申請專利範圍第3項所述之影像處理方法，更包括：對校正後的該縮小之第二影像依據該影像處理倍率進行縮小，再依據該影像處理倍率進行放大，以產生該第二處理後影像。
5. 如申請專利範圍第3項所述之影像處理方法，更包括：依據該移動量估測以校正該第二影像；以及對校正後的該第二影像依據該影像處理倍率進行縮小後，再依據該影像處理倍率進行放大，以產生該第三處理後影像。
6. 如申請專利範圍第1項所述之影像處理方法，其中產生該重建差值影像的步驟包括：將一第一差值影像規劃為多數個區塊，其中該第一差值影像為該第一處理後影像與該第一影像之差；各該區塊分別與一第二差值影像進行區塊比對，以獲得與各該區塊相關的多數個相近區塊，其中該第二差值影 像為該第二處理後影像與該第二影像之差；分別計算各該區塊與相對應的該些相近區塊之差，藉以產生多數個權重值；以及分別依據各該區塊相對應的該些相近區塊及該些權重值，自一第三差值影像中產生該重建差值影像，其中該第三差值影像為該第三處理後影像與該第二影像之差。
7. 如申請專利範圍第6項所述之影像處理方法，其中分別依據各該區塊相對應的該些相近區塊及該些權重值，自該第三差值影像中產生該重建差值影像的步驟包括：依據各該區塊相對應的該些相近區塊及該些權重值，自該第三差值影像中計算出對應各該區塊的一重建差值區塊；以及將該些重建差值區塊進行區塊邊緣模糊化處理以產生該重建差值影像。
8. 一種影像擷取裝置，包括：一影像擷取模組，採用一第一感光度及一第一解析度以擷取一第一影像，採用一第二感光度及一第二解析度以擷取一第二影像，其中該第一感光度及該第一解析度分別小於該第二感光度及該第二解析度；以及一影像處理模組，耦接至該影像擷取模組，對該第一影像依據一影像處理倍率進行縮小與放大後，產生一第一處理後影像，該影像處理模組並對該第二影像依據該影像處理倍率進行縮小與放大後，產生一第二處理後影像與一第三處理後影像，將該第一處理後影像與該第一影像之差 與該該第二處理後影像與該第二影像之差進行區塊比對，藉以自該第三處理後影像與該第二影像之差對應產生一重建差值影像，影像處理模組將該第一影像放大以產生一第一放大影像，其中該第一放大影像之解析度相同於該第二解析度，將該第一放大影像與該重建差值影像相加以獲得一第三影像。
9. 如申請專利範圍第8項所述之影像擷取裝置，其中：該影像處理模組將該第二影像縮小以產生一縮小之第二影像，其中該縮小之第二影像之解析度與該第一解析度相同，該影像處理模組更針對該縮小之第二影像依據該影像處理倍率進行縮小，再依據該影像處理倍率進行放大，以產生該第二處理後影像。
10. 如申請專利範圍第9項所述之影像擷取裝置，更包括：一移動量校正模組，耦接至該影像處理模組，對該縮小之第二影像與該第一影像進行一移動量估測，藉以校正該縮小之第二影像。
11. 如申請專利範圍第10項所述之影像擷取裝置，其中：該影像處理模組更包括對校正後的該縮小之第二影像依據該影像處理倍率進行縮小，再依據該影像處理倍率進行放大，以產生該第二處理後影像。
12. 如申請專利範圍第10項所述之影像擷取裝置，其 中：該移動量校正模組依據該移動量估測以校正該第二影像，該影像處理模組並對校正後的該第二影像依據該影像處理倍率進行縮小後，再依據該影像處理倍率進行放大，以產生該第三處理後影像。
13. 如申請專利範圍第8項所述之影像擷取裝置，其中該影像處理模組包括：一區塊比對單元，將一第一差值影像規劃為多數個區塊，該區塊比對單元將各該區塊分別與一第二差值影像進行區塊比對，以獲得與各該區塊相關的多數個相近區塊，其中該第一差值影像為該第一處理後影像與該第一影像之差，該第二差值影像為該第二處理後影像與該第二影像之差。
14. 如申請專利範圍第13項所述之影像擷取裝置，其中：該影像處理模組分別計算各該區塊與相對應的該些相近區塊之差，藉以產生多數個權重值，該影像處理模組分別依據各該區塊相對應的該些相近區塊及該些權重值，自一第三差值影像中產生該重建差值影像，其中該第三差值影像為該第三處理後影像與該第二影像之差。
15. 如申請專利範圍第14項所述之影像擷取裝置，其中：該影像處理模組依據各該區塊相對應的該些相近區塊及該些權重值，自該第三差值影像中計算出對應各該區 塊的一重建差值區塊，該影像處理模組並將該些重建差值區塊進行區塊邊緣模糊化處理以產生該重建差值影像。