TWI547168B - 局部增強裝置、多重曝光影像系統以及局部增強方法 - Google Patents

Description

局部增強裝置、多重曝光影像系統以及局部增強方 法

本發明係有關於一種影像處理技術，特別係有關於一種增強影像之方法與裝置。

在數位攝影中，已經發展了許多方法用來架構高動態區間的影像，其中之一種方法係結合相同場景之多重曝光，並保留亮區以及暗區之細節。

各種影像增強方法係用以增進影像品質，以增強對比而言，其係為用以增強影像之對比的流程。與增強全局之對比相比，局布對比增強可帶出影像中更多的細節。至於局部對比增強，影像首先切割為數個小區塊，然後將稱為直方圖等化法(histogram equalization)之流程執行於每一個小區塊，以便利用該小區塊之對比增強函數而轉換小區塊之像素的像素值。

局部對比增強之直方圖等化法之流程可改變每一小區塊之亮度。舉例來說，若一小區塊包含較多的暗區，該小區塊之亮度會在直方圖等化法處理後而增加。另一方面，若一小區塊包含較多的亮區，則該小區塊之亮度會在直方圖等化法處理後而 降低。在動態範圍接近影像感測器可重現的動態範圍之一畫面中，然而，由於調整以區塊為單位之亮度，故利用局部直方圖等化法之局部對比增強可降低全局對比。也就是，若一小區塊包含較多的暗像素，在直方圖等化法處理之後，該小區塊之亮度會被增加以顯現更多的細節，但是增加原本較暗的小區塊之亮度會降低全局對比。

本發明提出局部增強裝置之一實施例，其中一區塊用以將一影像劃分為複數個區塊，一第一增強單元，用以對上述區塊之每一者執行一亮度維持增強，而產生一亮度維持區塊。一第二增強單元，用以對上述區塊之每一者執行一亮度調整增強，而產生一亮度調整區塊。一畫面動態範圍估計器，用以根據上述影像之複數特徵，產生上述影像之一動態範圍。一混合器，用以混合上述亮度維持區塊以及上述亮度調整區塊，而產生基於上述動態範圍之一增強影像。

根據本發明之一實施例，一種多重曝光影像系統，包括一長曝光影像感測器、一短曝光影像感測器、一曝光比例計算器以及一局部增強裝置。上述長曝光影像感測器用以基於來自一畫面之一長曝光，擷取一長曝光影像。上述短曝光影像感測器用以基於來自上述畫面之一短曝光，擷取一短曝光影像。上述曝光比例計算器用以獲得上述長曝光對上述短曝光之一曝光比例。上述局部增強裝置用以將一合成影像劃分為複數區塊且對上述區塊之每一者執行一亮度維持增強以及一亮度調整增強，而產生一 亮度維持區塊以及一亮度調整區塊，並且混合上述亮度維持區塊以及上述亮度調整區塊而產生基於上述曝光比例之一增強影像。

根據本發明之一實施例，一種局部增強方法包括：基於相同之一畫面之一長曝光以及一短曝光，分別擷取一長曝光影像以及一短曝光影像；結合上述長曝光影像以及上述短曝光影像而得到一合成影像；產生基於上述長曝光對上述短曝光之一曝光比例之一動態範圍；對上述合成影像執行一亮度調整對比增強而產生一第一對比增強影像；對上述合成影像執行一亮度維持對比增強而產生一第二對比增強影像；以及基於上述動態範圍，混合上述第一對比增強影像以及上述第二對比增強影像。

詳細的發明之說明內容將如下所述，並請搭配附圖一併閱讀。

14‧‧‧區塊分割器

16‧‧‧畫面動態範圍估計器

18‧‧‧亮度維持增強單元

19‧‧‧亮度調整增強單元

20‧‧‧混合器

100‧‧‧多重曝光影像系統

110‧‧‧鏡片

122‧‧‧長曝光影像感測器

124‧‧‧短曝光影像感測器

132‧‧‧第一像素處理單元

134‧‧‧第二項素處理單元

152‧‧‧第一自動曝光控制器

154‧‧‧第二自動曝光控制器

160‧‧‧曝光比例計算器

170‧‧‧影像組成單元

180‧‧‧局部增強裝置

IMG‧‧‧影像

DR‧‧‧動態範圍

BA‧‧‧亮度調整區塊

BP‧‧‧亮度維持區塊

E_ratio‧‧‧曝光比例

400‧‧‧對比增強方法

S402~S412‧‧‧步驟流程

可藉由搭配附圖以閱讀以下的敘述以及範例，而更清楚瞭解本發明。

第1圖係顯示根據本發明之一實施例所述之局部增強裝置之方塊圖。

第2圖係顯示根據本發明之一實施例所述之利用長曝光影像感測器以及短曝光影像感測器擷取相同畫面之多重曝光影像系統之示意圖。

第3圖係顯示根據本發明之一實施例所述之動態範圍DR以及 曝光比率E_ratio。

第4圖係顯示根據本發明之一實施例所述之亮度維持對比增強之示意圖。

第5圖係顯示根據本發明之一實施例所述之對比增強方法之流程圖。

以下敘述係為最容易理解之實施本發明之方式。本揭露書係用以說明本發明之基本原理為目的，並未加入任何限制條件。本發明之專利範圍係應參考附件之申請專利範圍而決定為佳。

本發明提供用以調整一多重曝光影像系統中畫面之對比的對比增強模組，使得該畫面能夠適應影像顯示器以及人類肉眼。該對比增強模組將根據第1圖以及第2圖所示，敘述如下。

為了避免局部直方圖等化法降低全局對比，本發明之複數個實施例提供一種局部對比增強裝置，用以根據該畫面之特徵，而適應性調整每一區塊之亮度。舉例而言，在動態範圍遠遠小於最大動態範圍(也就是影像感測器所能重現之動態範圍)之一畫面中，由於亮度調整係以區塊為單位，利用局部直方圖等化法之對比增強會降低全局對比；而在動態範圍係接近最大動態範圍(也就是影像感測器所能重現之動態範圍)之另一畫面中，調整每一區塊之局部直方圖等化法可帶出該影像之更多細節。所以，在動態範圍低於影像感測器所能重現之動態範圍之一畫面 中，執行亮度維持對比增強，而在動態範圍接近影像感測器所能重現之動態範圍之另一畫面中，執行對每一區塊亮度調整之原來對比增強。

第1圖係顯示根據本發明之一實施例所述之局部增強裝置之方塊圖。局部增強裝置接收影像IMG，影像IMG係經由區塊分割器14切割為複數個區塊，每一個區塊皆經由亮度維持增強單元18以及亮度調整增強單元19處理。亮度保存增強單元18執行直方圖等化法，並維持該區塊之亮度而輸出亮度維持區塊BP。亮度調整增強單元19執行直方圖等化法、調整該區塊之亮度而顯現更多細節以及輸出亮度調整區塊BA。畫面動態範圍估計器16根據影像IMG之特徵，而產生影像IMG之動態範圍DR。混合器20將亮度調整區塊BA以及亮度維持區塊BP混合，依據動態範圍DR而產生增強影像。在一畫面中，其動態範圍係遠低於最大動態範圍(也就是，影像感測器所能重現之動態範圍)時，混合器20偏好亮度維持之對比增強，而在另一畫面中，其動態範圍接近影像感測器所能重現之動態範圍時，混合器20偏好調整每一區塊之亮度之原始對比增強。根據本發明之另一實施例，混合器20可根據動態範圍DR之權重而混合亮度維持區塊BP以及亮度調整區塊BA。

第2圖係顯示根據本發明之一實施例所述之利用長曝光影像感測器以及短曝光影像感測器擷取相同畫面之多重曝光影像系統之示意圖。多重曝光影像系統100包括長曝光影像感測器122以及短曝光影像感測器124，用以擷取相同畫面。如第2圖所示，長曝光影像感測器122以及短曝光影像感測器124分別經由相 同之鏡片110(根據其他實施例，或可為不同之鏡片)，利用不同之曝光設定(包括曝光時間、放大器之增益等等)來擷取相同畫面之影像，而產生長曝光影像以及短曝光影像。長曝光影像感測器122以及短曝光影像感測器124可為獨立像素陣列，或是位於單一像素陣列之相異部分上。第一像素處理單元132以及第二項素處理單元134分別針對長曝光影像感測器122所產生之長曝光影像以及短曝光影像感測器124所產生之短曝光影像，執行初步影像訊號處理作業。第一自動曝光控制器152以及第二自動曝光控制器154分別調整長曝光影像感測器122以及短曝光影像感測器124之曝光設定，曝光比例計算器160可計算長曝光影像感測器122以及短曝光影像感測器124之長曝光以及短曝光間的曝光比例E_ratio，使得影像組成單元170可結合分別由長曝光影像感測器122以及短曝光影像感測器124所擷取之二影像，而成為基於曝光比例E_ratio之合成影像。

然後，局部增強裝置180接收合成影像IMG。合成影像IMG由區塊分割器14劃分為複數個區塊，每一區塊係由亮度維持增強單元18以及亮度調整增強單元19所處理。亮度維持增強單元18執行直方圖等化法，並維持區塊之亮度而輸出亮度維持區塊BP；而亮度調整增強單元19執行直方圖等化法，調整區塊之亮度而展現更多細節，並輸出亮度調整區塊BA。畫面動態範圍估計器16根據曝光比例E_ratio，而產生影像IMG之動態範圍DR。混合器20混合亮度調整區塊BA以及亮度維持區塊BP，並根據動態區間DR而產生增強影像。在一畫面中，其動態範圍遠小於最大動態範圍(也就是，影像感測器能重現之動態範圍)時，混合器20偏好 亮度維持之對比增強，而在另一畫面中，其動態範圍接近影像感測器能重現之動態範圍時，混合器20偏好調整每一區塊之亮度之原始對比增強。在一實施例中，混合器20可利用基於動態範圍DR對於混合亮度維持區塊BP以及亮度調整區塊BA之權重。

曝光比例E_ratio可根據長曝光感測器以及短曝光感測器之曝光時間以及之放大器之增益而計算得到，動態範圍DR本質上正比於曝光比例E_ratio。也就是，曝光比例E_ratio越高，則動態範圍DR越高。

根據本發明之另一實施例，動態範圍DR可由正規化曝光比例E_ratio而得，使得動態範圍DR係介於0與1之間。也就是， E_low係為曝光比例之使用者定義的下限，E_high係為曝光比例之使用者定義的上限，且通常根據影像顯示器或人眼之限制而定。第3圖係顯示根據本發明之一實施例所述之動態範圍DR以及曝光比率E_ratio。

可以輕易發現的是，動態範圍DR越高，則影像IMG之動態範圍越廣。對於處理具有高動態範圍之合成影像IMG，通常偏好增強其對比以及調整每一區塊之亮度。所以，在一實施例中，當動態範圍DR之值高達1時，混合器20僅利用亮度調整增強單元19來產生增強影像。亮度調整增強單元19對區塊執行直方圖等化法而產生亮度調整區塊BA，而混合器20利用來自亮度調整增強單元19之所有區塊來產生增強影像。

相反地，動態範圍DR越低，則影像IMG之動態範圍 也越窄。具有較窄動態範圍之影像可代表畫面之實際亮度，但是可能有時太亮而有時太暗。為了實際畫面與人類感知一致，具有較窄動態範圍之影像的亮度必需盡可能的維持相同。所以，使用亮度調整之對比增強來處理具有較窄動態範圍之影像並不適合。因此，根據本發明之一實施例，當動態範圍DR低到0時，混合器20僅使用亮度維持增強單元18來增強對比，但本質上維持合成影像IMG之亮度。亮度維持增強單元18執行直方圖等化法並維持區塊之亮度而產生亮度維持區塊BP，且混合器20利用來自亮度維持增強單元18之所有區塊來產生增強影像。第4圖係顯示根據本發明之一實施例所述之亮度維持對比增強之示意圖，其於影像直方圖上顯示兩段直方圖等化法之曲線。在兩段直方圖等化法中，影像直方圖劃分為任意二數段：一亮(右)段之亮度值大於128，一暗(左)段之亮度值小於128。直方圖等化法係分別執行於二段之每一者，使得整個影像之對比稍微改善，而沒有大幅度改變其平均亮度。第4圖之實施例僅用於說明解釋，該領域具有通常知識者能夠將影像直方圖切成任意段。

當動態範圍DR介於0與1之間時，混合器20可將來自亮度維持增強單元18之亮度維持區塊BP以及來自亮度調整增強單元19之亮度調整區塊BA混合，以得到基於動態範圍DR之增強影像。假定亮度維持增強單元18利用第一對比增強函數CEF1執行亮度維持對比增強，而亮度調整增強單元19利用第二對比增強函數CEF2執行亮度調整對比增強，混合器20之最終的對比增強函數CEFF可以下列函數表示：CEFF=DR×CEF2+(1-DR)×CEF1。

第5圖係顯示根據本發明之一實施例所述之對比增 強方法之流程圖。對比增強方法400首先在步驟S402中，分別自相同畫面擷取具有長曝光之長曝光影像以及具有短曝光之短曝光影像。隨後，在步驟S404中，將長曝光影像以及短曝光影像合併至合成影像。在步驟S406中，產生基於長曝光至短曝光之曝光比例之動態範圍。在步驟S408中，對合成影像執行亮度調整對比增強而產生第二對比增強影像。隨後，在步驟S412，基於動態範圍而混合第一對比增強影像以及第二對比增強影像。

以上敘述許多實施例的特徵，使所屬技術領域中具有通常知識者能夠清楚理解本說明書的形態。所屬技術領域中具有通常知識者能夠理解其可利用本發明揭示內容為基礎以設計或更動其他製程及結構而完成相同於上述實施例的目的及/或達到相同於上述實施例的優點。所屬技術領域中具有通常知識者亦能夠理解不脫離本發明之精神和範圍的等效構造可在不脫離本發明之精神和範圍內作任意之更動、替代與潤飾。

14‧‧‧區塊分割器

16‧‧‧畫面動態範圍估計器

18‧‧‧亮度維持增強單元

19‧‧‧亮度調整增強單元

20‧‧‧混合器

IMG‧‧‧影像

DR‧‧‧動態範圍

BA‧‧‧亮度調整區塊

BP‧‧‧亮度維持區塊

Claims (16)

1. 一種局部增強裝置，包括：一區塊分割器，用以將一影像劃分為複數個區塊；一第一增強單元，用以對上述區塊之每一者執行一亮度維持增強，而產生一亮度維持區塊；一第二增強單元，用以對上述區塊之每一者執行一亮度調整增強，而產生一亮度調整區塊；一畫面動態範圍估計器，用以根據上述影像之複數特徵，產生上述影像之一動態範圍；以及一混合器，用以混合上述亮度維持區塊以及上述亮度調整區塊，而產生基於上述動態範圍之一增強影像。
2. 如申請專利範圍第1項所述之局部增強裝置，其中上述第一增強單元對上述區塊之每一者執行直方圖等化法且維持上述區塊之每一者之亮度而產生上述亮度維持區塊，上述第二增強單元對上述區塊之每一者執行直方圖等化法且調整上述區塊之每一者之亮度而產生上述亮度調整區塊。
3. 如申請專利範圍第1項所述之局部增強裝置，其中上述混合器利用基於上述動態範圍之一權重，混合上述亮度維持區塊以及上述亮度調整區塊。
4. 如申請專利範圍第1項所述之局部增強裝置，其中當上述動態範圍係遠小於一最大動態範圍時，上述混合器偏好上述亮度維持區塊，當上述動態範圍係接近上述最大動態範 圍時，上述混合器偏好上述亮度調整區塊。
5. 一種多重曝光影像系統，包括：一長曝光影像感測器，用以基於來自一畫面之一長曝光，擷取一長曝光影像；一短曝光影像感測器，用以基於來自上述畫面之一短曝光，擷取一短曝光影像；一曝光比例計算器，用以獲得上述長曝光對上述短曝光之一曝光比例；以及一局部增強裝置，用以將一合成影像劃分為複數區塊且對上述區塊之每一者執行一亮度維持增強以及一亮度調整增強，而產生一亮度維持區塊以及一亮度調整區塊，並且混合上述亮度維持區塊以及上述亮度調整區塊而產生基於上述曝光比例之一增強影像，其中上述局部增強裝置包括一畫面動態範圍估計器，用以根據上述曝光比例而獲得上述合成影像之一動態範圍，且上述局部增強裝置混合上述亮度維持區塊以及上述亮度調整區塊，並根據上述動態範圍之一權重而產生上述增強影像，其中上述畫面動態範圍估計器藉由正規化上述曝光比例而獲得上述動態範圍。
6. 如申請專利範圍第5項所述之多重曝光影像系統，更包括：一影像組成單元，用以根據上述短曝光影像以及上述長曝光影像，而產生上述合成影像。
7. 如申請專利範圍第5項所述之多重曝光影像系統，其中當 上述動態範圍係遠小於一最大動態範圍時，上述局部增強裝置偏好上述亮度維持區塊，當上述動態範圍係接近上述最大動態範圍時，上述局部增強裝置偏好上述亮度調整區塊。
8. 如申請專利範圍第5項所述之多重曝光影像系統，其中上述動態範圍係本質上正比於上述曝光比例。
9. 如申請專利範圍第5項所述之多重曝光影像系統，其中上述畫面動態範圍估計器正規化上述曝光比例，藉由下列一函數而獲得上述動態範圍： 其中E_ratio係為曝光比例，E_low係為上述曝光比例之一使用者定義的下限，E_high係為上述曝光比例之一使用者定義的上限。
10. 如申請專利範圍第9項所述之多重曝光影像系統，其中上述局部增強裝置更包括：一區塊分割器，用以將上述合成影像劃分成複數區塊；一第一增強單元，用以對上述區塊之每一者執行上述亮度維持增強而產生上述亮度維持區塊；一第二增強單元，用以對上述區塊之每一者執行上述亮度調整增強而產生上述亮度調整區塊； 一混合器，用以混合上述亮度維持區塊以及上述亮度調整區塊而產生基於上述動態範圍之上述增強影像。
11. 如申請專利範圍第10項所述之多重曝光影像系統，其中當上述動態範圍介於0與1之間時，上述第一增強單元以一第一對比增強函數執行上述亮度維持對比增強且上述第二增強單元以一第二對比增強函數執行上述亮度調整對比增強，上述混合器之一最終的對比增強函數係表示為CEFF=DR×CEF2+(1-DR)×CEF1，其中CEF1係為上述第一對比增強函數，CEF2係為上述第二對比增強函數，CEFF係為上述最終的對比增強函數，DR係為上述動態範圍。
12. 如申請專利範圍第10項所述之多重曝光影像系統，其中上述第一增強單元對上述區塊之每一者執行直方圖等化法且維持上述區塊之每一者之亮度而產生上述亮度維持區塊，上述第二增強單元對上述區塊之每一者執行直方圖等化法且調整上述區塊之每一者之亮度而產生上述亮度調整區塊。
13. 一種局部增強方法，包括：基於相同之一畫面之一長曝光以及一短曝光，分別擷取一長曝光影像以及一短曝光影像；結合上述長曝光影像以及上述短曝光影像而得到一合成影像； 產生基於上述長曝光對上述短曝光之一曝光比例之一動態範圍，其中上述動態範圍係由正規化上述曝光比例而得；對上述合成影像執行一亮度調整對比增強而產生一第一對比增強影像；對上述合成影像執行一亮度維持對比增強而產生一第二對比增強影像；以及基於上述動態範圍，混合上述第一對比增強影像以及上述第二對比增強影像。
14. 如申請專利範圍第13項所述之局部增強方法，其中上述動態範圍係本質上正比於上述曝光比例。
15. 如申請專利範圍第13項所述之局部增強方法，其中上述曝光比例係正規化以藉由下列一函數而取得上述動態範圍： 其中E_ratio係為曝光比例，DR係為上述動態範圍，E_low係為上述曝光比例之一使用者定義的下限，E_high係為上述曝光比例之一使用者定義的上限。
16. 如申請專利範圍第15項所述之局部增強方法，其中當上述動態範圍係為1時，僅利用亮度調整區塊來產生上述增強影像，當上述動態範圍係為0時，僅利用亮度維持區塊 來產生上述增強影像。