TWI566206B - 寬動態範圍影像方法 - Google Patents

Description

寬動態範圍影像方法

本發明係關於一種影像方法，且特別是一種寬動態範圍影像(wide dynamic range imaging)方法。

針對高反差場景(例如，前景極暗，且背景極亮)的畫面，若影像擷取裝置增加曝光，則會使得前景獲得適中的亮度，但卻會造成背景過曝。相反地，若影像擷取裝置減少曝光，則會使得背景的亮度適中，但卻會造成前景過暗。

高動態範圍影像(high dynamic range imaging)方法係獲取兩張同一畫面但曝光程度不同的影像，並將此兩張影像進行合成處理，以使得影像之畫面的前景與背景的亮度皆適中。然而，高動態範圍影像方法的演算法較為複雜，且影像擷取裝置需要較好的感光元件，以選擇不同感光單位來進行曝光，甚至影像擷取裝置的畫面頻率或處理速度需要進一步地提升，才能順利執行高動態範圍影像方法。

本發明實施例提供一種寬動態範圍影像方法，其包括以下步驟。根據影像的亮部平均值與暗部平均值的第一差異值獲得第一調整強度。依據暗部平均值與暗部像素數量，來調整第一調整強度，以產生第二調整強度。計算影像中多個第一區域的亮部加權 平均值與影像中多個第二區域的暗部加權平均值，計算暗部加權平均值與亮部加權平均值之間的第二差異值，並根據第二差異值調整第二調整強度，以產生第三調整強度。使用第三調整強度選擇性地對影像中之多個像素進行調整。

綜合以上所述，本發明實施例所提供的寬動態範圍影像方法可以增加影像整體的細節，且同時能夠讓影像中暗部區域與亮部區域的細節明顯顯現。

為使本發明所屬技術領域具有通常知識者能更進一步瞭解本發明之特徵及技術內容，請參閱以下有關本發明之詳細說明與附圖，但是此等說明與所附圖式僅係用來說明本發明，而非對本發明的權利範圍作任何的限制。

S11~S13、S121、S122‧‧‧步驟流程

TH1~TH4、TH‧‧‧門檻值

m1‧‧‧暗部平均值

m2‧‧‧亮部平均值

R₁₁~R₁₅、R₂₁~R₂₅、R₃₁~R₃₅、R₄₁~R₄₅、R₅₁~R₅₅‧‧‧區域

C31、C32‧‧‧曲線

圖1是本發明實施例的寬動態範圍影像方法的流程之示意圖。

圖2A~圖2C分別是本發明實施例之三張不同影像之直方圖。

圖3是本發明實施例之暗部程度加權處理的示意圖。

圖4是本發明之影像劃分為多個第一區域與多個第二區域的示意圖。

圖5是本發明實施例之分配影像各像素進行寬動態範圍增益、曝光增益或珈瑪增益調整的示意圖。

本發明實施例提供一種寬動態範圍影像方法，所述寬動態範圍影像方法會將先透過影像的直方圖獲得影像的亮部平均值與暗部平均值的差異值(亮部平均值減去暗部平均值)，以根據差異值獲得對應於第一調整強度。然後，考量差異值雖大但影像之畫面並非高反差場景的情況，所述寬動態範圍影像方法會先進行了暗部程度加權處理，以調整第一調整強度，並產生第二調整強度，接 著，再進行中心亮度加權處理，以調整第二調整強度，並產生第三調整強度。之後，所述寬動態範圍影像方法依據第三調整強度分配影像各像素進行寬動態範圍增益、曝光增益或珈瑪增益調整，以產生與輸出調整後的影像。

在本發明實施例中，上述暗部程度加權處理是根據暗部像素數量與暗部平均值來調整第一調整強度，以產生二調整強度。上述中心亮度加權處理是將影像分為多個第一區域(對應於預設背景區域)與第二區域(對應於預設前景區域)，以根據多個第一區域對應的權重與亮度平均值計算亮部加權平均值，以及根據多個第二區域對應的權重與亮度平均值計算暗部加權平均值，然後，再根據亮度加權平均值與暗部加權平均值調整第二調整強度，以產生第三調整強度。

另外，於本發明實施例中，第三調整強度用來決定影像中亮度值小於某一門檻值的像素需要進行調整，而且依據選擇的場景模式、硬體規格與第三調整強度的至少其中之一，位於第一亮度範圍的像素會進行寬動態範圍增益調整，位於第二亮度範圍的像素進行曝光增益調整，而位於第三亮度範圍的像素進行珈瑪增益調整。第三調整強度可以是一個百分比值，例如90%，其中第一亮度範圍是指最大亮度之30%~90%的範圍，第二亮度範圍是指最大亮度之20%~30%的範圍，且第三亮度範圍是指最大亮度之10%~20%的範圍。

上述寬動態範圍影像方法可以應用於數位相機、智慧型手機相機、平板電腦或監控系統等，而無須改變感光元件之設計。上述寬動態範圍影像方法更可以有效地將影像之畫面中低亮度部分拉高，與將影像之畫面中高亮度部分降低，從而提高影像的能見度，並避免邊際效應。以下，將進一步地介紹上述寬動態範圍影像方法的細節。

請參照圖1，圖1是本發明實施例之寬動態範圍影像方法的流 程圖。所述寬動態範圍影像方法可以執行於任何類型的影像擷取裝置，且僅需要擷取一張影像，即可以對影像之畫面中較亮與較暗的部分進行增強，從而增加影像的品質。所述寬動態範圍影像方法具有步驟S11~S13，且說明如下。

首先，在步驟S11中，依據影像之亮部平均值與暗部平均值的差異值得到第一調整強度，其細節說明如下。所述寬動態範圍影像方法會對擷取的影像進行亮度分佈統計，以獲得影像的直方圖。然後，所述寬動態範圍影像方法將亮度值低於特定門檻值TH的多個亮度值進行平均運算，以獲得暗部平均值m1，以及將亮度值未低於特定門檻值TH的多個亮度值進行平均運算，以獲得亮部平均值m2。接著，所述寬動態範圍影像方法會計算亮部平均值m2與暗部平均值m1的差異值，並透過特定映射關係，根據差異值獲得對應之第一調整強度，其中第一調整強度可以例如是一個百分比值。

請參照圖1、圖2A與圖2B，圖2A與圖2B分別是本發明實施例之兩張不同影像之直方圖，且步驟S11中所獲得之影像的直方圖可以如圖2A或圖2B所示。於此實施例中，圖2A之直方圖對應一個高反差場景之影像(畫面中前景較暗而背景較亮)，而圖2B之直方圖非對應一個高反差場景之影像。觀察圖2A與圖2B的直方圖，可以得知圖2B之差異值低於圖2A之差異值，因此，步驟S11所計算出的差異值可以初步呈現高反差場景的程度，其中高反差場景的程度越大，則第一調整強度應該越大。

接著，請繼續參照圖1，在步驟S12中，所述寬動態範圍影像方法會先進行了暗部程度加權處理(如步驟S121)，以調整第一調整強度，並產生第二調整強度，再進行中心亮度加權處理(如步驟S122)，以調整第二調整強度，並產生第三調整強度。

請同時參照圖1、圖2A與圖2C，圖2C是本發明實施例之另一影像之直方圖。圖2C之直方圖並非對應於高反差場景之影像， 然而，圖2C之差異值卻大致上與圖2A的差異值相差不大。因此，考量到差異值雖大但影像之畫面並非高反差場景的情況，則需要透過步驟S12對第一調整強度進行數次的加權處理，以避免將此種非高反差場景的影像進行強度較大的調整。

請繼續參照圖1，步驟S12包括步驟S121與S122，且細節說明如下。在步驟S121中，所述寬動態範圍影像方法根據暗部像素數量與暗部平均值來調整第一調整強度，以產生二調整強度。請參閱圖3，圖3是本發明實施例之暗部程度加權處理的示意圖。於步驟S121中，透過暗部畫素數量與權重的映射曲線C31與暗部平均值與權重的映射曲線C32，第一調整強度會被調整為第二調整強度。一般來說，暗部畫素數量越多或暗部平均值越小，則表示需要調整的強度越強。舉例來說，第一調整強度為90%，但由於暗部畫素數量未達第一特定值，故需要乘以第一比例(例如0.8)，且又因為暗部平均值大於第二特定值，故還得乘上第二比例(例如0.9)，如此將可得到第二調整強度為64.8%。

接著，請繼續回到圖1，於步驟S122中，所述寬動態範圍影像方法會對影像劃分為多個第一區域與多個第二區域，其中每一個第一區域與第二區域有對應的權重，多個第一區域與多個第二區域分別對應於影像之畫面中可能的背景區域與前景區域。然後，所述寬動態範圍影像方法依據多個第一區域對應的權重與亮度平均值計算亮部加權平均值，依據多個第二區域對應的權重與亮度平均值計算暗部加權平均值，且依據亮部與暗部加權平均值調整第二調整強度，以產生第三調整強度。另外，第一與第二區域之劃分及其權重係相關於場景模式的選擇。

請同時參照圖4與圖1，圖4是本發明之影像劃分為多個第一區域與多個第二區域的示意圖。於步驟S122中，影像之多個第一區域R₁₁~R₁₅、R₂₁、R₂₅、R₃₁、R₃₅、R₄₁、R₄₅、R₅₁與R₅₅的權重分別為W₁₁~W₁₅、W₂₁、W₂₅、W₃₁、W₃₅、W₄₁、W₄₅、W₅₁與W₅₅， 且其亮度平均值分別為A₁₁~A₁₅、A₂₁、A₂₅、A₃₁、A₃₅、A₄₁、A₄₅、A₅₁與A₅₅，故亮部加權平均值為(W₁₁．A₁₁+W₁₂．A₁₂+W₁₅．A₁₅+W₂₁．A₂₁+W₂₅．A₂₅...+W₅₅．A₅₅)/13；同樣地，影像之多個第二區域R₂₂~R₂₄、R₃₂~R₃₄、R₄₂~R₄₄與R₅₂~R₅₄的權重分別為W₂₂~W₂₄、W₃₂~W₃₄、W₄₂~W₄₄與W₅₂~W₅₄，且其亮度平均值分別為A₂₂~A₂₄、A₃₂~A₃₄、A₄₂~A₄₄與A₅₂~A₅₄，故暗部加權平均值為(W₂₂．A₂₂+W₂₃．A₂₃+W₂₄．A₂₄+...+W₅₄．A₅₄)/12。然後，計算暗部加權平均值與亮部加權平均值的差異值，以根據此差異值來調整第二調整強度。透過此中心亮度加權處理，前景亮而背景暗的非高反差場景之影像，暗部加權平均值減去亮部加權平均值會是正值，故需要將第二調整強度大幅地往下調，以避免將非高反差場景之影像進行強度較強的調整。

請繼續回到圖1，接著，在步驟S13中，所述寬動態範圍影像方法依據第三調整強度分配影像各像素進行寬動態範圍增益、曝光增益或珈瑪增益調整，以產生與輸出調整後的影像。更詳細地說，第三調整強度可以決定亮度值小於某一門檻值的像素需要進行調整，以及根據依據選擇的場景模式、硬體規格與第三調整強度的至少其中之一，位於第一亮度範圍的像素會進行寬動態範圍增益調整，位於第二亮度範圍的像素進行曝光增益調整，而位於第三亮度範圍的像素進行珈瑪增益調整。

請同時參照圖5與圖1，圖5是本發明實施例之分配影像各像素進行寬動態範圍增益、曝光增益或珈瑪增益調整的示意圖。若完全地使用寬動態範圍增益來調整全部需要進行調整像素，則影像可能會有顏色失真與邊際效應(邊際不連續的現象)的問題，故於步驟S13中，僅有亮度值位於兩門檻值TH1、TH2之間的像素會進行寬動態範圍增益調整，亮度值位於兩門檻值TH2、TH3之間的像素會進行曝光增益調整，而亮度值位於兩門檻值TH3、TH4之間的像素會進行珈瑪增益調整。

在此請注意，門檻值TH1係由第三調整強度所決定，而門檻值TH2~TH4則可以由選擇的場景模式、硬體規格與第三調整強度的至少其中之一決定。舉例來說，第三調整強度可以是一個百分比，例如90%，門檻值TH1~TH4分別是最大亮度的90%、30%、20%與10%。另外，上述寬動態範圍增益調整亦即現有技術中的寬動態範圍影像方法針對像素之調整方式，上述曝光增益調整則是現有技術對像素之曝光時間進行調整的作法，且上述伽瑪增益調整是現有技術透過伽瑪映射曲線對像素進行調整的作法，故不贅述其細節。

總而言之，本發明實施例提供一種寬動態範圍影像方法，所述寬動態範圍影像方法可以增加影像整體的細節，特別是同時能夠讓影像中暗部區域與亮部區域的細節都能夠明顯顯現。除此之外，所述寬動態範圍影像方法還解決了影像經過調整後可能有顏色失真或邊際效應的問題。另外，所述寬動態範圍影像方法的計算複雜度不大，因此其執行時間快，且實現的硬體複雜度低，故特別可以實現於具有影像擷取功能的電子裝置內，且無需變更感光元件之設計。

以上所述，僅為本發明最佳之具體實施例，惟本發明之特徵並不侷限於此，任何熟悉該項技藝者在本發明之領域內，可輕易思及之變化或修飾，皆可涵蓋在以下本案之專利範圍。

S11~S13、S121、S122‧‧‧步驟流程

Claims (10)

1. 一種寬動態範圍影像方法，包括：根據一影像的一亮部平均值與一暗部平均值的一第一差異值獲得一第一調整強度；依據該暗部平均值與一暗部像素數量，來調整該第一調整強度，以產生一第二調整強度；計算該影像中多個第一區域的一亮部加權平均值與該影像中多個第二區域的一暗部加權平均值，計算該暗部加權平均值與該亮部加權平均值之間的一第二差異值，並根據該第二差異值調整該第二調整強度，以產生該第三調整強度；以及使用該第三調整強度選擇性地對該影像中之多個像素進行調整。
2. 如請求項第1項所述的寬動態範圍影像方法，其中獲取該影像的一直方圖，根據該些像素之多個亮度值低於一第一門檻值者計算出該暗部平均值，根據該些像素之多個亮度值未低於該第一門檻值者計算出該亮部平均值。
3. 如請求項第1項所述的寬動態範圍影像方法，其中該些第一區域對應於該影像之一背景，該些第二區域對應於該影像之一前景。
4. 如請求項第3項所述的寬動態範圍影像方法，其中根據該些第一區域對應之多個權重與多個亮度平均值計算出該亮部加權平均值，以及根據該些第二區域對應之多個權重與多個亮度平均值計算出該暗部加權平均值。
5. 如請求項第4項所述的寬動態範圍影像方法，其中該些第一區域與該些第二區域的劃分與其該些權重係根據選擇的一場景模式決定。
6. 如請求項第1項所述的寬動態範圍影像方法，其中依據該第三調整強度選擇性地對該影像中之該些像素進行一寬動態範圍 增益調整、一曝光增益調整或一珈瑪增益調整，並輸出調整後的該影像。
7. 如請求項第6項所述的寬動態範圍影像方法，其中依據該第三調整強度決定一第一門檻值，其中針對該些像素之多個亮度值低於該第一門檻值者選擇性地進行該寬動態範圍增益調整、該曝光增益調整或該珈瑪增益調整。
8. 如請求項第7項所述的寬動態範圍影像方法，其中對該些像素之多個亮度值介於該第一門檻值與一第二門檻值者進行該寬動態範圍增益調整，對於該些像素之多個亮度值介於該第二門檻值與一第三門檻值者進行該曝光增益調整，以及對於該些像素之多個亮度值介於該第三門檻值與一第四門檻值者進行該珈瑪增益調整。
9. 如請求項第8項所述的寬動態範圍影像方法，其中該第二至該第四門檻值由該第三調整強定、選擇的一場景模式與一硬體規格的至少其中之一決定。
10. 如請求項第1項所述的寬動態範圍影像方法，其中若該第一差異值越大，則該第一調整強度越大；若該暗部平均值越小或該暗部像素數量越多，則第二調整強度越大；若該第二差異值為一正值，則調降該第二調整強度，以產生該第三調整強度。