TWI531231B - 高動態範圍影像的處理方法 - Google Patents

Description

高動態範圍影像的處理方法

本發明是有關於一種影像的處理方法，且特別是有關於一種高動態範圍影像的處理方法。

由於科技的日新月異，使得相機的功能大幅的提升，無論是快門速度、光圈大小、對焦速度抑或是影像處理速度皆有了長足的進步。然而，由於真實世界中的各種顏色及亮度的範圍非常大，而大多數的相機卻仍然只能擷取固定的動態範圍(畫面中最亮區到最暗區的範圍)，使得相機所拍出之相片在一些場景中會與實際有所落差。

高動態範圍(High Dynamic Range,HDR)顯示技術的出現，使得相機所擷取的影像能與實際的場景更為接近。在一般的HDR顯示技術中，相機拍攝三種不同曝光值(Exposure Value,EV)，如-1EV、0EV以及+1EV，再將根據上述三種曝光值所擷取之影像利用線性或非線性的演算校正方法，使得影像的動態範圍能夠進一步的延展，而得到高動態範圍影像(High Dynamic Range Image,HDRI)。

然而，在某些對比度很高的場景中，如拍攝場景中同時具有陽光及陰影的情況下，僅利用-1EV、0EV以及+1EV三個曝光值進行高動態範圍影像的擷取已經無法涵蓋場景中的所有影像資訊，換句話說，在此情況下，使用上述高動態範圍影像的處理方法仍然會使得相機所擷取到的影像失真。

本發明提供一種高動態範圍影像的處理方法，其可根據所需擷取之實際場景的環境亮度以及對比度決定產生高動態範圍影像所需之曝光值範圍，並根據此曝光值範圍所得到的影像產生高動態範圍影像。

本發明提出一種高動態範圍影像的處理方法，其適用於具有處理單元之影像擷取裝置。處理方法包括以下步驟：依據目前曝光值(Exposure Value,EV)，擷取目前影像；統計目前影像在不同亮度下之像素(pixel)數量，令亮度小於第一數值的像素數量總和為暗部像素數量，而亮度大於第二數值的像素數量總和為亮部像素數量；依據亮部像素數量以及第一臨界值，判斷並獲得最低曝光值；依據暗部像素數量以及第二臨界值，判斷並獲得最高曝光值；將目前曝光值加上曝光補償值，重複上述步驟，直至獲得該最高曝光值以及該最低曝光值；以及依據具有最高曝光值的第一影像以及具有最低曝光值的第二影像產生高動態範圍影像(High Dynamic Range Image,HDRI)。

在本發明之一實施例中，判斷並獲得最低曝光值的步驟更包括當亮部像素數量大於第一臨界值時，令最低曝光值為前一個擷取影像的曝光值。

在本發明之一實施例中，判斷並獲得最高曝光值的步驟更包括當暗部像素數量小於第二臨界值時，令最高曝光值為目前曝光值。

在本發明之一實施例中，高動態範圍影像的處理方法更包括令初始的目前曝光值為最低檔次曝光值。

本發明提出一種高動態範圍影像的處理方法，其適用於具有處理單元之影像擷取裝置。處理方法包括以下步驟：a.依據目前曝光值(Exposure Value,EV)，擷取目前影像；b.統計目前影像在不同亮度下之像素(pixel)數量，令亮度小於第一數值的像素數量總和為暗部像素數量，而亮度大於第二數值的像素數量總和為亮部像素數量；依據亮部像素數量以及第一臨界值，判斷並獲得最低曝光值，且將目前曝光值加上曝光補償值，重複上述步驟a與b，直至獲得最低曝光值；依據暗部像素數量以及第二臨界值，判斷並獲得最高曝光值，且將目前曝光值減去一曝光補償值，重複上述步驟a與b，直至獲得最高曝光值；以及依據具有最高曝光值的第一影像以及具有最低曝光值的第二影像產生該高動態範圍影像。

在本發明之一實施例中，判斷並獲得最低曝光值的步驟更包括當亮部像素數量小於第一臨界值時，令最低曝光值為目前曝光值。

在本發明之一實施例中，高動態範圍影像的處理方法更包括令初始的目前曝光值為標準曝光值，其中標準曝光值係根據初始擷取的目前影像之實際亮度以及對比度所決定。

基於上述，本發明之實施例所提出的處理方法，利用設定高亮度臨界值與低亮度臨界值的方式，使得影像擷取裝置的處理單元得以根據所設定的臨界值以及亮部與暗部像素數量，動態的決定高動態範圍影像所需要之曝光值範圍。

為讓本發明之上述特徵和優點能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。

在本發明之實施例中所提出之高動態範圍影像的處理方法，提供了影像擷取裝置(如相機、攝影機等等)一種根據實際拍攝場景的亮度以及對比度，動態地調整產生高動態範圍影像所需之曝光值範圍的處理方法。為了使本發明之內容更容易明瞭，以下特舉實施例作為本發明確實能夠據以實施的範例。另外，凡可能之處，在圖式及實施方式中使用相同標號的元件/構件/步驟代表相同或類似部分。

圖1繪示依照本發明一實施例之高動態範圍影像的處理方法的步驟流程圖。請參照圖1，本實施例適用於任何具有處理單元的影像擷取裝置(如相機、攝影機…等，但並不限制於此)，在步驟S100中，影像擷取裝置(未繪示出)首先依據一個目前曝光值擷取一個目前影像。在本實施例中，處理單元(未繪示出)令初始的目前曝光值為最低檔次曝光值(步驟S10)，亦即在影像擷取裝置中，曝光值之可調整範圍內的最低曝光值。在一般影像擷取裝置應用中，以數位相機為例，所述之曝光值皆為相對曝光值，其可調整範圍約在-2EV~+2EV之間，並且依據不同的設計，可將曝光值的可調整範圍區分為5個曝光檔次(如-2EV、-1EV、0EV、+1EV以及+2EV)或是9個曝光檔次(如-2EV、-1.5EV、-1EV、-0.5EV、0EV、+0.5EV、+1EV、+1.5EV以及+2EV)等類型，其中依據曝光值的可調整範圍類型，分別具有不同的曝光補償值，然而，本發明並不以此為限。

在上述步驟S100之後，影像擷取裝置的處理單元統計所擷取的目前影像在不同亮度下之像素數量，並且將亮度小於第一數值的像素數量總和定義為暗部像素數量，以及將亮度大於第二數值的像素數量總和定義為亮部像素數量(步驟S102)，其中第一數值以及第二數值可依據本領域通常知識者自行設計。

接著處理單元將依據亮部像素數量以及第一臨界值，判斷並獲得最低曝光值(步驟S120)，並且依據暗部像素數量以及第二臨界值，判斷並獲得最高曝光值(步驟S130)。然而，為了使處理單元能夠得知目前所進行之處理程序是針對最低曝光值而進行，抑或是針對最高曝光值而進行，因此，處理單元會在進行步驟S120前，先判斷影像擷取裝置是否已經獲得了所需的最低曝光值，若尚未獲得最低曝光值，則進行步驟S120；反之，若已獲得最低曝光值時，則流程跳至步驟S130，並且繼續進行判斷並獲得最高曝光值之步驟。

在步驟S120中，為了獲得最低曝光值，處理單元更進一步地判斷目前影像的亮部像素數量是否大於第一臨界值(步驟S104)，其中第一臨界值可依據設計者需求自行調整。若目前影像的亮部像素數量未大於第一臨界值，則處理單元會將目前曝光值加上一個曝光補償值(步驟S106)，亦即將影像擷取裝置提升一個曝光檔次，使影像擷取裝置根據新的目前曝光值擷取目前影像(步驟S100)，重複步驟S100到步驟S106直到處理單元判斷目前影像的亮部像素數量大於第一臨界值時，處理單元則令最低曝光值為前一個擷取影像的曝光值(步驟S107)。換句話說，在影像擷取裝置獲得最低曝光值之前，處理單元將目前曝光值加上曝光補償值，並重複上述步驟(步驟S100到步驟S106)，直至獲得最低曝光值。

接著，在步驟S130中，為了獲得最高曝光值，處理單元依據目前影像判斷其暗部像素數量是否小於第二臨界值(步驟S108)，其中第二臨界值相似於第一臨界值，可依據設計者需求自行調整。若暗部像素數量未小於第二臨界值，則處理單元將目前曝光值加上一個曝光補償值(步驟S106)，並且重複步驟S100、S102、S103、S106以及S108，直到處理單元判斷目前影像的暗部像素數量小於第二臨界值時，處理單元則令最高曝光值為目前曝光值(步驟S109)。換句話說，在影像擷取裝置獲得最高曝光值之前，處理單元將目前曝光值加上曝光補償值，並重複上述步驟(步驟S100、S102、S103、S106以及S108)，直至獲得最高曝光值。

最後，在步驟S110中，影像擷取裝置依據具有最低曝光值的第一影像以及具有最高曝光值的第二影像，產生一個高動態範圍影像。在本實施例中，影像擷取裝置可以在處理單元判斷目前曝光值為最低/最高曝光值時，即將具有最低/最高曝光值的第一/第二影像儲存於影像擷取裝置中，並且於上述之步驟S110中讀取第一影像與第二影像後，再依據第一影像與第二影像產生高動態範圍影像；或是在上述之步驟S110中，重新依據最低曝光值以及最高曝光值擷取第一影像以及第二影像，再依據第一影像與第二影像產生高動態範圍影像，此部份可由設計者依據本領域之通常知識自行設計，本發明不以此為限。

一般的影像擷取裝置可以在其所擷取的影像中，利用處理單元統計影像中各種不同亮度下的像素數量，並且在一般影像擷取裝置應用中，為使不同亮度下的像素數量分布能夠更清楚的顯示，可將影像在不同亮度下的像素數量分布表示為一亮度分布圖(Histogram)。亮度分布圖之橫座標由左至右代表亮度最暗到亮度最亮的情況，而縱座標則表示像素的統計數量。

此外，一般影像擷取裝置至少以8個位元對所擷取之影像進行紀錄，因此一般影像擷取裝置所能涵蓋的亮度範圍從最暗到最亮可分為256種階層，並且在亮度分布圖之橫座標上以0到255表示，其中橫座標軸的最左側為0，代表光訊號全吸收的狀況，即為全黑的狀態；而橫座標軸的最右側為255則代表光訊號全反射的狀況，即為全白的狀態。

以下再舉一例來說明上述步驟。圖2A~圖2E繪示依照圖1之實施例之高動態範圍影像的處理方法的示意圖。在圖2A~圖2E中，以曝光值可調整範圍為-2EV~+2EV，並且曝光補償值為+1EV的影像擷取裝置為例，圖2A~圖2E分別表示在曝光值-2EV、-1EV、0EV、1EV以及2EV的影像以及亮度分布圖。

請參照圖1與圖2A~圖2E，在圖2A中，影像擷取裝置首先依據一個初始的目前曝光值擷取一個目前影像，此時初始的目前曝光值為最低檔次曝光值，即為-2EV，而目前影像為影像260。經由處理單元統計目前影像在不同亮度下的像素數量後，顯示亮度分布圖310，其中界定暗部像素以及亮部像素的第一數值C1以及第二數值C2分別繪示於亮度分布圖310中。以下為方便說明，因此在圖2A~圖2E中，將亮部像素數量以及暗部像素數量依據亮度分布圖各自相對量化，並且令第一臨界值與第二臨界值為20，如下表所示：

然而，所述之數值皆可依照此領域通常知識者自行設計或依照實際情況有所變更，本發明不以此為限。在亮度分布圖310中，處理單元統計亮部像素數量為15以及暗部像素數量為60，因此處理單元判斷亮部像素數量小於第一臨界值，使得影像擷取裝置根據上述之處理方法，將曝光值-2EV加上+1EV得到新的目前曝光值為-1EV，並且依據新的目前曝光值重新擷取目前影像，此時目前影像為影像270。

處理單元統計目前影像的亮部像素數量為25以及暗部像素數量為50，此時由於亮部像素數量超越了第一臨界值，因此處理單元判斷目前曝光值的前一個曝光檔次，即-2EV，為高動態範圍影像合成所需之最低曝光值。從圖2A~圖2E亦可發現，當曝光值大於-2EV之後，影像中右上角的窗戶部份，其亮度皆已經飽和，而使得在窗戶附近的影像失真。

接著，由於目前影像的暗部像素數量仍大於第二臨界值，因此處理單元根據上述之處理方法，將曝光值-1EV加上+1EV得到目前曝光值為0EV，並且依據目前曝光值重新擷取目前影像，此時目前影像為影像280，其亮部像素數量為35以及暗部像素數量為40。

由於影像280之暗部像素數量仍大於第二臨界值，因此依據上述之處理方法重複擷取具有更高之目前曝光值的目前影像，此過程與上述過程相同，故不再贅述。直到影像擷取裝置依據+2EV的曝光值為目前曝光值，並擷取目前影像(此時為影像300)時，處理單元統計出目前影像的暗部像素數量為5。由於目前影像的暗部像素數量小於第二臨界值，因此處理單元判斷目前曝光值等於+2EV時，目前曝光值為高動態範圍影像合成所需之最高曝光值。最後，處理單元依據具有最低曝光值之影像260與具有最高曝光值之影像300，產生高動態範圍影像。

在上述之實施例中，影像擷取裝置由最低檔次曝光值對目前影像進行擷取，並且依序提升曝光檔次，而經過所述之處理方法得到產生高動態範圍影像所需之最低曝光值以及最高曝光值。然而，在更多的情況下，影像擷取裝置會先對所要擷取之影像進行測光，並且提供一個標準的曝光值(0EV)作為起始的目前曝光值，並依據此目前曝光值對目前影像進行拍攝。

因此，本發明提出另一高動態範圍影像的處理方法，其與前述之實施例不同之處在於，上述之實施例中，影像擷取裝置以最低檔次曝光值(如-2EV)作為初始的目前曝光值，逐步加上曝光補償值，並且經由處理單元判斷以得到產生高動態範圍影像所需的曝光值範圍，而在本實施例中，處理單元依據目前影像的實際亮度以及對比度決定目前影像之最合適曝光值，並將最合適的曝光值設為標準曝光值(如0EV)，使得影像擷取裝置在判斷目前影像的最高曝光值與最低曝光值時，皆以標準曝光值作為初始的曝光值設定，並依據標準曝光值提升曝光檔次或降低曝光檔次，以得到產生高動態範圍影像所需的曝光值範圍。

圖3繪示依照本發明另一實施例之高動態範圍影像的處理方法的步驟流程圖。請參照圖3，在步驟S200中，影像擷取裝置首先依據一個目前曝光值擷取一個目前影像，處理單元令初始的目前曝光值為標準曝光值(步驟S20)，其中標準曝光值係根據初始擷取的目前影像之實際亮度以及對比度所決定。

完成步驟S200後，處理單元統計目前影像在不同亮度下之像素數量(步驟S202)，此步驟與前述實施例之步驟S102相同，故不再贅述。

接著，處理單元將依據亮部像素數量以及第一臨界值，判斷並獲得最低曝光值(步驟S220)，並且依據暗部像素數量以及第二臨界值，判斷並獲得最高曝光值(步驟S230)。

在步驟S220中，為了獲得最低曝光值，處理單元更進一步地判斷目前影像的亮部像素數量是否小於第一臨界值(步驟S204)，其中第一臨界值可依據設計者需求自行調整。若目前影像的亮部像素數量未小於第一臨界值，則處理單元會將目前曝光值減去一個曝光補償值(步驟S205)，亦即將影像擷取裝置降低一個曝光檔次，使影像擷取裝置根據新的目前曝光值擷取目前影像(步驟S200)，重複步驟S200到步驟S205直到處理單元判斷目前影像的亮部像素數量大於第一臨界值時，處理單元則令最低曝光值為目前曝光值(步驟S207)。換句話說，在影像擷取裝置獲得最低曝光值之前，處理單元將目前曝光值減去曝光補償值，並重複上述步驟(步驟S200到步驟S205)，直至獲得最低曝光值。

在本實施例中，影像擷取裝置在獲得最低曝光值之後，將重置曝光值的設定，而重新令目前曝光值為標準曝光值(步驟S20)，並且依據標準曝光值再次擷取目前影像(步驟S200)。

接著在後續的步驟S200、S202、S206、S208、S209以及S210皆分別與前述實施例之步驟S100、S102、S106、S108、S109以及S110相同，亦即本實施例對於判斷並獲得最高曝光值的步驟(S230)乃至產生高動態範圍影像的步驟(步驟S210)皆與前述之實施例相同，故此處不再贅述。

此外，本實施例之處理方法不限制處理最低曝光值或是最高曝光值的優先順序，亦即本實施例之處理方法亦可先進行判斷並獲得最高曝光值之步驟，再進行判斷並獲得最低曝光值之步驟，其順序可視設計者需求前後更動，本發明不僅以圖示所繪示之方式所限。

本實施例之流程步驟亦可以圖2A~圖2E做進一步的說明。請參照圖3以及圖2A~圖2E，首先在步驟S200中，影像擷取裝置依據目前曝光值擷取目前影像。，因此影像擷取裝置初始擷取的目前影像為圖2C之影像280。

接著，處理單元統計不同亮度下之像素數量，並且判斷亮部像素數量是否小於第一臨界值，由於此時之目前影像的亮部像素數量為35仍未小於第一臨界值，因此處理單元將目前曝光值加上一個負的曝光補償值，亦即降低一個曝光檔次，使目前曝光值從0EV降為-1EV，並依據新的目前曝光值重新擷取目前影像。

重複上述步驟S200、S202、S204以及S206，直到目前曝光值為-2EV時，其亮部像素數量小於第一臨界值，因此處理單元判斷目前曝光值等於-2EV時，令最低曝光值為目前曝光值。

在得到最低曝光值後，影像擷取裝置重新依據標準曝光值0EV擷取目前影像，並且依照前述之步驟獲得最高曝光值以及對應於最低曝光值與最高曝光值的高動態範圍影像。其中，本實施例中的高動態範圍影像的處理方法，在一些場景對比度較低的情況下，具有較快的處理速度。

綜上所述，本發明之實施例所提出的處理方法，利用設定高亮度臨界值與低亮度臨界值的方式，使得影像擷取裝置的處理單元得以根據所設定的臨界值以及亮部與暗部像素數量，動態的決定高動態範圍影像所需要之曝光值範圍，使得應用本發明之影像擷取裝置在拍攝一些高對比度的場景時，仍能夠使所拍攝的影像維持一定的真實度，進而提升了影像的品質。

雖然本發明已以實施例揭露如上，然其並非用以限定本發明，任何所屬技術領域中具有通常知識者，在不脫離本發明之精神和範圍內，當可作些許之更動與潤飾，故本發明之保護範圍當視後附之申請專利範圍所界定者為準。

S10、S100、S102、S103、S104、S106、S107、S108、S109、S110、S120、S130．．．獲得高動態範圍影像之步驟流程

S20、S200、S202、S204、S205、S206、S208、S209、S210、S220、S230．．．獲得高動態範圍影像之步驟流程

260、270、280、290、300．．．影像

310、320、330、340、350．．．亮度分佈圖

C1．．．第一數值

C2．．．第二數值

圖1繪示依照本發明一實施例之高動態範圍影像的處理方法的步驟流程圖。

圖2A~圖2E繪示依照圖1之實施例之高動態範圍影像的處理方法的示意圖。

圖3繪示依照本發明另一實施例之高動態範圍影像的處理方法的步驟流程圖。

S100、S102、S104、S106、S108、S110．．．獲得高動態範圍影像之步驟流程

Claims (8)

1. 一種高動態範圍影像的處理方法，其適用於具有一處理單元之一影像擷取裝置，該處理方法包括：依據一目前曝光值，擷取一目前影像；統計該目前影像在不同亮度下之像素數量，令亮度小於一第一數值的像素數量總和為一暗部像素數量，亮度大於一第二數值的像素數量總和為一亮部像素數量；依據該亮部像素數量以及一第一臨界值，判斷並獲得一最低曝光值；依據該暗部像素數量以及一第二臨界值，判斷並獲得一最高曝光值；將該目前曝光值加上一曝光補償值，重複上述步驟，直至獲得該最高曝光值以及該最低曝光值；以及依據具有該最高曝光值的一第一影像以及具有該最低曝光值的一第二影像產生該高動態範圍影像。
2. 如申請專利範圍第1項所述之高動態範圍影像的處理方法，其中判斷並獲得該最低曝光值的步驟更包括：當該亮部像素數量大於該第一臨界值時，令該最低曝光值為前一個擷取影像的曝光值。
3. 如申請專利範圍第1項所述之高動態範圍影像的處理方法，其中判斷並獲得該最高曝光值的步驟更包括：當該暗部像素數量小於該第二臨界值時，令該最高曝光值為該目前曝光值。
4. 如申請專利範圍第1項所述之高動態範圍影像的處理方法，更包括：令初始的該目前曝光值為一最低檔次曝光值。
5. 一種高動態範圍影像的處理方法，其適用於具有一處理單元之一影像擷取裝置，該處理方法包括：a.依據一目前曝光值，擷取一目前影像；b.統計該目前影像在不同亮度下之像素數量，令亮度小於一第一數值的像素數量總和為一暗部像素數量，亮度大於一第二數值的像素數量總和為一亮部像素數量；依據該亮部像素數量以及一第一臨界值，判斷並獲得一最低曝光值，且將該目前曝光值減去一曝光補償值，重複步驟a與b，直至獲得該最低曝光值；依據該暗部像素數量以及一第二臨界值，判斷並獲得一最高曝光值，且將該目前曝光值加上一曝光補償值，重複步驟a與b，直至獲得該最高曝光值；以及依據具有該最高曝光值的一第一影像以及具有該最低曝光值的一第二影像產生該高動態範圍影像。
6. 如申請專利範圍第5項所述之高動態範圍影像的處理方法，其中判斷並獲得該最低曝光值的步驟更包括：當該亮部像素數量小於該第一臨界值時，令該最低曝光值為該目前曝光值。
7. 如申請專利範圍第5項所述之高動態範圍影像的處理方法，其中判斷並獲得該最高曝光值的步驟更包括：當該暗部像素數量小於該第二臨界值時，令該最高曝光值為該目前曝光值。
8. 如申請專利範圍第5項所述之高動態範圍影像的處理方法，更包括：令初始的該目前曝光值為一標準曝光值，其中該標準曝光值係根據初始擷取的該目前影像之實際亮度以及對比度所決定。