TWI506591B

TWI506591B - 產生有目標曝光值的影像的方法與影像處理裝置

Info

Publication number: TWI506591B
Application number: TW101119555A
Authority: TW
Inventors: Hong Long Chou; Chia Chun Tseng
Original assignee: Altek Corp
Priority date: 2012-05-31
Filing date: 2012-05-31
Publication date: 2015-11-01
Also published as: TW201349176A

Description

產生有目標曝光值的影像的方法與影像處理裝置

本發明是有關於一種影像處理的技術，且特別是有關於一種產生有目標曝光值的影像的方法與裝置。

隨著製作感光元件與鏡頭的技術進步，市面上許多裝置都能夠擷取影像或者是視訊。例如，除了數位相機以外，筆記型電腦、手機以及平板電腦都常配備了能夠擷取影像的裝置。以數位相機來說，使用者可以調整曝光值(exposure value,EV)使得所拍攝的照片擁有不同的影像效果。具體來說，數位相機會偵測目前的環境光源，自動的選擇一個曝光值作為一個基準，使用者可以加或減這個基準的曝光值，產生出所希望的影像效果。一般來說，增加這個基準的曝光值(例如，選擇+1EV)會使得所得到的影像更亮，而減少這個基準的曝光值會使得所得到的影像更暗。

此外，使用者也可以設定包圍曝光，亦即設定一個曝光值的範圍，數位相機會拍攝曝光值屬於這個範圍的影像。例如，使用者可以設定包圍曝光為±1，則數位相機會自動的拍攝-1EV，0EV與1EV的影像，接著使用者便可以從這三張影像中挑選所喜歡的那一張。然而，當使用包圍曝光時，使用者只能從所拍攝的影像中挑選出所喜歡的那一張，當使用者想要其他曝光效果的影像時，便只能重新拍攝。以上面的例子來說，當使用者想要0.5EV曝光效果的影像時，便需要重新調整數位相機以及重新拍攝。

因此，如何讓使用者不需要重新拍攝，便可以取得不同曝光效果的影像，為此領域研究研院所關心的課題。

本發明一實施例提出一種影像處理裝置與產生有目標曝光值的影像的方法，可以讓使用者不需要重新拍攝，便可以取得有不同曝光值的影像。

本發明一實施例提出一種產生有目標曝光值的影像的方法，包括：取得多張影像，其中每一個影像包括一曝光值，且這些曝光值彼此不相同；根據上述影像，產生一高動態範圍影像。此方法還包括：取得目標曝光值；根據高動態範圍影像、上述多個曝光值與目標曝光值，產生一轉換曲線；以及，根據轉換曲線將高動態範圍影像轉換為一目標影像，其中目標影像符合目標曝光值。

在本發明的一實施例中，上述影像符合第一動態範圍。其中根據上述影像，產生高動態範圍影像的步驟包括：根據每一個影像的曝光值，線性的調整每一個影像的第一動態範圍；以及，將調整後的上述影像合成為高動態範圍影像。

在本發明的一實施例中，上述高動態範圍影像符合第二動態範圍。其中根據高動態範圍影像、上述多個曝光值與目標曝光值，產生轉換曲線的步驟包括：根據第二動態範圍、上述曝光值與目標曝光值，產生一目標動態範圍；將轉換曲線中符合目標動態範圍的部份設定為線性，將轉換曲線中不符合目標動態範圍的部份設定為一預設值。

在本發明的一實施例中，上述根據第二動態範圍、上述曝光值與目標曝光值，產生目標動態範圍的步驟包括：根據以下方程式(1)來產生目標動態範圍，其中T為目標動態範圍，H為第二動態範圍，y為上述曝光值中最小的曝光值，x為目標曝光值。

在本發明的一實施例中，上述所取得的影像符合一未加工格式(raw format)。

以另外一個角度來說，本發明一實施例提出一種影像處理裝置，包括影像擷取單元與影像處理單元。影像擷取單元是用以取得多張影像，其中每一個影像包括一曝光值，且這些曝光值彼此不相同。影像處理單元是耦接至影像擷取單元，且會根據上述影像，產生一高動態範圍影像，並取得目標曝光值。影像處理單元還會根據所產生的高動態範圍影像、上述曝光值與目標曝光值，產生一轉換曲線，以及根據轉換曲線將高動態範圍影像轉換為一目標影像，其中此目標影像符合上述的目標曝光值。

在本發明的一實施例中，上述每一個影像符合第一動態範圍。影像處理單元更用以根據每一個影像的曝光值，線性的調整每一個影像的第一動態範圍，影像處理單元會將調整後的影像合成為高動態範圍影像。

在本發明的一實施例中，上述高動態範圍影像符合第二動態範圍。影像處理單元更用以根據第二動態範圍、上述的曝光值與目標曝光值，產生一目標動態範圍。影像處理單元還會將轉換曲線中符合目標動態範圍的部份設定為線性，將轉換曲線中不符合目標動態範圍的部份設定為一預設值。

在本發明的一實施例中，上述影像處理單元更用以根據以下方程式(1)來產生目標動態範圍。

其中T為目標動態範圍，H為第二動態範圍，y為上述曝光值中最小的曝光值，x為目標曝光值。

在本發明的一實施例中，上述影像符合一未加工格式。

基於上述，本發明實施例所提出的產生有目標曝光值的影像的方法與影像處理裝置，可以先根據所取得的影像產生一高動態範圍影像。接著，此高動態範圍影像會被用以產生一目標影像，且此目標影像符合一目標曝光值。因此，使用者不需要再拍攝其他影像，便可以取得不同曝光效果的影像。

為讓本發明之上述特徵和優點能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。

圖1是根據一實施例所繪示的影像處理裝置的方塊圖。

請參照圖1。影像處理裝置100是用以擷取多張影像，且這些影像的曝光值彼此不相同。影像處理裝置100會接收一目標曝光值，並根據此目標曝光值與所擷取的影像，產生一目標影像，使得此目標影像符合上述的目標曝光值。如此一來，使用者便不需要重新拍攝影像，便可以得到曝光值不同的影像。在本實施例中，影像處理裝置100是一數位相機，然而，影像處理裝置也可以是有照相功能的電腦或智慧型手機，本發明應不在此限。具體來說，影像處理裝置100包括影像擷取單元120、影像輸出單元140以及影像處理單元160。

影像擷取單元120是用以擷取影像，例如，影像擷取單元120為包含鏡頭、光圈、快門與感光元件的裝置。特別的是，影像處理裝置100可以調整影像擷取單元120的各個參數以取得不同曝光值的影像。例如，調整曝光時間與光圈大小以後，影像擷取單元120便可以取得不同曝光值的影像。在本實施例中，影像擷取單元120會擷取曝光值為+1EV、0EV與-1EV的影像。然而，影像擷取單元120也可以擷取其他曝光值的影像，本發明應不受限於此範例當中。

影像輸出單元140是用以輸出上述所產生的目標影像。影像輸出單元140例如為一顯示螢幕，用以顯示此目標影像。然而，影像輸出單元140也可以是一輸入輸出(input/output,I/O)裝置，用以將目標影像輸出至其他裝置當中，本發明並不在此限。

影像處理單元160是用以接收目標曝光值，並根據影像擷取單元120所擷取的影像來產生符合此目標曝光值的目標影像。例如，影像處理單元160是中央處理器(central processing unit,CPU)。具體來說，影像處理單元160會先根據影像擷取單元120所擷取的影像，產生一高動態範圍影像，再根據此高動態範圍影像來產生使用者所想要的目標影像。

在本實施例中，影像擷取單元120所擷取的影像符合未加工格式(raw format)。具體來說，在一實施例中，影像擷取單元120包含多個感光元件，當光線透過光圈以及快門以後，光線會照射在這些感光元件上。在一曝光時間下，感光元件會根據光線照射所累積的強度產生相對應的電壓，這些電壓便可以當作顏色的數值。舉例來說，當感光元件是綠色的感光元件時，這些電壓便代表綠色的像素值。接著，這些電壓會被量化，且在被量化以後會經過一個函數以調整其顏色，例如，此函數是一個加碼函數(gamma function)。而未經過上述函數轉換的電壓值便符合未加工格式。

圖2是根據一實施例所繪示的不同曝光值的示意圖。

請參照圖2。由於影像擷取單元120所擷取的影像擁有不同的曝光值，因此影像處理單元160會先調整這些影像的動態範圍(dynamic range)以產生高動態範圍影像。具體來說，影像擷取單元120會擷取影像222、224與226，且影像222的曝光值是1EV，影像224的曝光值是0EV，影像226的曝光值是-1EV。在本實施例中，這些符合未加工格式的影像222、224、226的動態範圍(dynamic range)是4096(以下稱第一動態範圍)。動態範圍為4096的意義是，最大的亮度與最小亮度會差4096倍，因此在實作上可以用12個位元(bit)來描述一個像素值。在本實施例中，最低亮度的像素值會被表示為0，最高亮度的像素值會被表示為4095。因此，一個符合未加工格式的像素值的範圍便是0至4095。值得注意的是，由於影像擷取單元120中感光元件上的電壓與光線強度成正比，因此不同曝光值的影像的像素值之間也成正比。舉例來說，影像222中包括一像素202，其像素值為a。此像素202的像素值a表示來自於一個物體所反射的光線強度。假設在短時間內此反射的光線並沒有改變，因此當影像擷取單元120對此物體再拍攝另一曝光值的影像時，影像擷取單元120從此物體所接收到的光線強度也沒有改變。然而，由於曝光值改變了(即，曝光時間或光圈大小改變了)，因此感光元件上所累積的光線的強度也改變了，導致像素值的大小也跟著改變。例如，影像224所包含的像素204與影像226所包含的像素206便是對應此物體，且由於曝光值不同，其像素值(即，b與c)也會與像素值a不同。更具體來說，由於影像224的曝光值比影像222的曝光值少1，因此理論上像素值b會是a的1/2，此外，理論上c會是b的1/2。然而，因為影像擷取單元120並不是同時擷取影像222、224、226，因此像素202、204、206之間會有些取的空間位移的誤差，另一方面感光元件上也會有硬體上些許的誤差，因此實際上像素值a不一定會剛好是像素值b的兩倍，像素值b也不一定會剛好是像素值c的兩倍。另一方面，由於不同曝光值的影像之間有著上述的關係，因此影像處理單元120會調整影像222、224、226的第一動態範圍，用以合成出高動態範圍影像。

圖3是根據一實施例所繪示的調整第一動態範圍的示意圖。

請參照圖3，影像處理單元160會根據影像222、224、226的曝光值來調整影像222、224、226的第一動態範圍。例如，由於影像224的曝光值比影像222的曝光值少1，因此影像處理單元160會將影像224的第一動態範圍放大兩倍。因此，像素204的像素值會變為2b。此外，由於影像226的曝光值比影像222的曝光值少2，因此影像處理單元160會將影像226的第一動態範圍放大四倍。因此，像素206的像素值會變為4c。如此一來，像素202、204、206便會有類似的像素值(a、2b、4c彼此之間大約相等)。

影像處理單元160在調整完影像222、224、226的第一動態範圍以後，會根據調整後的影像222、224、226來合成出高動態範圍影像228。舉例來說，影像處理單元160可以將像素202、204、206的像素值(即，分別為a,2b,4c)平均，以產生出像素208的像素值。在另一實施例中，影像處理單元160也可以偵測影像222、224、226之間的位移，並根據此位移來做加權平均以產生像素208，本發明並不在此限。在將影像222、224、226中所有的像素皆合成出所對應高動態範圍影像的像素以後，影像處理單元160便可以產生高動態範圍影像228。值得注意的是，在本實施例中，高動態範圍影像228的動態範圍(以下稱第二動態範圍)會與調整後的影像226的動態範圍相同(即，16384)。

接著，影像處理單元160會接收一目標曝光值，例如，此目標曝光值為-0.5EV。影像處理單元160會先根據高動態範圍影像228、影像222、224、226的曝光值與此目標曝光值來產生一目標動態範圍。詳細來說，影像處理單元160會根據以下方程式(1)來產生此目標動態範圍。

其中T為目標動態範圍。H為高動態範圍影像228的第二動態範圍，在本實施例中為16384。y為影像222、224、226的曝光值中最小的曝光值，在本實施例中為-1。x為目標曝光值，在本實施例中為-0.5。根據方程式(1)，所計算出的目標動態範圍T是11587，因此在實作上像素值的範圍是0至11586。

圖4是根據一實施例繪示目標動態範圍的示意圖。

請參照圖4。根據上述計算，目標影像402的目標動態範圍便會介於影像226與影像224的動態範圍之間。值得注意的是，若將x=0代入方程式(1)，便會得到目標動態範圍為8192，也就是影像224(其EV值為0)的動態範圍。也就是說，影像處理單元160可以根據方程式(1)，對於任何一目標曝光值都可以產生所對應的目標動態範圍。在其他實施例中，影像擷取單元120也可以擷取其他曝光值的影像(例如，-3EV與-1EV)，而影像處理單元160可以根據所擷取的影像來產生出高動態範圍影像，並產生符合一目標曝光值(例如，-2EV)的目標影像。在一實施例中，第一動態範圍也可以是65536，實作上用16個位元來表示，而第二動態範圍也會根據所擷取的影像的曝光值而不同，本發明並不限制第一動態範圍、第二動態範圍與目標曝光值的數值。

在取得目標動態範圍以後，影像處理單元160會根據根據高動態範圍影像228、影像222、224、226的曝光值與目標曝光值，產生一轉換曲線。影像處理單元160會跟據此轉換曲線將高動態範圍影像228轉換為目標影像402。

圖5是根據一實施例所繪示的轉換曲線的示意圖。

請參照圖5。在本實施例中，影像處理單元160是將高動態範圍影像228的第二動態範圍(即，16384)轉換至第一動態範圍(即，4096)。因此，轉換曲線502的橫軸為0至16383，代表所輸入的像素值。而轉換曲線502的縱軸為0至4095，代表所輸出的像素值。經過此轉換曲線以後，影像處理單元160便可以將高動態範圍影像228轉換為目標影像，且目標影像的像素值的範圍會成為0至4095，使得可以進一步的做加碼函數的轉換並傳送至影像輸出單元140。具體來說，影像處理單元160會將此轉換曲線502中符合目標動態範圍的部份設定為線性。也就是說，轉換曲線502的橫座標0至11586之間會被設定為線性。設定為線性所代表的意義是，高動態範圍影像228中數值為0至11586之間的像素值是符合目標曝光值(即，-0.5EV)的範圍。然而，0至11586的範圍卻大於第一動態範圍(即，4096)，因此，影像處理單元160必須將這些超出範圍的像素值縮小至第一動態範圍。在本實施例中是使用線性的縮放，然而在其他實施例中也可以使用多項式函數或指數函數的方式來做調整，本發明並不在此限。

另一方面，影像處理單元160會將轉換曲線502中不符合目標動態範圍的部份設定為一預設值。詳細來說，轉換曲線502的橫座標11586至16383之間已超出目標動態範圍，因此會被設定為一預設值。在本實施例中，由於輸出像素值的最大值為4095，因此影像處理單元160會將預設值設定為4095，所代表的意義是將影像中亮度飽和的像素值設定為最大值。

產生出轉換函數502以後，影像處理單元160便會根據轉換函數502將高動態範圍影像208轉換為目標影像，此時的目標影像的動態範圍是4096，所對應的曝光值是-0.5EV。也就是說，所產生的目標影像會符合使用者所需求的目標曝光值。

以另外一個角度來說，本發明還提出一種產生有目標曝光值的影像的方法。圖6是根據一實施例所繪示的產生有目標曝光值的影像的方法的流程圖。

請參照圖6。在步驟S602中，取得多張影像，其中每一影像包括一曝光值，這些曝光值彼此不相同。在步驟S604中，根據這些取得的影像，產生一高動態範圍影像。在步驟S606中，取得一目標曝光值。在步驟S608中，根據高動態範圍影像、上述的曝光值與目標曝光值，產生一轉換曲線。在步驟S610中，根據轉換曲線將高動態範圍影像轉換為一目標影像，其中此目標影像符合目標曝光值。

然而，圖6中各步驟已詳細說明如上，在此便不再贅述。

綜上所述，本發明所提出的影像處理裝置與產生有目標曝光值的影像的方法，可以根據所拍攝的影像先產生一高動態範圍影像。接著，此高動態範圍的影像可以被用來產生一目標影像，且此目標影像的曝光值會符合使用者所輸入的目標曝光值。如此一來，使用者不需要再拍攝其他影像，便可以得到有其他曝光值的影像。

雖然本發明已以實施例揭露如上，然其並非用以限定本發明，任何所屬技術領域中具有通常知識者，在不脫離本發明之精神和範圍內，當可作些許之更動與潤飾，故本發明之保護範圍當視後附之申請專利範圍所界定者為準。

120‧‧‧影像擷取單元

140‧‧‧影像輸出單元

160‧‧‧影像處理單元

202、204、206、208‧‧‧像素

222、224、226‧‧‧影像

228‧‧‧高動態範圍影像

402‧‧‧目標影像

502‧‧‧轉換曲線

S602、S604、S606、S608、S610‧‧‧產生有目標曝光值的影像的方法的各步驟

圖1是根據一實施例所繪示的影像處理裝置的方塊圖。

圖2是根據一實施例所繪示的不同曝光值的示意圖。

圖3是根據一實施例所繪示的調整第一動態範圍的示意圖。

圖4是根據一實施例繪示目標動態範圍的示意圖。

圖5是根據一實施例所繪示的轉換曲線的示意圖。

圖6是根據一實施例所繪示的產生有目標曝光值的影像的方法的流程圖。

Claims

一種產生有目標曝光值的影像的方法，包括：取得多張影像，其中每一該些影像包括一曝光值，該些曝光值彼此不相同；根據該些影像，產生一高動態範圍影像，其中每一該些影像符合一第一動態範圍，該高動態範圍影像符合一第二動態範圍，其中該第一動態範圍用以指示每一該些影像中最大亮度與最小亮度相差的倍數，以及該第二動態範圍用以指示該高動態範圍影像中最大亮度與最小亮度相差的倍數；取得一目標曝光值；根據該第二動態範圍、該些曝光值與該目標曝光值，產生一目標動態範圍，其中該目標動態範圍介於該第一動態範圍與該第二動態範圍之間；根據該第一動態範圍、該第二動態範圍以及該目標動態範圍，產生一轉換曲線，其中該轉換曲線中符合該目標動態範圍的部份是被設定為線性，該轉換曲線中不符合該目標動態範圍的部份是被設定為一預設值；以及根據該轉換曲線將該高動態範圍影像轉換為一目標影像，其中該目標影像符合該目標曝光值。
如申請專利範圍第1項所述之產生有目標曝光值的影像的方法，其中根據該些影像，產生該高動態範圍影像的步驟包括：根據每一該些影像的該曝光值，線性的調整每一該些影像的該第一動態範圍；以及將調整後的該些影像合成為該高動態範圍影像。
如申請專利範圍第1項所述之產生有目標曝光值的影像的方法，其中根據該第二動態範圍、該些曝光值與該目標曝光值，產生該目標動態範圍的步驟包括：根據以下方程式(1)來產生該目標動態範圍，其中T為該目標動態範圍，H為該第二動態範圍，y為該些曝光值中最小的曝光值，x為該目標曝光值。
如申請專利範圍第1項所述之產生有目標曝光值的影像的方法，其中該些影像符合一未加工格式(raw format)。
一種影像處理裝置，包括：一影像擷取單元，用以取得多張影像，其中每一該些影像包括一曝光值，該些曝光值彼此不相同；一影像處理單元，耦接至該影像擷取單元與該影像輸出單元，其中，該影像處理單元根據該些影像，產生一高動態範圍影像，並取得一目標曝光值，其中每一該些影像符合一第一動態範圍，該高動態範圍影像符合一第二動態範圍，其中該第一動態範圍用以指示每一該些影像中最大亮度與最小亮度相差的倍數，以及該第二動態範圍用以指示該高動態範圍影像中最大亮度與最小亮度相差的倍數，其中該影像處理單元更用以根據該第二動態範圍、該些曝光值與該目標曝光值，產生一目標動態範圍，其中該目標動態範圍介於該第一動態範圍與該第二動態範圍之間，其中，該影像處理單元根據該第一動態範圍、該第二動態範圍以及該目標動態範圍，產生一轉換曲線，以及根據該轉換曲線將該高動態範圍影像轉換為一目標影像，其中該目標影像符合該目標曝光值，其中該轉換曲線中符合該目標動態範圍的部份是被設定為線性，該轉換曲線中不符合該目標動態範圍的部份是被設定為一預設值。
如申請專利範圍第5項所述之影像處理裝置，該影像處理單元更用以根據每一該些影像的該曝光值，線性的調整每一該些影像的該第一動態範圍，該影像處理單元將調整後的該些影像合成為該高動態範圍影像。
如申請專利範圍第5項所述之影像處理裝置，該影像處理單元更用以根據以下方程式(1)來產生該目標動態範圍，其中T為該目標動態範圍，H為該第二動態範圍，y為該些曝光值中最小的曝光值，x為該目標曝光值。
如申請專利範圍第5項所述之影像處理裝置，其中該些影像符合一未加工格式。