TWI403177B - 高動態範圍合成影像色溫調控系統及其調控方法 - Google Patents

Description

高動態範圍合成影像色溫調控系統及其調控方法

本發明係有關於一種影像色溫調控技術，更詳而言之，係關於一種高動態範圍合成影像色溫調控系統及其調控方法。

所謂動態範圍(Dynamic Range)係指影像中最暗與最亮的對比值。一般而言，電腦在顯示數位影像時是以8bit區分影像的明暗度，但若要達到複雜度如自然環境之真實明暗對比，通常會因無法同時兼顧對比過暗區域(曝光不足)與對比過亮區域(曝光過度)，因而使得部份影像無法顯示出來。

對此，高動態範圍(High Dynamic Range,HDR)影像合成技術則是針對以上缺點，利用複數張影像曝光程度不同的數位影像資料，疊合出具有明暗範圍較廣之合成影像，以增加影像顯示範圍的影像處理技術。

在高動態範圍影像合成的方法上，習知技術係利用一張自動曝光的影像與一張擁有前一張影像遺失的動態範圍影像，再將影像資訊轉換到HSV色彩空間，以利用直方圖對應兩張影像與梯度運算找出第一張影像遺失資訊的區域，進而合成出一高動態範圍影像。

雖然，上述高動態範圍影像合成技術能將部份遺失的影像透過複數張影像加以還原，但是經過該合成技術處理後的影像，常出現合成影像與原始影像色溫不同之失真現 象，進而導致合成影像失去原有的環境光源或產生不自然影像之問題。

因此，如何提供一種高動態範圍合成影像色溫調控系統及其調控方法，使其避免高動態範圍影像合成技術中，合成高動態範圍影像後，卻發生失去原有的環境光源或產生不自然影像之問題，實為本技術領域亟待解決的議題。

鑒於上述習知技術之缺點，本發明之主要目的在於揭露一種高動態範圍合成影像色溫調控系統及其調控方法。

本發明的高動態範圍合成影像色溫調控系統包含：明度調整模組、影像合成模組與色溫調控模組。

其中，明度調整模組係用以於接收複數組低動態範圍影像資料後，將彩色的影像資料轉換成灰階影像並利用Sobel遮罩對其進行邊緣偵測，以判斷出影像中因曝光不足或曝光過度而喪失影像細節的影像，再使Sobel遮罩進行數值計算出各低動態範圍影像資料中各像素的明度值以及Sobel遮罩計算值。

而明度調整模組亦用以對該Sobel遮罩計算值為0的影像區域明度值求取平均值以作為明度值調整的依據，又對曝光過度的影像捨去高於平均值的影像明度，以及對曝光不足的影像捨去低於平均值的影像明度，進而將影像明度值在1至100之預設範圍內重新調整影像明度以擴大其動態範圍。

再者，影像合成模組係用以分割各明度調整影像資料 並產生相對應之影像區塊，再分析出各特定影像區塊的權重比值，最後則依據權重比值疊合複數組明度調整影像資料的影像區塊進而產生高動態範圍影像。

最後，色溫調控模組係用以建立不同光源下所呈現的L、a、b色度座標，以計算出G、C、M、Y、W五個參考色點於不同光源下色溫改變的移動軌跡，再計算出影像像素與該五條移動軌跡之最短距離，進而估計出原始影像色溫，最後再依原始影像色溫對高動態範圍影像中的特定影像區塊進行色溫模擬調控。

本發明的高動態範圍合成影像色溫調控系統復包含：影像收集模組與影像儲存模組。

其中，影像收集模組係用以收集複數組同景物不同光源下的低動態範圍影像資料，並提供該複數組低動態範圍影像資料給明度調整模組。又影像儲存模組係用以儲存影像收集模組所收集的複數組低動態範圍影像資料，亦用以提供複數組低動態範圍影像資料至明度調整模組。

本發明的高動態範圍合成影像色溫調控方法，首先，係對複數組低動態範圍影像資料進行明度調整，以擴大其動態範圍，進而產生複數組明度調整影像資料；其次，再對各該明度調整影像資料進行分割，以於各該明度調整影像資料中產生相對應之影像區塊；接著，分析各該明度調整影像資料中特定影像區塊的權重比值，再依據各該權重比值對該複數組明度調整影像資料疊合該特定影像區塊，進而產生高動態範圍影像；最後，則採用G、C、M、 Y、W五個參考色點估計出該特定影像區塊的原始影像色溫，並依據該原始影像色溫對該高動態範圍影像中對應特定影像區塊之影像進行色溫模擬調控。

此外，本發明的高動態範圍合成影像色溫調控方法於執行步驟前，復包含：先擷取複數組於同一場景不同光源環境下的低動態範圍影像資料，再提供複數組低動態範圍影像資料。特需強調的是，於擷取複數組該低動態範圍影像資料後，亦可使該複數組低動態範圍影像資料儲存為影像資料庫，又可令影像資料庫提供該複數組低動態範圍影像資料。

而本發明的高動態範圍合成影像色溫調控方法中，復包含：先將彩色的影像資料轉換成灰階影像，再利用Sobel遮罩進行邊緣偵測，以判斷出影像中因曝光不足或曝光過度而喪失影像細節的影像；接著，計算出各該低動態範圍影像資料中各像素的明度值以及Sobel遮罩計算值，以對Sobel遮罩計算值為0的影像區域明度值求取平均值；最後，對曝光過度的影像捨去高於平均值的影像明度，並對曝光不足的影像捨去低於平均值的影像明度，再將影像明度值在1至100之預設範圍內重新調整，以初步擴大原始影像之動態範圍。

又本發明的高動態範圍合成影像色溫調控方法中，復包含：先建立不同光源下所呈現的L、a、b色度座標，以計算出G、C、M、Y、W五個參考色點於不同光源下色溫改變的移動軌跡，再計算出影像像素與該五條移動軌跡之最 短距離，進而定義出原始影像的估計色溫。

綜上可知，本發明之高動態範圍合成影像色溫調控系統及其調控方法，係先令明度調整模組擴大低動態範圍影像資料之動態範圍，再令影像合成模組產生相對應之影像區塊，並依據各權重比值使複數組影像資料以影像區塊為單位進行疊合，以產生高動態範圍影像，最後令色溫調控模組採用G、C、M、Y、W五個參考色點估計出特定影像區塊的原始影像色溫，再依其對該高動態範圍影像中對應特定影像區塊之影像進行色溫模擬調控。如此，自能改善習知高動態範圍影像合成技術中，合成高動態範圍影像後，卻發生失去原有的環境光源或產生不自然影像之缺憾。

以下係藉由特定的具體實例說明本發明之實施方式，熟悉此技藝之人士可由本說明書所揭示之內容輕易地瞭解本發明之其他優點與功效。本發明亦可藉由其他不同的具體實例加以施行或應用，本說明書中的各項細節亦可基於不同觀點與應用，在不悖離本發明之精神下進行各種修飾與變更。

以下之實施例係進一步詳細說明本發明之觀點，但並非以任何觀點限制本發明之範疇。

請參閱第1圖，其係本發明之高動態範圍合成影像色溫調控系統之架構示意圖。如圖所示，本發明之高動態範圍合成影像色溫調控系統10係包含：明度調整模組11、影像合成模組12與色溫調控模組13。

其中，明度調整模組11係用以於接收複數組低動態範圍影像資料後，將彩色的影像資料轉換成灰階影像，並利用Sobel遮罩對灰階影像進行邊緣偵測，以判斷出影像中因曝光不足或曝光過度而喪失影像細節的影像。此外，亦可用以使Sobel遮罩進行數值計算，以計算出各低動態範圍影像資料中各像素的明度值以及Sobel遮罩計算值。

此外，明度調整模組11復能用以針對Sobel遮罩計算值為0的影像區域明度值求取平均值，再捨去影像明度高於平均值的曝光過度影像與對影像明度低於平均值的曝光不足影像，最後再將影像明度值以1至100的預設範圍內，重新調整影像明度，進而擴大原始影像的動態範圍。

影像合成模組12係用以分割各明度調整影像資料並產生相對應之影像區塊，並分析各特定影像區塊的權重比值。此外，影像合成模組12復能用以依據權重比值疊合複數組明度調整影像資料的影像區塊進而產生高動態範圍影像。

色溫調控模組13主要是用以建立不同光源下所呈現的L、a、b色度座標，再採用G、C、M、Y、W五個參考色點以計算出上述參考色點於不同光源下色溫改變的移動軌跡，進而計算出影像像素與該五條移動軌跡之最短距離。色溫調控模組13復可用以依照像素與色溫點最短距離定義出原始影像之估計色溫，進而依該估計色溫對高動態範圍影像中的特定影像區塊進行色溫模擬調控。色溫調控模組13亦可用以使各影像區域經色溫調控模擬出之合 成影像結合，進而產生出一張完整的高動態範圍色溫調控合成影像。

請參閱第2a圖，其係用以顯示本發明之高動態範圍合成影像色溫調控方法之主要流程圖。如圖所示，本發明的高動態範圍合成影像色溫調控方法包含以下步驟。

於步驟S1中，係對複數組低動態範圍影像資料進行明度調整，以擴大其動態範圍，進而產生複數組明度調整影像資料。接著進至步驟S2。

於步驟S2中，係對各該明度調整影像資料進行分割，以於各該明度調整影像資料中產生相對應之影像區塊。接著進至步驟S3。

於步驟S3中，係分析各該明度調整影像資料中特定影像區塊的權重比值，並依據其決定影像資料中各該特定影像區塊之疊合比例，再依該疊合比例進行影像疊合以產生高動態範圍影像。接著進至步驟S4。

於步驟S4中，係採用G、C、M、Y、W五個參考色點估計出該特定影像區塊的原始影像色溫，並依據該原始影像色溫，對該高動態範圍影像中對應特定影像區塊之影像進行色溫模擬調控。

再請參閱第2b圖，其係用以顯示本發明之高動態範圍合成影像色溫調控方法較具體之流程圖，如圖所示，本發明的高動態範圍合成影像色溫調控方法於執行步驟S1前復包含步驟S01。

於步驟S01中，係擷取並提供複數組於同一場景不同 光源環境下的低動態範圍影像資料。接著再進至前述之步驟S1。

請參閱第2c圖，其係用以顯示本發明之高動態範圍合成影像色溫調控方法較具體之流程圖，如圖所示，步驟S01復可包含步驟S011與S012。

於步驟S011中，令擷取的複數組低動態範圍的影像資料儲存為影像資料庫。接著進至步驟S012。

於步驟S012中，令影像資料庫提供複數組低動態範圍影像資料。接著再進至前述之步驟S1。

再請參閱第2d圖，其係用以顯示本發明之高動態範圍合成影像色溫調控方法較具體之流程圖，如圖所示，本發明的高動態範圍合成影像色溫調控方法中，步驟S1復可包含步驟S11、S12與S13。

於步驟S11中，令該複數組低動態範圍影像資料轉換成灰階影像資料，再利用Sobel遮罩對其進行邊緣偵測，以判斷出影像中因曝光不足或曝光過度而喪失影像細節的影像。接著進至步驟S12。

於步驟S12中，計算出各該低動態範圍影像資料中各像素的明度值以及Sobel遮罩計算值，再對Sobel遮罩計算值為0的影像區域明度值求取平均值。接著進至步驟S13。

於步驟S13中，對曝光過度的影像捨去高於平均值的影像明度，並對曝光不足的影像捨去低於平均值的影像明度，再將影像明度值在1至100之預設範圍內重新調整， 進而產生該複數組明度調整影像資料。

請參閱第2e圖，其係用以顯示本發明之高動態範圍合成影像色溫調控方法較具體之流程圖，如圖所示，本發明的高動態範圍合成影像色溫調控方法中，步驟S4復可包含步驟S41與S42。

於步驟S41中，先建立不同光源下所呈現的L、a、b色度座標，以計算出G、C、M、Y、W五個參考色點於不同光源下色溫改變的移動軌跡。接著進至步驟S42。

於步驟S42中，再計算出影像像素與該五條移動軌跡之最短距離，進而估計出原始影像色溫。

請參閱第2f圖，其係用以顯示本發明4高動態範圍合成影像色溫調控方法較具體之流程圖，如圖所示，本發明的高動態範圍合成影像色溫調控方法中，於步驟S4後復包含步驟S5。

於步驟S5中，結合各經色溫調控合成之影像區域，進而產生出一張完整的高動態範圍色溫調控合成影像。

接下來，特需別強調者，有關色溫調控模組13以及步驟S4之操作，係採用G、C、M、Y、W五個參考色點在不同光源所L、a、b色度座標中，色溫改變的移動軌跡取代傳統單一黑體移動軌跡作為色溫評估之依據。

於本實施例中，其作法為，首先使用下述兩公式， 以及 ，計算出五個參考色點的頻譜分布，進而獲得五個參考色點的三刺激值X _c 、Y _c 、Z _c 。其中，k _c 係用以作為正規化，R _{c ,i} 為物體的頻譜反射率或頻譜透射率，P _{c ,i} 為照明光的頻譜分佈(照明光能量)，為配色函數，c 代表不同的參考色，i 代表國際照明委員會(Commission International d’Eclairage，簡稱CIE)所提供之配色函數81個離散點。

其次，利用條件等色之原理，藉由下述之Bernstein四次多項式，B _i ＝C _{c ,o} t _i ⁴ ＋C _{c ,1} (1－t _i )t _i ³ ＋C _{c ,2} (1－t _i )² t _i ² ＋C _{c ,3} (1－t _i )³ t _i ¹ ＋C _{c ,4} (1－t _i )⁴ (公式3) 計算出一個可能的物體頻譜反射率B _i ，其中，，i ＝0...80，係數C _{c ,0} ~C _{c ,4} 為曲線的控制點。又假設C _{c ,0} 與C _{c ,4} 為0，再帶入公式1中可得：，其中，c 同樣為五個參考色點，C _{c ,0} 與C _{c ,4} 為0，M _light 採用D65光源以及CIE配色函數所得求出之。於此，當求出參考色頻譜反射率後，再利用上述公式1與公式2，便能對參考色進行置換光源的計算，進而求出新的L、a、b色度值。

接著，利用Sobel遮罩處理不同曝光程度原始影像資料中的資訊範圍，以將含有影像資訊的像素點換算為L、a、b值，而無影像資訊的像素點則將像素強度調為0。

再根據最短距離運算方法，將前述五條色溫軌跡進行最短距離運算，以比對出與軌跡最接近的像素點，進而定義出各色溫軌跡中與該影像像素點最接近的色溫點為原始影像的估計色溫。

之後，參考CIE色溫換算照明光能量公式，將求出的估計色溫代入CIE色溫換算照明光能量公式中，以求原始低動態範圍影像中特定區域之照明光能量，並利用相同公式計算出高動態範圍合成影像中該特定區域之照明光能量，再使用上述影像公式進行光源置換，即可求得該特定區域之新三刺激值。

接著利用該新三刺激值模擬出該特定區域之經色溫調控合成影像，最後將各影像區域經色溫調控模擬出之合成影像結合後，即可產生出一張完整的高動態範圍色溫調控合成影像。

綜上可知，本發明之高動態範圍合成影像色溫調控系統及其調控方法，係先令明度調整模組擴大低動態範圍影像資料之動態範圍，再令影像合成模組產生相對應之影像區塊，並依據各權重比值使複數組影像資料以影像區塊為單位進行疊合，以產生高動態範圍影像，又令色溫調控模組採用G、C、M、Y、W五個參考色點估計出特定影像區塊的原始影像色溫，再依其對該高動態範圍影像中對應特定 影像區塊之影像進行色溫模擬調控，最後將各影像區域經色溫調控模擬出之合成影像結合後，即可產生出一張完整的高動態範圍色溫調控合成影像。

如此，自能改善習知高動態範圍影像合成技術中，合成高動態範圍影像後，卻發生失去原有的環境光源或產生不自然影像之缺憾。

上述實施例僅例示性說明本發明之原理及其功效，而非用於限制本發明。任何熟習此項技藝之人士均可在不違背本發明之精神及範疇下，對上述實施例進行修飾與改變。因此，本發明之權利保護範圍，應如後述之申請專利範圍所列。

10‧‧‧高動態範圍合成影像色溫調控系統

11‧‧‧明度調整模組

12‧‧‧影像合成模組

13‧‧‧色溫調控模組

S1~S4‧‧‧步驟

S01‧‧‧步驟

S011~S012‧‧‧步驟

S11~S13‧‧‧步驟

S41~S42‧‧‧步驟

第1圖為本發明之高動態範圍合成影像色溫調控系統之架構示意圖；以及第2a圖為本發明之高動態範圍合成影像色溫調控方法之主要流程圖；第2b圖之本發明之高動態範圍合成影像色溫調控方法較具體之流程圖；第2c圖之本發明之高動態範圍合成影像色溫調控方法較具體之流程圖；第2d圖之本發明之高動態範圍合成影像色溫調控方法較具體之流程圖；第2e圖之本發明之高動態範圍合成影像色溫調控方法較具體之流程圖；以及 第2f圖之本發明之高動態範圍合成影像色溫調控方法較具體之流程圖。

S1~S4‧‧‧步驟

Claims (24)

1. 一種高動態範圍合成影像色溫調控系統，其包括：明度調整模組，其係用以接收複數組低動態範圍影像資料，再對該低動態範圍影像資料進行明度調整，以擴大其動態範圍，進而產生複數組明度調整影像資料，且復用以將彩色的影像資料轉換成灰階影像，再利用Sobel遮罩進行邊緣偵測，以判斷出影像中因曝光不足或曝光過度而喪失影像細節的影像；影像合成模組，其係用以對各該明度調整影像資料進行分割，以於各該明度調整影像資料中產生相對應之影像區塊，再分析各該明度調整影像資料中特定影像區塊的權重比值，並依據各該權重比值，對該複數組明度調整影像資料疊合該特定影像區塊，俾產生高動態範圍影像；以及色溫調控模組，其係利用G、C、M、Y、W五個參考色點，估計出該特定影像區塊的原始影像色溫，再依據該原始影像色溫，對該高動態範圍影像中對應特定影像區塊之影像進行色溫模擬調控。
2. 如申請專利範圍第1項之高動態範圍合成影像色溫調控系統，其中，該複數組低動態範圍影像資料係於同一場景不同光源環境下所收集的複數組影像資料。
3. 如申請專利範圍第2項之高動態範圍合成影像色溫調控系統，復包含影像收集模組，其係用以收集並提供該低動態範圍影像資料。
4. 如申請專利範圍第3項之高動態範圍合成影像色溫調控系統，其中，該明度調整模組係用以接收該影像收集模組所收集的低動態範圍影像資料。
5. 如申請專利範圍第3項之高動態範圍合成影像色溫調控系統，復包含影像儲存模組，其係用以儲存該影像收集模組所收集的低動態範圍影像資料，亦用以提供該低動態範圍影像資料至該明度調整模組。
6. 如申請專利範圍第1項之高動態範圍合成影像色溫調控系統，其中，利用該Sobel遮罩進行邊緣偵測時，若影像資料中鄰近像素對比值無變化，則計算出的數值為0。
7. 如申請專利範圍第1項之高動態範圍合成影像色溫調控系統，其中，該Sobel遮罩包含水平方向的Sobel遮罩與垂直方向的Sobel遮罩。
8. 如申請專利範圍第6項之高動態範圍合成影像色溫調控系統，其中，該水平方向的Sobel遮罩係
9. 如申請專利範圍第6項之高動態範圍合成影像色溫調控系統，其中，該垂直方向的Sobel遮罩係
10. 如申請專利範圍第6項之高動態範圍合成影像色溫調控系統，其中，該明度調整模組復用以計算出各該低動態範圍影像資料中各像素的明度值以及Sobel遮罩計算值，再對該Sobel遮罩計算值為0的影像區域明度值求取平均值，以作為明度值調整的依據。
11. 如申請專利範圍第10項之高動態範圍合成影像色溫調控系統，其中，該明度調整模組復用以對曝光過度的影像捨去高於平均值的影像明度，並對曝光不足的影像捨去低於平均值的影像明度，再將影像明度值在1至100之預設範圍內重新調整。
12. 如申請專利範圍第1項之高動態範圍合成影像色溫調控系統，其中，該色溫調控模組復用以建立不同光源下所呈現的L、a、b色度座標，以計算出G、C、M、Y、W五個參考色點於不同光源下色溫改變的移動軌跡。
13. 如申請專利範圍第12項之高動態範圍合成影像色溫調控系統，其中，該色溫調控模組復用以依其計算出影像像素與該五條移動軌跡之最短距離，進而定義出原始影像的估計色溫。
14. 如申請專利範圍第1項之高動態範圍合成影像色溫調控系統，其中，該色溫調控模組復用以結合各經色溫調控合成之影像區域，進而產生出一張完整的高動態範圍色溫調控合成影像。
15. 一種高動態範圍合成影像色溫調控方法，其包括：(1)對複數組低動態範圍影像資料進行明度調 整，以產生複數組明度調整影像資料，以及令該複數組低動態範圍影像資料轉換成灰階影像資料，再利用Sobel遮罩對其進行邊緣偵測，以判斷出影像中因曝光不足或曝光過度而喪失影像細節的影像；(2)對各該明度調整影像資料進行分割，以於各該明度調整影像資料中產生相對應之影像區塊；(3)分析各該明度調整影像資料中特定影像區塊的權重比值，並依據該權重比值決定影像資料中各該特定影像區塊之疊合比例，再依該疊合比例進行影像疊合，以產生高動態範圍影像；以及(4)利用G、C、M、Y、W五個參考色點以定義出該特定影像區塊的原始影像之估計色溫，再依據該原始影像之估計色溫，對該高動態範圍影像中對應特定影像區塊之影像進行色溫模擬調控。
16. 如申請專利範圍第15項之高動態範圍合成影像色溫調控方法，於步驟(1)前復包含步驟(01)，擷取並提供複數組低動態範圍的影像資料。
17. 如申請專利範圍第16項之高動態範圍合成影像色溫調控方法，其中，該複數組低動態範圍影像資料係於同一場景不同光源環境下所收集的複數組影像資料。
18. 如申請專利範圍第16項之高動態範圍合成影像色溫調控方法，其中，該步驟(01)復包含步驟(011)，將該擷取的複數組低動態範圍的影像資料儲存為影像資料庫。
19. 如申請專利範圍第18項之高動態範圍合成影像色溫調控方法，其中，於該步驟(011)後復包含步驟(012)，令該影像資料庫提供該複數組低動態範圍的影像資料。
20. 如申請專利範圍第15項之高動態範圍合成影像色溫調控方法，其中，於該步驟(1)中復包含步驟(12)，其係於該步驟(11)後，計算出各該低動態範圍影像資料中各像素的明度值以及Sobel遮罩計算值，再對該Sobel遮罩計算值為0的影像區域明度值求取平均值。
21. 如申請專利範圍第20項之高動態範圍合成影像色溫調控方法，其中，於該步驟(1)中復包含步驟(13)，其係於該步驟(12)後，對曝光過度的影像捨去高於平均值的影像明度，並對曝光不足的影像捨去低於平均值的影像明度，再將影像明度值在1至100之預設範圍內重新調整。
22. 如申請專利範圍第15項之高動態範圍合成影像色溫調控方法，於該步驟(4)後復包含步驟(41)，建立不同光源下所呈現的L、a、b色度座標，以計算出G、C、M、Y、W五個參考色點於不同光源下色溫改變的移動軌跡。
23. 如申請專利範圍第22項之高動態範圍合成影像色溫調控方法，於該步驟(41)後復包含步驟(42)，計算出影像像素與該五條移動軌跡之最短距離，進而定義出該原始影像之估計色溫。
24. 如申請專利範圍第15項之高動態範圍合成影像色溫調控方法，其中，於該步驟(4)後復包含步驟(5)，結合各經色溫調控合成之影像區域，進而產生出一張完整的高動態範圍色溫調控合成影像。