TWI542212B - Photographic system with visibility enhancement - Google Patents

Description

具能見度強化之攝影系統

本發明係關於一種改善影像攝影裝置因霧和霾環境下，拍攝之影像因而產生灰白或白霧之能見度不佳之情況，以強化影像能見度為目的之攝影裝置，特別是指一種透過暗通道可以直接估計影像中霧的濃度，進而提升影像能見度之攝影裝置。

目前一般市面上常見帶有攝影裝置的產品常見的有數位相機、監控攝影機、消費性DV攝影機與時下最為流行的行動裝置等。此類產品中影像感測器在空氣中有霧氣的情況下，拍攝畫面往往會有影像偏向灰白和清晰度與對比度不佳之問題。

為了改善影像感測器在霧、霾天氣或大氣環境光線下拍攝因而造成影像泛白、灰霧等能見度或影像細節不佳的情況，相關產業提出解決的方式敘述如下：

使用高階影像處理器：採用國外之IC設計廠商所設計之高階影像處理器，所設計出具除霧(De-fog/De-mist)功能之攝影裝置或影像處理器，惟，增加產品設計成本。

光學物理處理(Optical)方式：產業界普遍作法是加上IR穿透率片(IR through Filter)，來增強影像感測器感測紅外光線的能力，感測到更多不同波長光源，藉以提高影像細節，但此方式基本上雖能感測到更多的影像細節，但除霧效果無法令人滿意且會有色偏情況產生。

又，習用判斷輸入影像是否為霧化影像之方法、判斷輸入影像的霧級數之方法及霧化影像濾清方法係如我國公告第201120814號專利案，其主要構成特徵為：針對RGB色彩模組及三色激勵值，進行改良式的指數型影像對比增強方法，增強因霧氣所導致的低能見度影像，分析影像中RGB各通道中色彩的資訊，經由朗伯-比耳的物理模型，分析因霧氣所造成散射光的亮度資訊；接著分析RGB三色的色彩激勵值；再利用雙色大氣散射原理去做指數型對比度增強的處理，則可去除影像霧化現象，但經由濾清霧化影像後的結果，影像資訊會有偏色或偏暗的影響，因此必須再進行一種改良式的直方圖均衡化的方法，以加強影像的亮度，並提高YCbCr的色彩模型的Cb及Cr的值，以增加影像的彩度，如此可得逼近原始影像的色彩資訊。

習用可進行影像去霧處理之車用攝影儲存系統公告第M429624號專利案之構成特徵為：攝影鏡頭、影像處理電路及儲存裝置；該影像處理電路，則包括：影像訊號處理電路與影像去霧處理電路；攝影鏡頭之輸出訊號，則是以 線路來連接至影像訊號處理電路之輸入端；影像訊號處理電路之輸出訊號，則是以線路來連接至影像去霧處理電路之輸入端；影像去霧處理電路之輸出訊號，則是以線路來連接至儲存裝置之輸入端；其構成上之主要目的為：藉由影像處理電路之影像去霧處理電路的設置，來減少或去除影像畫面中之霧氣或水氣的部分，以便使影像畫面中之人、車與景物可以更為清晰、明確。

關於具除霧功能之紅外線監視攝影裝置之先前技術，請另參考我國公告第M342525號等專利案，一種具除霧功能之紅外線監視攝影裝置，其主要藉由該除霧環上之除霧電線的適時通電，而能消除形成在該透光罩上之霧氣，藉以有效達到提高影像拍攝清晰度之功效。

另，論文名稱：基於暗原色先驗及霧濃度偵測之影像除霧，其構成之特徵為：以暗原色先驗(dark channel prior)除霧方法在某些單張影像中能達到相當好的除霧效果，但基於大部分的影像包含了霧較濃的部份及霧較淺的部份，因此霧較淺的部份實際上是不需要進行除霧的，故提出HSV距離(HSV distance)、基於像素之暗原色先驗演算法及基於像素之亮原色先驗演算法計算影像之霧濃度，進一步修正大氣光(atmospheric light)及除霧比重提昇暗原色先驗除霧演算法除霧效果，將大氣光求得後即可藉由有霧影像形成原理及暗原色先驗演算法的假設推測出光的傳遞係數 (transmission map)，並且使用雙向過濾器(bilateral filter)改善光傳遞係數使其更加精確，最後重建回除霧後的影像。

本案發明人鑑於上述影像處理與電腦視覺技術專利所衍生的各項缺點，乃亟思加以改良創新，終於成功研發完成本件具能見度強化之攝影系統。

本發明之目的即在於提供一種可即時處理攝影裝置所拍攝下之連續影像，並能達到即時除霧及提高影像能見度之攝影裝置。

本發明之次一目的係在於提供一種具能見度強化之攝影系統，其不需要使用昂貴的影像攝影裝置或高階影像處理器，就能達到影像除霧，強化能見度之效果。

本發明之另一目的係在於提供一種具能見度強化之攝影系統，除霧方法簡單快速有效，符合即時處理的需求，其可直接嵌入於數位相機、監控攝影機與影像紀錄裝置的攝影裝置產品中，以有效提升產品附加價值與競爭力。

可達成上述發明目的之具能見度強化之攝影系統，包括有：一影像感測器，其用於將一有霧環境自動求得一原始影像資料；一緩衝記憶體，其用於儲存原始影像資料；一數位影像處理器，為將原始影像資料與至少 一影像功能參數校正其影像視覺清晰度，以產生一比較結果，並依據此比較結果產生至少一特色加強影像；一韌體儲存區，其用於將該特色加強影像實施一適應性快速影像除霧演算法的指令，其中該方法包含：使用1x1像素視窗單位為像素基礎(Pixel-by-Pixel Basis)來計算暗通道 使用1x1像素視窗單位估計大氣光A=α×max[J ^dark (x)]，其中α是調整因子；使用1x1像素視窗單位估計透射率t(x)=1-β×J ^dark (x)，其中β是調整因子；估計除霧影像 輸出除霧影像至顯示介面。

1‧‧‧影像感測器

11‧‧‧原始影像資料

2‧‧‧緩衝記憶體

3‧‧‧數位影像處理器

31‧‧‧影像功能參數

32‧‧‧特色加強影像

4‧‧‧韌體儲存區

41‧‧‧除霧計算單元

42‧‧‧除霧影像

5‧‧‧控制單元

6‧‧‧影像繪圖產生單元

7‧‧‧顯示介面

圖1為本發明具能見度強化之攝影系統嵌入除霧處理之方塊流程圖；附件1為有霧環境下拍攝樹木之拍攝圖像；附件2為附件1之拍攝圖像經本發明除霧方法處理之 輸出畫面；附件3為白天室外白霧影像之拍攝圖像；附件4為附件3之拍攝圖像經本發明除霧方法處理之輸出畫面；附件5為夜間巷道含霧影像之拍攝圖像；附件6為附件5之拍攝圖像經本發明除霧方法處理之輸出畫面。

請參閱圖1，本發明所提供之具能見度強化之攝影系統，該攝影裝置為可攜式電池操作器件，其足夠小以在捕捉及檢視影像時易於被使用者手持。該攝影裝置產生的影像資料為由使用記憶體儲存為數位影像檔案的數位影像資料，主要包括有：一影像感測器1、一緩衝記憶體2、一數位影像處理器3、一韌體儲存區4所構成。

該影像感測器1其用於將一有霧環境自動求得一原始影像資料11(raw image data)；該影像感測器1具有捕捉運動視訊影像與靜態影像二者功能，該等功能不限於安全監控用攝影機(Surveillance Camera)、數位相機/攝影機(Digital Still/Video Camera)、行動裝置(Mobile Device)、平板電腦(Tablet PC)與一般的PC電腦之功能。該影像感測器1包含具有可調整光圈與可調整快門之透鏡，在較佳實施例中，該透鏡為變焦透鏡且受控於變焦與聚焦馬達驅動 器；在其他實施例中，影像感測器1可使用具有可變或固定聚焦之固定焦距透鏡。本發明的透鏡(或具有可變或固定聚焦之固定焦距透鏡)將從一有霧環境的情境聚焦至影像感測器1(例如，單片彩色CCD或CMOS影像感測器1)上。

該緩衝記憶體2，其用於儲存原始影像資料11；該數位影像處理器3(digital image processor)為將原始影像資料11與至少一影像功能參數31校正其影像視覺清晰度(apparent image sharpness)，以產生一比較結果，並依據此比較結果產生至少一特色加強影像32(hallucination feature enhancement image)；該韌體儲存區4其用於將該特色加強影像32實施一適應性快速影像除霧演算法(adaptive fast image dehazing algorithm)的指令。該韌體儲存區4用於執行適應性快速影像除霧演算法的程式並儲存於非暫時性、有形的記憶體中，該記憶體可包含(例如)：磁性儲存媒體、固態電子儲存器件，諸如隨機存取記憶體(RAM)或唯讀記憶體(ROM)；或用於儲存具有控制一個或多個電腦以根據適應性快速影像除霧演算法的程式之任何其他實體器件或媒體。

本發明之暗通道先驗(Dark Channel Prior)除霧方法之基礎是根據以下情境而取得：一般而言在無霧或霾情況下所拍攝的影像中，絕大多數的影像區域中都存在至少一個顏色通道強度很低的像素值，近似黑色的像素值，這個統計 現象稱為暗通道先驗。透過暗通道可以直接估計影像中霧的濃度，進而提升影像能見度。針對原始的暗通道除霧方法說明如下：首先定義適應性快速影像除霧演算法其含霧影像之物理模型為I(x)=J(x)．t(x)+A(1-t(x))。

其中，I(x)是指觀測到的影像強度(Observed Intensity)，x是像素位置，J(x)是指原始影像資料11場景中的輻射值(Scene Radiance)，A是指整體原始影像資料11中的大氣光(Global Atmospheric Light)，t(x)是描述大氣傳輸光線過程中未散射之透射率(或大氣傳輸光線過程中之透射率)。

根據公式(1)，達到影像除霧之目標就是要從I中估計A及t，進而估計J。而該適應性快速影像除霧演算法的方法包含下列步驟：使用1x1像素視窗單位為像素基礎(Pixel-by-Pixel Basis)來計算暗通道，其中Ω(x)是以x為中心之視窗大小；使用1x1像素視窗單位估計大氣光A=α×max[J ^dark (x)]，其中α是調整因子；使用1x1像素視窗單位估計透射率t(x)=1-β×J ^dark (x)，其中β是調整因子；估計除霧影像42 輸出除霧影像42至顯示介面7。

本發明之具能見度強化之攝影系統於實際使用時，首先，攝影裝置內的影像感測器1為使用於一有霧環境並自動求得一原始影像資料11，次，藉由類比信號處理器(ASP)與類比轉數位(A/D)轉換器將原始影像資料11轉換為數位形式，且該數位原始影像資料11暫時儲存於緩衝記憶體2(或儲存於韌體儲存區4裡的緩衝記憶體2)中。隨後攝影裝置的控制單元5(camera control unit)使用儲存於韌體儲存區4中之嵌入式適應性快速影像除霧演算法的程式處理儲存於緩衝記憶體2(或儲存於韌體儲存區4裡的緩衝記憶體2)中之原始影像資料11。在一些實施例中，嵌入式適應性快速影像除霧演算法的程式會構成一除霧計算單元41並永久地儲存於韌體儲存區4內的唯讀記憶體(ROM)中。在本實施例中，韌體儲存區4亦可再用於儲存在攝影裝置關閉時必需保存之影像感測器1校準資料、原始影像資料11、使用者設定選擇等資料。

當本發明具能見度強化之方法應用於安全監控用攝影裝置或數位相機/攝影裝置上，該攝影裝置(Sensor Module)所具有的韌體儲存區4包含程式記憶體(未展示)，且儲存於程式記憶體中之適應性快速影像除霧演算法程式在 控制單元5執行之前被複製(或嵌入)至韌體儲存區4內的程式記憶體中以形成一除霧計算單元41，本發明的除霧方法，其步驟說明如下：步驟1：利用攝影裝置之影像感測器1從有霧環境自動求得一原始影像資料11並儲存於緩衝記憶體2，利用該攝影裝置內部的控制單元5控制數位影像處理器3對其緩衝記憶體2內的原始影像資料11設定相關影像功能參數31與初始化設定；步驟2：設定攝影裝置的緩衝記憶體2開始感測到原始影像資料11後，將原始感測到的原始影像資料11進行後續光學相關之影像處理；步驟3：數位影像處理器3對來自攝影裝置所感測到的原始影像資料11，進行光學相關之影像功能參數31校正處理，例如：自動增益調整調校、自動白平衡(Auto White Balance,AWB)、自動曝光(Auto Exposure,AE)控制、自動黑色等校正等處理後輸出一特色加強影像32；步驟4：將數位影像處理器3輸出之特色加強影像32輸入至韌體儲存區4中之除霧計算單元41中進行影像除霧之計算，並輸出除霧影像42，其中，該除霧計算單元41的方法包括：使用1x1像素視窗單位為像素基礎來計算暗通 道；使用1x1像素視窗單位估計大氣光A=α×max[J ^dark (x)]，其中α是調整因子；使用1x1像素視窗單位估計透射率t(x)=1-β×J ^dark (x)，其中β是調整因子；估計除霧影像 步驟5：藉由影像繪圖產生單元6(overlay graphics generation)，將特色加強的除霧影像42資料針對所設定之輸出格式之不同進行影像輸出格式轉換；步驟6：轉換好之除霧影像42資料格式透過標準之數位視訊訊號格式(ITU-R BT規範)輸出數位(Digital)影像資料，或將除霧影像42資料轉換成類比訊號(Analog之NTSC/PAL Composite格式)輸出至顯示介面7。

為了改善平板電腦進行錄影或照相的影像品質，我們將在Android平板電腦中實際嵌入本發明所提之除霧計算單元41，該除霧計算單元41係安裝韌體儲存區4，該韌體儲存區4係建立一函式庫層(Library Layer)，該函式庫層主要是提供與硬體溝通的函數庫，例如圖形加速運算模組(OpenGL)、MediaFramk、SSL加密與外觀管理員(Surface Manager)等。由於函式庫層對於硬體與系統的存取較方便，因此本發明的除霧計算單元41在被執行之前被複製(或嵌入)至在函式庫層。因為製作於Android架構下，本發明必須生成可供應用層呼叫相關的函數庫，所以必須採用Android NDK(Native Development Kit)架構開發與生成函數庫並將相關呼叫攝影裝置的API(Camera API)做相關性連結。根據平板電腦系統實作流程，以下說明實作除霧計算單元41於系統中的概念步驟：步驟1：在Android平板電腦的系統核心的韌體儲存區4中，規劃出一塊除霧計算單元41用來處理影像感測器1所擷取到的一原始影像資料11所需的緩衝記憶體2；步驟2：利用程式控制平板電腦的影像感測器1將原始影像資料11傳遞至平板電腦的數位影像處理器3中；步驟3：平板電腦將影像感測器1擷取的原始影像資料11不經過任何處理，依照軟體設計的功能需求，傳遞到顯示介面7上顯示或其他處理單元，此時原始影像資料11經由除霧計算單元41處理，該除霧計算單元的方法包括：使用1x1像素視窗單位為像素基礎來計算暗通道；使用1x1像素視窗單位估計大氣光A=α×max[J ^dark (x)]，其中α是調整因子； 使用1x1像素視窗單位估計透射率t(x)=1-β×J ^dark (x)，其中β是調整因子；估計除霧影像，除霧影像42並進入到Android作業系統核心做後續處理；步驟4：最後Android作業系統核心的控制單元5將除霧計算單元41處理過的除霧影像42畫面資料，藉由程式設計不同之功能，例如：直接傳遞到顯示介面7上顯現或送到壓縮單元與緩衝記憶體2儲存等後續處理。

附件1為有霧環境下拍攝樹木之拍攝圖像；附件2為附件1之拍攝圖像經本發明除霧方法處理之輸出畫面。

附件3為白天室外白霧影像之拍攝圖像；附件4為附件3之拍攝圖像經本發明除霧方法處理之輸出畫面。

附件5為夜間巷道含霧影像之拍攝圖像；附件6為附件5之拍攝圖像經本發明除霧方法處理之輸出畫面。

本發明所提供之具能見度強化之攝影系統，與前述引證案及其他習用技術相互比較時，更具有下列之優點：

本發明所提出的適應性快速影像除霧演算法的除霧方法，同時解決了原始暗通道除霧方法中光暈、計算量 大及過度曝光的三個基本問題。

本發明的適應性快速影像除霧演算法，將整合於現行影像監視系統與Android相關產品中，不僅可增加研究之實用性，也可提升產業技術及產品附加價值。

綜上所述，本案不但在空間型態上確屬創新，並能較習用物品增進上述多項功效，應已充分符合新穎性及進步性之法定發明專利要件，爰依法提出申請，懇請貴局核准本件發明專利申請案，以勵發明，至感德便。

1‧‧‧影像感測器

11‧‧‧原始影像資料

2‧‧‧緩衝記憶體

3‧‧‧數位影像處理器

31‧‧‧影像功能參數

32‧‧‧特色加強影像

4‧‧‧韌體儲存區

41‧‧‧除霧計算單元

42‧‧‧除霧影像

5‧‧‧控制單元

6‧‧‧影像繪圖產生單元

7‧‧‧顯示介面

Claims (3)

1. 一種具能見度強化之攝影系統，包括：一影像感測器，其用於將一有霧環境自動求得一原始影像資料；一緩衝記憶體，其用於儲存原始影像資料；一數位影像處理器，為將原始影像資料與至少一影像功能參數校正其影像視覺清晰度，以產生一比較結果，並依據此比較結果產生至少一特色加強影像；一韌體儲存區，其用於將該特色加強影像實施一適應性快速影像除霧演算法的指令，其中該使用1x1像素視窗單位為像素基礎來計算暗通道 使用1x1像素視窗單位估計大氣光A=α×max[J ^dark (x)]，其中α是調整因子；使用1x1像素視窗單位估計透射率t(x)=1-β×J ^dark (x)，其中β是調整因子；估計除霧影像；輸出除霧影像至顯示介面。
2. 一種具能見度強化之方法，包括：步驟1：利用攝影裝置之影像感測器從有霧環境自動求得一原始影像資料並儲存於緩衝記憶體，利用該攝影裝置內 部的控制單元控制數位影像處理器對其緩衝記憶體內的原始影像資料設定相關影像功能參數與初始化設定；步驟2：設定攝影裝置的緩衝記憶體開始感測到原始影像資料後，將原始感測到的原始影像資料進行後續光學相關之影像處理；步驟3：數位影像處理器對來自攝影裝置所感測到的原始影像資料，進行光學相關之影像功能參數校正處理，處理後輸出一特色加強影像；步驟4：將數位影像處理器輸出之特色加強影像輸入至韌體儲存區中之除霧計算單元中進行影像除霧之計算，並輸出除霧影像，其中，該除霧計算單元的方法包括：使用1x1像素視窗單位為像素基礎來計算暗通道 使用1x1像素視窗單位估計大氣光A=α×max[J ^dark (x)]；使用1x1像素視窗單位估計透射率t(x)=1-β×J ^dark (x)；估計除霧影像；步驟5：藉由影像繪圖產生單元將特色加強的除霧影像訊號資料針對所設定之輸出格式之不同進行影像輸出格式轉換；步驟6：轉換好之除霧影像資料格式透過標準之數位視訊 訊號格式輸出數位影像資料，或將除霧影像資料轉換成類比訊號輸出至顯示介面。
3. 一種具能見度強化之方法，包括：步驟1：在Android平板電腦的系統核心的韌體儲存區中，規劃出一塊除霧計算單元用來處理影像感測器所擷取到的一原始影像資料所需的緩衝記憶體；步驟2：利用程式控制平板電腦的影像感測器將原始影像資料傳遞至平板電腦的數位影像處理器中；步驟3：平板電腦將影像感測器擷取的原始影像資料不經過任何處理，依照軟體設計的功能需求，傳遞到顯示介面上顯示或其他處理單元，此時原始影像資料經由除霧計算單元處理，該除霧計算單元的方法包括：使用1x1像素視窗單位為像素基礎來計算暗通道 使用1x1像素視窗單位估計大氣光A=α×max[J ^dark (x)]；使用1x1像素視窗單位估計透射率t(x)=1-β×J ^dark (x)；估計除霧影像，除霧影像並進入到Android作業系統核心做後續處理；步驟4：Android作業系統核心的控制單元將除霧計算單 元處理過的除霧影像畫面資料，直接傳遞到顯示介面上顯現或送到壓縮單元與緩衝記憶體儲存等後續處理。