TW201535323A - 影像除霧系統及其方法、以及行車輔助系統及其方法 - Google Patents

Abstract

本發明是一種影像除霧系統及其方法、以及行車輔助系統及其方法，其係利用類神經網路運算模型處理有霧之影像，經類神經網路運算模型運算後將影像之大氣光去除，接著利用此清晰影像，運用於行車輔助系統，提高辨識車道標線與解析前車距離的精確性，使得所判斷行車資訊正確率提高。

Description

影像除霧系統及其方法、以及行車輔助系統及其方法

本發明係有關於影像處理系統及方法，尤指一種處理有霧影像之系統及方法及其運用於行車輔助系統及方法。

由於科技進步與經濟發展，使得開車人口日益劇增，雖然提昇生活方便性，但亦造成不少問題，如：廢棄排放、交通壅塞、資源浪費及交通意外事故等。因此歐、美、日等先進國家的交通管理單位和車廠均紛紛投入大量資源以改善交通運輸效率及安全性。

智慧型運輸系統(Intelligent Transportation System,ITS)整合電子、通訊、控制和感測技術於道路、車輛等智慧化通訊平台達到即時資訊傳輸，其中安全駕駛為各國發展重點項目。例如：日本速霸路(Subaru)的駕駛輔助系統(New EyeSight)，其使用立體攝影機偵測道路上的行人和移動物體，當物體靠近車前方時，系統將自動發出警告並預警式煞停來協助系統降低車速以防止碰撞；瑞典富豪 汽車行車系統(Volvo Safety System)，當車速低於30公里以下自動啟動，並在車輛碰撞前預先煞車。

因此，目前智慧型運輸系統大多採用攝影鏡頭做為影像取得之配備，但於下雨天、晚上或起霧等光線微弱情況下，如何取得清晰影像為智慧型運輸系統中一重要議題。近來許多研究紛紛提出一些演算法解決天候(起霧)所造成的影像問題。其一，為計算整張影像對比統計然後針對每個區塊做對比最大化，但由於沒有考慮光線的影響，經常導致影像過度增強或光暈現象的產生。其二，提出假定相同顏色的區域具有相似的深度，但影像深度差異過大時則效益變差。其三，把影像劃分數個區塊，並於每個區塊中重新計算直方圖均化，進而改善影像清晰度，但是其計算時間過長，使其影像處理效率仍然未達需求。

因此，本發明之目的是在提供一種影像除霧系統及其運用於行車輔助系統，期待能解決上述之影像清晰度及影像處理效率不佳的問題。

依據本發明一方法態樣之一實施方式，係提出一種影像除霧方法，其步驟包含：擷取一影像，接著取得影像之一像素值，其後利用像素值計算影像之一大氣光估測值，最後利用大氣光估測值平衡影像之顏色。

藉此方法實施方式，可由大氣光估測值平衡影像之顏色，以提高霧化影像中的各種顏色。

依據本發明一系統態樣之一種實施方式，利用前述之影像除霧方法專門延伸出一種影像除霧系統，其包含：一光學感應單元、一類神經網路運算單元及一輸出單元。 其中光學感應單元係用以擷取一影像。類神經網路運算單元與光學感應單元電性連接，將所接收的影像利用一遮罩取得影像之像素值，接著利用像素值計算影像之一大氣光估測值，最後利用大氣光估測值平衡影像之顏色。輸出單元與類神經網路運算單元電性連接，輸出單元像外輸出已平衡顏色之影像。

藉此系統實施方式，本發明利用類神經網路運算單元平衡影像之顏色，使輸出單元所輸出的影像較光學感應單元所擷取影像更為清晰。

前述系統態樣實施方式中的其他實施例如下：前述之類神經網路運算單元可採用一模糊小腦模型運算。前述之類神經網路運算單元可採用一互動式遞迴自我進化模糊小腦模型運算。

依據本發明另一方法態樣之一實施方式，係提出一種行車輔助方法，其步驟包含：擷取一影像，接著取得影像之一像素值，其後利用像素值計算影像之一大氣光估測值，其後利用大氣光估測值平衡影像之顏色，接著消除影像之光暈，其後強化影像對比，藉以提高影像之清晰度，利用提高清晰度之影像進行辨識車道標線與解析前車距離，隨後輸出一行車資訊影像，接著判斷行車資訊影像，當出現一行車狀況，則輸出一警示訊號，最後顯示行車資 訊影像及警示訊號。

藉此方法實施方式，可由大氣光估測值平衡影像之顏色，增強霧化影像中各種顏色，其後可由消除影像光暈及強化影像對比，得到清晰度更好之影像，以提高辨識車道標線與解析前車距離的精確性，使所判斷行車資訊正確率提高。

依據本發明另一系統態樣之一實施方式，利用前述之行車輔助方法，專門提出一種行車輔助系統，其包含：一光學感應單元、一類神經網路運算單元、一精煉透射單元(refined transmission map unit)、一影像處理單元、一輸出單元及一警示單元。其中光學感應單元係用以擷取一影像。類神經網路運算單元與光學感應單元電性連接，將所接收的影像利用一遮罩取得影像之像素值，接著利用像素值計算影像之一大氣光估測值，最後利用大氣光估測值平衡影像之顏色。精煉透射單元與類神經網路運算單元電性連接，其用以消除影像之光暈及強化影像對比度，最後得到高清晰度之影像。影像處理單元接收高清晰度之影像後進行車道標線辨識與解析前車距離，再輸出一行車資訊影像，其中當出現一行車狀況，影像處理單元則另輸出一警示訊號。顯示單元與影像處理單元連接且顯示行車資訊影像。警示單元與影像處理單元連接，當接收到警示訊號後產生一警報。

藉此系統實施方式，本發明利用類神經網路運算單元平衡影像之顏色及精煉透射單元消除影像之光暈及強化 影像對比度，使影像處理單元接收高清晰度之影像，提高影像處理單元辨識車道標線與解析前車距離的精確性，使所判斷之行車資訊正確率提高。

前述實施方式的其他實施例如下：前述之警報可對駕駛發出聲、光或振動。前述之類神經網路運算單元可採用一模糊小腦模型運算。前述之類神經網路運算單元可採用一互動式遞迴自我進化模糊小腦模型運算。前述之互動式遞迴自我進化模糊小腦模型運算係可利用一倒傳遞學習法來進行自我調整。

100、110、120、130、140、150、160、170、171、180、190、191、192、193‧‧‧步驟

200‧‧‧行車輔助系統

210‧‧‧光學感應單元

220‧‧‧類神經網路運算單元

230‧‧‧精煉透射單元

240‧‧‧影像處理單元

250‧‧‧輸出單元

251‧‧‧距離資訊

252‧‧‧警示資訊

260‧‧‧警示單元

A‧‧‧行車狀況

B‧‧‧警報

第1圖繪示本發明之影像除霧方法流程圖。

第2A圖繪示本發明之行車輔助系統安裝於車輛上之示意圖。

第2B圖繪示第2A圖之行車輔助系統示意圖。

第3圖繪示本發明之行車輔助方法流程圖。

第4圖繪示本發明類神經網路運算單元採一互動式遞迴自我進化模糊小腦模型的架構圖。

第5圖繪示第2圖中輸出單元所顯示之行車資訊影像示意圖。

請參照第1圖，其繪示本發明之影像除霧方法流程 圖。由第1圖可知其步驟包含：步驟100，擷取一影像。步驟110，取得影像之一像素值。步驟120，利用像素值計算影像之一大氣光估測值。步驟130，利用大氣光估測值平衡影像顏色，藉以提高影像清晰度。

請同時參照第2A圖及第2B圖，其繪示本發明之行車輔助系統安裝於車輛上之示意圖及行車輔助系統示意圖。

由第2A圖可知，行車輔助系統200之實施方式係安裝於車輛擋風玻璃上，其用以擷取前方行車影像，當行車輔助系統200判斷發生一行車狀況A時，則行車輔助系統200發出一警報B提醒駕駛注意。由第2B圖可知行車輔助系統200包含：一光學感應單元210、一類神經網路運算單元220、一精煉透射單元230、一影像處理單元240、一輸出單元250及一警示單元260。其中光學感應單元210係用以於行車狀態下擷取一影像，類神經網路運算單元220接收光學感應單元210所擷取的影像，首先將影像透過遮罩將影像分割成複數個區塊，其後取得每一個區塊內的RGB像素值，接著將影像的RGB像素值輸入類神經網路運算單元220，類神經網路運算單元220計算出大氣光估測值，其後利用大氣光估測值平衡影像的顏色。類神經網路運算單元220將經過顏色平衡之影像傳送給精煉透射單元230，精煉透射單元230透過一引導濾波器消除影像之光暈及利用自適應性對比法強化方法強化影像之對比，藉以提高影像清晰度。影像處理單元240利用已提高清晰度之影 像進行車道標線辨識與解析前車距離，再輸出一行車資訊影像，其中當行車偏離車道標線或與前車距離小於一安全車距，影像處理單元240則另輸出一警示訊號。輸出單元250與影像處理單元240連接，且輸出單元250顯示行車資訊影像。警示單元260與影像處理單元240連接，當接收到警示訊號後產生一警報，其中警報可對駕駛發出聲、光或振動等警示。

第2A圖中，行車輔助系統200利用提高清晰度之影像進行辨識車道標線中，須先將影像從RGB空間轉換至YIQ空間，使用車道傾斜的特性找出影像中車道線邊緣像素，經扇形掃描後，判斷像素間的距離是否接近，當距離符合定義之門檻值及合併為同一線段，如果新的像素距離較遠則建立新的線段。

第2A圖中，行車輔助系統200利用提高清晰度之影像解析前車距離中，利用影像陰影和車尾燈在感興趣的區域中尋找前方車輛，定位完成後利用車身底部或車尾燈底部的像素距離，輸入至類神經網路運算單元計算與前車實際距離。

由第3圖可知行車輔助方法其步驟包含：步驟100，擷取一影像。步驟110，取得影像之一像素值。步驟120，計算影像之一大氣光估測值，其係利用像素值計算而來。步驟130，利用大氣光估測值平衡影像顏色。步驟140，去除影像光暈，其係利用引導濾波器去除影像光暈。步驟150，強化影像之對比，提高影像清晰度，其係利用自適應 性對比強化方法強化影像對比度。步驟160，辨識車道標線，其係利用提高清晰度之影像進行車道標線辨識。步驟170，是否偏移，係判斷行車是否偏離車道標線。步驟171，偏移警示，係當判斷行車已經偏離車道標線時則輸出一偏移警示。步驟180，解析前車距離，係利用提高清晰度之影像解析前車距離。步驟190，是否小於一安全車距，係判斷行車與前車距離是否小於一安全車距。步驟191，距離警示，當與前車距離小於安全車距時則輸出距離警示。步驟192，是否停止擷取影像，係當使用者持續駕駛車輛則重回步驟100之擷取一影像，循環不斷。步驟193，結束，係當使用者停止駕駛車輛則結束。

請參照第4圖，其繪示本發明採一互動式遞迴自我進化模糊小腦模型架構圖。由第4圖可知，整個模型架構可區分六層，以下對此六層進行說明：第一層為輸入層，這一層每個節點稱為輸入項節點(input term node)，其對應一輸入訊號，接著將輸入訊號傳遞至下一層。

第二層為模糊化層，這一層每個節點稱為輸入語意識節點(input linguistic node)，其利用高斯歸屬函數(Gaussian membership function)模糊化輸入值。

第三層為空間激發層，這一層每個節點代表一個模糊規則計算激發強度，利用代數乘積運算執行模糊相遇操作。

第四層為時序激發層，這一層每個節點為一個遞迴 法則節點，負責制定內部反饋和外部交互反饋迴路。遞迴法則節點的輸出為一目前空間之時間激發強度前一個時間激發強度之間的妥協比例。

第五層為模糊權重層，藉由每一節點相對應的關聯記憶選擇向量值做為匹配程度，進而推斷出一局部模糊輸出。

第六層為輸出層，每一節點完成解模糊化後輸出。

上述互動式遞迴自我進化模糊小腦模型為習知技術，在此不予贅述。

經過上述互動式遞迴自我進化小腦模型運算後，最後利用誤差倒傳傳遞學習演算法(Back-propagation algorithm)調整上述網路節點運算。

因此影像經由上述運算後，利用得到之大氣光估測值平衡每一區塊影像之顏色，接著透過引導濾波器消除光暈之現象並使用自適應性對比強化方法得到最後平衡之影像，其目的為移除影像之大氣光，提高影像能見清晰度。

請參照第5圖，其繪示第2圖中輸出單元250所顯示之行車資訊影像示意圖。由第5圖可知，輸出單元250之輸出界面上顯示一距離資訊251及一警示資訊252。其中警示資訊252於行車偏離車道標線或與前車距離是小於安全車距時於輸出單元250之輸出界面上顯示危險。

雖然本發明已以實施方式揭露如上，然其並非用以限定本發明，任何熟習此技藝者，在不脫離本發明之精神和範圍內，當可作各種之更動與潤飾，因此本發明之保護範圍當視後附之申請專利範圍所界定者為準。

100、110、120、130、140、150、160、170、171、180、190、191、192、193‧‧‧步驟

Claims (10)

1. 一種影像除霧方法，其包含有下列步驟：擷取一影像；取得該影像之一像素值；計算該影像之一大氣光估測值；以及利用該大氣光估測值平衡該影像顏色。
2. 一種影像除霧系統，包含有：一光學感應單元，係用擷取一影像；一類神經網路運算單元，其與該光學感應單元電性連接，該類神經網路運算單元利用一遮罩取得該影像之一像素值，利用該像素值計算該影像之一大氣光估測值，利用該大氣光估測值平衡該影像之顏色；以及一輸出單元，其與該類神經網路運算單元電性連接，該輸出單元向外輸出經該大氣光估測值平衡之該影像。
3. 如請求項2之影像除霧系統，其中該類神經網路運算單元採用一模糊小腦模型運算。
4. 如請求項2之影像除霧系統，其中該類神經網路運算單元採用一互動式遞迴自我進化模糊小腦模型運算。
5. 一種行車輔助方法，其包含有下列步驟： 擷取一影像；取得該影像之一像素值；計算該影像之一大氣光估測值；利用該大氣光估測值平衡該影像顏色；消除該影像光暈；強化該影像對比，藉以提高該影像之清晰度；利用提高清晰度之該影像進行辨識車道標線與解析前車距離，隨後輸出一行車資訊影像；判斷該行車資訊影像，當出現一行車狀況，則輸出一警示訊號；以及顯示該行車資訊影像及該警示訊號。
6. 一種行車輔助系統，包含有：一光學感應單元，係用擷取一影像；一類神經網路運算單元，其與該光學感應單元電性連接，該類神經網路運算單元利用一遮罩取得該影像之一像素值，利用該像素值計算該影像之一大氣光估測值，利用該大氣光估測值平衡該影像之顏色；一精煉透射單元，其與該類神經網路運算單元電性連接，該精煉透射單元消除該影像光暈後，強化該影像對比，藉以提高該影像之清晰度；一影像處理單元，其係接收已提高清晰度之該影像後進行車道標線辨識與解析前車距離，再以該影像處理單元輸出一行車資訊影像，其中當出現一行車狀況，該影像處 理單元則輸出一警示訊號；一顯示單元，其與該影像處理單元連接，該顯示單元顯示該行車資訊影像；以及一警示單元，其與該影像處理單元連接，該警示單元接收該警示訊號以產生一警報。
7. 如請求項6之行車輔助系統，其中該警報可對駕駛發出聲、光或振動。
8. 如請求項6之行車輔助系統，其中該類神經網路運算單元採一模糊小腦模型運算。
9. 如請求項6之行車輔助系統，其中該類神經網路運算單元採一互動式遞迴自我進化模糊小腦模型運算。
10. 如請求項9之行車輔助系統，其中該互動式遞迴自我進化模糊小腦模型運算係利用一倒傳遞學習法來進行自我調整。