TWI245715B - A computer vision based vehicle detection and warning system - Google Patents

Description

1245715 玖、發明說明： 【發明所屬之技術領域】 本發明係關於一種以電腦影像為基礎的前方車輛與後 方來車辨識安全警示方法及其系统，特料應用於_般高 速公路，在多種不同的天候狀況下仍可適用。 【先前技術】 據内政部警政署公告，台灣每年約 交通 事故而傷亡，統計顯*97% _事原因是駕駛疏忽1此， j駕駛安全警示系統的應用中，賴與辨識位於同車道之 方車輛進而針對危險的駕驶情境發出警告訊號，以避 免車輛碰撞導致交通意外事故，是避免傷亡發生的重要一 ^另—方面，智慧型運輸系統（IntemgentTransp。咖⑽ ystemS，ITS)係結合先進的通訊、電子、電腦技 =障人車安全與提升運輸系統效率為目的。在此研究領 =，透過影像技術以伯測分析前方車輛之駕駛情況，更 型運輸糸統諸多重要相關技術中，不可 感測與辨識技術。 針對=電腦影像為基礎之車輛辨識警示系統，主要是 "車補底部所形成的陰影部分 在影像中的位置，但在 ，、疋位出車輛 利用陰影特徵點來㈣車輛，易與行車環境中，僅 在警示機制方面，常用的方:::識以及定位誤差。 、 式為事先對相機進行複雜 1245715 的校正程序，以斗曾，t t、， ^ ϋ #出兵前方車輛之相對距離，以作為產 生警示訊號的依擔。、丄 據廷種方式的缺點在於校正過程繁複； 且以相對距離作為盤-a w μ ’、 ’ 曰 馮吕不之判斷依據，缺乏時間因素之考 里，易產生諸多錯誤警示。 由此可I上述之習用技術仍有缺點，且有待改良。 本案淼明人鑒於上述之車輛辨識系統所衍生的各項缺失， 在對車輛影像進行詳細的性質分析與探討後，發展出一套 效率且便利的則方車輛與後方來車辨識之安全警示系 統’並可應用於各種不同的天録況與行車環境。、 【發明内容】 本發明提供—個以電腦視覺為基礎的前方車柄盘後方 來車辨識安全警示系統，以因應在不同的天候狀況(晴天、 "陰天或起霧）以及行車環境巾（__般直行或轉變路 I方：Γίί坡路面、随道以及高架橋下），辨識前方或 兩/、分析駕駛情境，以提醒駕 捉醆烏駛人(W時注意危險的 駕駛情況，並降低交通意外事故的發生。本發明的另外— 個目的在於提供一種跟康糸处 少 、#由〜志 種跟車糸統，该糸統具有可谓測出同車 l中别仃車輛，及避免前後車輔碰撞的功能。 具有上列優點之本發明以電腦視覺為基礎之前方車輛 與後方來車辨識安全警示方 ..„. 万法及其系統，主要由-數位相 制運算單元、螢幕顯示單元以…警示啟動機 ^ , 早兀以及警不喇叭單元所組成。其 ，位相機感測單元懸掛於後視鏡之反面或固定於前撞 1245715 風玻璃或前座駕駛平台1，不停的#s取車輛前方之影像； 或固定於其他適合於不停的棟取車辅後方影像之處，並將 所掏取影像傳輸到影像資料前處理單元以便進行下一步的 處理；車道偵測單元根據事前所分析之車道在影像中所呈 現的三個性質：明亮（BHghtness)、細長（syess) 以及連續相鄰性（Proximity) ’以偵測出車道在影像中的 實際位置。 在偵測出車道後，車輛辨識單元僅對車道中之影像進 行辨識與分析’以有效排除背景複雜影像所㈣之干擾， 在車輛辨識方面，我們利用了車輛在影像中的三個特徵， 垂直邊（verticalEdge)、陰影（Underneath)、以及對稱 性（symmetry)，以有效辨識以及定位出車柄的存在與位 置’並經由螢幕顯示單元將車道偵測以及車輛辨識後結果 之影像以圖示方式呈現出來。 在辨識出車輛影像後，警示啟動機制運算單元會根據 連續車輛影像辨識結果，計算出其與前車車輛之危險係 數’根據此係數之分析，來判斷當前的駕駛是否屬於危險 駕驶的特徵狀態，亦即是否與前車相對速度變化量過大或 與後方來車相對速度變化量過大，以作為是否發出警示訊 就的依據。#判斷的結果確冑駕駛人正處於危險的行車狀 况時，警不喇叭單元會產生警示訊號以提醒駕駛人注意行 另方面’為了有效區分各種不同的危險駕驶， 警示喇叭單元會發出不同方式的警示訊號以告知駕駛人不 同的危險行車情境。 1245715 【實施方式】 本發明揭示—種以電腦視覺為基礎之前 來車辨識安全警示系統，包含： /、後方 影像感測單元 子前方的數位影像 子後方的數位影像 其裝置於面向前方用於連續的擷取車 或裝置於面向後方用於連續的擷取車 車迢價測單元，其接收該數位影像後，以數學運算方 f排除因外在因素或該影像感測單元本身所產生的影像雜 λ並且根據車道在影像中所呈現的三個性質：明意、細 長以及連續相鄰性，偵測出車道在影像中的實際位^、，、 車輛辨識單元’其針對前方或後方車道内之道路影 像’辨識是否有車輛存在’並^位出車輛在影像中的座標 3示啟動_運算單元，㈣精辨識之連續車辆影 像資訊’計算出與前方車輛之危險係數，作為警示判斷： 據， 螢幕顯示單元，其用於顯示該數位影像及車道位置； 及 警示喇队單元，其依該警示訊號發出警報。 月ϋ述車道偵測單元、車I兩辨，置 ^ 千 平W辨識早兀及警不啟動機制驾 算單元可整合成一行車安全警示單元。 、圖一所示係本發明的一較佳具體實施例所提供以電聪 視覺為基礎之前方車輛與後方來車辨識安全警示系統之力 1245715 塊圖，主要包含有一數位相機感測單元1、車道债測單元2、 車輛辨識單元3、車道，車輛以及景物顯示單元*、馨示啟 動機制運算單元5與警告喇,八單元6。其中，懸掛於後視鏡 反方或固定於前擋風玻璃或前座駕駛平台上之數位相機感 測單元1，會連續擷取道路影像並將影像傳送給車道偵測單 元2。車道偵測單元2首先利用高斯濾波器（Gaussian Filter)排除影像中，因車輛晃動或環境光線影響所造成的 雜訊，接著依據車道影像具備的三種性質：明亮 (Brightness)、細長（Slenderness)以及連續相鄰性 (Continuity)，偵測出影像中車道的位置並計算出車道之 直線方程式，所謂明亮性意指車道在影像中的亮度值奋明 顯大於一般的路面；細長意指車道標線在所呈現的影像為 一條長條形的直線或接近直線之微f曲形弧線；相鄰性意 才曰道路t線之影像點會兩兩連續相接。 車輛辨識單元3主要谓測車輛在影像中的三個特徵 (圖二）’垂直邊（Ve心alEdge)，陰影（Underneath)、 =稱性A—來辨識車辆的存在與位置。所謂 車車體與背景差異在影像中所呈現之顏二 传旦“… 〜則為况車底部因陽光無法直接照射， 使影像中位於汽車底部之 ^ 早路面’產生焭度偏暗的區 域。對稱性為汽車外顴 ^ .. 成何與顏色左右對稱之特徵。整 。此二個特徵來辨識影 , ,φ ^ , 惑皁輛，可以大幅降低錯誤辨 識羊使車輛辨識更為精準。 車輛辨識的第 乂 ^'為垂直邊偵測3 1，垂直邊偵測主 1245715 要用以疋位出車輛可能出現在影像中的位置，實施方式為 先利用s〇bel垂直偵測樣板（圖三左圖），對每一個影像點 求出垂直量，當此值大於所預設之門檻值，將此影像點標 不為垂直點，所得之影像稱為垂直點影像圖（圖四中圖）。 由於車輛在;^像中會形成垂直邊，因此針對影像中的每— 列，根據實際車高與影像投影原理，可設定一個高度，作 ，投影視窗的高度（圖四中圖之白色框線），冑此視窗中 母一订之垂直點累計起來，形成此列之垂直點統計圖，若 此列有車輛存在，其所對應之垂直點統計圖會有波峰形 成圖四下圖為所對應視窗之垂直點統計圖，圖四中圖與 :圖之間所標示之直線，為對應車輛垂直邊所形成之波峰 ^刀。為摘測出車輛垂直邊所成之垂直點統計圖波峰，首 先利用南斯濾波器平滑垂直點統計圖（圖五右圖），接著 找出垂直統δ十圖之波峰，若偵測到兩個以上之波峰，將這 些波峰兩兩一組視為車輛可能之位置。 接著針對車輛可能存在位置進行陰影偵;則，以排除一 些錯誤的可能性，陰影偵測32彳分為兩部分，水平點偵 測與由下往上循序搜尋陰影演算丨〈㈣⑽， 之應用。由於車輛陰影會與車道面形成一個水 =緣，水平點偵測採ffis〇bel水平偵測樣版（圖三右圖）， 冲算每影像點之水平量，若其值超過所設定之門檻 值，將其標示為水平點，所得之影像稱為水平點影像圖（圖 六右圖）。但由於陰影區塊之邊緣非整齊平行於水平轴， 因此陰影於水平點影像圖並不會是一條水平線段，基於這 1245715 樣的分析’由下往上循序搜尋陰影演算法運用旗標陣列

Array)，來偵測由陰影所形成之水平點。其實施方 式為，針對每個車輛可能存在位置（即為垂直㈣測出於 f直^統計圖中之每組波峰），設定一個搜尋視窗，其搜 哥視固寬度則為兩波峰之寬度^—，而根據汽車實體之長 寬士例（Aspect Rati〇)卩及透視投影，可推算出影像中車 輛冋度丑―’則車輛陰影可能存在的高度範圍為區間 (心—娜，⑽），如圖六左圖之黑色方框，其 中二為此車輛在影像中之縱轴位置’定義出陰影搜尋的範圍 之後’由下往上循序搜尋陰影演算法設定一個一維旗伊陣 列的資料結構，其大小恰為搜尋視窗之寬度（圖七之= 塊）。旗標陣列中所有旗標被初始化為F—，接著由下往 上搜尋，當所對應之水平點影像圖被標示為水平點時，則 相對應之旗標設定為w，當旗標陣列設定為了咖的數量 比例，過某個門檻值（例如：〇.75)，結束搜尋並紀錄停 止搜哥時之縱軸座標，而此座標則為車輛陰影位置之縱軸 座才示⑽（圖六右圖）。 然而，由於陽光斜射之關係，陰影區塊存在並非—定 由車輛所形成，因此對稱性偵測更進一步過濾錯誤辨識之 車輛影像，針對兩垂直邊之間，以及垂直座標 \ underneath， )所形成之視窗，計算其灰階對稱值，公式如 下所示： 〇 11 1245715 rh 灰underneath〆2

ΣΙ^, 其中心)表示影像座標為㈣該點的灰階值，圖八為對標示 區域中（圖人上圖），針對不同對稱軸進行灰階對稱值計 异所得到的結果（圖八下圖）’可以發現車輛幾何上之顏 色對稱會呈現較高之灰階對稱值（圖人中^連續垂直線所 標示）丄根據這樣的過遽，可以有效的排除錯誤的車輛辨 識’提高車輛影像辨識率。 此車輛辨識技術可廣泛應用在不同的天候狀況（例 如：晴天、雨天、陰天或起霧）u及行車環境中（例如： 般直仃或轉彎路面、㈣或上坡路面、隧道以及高架橋 下），圖九為此技術在不同天候與行車環境中的車輛辨識 結果’最上兩張影像為在—般行車狀況以及行經高架橋時 陰影遮蔽的情形下的辨識結果；中間兩張影像為進出随道 時：光線有急劇變化的情形下的辨識結果；最後兩張為在 向陽狀況下以及起霧的天候下之辨識結果。 在辨識車輛後，警示啟動機制運算單元根據所辨識的 、Q果刀析^ $之駕敏·狀況，在危險的情境下產生馨示訊 號’其實施方式為：在上述車輛辨識的方式中，利用所辨 :出車輛之兩組垂直邊，可計算出車輛在影像中的寬度， 定義為符號&，而所謂危險情境’為前車突然、緊急煞車或駕 駿人突然加冑’導致與前車相對速度變化過Α時稱之，相 12 1245715 示為·· 對速度變化量方程式表 dt ώ — 速:：== r(〇 其中部)為與前方車輕之相對距離。根據針孔成像原理 際車寬5,與影像中所成像之車寬6,其關係可表示 十下圖）： 、圖 m 其中/為相機焦距。單位時間内車寬成像的變化量為： 生= 乂 缝 一一b dz{t) -b 汾 Z⑺2 i =兩x-^ =雨xv(，）， 經由上述方程式，危險係數.盖，亦即可由影像中車寬 · 的變化率計算出危險係數r(0。警示啟動機制運算單元在叶 算出危險係數後，若其小於所預設之門檻值（例如_0 4)， 則發出警示訊號，警示信號包括燈號、語音、文字或影像 顯示等各種足以提醒駕駛人注意之方式。 【圖式簡單說明】 圖一為本發明之以電腦視覺為基礎之前方車輛與後方 來車辨識安全警示系統之架構方塊圖。 13 1245715 圖二為本發明之以電腦視覺為基礎之前方車輛 來車辨識安全Μ干系鲚”灸方 萌女王§不糸統的車輛辨識單元辨識流程圖。 圖三為Sobel垂直以及水平點偵測之樣版圖 圖四為垂直點統計圖，上圖為經由車道偵測單… 果圖’中圖為執行垂直點偵測後之垂直點影: 對應於中圖紅色區域之垂直點統計圖。 下圖為 圖五為垂直點統計圖平滑化之圖形，左圖為圖四之垂 直點統計圖，纟圖為經由高斯渡波器後之結果。 + 圖六表水平點影像圖，右圖為執行s〇bei水平點摘測 後之水平點影像圖’左圖為所設定之陰影偵測區域。 圖七表由下往上循序搜尋陰影演算法中，旗標陣列初 始化結果示意圖。 圖八表灰階對稱性分析圖。 ^圖九為表各種天候狀況以及行車環境之實際車道偵測 、、及車輛辨識結果圖，其中最上兩張影像為在一般行車狀 /兄从及行經高架橋時陰影遮蔽的情形下的結果 影像為進出隧指拉， 隧道時，光線有急劇變化的情形下的辨識以及 偵測結果.@ & 〇 ’取傻兩張為在向陽狀況下以及起霧的天候下之 辨識以及偵測結果。 ^圖十上圖表示與前車之相對距離與速度關係圖，下圖為 實際車寬與影像車寬之成像關係圖。 【主要部分代表符號】 數位招機2 :車道债測單元 14 1245715 3 :車輛辨識偵測單元 4 :顯示單元 5 :警示啟動機制運算單元 6 :警示喇叭單元 3 1 :垂直邊偵測 32 :陰影偵測 33 :對稱性偵測

15

Claims (1)

1245715 拾、申請專利範圍： 1 · 一種以電腦視覺為基礎之行車安全警示系統，包含· 影像感測單元’其裝置於面向前方用於連續的擷取車 子前方的數位影像；或裝置於面向後方用於連續的搁取車 子後方的數位影像； 行車安全警示單元，其處理該接收之數位影像以排除 因外在因素或該影像感測單元本身所產生的影像雜訊；根 據車道在影像中所呈現的三個性質：明亮、細長以及連續 相鄰性，而偵測出車道在影像中的實際位置；整合車輛在 影像中的垂直邊、陰影、以及對稱性的特點，而辨識同車 道是否有車輛存在；及利用車輛影像於連續時間上之變化 匱况’作為提供駕駛人安全警示訊號的判斷依據。 2·如申請專利範圍第1項的行車安全警示系統，其中該 仃車安全警示單元包含一車輛辨識單元，該車輛辨識單元 依影像中的垂直亮度變化，擷取出其中的垂直點，計算出 垂直點統計圖，使用高斯濾波器與波峰搜尋定位出車輛影 像中的垂直邊。 〜 3·如申請專利範圍第2項的行車安全警示系統，其中該 車輛辨識單元依影像中的水平亮度變化，擷取出其中的水 平點，利用由下往上循序搜尋陰影演算法偵測車輛陰影。 4·如申請專利範圍第2項的行車安全警示系統，其中該 16 1245715 車輛辨識單元計算車輛影像的兩垂直邊之間的灰階對稱 值，利用其中較高的灰階對稱值確認影像中車輛的辨識。 5.如申請專利範圍第2項的行車安全警示系統，其中該 行車安全警不單元進一步包含一警示啟動機制運算單元， 其計算相鄰兩個影像中車輛寬度的變化，作為與前車相對 速度變化量過大或與後方來車相對速度變化量過大之危險 衡量係數，並且當係數小於預設的門檻值時，產生一警示 訊號。 6 ·如申請專利範圍第2項的行車安全警示系統，其中該 行車女全警示單元進一步包含一車道偵測單元，該車道偵 測單το接收該數位影像後，以數學運算方式排除因外在因 素或該影像感測單元本身所產生的影像雜訊，並且根據車 、、在〜像中所呈現的二個性質：明贵、細長以及連續相鄰 性’伯測出車道在影像中的實際位置。 7·如申請專利範圍第2項的行車安全警示系統，其中， 乂行車女全警示單元被整合成一個積體電路晶片。 17