TWM538142U - 智慧多功能行車輔助駕駛記錄系統 - Google Patents

Description

智慧多功能行車輔助駕駛記錄系統

本新型係有關一種智慧多功能行車輔助駕駛記錄系統，尤指一種可以藉由行車預警而提升行車安全的影像辨識技術。

按，為使車輛具備交通事故的舉證功效，一般車主大多會於車輛內裝設行車記錄器，於行車時，除了可以擷取車輛前方的行車路況影像之外，並可記錄對應的時間資訊，以作為時光回溯的證據比對依據。雖然習知行車記錄器設置具備擷取前方行車路況影像及時間資訊等功能；惟，其無法藉由檢測得知是否有穿越快車道的行人；或是移動中之前方車輛及對向來車的動態資訊，以致無法判定車輛與上述物件之間的相對運動關係，若是不幸地發生碰撞交通事故時，習知行車記錄器所記錄的行車路況影像確實較無法提供足夠的舉證資訊來釐清交通事故的肇事原因，因而造成行車記錄使用上的不便與極大的困擾。

為改善上述缺失，相關技術領域業者已然一種如中華民國新型第M414577號『具影像辨識功能之行車導航記錄器』所示的專利；其係依據車輛之經緯度資訊取得車輛之車速信號並傳予處理單元；影像擷取單元係取得車輛周圍道路影像並傳予處理單元；影像辨識單元分析道路影像以產生分析結果。儲存單元係設置於行車導航記錄器主機，係儲存該車速信號、道路影像及分析結果；藉由影像擷取單元擷取道路影像並傳輸至處理 單元及影像辨識單元以處理影像辨識工作，而處理單元進一步連接衛星定位單元以取得當時之車速信號，以供處理單元辨識並判斷是否為危險駕駛行為。

該專利影像辨識單元雖然可以分析道路影像以產生分析結果；惟，並未對『分析結果』的具體技術內容以及是否作為『危險駕駛行為』的判定因子之一提出任何的具體論述；除此之外，該專利並無深度學習的機能建制，以致無法透過深度學習來強化影像比對樣本的分類功能，故而影像影像比對辨識的精確度較低而無法被有效應用。

另有一種如中華民國發明第I495343號『行車記錄系統及其位置判斷方法』所示的專利；其係包含曲率影像鏡頭、運算模組、處理模組顯示模組及儲存模組。係曲率影像鏡頭擷取其周圍環境之曲率影像；運算模組係將曲率影像還原為還原影像。座標定位模組係接收還原影像，並以座標定位還原影像，以產生經座標定位之還原影像；處理模組係接收還原影像，並產生時間資訊；顯示模組係顯示還原影像及時間資訊。儲存模組係儲存還原影像及時間資訊。

該專利雖然可由還原影像計算出車輛與其中至少一個特定物件之間的速度及相對距離的相對運動關係，以此作為發出警示訊號的依據；惟，其並無深度學習的機能建制，以致無法透過深度學習來強化影像比對樣本的分類功能，因而影像影像比對辨識的精確度；除此之外，該專利僅是對移動中之前方車輛或是對向來車進行辨識計算，以得到速度與距離等資訊；至於行人方面則是無法有效監視，所以無法藉由檢測得知是否有欲穿越快車道的行人出現，以致無法有效降低開車撞擊行人的情事；或是移動中之前方車輛及對向來車的速度與距離等資訊，因而造成行車記錄 使用上的不便與即極大困擾。

有鑑於此，尚未有一種具備較佳深度學習演算的物件影像識別以強化資料庫分類功能之行車記錄技術的專利被提出，而且基於相關產業的迫切需求之下，本新型人等乃經不斷的努力研發之下，終於研發出一套有別於上述習知技術與專利的本新型。

本新型主要目的，在於提供一種具備深度學習功能的智慧多功能行車輔助駕駛記錄，主要是可對車道附近的行人或是移動中之前方車輛及對向來車的動向做行車預警的監控，藉此依據監控結果而做出相應的行車預警，以提升行車時的安全性。達成本新型主要目的採用之技術手段，係包括影像擷取裝置、顯示幕、記憶模組及資訊處理單元。資訊處理單元包含深度學習模組及物件特徵資料庫，物件特徵資料庫建立有包含複數個不同物件特徵資料，並於每一物件特徵資料設定有物件名稱，於物件特徵資料庫特徵辨識出與經該行車路況影像中的至少一個物件之特徵符合的物件名稱，再將行車路況影像中已辨識的物件標示為行車預警資訊，並將行車預警資訊連同該行車路況影像一起記錄於記憶模組中。

10‧‧‧影像擷取裝置

20‧‧‧顯示幕

21‧‧‧標記

30‧‧‧記憶模組

40‧‧‧資訊處理單元

41‧‧‧深度學習演算模組

410‧‧‧深度學習模型

42‧‧‧物件特徵資料庫

420‧‧‧車輛特徵資料

421‧‧‧機車/人特徵資料

422‧‧‧行人特徵資料

423‧‧‧交通號誌特徵資料

43‧‧‧危險警告評估模組

44‧‧‧行車危險等級預警模組

50‧‧‧音頻播放模組

60‧‧‧機殼

Ob‧‧‧物件影像

圖1係本新型具體架構的功能方塊示意圖。

圖2係本新型深度學習模型的訓練階段的實施示意圖。

圖3係本新型深度學習模型的運行預測階段的實施示意圖。

圖4係本新型於畫面物件框選為行車預警的實施示意圖。

圖5係本新型物件影像的路徑預測實施示意圖。

圖6係本新型卷積神經網路的具體實施架構示意圖。

圖7係本新型具體的外觀實施示意圖。

為讓 貴審查委員能進一步瞭解本新型整體的技術特徵與達成本新型目的之技術手段，玆以具體實施例並配合圖式加以詳細說明如后：

請配合參看圖1~3所示，為本新型達成前述新型主要目的之實施例，係包括影像擷取裝置10、顯示幕20、記憶模組30及資訊處理單元40等技術特徵。資訊處理單元40包含深度學習模組41及物件特徵資料庫42。物件特徵資料庫42建立有包含複數個不同物件特徵資料，並於每一物件特徵資料設定有物件名稱，於物件特徵資料庫42特徵辨識出與經行車路況影像中的至少一個物件Ob之特徵符合的物件名稱，再將行車路況影像中已辨識的物件Ob標示為行車預警資訊，並將行車預警資訊連同行車路況影像一起記錄於記憶模組30中，於此，即可藉由行車預警資訊而提升車輛於行車時的安全性。

承上所述，上述行車預警資訊包含至少一種標記21，如圖4所示係於顯示幕20所顯示的行車路況影像中之至少一物件Ob做出標示；或是於記憶模組30所記錄的行車路況影像中之至少一物件Ob做出標示。具體而言，上述標記21可以是一種用以框選物件Ob的框格、語音；或是音頻。更具體的，上述框格係為複數種不同形狀的框格，不同之物件Ob係以不同形狀的框格框選物件Ob，以圖4為例，長矩形框 代表車輛種類，短矩形框代表機車與人組合種類，橢圓形框代表行人種類；但是不以此為限，亦可以不同顏色的框格來代表物件名稱；此外，框格亦可為複數種不同顏色的框格，不同之物件Ob係以不同顏色的框格框選物件Ob。另外，上述音頻亦為複數種不同音調的音頻訊號，不同之物件Ob係以不同音頻訊號來代表物件名稱。不僅如此，本新型亦可以不同形狀或是不同顏色的框格作為行車預警等級的顯示資訊，於此，駕駛人即可從框格的形狀或是顏色辨識出物件Ob相對車輛的預警等級為何？

於一種較佳的實施例中，本新型更包含一位置距離計算步驟，係將車輛與物件Ob之間的距離或是相對位置進行計算，並將計算得到之距離及位置等數據由顯示幕20、記憶模組30；或是音頻播放模組50以顯示、音頻；或是記錄等方式輸出而疊加於行車路況影像之中。此外，上述行車預警資訊除了包括上述的標記21之外，更包含物件名稱之資訊(理例如車輛、機車與人的組合、行人以及交通號誌)、物件Ob位置資訊、物件Ob距離資訊、交通號誌即時狀態資訊、車速資訊以及危險警告資訊。至於交通號誌即時狀態資訊係透過影像辨識得知交通號誌即時所處狀態為綠燈或是紅燈。至於車速資訊的取得如圖1所示，係透過全球衛星定位模組(GPS)所提供之位置訊號於一時間單位之位置變化量所計算得到；此外，亦可透過訊號擷取方式(如can bus)擷取車輛的行車電腦(ECU)，於此同樣可以得到車輛車速資訊，如圖1所示。

舉例來說，圖4所示為四個物件Ob，其中，物件Ob1為同向的前車，物件Ob2為前車後的機車騎士，物件Ob3為車道右側的等待穿 越道路的行人，物件Ob4為對向車輛，當資訊處理單元40影像辨識及計算出各個物件名稱、位置及距離時，資訊處理單元40則透過顯示幕20或音頻播放模組50發出行車預警資訊，行車預警資訊除了於行車路況影像顯示框選物件Ob的標記21之外，更包括有以顯示或語音方式輸出『前方距離5公尺處有同向前車』、『右前側距離2公尺處有機車騎士』以及『慢車道右側距離25公尺處有行人，請小心駕駛』等之行車預警資訊。假設車輛與前車之距離低於5公尺時，如圖5所示，資訊處理單元40則透過顯示幕20或語音假設車輛與同向前車低於5公尺時，資訊處理單元40則透過顯示幕20或音頻播放模組50輸出『請與前車保持安全距離』。假設行人穿梭道路且經資訊處理單元40計算後得知會撞到行人時，資訊處理單元40則透過顯示幕20或音頻播放模組50輸出『請放慢車速，否則會撞到行人』之危險警告資訊。

如圖1、7所示的實施例中，更包含一用以容裝影像擷取裝置10、顯示幕20、記憶模組30、資訊處理單元40及音頻播放模組50的機殼60；此機殼60前面設置影像擷取裝置10，其背面設有顯示幕20，顯示幕20顯示有行車路況影像以及疊加在行車路況影像上的行車預警資訊。此外，必須說明的是，上述影像擷取裝置10係為一種可以作為測距及記錄之用的複鏡頭影像擷取裝置10，於此，即可透過三角影像定位量測法來求出物件Ob與車輛之間的距離。進一步來說，三角影像定位量測法可以是一種習知的Epipolar平面三角測距法，主要是以複鏡頭影像擷取裝置10來擷取左側行車路況影像以及右側行車路況影像，資訊處理單元10則將左側與右 側之行車路況影像進行Epipolar平面之三角測距法的演算，進而求出車輛與物件Ob之間的距離，由於Epipolar平面三角測距法係為非常習知的技術，故不再予以贅述具體的運算內容。

請參看圖1、5所示的實施例中，資訊處理單元40包含一危險警告評估模組43，而危險警告資訊則是危險警告評估模組43所計算評估，其係判斷物件Ob之預測路徑D₁是否與車輛之行車路徑D₂於一個時點形成交會點，判斷結果為是，則發出危險警告資訊。再者，圖1所示之物件特徵資料庫42係包含有一儲存複數車輛特徵樣本的車輛特徵資料420、一儲存複數機車與人組合特徵樣本的機車/人特徵資料421、一儲存複數行人特徵樣本的行人特徵資料422以及一儲存複數交通號誌特徵樣本的交通號誌特徵資料423。

請參看圖1所示，資訊處理單元40係包含一行車危險等級預警模組44，此行車危險等級預警模組44針對物件Ob之移動路徑是否與車輛之行車動線於一個時點形成交會點的可能性進行預測評估，並依據各物件Ob所評估的危險等級排序而輸出行車預警資訊。舉圖4為例加以說明，圖4中的機車則列為最高等級的行車預警資訊，如以語音及記錄方式輸出：『小心前方機車騎士的行車動線』；其次，圖4中的同向汽車則列為第二等級的行車預警資訊，如以語音及記錄方式輸出：『小心保持與前方車輛的安全車距』；圖4中之行人若是處停止等待狀態則將行人列為最低等級的行車預警資訊，如以語音及記錄方式輸出：『請持續注意前方右側行人的動線』。

請參看圖4所示的另一種應用實施例中，執行深度學習模組41則包含下列之階段步驟：

(a)訓練階段步驟，如圖2所示，係建立一深度學習模型410，以於深度學習模型410輸入距離資料及巨量的行車路況影像，並由深度學習模型410測試影像辨識的正確率，再判斷影像辨識正確率是否足夠，當判斷結果為是，則將辨識結果輸出及儲存；當判斷結果為否，則使深度學習模型410自我修正學習。

(b)運行預測階段步驟，如圖3所示，係於深度學習模型410輸入該距離資料及即時擷取的該行車路況影像，並由深度學習模型進行預測性影像辨識，以得到至少一個辨識結果的物件名稱及距離值，再將物件名稱及距離值輸出。

經由上述具體實施例的說明后得知，本新型是採用深度學習技術為基底，以運用於先進駕駛之輔助系統的前方辨識，藉以辨識行車路況影像中的汽車、行人、機車以及交通號誌等物件Ob，進而達到行車預警的功效，並將深度學習演算法建構於行動裝置專用的晶片組(含圖形處理器GPU)中，以達到即時偵測行車動態之目的，最終包裝成先進駕駛輔助系統之前方影像辨識解決方案提供給相關業者。再者，深度學習中的卷積類神經網路(Convolutional Neural Network；CNN)在2012年之後，即大舉突破早期分類器與方法的辨識率。一般傳統影像辨識往往會因為前段的特徵擷取演算法容易受到環境變化而失去辨識準確率。為此，本新型即是改善此一缺失，係利用卷積類神經網路(Convolutional Neural Network；CNN))將前段的特徵擷取部分利用深度學習方式來自我學習修正，只要建立數量充 足的物件特徵資料，讓深度學習模型自我學習修正，於此，既可達到高度的辨識率，並可大舉突破一般傳統的機器學習方法。

一般而言，卷積神經網路從影像擷取裝置10獲得行車路況影像後，經過影像前處理(即預處理)、特徵擷取、特徵選擇，再到推理以及做出預測性辨識。另一方面，卷積神經網路的深度學習實質，是通過構建具有多個隱層的機器學習模型及海量訓練數據，來達到學習更有用的特徵，從而最終提升分類或預測的準確性。卷積神經網路利用海量訓練數據來學習特徵辨識，於此方能刻畫出數據的豐富內在訊息。由於卷積神經網路為一種權值共享的網路結構，所以除了可以降低網路模型的複雜度之外，並可減少權值的數量。此優點在網路的輸入是多維圖像時表現的更為明顯，使圖像可以直接作為網路的輸入，避免了傳統影像辨識演算法中複雜的特徵擷取與數據重建過程。物件Ob分類方式幾乎都是基於統計特徵的，這就意味著在進行分辨前必須提取某些特徵。然而，顯式的特徵擷取並不容易，在一些應用問題中也並非總是可靠的。卷積神經網路可避免顯式的特徵取樣，隱式地從訓練數據中進行學習。這使得卷積神經網路明顯有別於其他基於神經網路的分類器，通過結構重組和減少權值將特徵擷取功能融合進多層感知器。它可以直接處理灰度圖片，能夠直接用於處理基於圖像的分類。卷積網路較一般神經網路在圖像處理方面有如下優點：輸入圖像與網路的拓撲結構能很好的吻合；特徵擷取與模式分類同時進行，並同時在訓練中產生；權重共享可以減少網路的訓練參數，使神經網路結構變得更為簡單，適應性更強。

請參看圖6所示，係為卷積神經網路的具體模型架構示意，輸入行車路況影像通過與三個可訓練的濾波器與可加偏置進行卷積處理，卷積處理後在C1層產生三個特徵映射圖，然後此特徵映射圖中每組的四個像素再進行求和，加權值，加偏置；接著，透過一個函數(Sigmoid)得到三個S2層的特徵映射圖，此映射圖再進過濾波得到C3層。這個層級結構再和S2一樣產生S4...Sn。最後，這些像素值被光柵化，並連接成一個向量輸入到傳統的神經網路，進而得到輸出。

一般而言，C層為特徵擷取層，每個神經元的輸入與前一層的局部感受野相連，並擷取該局部的特徵，一旦該局部特徵被擷取後，它與其他特徵間的位置關係也隨之確定下來。至於S層則是特徵映射層，網路的每個計算層由多個特徵映射組成，每個特徵映射為一個平面，平面上所有神經元的權值相等。特徵映射結構採用影響函數核小的sigmoid函數作為卷積網路的激活函數(Activation function；(1)Tan H,(2)Rectifier Relu),(3)Parameteric Rect,fied Lineor Unit(Prelu)，使得特徵映射具有位移不變性。此外，由於一個映射面上的神經元共享權值，因而減少了網路自由參數的個數，降低了網路參數選擇的複雜度。卷積神經網路中的每一個特徵擷取層(C-層)都緊跟著一個用來求局部平均與二次提取的計算層(S-層)，這種特有的兩次特徵擷取結構使網路在識別時對輸入樣本有較高的畸變容忍能力。

卷積神經網路主要用來識別位移、縮放及其他形式扭曲不變性的二維圖形。由於卷積神經網路的特徵檢測層通過訓練數據進行學習， 所以在使用卷積神經網路時，避免了顯式的特徵擷取，而隱式地從訓練數據中進行學習；再者由於同一特徵映射面上的神經元權值相同，所以網路可以並行學習，這也是卷積神經網路相對於神經元彼此相連網路的一大優勢。卷積神經網路以其局部權值共享的特殊結構在語音識別和圖像處理方面有著獨特的優越性，其布局更接近於實際的生物神經網路，權值共享降低了網路的複雜性，特別是多維輸入向量的圖像可以直接輸入網路這一特點避免了特徵擷取與分類過程中數據重建的複雜度。

以上所述，僅為本新型之一可行實施例，並非用以限定本新型之專利範圍，凡舉依據下列請求項所述之內容、特徵以及其精神而為之其他變化的等效實施，皆應包含於本新型之專利範圍內。本新型所具體界定於請求項之結構特徵，未見於同類物品，且具實用性與進步性，已符合創作專利要件，爰依法具文提出申請，謹請 鈞局依法核予專利，以維護本申請人合法之權益。

10‧‧‧影像擷取裝置

20‧‧‧顯示幕

30‧‧‧記憶模組

40‧‧‧資訊處理單元

41‧‧‧深度學習演算模組

42‧‧‧物件特徵資料庫

420‧‧‧車輛特徵資料

421‧‧‧機車/人特徵資料

422‧‧‧行人特徵資料

423‧‧‧交通號誌特徵資料

43‧‧‧危險警告評估模組

44‧‧‧行車危險等級預警模組

50‧‧‧音頻播放模組

GPS‧‧‧全球衛星定存模組

ECU‧‧‧行車電腦

Claims (11)

1. 一種智慧多功能行車輔助駕駛記錄系統，其包括：至少一影像擷取裝置，其設於一車輛上，用以擷取該車輛行駛中的行車路況影像；一顯示幕，其設於該車輛內，用以顯示該行車路況影像；一記憶模組；及一資訊處理單元，其包含一具備深度學習訓練功能以執行影像辨識的深度學習模組及一物件特徵資料庫，該物件特徵資料庫建立有包含複數個不同物件特徵資料，並於每一該物件特徵資料設定有一物件名稱，於該物件特徵資料庫特徵比對出與該行車路況影像中的至少一個物件之特徵符合的該物件名稱，再將該行車路況影像中已辨識出該物件名稱的該物件標示為行車預警資訊，並將該行車預警資訊連同該行車路況影像一起記錄於該記憶模組中。
2. 如請求項1所述之智慧多功能行車輔助駕駛記錄系統，其中，該行車預警資訊包含至少一種標記，用以於該顯示幕所顯示；或是該記憶模組所記錄的該行車路況影像中之至少一該物件做出標示。
3. 如請求項2所述之智慧多功能行車輔助駕駛記錄系統，其中，該標記係選自用以框選該物件的框格、語音以及音頻的其中至少一種。
4. 如請求項3所述之智慧多功能行車輔助駕駛記錄系統，其中，該框格為複數種不同形狀的框格，不同之該物件係以不同形狀的該框格框選該物件。
5. 如請求項3所述之智慧多功能行車輔助駕駛記錄系統，其中，該框格為複數種不同顏色的框格，不同之該物件係以不同顏色的該框格框選該物件。
6. 如請求項3所述之智慧多功能行車輔助駕駛記錄系統，其中，該 音頻為複數種不同音調的音頻訊號，不同之該物件係以不同音頻訊號來代表該物件名稱。
7. 如請求項1所述之智慧多功能行車輔助駕駛記錄系統，其中，該深度學習模組執行時該則包含下列之步驟：一訓練階段步驟，係建立一深度學習模型，並於該深度學習模型輸入距離資料及巨量的該行車路況影像，並由該深度學習模型測試影像辨識的正確率，再判斷影像辨識正確率是否足夠，當判斷結果為是，則將辨識結果輸出及儲存；當判斷結果為否，則使該深度學習模型自我修正學習；及一運行預測階段步驟，係深度學習模型於該深度學習模型輸入該距離資料及即時擷取的該行車路況影像，並由該深度學習模型進行預測性影像辨識，以得到至少一個辨識結果的該物件名稱及距離值，再將該物件名稱及該距離值輸出。
8. 如請求項1所述之智慧多功能行車輔助駕駛記錄系統，其更包含一位置距離計算步驟，係將該車輛與該物件之間的距離或是相對位置進行計算，並由該顯示幕；或一音頻播放模組輸出該車輛與該物件之間的距離或是位置的音頻訊號。
9. 如請求項1所述之智慧多功能行車輔助駕駛記錄系統，其中，該物件特徵資料庫包含有一儲存複數車輛特徵樣本的車輛特徵資料、一儲存複數機車與人組合特徵樣本的機車/人特徵資料、一儲存複數行人特徵樣本的行人特徵資料以及一儲存複數交通號誌特徵樣本的交通號誌特徵資料。
10. 如請求項1所述之智慧多功能行車輔助駕駛記錄系統，其更包含一用以容裝該影像擷取裝置、該物件特徵資料庫及該資訊處理單元的機殼；該機殼前面設置該影像擷取裝置，其背面設有一顯示幕，該顯示幕顯示有該行車路況影像以及疊加在該行車路況影像上的該行車預警資訊；且於該機殼設有一用以記錄該行車路況影像及該行車預警資訊的記憶裝置； 該影像擷取裝置係為作為測距及記錄之用的複鏡頭影像擷取裝置。
11. 如請求項1所述之智慧多功能行車輔助駕駛記錄系統，其中，該資訊處理單元包含一行車危險等級預警模組，該行車危險等級預警模組針對該物件之移動路徑是否與該車輛之行車動線於一個時點形成交會點的可能性進行預測評估，並依據各該物件所評估的危險等級排序而輸出該行車預警資訊。