TW201816745A - 智慧多功能行車輔助駕駛記錄方法及系統 - Google Patents

智慧多功能行車輔助駕駛記錄方法及系統 Download PDF

Info

Publication number
TW201816745A
TW201816745A TW105134417A TW105134417A TW201816745A TW 201816745 A TW201816745 A TW 201816745A TW 105134417 A TW105134417 A TW 105134417A TW 105134417 A TW105134417 A TW 105134417A TW 201816745 A TW201816745 A TW 201816745A
Authority
TW
Taiwan
Prior art keywords
image
driving
vehicle
feature
deep learning
Prior art date
Application number
TW105134417A
Other languages
English (en)
Other versions
TWI619099B (zh
Inventor
林耿呈
黃乙鈞
洪膺倫
陳憲宗
王圳木
Original Assignee
慧穩科技股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 慧穩科技股份有限公司 filed Critical 慧穩科技股份有限公司
Priority to TW105134417A priority Critical patent/TWI619099B/zh
Application granted granted Critical
Publication of TWI619099B publication Critical patent/TWI619099B/zh
Publication of TW201816745A publication Critical patent/TW201816745A/zh

Links

Landscapes

  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

本發明係揭露一種智慧多功能行車輔助駕駛記錄方法及系統,其係以影像擷取裝置擷取車輛行駛中的行車路況影像。並於物件特徵資料庫建立有物件特徵資料,再於每一物件特徵資料設定物件名稱。資訊處理單元於物件特徵資料庫辨識出與行車路況影像的其中至少一個物件之影像符合的物件名稱,再將已辨識出物件名稱的物件於顯示幕所顯示的行車路況影像中予以標記,俾能以標記作為行車預警資訊,藉以提升車輛於行車時的安全性。

Description

智慧多功能行車輔助駕駛記錄方法及系統
本發明係有關一種智慧多功能行車輔助駕駛記錄方法及系統,尤指一種可以藉由行車預警而提升行車安全的影像辨識技術。
按,為使車輛具備交通事故的舉證功效,一般車主大多會於車輛內裝設行車記錄器,於行車時,除了可以擷取車輛前方的行車路況影像之外,並可記錄對應的時間資訊,以作為時光回溯的證據比對依據。雖然習知行車記錄器設置具備擷取前方行車路況影像及時間資訊等功能;惟,其無法藉由檢測得知是否有穿越快車道的行人;或是移動中之前方車輛及對向來車的動態資訊,以致無法判定車輛與上述物件之間的相對運動關係,若是不幸地發生碰撞交通事故時,習知行車記錄器所記錄的行車路況影像確實較無法提供足夠的舉證資訊來釐清交通事故的肇事原因,因而造成行車記錄使用上的不便與極大的困擾。
為改善上述缺失,相關技術領域業者已然一種如中華民國新型第M414577號『具影像辨識功能之行車導航記錄器』所示的專利;其係依據車輛之經緯度資訊取得車輛之車速信號並傳予處理單元;影像擷取單元係取得車輛周圍道路影像並傳予處理單元;影像辨識單元分析道路影像以產生分析結果。儲存單元係設置於行車導航記錄器主機,係儲存該車速信號、道路影像及分析結果;藉由影像擷取單元擷取道路影像並傳輸至處 理單元及影像辨識單元以處理影像辨識工作,而處理單元進一步連接衛星定位單元以取得當時之車速信號,以供處理單元辨識並判斷是否為危險駕駛行為。
該專利影像辨識單元雖然可以分析道路影像以產生分析結果;惟,並未對『分析結果』的具體技術內容以及是否作為『危險駕駛行為』的判定因子之一提出任何的具體論述;除此之外,該專利並無深度學習的機能建制,以致無法透過深度學習來強化影像比對樣本的分類功能,故而影像影像比對辨識的精確度較低而無法被有效應用。
另有一種如中華民國發明第I495343號『行車記錄系統及其位置判斷方法』所示的專利;其係包含曲率影像鏡頭、運算模組、處理模組顯示模組及儲存模組。係曲率影像鏡頭擷取其周圍環境之曲率影像;運算模組係將曲率影像還原為還原影像。座標定位模組係接收還原影像,並以座標定位還原影像,以產生經座標定位之還原影像;處理模組係接收還原影像,並產生時間資訊;顯示模組係顯示還原影像及時間資訊。儲存模組係儲存還原影像及時間資訊。
該專利雖然可由還原影像計算出車輛與其中至少一個特定物件之間的速度及相對距離的相對運動關係,以此作為發出警示訊號的依據;惟,其並無深度學習的機能建制,以致無法透過深度學習來強化影像比對樣本的分類功能,因而影像影像比對辨識的精確度;除此之外,該專利僅是對移動中之前方車輛或是對向來車進行辨識計算,以得到速度與距離等資訊;至於行人方面則是無法有效監視,所以無法藉由檢測得知是否有欲穿越快車道的行人出現,以致無法有效降低開車撞擊行人的情事;或 是移動中之前方車輛及對向來車的速度與距離等資訊,因而造成行車記錄使用上的不便與即極大困擾。
有鑑於此,尚未有一種具備較佳深度學習演算的物件影像識別以強化資料庫分類功能之行車記錄技術的專利被提出,而且基於相關產業的迫切需求之下,本發明人等乃經不斷的努力研發之下,終於研發出一套有別於上述習知技術與專利的本發明。
本發明第一目的,在於提供一種智慧多功能行車輔助駕駛記錄方法及系統,主要是可對車道附近的行人或是移動中之前方車輛及對向來車的動向進行監控,藉此依據監控結果而做出相應的行車預警,而可藉由行車預警來提升行車的安全性。達成本發明第一目的採用之技術手段,係以影像擷取裝置擷取車輛行駛中的行車路況影像。於物件特徵資料庫建立有物件特徵資料,並於每一物件特徵資料設定物件名稱。資訊處理單元於物件特徵資料庫辨識出與行車路況影像的其中至少一個物件之影像符合的物件名稱,再將已辨識出物件名稱的物件於顯示幕所顯示的行車路況影像中予以標記,俾能以標記作為行車預警資訊。
本發明第二目的,在於提供一種具備深度學習功能的智慧多功能行車輔助駕駛記錄方法及系統,主要是藉由深度學習之機能建制,除了可以強化特徵樣本資料庫分類功能之外,並可將前段的特徵擷取部分利用深度學習方式來實現自我學習修正,因而可以達到高度的辨識率,並可避免傳統影像辨識會因前段特徵擷取容易受到環境變化而失去辨識準確率的缺失產生。達成本發明第二目的採用之技術手段,係以影像擷取裝置擷取車輛行駛中的行車路況影像。於物件特徵資料庫建立有物件特徵資料,並於每一物件特徵資料設定物件名稱。資訊處理單元於物件特徵資料庫辨 識出與行車路況影像的其中至少一個物件之影像符合的物件名稱,再將已辨識出物件名稱的物件於顯示幕所顯示的行車路況影像中予以標記,俾能以標記作為行車預警資訊。其中,其更包含一具備深度學習訓練功能以執行該影像辨識步驟的深度學習演算法,執行該深度學習演算法則包含下列之步驟:一訓練階段步驟,係輸入距離資料及巨量的該行車路況影像以建立一深度學習模型,並由該深度學習模型測試影像辨識的正確率,再判斷影像辨識正確率是否足夠,當判斷結果為是,則將辨識結果輸出及儲存;當判斷結果為否,則使該深度學習模型自我修正學習;及一運行預測階段步驟,係於該深度學習模型輸入該距離資料及即時擷取的該行車路況影像,並由該深度學習模型進行預測性影像辨識,以得到至少一個辨識結果的該物件名稱及距離值,再將該物件名稱及該距離值輸出。
10‧‧‧影像擷取裝置
20‧‧‧物件特徵資料庫
21‧‧‧車輛特徵資料
22‧‧‧機車/人特徵資料
23‧‧‧行人特徵資料
24‧‧‧交通號誌特徵資料
25‧‧‧座標參數資料庫
30‧‧‧資訊處理單元
31‧‧‧深度學習演算模組
32‧‧‧危險警告評估模組
33‧‧‧行車危險等級預警模組
50‧‧‧機殼
40‧‧‧顯示幕
41‧‧‧標記
51‧‧‧記憶裝置
52‧‧‧音頻播放模組
ECU‧‧‧行車電腦
GPS‧‧‧全球衛星定位模組
Ob‧‧‧物件影像
圖1係本發明具體架構的功能方塊示意圖。
圖2係本發明深度學習模型的訓練階段的實施示意圖。
圖3係本發明深度學習模型的運行預測階段的實施示意圖。
圖4係本發明於畫面物件框選為行車預警的實施示意圖。
圖5係本發明物件影像套入已知座標定位的實施示意圖。
圖6係本發明物件影像套入已知座標定位的另一實施示意圖。
圖7係本發明物件影像的路徑預測實施示意圖。
圖8係本發明卷積神經網路的具體實施架構示意圖。
圖9係本發明具體的外觀實施示意圖。
為讓 貴審查委員能進一步瞭解本發明整體的技術特徵與達成本發明目的之技術手段,玆以具體實施例並配合圖式加以詳細說明:
請配合參看圖1、4所示,為達成本發明第一目的之實施例,而且本實施是一種透過影像辨識方式實現的實施例,係包括提供至少一影像擷取裝置10、一物件特徵資料庫20、一資訊處理單元30及一顯示幕40等技術特徵。影像擷取裝置10及顯示幕40皆設於車輛,用以擷取及顯示車輛行駛中的前方行車路況影像。物件特徵資料庫20建立有包含複數個不同物件特徵資料,並於每一物件特徵資料設定有一特徵資料,再於每一特徵資料設定有一物件名稱。資訊處理單元30執行時則依序包含下列之處理步驟:
(a)影像辨識步驟:係以影像辨識分析出經過影像前處理後之行車路況影像的物件影像Ob之特徵值,再於物件特徵資料庫20比對出與特徵值大致符合的(如辨形相似度約百分之七十以上)的特徵資料,並由特徵資料得到對應的物件名稱;若是影像辨識成功率不高,則可提升辨形相似度,直到達到所需的影像辨識成功率為止。
(b)位置距離計算步驟:係將車輛與物件(如行人、機車與人的組合或是車輛)之間的距離或是相對位置進行計算,以輸出相應的距離訊號或是位置訊號。
(c)行車預警輸出步驟:如圖4所示,將已辨識出物件名稱的物件於顯示幕40所顯示的行車路況影像中予以標記41,並以此標記41作為行駛中的行車預警資訊;具體來說,此標記41係為用以框選物件的框格,而且不同物件係以不同形狀的框格框選,以圖4為例,長矩形框代表車輛種類,短矩形框代表機車與人組合種類,橢圓形框代表行人種類;但是不以此為限,亦可以不同顏色的框格來代表物件名稱。除此之外,本發明可以音頻、語音、顯示或是記錄的方式將距離訊號或是位置訊號輸出 合併為上述的行車預警資訊,此行車預警資訊除了包括上述的標記41之外,更包含物件名稱資訊(如車輛、機車與人的組合、行人以及交通號誌)、物件位置資訊、物件距離資訊、交通號誌即時狀態資訊、車速資訊以及危險警告資訊。
承上所述,交通號誌即時狀態資訊係透過影像辨識得知交通號誌即時所處狀態為綠燈或是紅燈。至於車速資訊的取得如圖1所示,係透過全球衛星定位模組(GPS)所提供之位置訊號於一時間單位之位置變化量所計算得到;此外,亦可透過訊號擷取方式(如can bus)擷取車輛的行車電腦(ECU),於此同樣可以得到車輛車速資訊,如圖1所示。
請配合參看圖4~6所示的運作實施例中,當車輛於行駛中時,影像擷取模組10則連續擷取至少二張行車路況影像,並預先建立一與行車路況影像影像對應且包含複數座標資料的座標參數資料庫25,之後,再執行影像定位法求得物件影像Ob之重心位置,再與座標參數資料庫25之座標資料(即圖3~4中所示的座標框格,每一座標框格皆有各自定義的座標值)進行比對,並逐一計算出此物件影像Ob所處的座標位置,進而得到物件影像Ob的行進軌跡路徑資訊,以作為物件影像Ob是否會與車輛之行車路徑於一時點形成交會的判斷依據。由圖4所示的實施例中得知,本發明可由物件影像Ob出現在座標框格的位置以及面積大小,即可得到此物件影像Ob的體積大小及距離為何(可透過預先的參數設定得知;或是以二個影像擷取裝置10針對物件進行三角定位量測法而可得知與物件之間的距離資訊為何?至於物件速度資訊可由物件影像Ob移動至下一個座標框格的時間來推算,即可獲得上述的速度資訊為何?接著,資訊處理單元30再透過文字疊加技術將行車預警資訊之文字疊加於行車路況影像之中,除了由顯示幕40顯示顯示出疊加有行車預警資訊之文字的行車路況影像之外,並可由記憶裝置51來記錄疊加有行車預警資訊的行車路況影像。此外,必須 說明的是文字疊加於影像的技術確實已為非常習知的技術,故不對文字疊加技術做贅述。
舉例來說,圖4~6所示為四個物件,其中,物件1(Ob1)為同向的前車,物件2(Ob2)為前車後的機車騎士,物件3(Ob3)為車道右側的等待穿越道路的行人,物件4(Ob4)為對向車輛,當資訊處理單元30影像辨識及計算出各個物件名稱、位置及距離時,資訊處理單元30則透過顯示幕40或音頻播放模組52發出行車預警資訊,行車預警資訊除了於行車路況影像顯示框選物件的標記41之外,更包括有以顯示或語音方式輸出『前方距離5公尺處有同向前車』、『右前側距離2公尺處有機車騎士』以及『慢車道右側距離25公尺處有行人,請小心駕駛』等之行車預警資訊。假設車輛與前車之距離低於5公尺時,如圖5所示,資訊處理單元30則透過顯示幕40或語音假設車輛與同向前車低於5公尺時,資訊處理單元30則透過顯示幕40或音頻播放模組52輸出『請與前車保持安全距離』。假設行人穿梭道路且經資訊處理單元30計算後得知會撞到行人時,資訊處理單元30則透過顯示幕40或音頻播放模組52輸出『請放慢車速,否則會撞到行人』之危險警告資訊。
請配合參看圖1~4所示,為達成本發明第二目的之第二實施例,係包括至少一影像擷取裝置10、一物件特徵資料庫20、一資訊處理單元30及一顯示幕40等技術特徵。影像擷取裝置10設於車輛內,用以擷取車輛行駛中的前方行車路況影像。物件特徵資料庫20建立有包含複數個物件特徵資料,並於每一物件特徵資料設定有一物件名稱。具體來說,深度學習演算模組31可以是一種卷積類神經網路(CNN)演算法、專家系統演算法以及隨機森林演算法等諸多的人工智慧演算法。此外,深度學習演算模組31執行時更包含下列之處理步驟:
(a)影像辨識步驟:係於物件特徵資料庫20比對出與經影像 前處理之行車路況影像的其中至少一個物件影像符合的物件名稱。具體來說,資訊處理單元30內建一具備深度學習訓練功能以執行影像辨識步驟的深度學習演算法,用以對經影像前處理之行車路況影像依序進行特徵擷取、特徵選擇、推理及預測性影像辨識,並將行車路況影像中之至少一個特徵擷取部分影像處理為物件特徵資料,再將物件特徵資料依據物件之類別而累積至物件特徵資料庫20中,以供自我訓練學習,藉以得到至少一個物件名稱,以累積特徵值資料來強化物件特徵資料庫20的分類功能以及強化物件特徵擷取的功能。具體來說,執行深度學習演算法則包含下列之階段步驟:
(a-1)訓練階段步驟,如圖2所示,係建立一深度學習模型31,以於深度學習模型31輸入距離資料及巨量的行車路況影像,並由深度學習模型31測試影像辨識的正確率,再判斷影像辨識正確率是否足夠,當判斷結果為是,則將辨識結果輸出及儲存;當判斷結果為否,則使深度學習模型31自我修正學習。
(a-2)運行預測階段步驟,如圖3所示,係於深度學習模型31輸入距離資料及即時擷取的行車路況影像,並由深度學習模型31進行預測性影像辨識,以得到至少一個辨識結果的物件名稱及距離值,再將物件名稱及距離值輸出。
(b)位置距離計算步驟:係將車輛與物件之間的距離或是相對位置進行計算,以輸出相應的距離訊號或是位置訊號。
(c)行車預警輸出步驟:將已辨識出物件名稱的物件於顯示幕40所顯示的行車路況影像中予以標記41,並以此標記41作為行駛中的行車預警資訊;具體來說,上述標記41係為用以框選物件的框格,不同物件係以不同形狀的框格來框選;或是以不同顏色的框格來框選,於此,駕駛人即可從框格的形狀或是顏色辨識出物件的名稱種類;不僅如此,亦 可以不同形狀或是不同顏色的框格作為行車預警等級的顯示資訊;或是以不同音頻來代表物件名稱;於此,駕駛人即可從框格的形狀或是顏色辨識出物件相對車輛的預警等級為何?
如圖1、9所示的實施例中,更包含一用以容裝影像擷取裝置10、資訊處理單元30及顯示幕40的機殼50;此機殼50前面設置影像擷取裝置10,其背面設有顯示幕40,顯示幕40顯示有行車路況影像以及疊加在行車路況影像上的行車預警資訊。另外,機殼50設有一用以記錄行車路況影像及行車預警資訊的記憶裝置51。此外,必須說明的是,上述影像擷取裝置10係為一種可以作為測距及記錄之用的複鏡頭影像擷取裝置,於此,即可透過三角定位量測法來求出物件與車輛之間的距離。進一步來說,三角影像定位量測法可以是一種習知的Epipolar平面三角測距法,主要是以複鏡頭影像擷取裝置10來擷取左側行車路況影像以及右側行車路況影像,資訊處理單元10則將左側與右側之行車路況影像進行Epipolar平面之三角測距法的演算,進而求出車輛與物件Ob之間的距離,由於Epipolar平面三角測距法係為非常習知的技術,故不再予以贅述具體的運算內容。
請參看圖1、7所示的實施例中,資訊處理單元30包含一危險警告評估模組32,而危險警告資訊則是危險警告評估模組32所計算評估,其係判斷物件之預測路徑D1是否與車輛之行車路徑D2於一個時點形成交會點,判斷結果為是,則發出危險警告資訊。再者,圖1所示之物件特徵資料庫20係包含有一儲存複數車輛特徵樣本的車輛特徵資料21、一儲存複數機車與人組合特徵樣本的機車/人特徵資料22、一儲存複數行人特徵樣本的行人特徵資料23以及一儲存複數交通號誌特徵樣本的交通號誌特徵資料24。
請參看圖1所示,資訊處理單元30係包含一行車危險等級預警模組33,此行車危險等級預警模組33針對物件之移動路徑是否與車輛 之行車動線於一個時點形成交會點的可能性進行預測評估,並依據各物件所評估的危險等級排序而輸出行車預警資訊。舉圖4、7為例來說明,圖4中的機車則列為最高等級的行車預警資訊,如以語音及記錄方式輸出:『小心前方機車騎士的行車動線』;其次,圖4中的同向汽車則列為第二等級的行車預警資訊,如以語音及記錄方式輸出:『小心保持與前方車輛的安全車距』;圖4中之行人若是處停止等待狀態則將行人列為最低等級的行車預警資訊,如以語音及記錄方式輸出:『請持續注意前方右側行人的動線』。
經由上述具體實施例的說明后得知,本發明第二實施例是採用深度學習技術為基底,以運用於先進駕駛之輔助系統的前方辨識,藉以辨識行車路況影像中的汽車、行人、機車以及交通號誌等物件,進而達到行車預警的功效,並將深度學習演算法建構於行動裝置專用的晶片組(含圖形處理器GPU)中,以達到即時偵測行車動態之目的,最終包裝成先進駕駛輔助系統之前方影像辨識解決方案提供給相關業者。再者,深度學習中的卷積類神經網路(Convolutional Neural Network;CNN)在2012年之後,即大舉突破早期分類器與方法的辨識率。一般傳統影像辨識往往會因為前段的特徵擷取演算法容易受到環境變化而失去辨識準確率。為此,本發明即是改善此一缺失,係利用卷積類神經網路(Convolutional Neural Network;CNN))將前段的特徵擷取部分利用深度學習方式來自我學習修正,只要建立數量充足的物件特徵資料,讓深度學習模型自我學習修正,於此,既可達到高度的辨識率,並可大舉突破一般傳統的機器學習方法。
一般而言,卷積神經網路從影像擷取裝置10獲得行車路況影像後,經過影像前處理(即預處理)、特徵擷取、特徵選擇,再到推理以及做出預測性辨識。另一方面,卷積神經網路的深度學習實質,是通過構建具有多個隱層的機器學習模型及海量訓練數據,來達到學習更有用的特徵,從而最終提升分類或預測的準確性。卷積神經網路利用海量訓練數 據來學習特徵辨識,於此方能刻畫出數據的豐富內在訊息。由於卷積神經網路為一種權值共享的網路結構,所以除了可以降低網路模型的複雜度之外,並可減少權值的數量。此優點在網路的輸入是多維圖像時表現的更為明顯,使圖像可以直接作為網路的輸入,避免了傳統影像辨識演算法中複雜的特徵擷取與數據重建過程。物件分類方式幾乎都是基於統計特徵的,這就意味著在進行分辨前必須提取某些特徵。然而,顯式的特徵擷取並不容易,在一些應用問題中也並非總是可靠的。卷積神經網路可避免顯式的特徵取樣,隱式地從訓練數據中進行學習。這使得卷積神經網路明顯有別於其他基於神經網路的分類器,通過結構重組和減少權值將特徵擷取功能融合進多層感知器。它可以直接處理灰度圖片,能夠直接用於處理基於圖像的分類。卷積網路較一般神經網路在圖像處理方面有如下優點:輸入圖像與網路的拓撲結構能很好的吻合;特徵擷取與模式分類同時進行,並同時在訓練中產生;權重共享可以減少網路的訓練參數,使神經網路結構變得更為簡單,適應性更強。
請參看圖8所示,係為卷積神經網路的具體模型架構示意,輸入行車路況影像通過與三個可訓練的濾波器與可加偏置進行卷積處理,卷積處理後在C1層產生三個特徵映射圖,然後此特徵映射圖中每組的四個像素再進行求和,加權值,加偏置;接著,透過一個函數(Sigmoid)得到三個S2層的特徵映射圖,此映射圖再進過濾波得到C3層。這個層級結構再和S2一樣產生S4...Sn。最後,這些像素值被光柵化,並連接成一個向量輸入到傳統的神經網路,進而得到輸出。
一般而言,C層為特徵擷取層,每個神經元的輸入與前一層的局部感受野相連,並擷取該局部的特徵,一旦該局部特徵被擷取後,它與其他特徵間的位置關係也隨之確定下來。至於S層則是特徵映射層,網路的每個計算層由多個特徵映射組成,每個特徵映射為一個平面,平面上 所有神經元的權值相等。特徵映射結構採用影響函數核小的sigmoid函數作為卷積網路的激活函數(Activation function;(1)Tan H,(2)Rectifier Relu),(3)Parameteric Rect,fied Lineor Unit(Prelu),使得特徵映射具有位移不變性。此外,由於一個映射面上的神經元共享權值,因而減少了網路自由參數的個數,降低了網路參數選擇的複雜度。卷積神經網路中的每一個特徵擷取層(C-層)都緊跟著一個用來求局部平均與二次提取的計算層(S-層),這種特有的兩次特徵擷取結構使網路在識別時對輸入樣本有較高的畸變容忍能力。
卷積神經網路主要用來識別位移、縮放及其他形式扭曲不變性的二維圖形。由於卷積神經網路的特徵檢測層通過訓練數據進行學習,所以在使用卷積神經網路時,避免了顯式的特徵擷取,而隱式地從訓練數據中進行學習;再者由於同一特徵映射面上的神經元權值相同,所以網路可以並行學習,這也是卷積神經網路相對於神經元彼此相連網路的一大優勢。卷積神經網路以其局部權值共享的特殊結構在語音識別和圖像處理方面有著獨特的優越性,其布局更接近於實際的生物神經網路,權值共享降低了網路的複雜性,特別是多維輸入向量的圖像可以直接輸入網路這一特點避免了特徵擷取與分類過程中數據重建的複雜度。
以上所述,僅為本發明之可行實施例,並非用以限定本發明之專利範圍,凡舉依據下列請求項所述之內容、特徵以及其精神而為之其他變化的等效實施,皆應包含於本發明之專利範圍內。本發明所具體界定於請求項之結構特徵,未見於同類物品,且具實用性與進步性,已符合發明專利要件,爰依法具文提出申請,謹請 鈞局依法核予專利,以維護本申請人合法之權益。

Claims (10)

  1. 一種智慧多功能行車輔助駕駛記錄方法,其包括:提供至少一影像擷取裝置、一物件特徵資料庫、一資訊處理單元及一顯示幕;將該影像擷取裝置設於一車輛上,用以擷取該車輛行駛中的行車路況影像;將該顯示幕裝設再該車輛內,以顯示該行車路況影像;於該物件特徵資料庫建立有包含複數個不同物件特徵資料,並於每一該物件特徵資料設定有一物件名稱;及該資訊處理單元於執行時則依序包含下列之處理步驟:(a)影像辨識步驟:係於該物件特徵資料庫特徵辨識出與經該行車路況影像中的至少一個物件之特徵符合的該物件名稱;及(b)行車預警輸出步驟:將已辨識出該物件名稱的該物件於該顯示幕所顯示的該行車路況影像中予以標記,並以該標記作為行駛中的行車預警資訊。
  2. 如請求項1所述之方法,其中,該標記係選自用以框選該物件的框格以及音頻的其中一種,不同該物件係以不同形狀的框格框選該物件;或是以不同顏色的框格框選該物件;或是以不同音頻來代表該物件名稱。
  3. 如請求項1所述之方法,其更包含一具備深度學習訓練功能以執行該影像辨識步驟的深度學習演算法,執行該深度學習演算法則包含下列之步驟:一訓練階段步驟,係建立一深度學習模型,並於該深度學習模型輸入距離資料及巨量的該行車路況影像,並由該深度學習模型測試影像辨識的正確率,再判斷影像辨識正確率是否足夠,當判斷結果為是,則將辨識結果輸出及儲存;當判斷結果為否,則使該深度學習模型自我修正學習;及 一運行預測階段步驟,係深度學習模型於該深度學習模型輸入該距離資料及即時擷取的該行車路況影像,並由該深度學習模型進行預測性影像辨識,以得到至少一個辨識結果的該物件名稱及距離值,再將該物件名稱及該距離值輸出。
  4. 如請求項1所述之方法,其更包含一位置距離計算步驟,係將該車輛與該物件之間的距離或是相對位置進行計算,並由該顯示幕;或一音頻播放模組輸出該車輛與該物件之間的距離或是位置的音頻訊號。
  5. 如請求項1所述之方法,其中,該物件特徵資料庫包含有一儲存複數車輛特徵樣本的車輛特徵資料、一儲存複數機車與人組合特徵樣本的機車/人特徵資料、一儲存複數行人特徵樣本的行人特徵資料以及一儲存複數交通號誌特徵樣本的交通號誌特徵資料。
  6. 如請求項1所述之方法,其更包含一用以容裝該影像擷取裝置、該物件特徵資料庫及該資訊處理單元的機殼;該機殼前面設置該影像擷取裝置,其背面設有一顯示幕,該顯示幕顯示有該行車路況影像以及疊加在該行車路況影像上的該行車預警資訊;且於該機殼設有一用以記錄該行車路況影像及該行車預警資訊的記憶裝置;該影像擷取裝置係為作為測距及記錄之用的複鏡頭影像擷取裝置。
  7. 如請求項1所述之方法,其中,該資訊處理單元包含一行車危險等級預警模組,該行車危險等級預警模組針對該物件之移動路徑是否與該車輛之行車動線於一個時點形成交會點的可能性進行預測評估,並依據各該物件所評估的危險等級排序而輸出該行車預警資訊。
  8. 一種智慧多功能行車輔助駕駛記錄系統,其包括:至少一影像擷取裝置,其設於一車輛上,用以擷取該車輛行駛中的行車路況影像;一顯示幕,其設於該車輛內,用以顯示該行車路況影像; 一物件特徵資料庫,其建立有包含複數個物件特徵資料,並於每一該物件特徵資料設定有一物件名稱;及一資訊處理單元,其執行時則依序包含下列之處理步驟:(a)影像辨識步驟:係於該物件特徵資料庫特徵比對出與經該行車路況影像中的至少一個物件之特徵符合的該物件名稱;及(b)行車預警輸出步驟:將已辨識出該物件名稱的該物件於該顯示幕所顯示的該行車路況影像中予以標記,並以該標記作為行駛中的行車預警資訊。
  9. 如請求項8所述之系統,其中,該標記係為用以框選該物件的框格,不同該物件係以不同形狀的框格框該物件選或是以不同顏色的框格框選該物件。
  10. 如請求項8所述之系統,其更包含一具備深度學習訓練功能以執行該影像辨識步驟的深度學習演算模組,以對經該影像前處理之該行車路況影像依序進行特徵擷取、特徵選擇、推理及預測性影像辨識,並將該行車路況影像中之至少一該特徵擷取部分影像處理為該物件特徵資料,再將該物件特徵資料依據該物件之類別而累積至該物件特徵資料庫中,以供該深度學習演算模組訓練學習,藉以得到至少一個該物件名稱。
TW105134417A 2016-10-25 2016-10-25 Intelligent multifunctional driving assisted driving recording method and system TWI619099B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
TW105134417A TWI619099B (zh) 2016-10-25 2016-10-25 Intelligent multifunctional driving assisted driving recording method and system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW105134417A TWI619099B (zh) 2016-10-25 2016-10-25 Intelligent multifunctional driving assisted driving recording method and system

Publications (2)

Publication Number Publication Date
TWI619099B TWI619099B (zh) 2018-03-21
TW201816745A true TW201816745A (zh) 2018-05-01

Family

ID=62189420

Family Applications (1)

Application Number Title Priority Date Filing Date
TW105134417A TWI619099B (zh) 2016-10-25 2016-10-25 Intelligent multifunctional driving assisted driving recording method and system

Country Status (1)

Country Link
TW (1) TWI619099B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10748033B2 (en) 2018-12-11 2020-08-18 Industrial Technology Research Institute Object detection method using CNN model and object detection apparatus using the same
TWI717102B (zh) * 2019-11-14 2021-01-21 黃玄 基於影像辨識之交通路況車聯網系統

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002029349A (ja) * 2000-07-13 2002-01-29 Nissan Motor Co Ltd 車両周囲認識装置
JP4407920B2 (ja) * 2004-05-19 2010-02-03 ダイハツ工業株式会社 障害物認識方法及び障害物認識装置
JP2006279114A (ja) * 2005-03-28 2006-10-12 Clarion Co Ltd 車両用周囲モニタ装置
CN102236966A (zh) * 2010-04-21 2011-11-09 昆达电脑科技(昆山)有限公司 行车记录与预警装置、便携式电子装置结合的系统及方法
US9430946B2 (en) * 2011-12-28 2016-08-30 Toyota Jidosha Kabushiki Kaisha Obstacle determination device
CN103879404B (zh) * 2012-12-19 2016-08-31 财团法人车辆研究测试中心 可追踪移动物体的防撞警示方法及其装置
TW201437985A (zh) * 2013-03-18 2014-10-01 Create Electronic Optical Co Ltd 具安全範圍內路況偵測及警示功能之行車記錄器
TW201643836A (zh) * 2015-06-05 2016-12-16 Papago Inc 行車記錄器及其應用之生物偵測方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10748033B2 (en) 2018-12-11 2020-08-18 Industrial Technology Research Institute Object detection method using CNN model and object detection apparatus using the same
TWI708209B (zh) * 2018-12-11 2020-10-21 財團法人工業技術研究院 使用卷積神經網絡模型的物件偵測方法及物件偵測設備
TWI717102B (zh) * 2019-11-14 2021-01-21 黃玄 基於影像辨識之交通路況車聯網系統

Also Published As

Publication number Publication date
TWI619099B (zh) 2018-03-21

Similar Documents

Publication Publication Date Title
CN106845547B (zh) 一种基于摄像头的智能汽车定位与道路标识识别系统及方法
Li et al. Stepwise domain adaptation (SDA) for object detection in autonomous vehicles using an adaptive CenterNet
CN109460709A (zh) 基于rgb和d信息融合的rtg视觉障碍物检测的方法
JP2016062610A (ja) 特徴モデル生成方法及び特徴モデル生成装置
CN111368696A (zh) 基于视觉协同的危化品运输车违规驾驶行为检测方法及系统
Leng et al. Robust obstacle detection and recognition for driver assistance systems
CN109993074A (zh) 辅助驾驶的处理方法、装置、设备及存储介质
Zhang et al. Road marking segmentation based on siamese attention module and maximum stable external region
CN116830164A (zh) LiDAR去相关对象检测系统与方法
Dutta et al. ViT-BEVSeg: A hierarchical transformer network for monocular birds-eye-view segmentation
CN113052071B (zh) 危化品运输车驾驶员分心行为快速检测方法及系统
TWI619099B (zh) Intelligent multifunctional driving assisted driving recording method and system
Reza et al. An ai-based real-time roadway-environment perception for autonomous driving
WO2022006777A1 (zh) 对周围移动物体进行变道分类的方法、系统、计算机设备及存储介质
Zhao et al. Improving Autonomous Vehicle Visual Perception by Fusing Human Gaze and Machine Vision
CN114802261B (zh) 泊车控制方法、障碍物识别模型训练方法、装置
TWM538142U (zh) 智慧多功能行車輔助駕駛記錄系統
CN115424225A (zh) 一种面向自动驾驶系统的三维实时目标检测方法
Singh et al. Computer vision assisted, real time blind spot detection based collision warning system for two wheelers
CN112949595A (zh) 一种基于YOLOv5改进行人车辆安全距离检测算法
Choe et al. HazardNet: Road Debris Detection by Augmentation of Synthetic Models
Du et al. A Lightweight and Accurate Method for Detecting Traffic Flow in Real Time
CN113449629B (zh) 基于行车视频的车道线虚实识别装置、方法、设备及介质
Huang et al. Time to Lane Crossing Estimation Using Deep Learning-Based Instance Segmentation Scheme
Zhang MASFF: Multiscale Adaptive Spatial Feature Fusion Method for vehicle recognition