TWI734472B - 基於深度學習的行車輔助系統及其方法 - Google Patents
基於深度學習的行車輔助系統及其方法 Download PDFInfo
- Publication number
- TWI734472B TWI734472B TW109115647A TW109115647A TWI734472B TW I734472 B TWI734472 B TW I734472B TW 109115647 A TW109115647 A TW 109115647A TW 109115647 A TW109115647 A TW 109115647A TW I734472 B TWI734472 B TW I734472B
- Authority
- TW
- Taiwan
- Prior art keywords
- lane
- module
- lane line
- deep learning
- maps
- Prior art date
Links
- 238000013135 deep learning Methods 0.000 title claims abstract description 39
- 238000000034 method Methods 0.000 title claims abstract description 23
- 238000001514 detection method Methods 0.000 claims abstract description 32
- 238000000605 extraction Methods 0.000 claims abstract description 21
- 230000011218 segmentation Effects 0.000 claims abstract description 20
- 238000012545 processing Methods 0.000 claims abstract description 14
- 238000013528 artificial neural network Methods 0.000 claims abstract description 8
- 230000004044 response Effects 0.000 claims description 22
- 238000004364 calculation method Methods 0.000 claims description 13
- 238000012805 post-processing Methods 0.000 claims description 7
- 230000003321 amplification Effects 0.000 claims description 5
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 5
- 239000000284 extract Substances 0.000 claims description 3
- 238000003672 processing method Methods 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 11
- 230000000694 effects Effects 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 2
- 230000008676 import Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 230000003137 locomotive effect Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
- G05D1/0221—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving a learning process
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
- G06V10/457—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by analysing connectivity, e.g. edge linking, connected component analysis or slices
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
- G08G1/167—Driving aids for lane monitoring, lane changing, e.g. blind spot detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- Aviation & Aerospace Engineering (AREA)
- Automation & Control Theory (AREA)
- Medical Informatics (AREA)
- Computing Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- General Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- Software Systems (AREA)
- Electromagnetism (AREA)
- Image Analysis (AREA)
- Traffic Control Systems (AREA)
Abstract
本發明關於一種基於深度學習的行車輔助系統及其方法，係採用一階段物件偵測神經網路，並應用於嵌入式裝置以快速運算並判定行車物件資訊。此系統包括影像擷取模組、特徵萃取模組、語意分割模組及車道處理模組。其中，車道處理模組更包括車道線二值化子模組、車道線分群組模組及車道線擬合子模組。
Description
本發明係關於一種基於深度學習的行車輔助系統及其方法，特別是關於配置在嵌入式裝置，透過深度學習語意分割及物件偵測，進而準確模擬車道線及達到判斷車道偏離與防碰撞的目的。
近年來，行車輔助技術的發展漸趨成熟，又因為相機的成本便宜且設定、校正相對其他感測器而言較為簡單，車道線及車輛前方物件的偵測逐漸受到重視，但需要克服的難題是演算法較為複雜且運算量較為龐大。
在實際應用中，有透過取得影像中前方車輛動作向量的技術，達到前方物件偵測的目的，然而其所使用的特徵萃取方式易受影像光影變化及景色影響。亦有透過優化過的邊緣檢測技術及霍夫轉換方法達到車道線偵測的目的，然而此技術僅能偵測單車道，且影像中的車道線必須相當明顯，否則偵測效果會大受影響。另更有透過神經網路預測汽車於影像中出現之位置，進而推算物件與駕駛車輛之距離的技術，此技術利用物件偵測之神經網路為二階段式神經網路Faster-RCNN，但存在運算量大且速度緩慢的缺點。
為此，如何在執行輔助駕駛系統時，降低深度學習網路的運算量，同時增加偵測及預測的準確性，乃為本案發明人所研究的重要課題。
有鑑於上述內容，本發明之目的在於提供一種基於深度學習的行車輔助系統及其方法，透過深度學習神經網路，處理影像物件偵測以及語意分割，以達成車道與車道線辨識及車道偏離與前方碰撞警示的目的。本發明之系統及方法將輸入的影像進行影像特徵萃取，透過語意分割判斷各種車道線資訊，接著分類不同車道線的類別，辨識並擬合車道線，以此為基準判斷可行駛道路，配合道路物件偵測，完成行車輔助的目的。
本發明所採用的方法，相較於傳統技術如線性擬合、動作向量預判、雷達偵測等技術，對於各種天氣因素或各樣物件型態，皆能有更佳的準確度及穩定度。
具體而言，本發明提供一種基於深度學習的行車輔助系統，其採用一階段物件偵測網路，並應用於嵌入式裝置以快速運算並判定行車物件資訊。上述系統包括：一影像擷取模組，係以一固定頻率擷取複數個道路影像。一特徵萃取模組，配置為根據該些道路影像建構道路物件之複數個特徵資料。一語意分割模組，配置為根據該些特徵資料，提取道路物件之複數個分類機率圖。一車道線處理模組，用於建構複數個車道線擬合圖。上述車道線處理模組更包括：一車道線二值化子模組，係依據該些分類機率圖之信心度，將該些分類機率圖進行二值化，並建構一車道線之複數個二值化響應圖，且該些二值化響應圖為複數個車道點。一車道線分群子模組，配置為將該車道線之該些二值
化響應圖做分群，並歸類複數個車道線類別。一車道線擬合子模組，將該些車道線類別進行三次方曲線擬合並連線得出該些車道線擬合圖。
依據一實施例，上述特徵萃取模組更包括一注意力子模組，係用以提供一放大常數以提升該些特徵資料之準確性。
依據另一實施例，上述車道處理模組進一步包括：一車道後處理子模組，根據該些車道線擬合圖，建構一可行駛車道區間。一車道偏離判斷子模組，配置為根據該可行駛車道區間判斷行駛方向是否偏離。
依據又一實施例，上述基於深度學習的行車輔助系統進一步包括一物件偵測子模組，配置為根據該些特徵資料，取得複數個道路物件位置。上述物件偵測模組更進一步包括一防碰撞判斷子模組，係根據上述可行駛車道區間與該些道路物件位置，推估複數個相對距離並執行複數個防碰撞判斷。
本發明除提供上述基於深度學習的行車輔助系統之外，更進一步提供一種基於深度學習的行車輔助運算方法，係採用一階段物件偵測網路，並應用於嵌入式裝置以快速運算並判定行車物件資訊。上述方法包含下列步驟：以一固定頻率擷取複數個道路影像。根據該些道路影像進行特徵萃取，以建構道路物件之複數個特徵資料。根據該些特徵資料，提取道路物件之複數個分類機率圖。依據該些分類機率圖中之信心度，將該些分類機率圖進行二值化，建構車道線之複數個二值化響應圖，且該些二值化響應圖為複數個車道點。對該二值化響應圖做分群，歸類複數個車道線類別。將該些車道線類別進行三次方曲線擬合並連線，建構複數個車道線擬合圖。
依據一實施例，上述基於深度學習的行車輔助運算方法更包括一注意力方法，係對該些特徵資料提供一放大常數，以提升該些特徵資料之準確性。
依據另一實施例，上述基於深度學習的行車輔助運算方法更包括一行車處理方法，係根據該些車道線擬合圖建構一可行駛車道區間，並進一步判斷行駛方向是否偏離該可行駛車道區間。
依據又一實施例，上述基於深度學習的行車輔助運算方法更包括一防碰撞方法，係根據該些特徵資料，取得複數個道路物件位置，並根據該可行駛車道與該些道路物件位置，推估複數個相對距離並執行複數個防碰撞判斷。
綜上所述，本發明之基於深度學習的行車輔助系統及其方法，採用一個影像擷取裝置，藉由物件偵測及語意分割兩項任務，整併於同一個網路進行運算。因上述兩項任務分享網路主幹架構，而先前技術使用多次方程式直接線性擬合車道線，本案以車道點的類別進行多次方程式擬合，在一層面上即是以連線的方式擬合車道線，相較先前技術，本案能夠顯著降低運算量，且更加節省成本。
100:基於深度學習的行車輔助系統
105:外部影像裝置
110:影像擷取模組
120:特徵萃取模組
125:注意力子模組
130:語意分割模組
140:物件偵測模組
145:防碰撞判斷子模組
150:車道處理模組
151:車道線二值化子模組
152:車道線分群子模組
153:車道線擬合子模組
154:車道後處理子模組
155:車道偏離判斷子模組
200:基於深度學習的行車輔助運算方法
210-290:步驟
310-340:步驟
410-440:步驟
結合附圖參照以下詳細說明將使本發明對於所述技術領域中具有通常知識者而言變得更加顯而易見，其中：圖1所繪為本發明實施例之基於深度學習的行車輔助系統架構圖。
圖2所繪為本發明實施例之基於深度學習的行車輔助運算方法流程圖。
圖3所繪為本發明實施例之車道線擬合流程圖。
圖4所繪為本發明實施例之完整車道線響應流程圖。
圖5所繪為本發明實施例與先前技術之曲線車道擬合比較圖。
圖6所繪為為本發明實施例之物件偵測示意圖。
為瞭解本發明之技術特徵、內容與優點及其所能達成之功效，茲將本創作配合附圖，並以實施例之表達形式詳細說明如下。而其中所使用之圖式，其主旨僅為示意及輔助說明書之用，未必為本發明實施後之真實比例與精準配置，故不應就所附之圖式的比例與配置關係解讀、侷限本發明於實際實施上的權利範圍，合先敘明。
鑑於上述欲解決之問題及其原因，本發明提供一種基於深度學習的行車輔助系統及其方法，透過深度學習神經網路，處理影像物件偵測以及語意分割，以達成車道與車道線辨識及車道偏離與前方碰撞警示的目的。本發明之系統及方法將輸入的影像進行影像特徵萃取，透過語意分割判斷各種車道線資訊，接著分類不同車道線的類別，辨識並擬合車道線，以此為基準判斷可行駛道路，配合道路物件偵測，完成行車輔助的目的。
為更清楚說明本發明之實施方式及技術特徵，請先參閱圖1，圖1所繪為本發明實施例之基於深度學習的行車輔助系統架構圖。本發明提供一種基於深度學習的行車輔助系統100，上述系統100進一步包括一影像擷取模組110、一特徵萃取模組120、一語意分割模組130及一車道處理模組150。
關於上述基於深度學習的行車輔助系統100，進一步敘述如下。其中上述車道處理模組150進一步包括一車道線二值化子模組151、一車道線分群子模組152及一車道線擬合子模組153。
關於上述基於深度學習的行車輔助系統100，進一步敘述如下。其中上述影像擷取模組110應用於當一外部影像裝置105取得道路影像後，以一固定頻率擷取道路影像。上述特徵萃取模組120應用於根據道路影像，建構道路物件的特徵資料。上述語意分割模組130應用於根據特徵資料，提取道路物件的分類機率圖。上述車道處理模組150應用於建構車道線擬合圖。上述車道線二值化子模組151應用於將分類機率圖二值化，並建構二值化響應圖。上述車道線分群子模組152應用於根據二值化響應圖，歸類車道線類別。上述車道線擬合子模組153應用於將車道線類別進行三次方曲線擬合，建構車道線擬合圖。
關於上述基於深度學習的行車輔助系統100，進一步敘述如下。其中上述特徵萃取模組120進一步包括一注意力子模組125，應用於提供一放大常數予特徵資料，以提升其準確性。
關於上述基於深度學習的行車輔助系統100，進一步敘述如下。其中上述車道處理模組150進一步包括一車道後處理子模組154及一車道偏離判斷子模組155。上述車道後處理子模組154應用於根據車道線擬合圖，建構可行駛車道區間。上述車道偏離判斷子模組155應用於根據可行駛車道區間，判斷行駛方向是否偏離。
關於上述基於深度學習的行車輔助系統100，進一步敘述如下。其中上述系統100進一步包括一物件偵測模組140，應用於根據特徵資料，取得道路物件位置。上述物件偵測模組140進一步包括一防碰撞判斷子模組145，應
用於根據可行駛車道區間與道路物件位置，推估與道路物件的相對距離並執行防碰撞判斷。
圖2所繪為本發明實施例之基於深度學習的行車輔助運算方法流程圖200．由步驟210開始，接著包括以下步驟：
首先，如步驟220，上述影像擷取模組110擷取複數個道路影像，且該些道路影像為連續影像。
步驟230，上述特徵萃取模組120根據該些道路影像提取特徵資料，且經注意力子模組125放大訊號後，經上述語意分割模組130提取分類機率圖。
步驟240，車道線二值化子模組151依據分類機率圖之信心度建構二值化響應圖。
步驟250，車道線分群子模組152對二值化響應圖做分群，並歸類車道線類別。
步驟260，車道線擬合子模組153將車道線類別進行三次方曲線擬合，產生車道線擬合圖。
步驟270，車道後處理子模組154根據車道線擬合圖建構可行駛車道區間，並由車道偏離判斷子模組155執行偏離車道判斷。
步驟280，物件偵測模組140依據特徵資料取得道路物件位置，並由防碰撞判斷子模組145依據道路物件位置及可行駛車道區間，推估相對距離並執行防碰撞判斷。
接著所有資料輸出，即進入步驟290，流程結束。
為更具體說明本發明之技術特徵、內容與優點及其所能達成之功效，以下提供具體實驗例，以進一步說明本發明之基於深度學習的行車輔助系統及其方法具有快速運算且高準確性等優點。
請同時參閱圖3及圖4，圖3所繪為本發明實施例之車道線擬合流程圖，圖4所繪為本發明實施例之完整車道線響應流程圖。
步驟310及步驟410為相同步驟，為上述特徵萃取模組120及上述語意分割模組130之訓練後的具體執行結果。其中，特徵萃取模組120採用輕量化修改過之ResNet-10網路，並於ImageNet dataset上預訓練其權重。此網路功用是萃取圖片特徵，如同人眼會觀察我們所看到的物件形狀、顏色、材質等特徵，來描述此景象。接著，語意分割模組130將特徵萃取模組120的輸出資訊導入BDD100K車道以及車道線資料上進行語意分割訓練。訓練過程是用一張車道與車道線標記圖片作為目標，語意分割網路的目標就是輸出一樣的圖，訓練就是用其差距計算微分值，以更新網路參數，使下次網路的輸出更接近標記圖片。
接著，步驟320之結果請詳細參考圖4步驟420-步驟440。
步驟420，是依據步驟410語意分割後的結果進行的。其中，每個像素點(pixel)都有數值0~1的小數，分類類別表示是車道、車道線或是背景，以此代表預測模型對於這個點類別的信心度，並取最高信心度作為最後判定的類別。接著將類別「非車道線」的像素點賦值為0，而「車道線」像素點賦值為1，便能得到如步驟420所示的二值化響應圖。
步驟430，由圖片最下方開始向上取點以抓取車道線響應。其中，如步驟430的圖所示，以水平線由左至右取車道線點群之中心點作為代表，接著，如步驟440所示，取得車道點圖，即是完整車道線響應。
接著進行步驟330，在執行步驟440並取得完整車道線響應後，會進行分群演算法，計算此點該歸類為哪一個車道點列表。若找不到目標，便會新增一條車道點列表，以此方法做完一張圖片即產生如步驟330所示含有乾淨車道點的圖。其中，詳細分群演算法如下：
如上述演算法所示，分群演算法主要是將點座標與車道點列表最後的一個點座標計算絕對距離，若其距離小於我們制訂的一個閾值，便歸類為同一群。另亦有對角度做限制，當角度變化過大，便歸類為另一群，以過濾車道線不正常彎曲的情形。
接著進行步驟340，由分群演算法取得的車道點列表，便可以用現成的多項式擬合演算法算出車道線擬合圖。
關於步驟340，請進一步參考圖5，圖5所繪為本發明實施例與先前技術之曲線車道擬合比較圖。y=ax 3+bx 2+cx+d曲線是先前技術進行車道線擬合演算法使用的曲線，然而在彎道車道線時使用y=ax 3+bx 2+cx+d容易擬合失敗。而本法明當此情形發生時，程式會自動嘗試使用x=ay 3+by 2+cy+d函式進行擬合，便可解決此問題。
請參閱圖6，圖6所繪為為本發明實施例之物件偵測示意圖。特徵萃取模組120採用輕量化修改過之ResNet-10網路，並於ImageNet dataset上預訓練
其權重。物件偵測模組140將特徵萃取模組120的輸出資訊導入BDD100K人、車、機車等物件的物件框資料集，以進行物件偵測網路訓練。訓練過程是一個陣列的物件框標記作為目標，物件偵測網路的目標就是輸出一樣位置的物件框，訓練就是用其位置差距計算微分值，以更新網路參數，使下次網路的輸出更接近物件框標記。
另外，本實驗例中，語意分割模組130與物件偵測模組140會輪流交替訓練，直到最後輸出與目標差距夠小而不再明顯降低為止。
本發明在本文中僅以較佳實施例揭露，然任何熟習本技術領域者應能理解的是，上述實施例僅用於描述本發明，並非用以限定本發明所主張之專利權利範圍。舉凡與上述實施例均等或等效之變化或置換，皆應解讀為涵蓋於本發明之精神或範疇內。因此，本發明之保護範圍應以下述之申請專利範圍所界定者為準。
100:基於深度學習的行車輔助系統
105:外部影像裝置
110:影像擷取模組
120:特徵萃取模組
125:注意力子模組
130:語意分割模組
140:物件偵測模組
145:防碰撞判斷子模組
150:車道處理模組
151:車道線二值化子模組
152:車道線分群子模組
153:車道線擬合子模組
154:車道後處理子模組
155:車道偏離判斷子模組
Claims (8)
- 一種基於深度學習的行車輔助系統，係採用一階段物件偵測神經網路，並應用於嵌入式裝置以快速運算並判定行車物件資訊，該系統包括：一影像擷取模組，係以一固定頻率擷取複數個道路影像；一特徵萃取模組，配置為根據該些道路影像建構道路物件之複數個特徵資料；一語意分割模組，配置為根據該些特徵資料，提取道路物件之複數個分類機率圖；一車道處理模組，用於建構複數個車道線擬合圖；其中該車道處理模組進一步包括：一車道線二值化子模組，係依據該些分類機率圖之信心度，將該些分類機率圖進行二值化，並建構一車道線之複數個二值化響應圖，且該些二值化響應圖為複數個車道點；一車道線分群子模組，配置為將該車道線之該些二值化響應圖做分群，並歸類複數個車道線類別；以及一車道線擬合子模組，將該些車道線類別進行三次方曲線擬合並連線得出該些車道線擬合圖。
- 如請求項1所述之基於深度學習的行車輔助系統，其中該特徵萃取模組更包括一注意力子模組，係提供一放大常數以提升該些特徵資料之準確性。
- 如請求項1所述之基於深度學習的行車輔助系統，其中該車道處理模組更包括： 一車道後處理子模組，根據該些車道線擬合圖，建構一可行駛車道區間；以及一車道偏離判斷子模組，配置為根據該可行駛車道區間判斷行駛方向是否偏離。
- 如請求項1所述之基於深度學習的行車輔助系統，更包括一物件偵測模組，根據該些特徵資料，取得複數個道路物件位置；其中該物件偵測模組更包括一防碰撞判斷子模組，係根據該可行駛車道區間與該些道路物件位置，推估複數個相對距離並執行複數個防碰撞判斷。
- 一種基於深度學習的行車輔助運算方法，係採用一階段物件偵測神經網路應用於嵌入式裝置以快速運算並判定行車物件資訊，其包括以下步驟：以一固定頻率擷取複數個道路影像；根據該些道路影像進行特徵萃取，以建構道路物件之複數個特徵資料；根據該些特徵資料，提取道路物件之複數個分類機率圖；依據該些分類機率圖中之信心度，將該些分類機率圖進行二值化，建構車道線之複數個二值化響應圖，且該些二值化響應圖為複數個車道點；對該二值化響應圖做分群，歸類複數個車道線類別；以及將該些車道線類別進行三次方曲線擬合並連線，建構複數個車道線擬合圖。
- 如請求項5所述之基於深度學習的行車輔助運算方法，更包括一注意力方法，係對該些特徵資料提供一放大常數，提升該些特徵資料之準確性。
- 如請求項5所述之基於深度學習的行車輔助運算方法，更包括一行車處理方法，係根據該些車道線擬合圖建構一可行駛車道區間，並進一步判斷行駛方向是否偏離該可行駛車道區間。
- 如請求項5所述之基於深度學習的行車輔助運算方法，更包括一防碰撞方法，係根據該些特徵資料，取得複數個道路物件位置，並根據該可行駛車道與該些道路物件位置，推估複數個相對距離並執行複數個防碰撞判斷。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW109115647A TWI734472B (zh) | 2020-05-11 | 2020-05-11 | 基於深度學習的行車輔助系統及其方法 |
| US17/064,698 US20210350705A1 (en) | 2020-05-11 | 2020-10-07 | Deep-learning-based driving assistance system and method thereof |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW109115647A TWI734472B (zh) | 2020-05-11 | 2020-05-11 | 基於深度學習的行車輔助系統及其方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| TWI734472B true TWI734472B (zh) | 2021-07-21 |
| TW202142431A TW202142431A (zh) | 2021-11-16 |
Family
ID=77911515
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| TW109115647A TWI734472B (zh) | 2020-05-11 | 2020-05-11 | 基於深度學習的行車輔助系統及其方法 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US20210350705A1 (zh) |
| TW (1) | TWI734472B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TWI826108B (zh) * | 2022-11-10 | 2023-12-11 | 州巧科技股份有限公司 | 應用偽瑕疵影像建立瑕疵檢測模型的方法以及系統 |
| TWI838156B (zh) * | 2023-03-08 | 2024-04-01 | 國立陽明交通大學 | 一種偵測障礙物狀態系統及其運作方法 |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114565902B (zh) * | 2022-01-12 | 2024-08-20 | 合肥工业大学 | 基于联通区域提取和关键点拟合的车道检测方法及系统 |
| CN114511832B (zh) * | 2022-04-21 | 2022-07-12 | 深圳比特微电子科技有限公司 | 车道线分析方法、装置、电子设备及存储介质 |
| CN115131968B (zh) * | 2022-06-28 | 2023-07-11 | 重庆长安汽车股份有限公司 | 一种基于车道线点集与注意力机制的匹配融合方法 |
| CN116682087B (zh) * | 2023-07-28 | 2023-10-31 | 安徽中科星驰自动驾驶技术有限公司 | 基于空间池化网络车道检测的自适应辅助驾驶方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TW201730813A (zh) * | 2016-02-26 | 2017-09-01 | 國立交通大學 | 具有深度資訊之影像處理方法及其電腦程式產品 |
| US20190279003A1 (en) * | 2018-03-06 | 2019-09-12 | National Chiao Tung University | Lane line detection method |
| TW202009871A (zh) * | 2018-08-14 | 2020-03-01 | 國立交通大學 | 影像追蹤方法 |
| US20200133281A1 (en) * | 2019-12-27 | 2020-04-30 | Intel Corporation | Safety system for a vehicle |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10733465B2 (en) * | 2017-09-20 | 2020-08-04 | Tusimple, Inc. | System and method for vehicle taillight state recognition |
| US11042157B2 (en) * | 2018-07-23 | 2021-06-22 | Baidu Usa Llc | Lane/object detection and tracking perception system for autonomous vehicles |
| WO2020047302A1 (en) * | 2018-08-29 | 2020-03-05 | Buffalo Automation Group Inc. | Lane and object detection systems and methods |
-
2020
- 2020-05-11 TW TW109115647A patent/TWI734472B/zh active
- 2020-10-07 US US17/064,698 patent/US20210350705A1/en not_active Abandoned
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TW201730813A (zh) * | 2016-02-26 | 2017-09-01 | 國立交通大學 | 具有深度資訊之影像處理方法及其電腦程式產品 |
| US20190279003A1 (en) * | 2018-03-06 | 2019-09-12 | National Chiao Tung University | Lane line detection method |
| TW202009871A (zh) * | 2018-08-14 | 2020-03-01 | 國立交通大學 | 影像追蹤方法 |
| US20200133281A1 (en) * | 2019-12-27 | 2020-04-30 | Intel Corporation | Safety system for a vehicle |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TWI826108B (zh) * | 2022-11-10 | 2023-12-11 | 州巧科技股份有限公司 | 應用偽瑕疵影像建立瑕疵檢測模型的方法以及系統 |
| TWI838156B (zh) * | 2023-03-08 | 2024-04-01 | 國立陽明交通大學 | 一種偵測障礙物狀態系統及其運作方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| TW202142431A (zh) | 2021-11-16 |
| US20210350705A1 (en) | 2021-11-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| TWI734472B (zh) | 基於深度學習的行車輔助系統及其方法 | |
| WO2020042419A1 (zh) | 基于步态的身份识别方法、装置、电子设备 | |
| Gomez et al. | Traffic lights detection and state estimation using hidden markov models | |
| CN104732235B (zh) | 一种消除夜间道路反光干扰的车辆检测方法 | |
| Huang et al. | Lane detection based on inverse perspective transformation and Kalman filter | |
| CN104751491A (zh) | 一种人群跟踪及人流量统计方法及装置 | |
| CN107133610B (zh) | 一种复杂路况下行车流量视觉检测与计数方法 | |
| Wang et al. | An overview of 3d object detection | |
| CN107705301A (zh) | 一种基于无人机航拍公路图像的公路标线破损检测方法 | |
| Shi et al. | A vision system for traffic sign detection and recognition | |
| Sugiharto et al. | Traffic sign detection based on HOG and PHOG using binary SVM and k-NN | |
| Deng et al. | Detection and recognition of traffic planar objects using colorized laser scan and perspective distortion rectification | |
| CN106203439B (zh) | 基于标志物多特征融合的无人机自动寻的着陆方法 | |
| Li et al. | Automatic passenger counting system for bus based on RGB-D video | |
| Su et al. | A new local-main-gradient-orientation HOG and contour differences based algorithm for object classification | |
| Hernández et al. | Lane marking detection using image features and line fitting model | |
| Miller et al. | Person tracking in UAV video | |
| Arthi et al. | Object detection of autonomous vehicles under adverse weather conditions | |
| CN107506739B (zh) | 一种夜间前向车辆检测及测距方法 | |
| WO2017161544A1 (zh) | 一种基于单摄像头视频序列匹配的车辆测速方法及其系统 | |
| Zhou et al. | A traffic light recognition algorithm based on compressive tracking | |
| Gökçe et al. | Recognition of dynamic objects from UGVs using Interconnected Neuralnetwork-based Computer Vision system | |
| Nakashima et al. | Object detection by using interframe difference algorithm | |
| Zhou et al. | Fast road detection and tracking in aerial videos | |
| Brehar et al. | A study of the impact of HOG and LBP based temporal association on far infrared pedestrian detection |