TWI535589B - Active automatic driving assistance system and method - Google Patents

Description

主動式自動駕駛輔助系統與方法

本發明係一種自動駕駛輔助系統與方法，尤指一種整合道路環境偵測、自動駕駛、車載資通與車身安全整合技術的自動駕駛輔助系統與方法。

現有車輛已配備有越來越多的駕駛輔助裝置，從早期的被動式駕駛輔助裝置，如ABS、Air Bag與EBD等，提供駕駛者於緊急剎車時仍可維持操控車輛的能力或是於車輛碰撞時保護駕駛者的人身安全，不過仍有不足之處，為進一步增進駕駛者的行車安全，避免外界車輛因素導致駕駛者的本身車輛發生事故，因此陸續開發出主動式駕駛輔助裝置，透過偵測車輛前方狀況提前發出警示，例如現有的路徑偏離警示系統(LDWS：Lane Departure Warning System)或前方碰撞警示系統(FCWS：Forward Collision Warning System)，該路徑偏離警示系統(LDWS)是持續偵測車輛前方的車道線(或邊線)，當車子無預警偏離原有行駛的車道或道路時，該系統即會發出適當的警示音提醒駕駛者，不過該系統的缺點是道路必須有清楚的車道線或標線才能辨識車輛是否偏離車道，當光線微弱、下 雪或起濃霧時，該系統即可能產生無法正確辨識車道線的問題；而前方碰撞警示系統(FCWS)是透過影像或雷達波偵測其與前方車輛之間的距離，若兩車之間的距離過於接近，即發出警示或作動車輛的煞車系統，以保持安全車距或緊急停下車輛，避免車輛追撞或減緩碰撞力道，不過該系統的缺點是無法提前預測碰撞點，且前方車輛需進入系統偵測區域才可作動(若是兩側的車輛即無法作動)。

前述主動式駕駛輔助裝置僅能於車輛偏離車道或即將碰撞時警示駕駛者或緊急停下車輛，基本上仍是需要駕駛者駕駛車輛至目的地，當上述主動式駕駛輔助裝置用於車輛自動駕駛時，仍有不足之處，例如自動駕駛除了偵測道路障礙物外，尚需進一步規劃目的地路徑與辨識道路狀況等。

因此近期開發的主動式駕駛輔助裝置，如美國發明專利權第8195394號「自動駕駛車輛的障礙物偵測與分類(Object detection and classification for autonomous vehicles)」，是於車輛上搭載測距與影像感測器、3D雷達(3D LiDAR)與GPS電子地圖，利用測距與影像感測器辨識行駛路徑上移動的障礙物，而3D雷達與GPS電子地圖進行場景比較以避開固定的障礙物，藉此提高車輛周遭障礙物的辨識精確度，不過現有3D雷達雖然可以精確地掃描地形或障礙物，但其造價相當昂貴且需要預先建置龐大的 資料庫來儲存地圖資料，而有建置成本過高的問題。

又如美國發明專利權第7065245號「影像處理裝置與方法(Image processing apparatus and the method thereof)」，其為一種雙視覺影像結合的方法與裝置，是利用影像辨識的方式辨識前方車輛的方向燈燈號，並依照方向燈燈號的辨識結果推測該車輛的行進方向；不過其並未揭示如何有效辨識方向燈的燈號，及其結合車輛本身的自動駕駛技術或車輛的控制技術特徵，對於與自動駕駛結合的應用尚有不足之處。

如前揭所述，現有主動式駕駛輔助裝置仍有不足之處，設置自動駕駛有成本昂貴與不易與現有系統整合的問題，因此本發明主要目的在提供一主動式自動駕駛輔助系統與方法，解決上述建置成本昂貴等的問題。

為達成前述目的所採取的主要技術手段係令前述主動式自動駕駛輔助系統是建置在一車輛上，並包含有：一自主駕駛控制裝置，其與該車輛的控制系統連結，用以發出警示或操控車輛的行駛狀態；一道路環境偵測裝置，其與前述自主駕駛控制裝置連結，該道路環境偵測裝置用以偵測前方車輛的車距並辨識該車輛的方向燈燈號；一車載資通應用裝置，其與前述自主駕駛控制裝置連 結，該車載資通應用裝置可用以收發外部信號、規劃車輛的行車路徑與車輛定位；以及一車輛安全整合裝置，其與前述自主駕駛控制裝置連結，該車輛安全整合裝置用以偵測駕駛者的狀態。

為達成前述目的所採取的主要技術手段係令前述主動式自動駕駛輔助方法，包含有：產生一目的地的規劃路徑；道路環境偵測：係取得車輛前方道路的環境資訊，該環境資訊可包含車道影像、車距與前車的方向燈號，並提供碰撞警示；定位偵測：係取得車輛實際位置並與行車路徑比對，以符合所設規劃路徑；車輛安全整合：係偵測並判斷駕駛者的狀態，於需輔助駕駛車輛時，主動控制車輛的行駛狀態；以及自主駕駛控制：係判斷前述車道影像中是否含有車道線，若有，則根據規劃路徑與定位偵測以自動駕駛方式循車道線控制車輛行駛至目的地，若無，則偵測前方車輛行駛方向是否與規劃路徑相同，若判斷與規劃路徑相同則結合定位偵測以自動駕駛方式跟隨前車行駛至目的地。

利用前述元件組成的主動式自動駕駛輔助系統，其與車輛的控制系統整合，由車載資通應用裝置進行車輛定位與比對行車路徑，並由道路環境偵測裝置持續偵測車 輛周圍環境，自主駕駛控制裝置找出與本車目的地行駛方向相同的車輛，進行自動跟車以將車輛行駛至目的地，又透過辨識前車方向燈的燈號可及早判斷前車動向，減少緊急剎車與車輛碰撞的發生以提高行車效率，車輛安全整合裝置係偵測駕駛者狀態，必要時(如駕駛者失能)則由自主駕駛控制裝置強制控制車輛行駛，且由車載資通應用裝置發出信號求援，本發明不需設置昂貴的雷達設備且可與車輛控制系統整合，達到完整的自動駕駛，解決現有設置自動駕駛之成本昂貴與系統不易整合的問題。

10‧‧‧自主駕駛控制裝置

20‧‧‧道路環境偵測裝置

21‧‧‧取像模組

22‧‧‧車距感測模組

30‧‧‧車載資通應用裝置

40‧‧‧車輛安全整合裝置

50‧‧‧控制系統

60‧‧‧車身訊號模組

70‧‧‧提示模組

80‧‧‧道路

81、82‧‧‧道路邊界

圖1是本發明較佳實施例的電路方塊圖。

圖2是本發明較佳實施例之自動駕駛的流程圖。

圖3是本發明較佳實施例的道路及道路邊界的影像圖。

圖4是本發明較佳實施例的道路邊界的辨識結果圖。

圖5是本發明較佳實施例之道路曲率計算的示意圖。

圖6A、6B、6C是本發明較佳實施例之安全車距的示意圖。

圖7A、7B是本發明較佳實施例之切換車道的示意圖。

圖8是本發明較佳實施例之辨識方向燈燈號的流程圖。

圖9是本發明較佳實施例之偵測車輛碰撞時間與距離的流程圖。

圖10是本發明較佳實施例之行車安全機制的流程圖。

圖11是本發明較佳實施例之預估變換車道目標位置的示意圖(一)。

圖12是本發明較佳實施例之預估變換車道目標位置的示意圖(二)。

關於本發明的較佳實施例，請參閱圖1所示，本發明之主動式自動駕駛輔助系統是建置在一車輛(圖中未示)上，其包含有一自主駕駛控制裝置10、一道路環境偵測裝置20、一車載資通應用裝置30與一車輛安全整合裝置40，該自主駕駛控制裝置10分別與道路環境偵測裝置20、車載資通應用裝置30與車輛安全整合裝置40連結；該自主駕駛控制裝置10進一步與車輛的一控制系統50與一車身訊號模組60連結，該控制系統50是控制車輛的油門與煞車，該車身訊號模組60是取得車輛的車身訊號，例如加速度、方向盤轉角、煞車訊號或油門訊號。

該自主駕駛控制裝置10由車身訊號模組60取得車輛的車身訊號，經整合運算後由與其連接的一提示模組70發出警示，或是透過控制系統50主動控制車輛的煞車或油門，以操控車輛的行駛狀態而可令車輛行進或停止，於本較佳實施例中，該自主駕駛控制裝置10是一微控制器(MCU)或一數位訊號處理器(DSP)，該控制系統50係為一電子控制單元(ECU)，該自主駕駛控制裝置10亦可進一 步結合於控制系統50中。

該道路環境偵測裝置20是偵測與前方車輛之間的車距，並辨識該車輛後方的方向燈燈號，其包含有一取像模組21與一車距感測模組22，該取像模組21是取得車輛前方之道路影像，再由道路環境偵測裝置20依據該影像辨識前方的車輛及其方向燈燈號或是障礙物(如道路邊界或護欄)，該車距感測模組22是偵測與前方車輛之間的車距，於本較佳實施例中，該取像模組21是一攝影機，其可設置於車頭處或車輛的前擋風玻璃處並朝向車輛前方拍攝，該車距感測模組22是設置於車頭處，其使用超音波、毫米波或2D Lidar偵測。

該車載資通應用裝置30用以收發外部無線信號，並設有電子地圖以規劃車輛的行車路徑，該無線信號包含有GPS定位信號或AGPS定位信號，車載資通應用裝置30依據接收的座標確認車輛的位置並與電子地圖所設行車路徑進行比對，又該車載資通應用裝置30可透過無線傳輸方式與外部之監控或救護中心聯繫，以通報駕駛者或車輛的位置及狀況。

該車輛安全整合裝置40是用以偵測駕駛者的狀態，其以一車內攝影機(圖中未示)或一生理訊號監控模組(圖中未示)偵測駕駛者的駕駛狀態，例如打瞌睡、昏迷或酒駕等狀況，並進一步由車載資通應用裝置30向外發 出訊號。

請參閱圖2所示，該自主駕駛控制裝置10進行自動駕駛是執行下列步驟：產生一目的地的規劃路徑(201)；針對該規劃路徑由道路環境偵測裝置20取得的道路影像偵測是否有車道線(或道路邊線)(202)；若判斷有車道線則根據車道線的曲率控制車輛方向盤(行車方向)(203)；判斷是否到達目的地(204)，若否則回到步驟(202)，若是則(205)結束自動駕駛；前述步驟(202)若判斷無車道線，則以車距感測模組22(2D Lidar)偵測道路邊界(或道路邊線)(206)；若車距感測模組22可偵測到道路邊界(或道路邊線)，則回到步驟(203)，若無法偵測到道路邊界(或道路邊線)，則由取像模組21(攝影機)偵測車輛前方是否有其他車輛(207)；若無其他車輛則回到步驟(202)；若有其他車輛則選定一目標車，並判斷該目標車與規劃的路徑是否相同(208)；若目標車行駛方向與規劃路徑不同，則更新目標車以重新選定與規劃路徑相同的目標車(209)，並回到步驟(208)；若該目標車行駛方向與規劃路徑相同，則根據目標車 的行駛路徑控制車輛方向盤(行車方向)(210)，並回到步驟(204)，直到車輛行駛到達目的地。

請參閱圖3與4所示，圖3為道路環境偵測裝置20之取像模組21取得的道路影像，該道路影像包含有一道路80的路面與二道路邊界81、82，如圖所示，該等道路邊界81、82係隨道路80彎曲而成弧狀。圖4為道路環境偵測裝置20偵測圖3影像之道路邊界81、82的辨識結果，如圖4所示之X軸代表車輛的左方或右方，X軸的中央點(0公尺)處是對應車輛之取像模組21的設置處，該X軸之中央點的右側對應車輛的右方，中央點的左側對應車輛的左方，而Y軸方向代表車輛前方之道路延伸距離；如圖4所示之兩條曲線，係對應圖3的道路邊界81、82，可知右側較長的曲線是對應車輛右側的道路邊界82(約為30公尺)且朝左側彎曲，左側較短的曲線是對應車輛左側的道路邊界81(約為15公尺)且略朝左側彎曲。

請參閱圖5所示，上述道路環境偵測裝置20取得道路邊界81、82的辨識結果後，由申請人之我國專利申請案第096145498號「車輛偏移之檢知方法與裝置」，其根據道路邊界或車道線的曲率可計算車輛方向盤的轉動角度(轉角)，該轉動角度tan(α)係由下列公式算出，L_y=R×sinθ

W_L=R×cosθ

W_R=L_y×tanα=R×sinθ×tanα

曲率半徑：

轉動角度：

路緣二次曲線：x=k_w×y²+m_w×y+b_w

路緣曲率：

路緣與車輛左右兩側車道線之距離：

W_x=W_L+W_R-△Y_L車輛左右兩側車道線之二次曲線：

x_L=k_w×y²+m_w×y+(b_w-W_x)其中：x、y分別為實際空間座標之橫軸及縱軸；k_w、m_w、b_w為路緣二次曲線之係數，係由影像偵測所得之資訊。

請參閱圖6A、6B、6C與7A、7B所示，該道路環境偵測裝置20經辨識前方車輛及與其之間的車距後，並進一步判斷其移動方向與速度的危險性，以預估車輛可能的碰撞距離與時間，如圖6A與6B所示，當前方車輛由其他(左側或右側)車道切入本車前方車道，而造成安全車距不足時，即由道路環境偵測裝置20判斷其方向燈的燈號，並由自主駕駛控制裝置10令提示模組70發出警示，以及透過控制系統50適時產生煞車動作以避免追撞；如圖6C所示，當前方車輛是由對向車道要左轉切入時本車 前方車道時，自主駕駛控制裝置10令提示模組70立即發出警示，並透過控制系統50產生煞車動作以避免對撞。 又如圖7A與7B所示，當本車前方左側或右側車道有足夠空間(Free Space)或車距可供切換車道時，若前方車輛臨時變換車道，該自主駕駛控制裝置10即透過控制系統50以變換車道方式減少車輛煞車次數，而可提高行車效率與節省油耗。

請參閱圖8所示，該道路環境偵測裝置20辨識前車方向燈的燈號係執行下列步驟：取得車輛前方影像(801)；偵測該影像中的車輛(802)；判斷該影像中是否有車輛存在(803)，若無車輛則回到步驟(801)；若該影像中有車輛，則估算該車輛位置與大小(包含高度與寬度)(804)；設定該影像的ROI(805)；二值化(閥值為Th_Y、Th_U與Th_V)(806)；以該車輛的對稱軸為中心左右相減(807)；進行型態濾波(侵蝕或膨脹)(808)；估算中心點位置(809)；判斷左邊或右邊(810)；判斷是否有連續出現n個圖框(Frame)並消失n個圖框 (Frame)(811)，若否則回到步驟(801)，若是則判斷為前方車輛的左側或右側方向燈有發出燈號(812)。

由於現有車輛的方向燈為橙色、淡黃色或紅色，因此步驟(806)之閥值Th_Y可設為235~250之間的其中一個值，較佳的為246，閥值Th_U可設為95~115之間的其中一個值，較佳的為108，閥值Th_V可設為120~140之間的其中一個值，較佳的為130。且由於車輛的方向燈是左右對稱，故車輛每次變換車道僅會一側發亮，若兩側同時發亮則為車輛故障警示，因此僅需辨識一側發亮的方向燈號。再者，現有方向燈的閃爍頻率為每秒1至2次，因此可對應計算出前述圖框數量。

請參閱圖9所示，該道路環境偵測裝置20預估車輛碰撞距離與時間是執行下列步驟：由車距感測模組22偵測車輛周遭環境(901)；由取像模組21辨識障礙物種類(902)；判斷該障礙物是否為車輛(903)，若該障礙物不是車輛，則返回步驟(901)；若該障礙物是車輛，則判斷其方向燈的燈號為左轉或右轉(904)；判斷方向燈號後經由碰撞預防演算法預測碰撞時間(905)；由自主駕駛控制裝置10啟動行車安全機制透過控制 系統50控制車輛(906)。

請參閱圖10所示，上述行車安全機制是由自主駕駛控制裝置10執行下列步驟：判斷前方是否偵測到車輛(1001)；若前方為車輛且碰撞時間小於煞車的門檻值時(1002)，立即啟動煞車輔助系統(1003)；若碰撞時間大於煞車的門檻值，則判斷本車周遭是否有足夠的閃避空間(1004)；若本車前方有足夠閃避空間，即提示駕駛者或介入方向盤控制以將車輛移動至該閃避空間(1005)；若本車前方沒有足夠閃避空間，則立即發出警示，提示駕駛者該碰撞危險狀況(1006)。

請參閱圖11與12所示，上述預估變換車道目標位置是由下公式算出，，其中，該(gx,gy)為預估變換車道後的目標位置，x為車道寬度，y為預測移動的縱向距離，為預測的行進方向。另如圖12所示，依照方向燈辨識得到前方車輛的預測行進方向()，並與追蹤演算法所預測的行進方向(φ)合併，可得到最後的行進方向=φ±，將前方車輛的預估行進方向()帶入公式以及可得預測的碰撞時間，而增加預測的準確性。

10‧‧‧自主駕駛控制裝置

20‧‧‧道路環境偵測裝置

21‧‧‧取像模組

22‧‧‧車距感測模組

30‧‧‧車載資通應用裝置

40‧‧‧車輛安全整合裝置

50‧‧‧控制系統

60‧‧‧車身訊號模組

70‧‧‧提示模組

Claims (9)

1. 一種主動式自動駕駛輔助方法，包含有：產生一目的地的規劃路徑；道路環境偵測：係取得車輛前方道路的環境資訊，該環境資訊可包含車道影像、車距與前車的方向燈號，並提供碰撞警示；定位偵測：係取得車輛實際位置並與行車路徑比對，以符合所設規劃路徑；車輛安全整合：係偵測並判斷駕駛者的狀態，於需輔助駕駛車輛時，主動控制車輛的行駛狀態；以及自主駕駛控制：係判斷前述車道影像中是否含有車道線，若有，則根據規劃路徑與定位偵測以自動駕駛方式循車道線控制車輛行駛至目的地，若無，則偵測前方車輛行駛方向是否與規劃路徑相同，若判斷與規劃路徑相同則結合定位偵測以自動駕駛方式跟隨前車行駛至目的地。
2. 如請求項1所述之主動式自動駕駛輔助方法，取得車道線的辨識結果，根據車道線的曲率計算車輛方向盤的轉動角度，該轉動角度係由下列公式算出路緣二次曲線：x=k_w×y²+m_w×y+b_w，路緣曲率：，曲 率半徑：，方向盤轉角：L_y=R×sin θ，；其中x、y分別為實際空間座標之橫軸及縱軸；k_w、m_w、b_w為路緣二次曲線之係數。
3. 如請求項2所述之主動式自動駕駛輔助方法，該辨識方向燈的燈號係取得本身車輛的前方影像，偵測該影像 中的車輛並估算其位置與大小，設定ROI、二值化、以車輛對稱軸為中心左右相減、型態濾波(侵蝕或膨脹)、估算中心點位置與判斷左邊或右邊方向燈，並判斷是否有連續出現n個圖框(Frame)並消失n個圖框(Frame)，若是則判斷前方車輛的左側或右側方向燈有發出燈號。
4. 如請求項3所述之主動式自動駕駛輔助方法，該預估車輛碰撞距離與時間是偵測車輛周遭環境，辨識車輛後方之方向燈的燈號為左轉或右轉，並於判斷方向燈號後經由碰撞預防演算法預測碰撞時間，以啟動行車安全機制控制車輛。
5. 如請求項4所述之主動式自動駕駛輔助方法，該行車安全機制為偵測前方車輛的碰撞時間是否小於煞車的門檻值，若碰撞時間小於煞車的門檻值即啟動煞車輔助系統，若碰撞時間大於煞車的門檻值即判斷車輛周遭是否有足夠的閃避空間，若有足夠閃避空間，即提示駕駛者或介入方向盤控制以將車輛移動至該閃避空間。
6. 如請求項5所述之主動式自動駕駛輔助方法，係偵測並判斷駕駛者的狀態，於其失去駕駛能力時由自主駕駛控制強制介入控制車輛行駛。
7. 一種主動式自動駕駛輔助系統，其建置在一車輛上，並包含有：一自主駕駛控制裝置，其與該車輛的一控制系統連結，用以發出警示或操控車輛的行駛狀態；一道路環境偵測裝置，其與前述自主駕駛控制裝置連結，該道路環境偵測裝置用以偵測前方車輛的車距並辨識 該車輛的方向燈燈號；一車載資通應用裝置，其與前述自主駕駛控制裝置連結，該車載資通應用裝置可用以收發外部信號、規劃車輛的行車路徑與車輛定位；以及一車輛安全整合裝置，其與前述自主駕駛控制裝置連結，該車輛安全整合裝置用以偵測駕駛者的狀態；藉此，由道路環境偵測裝置判斷前述車道影像中是否含有車道線，若有，則由車載資通應用裝置根據規劃路徑與定位偵測供自主駕駛控制裝置以自動駕駛方式循車道線控制車輛行駛至目的地，若無，則由道路環境偵測裝置偵測前方車輛行駛方向是否與規劃路徑相同，若判斷與規劃路徑相同則結合定位偵測以自動駕駛方式跟隨前車行駛至目的地。
8. 如請求項7所述之主動式自動駕駛輔助系統，該自主駕駛控制裝置是與一車身訊號模組連結，經整合運算車身訊號並由與其連接的一提示模組發出警示，或是透過控制系統主動控制煞車或油門以令車輛行進或停止。
9. 如請求項7或8所述之主動式自動駕駛輔助系統，該道路環境偵測裝置包含有一取像模組與一車距感測模組，該取像模組是取得本身車輛前方影像並由道路環境偵測裝置辨識前方車輛及其方向燈燈號，該車距感測模組是偵測與前方車輛之間的車距。