TWI709917B - 輔助駕駛裝置、方法及電腦可讀取存儲介質 - Google Patents

Abstract

一種輔助駕駛方法，包括：獲取運載工具前方之道路影像；對所述道路影像進行圖像識別，以判斷是否包含有交通標誌；當道路影像中包含有交通標誌時，提取所述交通標誌於第一時刻被拍到之第一圖像幀及於第二時刻被拍到之第二圖像幀；判斷所述交通標誌於第一圖像幀與第二圖像幀之間之變化規律是否符合預設規律；當所述交通標誌於第一圖像幀與第二圖像幀之間之變化規律符合預設規律時，識別所述交通標誌並根據所述交通標誌之識別結果觸發運載工具執行相應操作。本發明還提供一種輔助駕駛裝置及電腦可讀取存儲介質。

Description

輔助駕駛裝置、方法及電腦可讀取存儲介質

本發明涉及輔助駕駛技術領域，尤其涉及一種基於交通標誌之輔助駕駛裝置、方法及電腦可讀取存儲介質。

道路交通標誌是用圖案、符號、文字傳遞交通管理資訊，用以管制及引導交通之一種安全管理設施。行車安全一直是交通運輸、交通運行、交通運營中之重點。目前汽車於路上之安全行駛主要依靠駕駛員來掌控，駕駛員藉由識別各種交通標誌，來進行相應之駕駛動作，從而降低行車違章或行車安全之風險。一旦駕駛員存於經驗不足或疲勞駕駛，極易造成行車違章或行車安全。目前有些汽車中配備之輔助駕駛系統通常僅是利用行車定位系統之偵測資料來進行輔助駕駛，當信號強度不足或信號品質不佳，導致定位資料錯誤或者行車定位系統未更新時，均會影響輔助駕駛準確性。

有鑑於此，有必要提供一種輔助駕駛裝置、方法及電腦可讀取存儲介質，其可準確識別交通標誌並基於交通標誌之識別結果來實現輔助駕駛功能。

本發明一實施方式提供一種輔助駕駛方法，所述方法包括：獲取 運載工具前方之道路影像；對所述道路影像進行圖像識別，以判斷所述道路影像中是否包含有交通標誌；當所述道路影像中包含有交通標誌時，提取所述交通標誌於第一時刻被拍到之第一圖像幀及於第二時刻被拍到之第二圖像幀，其中所述第二時刻為所述第一時刻向後計預設時間；判斷所述交通標誌於所述第一圖像幀與所述第二圖像幀之間之變化規律是否符合預設規律；及當所述交通標誌於所述第一圖像幀與所述第二圖像幀之間之變化規律符合所述預設規律時，識別所述交通標誌並根據所述交通標誌之識別結果觸發所述運載工具執行相應操作。

本發明一實施方式提供一種輔助駕駛裝置，所述輔助駕駛裝置包括攝像頭、處理器及記憶體，所述攝像頭用於連續拍攝運載工具前方之道路影像，所述記憶體上存儲有輔助駕駛程式，所述處理器用於執行所述記憶體中存儲之輔助駕駛程式時實現上述之輔助駕駛方法之步驟。

本發明一實施方式提供一種電腦可讀取存儲介質，所述電腦可讀取存儲介質存儲有多條指令，多條所述指令可被一個或者多個處理器執行，以實現上述之輔助駕駛方法之步驟

與習知技術相比，上述輔助駕駛裝置、方法及電腦可讀取存儲介質，藉由識別交通標誌來輔助駕駛員駕駛，可實現今駕駛員無法及時執行與交通標誌圖像對應之操作指令時，觸發運載工具自動執行與交通標誌圖像對應之操作指令，從而避免因駕駛員無法及時操作而引起之行車違章或行車安全，且交通標誌識別準確性高。

10:記憶體

20:處理器

30:輔助駕駛系統

40:攝像頭

100:輔助駕駛裝置

101:獲取模組

102:識別模組

103:提取模組

104:判斷模組

105:執行模組

200:運載工具

圖1是本發明一實施方式之輔助駕駛裝置之架構示意圖。

圖2是本發明一實施方式之輔助駕駛系統之功能模組圖。

圖3是本發明一實施方式之交通標誌於運載工具向前行駛之尺寸變化示意圖。

圖4是本發明一實施方式之輔助駕駛方法之流程圖。

請參閱圖1，為本發明輔助駕駛裝置較佳實施例之示意圖。

輔助駕駛裝置100包括記憶體10、處理器20、存儲於所述記憶體10中並可於所述處理器20上運行之輔助駕駛系統30及攝像頭40，所述輔助駕駛系統30優選為電腦程式。所述處理器20執行所述電腦程式時可實現輔助駕駛方法實施例中之步驟，例如圖4所示之步驟S400~S408。或者，所述處理器20執行所述電腦程式時實現輔助駕駛系統30(圖2所示)實施例中各模組之功能，例如圖2中之模組101~105。

所述輔助駕駛系統30可被分割成一個或多個模組/單元，所述一個或者多個模組/單元被存儲於所述記憶體10中，並由所述處理器20執行，以完成本發明。所述一個或多個模組/單元可是能夠完成特定功能之一系列電腦程式指令段，所述指令段用於描述所述輔助駕駛系統30於所述輔助駕駛裝置100中之執行過程。例如，所述輔助駕駛系統30可被分割成圖2中之獲取模組101、識別模組102、提取模組103、判斷模組104及執行模組105。各模組具體功能參見輔助駕駛系統實施例中各模組之功能。

所述輔助駕駛裝置100可藉由有線或者無線方式與運載工具200進行通信，從而可實現為運載工具200提供輔助駕駛功能。本領域技術人員可理解，所述示意圖僅是輔助駕駛裝置100之示例，並不構成對輔助駕駛裝置100之限定，可包括比圖示更多或更少之部件，或者組合某些部件，或者不同之部件，例如所述輔助駕駛裝置100還可包括網路接入設備(圖未示)、通信匯流 排(圖未示)等。

所述運載工具200優選為機動車輛(比如轎車、貨車等)。所述輔助駕駛裝置100基於識別之交通標誌來為運載工具200提供輔助駕駛功能。

所稱處理器20可是中央處理單元(Central Processing Unit，CPU)，還可是其他通用處理器、數位訊號處理器(Digital Signal Processor，DSP)、專用積體電路(Application Specific Integrated Circuit，ASIC)、現成可程式設計閘陣列(Field-Programmable Gate Array，FPGA)或者其他可程式設計邏輯器件、分立門或者電晶體邏輯器件、分立硬體元件等。通用處理器可是微處理器或者所述處理器20亦可是任何常規之處理器等，所述處理器20可利用各種介面與線路連接輔助駕駛裝置100之其他各個部分。

所述記憶體10可用於存儲所述輔助駕駛系統30與/或模組/單元，所述處理器20藉由運行或執行存儲於所述記憶體10內之輔助駕駛系統30與/或模組/單元，以及調用存儲於記憶體10內之資料，實現所述輔助駕駛裝置100之各種功能。所述記憶體10可包括高速隨機存取記憶體，還可包括非易失性記憶體，例如硬碟機、記憶體、插接式硬碟機，智慧存儲卡(Smart Media Card,SMC)，安全數位(Secure Digital,SD)卡，快閃記憶體卡(Flash Card)、至少一個磁碟記憶體件、快閃記憶體器件、或其他易失性固態記憶體件。

圖2為本發明輔助駕駛系統較佳實施例之功能模組圖。

參閱圖2所示，所述輔助駕駛系統30可包括獲取模組101、識別模組102、提取模組103、判斷模組104及執行模組105。可理解之是，於其他實施方式中，上述模組亦可為固化於所述處理器20中之程式指令或固件(firmware)。

所述獲取模組101用於獲取運載工具200前方之道路影像。

於一實施方式中，為便於對運載工具200行進方向上之拍攝，可 預先將攝像頭40設置於不妨礙駕駛者視線之位置，例如車內後視鏡上、定位於車輛副駕駛前方之前擋風玻璃上、或定位於車輛前框架一合適區域上(比如前車標、前車牌區域等)。所述攝像頭40可連續拍攝或間隔一時間拍攝運載工具200前方之道路影像。所述攝像頭40可是CCD攝像頭、CMOS攝像頭、紅外攝像頭等。所述獲取模組101可藉由與攝像頭40進行通信來獲取運載工具200前方之道路影像。

可理解之是，所述輔助駕駛裝置100之攝像頭40可省略，可利用運載工具200自身安裝之行車記錄儀來連續拍攝運載工具200前方之道路影像。此時，所述獲取模組101可藉由與行車記錄儀進行通信來獲取運載工具200前方之道路影像。

所述識別模組102用於對所述道路影像進行圖像識別，以確定所述道路影像中是否包含有交通標誌。

於一實施方式中，當獲取到運載工具200前方之道路影像後，所述識別模組102可對交通標誌之顏色與形狀特徵進行顏色空間閾值分割與形狀判別，實現對交通標誌進行檢測，然後再結合位置資訊進行修正。即所述識別模組102可基於影像拍攝之位置資訊、影像每一幀內容色彩資訊及影像每一幀內容形態特徵對所述道路影像進行圖像識別，以確定所述道路影像中是否包含有交通標誌。

於一實施方式中，還可藉由預設神經網路演算法建立一機器學習模型，並利用多個交通標誌樣本圖像對所述機器學習模型進行訓練得到一識別模型，然後利用訓練好之識別模型對所述道路影像進行圖像識別，以確定所述道路影像中是否包含有交通標誌。

舉例而言，預先建立一機器學習模型，所述機器學習模型包括輸入層、多個隱藏層及輸出層。可藉由向後傳播(Back propagation，BP)演算法來 對各隱藏層之權值之進行調節，所述機器學習模型之輸出層用於接收來自最後一層隱藏層之輸出信號。所述模型之訓練方式可是：從交通標誌樣本圖像中提取訓練特徵，並將80%之交通標誌樣本圖像之訓練特徵劃分為訓練集及20%之交通標誌樣本圖像之訓練特徵劃分驗證集；利用所述訓練集對所述機器學習模型進行訓練；利用所述驗證集對訓練後之機器學習模型進行驗證，並根據每一驗證結果統計得到一模型預測準確率；判斷所述模型預測準確率是否小於預設閾值；若所述模型預測準確率不小於所述預設閾值，將訓練完成之所述機器學習模型作為所述識別模型；若所述模型預測準確率小於所述預設閾值，調整所述機器學習模型之參數，並利用所述訓練集重新對調整後之機器學習模型進行訓練，直到驗證集驗證得到之模型預測準確率不小於所述預設閾值，其中所述神經網路模型之參數可包括總層數、每一層之神經元數等。

可理解之是，當運載工具200處於靜止狀態時，所述輔助駕駛裝置100無需為所述運載工具200提供輔助駕駛功能。所述獲取模組101還用於獲取所述運載工具200之行駛狀態，以確認所述運載工具200是否處於靜止狀態。當確定所述運載工具200處於靜止狀態時，所述識別模組102暫停對所述道路影像進行圖像識別。

所述提取模組103用在於所述道路影像中包含有交通標誌時，提取所述交通標誌於第一時刻t1被拍到之第一圖像幀及於第二時刻t2被拍到之第二圖像幀，其中所述第二時刻t2為所述第一時刻t1向後計預設時間。

於一實施方式中，當確定所述道路影像中包含有交通標誌時，所述提取模組103提取所述交通標誌於第一時刻t1被拍到之第一圖像幀及於第二時刻t2被拍到之第二圖像幀。所述第二時刻t2與所述第一時刻t2之間可間隔預設時間，比如所述第二時刻t2與所述第一時刻t1之間間隔2s，即所述第二時刻t2為所述第一時刻t1向後計2s。當確定所述道路影像中包含有交通標誌時，所 述第一時刻t1可根據實際需求進行設定，比如為剛好可識別到交通標誌之那一圖像幀之拍攝時刻為所述第一時刻t1。

所述判斷模組104用於判斷所述交通標誌於所述第一圖像幀與所述第二圖像幀之間之變化規律是否符合預設規律。

於一實施方式中，所述變化規律優選為尺寸變化。所述判斷模組104判斷所述交通標誌於所述第一圖像幀與所述第二圖像幀之間之尺寸變化規律是否符合預設規律。所述判斷模組104可先獲取所述交通標誌於所述第一圖像幀之尺寸資訊及所述交通標誌於所述第二圖像幀之尺寸資訊，然後可得到所述交通標誌於所述第一圖像幀與所述第二圖像幀之間之尺寸變化規律，進而可判斷所述尺寸變化規律是否符合預設規律。

於一實施方式中，所述預設規律可是：所述交通標誌於圖像幀之尺寸隨著所述運載工具200之速度增大而按預設比例增大，或者所述交通標誌於圖像幀之尺寸隨著所述運載工具200向前行駛而增大。圖3示出了所述交通標誌於圖像幀之尺寸隨著所述運載工具200向前行駛而增大之示意圖，於圖3中，第二時刻t2之拍攝到之交通標誌尺寸大於第一時刻t1之拍攝到之交通標誌尺寸。

所述執行模組105用於當所述交通標誌於所述第一圖像幀與所述第二圖像幀之間之變化規律符合所述預設規律時，識別所述交通標誌並根據所述交通標誌之識別結果觸發所述運載工具200執行相應操作。

於一實施方式中，當所述交通標誌於所述第一圖像幀與所述第二圖像幀之間之變化規律符合所述預設規律時，表明所述交通標誌確實為當前行駛之道路前方所設置之交通標誌，所述執行模組105識別所述交通標誌並根據所述交通標誌之識別結果觸發所述運載工具200執行相應操作，實現輔助駕駛。舉例而言，所述交通標誌為限速標誌(限速60)，當所述執行模組105識別所 述交通標誌為限速60(最高速度)之標誌時，且當前運載工具200之車速超過60km/h，則觸發所述運載工具200執行降速操作，使得運載工具200之車速不超過60km/h。可理解之是，若當前運載工具200之車速不超過60km/h，則不觸發所述運載工具200執行降速操作。

於一實施方式中，當所述交通標誌於所述第一圖像幀與所述第二圖像幀之間之變化規律符合所述預設規律時，所述執行模組105識別所述交通標誌並根據所述交通標誌之識別結果及所述運載工具200當前之行駛狀態觸發所述運載工具200執行相應操作。當所述交通標誌於所述第一圖像幀與所述第二圖像幀之間之變化規律不符合所述預設規律時，表明當前交通標誌可能並不是屬於當前行駛之道路前方所設置之交通標誌，放棄識別所述交通標誌，無需進行觸發回應。比如，所述交通標誌屬於道路施工/作業車輛上設置之交通標誌時，此時所述交通標誌於圖像幀之尺寸雖隨著所述運載工具200之速度增大而增大，但並不是按預設比例增大，即所述判斷模組104可實現判斷變化規律不符合預設規律，不進行交通標誌識別。

於一實施方式中，當所述執行模組105觸發所述運載工具200執行相應操作時，所述執行模組105還用於觸發所述運載工具200輸出相應操作之執行通知，以通知駕駛員。比如，觸發所述運載工具200之車載顯示幕輸出相應操作之執行通知。

於一實施方式中，為提高運載工具200之行駛安全性，所述識別模組102還用於根據所述道路影像獲取當前道路交通狀況資訊，其中，所述道路交通資訊可包括路面狀況資訊、其他車輛之狀態資訊、行人之狀態資訊、交通擁堵狀態資訊等，所述執行模組105還用於根據所述道路交通狀況資訊修正所述運載工具200執行之相應操作。舉例而言，所述交通標誌為最低限速40km/h，當所述執行模組105識別所述交通標誌為最低限速40km/h之標誌時，但判斷當 前道路為交通擁堵狀態時，此時，即使所述運載工具200之當前速度低於40km/h，亦不會觸發所述運載工具200執行加速操作。

圖4為本發明一實施方式中輔助駕駛方法之流程圖。根據不同之需求，所述流程圖中步驟之順序可改變，某些步驟可省略。

步驟S400，所述獲取模組101獲取運載工具200前方之道路影像。

步驟S402，所述識別模組102對所述道路影像進行圖像識別，以確定所述道路影像中是否包含有交通標誌。

步驟S404，當所述道路影像中包含有交通標誌時，所述提取模組103提取所述交通標誌於第一時刻t1被拍到之第一圖像幀及於第二時刻t2被拍到之第二圖像幀，其中所述第二時刻t2為所述第一時刻t1向後計預設時間。當所述道路影像中不包含有交通標誌時，返回步驟S400。

步驟S406，所述判斷模組104判斷所述交通標誌於所述第一圖像幀與所述第二圖像幀之間之變化規律是否符合預設規律。

步驟S408，當所述交通標誌於所述第一圖像幀與所述第二圖像幀之間之變化規律符合所述預設規律時，所述執行模組105識別所述交通標誌並根據所述交通標誌之識別結果觸發所述運載工具200執行相應操作。當所述交通標誌於所述第一圖像幀與所述第二圖像幀之間之變化規律不符合所述預設規律時，不進行交通標誌識別操作，返回步驟S400。

上述輔助駕駛裝置、方法及電腦可讀取存儲介質，藉由識別交通標誌來輔助駕駛員駕駛，可實現今駕駛員無法及時執行與交通標誌圖像對應之操作指令時，觸發運載工具自動執行與交通標誌圖像對應之操作指令，從而避免因駕駛員無法及時操作而引起之行車違章或行車安全，且交通標誌識別準確性高。

綜上所述，本發明符合發明專利要件，爰依法提出專利申請。惟，以上所述者僅為本發明之較佳實施方式，本發明之範圍並不以上述實施方式為限，舉凡熟悉本案技藝之人士爰依本發明之精神所作之等效修飾或變化，皆應涵蓋於以下申請專利範圍內。

Claims (8)

1. 一種輔助駕駛方法，所述方法包括：獲取運載工具前方之道路影像；對所述道路影像進行圖像識別，以判斷所述道路影像中是否包含有交通標誌；當所述道路影像中包含有交通標誌時，提取所述交通標誌於第一時刻被拍到之第一圖像幀及於第二時刻被拍到之第二圖像幀，其中所述第二時刻為所述第一時刻向後計預設時間；判斷所述交通標誌於所述第一圖像幀與所述第二圖像幀之間之變化規律是否符合預設規律；及當所述交通標誌於所述第一圖像幀與所述第二圖像幀之間之變化規律符合所述預設規律時，識別所述交通標誌並根據所述交通標誌之識別結果觸發所述運載工具執行相應操作；當所述交通標誌於所述第一圖像幀與所述第二圖像幀之間之變化規律不符合所述預設規律時，放棄識別所述交通標誌；其中所述預設規律為：所述交通標誌於圖像幀之尺寸隨著所述運載工具之速度增大而按預設比例增大，或者所述交通標誌於圖像幀之尺寸隨著所述運載工具向前行駛而增大。
2. 如請求項1所述之方法，其中所述對所述道路影像進行圖像識別之步驟包括：基於影像拍攝位置資訊、影像內容色彩資訊及影像內容形態特徵對所述道路影像進行圖像識別；或基於多個交通標誌樣本圖像及預設神經網路演算法建立並訓練得到一識別模型，並利用所述識別模型對所述道路影像進行圖像識別。
3. 如請求項1所述之方法，其中所述識別所述交通標誌並根據所述交 通標誌之識別結果觸發所述運載工具執行相應操作之步驟包括：識別所述交通標誌並根據所述交通標誌之識別結果及所述運載工具當前之行駛狀態來觸發所述運載工具執行相應操作。
4. 如請求項1至3中任一項所述之方法，其中所述方法還包括：當根據所述交通標誌之識別結果觸發所述運載工具執行相應操作時，輸出相應操作之執行通知。
5. 如請求項1所述之方法，其中所述根據所述交通標誌之識別結果觸發所述運載工具執行相應操作之步驟包括：根據所述道路影像獲取道路交通狀況資訊，其中，所述道路交通資訊包括路面狀況資訊、其他車輛之狀態資訊、行人之狀態資訊、交通擁堵狀態資訊；及根據所述道路交通狀況資訊修正所述運載工具執行之相應操作。
6. 如請求項1所述之方法，其中所述方法還包括：獲取所述運載工具之行駛狀態，以確認所述運載工具是否處於靜止狀態；當所述運載工具處於靜止狀態時，暫停對所述道路影像進行圖像識別。
7. 一種輔助駕駛裝置，所述輔助駕駛裝置包括攝像頭、處理器及記憶體，所述攝像頭用於連續拍攝運載工具前方之道路影像，所述記憶體上存儲有輔助駕駛程式，所述處理器用於執行所述記憶體中存儲之輔助駕駛程式時實現如請求項1至6中任一項所述之輔助駕駛方法之步驟。
8. 一種電腦可讀取存儲介質，所述電腦可讀取存儲介質存儲有多條指令，多條所述指令可被一個或者多個處理器執行，以實現如請求項1至6中任一項所述之輔助駕駛方法之步驟。

Images