TWI770511B

TWI770511B - 一種影像辨識導航裝置

Info

Publication number: TWI770511B
Application number: TW109116735A
Authority: TW
Inventors: 郭永麟
Original assignee: 國立臺灣科技大學
Priority date: 2020-05-20
Filing date: 2020-05-20
Publication date: 2022-07-11
Also published as: TW202144742A

Abstract

一種影像辨識導航裝置，其包含：一電子地圖模組，用以進行車路徑規劃；一影像擷取模組，用以將該行車路徑的影像進行擷取；一導航資料比對處理模組，係進行比對該行車路徑及該行車路徑的影像；一影像辨識處理模組，係設置於該導航資料比對處理模組，用以處理該行車路徑的影像辨識處理，一深度學習模組，係連接該影像辨識處理模組及該影像擷取模組和該電子地圖模組，用以將該行車路徑及該行車路徑的影像進行比對與資料學習更新；以及一導航定位模組，係連接該導航資料比對處理模組及該電子地圖模組，進行導航定位路徑規劃及導航資料輸出處理；以及其中該影像擷取模組部進一步設有一影像預處理模組，進行該行車路徑的即時影像預處理辨識判斷及更新作業。

Description

一種影像辨識導航裝置

本發明係有關於一種影像辨識導航裝置，特別是係利用一影像預處理模組，進行該行車路徑的即時影像預處理辨識判斷及更新作業。

按，習知市面上的車用衛星導航系統或行車記錄器(PAPAGO)導航功能與記錄系統，由於上述設備有可能在接收衛星導航定位系統(GPS)時常常會有接收誤判和受訊號接受不良等影響缺點，有可能造成行車路線偏移或者依據上述衛星導航設備失誤引至錯誤行車路徑的事情發生。

如先前技術一中華民國公告專利I537580號所揭露之「一種定位控制方法」，適用隨著一移動載具移動的一電子裝置，該電子裝置包含一影像擷取模組以及一衛星定位模組，該定位控制方法包含：擷取一第一影像；由該第一影像中提取一標誌物件，其中該標誌物件與具有一已知座標的一地標興趣點相對應；擷取一第二影像；由該第二影像中尋找相對應之該標誌物件；根據該標誌物件於該第一影像及該第二影像中之一變化程度以及該移動載具之一位移距離，計算該電子裝置與該標誌物件的一間隔距離；利用該衛星定位模組取得一第一定位座標；在該第一定位座標所對應之鄰近範圍內，根據該標誌物件由一興趣點資料庫中查詢與該標誌物件相對應之該地標興趣點；以及由該間隔距離與該地標興趣點之該已知座標，計算或校正該電子裝置之一定位資訊，上述前案技術定位資訊技術仍無法達成本發明的即時作影像預處理辨識及更新深度學習作業。

再如另一前案技術一中華民國公告專利I498136號所揭露之「智慧型行車紀錄器」，包含一影像擷取模組以及一處理模組。影像擷取模組擷取複數行車影像。該處理模組電性連接至影像擷取模組，自影像擷取模組接收該等行車影像，並偵測各該行車影像中之至少一物體影像區塊，上述智慧型行車紀錄器透過對行車影像進行分析，以偵測行車影像中對應一物體之物體影像區塊，進而可自行車影像擷取該物體的相關資訊。如此一來，使用者可快速篩選的所需資訊，並利於後續的進一步處理或應用，然而上述前案並無深度學習作業系統，仍無法達成本發明的即時作預處理影像辨識及更新深度學習作業。

再如另一前案技術一中國專利CN108196535號所揭露之「基於增強學習和多感測器融合的自動駕駛系統」，一種基於增強學習和多感測器融合的自動駕駛系統，包括：感知系統、控制系統和執行系統。感知系統通過深度學習網路，高效處理雷射雷達、攝像頭及GPS導航儀實現即時識別行車周圍車輛、行人、車道線、交通標誌及信號燈的識別及理解，通過增強學習技術將雷射雷達與全景影像匹配融合，形成即時三維街景地圖，及可行駛區域的判斷，結合GPS導航器實現即時導航，控制系統採用增強學習網路處理感知系統收集的資訊，對周圍車輛的人、車物進行預測，根據車身狀態資料，並與駕駛員動作的記錄進行配對，做出當下最優的行動選擇，通過執行系統完成執行動作。前案發明對雷射雷達資料和視頻進行融合，進行可行駛區域識別和目的路徑最優規劃，前案增強學習系統與本案深度學習系統為不相同系統具有差異性，仍無法達成本發明的即時作預處理影像辨識及更新深度學習作業。

再如另一前案技術一美國公開專利US20150153212號所揭露之「AERIAL IMAGE PROCESSING」，前案一種使用電子計算設備進行航空圖像處理和物體識別的方法，該方法包括：使用一電子計算設備建立深度學習模型。接收實際的航空影像資料；將深度學習模型應用於實際的航空影像資料用以識別感興趣的區域，前案技術並未陳設路牌/路標影像辨識及影像前處理或預處理部分，除了影像抓取確認再進行影像錯誤判斷，後續並進行特徵數據核對及記憶體更新作業，前案僅有預先處理訓練的影像資料與本案的影像預處理流程不相同，仍無法達成本發明的即時作預處理影像辨識及更新深度學習作業。

有鑑於上述缺憾，發明人有感其未臻於完善，遂竭其心智悉心研究克服，憑其從事該項產業多年之累積經驗，進而研發出一種影像辨識導航裝置，利用簡單一影像預處理模組，進行該影像辨識導航裝置的行車路徑即時影像預處理辨識判斷及深度學習系統更新作業，並依據本發明技術特徵可即時修正行車路徑及導航規劃電子地圖之功效。

本發明之主要目的，即在設計一種影像辨識導航裝置，其特徵為進一步設有一影像預處理模組，進行該行車路徑的即時影像預處理辨識判斷及更新作業，因衛星導航會有誤判和收訊不良等缺點，本發明並可依據所擷取即時的影像資料進行比對修正行車路徑及導航規劃電子地圖之功效。

本發明之另一主要目的，即在設計一種影像辨識導航裝置，其中，加強本案發明的即時影像的預先處理模組與深度學習系統的結合比對判斷應用，可達到即時修正影像辨識定位與導航電子地圖的目的。

為達上述目的，本發明之實現技術如下：一種影像辨識導航裝置，其包含：一電子地圖模組，用以進行車路徑規劃；一影像擷取模組，用以將該行車路徑的影像進行擷取；一導航資料比對處理模組，係進行比對該行車路徑及該行車路徑的影像；一影像辨識處理模組，係設置於該導航資料比對處理模組，用以處理該行車路徑的影像辨識處理；一深度學習模組，係連接該影像辨識處理模組及該影像擷取模組和該電子地圖模組，用以將該行車路徑及該行車路徑的影像進行比對與資料學習更新，以及；一導航定位模組，係連接該導航資料比對處理模組及該電子地圖模組，進行導航定位路徑規劃及導航資料輸出處理。

上述之影像辨識導航裝置，其中，該影像辨識處理模組進一步設有一影像預處理模組，進行該行車路徑的即時影像預處理辨識判斷及更新作業。

為達上述目的，本發明在另一實現技術如下：一種影像辨識導航裝置，其包含：一電子地圖模組，用以進行車路徑規劃；一影像擷取模組，用以將該行車路徑的影像進行擷取；一導航資料比對處理模組，係進行比對該行車路徑及該行車路徑的影像；一影像辨識處理模組，係設置於該導航資料比對處理模組，用以處理該行車路徑的影像辨識處理；一深度學習模組，係連接該影像辨識處理模組及該影像擷取模組和該電子地圖模組，用以將該行車路徑及該行車路徑的影像進行比對與資料學習更新，以及；一導航定位模組，係連接該導航資料比對處理模組及該電子地圖模組，進行導航定位路徑規劃及導航資料輸出處理；以及其中該影像擷取模組部進一步設有一影像預處理模組，進行該行車路徑的即時影像預處理辨識判斷及更新作業。

上述之影像辨識導航裝置，其中，該導航定位模組為全球衛星定位系統(GPS)、GLONASS系統或北斗衛星導航定位系統。

上述之影像辨識導航裝置，其中，該影像預處理模組進一步設有影像擷取確認模組，用以判斷是否需要的擷取的影像資料。

上述之影像辨識導航裝置，其中，該影像預處理模組進一步設有特徵數據模組，用以記錄判斷各項特徵數據。

上述之影像辨識導航裝置，其中，該影像預處理模組進一步設有錯誤判斷模組，用以判斷錯誤模式及記錄各項錯誤資訊。

上述之影像辨識導航裝置，其中，該影像預處理模組進一步設有記憶體模組，用以做資料儲存及更新資料儲存。

上述之影像辨識導航裝置，其中，該影像辨識處理模組為即時物體偵測系統(YOLO)或單次偵測系統(SSD)。

上述之影像辨識導航裝置，其中，該影像擷取模組為行車紀錄器或照相機或攝影機

10:電子地圖模組

100:影像辨識導航裝置

110:影像擷取

120:資料比對處理

130:深度學習

140:影像辨識處理

150:資料核對

160:路徑輸出

170:影像預處理

1701:影像抓取確認程序

1702:影像錯誤判斷程序

1703:特徵數據核對程序

1704:記憶體更新程序

1705:影像更新

180:輸出畫面

20:影像擷取模組

21:影像預處理模組

210:影像擷取

211:影像預處理

2101:影像擷取確認模組

2102:特徵數據模組

2103:錯誤判斷模組

2104:記憶體模組

2111:影像抓取確認程序

2112:影像錯誤判斷程序

2113:特徵數據核對程序

2114:記憶體更新程序

220:資料比對處理

230:深度學習

240:影像辨識處理

250:資料核對

260:路徑輸出

280:輸出畫面

30:導航資料比對處理模組

31:影像辨識處理模組

311:影像預處理模組

3111:影像擷取確認模組

3112:特徵數據模組

3113:錯誤判斷模組

3114:記憶體模組

40:深度學習模組

50:導航定位模組

第1圖係本發明第一實施例之影像辨識導航裝置功能方塊示意圖。

第2圖係本發明第一實施例之影像辨識導航裝置含影像預處理模組方塊示意圖。

第3圖係本發明之第一實施例之影像預處理模組方塊示意圖。

第4圖係本發明之第一實施例之影像辨識處理模組擷取影像圖。

第5圖係本發明之第一實施例之影像辨識處理流程圖。

第6圖係本發明之第一實施例之影像預處理流程圖。

第7圖係本發明第二實施例之影像辨識導航裝置功能方塊示意圖。

第8圖係本發明之第二實施例之影像預處理模組方塊示意圖。

第9圖係本發明之第二實施例之影像辨識處理流程圖。

第10圖係本發明之第二實施例之影像預處理流程圖。

為使本領域熟知技藝者能理解並據以實施本發明，以下係配合圖式及元件符號詳細說明之，但不以此為限。

請參閱第1圖，為本發明影像辨識導航裝置第一實施例之功能方塊示意圖，如圖1所示，本發明之影像辨識導航裝置100其主要包含：一電子地圖模組10、一影像擷取模組20、一導航資料比對處理模組30、一深度學習模組40以及一導航定位模組50，如本實施例當一影像辨識導航裝置100開始作動時，如車輛行駛或使用者開始啟用該影像辨識導航裝置100，其中一電子地圖模組10，開始用以進行車輛的行車的路徑規劃，而另外的一影像擷取模組20開始啟動用以將該行車路徑的影像進行擷取作動，而上述的該影像擷取模組20為行車紀錄器，再接續上述實施例另外一導航資料比對處理模組30也開始同步運作，係開始用以進行比對該電子地圖模組10所規劃的行車路徑以及經該影像擷取模組20所開始記錄的行車路徑的影像進行比對，另外再包含一影像辨識處理模組31，係設置於該導航資料比對處理模組30之內，上述該影像辨識處理模組31用以處理該行車路徑的影像辨識處理，上述實施例一的影像辨識處理模組31為即時物體偵測系統(YOLO)，再如圖4中所舉例意示的影像辨識處理擷取圖片及相關運算式，其中上述的即時物體偵測系統(YOLO)的方法主要就是強調使用整張圖作為神經網路的輸入，直接預測邊界框(bounding box)坐標位置，並同時算出邊界框(bounding box)含物體的置信度(confidence)和物體所屬的類別；接續上述實施例其中一深度學習模組40，係連接該影像辨識處理模組31及該影像擷取模組20和該電子地圖模組10，用以將該車輛的行車路徑及該行車路徑的影像進行比對與資料學習更新，以及影像辨識導航裝置100內有一導航定位模組50，係連接該導航資料比對處理模組30及該電子地圖模組10，進行導航定位路徑規劃及導航資料輸出處理，其中，上述該導航定位模組50為全球衛星定位系統(GPS)，上述該導航定位模組50可替換為GLONASS系統或北斗衛星導航定位系統，上述的該影像擷取模組20可替換為照相機或攝影機，上述的該影像辨識處理模組31可替換為單次偵測系統(SSD)。

接續上述第一實施例中，如圖2中所示其中該影像辨識處理模組31進一步設有一影像預處理模組311，可進行該行車路徑的即時影像進行預處理影像辨識判斷及更新作業，而上述實施例一中該影像預處理模組311，再如圖3中所示更包含複數個子模組如一影像擷取確認模組3111、特徵數據模組3112、錯誤判斷模組3113及記憶體模組3114，其中，如本案實施例一中當車輛進行行車的路徑規劃時，而該影像擷取模組20開始啟動用以將該行車路徑的影像進行擷取作動，另外一導航資料比對處理模組30也開始同步運作，係開始用以進行比對該電子地圖模組10所規劃的行車路徑以及經該影像擷取模組20所開始記錄的行車路徑的影像進行比對，該影像例如所擷取的行車路徑所經過的路牌或者路標或者顯著目標物的影像，再經由導航資料比對處理模組30進行比對，該電子地圖模組10所規劃的行車路徑及深度學習模組40原留有的導航及影像資料，如果發生與原先所規劃及資料有錯誤時，而如圖2中該影像預處理模組311會進行啟動作業進行影像預處理作業，而上述相關影像預處理流程如圖5及圖6中所揭示為本發明影像預處理流程。

接續上述實施例一，如圖5中所揭示如一影像辨識導航裝置100進行導航影像擷取辨識流程，其中當一影像擷取110程序作業後會接續在進行一資料比對處理120流程，將行車導航所擷取的影像與原影像辨識裝置內100所建置的原留存的資料影像進行比對處理，其中，原建置的影像資料會再透過一深度學習130程序，將原建置導航影像辨識裝置100內的影像調出與經該影像擷取110程序所擷取的影像資料，再透過一影像辨識處理140程序作業進行即時性比對作業，其中當上述資料核對150程序完成後再進行路徑輸出160程序，如果當該路徑輸出160程序發生有錯誤時，會再進行一影像預處理170程序，再將經該影像預處理170程序的影像再提供給與該影像辨識處理140程序進行比對作業，直到上述該資料核對150程序完成後再進行路徑輸出 160程序及輸出畫面180。

接續上述實施例一，再如圖6中所示，其中當導航影像辨識裝置中的擷取影像需要進一步進行如一影像預處理程序170作業時，其中上述影像判對作業，會依序再透過幾個子判斷程序作業，其中當該一影像預處理程序170作業時，接續會進行影像抓取確認程序1701，上述該影像抓取確認程序1701會進行判斷是否需要的抓取的影像資料，如果是要抓取影像資料則結束該影像預處理程序170作業，如果不是所要抓取的影像資料則接續進行下一階段影像錯誤判斷程序1702作業，如果需進行影像錯誤判斷程序1702作業則會依據影像失敗率錯誤判斷或影像抓取錯誤次數或影像抓取錯誤時間等等規則進行判斷作業，如果不需要進行影像錯誤判斷程序1702作業，則結束該影像預處理程序170作業，另外當進行影像錯誤判斷程序1702後會再接續上述下一階段特徵數據核對程序1703，如果不需要進行特徵數據核對程序1703，則結束該影像預處理程序170作業，而當進行該特徵數據核對程序1703時會有下列幾個影像特徵資訊需進行比對例如判斷該擷取影像清晰度或車行的時間或車行的速度與導航的距離或導航距離計算方式與最小運算量等等，上述實施例中所闡述的特徵數據將可依設計集合或交錯使用進行特徵數據核對程序1703的判斷依據，再接續作業如果需要進行記憶體更新程序1704則進行原留存系統內的記憶體資料更新作業，例如所規畫路徑或路徑時間或影像資料等等，如果不需要進行記憶體更新程序1704，則結束該影像預處理程序170作業，再接續上述進一步程序作業如需進行更新作業則進行影像更新1705作業並且再接續影像辨識處理140，如果不需要進行影像更新1705作業，則結束該影像預處理程序170作業，而上述影像預處理程序170作業，則是在本實施例一的影像辨識導航裝置100進行導航影像擷取辨識流程的技術發明及辨識方法程序實施應用。

請參閱如第7圖中係本發明之第二實施例影像辨識導航裝置100中所意示的圖示，其中本發明之導航影像擷取辨識100主要由包含：一電子地圖模組10、一影像擷取模組20、一導航資料比對處理模組30、一深度學習模組40以及一導航定位模組50，如本實施例二當一影像辨識導航裝置100開始作動時，其中一電子地圖模組10，開始用以進行車輛的行車的路徑規劃，而另外的一影像擷取模組20開始啟動用以將該行車路徑的影像進行擷取作動，而上述的該影像擷取模組20為行車紀錄器，另外本實施例二中，該影像擷取模組20更進一步包含一影像預處理模組21，上述該一影像預處理模組21會進行啟動作業進行影像預處理比對作業，再接續上述實施例二另外一導航資料比對處理模組30也開始同步運作，係開始用以進行比對該電子地圖模組10所規劃的行車路徑以及經該影像擷取模組20所開始記錄的行車路徑的影像進行比對，另外再包含一影像辨識處理模組31，係設置於該導航資料比對處理模組30之內，上述該影像辨識處理模組31用以處理該行車路徑的影像辨識處理，接續上述實施例其中一深度學習模組40，係連接該影像辨識處理模組31及該影像擷取模組20和該電子地圖模組10，用以將該車輛的行車路徑及該行車路徑的影像進行比對與資料學習更新，以及影像辨識導航裝置100內有一導航定位模組50，係連接該導航資料比對處理模組30及該電子地圖模組10，進行導航定位路徑規劃及導航資料輸出處理，其中，上述該導航定位模組50為全球衛星定位系統(GPS)，上述該導航定位模組50可替換為GLONASS系統或北斗衛星導航定位系統，上述的該影像擷取模組20可替換為照相機或攝影機。

接續上述實施例二，如圖8中所示，其中本案實施例影像擷取模組20進一步設有一影像預處理模組21，可進行該行車路徑的即時影像進行預處理影像辨識判斷及更新作業，而上述實施例二中該影像預處理模組21，再如圖8中所示更包含複數個子模組如一影像擷取確認模組2101、特徵數據模組2102、錯誤判斷模組2103及記憶體模組2104，其中，如本案實施例二中當車輛進行行車的路徑規劃時，而該影像擷取模組20開始啟動用以將該行車路徑的影像進行擷取作動，另外一導航資料比對處理模組30也開始同步運作，係開始用以進行比對該電子地圖模組10所規劃的行車路徑以及經該影像擷取模組20所開始記錄的行車路徑的影像進行比對，該影像例如所擷取的行車路徑所經過的路牌或者路標或者顯著目標物的影像，再經由導航資料比對處理模組30進行比對，該電子地圖模組10所規劃的行車路徑及深度學習模組40原留有的導航及影像資料，如果發生與原先所規劃及資料有錯誤時，而該影像擷取模組20的另一影像預處理模組21會進行啟動作業進行影像預處理比對作業，而上述實施例二相關影像擷取辨識流程及影像預處理流程如下圖9及圖10中所揭示。

接續上述實施例二，如圖9中所揭示如一影像辨識導航裝置100進行導航影像擷取辨識流程，其中當一影像擷取210程序作業後會先接續在進行一影像預處理211程序，後續再進行接續另一資料比對處理流程220，將所擷取的影像與原影像辨識裝置內100所建置的原留存的資料影像進行比對處理，其中，原建置的影像資料會再透過一深度學習230程序，將原建置導航影像辨識裝置100內的影像調出與經該影像擷取210程序所擷取的影像資料透過一影像辨識處理240程序作業進行即時性比對作業，其中當上述資料核對程序250完成後進行路徑輸出程序260，如果當該路徑輸出程序250發生有錯誤時，會再返回至一影像預處理211程序進行處理，再將經該影像預處理211程序的影像再提供給與該資料比對處理220進行資料處理，直到上述該資料核對程序250完成後再進行路徑輸出程序260及輸出畫面280。

接續上述實施例二，再如圖10中所示，其中當導航影像辨識裝置中的擷取影像需要進一步進行如一影像預處理程序211作業時，其中上述影像判對作業，會依序再透過幾個子判斷程序作業，其中當該一影像預處理程序211作業時，接續會進行影像抓取確認程序2111，上述該影像抓取確認程序2111會進行判斷是否需要的抓取的影像資料，如果是要抓取影像資料則結束該影像預處理程序211作業，如果不是所要抓取的影像資料則接續進行下一階段影像錯誤判斷程序2112作業，如果需進行影像錯誤判斷程序2112作業則會依據影像失敗率錯誤判斷或影像抓取錯誤次數或影像抓取錯誤時間等等規則進行判斷作業，如果不需要進行影像錯誤判斷程序2112作業，則結束該影像預處理程序211作業，另外當進行影像錯誤判斷程序2112後會再接續上述下一階段特徵數據核對程序2113，如果不需要進行特徵數據核對程序2113，則結束該影像預處理程序211作業，而當進行該特徵數據核對程序2113時會有下列幾個影像特徵資訊需進行比對例如判斷該擷取影像清晰度或車行的時間或車行的速度與導航的距離或導航距離計算方式與最小運算量等等，上述實施例中所闡述的特徵數據將可依設計集合或交錯使用進行特徵數據核對程序2113的判斷依據，再接續作業如果需要進行記憶體更新程序2114則進行原留存系統內的記憶體資料更新作業，例如所規畫路徑更新或路徑時間更新或影像資料更新等等，如果不需要進行記憶體更新程序2114，則結束該影像預處理程序211作業，如再接續上影像預處理程序如述進一步程序作業則進行該資料比對處理220作業，而上述影像預處理程序211作業，則是在本實施例二中的一影像辨識導航裝置100進行導航影像擷取辨識流程的及辨識方法程序實施應用。

另外上述本實施例的影像辨識導航裝置100可替換其他各種零組件裝置及材質並不受此說明書中的實施例限制，可進行任意替換，綜前所述，由本發明影像辨識導航裝置之設計確實可行，且改善了習用技術之各種缺失，以上所述僅為本發明之較佳實施例而已，並非用以限定本發明之申請專利範圍；凡其他未脫離本發明所揭示之精神下所完成之等效改變或修飾，均應包含在下述之申請專利範圍內。