TWI673586B - 即時訓練軌跡導引系統及方法 - Google Patents

即時訓練軌跡導引系統及方法 Download PDF

Info

Publication number
TWI673586B
TWI673586B TW107105656A TW107105656A TWI673586B TW I673586 B TWI673586 B TW I673586B TW 107105656 A TW107105656 A TW 107105656A TW 107105656 A TW107105656 A TW 107105656A TW I673586 B TWI673586 B TW I673586B
Authority
TW
Taiwan
Prior art keywords
self
image input
propelled device
real
image data
Prior art date
Application number
TW107105656A
Other languages
English (en)
Other versions
TW201935162A (zh
Inventor
王學誠
德尼瑞歐 艾琳
賈雷 勞拉
克羅齊 丹尼爾
賈里希 多米尼克
陳季希
林倪敬
莊子寬
Original Assignee
國立交通大學
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 國立交通大學 filed Critical 國立交通大學
Priority to TW107105656A priority Critical patent/TWI673586B/zh
Priority to CN201810431140.2A priority patent/CN110163336A/zh
Publication of TW201935162A publication Critical patent/TW201935162A/zh
Application granted granted Critical
Publication of TWI673586B publication Critical patent/TWI673586B/zh

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Abstract

本發明揭露一種即時訓練軌跡導引系統及方法。即時訓練軌跡導引系統包含影像輸入模組、深度學習訓練模組及控制模組。影像輸入模組包含設置於自走裝置上之複數個影像輸入單元。當自走裝置受控而沿循跡線行進時，影像輸入模組透過該複數個影像輸入單元獲得與循跡線有關之複數個影像資料。深度學習訓練模組耦接影像輸入模組，用以根據該複數個影像資料進行深度學習訓練，以產生結果模型。控制模組分別耦接深度學習訓練模組及自走裝置，用以根據結果模型預測並控制自走裝置之行進方向，致使自走裝置自動地沿循跡線行進。

Description

即時訓練軌跡導引系統及方法
本發明係與軌跡導引(Trail following)有關，尤其是關於一種即時訓練軌跡導引系統及方法。
一般而言，既有的軌跡導引系統之應用大致可分為下列兩類：一類是應用於視障人士之行走輔助的軌跡導引，而另一類則是應用於工廠生產線中之自動搬運車的軌跡導引。無論是上述哪一類之應用，習知的軌跡導引系統大多仍採用傳統電腦視覺的方式來進行影像處理及資料運算。
然而，在上述的處理方式之下，一旦環境中之光線產生明顯變化或是處於動態的環境中，例如實施場所係處於室外環境中或是人員活動較頻繁的生產線環境中，很可能使得影像辨識結果受影響而導致軌跡導引之行進方向出現嚴重偏差。
在實際應用中，目前工廠生產線中之自動搬運車大多仍採用磁條導航或是光學導航(反光膠帶)的方式沿著特定循跡線(或稱指引線)上行走。然而，一旦循跡線出現磨損或髒污時，此種磁力或光學辨識的方式很可能會發生誤判而導致自動搬運車之行進方向出現偏差。再者，若行進路線欲進行更改時，重新佈 設磁條導航的難度相對較高，且現有的光學導航還須搭配其他設備，例如射頻識別(Radio Frequency Identification,RFID)來進行多路線的設定以及交叉口的處理，相當麻煩且耗費成本。
此外，對於需要高安全性與高可靠度的軌跡導引任務而言，例如盲人導航，至今仍無完全取代導盲磚的導引設備。然而，既有的導盲磚需要相當高的建置及維護成本，且很可能反而造成其他無障礙設施使用者(例如輪椅使用者)之不便。
綜合上述可知：習知的軌跡導引系統在實際應用中仍會遭遇到許多問題，亟待進一步加以克服，以有效提升軌跡導引系統的可靠度及安全性。
有鑑於此，本發明提出一種即時訓練軌跡導引系統及方法，以有效解決先前技術所遭遇到之上述種種問題。
根據本發明之一具體實施例為一種即時訓練軌跡導引方法。於此實施例中，即時訓練軌跡導引方法包括下列步驟：(a)控制一自走裝置沿一循跡線行進並同時蒐集與循跡線有關之複數個影像資料；(b)根據該複數個影像資料進行一深度學習訓練(Deep learning training)，以產生一結果模型；以及(c)根據結果模型預測並控制自走裝置之行進方向，致使自走裝置自動地沿循跡線行進。
於一實施例中，該複數個影像資料包含複數個真實 影像資料，該複數個真實影像包含有循跡線之影像且該複數個真實影像資料係由設置於自走裝置上之複數個影像輸入單元取得，該複數個影像輸入單元係彼此間隔一特定角度。
於一實施例中，該複數個影像資料還包含複數個虛擬影像資料，且該複數個虛擬影像資料係由複數個虛擬影像輸入單元於一虛擬環境中模擬而得，該複數個虛擬影像輸入單元亦彼此間隔特定角度。
於一實施例中，步驟(b)係基於一卷積類神經網路(Convolutional Neural Networks,CNN)進行深度學習訓練，卷積類神經網路包含複數個卷積層(Convolution layer)、複數個池化層(Pooling layer)及複數個全連接層(fully connected layers)，該複數個卷積層與該複數個池化層係彼此交錯排列且該複數個全連接層位於卷積神經網路之輸出端。
於一實施例中，當該複數個影像資料中之一影像資料輸入至卷積類神經網路時，係透過該複數個卷積層從影像資料中提取特徵並透過該複數個池化層降低其維度，再由該複數個全連接層進行分類後產生結果模型。
於一實施例中，步驟(c)包含：(c1)設置於自走裝置上之複數個影像輸入單元中之一影像輸入單元接收與循跡線有關之一影像輸入訊號；(c2)根據影像輸入訊號與結果模型進行一深度學習預測，以產生一預測結果；以及(c3)根據預測結果提供一運動控制訊號控制自走裝置之行進方向，致使自走裝置自動地沿循跡線 行進。
於一實施例中，影像輸入單元係位於該複數個影像輸入單元之正中間且指向自走裝置直線行進之方向。
於一實施例中，步驟(a)係透過手動方式控制自走裝置沿循跡線行進。
於一實施例中，循跡線包含至少一顏色、至少一紋路或至少一材質。
根據本發明之另一具體實施例為一種即時訓練軌跡導引系統。於此實施例中，即時訓練軌跡導引系統係應用於一自走裝置。即時訓練軌跡導引系統包含影像輸入模組、深度學習訓練模組及控制模組。影像輸入模組包含設置於自走裝置上之複數個影像輸入單元。當自走裝置受控而沿循跡線行進時，影像輸入模組透過該複數個影像輸入單元獲得與循跡線有關之複數個影像資料。深度學習訓練模組耦接影像輸入模組，用以根據該複數個影像資料進行深度學習訓練，以產生結果模型。控制模組分別耦接深度學習訓練模組及自走裝置，用以根據結果模型預測並控制自走裝置之行進方向，致使自走裝置自動地沿循跡線行進。
相較於先前技術，本發明之即時訓練軌跡導引系統及方法即使在室外環境、動態活動較頻繁的室內環境以及循跡線出現破損髒汙的情況下，亦能透過深度學習之方式進行新環境、新循跡線之資料蒐集與訓練，使得自走裝置能根據訓練結果自動地在該新環境中沿該新循跡線行走。因此，本發明之即時訓練軌 跡導引系統及方法不僅能快速且準確地學習沿循跡線之行走方式，且不會由於環境中之光線亮暗變化或循跡線破損髒汙而造成誤判，還可進一步設定不同的行走路線，無論是在室外或室內之動態環境下均可使用，故可廣泛應用於高安全性與高可靠度的軌跡導引任務，例如盲人導航及工廠自動搬運車之軌跡導引，極具市場潛力。
關於本發明之優點與精神可以藉由以下的發明詳述及所附圖式得到進一步的瞭解。
1‧‧‧即時訓練軌跡導引系統
10‧‧‧影像輸入模組
12‧‧‧深度學習訓練模組
14‧‧‧控制模組
2‧‧‧自走裝置
DATA‧‧‧影像資料
MOD‧‧‧結果模型
CTRL‧‧‧運動控制訊號
3‧‧‧即時訓練軌跡導引系統
30‧‧‧資料蒐集模組
32‧‧‧循跡任務模組
300‧‧‧影像輸入模組
302‧‧‧虛擬影像輸入模組
304‧‧‧嵌入式板/工作站
320‧‧‧嵌入式板
322‧‧‧控制單元
CA1~CA3‧‧‧第一影像輸入單元~第三影像輸入單元
VCA1~VCA3‧‧‧第一虛擬影像輸入單元~第三虛擬影像輸入單元
Pi1~Pi3‧‧‧第一處理單元~第三處理單元
RDATA‧‧‧真實影像資料
VDATA‧‧‧虛擬影像資料
4‧‧‧自走裝置
H‧‧‧固定板
P‧‧‧基座
WH‧‧‧輪子
TL‧‧‧循跡線
30°‧‧‧夾角
CONV1~CONV4‧‧‧第一卷積層~第四卷積層
POOL1~POOL4‧‧‧第一池化層~第四池化層
FC1~FC2‧‧‧第一全連接層~第二全連接層
SIZE0‧‧‧初始體積大小
SIZE1~SIZE8‧‧‧第一體積大小~第八體積大小
CFN1~CFN2‧‧‧第一分類數~第二分類數
L‧‧‧第一分類
S‧‧‧第二分類
R‧‧‧第三分類
TL1~TL4‧‧‧循跡線
S10、S12、S14、S20~S28‧‧‧步驟
圖1繪示本發明之即時訓練軌跡導引系統之一實施例的功能方塊圖。
圖2繪示本發明之即時訓練軌跡導引系統之另一實施例的功能方塊圖。
圖3繪示本發明之自走裝置位於循跡線上的示意圖。
圖4繪示基於卷積類神經網路進行深度學習訓練之一實施例。
圖5A繪示本發明之自走裝置沿循跡線左轉的示意圖。
圖5B繪示本發明之自走裝置沿循跡線直走的示意圖。
圖5C繪示本發明之自走裝置沿循跡線右轉的示意圖。
圖6繪示本發明之自走裝置可沿具有不同顏色、紋路及材質之循跡線行進的示意圖。
圖7繪示本發明之即時訓練軌跡導引方法之一實施例的流程圖。
圖8繪示本發明之即時訓練軌跡導引方法之另一實施例的流程圖。
現在將詳細參考本發明的示範性實施例，並在附圖中說明所述示範性實施例的實例。在圖式及實施方式中所使用相同或類似標號的元件/構件是用來代表相同或類似部分。
根據本發明之一具體實施例為一種即時訓練軌跡導引系統。於此實施例中，本發明之即時訓練軌跡導引系統係基於深度學習之方式對自走裝置進行新環境及新循跡線(或稱指引線)之資料蒐集與訓練，使得自走裝置經訓練學習後能自動地在該新環境中沿該新循跡線行走而不會有所偏離。
請參照圖1，圖1繪示本發明之即時訓練軌跡導引系統之一實施例的功能方塊圖。
如圖1所示，即時訓練軌跡導引系統1可包括影像輸入模組10、深度學習訓練模組12及控制模組14。其中，影像輸入模組10耦接深度學習訓練模組12並輸出影像資料DATA至深度學習訓練模組12；深度學習訓練模組12耦接控制模組14並輸出結果模型MOD至控制模組14；控制模組14耦接自走裝置2並輸出運動控制訊 號至自走裝置2。
於此實施例中，影像輸入模組10可包含設置於自走裝置2上之複數個影像輸入單元，例如複數台相機，但不以此為限。此外，該複數個影像輸入單元可彼此間隔一特定角度而設置於自走裝置2上。
舉例而言，影像輸入模組10中之該複數個影像輸入單元可以是彼此間隔30度而設置於自走裝置2上的三台相機，且三台相機的鏡頭可分別朝向左前方、正前方及右前方，但不以此為限。
需說明的是，本發明之即時訓練軌跡導引系統1的運作可分為兩個階段，分別是：第一階段(資料蒐集階段)與第二階段(循跡任務階段)。
於實際應用中，當即時訓練軌跡導引系統1運作於第一階段(資料蒐集階段)時，自走裝置2會受控(例如手動控制)而沿著循跡線行進。此時，設置於自走裝置2上且鏡頭分別朝向左前方、正前方及右前方的三台相機即可開始拍照，藉以蒐集與循跡線有關的複數個影像資料DATA。換言之，於該複數個影像資料DATA中會包含有循跡線之影像，藉以作為後續判斷自走裝置2之行進方向的依據。
接著，當深度學習訓練模組12接收到該複數個影像資料DATA時，深度學習訓練模組12即可根據該複數個影像資料DATA進行深度學習訓練，以產生結果模型MOD至控制模組14。
然後，即時訓練軌跡導引系統1開始運作於第二階段(循跡任務階段)，控制模組14根據結果模型MOD預測自走裝置2之行進方向並發出運動控制訊號CTRL至自走裝置2，以控制自走裝置2之行進方向，致使自走裝置2能夠自動地沿著循跡線行進。
於實際應用中，深度學習訓練模組12可以是嵌入式板或工作站，並由嵌入式板或工作站基於卷積類神經網路(Convolutional Neural Networks,CNN)進行深度學習訓練，以產生結果模型。
於另一實施例中，請參照圖2，即時訓練軌跡導引系統3可包括資料蒐集模組30及循跡任務模組32。其中，資料蒐集模組30耦接循跡任務模組32；循跡任務模組32耦接自走裝置4。
如圖2所示，資料蒐集模組30包含影像輸入模組300、虛擬影像輸入模組302及嵌入式板/工作站304。循跡任務模組32包含嵌入式板320、控制單元322及第二影像輸入單元CA2。其中，影像輸入模組300與虛擬影像輸入模組302均耦接至嵌入式板/工作站304且影像輸入模組300與虛擬影像輸入模組302分別輸出複數個真實影像資料RDATA及複數個虛擬影像資料VDATA至嵌入式板/工作站304；嵌入式板/工作站304耦接至嵌入式板320且嵌入式板/工作站304輸出結果模型MOD至嵌入式板320；嵌入式板320耦接控制單元322；第二影像輸入單元CA2耦接至控制單元322；控制單元322耦接至自走裝置4且控制單元322輸出運動控制訊號CTRL給自走裝置4。
於此實施例中，影像輸入模組300包含第一影像輸入單元CA1、第二影像輸入單元CA2、第三影像輸入單元CA3、第一處理單元Pi1、第二處理單元Pi2及第三處理單元Pi3。其中，第一影像輸入單元CA1耦接至第一處理單元Pi1；第二影像輸入單元CA2耦接至第二處理單元Pi2；第三影像輸入單元CA3耦接至第三處理單元Pi3。
請參照圖3，圖3繪示本發明之自走裝置4位於循跡線TL上的示意圖。如圖3所示，影像輸入模組300中之第一影像輸入單元CA1、第二影像輸入單元CA2、第三影像輸入單元CA3可分別設置於自走裝置4上並彼此間隔特定角度，自走裝置4可包含有基座P、固定板H及輪子WH。其中，第一影像輸入單元CA1、第二影像輸入單元CA2及第三影像輸入單元CA3係設置於基座P上並透過固定板H加以固定。自走裝置4透過馬達控制輪子WH之運轉以於循跡線TL上行進。於此實施例中，循跡線TL係由兩種顏色(例如黃色與藍色)之線段構成，但不以此為限。
當即時訓練軌跡導引系統3運作於第一階段(資料蒐集階段)時，自走裝置4會受控(例如手動控制)而沿著循跡線TL行進。此時，設置於自走裝置4上且彼此間隔特定角度(例如30度)的第一影像輸入單元CA1、第二影像輸入單元CA2及第三影像輸入單元CA3會分別拍照以取得複數個真實影像資料RDATA並傳送至嵌入式板/工作站304，且該複數個真實影像資料RDATA包含有循跡線TL之影像。
需說明的是，嵌入式板/工作站304除了接收到該複數個真實影像資料RDATA之外，嵌入式板/工作站304還會接收到複數個虛擬影像資料VDATA，且該複數個虛擬影像資料VDATA係由虛擬影像輸入模組302中之第一虛擬影像輸入單元VCA1、第二虛擬影像輸入單元VCA2及第三虛擬影像輸入單元VCA3於一虛擬環境中模擬而得。此外，第一虛擬影像輸入單元VCA1、第二虛擬影像輸入單元VCA2及第三虛擬影像輸入單元VCA3亦彼此間隔特定角度(例如30度)。
當嵌入式板/工作站304分別接收到該複數個真實影像資料RDATA與該複數個虛擬影像資料VDATA時，嵌入式板/工作站304可基於卷積類神經網路根據該複數個真實影像資料RDATA與該複數個虛擬影像資料VDATA進行深度學習訓練，以產生結果模型MOD。其中，卷積類神經網路可包含複數個卷積層(Convolution layer)、複數個池化層(Pooling layer)及複數個全連接層(fully connected layers)。該複數個卷積層與該複數個池化層係彼此交錯排列且該複數個全連接層位於卷積神經網路之輸出端。
請參照圖4，圖4繪示基於卷積類神經網路進行深度學習訓練之一實施例。如圖4所示，於此實施例中，卷積類神經網路由輸入端至輸出端依序包含第一卷積層CONV1、第一池化層POOL1、第二卷積層CONV2、第二池化層POOL2、第三卷積層CONV3、第三池化層POOL3、第四卷積層CONV4、第四池化層 POOL4、第一全連接層FC1及第二全連接層FC2。當一影像資料DATA輸入至卷積類神經網路時，卷積類神經網路係透過第一卷積層CONV1、第二卷積層CONV2、第三卷積層CONV3及第四卷積層CONV4從影像資料DATA中提取特徵並透過第一池化層POOL1、第二池化層POOL2、第三池化層POOL3及第四池化層POOL4降低其維度及複雜度，最後再由第一全連接層FC1及第二全連接層FC2進行分類後產生結果模型MOD。
需說明的是，於卷積類神經網路中，輸入的影像資料DATA可被轉換為多維資料陣列(Multidimensional data arrays)之形式，例如同時具有寬度(Width)、高度(Height)及深度(Depth)的三維(3D)資料陣列。
舉例而言，如圖4所示，當此三維資料陣列依序經過第一卷積層CONV1、第一池化層POOL1、第二卷積層CONV2、第二池化層POOL2、第三卷積層CONV3、第三池化層POOL3、第四卷積層CONV4、第四池化層POOL4之處理後，其寬度與高度會愈變愈小，而其深度則不一定會變小，亦即其體積亦會愈變愈小。
假設此三維資料陣列之初始體積大小為SIZE0，當此三維資料陣列依序經過第一卷積層CONV1、第一池化層POOL1、第二卷積層CONV2、第二池化層POOL2、第三卷積層CONV3、第三池化層POOL3、第四卷積層CONV4、第四池化層POOL4之處理後，其體積分別變為第一體積大小SIZE1~第八體積大小SIZE8，則初始體積大小SIZE0>第一體積大小SIZE1>第二體積大小SIZE2 >第三體積大小SIZE3>第四體積大小SIZE4>第五體積大小SIZE5>第六體積大小SIZE6>第七體積大小SIZE7>第八體積大小SIZE8，但相對地，此三維資料陣列所包含之資料數量則會愈變愈多。
接著，由第一全連接層FC1對此三維資料陣列進行第一次資料分類後得到第一分類數CFN1(例如200)，之後再進一步由第二全連接層FC2進行第二次資料分類後得到第二分類數CFN2(例如3)，其可包含代表左轉的第一分類L、代表直行的第二分類S及代表右轉的第三分類R，最後再根據這三種分類產生結果模型MOD後輸出至嵌入式板320。
需說明的是，由於結果模型MOD可包含有代表左轉的第一分類L、代表直行的第二分類S與代表右轉的第三分類R以及分別對應於第一分類L、第二分類S與第三分類R的不同影像特徵，因此，嵌入式板320可將設置於自走裝置4上之朝向正前方的第二影像輸入單元CA2所拍攝到的即時影像與結果模型MOD進行比對。
若即時影像之影像特徵係對應於結果模型MOD中之第一分類L，則嵌入式板320即可預測自走裝置4接下來應該要左轉，並由控制單元322發出運動控制訊號CTRL控制自走裝置4往左前方轉彎特定角度(例如30度，但不以此為限)；若即時影像之影像特徵係對應於結果模型MOD中之第二分類S，則嵌入式板320即可預測自走裝置4接下來應該要直行，並由控制單元322發出運動控 制訊號CTRL控制自走裝置4直行；若即時影像之影像特徵係對應於結果模型MOD中之第三分類R，則嵌入式板320即可預測自走裝置4接下來應該要右轉，並由控制單元322發出運動控制訊號CTRL控制自走裝置4往右前方轉彎特定角度(例如30度，但不以此為限)。
需說明的是，雖然上述實施例係以三個影像輸入單元與三種分類為例進行說明，但實際上之影像輸入單元與結果模型MOD中之分類的數目均可視實際需求而定，並不以此為限。
接著，請參照圖5A至圖5C，圖5A係繪示自走裝置4沿循跡線TL1左轉的示意圖；圖5B係繪示自走裝置4沿循跡線TL2直走的示意圖；圖5C係繪示自走裝置4沿循跡線TL3右轉的示意圖。需說明的是，無論是圖5A所繪示之左轉或圖5C所繪示之右轉，自走裝置4每次均偏轉特定角度(例如30度，但不以此為限)。
承上述，由於即時訓練軌跡導引系統3已基於卷積類神經網路進行深度學習訓練而產生結果模型MOD，因此，如圖6所示，即使是具有不同顏色(例如黃色線段與藍色線段等)、不同紋路(長條狀與圓形)及不同材質(例如紅磚與水泥)之不規則的循跡線TL4，例如美國波士頓著名的自由之路(Freedom trail)，即時訓練軌跡導引系統3亦可根據深度學習訓練後所產生的結果模型MOD預測並控制自走裝置4之行進方向，使得自走裝置4能持續沿著循跡線TL4行進且不會有偏離循跡線TL4之情事發生。
根據本發明之另一具體實施例為一種即時訓練軌跡導引方法。於此實施例中，本發明之即時訓練軌跡導引方法係基 於深度學習之方式來進行新環境、新導引線之資料蒐集與訓練，使得自走裝置能根據訓練結果自動地在該新環境中沿該新導引線行走。
請參照圖7，圖7係繪示此實施例中之即時訓練軌跡導引方法的流程圖。
如圖7所示，即時訓練軌跡導引方法可包含步驟S10、S12及S14，其中步驟S10與S12屬於第一階段(資料蒐集階段)且步驟S14屬於第二階段(循跡任務階段)，各步驟分別介紹如下：步驟S10：控制一自走裝置沿一循跡線行進並同時獲得與循跡線有關之複數個影像資料；步驟S12：根據該複數個影像資料進行一深度學習訓練(Deep learning training)，以產生一結果模型；以及步驟S14：根據結果模型預測並控制自走裝置之行進方向，致使自走裝置自動地沿循跡線行進。
於實際應用中，於第一階段(資料蒐集階段)中，步驟S10可採用手動控制的方式帶領自走裝置(例如自走車)從起點開始沿著循跡線行進，並同時讓設置於自走裝置上之複數個影像輸入單元(例如分別朝向左前方、正前方及右前方且彼此相隔特定角度的三台相機)分別開始拍照，藉以蒐集到自走裝置沿循跡線行進的過程中之不同時間點的複數個影像資料，並且該複數個影像資料中會包含有循跡線之影像。
當自走裝置沿循跡線行進至終點後，步驟S12可將步 驟S10所蒐集到該複數個影像資料傳送至嵌入式板/工作站，並由嵌入式板/工作站基於卷積類神經網路進行深度學習訓練，以產生結果模型。
於此實施例中，卷積類神經網路可包含複數個卷積層、複數個池化層及複數個全連接層，該複數個卷積層與該複數個池化層係彼此交錯排列且該複數個全連接層位於卷積神經網路之輸出端。當該複數個影像資料中之一影像資料輸入至卷積類神經網路時，係透過該複數個卷積層從影像資料中提取特徵並透過該複數個池化層降低其維度，再由該複數個全連接層進行分類後產生結果模型。
接著，於第二階段(循跡任務階段)中，步驟S14即可根據結果模型對於自走裝置接下來的行進方向進行預測並根據預測結果去控制自走裝置接下來的行進方向，使得本發明之即時訓練軌跡導引方法能夠讓自走裝置經過訓練後自動地沿著循跡線行進。
實際上，步驟S14係根據設置於自走裝置上之朝向正前方的相機所拍攝到的第一影像資料與步驟S12所產生的結果模型進行比對，並根據比對結果對於自走裝置接下來的行進方向進行預測。
舉例而言，在結果模型中，若第一影像資料中之循跡線出現第一影像特徵(例如影像中之循跡線呈現筆直狀)，代表自走裝置接下來應以第一運動方式行進(例如繼續往前直走，不需轉 彎)，因此，步驟S14會根據此一比對結果預測自走裝置接下來的行進方向應為往前直走並發出運動控制訊號控制自走裝置往前直走。
在結果模型中，若第一影像資料中之循跡線出現第二影像特徵(例如影像中之循跡線呈現向左彎曲狀)，代表自走裝置接下來應以第二運動方式行進(例如向左轉特定角度)，因此，步驟S14會根據此一比對結果預測自走裝置接下來的行進方向應為向左轉特定角度，並發出運動控制訊號控制自走裝置向左轉特定角度。
在結果模型中，若第一影像資料中之循跡線出現第三影像特徵(例如影像中之循跡線呈現向右彎曲狀)，代表自走裝置接下來應以第三運動方式行進(例如向右轉特定角度)，因此，步驟S14會根據此一比對結果預測自走裝置接下來的行進方向應為向右轉特定角度，並發出運動控制訊號控制自走裝置向右轉特定角度。
請參照圖8，圖8係繪示另一實施例中之即時訓練軌跡導引方法的流程圖。
如圖8所示，即時訓練軌跡導引方法可包含步驟S20~S28，其中步驟S20~S23屬於第一階段(資料蒐集階段)且步驟S24~S28屬於第二階段(循跡任務階段)。
於第一階段(資料蒐集階段)中，包含下列步驟：步驟S20：從複數個影像輸入單元分別取得複數個影 像輸入訊號；步驟S21：將該複數個影像輸入訊號存入控制模組；步驟S22：取出該複數個影像輸入訊號並採用深度學習(Deep learning)之方式進行訓練(Training)，以產生結果模型；以及步驟S23：輸出結果模型。
於實際應用中，步驟S20中之該複數個影像輸入單元可以是彼此相隔特定角度(例如30度)的三台相機，但不以此為限；步驟S22可透過工作站或嵌入式板進行深度學習之訓練，但不以此為限。
於第二階段(循跡任務階段)中，包含下列步驟：步驟S24：從該複數個影像輸入單元中之一影像輸入單元(例如於資料蒐集時，3台相機裡位於中間的該台相機，但不以此為限)取得第一輸入訊號；步驟S25：透過控制模組將第一輸入訊號轉換為第一影像訊號後傳送至嵌入式板；步驟S26：嵌入式板將第一影像訊號與深度學習之結果模型進行比對，以產生比對結果；步驟S27：根據比對結果提供運動控制訊號至控制模組；以及步驟S28：控制模組根據運動控制訊號控制自走車的行進方向。
於實際應用中，步驟S25係將機器人作業系統(Robot Operating System,ROS)訊息轉換為輕量級通信與數據封送庫(Lightweight Communications and Marshalling,LCM)訊息，而步驟S27則係將輕量級通信與數據封送庫(Lightweight Communications and Marshalling,LCM)訊息轉換為機器人作業系統(Robot Operating System,ROS)訊息。
相較於先前技術，本發明之即時訓練軌跡導引系統及方法即使在室外環境、動態活動較頻繁的室內環境以及循跡線出現破損髒汙的情況下，亦能透過深度學習之方式進行新環境、新循跡線之資料蒐集與訓練，使得自走裝置能根據訓練結果自動地在該新環境中沿該新循跡線行走。因此，本發明之即時訓練軌跡導引系統及方法不僅能快速且準確地學習沿循跡線之行走方式，且不會由於環境中之光線亮暗變化或循跡線破損髒汙而造成誤判，還可進一步設定不同的行走路線，無論是在室外或室內之動態環境下均可使用，故可廣泛應用於高安全性與高可靠度的軌跡導引任務，例如盲人導航及工廠自動搬運車之軌跡導引，極具市場潛力。

Claims (12)

  1. 一種即時訓練軌跡導引方法，包括下列步驟：(a)控制一自走裝置沿一循跡線行進並同時蒐集與該循跡線有關之複數個影像資料；(b)根據該複數個影像資料進行一深度學習訓練(Deep learning training)，以產生一結果模型；以及(c)根據該結果模型預測並控制該自走裝置之行進方向，致使該自走裝置自動地沿該循跡線行進；其中，步驟(b)係基於一卷積類神經網路(Convolutional Neural Networks,CNN)進行該深度學習訓練，該卷積類神經網路包含複數個卷積層(Convolution layer)、複數個池化層(Pooling layer)及複數個全連接層(fully connected layers)，該複數個卷積層與複數個池化層係彼此交錯排列且該複數個全連接層位於該卷積神經網路之輸出端；當該複數個影像資料中之一影像資料輸入至該卷積類神經網路時，該卷積類神經網路係透過該複數個卷積層從該影像資料中提取特徵並透過該複數個池化層降低其維度，再由該複數個全連接層進行分類後產生該結果模型；步驟(c)包含：(c1)設置於該自走裝置上之複數個影像輸入單元中之一影像輸入單元接收與該循跡線有關之一影像輸入訊號；(c2)根據該影像輸入訊號與該結果模型進行一深度學習預測，以產生一預測結果；以及(c3)根據該預測結果提供一運動控制訊號控制該自走裝置之行 進方向，致使該自走裝置自動地沿該循跡線行進。
  2. 如申請專利範圍第1項所述之即時訓練軌跡導引方法，其中該複數個影像資料包含複數個真實影像資料，該複數個真實影像包含有該循跡線之影像且該複數個真實影像資料係由設置於該自走裝置上之複數個影像輸入單元取得，該複數個影像輸入單元係彼此間隔一特定角度。
  3. 如申請專利範圍第2項所述之即時訓練軌跡導引方法，其中該複數個影像資料還包含複數個虛擬影像資料，且該複數個虛擬影像資料係由複數個虛擬影像輸入單元於一虛擬環境中模擬而得，該複數個虛擬影像輸入單元亦彼此間隔該特定角度。
  4. 如申請專利範圍第1項所述之即時訓練軌跡導引方法，其中該影像輸入單元係位於該複數個影像輸入單元之正中間且指向該自走裝置直線行進之方向。
  5. 如申請專利範圍第1項所述之即時訓練軌跡導引方法，其中步驟(a)係透過手動方式控制該自走裝置沿該循跡線行進。
  6. 如申請專利範圍第1項所述之即時訓練軌跡導引方法，其中該循跡線包含至少一顏色、至少一紋路或至少一材質。
  7. 一種即時訓練軌跡導引系統，應用於一自走裝置，該即時訓練軌跡導引系統包括：一影像輸入模組，包含設置於該自走裝置上之複數個影像輸入單元，當該自走裝置受控而沿一循跡線行進時，該影像輸入模組透過該複數個影像輸入單元獲得與該循跡線有關之複數 個影像資料；一深度學習訓練模組，耦接該影像輸入模組，用以根據該複數個影像資料進行一深度學習訓練(Deep learning training)，以產生一結果模型；以及一控制模組，分別耦接該深度學習訓練模組及該自走裝置，用以根據該結果模型預測並控制該自走裝置之行進方向，致使該自走裝置自動地沿該循跡線行進；其中，該深度學習訓練模組係基於一卷積類神經網路(Convolutional Neural Networks,CNN)進行該深度學習訓練，該卷積類神經網路包含複數個卷積層(Convolution layer)、複數個池化層(Pooling layer)及複數個全連接層(fully connected layers)，該複數個卷積層與複數個池化層係彼此交錯排列且該複數個全連接層位於該卷積神經網路之輸出端；當該複數個影像資料中之一影像資料輸入至該卷積類神經網路時，該卷積類神經網路係透過該複數個卷積層從該影像資料中提取特徵並透過該複數個池化層降低其維度，再由該複數個全連接層進行分類後產生該結果模型；當設置於該自走裝置上之複數個影像輸入單元中之一影像輸入單元接收到與該循跡線有關之一影像輸入訊號時，該控制模組根據該影像輸入訊號與該結果模型進行一深度學習預測以產生一預測結果，並根據該預測結果提供一運動控制訊號控制該自走裝置之行進方向，致使該自走裝置自動地沿該循跡線行進。
  8. 如申請專利範圍第7項所述之即時訓練軌跡導引系統，其中該複數個影像資料包含複數個真實影像資料，該複數個真實影像包含有該循跡線之影像且該複數個真實影像資料係由該複數個影像輸入單元取得，該複數個影像輸入單元於該自走裝置上係彼此間隔一特定角度。
  9. 如申請專利範圍第8項所述之即時訓練軌跡導引系統，其中該複數個影像資料還包含複數個虛擬影像資料，且該複數個虛擬影像資料係由複數個虛擬影像輸入單元於一虛擬環境中模擬而得，該複數個虛擬影像輸入單元亦彼此間隔該特定角度。
  10. 如申請專利範圍第7項所述之即時訓練軌跡導引系統，其中該影像輸入單元係位於該複數個影像輸入單元之正中間且指向該自走裝置直線行進之方向。
  11. 如申請專利範圍第7項所述之即時訓練軌跡導引系統，其中該自走裝置係受手動方式控制而沿該循跡線行進。
  12. 如申請專利範圍第7項所述之即時訓練軌跡導引系統，其中該循跡線包含至少一顏色、至少一紋路或至少一材質。
TW107105656A 2018-02-14 2018-02-14 即時訓練軌跡導引系統及方法 TWI673586B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
TW107105656A TWI673586B (zh) 2018-02-14 2018-02-14 即時訓練軌跡導引系統及方法
CN201810431140.2A CN110163336A (zh) 2018-02-14 2018-05-08 即时训练轨迹导引系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW107105656A TWI673586B (zh) 2018-02-14 2018-02-14 即時訓練軌跡導引系統及方法

Publications (2)

Publication Number Publication Date
TW201935162A TW201935162A (zh) 2019-09-01
TWI673586B true TWI673586B (zh) 2019-10-01

Family

ID=67644971

Family Applications (1)

Application Number Title Priority Date Filing Date
TW107105656A TWI673586B (zh) 2018-02-14 2018-02-14 即時訓練軌跡導引系統及方法

Country Status (2)

Country Link
CN (1) CN110163336A (zh)
TW (1) TWI673586B (zh)

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWM284020U (en) * 2005-08-17 2005-12-21 Ta Young Electronic Co Ltd Navigator for a mobile
TWM352062U (en) * 2008-09-11 2009-03-01 Li-John Jou Tracking unmanned vehicle
CN103226354A (zh) * 2013-02-27 2013-07-31 广东工业大学 基于光电导航的无人驾驶道路识别系统
CN103901890A (zh) * 2014-04-09 2014-07-02 中国科学院深圳先进技术研究院 基于家庭庭院的户外自动行走装置及其控制系统和方法
CN104238566A (zh) * 2014-09-27 2014-12-24 江阴润玛电子材料股份有限公司 电子电路用基于图像识别的巡线机器人控制系统
CN104383689A (zh) * 2014-07-15 2015-03-04 广州大学 智能射球竞技机器人
CN104656652A (zh) * 2015-01-05 2015-05-27 温州大学 一种机器人全自动运水的方法和运水机器人系统
CN104679006A (zh) * 2015-03-02 2015-06-03 鲍驭浩 一种自动循迹识别指示系统及其指示方法
CN104773202A (zh) * 2015-03-04 2015-07-15 郑州机械研究所 汽车、单轮组/双轮组无轨列车及其循迹转向控制方法
CN104858873A (zh) * 2015-06-03 2015-08-26 天津商业大学 循迹送餐机器人
CN205679998U (zh) * 2016-06-22 2016-11-09 浙江机电职业技术学院 一种循迹小车
CN205692040U (zh) * 2016-02-02 2016-11-16 罗梓杰 一种自平衡送餐机器人系统
CN206590005U (zh) * 2016-11-16 2017-10-27 北方工业大学 自动导引运输车

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8036425B2 (en) * 2008-06-26 2011-10-11 Billy Hou Neural network-controlled automatic tracking and recognizing system and method
US9346167B2 (en) * 2014-04-29 2016-05-24 Brain Corporation Trainable convolutional network apparatus and methods for operating a robotic vehicle
US20150339589A1 (en) * 2014-05-21 2015-11-26 Brain Corporation Apparatus and methods for training robots utilizing gaze-based saliency maps
CN107180220B (zh) * 2016-03-11 2023-10-31 松下电器（美国）知识产权公司 危险预测方法
JP2017162438A (ja) * 2016-03-11 2017-09-14 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 危険予測方法
CN106874914B (zh) * 2017-01-12 2019-05-14 华南理工大学 一种基于深度卷积神经网络的工业机械臂视觉控制方法
CN107066774A (zh) * 2017-06-22 2017-08-18 武汉市陆刻科技有限公司 倾斜摄影测量预测滚石运动轨迹模拟系统及其预测方法

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWM284020U (en) * 2005-08-17 2005-12-21 Ta Young Electronic Co Ltd Navigator for a mobile
TWM352062U (en) * 2008-09-11 2009-03-01 Li-John Jou Tracking unmanned vehicle
CN103226354A (zh) * 2013-02-27 2013-07-31 广东工业大学 基于光电导航的无人驾驶道路识别系统
CN103901890A (zh) * 2014-04-09 2014-07-02 中国科学院深圳先进技术研究院 基于家庭庭院的户外自动行走装置及其控制系统和方法
CN104383689A (zh) * 2014-07-15 2015-03-04 广州大学 智能射球竞技机器人
CN104238566A (zh) * 2014-09-27 2014-12-24 江阴润玛电子材料股份有限公司 电子电路用基于图像识别的巡线机器人控制系统
CN104656652A (zh) * 2015-01-05 2015-05-27 温州大学 一种机器人全自动运水的方法和运水机器人系统
CN104679006A (zh) * 2015-03-02 2015-06-03 鲍驭浩 一种自动循迹识别指示系统及其指示方法
CN104773202A (zh) * 2015-03-04 2015-07-15 郑州机械研究所 汽车、单轮组/双轮组无轨列车及其循迹转向控制方法
CN104858873A (zh) * 2015-06-03 2015-08-26 天津商业大学 循迹送餐机器人
CN205692040U (zh) * 2016-02-02 2016-11-16 罗梓杰 一种自平衡送餐机器人系统
CN205679998U (zh) * 2016-06-22 2016-11-09 浙江机电职业技术学院 一种循迹小车
CN206590005U (zh) * 2016-11-16 2017-10-27 北方工业大学 自动导引运输车

Also Published As

Publication number Publication date
TW201935162A (zh) 2019-09-01
CN110163336A (zh) 2019-08-23

Similar Documents

Publication Publication Date Title
Caesar et al. nuplan: A closed-loop ml-based planning benchmark for autonomous vehicles
Cai et al. Probabilistic end-to-end vehicle navigation in complex dynamic environments with multimodal sensor fusion
Chen et al. Deep imitation learning for autonomous driving in generic urban scenarios with enhanced safety
WO2021135554A1 (zh) 一种无人车全局路径规划方法和装置
Ruan et al. Mobile robot navigation based on deep reinforcement learning
CN110139794B (zh) 用于停放车辆的系统、方法及非暂时计算机可读存储介质
CN110914641B (zh) 自主导航的导航信息的融合构架和分批对齐
CN108196535B (zh) 基于增强学习和多传感器融合的自动驾驶系统
CN109582993B (zh) 城市交通场景图像理解与多视角群智优化方法
US20190145784A1 (en) Lightweight Vehicle Localization Systems and Methods
CN205507542U (zh) 基于激光和视觉的道路自主清扫控制系统
CN105654773A (zh) 一种车载伴飞无人机智能导引系统
CN105759820A (zh) 基于激光和视觉的道路自主清扫控制系统及控制方法
WO2023207437A1 (zh) 一种基于动态轨迹流的场景流数字孪生方法及系统
CN112541449A (zh) 一种基于无人机航拍视角的行人轨迹预测方法
Li et al. Oil: Observational imitation learning
CN110986945B (zh) 基于语义高度地图的局部导航方法和系统
Bartolomei et al. Semantic-aware active perception for uavs using deep reinforcement learning
Morales et al. Towards predictive driving through blind intersections
TWI673586B (zh) 即時訓練軌跡導引系統及方法
CN113358118A (zh) 非结构环境中端到端的室内移动机器人自主导航方法
Hong et al. Real-time visual-based localization for mobile robot using structured-view deep learning
Mori et al. Automatic Generation of Multidestination Routes for Autonomous Wheelchairs
CN114964268A (zh) 一种无人机导航方法及装置
Di Fava et al. Visual navigation of mobile robots for autonomous patrolling of indoor and outdoor areas