TWI756844B - 自走車導航裝置及其方法 - Google Patents

自走車導航裝置及其方法 Download PDF

Info

Publication number
TWI756844B
TWI756844B TW109133271A TW109133271A TWI756844B TW I756844 B TWI756844 B TW I756844B TW 109133271 A TW109133271 A TW 109133271A TW 109133271 A TW109133271 A TW 109133271A TW I756844 B TWI756844 B TW I756844B
Authority
TW
Taiwan
Prior art keywords
self
propelled vehicle
image data
vehicle navigation
real
Prior art date
Application number
TW109133271A
Other languages
English (en)
Other versions
TW202213015A (zh
Inventor
李永仁
涂兆輝
鄭憬聰
洪瑞志
Original Assignee
財團法人工業技術研究院
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 財團法人工業技術研究院 filed Critical 財團法人工業技術研究院
Priority to TW109133271A priority Critical patent/TWI756844B/zh
Priority to CN202011121353.9A priority patent/CN114252071A/zh
Priority to US17/114,540 priority patent/US11636612B2/en
Application granted granted Critical
Publication of TWI756844B publication Critical patent/TWI756844B/zh
Publication of TW202213015A publication Critical patent/TW202213015A/zh

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0221—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving a learning process
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/005—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 with correlation of navigation data from several sources, e.g. map or contour matching
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G01C21/165—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0242—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using non-visible light signals, e.g. IR or UV signals
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0251—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting 3D information from a plurality of images taken from different locations, e.g. stereo vision
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0255—Control of position or course in two dimensions specially adapted to land vehicles using acoustic signals, e.g. ultra-sonic singals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Electromagnetism (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Acoustics & Sound (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Image Processing (AREA)

Abstract

一種自走車導航裝置及其方法，此裝置其包含彩色深度攝影機、複數個感測器及處理器。彩色深度攝影機在自走車被操作沿包含複數個路徑之目標路線移動時擷取各路徑的深度影像資料及彩色影像資料。該些感測器(包含六軸感測器及旋轉編碼器)記錄自走車在各路徑之加速度、移動速度、方向、轉向角度及移動距離。處理器根據該些路徑的該些深度影像資料、該些彩色影像資料、該些加速度、該些移動速度、該些方向、該些轉向角度及該些移動距離產生訓練資料，並將訓練資料輸入機械學習模型進行深度學習以產生訓練結果。因此，在不使用定位技術即可實現自走車的自動導航，能降低自動導航技術的成本。

Description

自走車導航裝置及其方法
本發明係有關於一種導航裝置，特別是一種自走車導航裝置及方法。
由於人工智慧的進步，自動導航技術的應用也愈來愈廣泛。現有的自動導航技術依不同應用環境或精確度的需求，須要搭配不同的定位技術；然而，這些定位技術均有一定的佈建難度及複雜度，故會大幅增加自動導航技術的成本。
現有的機器學習技術可透過影像辨識及數種感測器模仿人類操作模式。然而，若將現有的機器學習技術應用於自走車(automated guided vehicle，AGV)的自動導航技術，可能會因影像資訊量過於龐大、雜訊背景過多以及圖片相似度過高等因素，導致學習的結果無法收斂。因此，現有的機器學習技術無法應用於自走車的自動導航技術。
本發明之目的是在於提供一種自走車導航裝置及其方法，在不使用定位技術即可實現自走車的自動導航。
本發明另一目的是利用機械學習，並結合深度影像學習環境輪廓邏輯，應用降維方法對深度影像資料進行處理，使深度影像資料的資訊量大幅 降低，產出有環境輪廓上視圖，並透過機械學習模型根據降維後的深度影像資料進行深度學習。
根據本發明之一實施例，本發明提出一種自走車導航裝置，其包含彩色深度攝影機、複數個感測器及處理器。彩色深度攝影機在自走車被操作沿包含複數個路徑之目標路線移動時擷取各路徑的深度影像資料及彩色影像資料。該些感測器包含六軸感測器及旋轉編碼器；該些感測器記錄自走車在各路徑之加速度、移動速度、方向、轉向角度及移動距離。處理器根據該些路徑的該些深度影像資料、該些彩色影像資料、該些加速度、該些移動速度、該些方向、該些轉向角度及該些移動距離產生訓練資料，並將訓練資料輸入機械學習模型進行深度學習以產生訓練結果。
根據本發明之另一實施例，本發明提出一種自走車導航方法，其包含操作自走車沿包含複數個路徑之目標路線移動；由彩色深度攝影機擷取各路徑的深度影像資料及彩色影像資料；透過複數個感測器，包含六軸感測器及旋轉編碼器，記錄自走車在各路徑之加速度、移動速度、方向、轉向角度及移動距離；經由處理器根據該些路徑的該些深度影像資料、該些彩色影像資料、該些加速度、該些移動速度、該些方向、該些轉向角度及該些移動距離產生訓練資料；以及；由處理器將訓練資料輸入機械學習模型進行深度學習以產生訓練結果。
承上所述，依本發明之自走車導航裝置及其方法，其可具有一或多個下述優點：
(1)本發明自走車導航裝置能在不使用定位技術的情況下透過機械學習模型產生訓練結果以模仿人類的操作模式，以實現自走車的自動導航，故能大幅降低自動導航技術的成本。
(2)本發明自走車導航裝置應用降維方法對深度影像資料進行處理，使深度影像資料的資訊量大幅降低，並透過機械學習模型根據降維後的深度影像資料進行深度學習，故能有效地進行深度學習且能提升深度學習的效率。
(3)本發明自走車導航裝置透過機械學習模型同時根據深度影像資料及彩色影像資料進行深度學習，透過降維後的深度影像資料，可加強自走車導航裝置的環境輪廓及空間邏輯概念；因此，自走車導航裝置不再僅使用影像相似度學習，而是根據環境輪廓、空間邏輯概念及影像相似度進行比對，以決定自走車的加速度、移動速度、方向、轉向角度、移動距離及停靠站，上述的機制能有效地解決影像資料過度學習或影像資料量太過複雜無法收斂問題，能有效地提升導航辨識效果。
(4)本發明自走車導航裝置整合多種感測器，包含六軸感測器、旋轉編碼器、指南針及避障感測器等，故能更為精確地模擬人類感觀，使自走車的自動導航更接近人類的操作模式。
1,2:自走車導航裝置
11,21:彩色深度攝影機
12,22:控制器
13,23:處理器
14,24:六軸感測器
15,25:旋轉編碼器
26:避障感測器
V:自走車
R:遙控裝置
M:機械學習模型
m1:卷積層
m2:丟棄層
m3:平坦層
m4:全連接層
d1:深度影像資料
d2:彩色影像資料
d3:加速度
d4:移動速度
d5:方向
d6:移動距離
d7:轉向角度
C:螢幕
A:螢幕的中線
L:螢幕的長度
W:螢幕的寬度
O:原點
f:虛擬距離
N:鏡頭的虛擬位置
K:物體的真實位置
θ:彩色深度攝影機的可視範圍的角度
θx:夾角
dp:像素的深度值的線段
(x,y):像素座標
WX:像素在X軸的真實座標
TR:目標路線
P1~P7:路徑
S1~S7:停靠站
Lw:左牆面
Rw:右牆面
Gs:顏色區塊
S81~S87:步驟流程
第1圖 係為本發明之第一實施例之設置於自走車之自走車導航裝置之示意圖。
第2圖 係為本發明之第一實施例之自走車導航裝置之方塊圖。
第3圖 係為本發明之第一實施例之自走車導航裝置之訓練路徑之示意圖。
第4圖 係為本發明之第一實施例之自走車導航裝置之機械學習模型之示意圖。
第5A圖~第5E圖 係為本發明之第一實施例之自走車導航裝置之深度影像資料之降維方法之示意圖。
第6A圖~第6C圖 係為應用現有彩色視覺辨識學習技術之自動導航模式之示意圖。
第7A圖~第7D圖 係為本發明之第一實施例之自走車導航裝置之自動導航模式之示意圖。
第8圖 係為本發明之第一實施例之自走車導航方法之流程圖。
第9圖 係為本發明之第二實施例之自走車導航裝置之方塊圖。
以下將參照相關圖式，說明依本發明之自走車導航裝置及其方法之實施例，為了清楚與方便圖式說明之故，圖式中的各部件在尺寸與比例上可能會被誇大或縮小地呈現。在以下描述及/或申請專利範圍中，當提及元件「連接」或「耦合」至另一元件時，其可直接連接或耦合至該另一元件或可存在介入元件；而當提及元件「直接連接」或「直接耦合」至另一元件時，不存在介入元件，用於描述元件或層之間之關係之其他字詞應以相同方式解釋。為使便於理解，下述實施例中之相同元件係以相同之符號標示來說明。
請參閱第1圖、第2圖及第3圖，其係為本發明之第一實施例之設置於自走車之自走車導航裝置之示意圖、自走車導航裝置之方塊圖及自走車導航裝置之訓練路徑之示意圖。如第1圖及第2圖所示，彩色深度(RGB-D)攝影機11 可設置於一自走車V上；彩色深度攝影機11可為自走車導航裝置1的其中一個元件，自走車導航裝置1能在經過訓練程序後為自走車V進行自動導航。
如第2圖所示，自走車導航裝置1包含彩色深度攝影機11、控制器12、處理器13及複數個感測器，該些感測器包含六軸感測器14及旋轉編碼器15。在一實施例中，處理器13可為中央處理器、特殊應用積體電路晶片或其它類似的元件。
彩色深度攝影機11與處理器13連接，並用於擷取深度影像資料及彩色影像資料提供至處理器13。
六軸感測器14與處理器13連接。六軸感測器14用於感測自走車V移動時的加速度、移動速度、方向及轉向角度提供至處理器13。
旋轉編碼器15與處理器13連接。旋轉編碼器15用於感測自走車V移動的步數，並將自走車V移動的步數轉換為移動距離提供至處理器13。另外，自走車導航裝置1還可包含避障感測器(如第8圖所示之避障感測器26)。
處理器13接收彩色深度攝影機11擷取的深度影像資料與彩色影像資料、六軸感測器14的感測資料及旋轉編碼器15的感測資料，並將上述資料輸入至機械學習模型進行深度學習以產生訓練結果，並將訓練結果輸入處理器13，處理器13再產生訊號並將訊號傳送至控制器12，使控制器12產生控制訊號以執行導航工作。
當自走車V進入自動導航模式時，控制器12則根據彩色深度攝影機11擷取的即時深度影像資料與即時彩色影像資料及訓練結果進行自動導航。
如第3圖所示，使用者可利用遙控裝置R，例如行動裝置、手機、平板等等，操作自走車V在一目標路線TR移動以進行訓練。其中，目標路線TR 包含複數個路徑P1~P7及複數個停靠站S1~S7；其中，該些路徑P1~P7不限於直線路徑，也可為彎曲路徑或有一個以上的轉彎區的路徑。使用者可利用遙控器R操作自走車V由一起始點出沿路徑P1移動至路徑P7，再回到起始點。在自走車V移動的過程中，彩色深度攝影機11擷取各個路徑P1~P7的深度影像資料與彩色影像資料；六軸感測器14感測自走車V在各個路徑P1~P7移動時的加速度、移動速度、方向及轉向角度；旋轉編碼器15感測感測自走車V在各個路徑P1~P7移動的步數，並將其轉換為移動距離。因此，處理器13能獲得各個路徑P1~P7的深度影像資料、各個路徑P1~P7的彩色影像資料、自走車V在各個路徑P1~P7移動時的加速度、移動速度、方向、轉向角度及移動距離。
接下來，處理器13根據該些路徑P1~P7的該些深度影像資料、該些彩色影像資料、該些加速度、該些移動速度、該些方向、該些移動距離及該些轉向角度產生訓練資料，並將訓練資料輸入機械學習模型進行深度學習以產生訓練結果，並將訓練結果輸入至處理器13，處理器13再產生訊號並將訊號傳送至控制器12，使控制器12產生控制訊號以執行自走車V之導航工作。在本實施例中，機械學習模型可為卷積類神經網路模型(Convolutional Neural Network，CNN)；在另一實施例中，機械學習模型也可為其它類似的模型。使用者操作自走車V在此目標路線TR移動數次以進行訓練。
其中，機械學習模型根據該些路徑P1~P7的該些深度影像資料進行深度學習，以模仿使用者操作自走車V在各個路徑P1~P7的移動模式(包含加速度、移動速度、方向、轉向角度及移動距離)，並根據該些路徑P1~P7的該些彩色影像資料判斷該些停靠站S1~S7的位置。
透過上述的訓練機制，當自走車V進入自動導航模式時，控制器12根據訓練結果與彩色深度攝影機11擷取之即時深度影像資料及即時彩色影像資料以取得對應於即時深度影像資料的該些加速度、該些移動速度、該些方向、該些轉向角度及該些移動距離，並即時控制自走車V以該些加速度、該些移動速度、該些方向、該些轉向角度及該些移動距離進行移動，並判斷該些停靠站S1~S7的位置，使自走車V能在到達停靠站S1~S7時停止移動。機械學習的詳細內容將於後續的實施例說明。
請參閱第4圖，其係為本發明之第一實施例之自走車導航裝置之機械學習模型之示意圖。如圖所示，機械學習模型M(本實施例為卷積類神經網路模型)可包含卷積層(Convolution layer)m1、丟棄層(Dropout layer)m2、平坦層(Flatten layer)m3及全連接層(Fully connected layer)m4。
如前述，處理器13根據該些深度影像資料d1、該些彩色影像資料d2、該些加速度d3、該些移動速度d4、該些方向d5、該些移動距離d6及該些轉向角度d7產生訓練資料，並將訓練資料輸入機械學習模型M。其中，卷積層m1能找尋影像資料的重要特徵；丟棄層m2能執行正規化，以避免過度學習；平坦層m3則能將影像資料轉換為一維資訊；全連接層m4能整合由前幾層獲得的特徵。機械學習模型M能透過上述資料進行深度學習以產生訓練結果FR。
請參閱第5A圖~第5E圖，其係為本發明之第一實施例之自走車導航裝置之深度影像資料之降維方法之示意圖。處理器13能執行降維方法對該些深度影像資料d1進行處理。處理器13可執行降維方法將各路徑P1~P7的深度影像資料d1轉換為二維輪廓資料，再將二維輪廓資料轉換為一維陣列資料，再將二維輪廓資料及一維陣列資料進行深度學習。因此，如前述，處理器13能在進行 深度學習時對該些深度影像資料d1進行降維，以做為訓練資料的一部份，以更有效地進行深度學習且能提升深度學習的效率。
同樣的，處理器13也根據彩色影像資料d2透過機械學習模型M進行深度學習，使處理器13能根據彩色影像之影像特徵辨識與各個停靠站S1~S7對應的彩色影像。如此，在訓練程序完成後，控制器12即可根據彩色深度攝影機11擷取之即時彩色影像資料及訓練結果FR判斷目標路線TR中的該些停靠站S1~S7；此部份的詳細內容將於第7D圖之實施例中詳細說明。
第5A圖為任一路徑P1~P7的深度影像資料d1的其中一個深度影像，此深度影像包含右牆面Rw及左牆面Lw。彩色深度攝影機11的螢幕C的長度及寬度分別為L及W。
如第5B圖所示，每一個像素的像素座標為(x,y)；x可為1~L，而y可為1~W，而此像素座標的深度值為zx,y。
如第5C圖所示，N表示鏡頭的虛擬位置；f表示虛擬距離；dp表示此像素的深度值zx,y的線段；θ表示彩色深度攝影機11的可視範圍(FOV)的角度；A表示螢幕C的中線；O表示原點，即彩色深度攝影機11的可視範圍的底部的點；θx表示同時通過原點O及此像素的與中線A的夾角；K表示物體真實的位置；WX表示此像素在X軸的真實座標(長度L、寬度W及彩色深度攝影機11的可視範圍的角度θ為已知)。
因此，虛擬距離f可由下式(1)計算而得：
Figure 109133271-A0305-02-0010-1
由於f及此像素的座標(x,y)為已知，θx可由下式(2)計算而得：
Figure 109133271-A0305-02-0010-2
由於θx及線段dp為已知，故此像素在X軸的真實座標WX可由下式(3)計算而得：sinθ x ×dp=WX.............................(3)
此像素在Y軸的真實座標WY也可透過同樣的方式計算而得。
如第5D圖所示，轉換每一個像素的真實座標(WX,WY,WZ)與其對應的角度θ wx,wy,wz 則能得到一個三維真實座標立體圖。
如第5E圖所示，根據前述之三維真實座標立體圖的每一個WY的最小z值可得到一個二維影像，再記錄二維影像的WY軸的z值及其對應的角度即可得到一維影像(由一連串角度與z值組成)。
由上述可知，處理器13可透過降維方法對該些深度影像資料d1進行處理，以將該些深度影像資料d1轉換為二維輪廓資料及一維陣列資料，使資訊量大幅降低，並透過機械學習模型M根據二維輪廓資料及一維陣列資料進行深度學習，故能有效地進行深度學習且能提升深度學習的效率。
請參閱第6A圖~第6C圖，其係為應用現有彩色視覺辨識學習技術之自動導航模式之示意圖。透過現有彩色視覺辨識學習技術進行自動導航模式之訓練時，自走車V之導航裝置須根據彩色影像資料中的彩色特徵學習如何進行移動。如第6A圖所示，自走車V之導航裝置須根據彩色影像資料中的彩色特徵，即左牆面Lw及右牆面Rw下方的顏色區塊Gs，學習影像具有此彩色特徵時自走車V之左側及右側有左牆面Lw及右牆面Rw，且自走車V應為直行。
如第6B圖所示，自走車V之導航裝置須根據影像中的彩色特徵，即左牆面Lw下方的顏色區塊Gs，學習影像具有此彩色特徵時自走車V之前方有左牆面Lw，且自走車V應為右轉再直行。
如第6C圖所示，自走車V之導航裝置須根據影像中的彩色特徵，即左牆面Lw及右牆面Rw下方的顏色區塊Gs，學習影像具有此彩色特徵時自走車V之左側及右側有左牆面Lw及右牆面Rw，且自走車V應為右轉再直行。
由上述可知，應用現有的彩色視覺辨識學習技術之自動導航模式需要根據彩色影像資料中的彩色特徵進行學習，故需要執行大量的影像相似度分析，導致此自動導航模式的穩定度大幅降低。因此，本發明藉上述深度影像資料可邏輯分析環境應對行為，以補足提升應用彩色影像資料時穩定度低的問題，加強穩定度。
請參閱第7A圖~第7E圖，其係為本發明之第一實施例之自走車導航裝置之自動導航模式之示意圖。當自走車V進入自動導航模式時，控制器12則根據彩色深度攝影機11擷取的即時深度影像資料、彩色深度攝影機11擷取即時彩色影像資料及訓練結果FR進行自動導航。其中，控制器12將即時深度影像資料的各個即時深度影像與訓練結果FR比對，以判斷此即時深度影像對應的加速度d3、移動速度d4、方向d5、移動距離d6及轉向角度d7，並控制自走車V以此加速度d3、移動速度d4、方向d5、移動距離d6及轉向角度d7移動。如前述，處理器13主要透過即時深度影像資料判斷對應的加速度d3、移動速度d4、方向d5、移動距離d6及轉向角度d7，且在進行深度學習時對該些深度影像資料d1進行降維，以做為訓練資料的一部份，故大幅降低資訊量，使學習結果能確實收斂。因此，控制器12能有效地透過深度學習的結果模仿人類的操作模式。
如第7A圖所示，控制器12可根據比對結果判斷目前位置二側具有左牆面Lw及右牆面Rw，而目前位置的前方具有較高的深度；因此，控制器12可以對應的加速度d3、移動速度d4、方向d5及移動距離d6控制自走車V直行。
如第7B圖所示，控制器12可根據比對結果判斷目前位置的左側及前方均為左牆面Lw；因此，控制器12可以對應的轉向角度d7控制自走車V轉向，再控制自走車V直行。
如第7C圖所示，控制器12可根據比對結果判斷目前位置二側具有左牆面Lw及右牆面Rw，而目前位置的右前方具有較高的深度；因此，控制器12可以對應的轉向角度d7控制自走車V轉向，再控制自走車V直行。
如前述，處理器13根據彩色影像資料d2透過機械學習模型M進行深度學習，使處理器13能根據彩色影像之影像特徵辨識與各個停靠站S1~S7對應的彩色影像，如此控制器12即可根據彩色深度攝影機11擷取之即時彩色影像資料及訓練結果FR判斷目標路線TR中的一個或多個停靠站S1~S7。如第7D圖所示，控制器12根據彩色深度攝影機11擷取之即時彩色影像資料及訓練結果FR判斷目標路線TR中的該些停靠站S1~S7。其中，控制器12將即時彩色影像資料的各個即時彩色影像與訓練結果FR比對，以判斷此即時彩色影像是否對應於訓練結果FR中各停靠站S1~S7之彩色影像。然後，控制器12將彩色深度攝影機11擷取之即時彩色影像資料與訓練結果FR之該些停靠站S1~S7之彩色影像之相似度與一預設門檻值比較以判斷目前位置是否為該些停靠站S1~S7之一；此預設門檻值可依需求設定；在本實施例中，此預設門檻值可為60%。其中，若控制器12判斷此即時彩色影像與訓練結果FR之任一停靠站S1~S7之彩色影像之相似度大於此預設門檻值，控制器12則判斷目前位置為停靠站S1~S7中之一，並控制自走車V停止在目前的位置，讓使用者能將貨物放置於自走車V上，或由自走車V上移除貨物。前述之預設門檻值可依實際需求設定。當然，停靠站S1~S7也可透過該些 深度影像資料d1進行訓練並判斷，但彩色影像能提供更多的影像特徵，故透過彩色影像能更為有效地辨識停靠站S1~S7。
由上述可知，本實施例之自走車導航裝置1根據該些深度影像資料d1、該些彩色影像資料d2、該些加速度d3、該些移動速度d4、該些方向d5、該些移動距離d6及該些轉向角度d7產生訓練資料透過機械學習模型M進行深度學習產生訓練結果FR，以模仿人類的操作模式。因此，自走車導航裝置1可在不使用定位技術的情況下實現自走車的自動導航，故能大幅降低自動導航技術的成本。
此外，自走車導航裝置1並不完全採用彩色影像資料d2透過影像相似度進行訓練，而是以深度影像資料d1判斷各路徑P1~P7的加速度d3、移動速度d4、方向d5、移動距離d6及轉向角度d7，而彩色影像資料d2用於判斷停靠站S1~S7。因此，自走車導航裝置1能根據環境輪廓、空間邏輯概念及影像相似度進行比對，故能大幅降低資料量且有效地解決影像資料過度學習或影像資料量太過複雜無法收斂問題。因此，自走車導航裝置1更有效地進行深度學習且能提升深度學習的效率。
當然，上述為舉例說明，自走車導航裝置1之各元件及其協同關係均可依實際需求變化，本發明並不以此為限。
如前述，現有的自動導航技術依不同應用環境或精確度的需求，須要搭配不同的定位技術；然而，這些定位技術均有一定的佈建難度以及複雜度，故會大幅增加自動導航技術的成本。然而，根據本發明之實施例，自走車導航裝置能在不使用定位技術的情況下透過機械學習模型產生訓練結果以模仿 人類的操作模式，以實現自走車的自動導航，故能大幅降低自動導航技術的成本。
另外，現有的機器學習技術應用於自走車的自動導航技術時，可能會因影像資訊量過於龐大、雜訊背景過多以及圖片相似度過高等因素，導致學習的結果無法收斂。因此，現有的機器學習技術無法應用於自走車的自動導航技術。然而，根據本發明之實施例，自走車導航裝置應用降維方法對深度影像資料進行處理，使深度影像資料的資訊量大幅降低，並透過機械學習模型根據降維後的深度影像資料進行深度學習，故能有效地進行深度學習且能提升深度學習的效率。
此外，根據本發明之實施例，自走車導航裝置透過機械學習模型同時根據深度影像資料及彩色影像資料進行深度學習，根據深度影像資料決定自走車的加速度、移動速度、方向、轉向角度及移動距離，並根據彩色影像資料辨識停靠站，故能有效地提升辨識效果。
再者，根據本發明之實施例，自走車導航裝置整合多種感測器，包含六軸感測器、旋轉編碼器、指南針及避障感測器等，故能更為精確地模擬人類感觀，使自走車的自動導航更接近人類的操作模式。
請參閱第8圖，其係為本發明之第一實施例之自走車導航方法之流程圖。本實施例之自走車導航方法包含下列步驟：
步驟S81：操作自走車沿包含複數個路徑及複數個停靠站之目標路線移動。
步驟S82：使自走車沿目標路線移動數次。
步驟S83：由彩色深度攝影機擷取各路徑的深度影像資料及彩色影像資料。
步驟S84：透過複數個感測器，包含六軸感測器及旋轉編碼器，記錄自走車在各路徑之加速度、移動速度、方向、轉向角度及移動距離。
步驟S85：經由處理器根據該些路徑的該些深度影像資料、該些彩色影像資料、該些加速度、該些移動速度、該些方向、該些轉向角度及該些移動距離產生訓練資料。
步驟S86：由處理器將訓練資料輸入機械學習模型進行深度學習以產生訓練結果。
步驟S87：透過控制器根據彩色深度攝影機擷取之即時深度影像資料、彩色深度攝影機擷取之即時彩色影像資料及訓練結果自動導航自走車。
請參閱第9圖，其係為本發明之第二實施例之自走車導航裝置之方塊圖。如圖所示，自走車導航裝置2可應用於一自走車V(如第1圖所示)；自走車導航裝置2能在經過訓練程序後為自走車V進行自動導航。自走車導航裝置2包含彩色深度攝影機21、控制器22、處理器23、六軸感測器24及旋轉編碼器25。
彩色深度攝影機21與處理器23連接，並用於擷取深度影像資料及彩色影像資料。
六軸感測器24與處理器23連接。六軸感測器24用於感測自走車V移動時的加速度、移動速度、方向及轉向角度。
旋轉編碼器25與處理器23連接。旋轉編碼器25用於感測自走車V移動的步數，並將自走車V移動的步數轉換為移動距離。
上述各元件與前述實施例相似，故不在此多加贅述。與前述實施例不同的是，自走車導航裝置2更可包含避障感測器26。避障感測器26可偵測自走車V前方是否具有障礙物；在一實施例中，避障感測器可為超音波感測器、紅外線感測器或其它類似的元件。
當自走車V進入自動導航模式時，控制器22則根據彩色深度攝影機21擷取的即時深度影像資料、彩色深度攝影機21擷取即時彩色影像資料及訓練結果進行自動導航。而若避障感測器26偵測到自走車V前方有障礙物(人或物體)，控制器22即可立即控制自走車V停止，以避免自走車V碰撞到障礙物。
當然，上述為舉例說明，自走車導航裝置2之各元件及其協同關係均可依實際需求變化，本發明並不以此為限。
綜合上述，根據本發明之實施例，自走車導航裝置能在不使用定位技術的情況下透過機械學習模型產生訓練結果以模仿人類的操作模式，以實現自走車的自動導航，故能大幅降低自動導航技術的成本。
此外，根據本發明之實施例，自走車導航裝置應用降維方法對深度影像資料進行處理，使深度影像資料的資訊量大幅降低，並透過機械學習模型根據降維後的深度影像資料進行深度學習，故能有效地進行深度學習且能提升深度學習的效率。
另外，根據本發明之實施例，自走車導航裝置透過機械學習模型同時根據深度影像資料及彩色影像資料進行深度學習，透過降維後的深度影像資料，可加強自走車導航裝置的環境輪廓及空間邏輯概念；因此，自走車導航裝置不再單一使用影像相似度學習，而是根據環境輪廓、空間邏輯概念及影像相似度進行比對，以決定自走車的加速度、移動速度、方向、轉向角度、移動 距離及停靠站，上述的機制能有效地解決影像資料過度學習或影像資料量太過複雜無法收斂問題，故能有效地提升導航辨識效果。
再者，根據本發明之實施例，自走車導航裝置整合多種感測器，包含六軸感測器、旋轉編碼器、指南針及避障感測器等，故能更為精確地模擬人類感觀，使自走車的自動導航更接近人類的操作模式。
可見本發明在突破先前之技術下，確實已達到所欲增進之功效，且也非熟悉該項技藝者所易於思及，其所具之進步性、實用性，顯已符合專利之申請要件，爰依法提出專利申請，懇請 貴局核准本件發明專利申請案，以勵創作，至感德便。
以上所述為舉例性，而非為限制性者。其它任何未脫離本發明之精神與範疇，而對其進行之等效修改或變更，均應該包含於後附之申請專利範圍中。
1:自走車導航裝置
11:彩色深度攝影機
12:處理器
13:控制器
14:六軸感測器
15:旋轉編碼器

Claims (23)

  1. 一種自走車導航裝置，係設置於一自走車上，並包含： 一彩色深度攝影機，係在該自走車被操作沿包含複數個路徑之一目標路線移動時擷取各該路徑的一深度影像資料及一彩色影像資料； 複數個感測器，係記錄該自走車在各該路徑之一加速度、一移動速度、一方向、一轉向角度及一移動距離；以及 一處理器，係根據該些路徑的該些深度影像資料、該些彩色影像資料、該些加速度、該些移動速度、該些方向、該些轉向角度及該些移動距離產生一訓練資料，並將該訓練資料輸入一機械學習模型進行深度學習以產生一訓練結果。
  2. 如請求項1所述之自走車導航裝置，更包含一控制器，該控制器根據該彩色深度攝影機擷取之一即時深度影像資料與一即時彩色影像資料及該訓練結果自動導航該自走車。
  3. 如請求項2所述之自走車導航裝置，其中該控制器根據該訓練結果與該彩色深度攝影機擷取之該即時深度影像資料及該即時彩色影像資料以取得對應於該即時深度影像資料的該些加速度、該些移動速度、該些方向、該些轉向角度及該些移動距離，並即時控制該自走車以該些加速度、該些移動速度、該些方向、該些轉向角度及該些移動距離進行移動。
  4. 如請求項3所述之自走車導航裝置，其中該控制器根據該彩色深度攝影機擷取之該即時彩色影像資料及該訓練結果判斷該目標路線中的一個或多個停靠站。
  5. 如請求項4所述之自走車導航裝置，其中該控制器將該彩色深度攝影機擷取之該即時彩色影像資料與該訓練結果之任一該停靠站之彩色影像之相似度與一預設門檻值比較以判斷目前位置是否為該停靠站。
  6. 如請求項1所述之自走車導航裝置，其中該自走車被操作沿該目標路線移動數次。
  7. 如請求項1所述之自走車導航裝置，其中該些感測器包含一六軸感測器，該六軸感測器偵測該自走車沿各該路徑行走的該加速度、該移動速度、該方向及該轉向角度。
  8. 如請求項1所述之自走車導航裝置，其中該些感測器更包含一旋轉編碼器，該旋轉編碼器偵測該自走車沿各該路徑行走的該移動距離。
  9. 如請求項1所述之自走車導航裝置，其中該些感測器更包含一避障感測器，該避障感測器偵測該自走車前方是否具有一障礙物。
  10. 如請求項9所述之自走車導航裝置，其中該避障感測器為一超音波感測器或一紅外線感測器。
  11. 如請求項1所述之自走車導航裝置，其中該機械學習模型為卷積類神經網路模型。
  12. 如請求項1所述之自走車導航裝置，其中該處理器將各該路徑的該深度影像資料轉換為一二維輪廓資料，再將該二維輪廓資料轉換為一一維陣列資料，並根據該二維輪廓資料及該一維陣列資料進行深度學習以做為該訓練資料之一部份。
  13. 一種自走車導航方法，係包含： 操作一自走車沿包含複數個路徑之一目標路線移動； 由一彩色深度攝影機擷取各該路徑的一深度影像資料及一彩色影像資料； 透過複數個感測器記錄該自走車在各該路徑之一加速度、一移動速度、一方向、一轉向角度及一移動距離； 經由一處理器根據該些路徑的該些深度影像資料、該些彩色影像資料、該些加速度、該些移動速度、該些方向、該些轉向角度及該些移動距離產生一訓練資料；以及 由該處理器將該訓練資料輸入一機械學習模型進行深度學習以產生一訓練結果。
  14. 如請求項13所述之自走車導航方法，更包含： 透過一控制器根據該彩色深度攝影機擷取之一即時深度影像資料、一即時彩色影像資料及該訓練結果自動導航該自走車。
  15. 如請求項14所述之自走車導航方法，其中透過該控制器根據該彩色深度攝影機擷取之該即時深度影像資料、該即時彩色影像資料及該訓練結果自動導航該自走車之步驟更包含： 經由該控制器根據該訓練結果與該彩色深度攝影機擷取之該即時深度影像資料以取得對應於該即時深度影像資料的該些加速度、該些移動速度、該些方向、該些轉向角度及該些移動距離，並即時控制該自走車以該些加速度、該些移動速度、該些方向、該些轉向角度及該些移動距離進行移動。
  16. 如請求項15所述之自走車導航方法，更包含： 由該控制器根據該彩色深度攝影機擷取之一即時彩色影像資料及該訓練結果判斷該目標路線中的一個或多個停靠站。
  17. 如請求項16所述之自走車導航方法，其中由該控制器根據該彩色深度攝影機擷取之該即時彩色影像資料及該訓練結果判斷該目標路線中的一個或多個該停靠站之步驟更包含： 以該控制器將該彩色深度攝影機擷取之該即時彩色影像資料與該訓練結果之任一該停靠站之彩色影像之相似度與一預設門檻值比較以判斷目前位置是否為該停靠站。
  18. 如請求項13所述之自走車導航方法，其中操作該自走車沿包含該些路徑之該目標路線移動之步驟更包含： 使該自走車沿該目標路線移動數次。
  19. 如請求項13所述之自走車導航方法，其中透過該些感測器記錄該自走車在各該路徑之該加速度、該移動速度、該方向、該轉向角度及該移動距離之步驟包含： 由一六軸感測器偵測該自走車沿各該路徑行走的該加速度、該移動速度、該方向及該轉向角度；以及 透過一旋轉編碼器偵測該自走車沿各該路徑行走的該移動距離。
  20. 如請求項13所述之自走車導航方法，更包含： 經由一避障感測器偵測該自走車前方是否具有一障礙物。
  21. 如請求項20所述之自走車導航方法，其中該避障感測器為一超音波感測器或一紅外線感測器。
  22. 如請求項13所述之自走車導航方法，其中經由該處理器根據該些路徑的該些深度影像資料、該些彩色影像資料、該些加速度、該些移動速度、該些方向、該些轉向角度及該些移動距離產生該訓練資料之步驟更包含： 透過該處理器將各該路徑的該深度影像資料轉換為一二維輪廓資料，再將該二維輪廓資料轉換為一一維陣列資料，並根據該二維輪廓資料及該一維陣列資料進行深度學習以做為該訓練資料之一部份。
  23. 如請求項13所述之自走車導航方法，其中該機械學習模型為卷積類神經網路模型。
TW109133271A 2020-09-25 2020-09-25 自走車導航裝置及其方法 TWI756844B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
TW109133271A TWI756844B (zh) 2020-09-25 2020-09-25 自走車導航裝置及其方法
CN202011121353.9A CN114252071A (zh) 2020-09-25 2020-10-20 自走车导航装置及其方法
US17/114,540 US11636612B2 (en) 2020-09-25 2020-12-08 Automated guided vehicle navigation device and method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW109133271A TWI756844B (zh) 2020-09-25 2020-09-25 自走車導航裝置及其方法

Publications (2)

Publication Number Publication Date
TWI756844B true TWI756844B (zh) 2022-03-01
TW202213015A TW202213015A (zh) 2022-04-01

Family

ID=80790805

Family Applications (1)

Application Number Title Priority Date Filing Date
TW109133271A TWI756844B (zh) 2020-09-25 2020-09-25 自走車導航裝置及其方法

Country Status (3)

Country Link
US (1) US11636612B2 (zh)
CN (1) CN114252071A (zh)
TW (1) TWI756844B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR3135811A1 (fr) * 2022-05-17 2023-11-24 Safran Dispositif et procédé d'aide à la navigation basé sur l'imagerie monoculaire
CN114802358B (zh) * 2022-05-25 2023-03-17 武汉大学 一种基于视觉识别的轨道检查车定位方法及定位系统
CN116135492B (zh) * 2023-04-20 2023-09-05 成都盛锴科技有限公司 一种轨道车辆车门自动拆装装置及方法
CN117910732B (zh) * 2023-12-20 2024-10-18 中科南京智能技术研究院 一种通行控制方法、装置及电子设备
CN118500416A (zh) * 2024-07-17 2024-08-16 佛山大学 一种面向非结构化户外场景的移动路径规划方法及系统

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108073167A (zh) * 2016-11-10 2018-05-25 深圳灵喵机器人技术有限公司 一种基于深度相机与激光雷达的定位与导航方法
CN108958232A (zh) * 2017-12-07 2018-12-07 炬大科技有限公司 一种基于深度视觉的移动扫地机器人slam装置及算法
CN109752004A (zh) * 2018-12-29 2019-05-14 航天信息股份有限公司 室内无人机导航方法、装置及室内无人机
CN109857113A (zh) * 2019-02-22 2019-06-07 中国计量大学 一种基于视觉slam方法的自主导航小车
CN110147091A (zh) * 2018-02-13 2019-08-20 深圳市优必选科技有限公司 机器人运动控制方法、装置及机器人
CN110223351A (zh) * 2019-05-30 2019-09-10 杭州蓝芯科技有限公司 一种基于卷积神经网络的深度相机定位方法
CN110355758A (zh) * 2019-07-05 2019-10-22 北京史河科技有限公司 一种机器跟随方法、设备及跟随机器人系统
CN110874100A (zh) * 2018-08-13 2020-03-10 北京京东尚科信息技术有限公司 用于使用视觉稀疏地图进行自主导航的系统和方法
CN111123925A (zh) * 2019-12-19 2020-05-08 天津联汇智造科技有限公司 一种移动机器人导航系统以及方法
CN111399505A (zh) * 2020-03-13 2020-07-10 浙江工业大学 一种基于神经网络的移动机器人避障方法

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201444543A (zh) 2013-05-21 2014-12-01 Univ Nat Chiao Tung 自主式行動車
CN105334849A (zh) * 2014-07-02 2016-02-17 苏州宝时得电动工具有限公司 自动行走设备控制方法及自动工作系统
CN104166400B (zh) 2014-07-11 2017-02-22 杭州精久科技有限公司 基于多传感器融合的视觉导引agv系统
US10093355B1 (en) * 2016-04-18 2018-10-09 Robo Industries, Inc. Vehicle automatic power and driving control
CN105894047B (zh) * 2016-06-28 2019-08-27 深圳市唯特视科技有限公司 一种基于三维数据的人脸分类系统
WO2018112782A1 (en) 2016-12-21 2018-06-28 Intel Corporation Camera re-localization by enhanced neural regression using middle layer features in autonomous machines
US10845198B2 (en) 2017-03-14 2020-11-24 Trimble Inc. Integrated vision-based and inertial sensor systems for use in vehicle navigation
DE102017107903A1 (de) * 2017-04-12 2018-10-18 Sick Ag 3D-Lichtlaufzeitkamera und Verfahren zur Erfassung dreidimensionaler Bilddaten
TWI671609B (zh) 2017-11-03 2019-09-11 財團法人資訊工業策進會 無人自走車及其控制方法
JP7122821B2 (ja) * 2017-12-15 2022-08-22 川崎重工業株式会社 ロボットシステム及びロボット制御方法
CN108955682A (zh) * 2018-04-03 2018-12-07 哈尔滨工业大学深圳研究生院 手机室内定位导航方法
US11966838B2 (en) * 2018-06-19 2024-04-23 Nvidia Corporation Behavior-guided path planning in autonomous machine applications
US11042157B2 (en) 2018-07-23 2021-06-22 Baidu Usa Llc Lane/object detection and tracking perception system for autonomous vehicles
KR102252033B1 (ko) 2018-09-06 2021-05-14 엘지전자 주식회사 이동 로봇 및 그 제어방법
US11238370B2 (en) * 2018-12-31 2022-02-01 Woven Planet North America, Inc. Approaches for determining sensor calibration
CN110058594A (zh) 2019-04-28 2019-07-26 东北大学 基于示教的多传感器的移动机器人定位导航系统及方法
US11087494B1 (en) * 2019-05-09 2021-08-10 Zoox, Inc. Image-based depth data and localization
CN111141300A (zh) * 2019-12-18 2020-05-12 南京理工大学 基于深度强化学习的智能移动平台无地图自主导航方法
CN110992271B (zh) 2020-03-04 2020-07-07 腾讯科技（深圳）有限公司 图像处理方法、路径规划方法、装置、设备及存储介质
US11482059B2 (en) * 2020-04-23 2022-10-25 Zoox, Inc. Vehicle health monitor

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108073167A (zh) * 2016-11-10 2018-05-25 深圳灵喵机器人技术有限公司 一种基于深度相机与激光雷达的定位与导航方法
CN108958232A (zh) * 2017-12-07 2018-12-07 炬大科技有限公司 一种基于深度视觉的移动扫地机器人slam装置及算法
CN110147091A (zh) * 2018-02-13 2019-08-20 深圳市优必选科技有限公司 机器人运动控制方法、装置及机器人
CN110874100A (zh) * 2018-08-13 2020-03-10 北京京东尚科信息技术有限公司 用于使用视觉稀疏地图进行自主导航的系统和方法
CN109752004A (zh) * 2018-12-29 2019-05-14 航天信息股份有限公司 室内无人机导航方法、装置及室内无人机
CN109857113A (zh) * 2019-02-22 2019-06-07 中国计量大学 一种基于视觉slam方法的自主导航小车
CN110223351A (zh) * 2019-05-30 2019-09-10 杭州蓝芯科技有限公司 一种基于卷积神经网络的深度相机定位方法
CN110355758A (zh) * 2019-07-05 2019-10-22 北京史河科技有限公司 一种机器跟随方法、设备及跟随机器人系统
CN111123925A (zh) * 2019-12-19 2020-05-08 天津联汇智造科技有限公司 一种移动机器人导航系统以及方法
CN111399505A (zh) * 2020-03-13 2020-07-10 浙江工业大学 一种基于神经网络的移动机器人避障方法

Also Published As

Publication number Publication date
US11636612B2 (en) 2023-04-25
CN114252071A (zh) 2022-03-29
US20220101546A1 (en) 2022-03-31
TW202213015A (zh) 2022-04-01

Similar Documents

Publication Publication Date Title
TWI756844B (zh) 自走車導航裝置及其方法
US10102429B2 (en) Systems and methods for capturing images and annotating the captured images with information
Kim et al. End-to-end deep learning for autonomous navigation of mobile robot
WO2018177159A1 (zh) 运动物体的位置确定方法及系统
Sales et al. Adaptive finite state machine based visual autonomous navigation system
US20190184569A1 (en) Robot based on artificial intelligence, and control method thereof
Jean et al. Robust visual servo control of a mobile robot for object tracking using shape parameters
US12087012B2 (en) Systems and methods for visuo-tactile object pose estimation
JP2020119523A (ja) 疑似３ｄバウンディングボックスを検出する方法及びこれを利用した装置
Loper et al. Mobile human-robot teaming with environmental tolerance
Newman et al. Self-driving cars: A platform for learning and research
US11080562B1 (en) Key point recognition with uncertainty measurement
Kurobe et al. Audio-visual self-supervised terrain type recognition for ground mobile platforms
CN112454348A (zh) 一种智能机器人
CN115104132A (zh) 用于评价图像分类器的方法和装置
TW201816745A (zh) 智慧多功能行車輔助駕駛記錄方法及系統
Crnokić et al. Fusion of infrared sensors and camera for mobile robot navigation system-simulation scenario
Saleiro et al. Minimalistic vision-based cognitive SLAM
Kaul Region Based Convolutional Neural Networks for object detection and recognition in ADAS application
Karlsson et al. Perception capabilities for ARWs: The art of perceiving the environment
US20240220024A1 (en) User interface, control method thereof, and vehicle having user interface
Silitonga et al. Tiny-YOLO distance measurement and object detection coordination system for the BarelangFC robot.
Lakshan Blind navigation in outdoor environments: Head and torso level thin-structure based obstacle detection
Yang et al. Cliff-sensor-based Low-level Obstacle Detection for a Wheeled Robot in an Indoor Environment
Kim et al. Pointing gesture-based unknown object extraction for learning objects with robot