TWI806429B - 控制自動導引車之模組化控制系統及方法 - Google Patents

控制自動導引車之模組化控制系統及方法 Download PDF

Info

Publication number
TWI806429B
TWI806429B TW111105457A TW111105457A TWI806429B TW I806429 B TWI806429 B TW I806429B TW 111105457 A TW111105457 A TW 111105457A TW 111105457 A TW111105457 A TW 111105457A TW I806429 B TWI806429 B TW I806429B
Authority
TW
Taiwan
Prior art keywords
signal
module
agv
sensor
interface
Prior art date
Application number
TW111105457A
Other languages
English (en)
Other versions
TW202303326A (zh
Inventor
陳俊霖
永鈞 黃
李茂璕
立華 謝
黃柏凱
洪瑞陽
Original Assignee
新加坡商台達電子國際（新加坡）私人有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 新加坡商台達電子國際（新加坡）私人有限公司 filed Critical 新加坡商台達電子國際（新加坡）私人有限公司
Publication of TW202303326A publication Critical patent/TW202303326A/zh
Application granted granted Critical
Publication of TWI806429B publication Critical patent/TWI806429B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
    • G05B19/4189—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM] characterised by the transport system
    • G05B19/41895—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM] characterised by the transport system using automatic guided vehicles [AGV]
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0276—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804—Creation or updating of map data
    • G01C21/3807—Creation or updating of map data characterised by the type of data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804—Creation or updating of map data
    • G01C21/3833—Creation or updating of map data characterised by the source of data
    • G01C21/3848—Data obtained from both position sensors and additional sensors
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0225—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving docking at a fixed facility, e.g. base station or loading bay
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0248—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means in combination with a laser
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0268—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
    • G05D1/027—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means comprising intertial navigation means, e.g. azimuth detector
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0268—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
    • G05D1/0272—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means comprising means for registering the travel distance, e.g. revolutions of wheels
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0268—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
    • G05D1/0274—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means using mapping information stored in a memory device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/251—Fusion techniques of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/32—Operator till task planning
    • G05B2219/32252—Scheduling production, machining, job shop

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Electromagnetism (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Manufacturing & Machinery (AREA)
  • Quality & Reliability (AREA)
  • Optics & Photonics (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Warehouses Or Storage Devices (AREA)

Abstract

控制AGV之模組化控制系統包括介面、處理器及記憶體。介面接收AGV管理系統之命令信號及複數個傳感器之傳感器信號。記憶體儲存周邊地圖及由處理器執行的複數個程式。複數個程式包括：任務調度模組，接收命令信號並產生對應命令信號的致能信號；傳感器融合模組，接收傳感器信號與致能信號，以根據致能信號處理傳感器信號並產生組織化傳感器數據；建圖模組，根據致能信號處理組織化傳感器數據及周邊地圖以產生更新的周邊地圖，並將其儲存到記憶體中；以及定位模組，根據致能信號處理組織化傳感器數據及更新的周邊地圖以產生定位位置及位姿信號。

Description

控制自動導引車之模組化控制系統及方法
本案係關於一種模組化控制系統，尤指一種控制自動導引車（automated guided vehicle，簡稱AGV）之模組化控制系統及方法。
近幾年，AGV在工廠/倉庫自動化領域中扮演了重要角色，且其技術的進步已經提高了AGV的自主性，幾乎不需要人工干預即可完成AGV的功能任務。成熟的傳感及感知技術促成在複雜環境中的導航，而智能控制算法使得AGV可執行更複雜的任務或功能任務。
然而，AGV已被設計來處理各種功能任務，例如建圖、定位、導航、自動建圖、對接及安全操作，這些任務在尺寸、重量、功率、機動性、最大有效載荷、有效載荷類型、及導航類型方面需要高度變異。因此，AGV需要高度客製化才能用於不同的應用，且需要專業輸入才能根據所需任務複雜性、環境難度及人的獨立性來定制AGV解決方案，而所需解決的技術問題便是快速適配AGV解決方案以用於不同的應用。
請參閱第1圖。第1圖顯示美國專利US 9,476,730 B2中AGV的系統架構。雖然有用於AGV控制的通用架構，但由於使用的傳感與計算硬體、軟體及演算法不同，因此需要在不同應用中進行大量定制。此外，傳統架構難以通過引入新的硬體、軟體或演算法進行升級，且完整的開發生命週期需要重複進行嚴格的測試。相比之下，優選且建議的方案是具有不同及獨立單元的模組化控制系統（包括硬體及軟體），且每個單元具有定義的功能任務操作及介面。
值得注意的是，上述背景技術中揭示的資訊僅用於增強對本案背景技術的理解，因此可能包括不構成本領域技術人員習知前案的資訊。
本案提供一種控制AGV之模組化控制系統及方法，以克服上述缺陷中的至少一個。
本案的目的在於提供一種控制AGV之模組化控制系統及方法，以控制AGV產生其周邊地圖，在地圖內定位自身位置，規劃到達目標位置的路徑，並移動到目標位置，且所提出的架構有助於通過引入新的硬體、軟體或演算法進行升級。
為達上述目的，本案提供一種控制AGV之模組化控制系統，包括介面、處理器及記憶體。介面接收來自AGV管理系統之命令信號及來自複數個傳感器之傳感器信號。記憶體儲存周邊地圖及由處理器執行的複數個程式。複數個程式包括任務調度模組、傳感器融合模組、建圖模組及定位模組。任務調度模組接收來自介面的命令信號，以轉換所接收的命令信號並產生對應於所接收的命令信號的致能信號。傳感器融合模組接收傳感器信號與致能信號，以根據致能信號處理所接收的傳感器信號，並產生組織化傳感器數據。建圖模組根據致能信號處理組織化傳感器數據及周邊地圖，以產生更新的周邊地圖，並將更新的周邊地圖儲存到記憶體中。定位模組，根據致能信號處理組織化傳感器數據及更新的周邊地圖，以產生定位位置及位姿信號。
為達上述目的，本案更提供一種控制AGV之方法，該方法包括步驟：（a）提供包括介面、處理器及記憶體的模組化控制系統，其中記憶體儲存周邊地圖及由處理器執行的複數個程式，且複數個程式包括任務調度模組、傳感器融合模組、建圖模組、及定位模組；（b）模組化控制系統通過介面與AGV管理系統通信，以接收命令信號；（c）模組化控制系統通過介面與複數個傳感器通信，以接收傳感器信號；（d）任務調度模組接收來自介面的命令信號，並轉換所接收的命令信號以產生對應於所接收的命令信號的致能信號；（e）傳感器融合模組接收傳感器信號及致能信號，以根據致能信號處理所接收的傳感器信號，並產生組織化傳感器數據；（f）建圖模組根據致能信號處理組織化傳感器數據及周邊地圖，以產生更新的周邊地圖，並將更新的周邊地圖儲存到記憶體中；以及（g）定位模組根據致能信號處理組織化傳感器數據及更新的周邊地圖，以產生定位位置及位姿信號。
體現本案特徵與優點的一些實施例將在後段的說明中詳細敘述。應理解的是本案能夠在不同的態樣上具有各種的變化，其皆不脫離本案的範圍，且其中的說明及圖式在本質上為說明之用，而非用以限制本案。
與傳統AGV架構相比，本案提供的控制AGV之模組化控制系統及方法採用開放的軟體架構及標準化的硬體模組，具有多種可能的組合，藉此達成以下優點：1）快速且輕鬆地設計及實現新的AGV或是升級現有的 AGV； 2）重複使用軟體及硬體模組來實現最低限度的必要AGV功能任務；3）適應不同類型的AGV車載平台；4）開放與新的傳感器或感知裝置結合來提升性能；5）對高階AGV管理系統（例如車隊管理系統）開放介面。
請參考第2圖，其顯示本案第一實施例的控制AGV之模組化控制系統的架構。如第2圖所示，控制AGV 202之模組化控制系統200包括介面204、處理器206、記憶體208、及複數個程式210，以支持AGV執行以下基本功能任務：（a）建圖；（b）定位；（c）導航；（d）自動建圖； （e）對接；（f）安全（可選擇的）。複數個程式210包括任務調度模組（task scheduling module）212、傳感器融合模組（sensor fusion module）214、建圖模組（mapping module）216、及定位模組（localization module）218。介面204接收來自AGV管理系統220的命令信號S1及來自複數個傳感器222的傳感器信號S2。記憶體208儲存周邊地圖224及由處理器206執行的複數個程式210。第3圖進一步顯示第2圖所示之複數個程式的操作。任務調度模組212接收來自介面204的命令信號S1，以轉換所接收的命令信號S1並產生對應於所接收的命令信號S1的致能信號S3。傳感器融合模組214接收傳感器信號S2與致能信號S3，以根據致能信號S3處理所接收的傳感器信號S2，並產生組織化傳感器數據226。建圖模組216根據致能信號S3處理組織化傳感器數據226及周邊地圖224，以產生更新的周邊地圖228，並將更新的周邊地圖228儲存到記憶體208中。定位模組218根據致能信號S3處理組織化傳感器數據226及更新的周邊地圖228以產生定位位置及位姿信號（location and pose signal） 230。
另一方面，本案還提供了一種AGV控制方法。第4圖顯示本案實施例的AGV控制方法的流程圖，且該方法包括以下所述步驟。
在步驟S302中，首先提供包括介面204、處理器206及記憶體208的模組化控制系統200，其中記憶體208儲存周邊地圖224及由處理器206執行的複數個程式210 ，且複數個程式210包括任務調度模組212、傳感器融合模組214、建圖模組216、及定位模組218。
在步驟S304中，模組化控制系統200通過介面204與AGV管理系統220通信以接收命令信號S1。
在步驟S306中，模組化控制系統200通過介面204與複數個傳感器222通信以接收傳感器信號S2。
在步驟S308中，任務調度模組212接收來自介面204的命令信號S1，並對所接收的命令信號S1進行處理以產生對應於所接收的命令信號S1的致能信號S3。
在步驟S310中，傳感器融合模組214接收傳感器信號S2及致能信號S3，以根據致能信號S3處理所接收的傳感器信號S2，並產生組織化傳感器數據226。
在步驟S312中，建圖模組216根據致能信號S3處理組織化傳感器數據226及周邊地圖224，以產生更新的周邊地圖228，並將更新的周邊地圖228儲存到記憶體208中。
在步驟S314中，定位模組218根據致能信號S3處理組織化傳感器數據226及更新的周邊地圖228，以產生定位位置及位姿信號 230。
第5圖顯示本案第二實施例的控制AGV之模組化控制系統的架構。第6圖進一步顯示第5圖所示之複數個程式的操作。在一實施例中，複數個程式210更包括導航模組（navigation module）232及機器人協調模組（robot coordination module）234。導航模組232根據致能信號S3處理定位位置及位姿信號230及更新的周邊地圖228，以產生目標路徑信號及運動控制參數236。機器人協調模組234根據致能信號S3處理目標路徑信號及運動控制參數236，以產生機器人控制信號238來控制AGV的運動。
在一實施例中，介面204包括北向介面（north bound interface），用於與AGV管理系統220通信以接收命令信號S1並傳輸更新的周邊地圖228、定位位置及位姿信號230、或目標路徑信號及運動控制參數236至AGV管理系統220。
在另一實施例中，介面204包括車輛命令介面（vehicle command interface），其將機器人控制信號238傳輸至AGV 202的馬達或致動器以控制AGV 202的運動。
在另一實施例中，介面204包括物料搬運命令介面（material handling command interface），其將機器人控制信號238傳輸至附接到AGV 202之機器人的馬達或致動器以控制機器人的運動或位置。
在另一實施例中，介面204包括用於接收來自各種傳感器222之傳感器信號S2的傳感器介面（sensor interface），其中各種傳感器222包括2D或3D視覺（VISION）傳感器、光學雷達（Light Detection And Ranging，LIDAR）傳感器、慣性測量單元（Inertial Measurement Unit，IMU）傳感器、或機器人里程計傳感器（robot odometry sensor）。傳感器介面通過濾除錯誤或不相關的傳感器數據並將傳感器數據格式化為預定格式來預處理傳感器信號S2，以產生預處理後的傳感器信號。
在一實施例中，根據預定義的融合策略或動態融合策略，傳感器融合模組214通過加權來同步或聚合預處理後的傳感器信號，以產生組織化傳感器數據226，而融合策略包括並行融合策略或中央融合策略。
在本案的另一實施例中，複數個程式210更包括對接模組（docking module）240。對接模組240根據致能信號S3處理組織化傳感器數據226及周邊地圖224，以產生對接路徑信號及運動控制參數242。在進一步的實施例中，機器人協調模組234根據致能信號S3處理對接路徑信號及運動控制參數242，以產生用於控制AGV 202運動的機器人控制信號238。
在另一實施例中，介面204更包括車輛命令介面，其將機器人控制信號238傳輸至AGV 202的馬達或致動器，以控制AGV 202移動到對接位置。
在另一實施例中，介面204更包括物料搬運命令介面，其將機器人控制信號238傳輸至附接在AGV 202上的機器人的馬達或致動器，以控制機器人的運動或位置。
請參考第7圖，其顯示本案建圖模組的架構。建圖模組216包括特徵提取模組244、匹配模組246、及組合模組248。特徵提取模組244從組織化傳感器數據226中提取空間特徵以產生提取特徵。匹配模組246將提取特徵與周邊地圖224進行匹配並得到匹配結果。組合模組248根據提取特徵、定位位置及位姿信號230及匹配結果來產生更新的周邊地圖228。
具高階軟體應用程式的AGV管理系統包括車隊管理系統（fleet management system）、製造執行系統（Manufacturing Execution Systems，MES）、及功能任務的手動操作請求（manual operator request）。AGV管理系統將與功能任務之相關參數（例如建圖命令、估計目標位姿、定位命令、定位模式、目標位姿、目標速度、目標加速度、導航命令、自動建圖命令、感興趣區域、估計目標位姿、對接命令、對接方式、對接目標、估計起始位姿等）的輸入進行通信，並通過北向介面將命令信號傳輸至任務調度模組。
在任務調度模組操作中，任務調度模組的作用是將命令信號轉換為致能信號，並將致能信號發送給具有各種功能任務模組的複數個程式。功能任務模組包括建圖模組、定位模組、導航模組、及機器人協調模組。
在傳感器融合模組操作中，傳感器融合模組是用於實時組合來自複數個物理傳感器的數據的程式，同時還添加來自數學模型的信息，以創建本地環境的準確圖像。融合策略包括並行融合策略（parallel fusion policy）或中央融合策略（central fusion policy）。
請參考第8圖，其顯示並行融合策略的詳細流程圖。根據並行融合策略，原始數據由各個獨立傳感器獲取並進行處理，然後將結果送至信息融合中心進行智能優化組合，以得到最終結果。分佈式（並行）融合方法對通信帶寬要求低、計算速度快、可靠性及連續性好，但追蹤準度遠不及集中式融合方法。
請參考第9圖，其顯示中央融合策略的詳細流程圖。根據中央融合策略，各個傳感器所獲取的原始數據被集中並直接送到中央處理器進行融合處理。此方式的數據處理精度高且算法靈活，但缺點是處理器要求高、可靠性低且數據量大，使得此方式難以實施。
在建圖模組操作中，組織化傳感器數據被傳遞至建圖模組，其具有特徵提取模組、匹配模組及組合模組。特徵提取模組用於提取各種空間特徵（例如邊緣、平面、靜態或動態物體等），匹配模組用於執行提取特徵匹配，而組合模組則將組織化傳感器數據、提取特徵及AGV的位姿估計數據組合起來，以產生或更新AGV的2D或3D周邊地圖。最新的周邊地圖將更新為更新的周邊地圖並儲存至記憶體中。
在定位模組操作中，組織化傳感器數據被傳遞至定位模組，用於確定及估計AGV在最新的周邊地圖（2D代價地圖或3D點雲）中的相對位置。如果沒有現有的環境地圖，則基於AGV即時周邊環境的最新組織化傳感器數據將被用來形成儲存到記憶體中的第一張地圖。
在導航模組操作中，AGV配備有複數個傳感器，包括機器人里程計傳感器、2D或/及3D傳感器（例如LIDAR或/及VISION）或/及IMU傳感器（可選擇的），這些傳感器係用於構建環境的2D/3D地圖。AGV上的導航模組使用來自2D或/及3D傳感器（例如LIDAR或/及VISION）或/及IMU傳感器、里程計、指南針及基於相機的傳感器（camera based sensor）的傳感器信號，在地理空間座標中精確定位及定向AGV。
在對接模組操作中，第一階段是與導航模組相同的功能任務，以接近目標物體。第二階段為新的功能任務，係通過對接模組識別目標物體並控制對接操作。
在一實施例中，介面包括北向介面、車輛命令介面、物料搬運命令介面及傳感器介面。帶有來自2D或/及3D傳感器（例如LIDAR或/及VISION）或/及IMU傳感器（可選擇的）的原始數據的傳感器信號通過統一通信介面（例如串行或以太網通信）傳輸至傳感器介面。
第10圖顯示本案第三實施例的控制AGV之模組化控制系統的架構，第11圖顯示第10圖所示架構的進一步細節。如第10圖及第11圖所示，模組化控制系統200’示例為核心計算單元（core computing unit），AGV管理系統220’示例為包括高階軟體應用程式（例如車隊管理、用戶應用程式或MES）及手動操作請求，傳感器222’示例為包括導航傳感器單元（navigation sensor unit）及對接傳感器單元（docking sensor unit），AGV 202’示例為包括機器人單元、機器人手臂或物料搬運單元、及安全單元（可選擇的），它們是用於機器人控制及監控的外部硬體。
在核心計算單元中，處理器及記憶體示例為儲存及執行複數個程式的編排器（orchestrator）。複數個程式包括任務調度模組、傳感器融合模組、建圖模組、定位模組、導航模組、機器人協調模組、及對接模組。可選擇地，複數個程式更包括安全客戶端模組（safety client module）及事件管理模組（event management module）。又，介面示例為包括具北向通信模組之北向介面、具傳感器通信模組之傳感器介面、及機器人介面，其中機器人介面包括具車輛通信模組之車輛命令介面、及具物料搬運通信模組的物料搬運命令介面。
導航傳感器單元及對接傳感器單元中的每一個包括複數個傳感器，並通過傳感器介面與核心計算單元通信。例如導航傳感器單元包括2D傳感器、3D傳感器及IMU傳感器，對接傳感器單元包括3D傳感器、近程傳感器（proximity sensor）及對接反饋傳感器（docking feedback sensor）。從導航傳感器單元及對接傳感器單元接收的傳感器信號可由傳感器介面或傳感器融合模組進行預處理。
機器人單元包括移動機器人或車輛、及防撞或緊急傳感器，且機器人單元通過車輛命令介面與核心計算單元通信。機器人單元更包括機器人里程計傳感器，其通過傳感器介面與核心計算單元通信，以傳輸里程計信息（例如里程數據）。機器人手臂或物料搬運單元通過物料搬運命令介面與核心計算單元進行通信。安全單元包括近程傳感器及盲區檢測傳感器（blind zone detection sensor），且安全單元通過傳感器介面與核心計算單元進行通信。
本案所提出的模組化控制系統可支持與高階外部應用軟體及低階外部硬體機器人控制的通信。核心計算單元中的編排器包括支持AGV及移動機器人平台的所有基本功能：（a）建圖、（b）定位、（c）導航、（d）自動建圖、（e）對接、及（f）安全。
以下段落及圖式顯示了跨硬體及軟體模組/子系統的每個基本AGV功能任務的流程及數據流。
（a） 建圖操作 流程
請參考第12圖，其顯示AGV的建圖操作流程。如第12圖所示：
步驟0：具高階軟體應用程式（例如車隊管理或MES）或手動操作的AGV管理系統於請求AGV建圖操作（建圖請求）時，將相關參數（例如建圖命令、估計目標位姿等）通過北向介面發送到任務調度模組。任務調度模組隨後通過致能信號向建圖模組發出建圖請求。建圖模組將按照以下步驟計算AGV周邊環境的地圖表示。
步驟1：來自導航傳感器單元中的2D或/及3D傳感器（例如LIDAR或/及VISION）或/及IMU傳感器（可選擇的）的原始數據傳感器信號通過統一的通信介面（例如串行或以太網通信）傳輸到核心計算單元的傳感器介面，接著對傳感器數據進行預處理以過濾不良或不相關的數據，將其格式化為所需的格式並轉換為衍生值。
步驟2：核心計算單元的傳感器介面從機器人單元獲取里程信息/里程數據（可選擇的），並依傳感器融合模組的要求處理該數據（過濾、格式化及轉換）。
步驟3：來自步驟1及2的輸入傳感器數據（來自LIDAR或相機的數位信號）在預處理後將接著被傳輸到編排器中的傳感器融合模組。在此，傳感器數據將基於預定義或動態傳感器融合策略，由傳感器融合模組藉由加權變化進行同步及聚合，以產生組織化傳感器數據。此過程適用於不同類型的傳感器融合方法（例如並行融合方法、中央融合方法等）。
步驟4：來自步驟3的組織化傳感器數據（也稱為傳感器融合數據）接著被傳遞至定位模組，以參考最新的本地或周邊地圖（2D代價地圖或3D點雲）確定/估計AGV的相對位置。如果沒有現有的環境地圖，則將使用基於AGV周邊環境的最新組織化傳感器數據來形成儲存到記憶體中的第一個周邊環境地圖。
步驟5：同時，來自步驟3的組織化傳感器數據被傳遞至建圖模組，建圖模組提取各種空間特徵（例如邊緣、平面、靜態或動態物體等）並執行特徵匹配，接著組合組織化傳感器數據、提取特徵及AGV位姿估計數據，以產生或更新AGV的2D或3D周邊地圖作為更新的周邊地圖。這個最新的本地地圖將更新為AGV的地圖並儲存到記憶體中。
步驟6：在此最終步驟中，建圖模組將新產生或更新的地圖數據發送給AGV管理系統，並結束建圖請求服務。
請參考第13圖，其顯示AGV建圖的詳細過程流程圖。在AGV建圖操作中，傳感器融合模組處理傳感器信號的原始傳感器數據（步驟1-3）以產生組織化傳感器數據（傳感器融合數據），再由定位模組處理傳感器融合數據及本地地圖估計（步驟 4-5）以產生位置/位姿數據。然後，地圖模組處理傳感器融合數據及位置/位姿數據（步驟6）以產生地圖數據，該地圖數據通過北向介面進一步傳輸到AGV管理系統。
（b） 定位操作流程
請參考第14圖，其顯示AGV的定位操作流程。如第14圖所示：
步驟0：由具高階軟體應用程式（例如車隊管理或MES）或手動操作的AGV管理系統啟動定位服務請求（位姿請求）並將相關參數（例如定位命令、定位模式等）通過北向介面發送到任務調度模組。任務調度模組通過致能信號向定位模組發出AGV位姿/位置請求。定位模組將按照以下步驟參考本地2D/3D地圖來計算AGV當前的2D/3D位姿。
步驟1-4：定位操作的步驟1-4與建圖操作的步驟1-4相同。
步驟5：同時（如步驟3及4），來自步驟3的組織化傳感器數據被傳遞至建圖模組，建圖模組提取各種空間特徵（例如邊緣、平面、靜態或動態物體等）並執行特徵匹配，接著組合組織化傳感器數據及提取特徵的組合，以產生或更新AGV的2D或3D周邊地圖作為更新的周邊地圖。建圖模組再將2D或3D周邊地圖發送到定位模組進行位置/位姿計算。
步驟6：定位模組將機器人在2D/3D地圖座標系統中的位置/位姿信息提供給北向介面，並結束服務請求。
請參考第15圖，其顯示AGV定位的詳細過程流程圖。在定位操作中，傳感器融合模組處理傳感器信號的原始傳感器數據（步驟1-3）以產生組織化傳感器數據（傳感器融合數據），再由定位模組處理傳感器融合數據及本地地圖估計（步驟 4-5）以產生位置/位姿數據。特別地，拉取本地代價地圖或點雲子模組具有由定位服務請求子模組所給的位置/位姿信號輸入。AGV位姿變換及估計子模組在獲得組織化傳感器數據及更新的周邊地圖後，便可產生新的位置/位姿信號並傳遞給定位服務請求子模組。
請參考第16圖，其顯示定位丟失時重新定位的流程圖。在定位丟失的情況下，如第16圖所示的流程將獨立執行以重新定位及獲取AGV的正確位置及位姿。此為事件觸發的過程，並發生在定位模組中的AGV位姿變換及估計函數中，由此在多次（N1次）迭代中收集位姿估計值，計算協方差（covariance）並將其與預定義或動態值進行比較。如果位姿估計的協方差高於標準值，則可在短時間（T2秒）內執行對策（例如擴展搜索掃描區域並稍微旋轉AGV）。
（c） 導航操作流程
請參考第17圖，其顯示AGV的導航操作流程。如第17圖所示：
步驟0：具高階軟體應用程式（例如車隊管理或MES）或手動操作的AGV管理系統於請求AGV導航操作時，將相關參數（例如目標位姿、目標速度、目標加速度、導航命令等）通過北向介面發送到任務調度模組。任務調度模組隨後通過致能信號向導航模組發出導航請求。導航模組將按照以下步驟計算從當前位姿到目標位姿的導航/目標路徑。
步驟1-5：導航操作的步驟1-5與定位操作的步驟1-5相同。
步驟6：導航模組將根據本地地圖信息規劃從當前位姿到目標位姿的最優導航路徑，並接著將在地圖座標系統中的目標路徑發送至北向介面，供AGV管理系統進行實時監控。最優導航路徑可通過各種優化方法（例如最短部分、最低能源成本等）進行計算。最佳導航路徑通常由多個航路點（waypoint）組成，使AGV通過這些航路點到達目標位姿。
步驟7：導航模組將從當前位姿到目標位姿的最優導航路徑以及運動控制參數（例如目標速度、目標加速度）發送至機器人協調模組。機器人協調模組隨後將包括車輛控制命令及參數（例如速度及加速度等）的機器人控制信號發送至車輛/機器人，使其按照規劃的運動路徑移動。
步驟6及7是重複的迭代步驟，直到到達目標位姿或發生異常事件（例如避免碰撞、安全事件等）。
請參考第18圖，其顯示AGV導航的詳細過程流程圖。在導航操作中，傳感器融合模組處理傳感器信號的原始傳感器數據（步驟1-3）以產生組織化傳感器數據（傳感器融合數據），再由定位模組處理傳感器融合數據及本地地圖估計（步驟4-5）以產生位置/位姿數據。然後，導航模組處理位置/位姿數據及本地地圖估計（步驟6-7）以產生目標路徑數據，並由建圖模組處理傳感器融合數據以產生地圖數據。
請參考第19圖，其顯示在路徑規劃期間執行的導航過程的一些示例。在路徑規劃期間執行的導航過程的一些示例如第19圖所示，其說明AGV如何經由具有多個中間航路點/步驟的直線通道從起點導航到終點。
（d） 自動建圖操作 流程
請參考第20圖，其顯示AGV的自動建圖操作流程。如第20圖所示：
步驟0：具高階軟體應用程式（例如車隊管理或MES）或手動操作的AGV管理系統於請求AGV自動建圖操作時，將相關參數（例如自動建圖命令、感興趣區域、估計目標位姿等）通過北向介面發送到任務調度模組。任務調度模組隨後通過致能信號向建圖模組發出自動建圖請求。建圖模組進行地圖探索並按照以下步驟計算感興趣區域的地圖表示。
步驟1-5：自動建圖操作的步驟1-5與定位操作的步驟1-5相同。
步驟6：基於AGV靜止在其第一位置時產生的第一地圖，建圖模組可通過發送命令至機器人協調模組來觸發AGV相對其靜止點（可選擇的）的旋轉，同時重複步驟 1-5。若否，建圖模組將發送探索目標位姿至導航模組。有各種自動建圖策略存在，它們通過檢測邊界將AGV引導至未探索的空間，該邊界是將已知空間與未知空間分開的邊界。
步驟7-8：自動建圖操作的步驟7-8與導航操作的步驟6-7相同。
在探索步驟（到新邊界）中重複步驟 1-8，藉此，AGV識別出感興趣區域內未知的區域，並利用收集到的新數據重複更新地圖，一直持續到AGV可及的整個感興趣區域都探索完成。
步驟9：建圖模組通過北向介面將更新的地圖數據重複發送至具高階軟體應用程式的AGV管理系統，一直持續到AGV可及的整個感興趣區域都探索完成，從而完成自動建圖服務。
請參考第21圖，其顯示AGV自動建圖的示例影像。通過一系列探索步驟發生的自動建圖過程的一些示例影像如第21圖所示，其說明AGV如何通過多個探索路徑探索其環境中的未探索區域，直到涵蓋整個感興趣區域。
（e） 對接操作流程
請參考第22圖，其顯示AGV的對接操作流程。如第22圖所示：
步驟 0：具高階軟體應用程式（例如車隊管理或MES）或手動操作的AGV管理系統於請求AGV對接操作時，將相關參數（例如對接命令、對接模式、對接目標、估計起始位姿等）通過北向介面發送到任務調度模組。任務調度模組隨後通過致能信號向對接模組發出對接請求。對接模組將利用以下步驟與對接站（例如機器、貨架、台車等）進行自動對接。
步驟 1：來自對接傳感器單元中的3D傳感器（例如3D LIDAR或/及VISION）的原始數據及近程傳感器數據（例如範圍、存在等）的傳感器信號通過統一的通信介面（例如串行或以太網通信）傳輸到核心計算單元的傳感器介面，接著對傳感器數據進行預處理以過濾不良或不相關的數據，將其格式化為所需的格式並轉換為衍生值。
步驟2-3：對接操作的步驟2-3與建圖操作的步驟2-3相同。
步驟4：來自步驟3的組織化傳感器數據接著被傳遞至對接模組，以參考最新的本地地圖（2D代價地圖或3D點雲）確定/估計AGV的相對位置。這可以是來自建圖模組的標準2D/3D地圖，也可以是機器人本體座標系統中對接站的獨立地圖（通常具有更高的分辨率）。
步驟5及6：對接模組將從當前位姿到對接位姿的最優對接路徑以及運動控制參數（例如目標速度、目標加速度）發送到機器人協調模組。機器人協調模組接著將車輛控制命令及參數（例如速度及加速度等）發送到車輛/機器人單元，使其按照規劃的運動路徑移動。重複步驟 1-6，直到車輛/機器人單元通過對接傳感器單元（可選擇的）的反饋信號成功對接。
步驟7：（可選擇的）對接模組通知事件管理模組對接已完成，後續的物料搬運動作通過物料搬運通訊模組向機器人手臂/物料搬運單元發送請求/命令來觸發。
步驟8：在此最終步驟中，對接模組通過北向介面將對接完成信號及狀態更新發送至具高階軟體應用程式的AGV管理系統，並結束對接請求服務。
此處理流程支持用於2D及3D建圖的不同AGV對接方法（例如基於標記、邊緣檢測等）。請參考第23圖，其顯示AGV對接的示例影像。這些示例顯示叉車 AGV（左）停靠在空托盤上，單元負載 AGV（右）停靠在台車上。
（f） 安全操作流程
請參考第24圖，其顯示AGV的安全操作流程。
通過設計，安全客戶端模組將持續監控安全傳感器數據及安全觸發。安全觸發可來自機器人單元或安全單元中的車載安全傳感器，甚至來自定位模組內的防撞機制。所有安全觸發將通過以下步驟激活AGV安全操作。
步驟1：安全觸發信號可來自安全單元中的近程傳感器數據（例如範圍）及盲區檢測傳感器數據（例如範圍），以及來自機器人單元中防撞及緊急傳感器的安全警報，且安全觸發信號直接傳輸到安全客戶端模組。此通信是通過符合安全標準要求的低延遲及低複雜度協議（例如I/O、IO-Link等）所進行的。
步驟2：當安全客戶端模組接收安全觸發時，會向事件管理模組發出安全警告事件/警報，接著事件管理模組會激活安全停止機制。
步驟3及4：事件管理模組將緊急命令發送給機器人座標模組，使車輛/機器人單元及機器人手臂/物料搬運單元執行緊急停止。
步驟5：同時，安全警告警報會通過北向介面發送至具高階軟體應用程式（例如車隊管理或MES）的AGV管理系統，以通知用戶安全事件。
在硬體方面，3個子系統（導航傳感器單元、對接傳感器單元及核心計算單元）可採多重組合方式重複使用於AGV上且可用於不同應用方式。
請參考第25圖、第26圖及第27圖。第25圖顯示導航傳感器單元的結構，第26圖顯示對接傳感器單元的結構，第27圖顯示核心計算單元的結構。
導航傳感器單元3是模組化子系統，其包括360° 2D傳感器61（例如LIDAR）、180° 3D傳感器62（例如深度相機、3D LIDAR）及通信介面。來自導航傳感器單元的傳感器數據提供AGV建圖、定位、導航、自動建圖操作所需的2D及3D影像及範圍數據。通信介面確保與核心計算單元的低延遲及穩健通信，且接著處理傳感器數據以在3D環境中進行精確建圖、位姿估計及碰撞避免。
對接傳感器單元4是模組化子系統，其包括180° 3D傳感器62（例如深度相機、3D LIDAR）、近程傳感器63（例如紅外傳感器）及通信介面。來自對接傳感器單元的傳感器數據提供AGV對接操作所需的3D影像及範圍數據。通信介面確保與核心計算單元的低延遲及穩健通信，且接著處理傳感器數據以在3D環境中進行精確建圖、位姿估計及碰撞避免。
核心計算單元5是模組化子系統，其包括計算單元（例如嵌入式系統、迷你PC、IPC）、電源單元及通信介面。計算單元之操作系統具有複數個程式，包括所有必需的軟體模組及安裝的系統驅動程序。電源單元從外部電源或電池提供必要的電源轉換，將電源分配給所有子系統，並允許手動或自動電源開/關及重啟。通信介面確保與導航傳感器單元、對接傳感器單元及安全單元（可選擇的）的低延遲及穩健通信。
一套導航傳感器單元3、一套對接傳感器單元4及一套核心計算單元5的組合是單向（向前）行駛的最低要求，而兩個方向（向前及向後）及全向行駛則需要額外的一套導航傳感器單元3。以下段落及圖式說明可用於（但不限於）多種AGV類型的三個子系統的組合方式。
（1） 輸送機 AGV （ Conveyor AGV ）
請參考第28圖，其顯示輸送機AGV的示例。所示範的是包括一個導航傳感器單元、一個核心計算單元及一個對接傳感器單元（可選擇的）的建議組合。
（2） 單向通道 AGV （ One-way tunnel AGV ）
請參考第29圖，其顯示單向通道AGV的示例。所示範的是包括一個導航傳感器單元及一個核心計算單元的建議組合。
（3） 雙向通道 AGV （ Two-way tunnel AGV ）
請參考第30圖，其顯示雙向通道AGV的示例。所示範的是包括兩個導航傳感器單元及一個核心計算單元的建議組合。
（4） 叉車 AGV （ Forklift AGV ）
請參考第31圖及第32圖，其顯示叉車AGV於不同視角的示例。所示範的是包括兩個導航傳感器單元、一個核心計算單元及一個對接傳感器單元的建議組合。
（5） 起重 AGV （ Lifting AGV ）
請參考第33圖，其顯示起重AGV的示例。所示範的是包括兩個導航傳感器單元及一個核心計算單元的建議組合。
（6） 單元負載 AGV （ Unit load AGV ）
請參考第34圖及第35圖，其顯示單元負載AGV於不同視角的示例。所示範的是包括一個導航傳感器單元、一個核心計算單元及一個對接傳感器單元的建議組合。
導航傳感器單元、對接傳感器單元及核心計算單元的建議組合可通過以下通用步驟在不同的AGV平台上部署、配置及測試。本案的模組化硬體及軟體可立即配置並使用於不同類型的AGV，甚至可滿足某些AGV安全法規。
推薦的設置/校準/測試步驟描述如下：
A. 設置 AGV 外觀、規格、及參數輸入：
根據不同的AGV車輛移動方式及對接設備，設定如下參數。
1. AGV尺寸、最大載重量（可選擇的）。
2. 驅動輪：類型、數量、輪徑、放置（placement）、最大速度。
3. 從動輪（可選擇的）：類型、數量、輪徑、放置。
4. AGV車輛中使用的單元（模組）的類型及數量。
5. AGV通信介面測試。
6. AGV外部安全裝置的定義。
B. 套件：導航 / 對接單元校準：
以下步驟是導航/對接單元的推薦校準方法。
步驟1：設定導航/對接單元的放置定義：對於不同的AGV，可參考以上說明來定義導航/對接單元的放置並設定配置距離座標（相對於驅動輪之間的中心）。
步驟2：導航/對接單元通信介面測試：使用安裝的核心計算單元與導航/對接單元進行通信連接測試，以進行後續步驟。
步驟3：傳感器範圍設定：設定導航單元中的2D/3D傳感器可檢測的最大範圍。設定對接單元中的3D傳感器可檢測的最大範圍。
步驟4：建圖/定位功能校準（非必要）：在導航單元中測試建圖/定位功能並使用已知場域尺寸進行校準。
步驟5：導航功能校準（非必要）：使用步驟4中創建的校準地圖來設定A點到B點的位置以進行校準。
步驟6：對接功能校準：在待對接裝置上安裝對接校準標籤，並執行ID記錄及對接位置/位姿校準。
C. 安全機制 / 裝置 / 設備驗證：
以下是功能與安全測試及驗證步驟。
步驟1：設定套件的內部安全機制：設定導航/對接單元避開障礙物的功能（例如AGV車輛移動方法及離障礙物遠、中、近的煞車規則）。
步驟2：AGV外部安全接觸障礙物緩衝性能測試（如防撞桿）：關閉套件內部安全機制設定，AGV以額定速度運行，在AGV行進方向放置障礙物（直徑50mm、重量55kg或以下）。行進中的AGV在遇到障礙物時停止。測試被迫停止的移動距離，且測試在空載及負載下進行。煞車距離不得超過AGV車輛製造商規定的數值。
步驟3：AGV外部安全急停性能測試（例如急停按鈕）：AGV自動以額定速度運行。在直線軌跡上預先標記的位置按下急停按鈕後，AGV急停並測試從標記位置到停止位置的距離。在空載及特定負載的情況下，向前及向後（不具倒車功能的除外）各測試5次。煞車距離不得超過AGV車輛製造商規定的數值。
D. 完全校準的 AGV 車輛運動測試：
以下步驟是測試AGV整體的運動，也是部署過程的最後步驟。
步驟1：車輛運動準度測試：當AGV以特定速度在設定的路徑上移動時，測試者目視讀取偏離基線的最大值。在空載及特定負載的情況下，向前及向後（不具倒車功能的除外）進行測試。運動準度不得超過AGV車輛製造商規定的數值。
步驟2：車輛最大轉彎半徑測試：在AGV指定的導軌最小旋轉半徑的曲線上以設定速度自動運行，並在導軌軌跡上平滑旋轉。AGV的各種動作之間的過渡必須是平滑的。分別在空載及特定負下進行測試。
本案提供了一種AGV的實時3D建圖、定位、導航及控制的多傳感器模組化控制系統及方法。所提出的系統包括模組化硬體及模組化軟體。模組化硬體包括導航傳感器單元、對接傳感器單元、核心計算單元及安全單元（可選擇的）。模組化軟體包括任務調度模組、傳感器融合模組、建圖模組、定位模組、導航模組、機器人協調模組、對接模組、安全客戶端模組、事件管理模組、以及傳感器/北向/機器人介面。所提出的系統可控制/引導不同的移動機器人或車輛產生其周邊的地圖（手動或自動），在地圖內定位自己的位置，規劃到目標位置（由外部控制系統給出）的路徑，移動到目標位置（由外部控制系統給出），偵測附近的障礙物並避開它們，以及對接在靜態物體（在固定位置）進行物料搬運或充電。
根據以上描述，本案提供了一種控制AGV之模組化控制系統及方法。不同於傳統的AGV架構，本案模組化控制系統及方法採用開放的軟體架構及標準化的硬體模組，具有多種可能的組合，且可達成的優點包括：快速且輕鬆地設計及實現新的AGV或升級現有的AGV，重複使用軟體及硬體模組來實現最低限度的必要AGV功能任務，適應不同類型的AGV車載平台，開放與新的傳感器或感知裝置及/或其組合的結合來提升性能，並具有對高階AGV管理系統的開放介面。
縱使本發明已由上述實施例詳細敘述而可由熟悉本技藝人士任施匠思而為諸般修飾，然皆不脫如附申請專利範圍所欲保護者。
200:模組化控制系統 202:AGV 204:介面 206:處理器 208:記憶體 210:程式 212:任務調度模組 214:傳感器融合模組 216:建圖模組 218:定位模組 220:AGV管理系統 222:傳感器 224:周邊地圖 226:組織化傳感器數據 228:更新的周邊地圖 230:定位位置及位姿信號 232:導航模組 234:機器人協調模組 236:目標路徑信號及運動控制參數 238:機器人控制信號 240:對接模組 242:對接路徑信號及運動控制參數 244:特徵提取模組 246:匹配模組 248:組合模組 3:導航傳感器單元 4:對接傳感器單元 5:核心計算單元 61:2D傳感器 62:3D傳感器 63:近程傳感器 S1:命令信號 S2:傳感器信號 S3:致能信號 S302 - S314:步驟S302 - 步驟S314
第1圖顯示美國專利US 9,476,730 B2中AGV的系統架構。 第2圖顯示本案第一實施例的控制AGV之模組化控制系統的架構。 第3圖顯示第2圖所示之複數個程式的操作。 第4圖顯示本案實施例的AGV控制方法的流程圖。 第5圖顯示本案第二實施例的控制AGV之模組化控制系統的架構。 第6圖顯示第5圖所示之複數個程式的操作。 第7圖顯示本案建圖模組的架構。 第8圖顯示並行融合策略的詳細流程圖。 第9圖顯示中央融合策略的詳細流程圖。 第10圖顯示本案第三實施例的控制AGV之模組化控制系統的架構。 第11圖顯示第10圖所示架構的進一步細節。 第12圖顯示AGV的建圖操作流程。 第13圖顯示AGV建圖的詳細過程流程圖。 第14圖顯示AGV的定位操作流程。 第15圖顯示AGV定位的詳細過程流程圖。 第16圖顯示定位丟失時重新定位的流程圖。 第17圖顯示AGV的導航操作流程。 第18圖顯示AGV導航的詳細過程流程圖。 第19圖顯示在路徑規劃期間執行的導航過程的一些示例。 第20圖顯示AGV的自動建圖操作流程。 第21圖顯示AGV自動建圖的示例影像。 第22圖顯示AGV的對接操作流程。 第23圖顯示AGV對接的示例影像。 第24圖顯示AGV的安全操作流程。 第25圖顯示導航傳感器單元的結構。 第26圖顯示對接傳感器單元的結構。 第27圖顯示核心計算單元的結構。 第28圖顯示輸送機AGV的示例。 第29圖顯示單向通道AGV的示例。 第30圖顯示雙向通道AGV的示例。 第31圖及第32圖顯示叉車AGV於不同視角的示例。 第33圖顯示起重AGV的示例。 第34圖及第35圖顯示單元負載AGV於不同視角的示例。
200:模組化控制系統
202:AGV
204:介面
206:處理器
208:記憶體
210:程式
212:任務調度模組
214:傳感器融合模組
216:建圖模組
218:定位模組
220:AGV管理系統
222:傳感器
224:周邊地圖
S1:命令信號
S2:傳感器信號

Claims (18)

  1. 一種控制一自動導引車(AGV)之模組化控制系統，包括：一介面，接收來自一AGV管理系統之一命令信號及來自複數個傳感器之傳感器信號；一處理器；以及一記憶體，儲存一周邊地圖及由該處理器執行的複數個程式，該複數個程式包括：一任務調度模組，接收來自該介面的該命令信號，以轉換所接收的該命令信號並產生對應於所接收的該命令信號的一致能信號；一傳感器融合模組，接收該傳感器信號與該致能信號，以根據該致能信號處理所接收的該傳感器信號，並產生一組織化傳感器數據；其中該介面通過濾除錯誤或不相關的傳感器數據並將濾除後的傳感器數據格式化為預定格式來預處理該傳感器信號，以產生預處理後的傳感器信號；其中該傳感器融合模組根據一預定義的融合策略或一動態融合策略，通過加權來同步或聚合該預處理後的傳感器信號，以產生該組織化傳感器數據，而該融合策略包括一並行融合策略或一中央融合策略；一建圖模組，根據該致能信號處理該組織化傳感器數據及該周邊地圖，以產生一更新的周邊地圖，並將該更新的周邊地圖儲存到該記憶體中；以及一定位模組，根據該致能信號處理該組織化傳感器數據及該更新的周邊地圖，以產生一定位位置及位姿信號。
  2. 如請求項1所述之模組化控制系統，其中該複數個程式更包括： 一導航模組，根據該致能信號處理該定位位置及位姿信號及該更新的周邊地圖，以產生一目標路徑信號及運動控制參數；以及一機器人協調模組，根據該致能信號處理該目標路徑信號及運動控制參數，以產生一機器人控制信號來控制該AGV的運動。
  3. 如請求項2所述之模組化控制系統，其中該介面包括：一北向介面，與該AGV管理系統通信，以接收該命令信號並傳輸該更新的周邊地圖、該定位位置及位姿信號、或該目標路徑信號及運動控制參數至該AGV管理系統。
  4. 如請求項2所述之模組化控制系統，其中該介面包括：一車輛命令介面，將該機器人控制信號傳輸至該AGV的馬達或致動器，以控制該AGV的運動。
  5. 如請求項2所述之模組化控制系統，其中該介面包括：一物料搬運命令介面，將該機器人控制信號傳輸至附接到該AGV之一機器人的馬達或致動器，以控制該機器人的運動或位置。
  6. 如請求項1所述之模組化控制系統，其中該介面包括：一傳感器介面，接收來自該複數個傳感器之該傳感器信號，其中該複數個傳感器包括2D或3D視覺傳感器、光學雷達(LIDAR)傳感器、慣性測量單元(IMU)傳感器、或機器人里程計傳感器。
  7. 如請求項1所述之模組化控制系統，其中該建圖模組包括：一特徵提取模組，從該組織化傳感器數據中提取空間特徵以產生提取特徵；一匹配模組，將該提取特徵與該周邊地圖進行匹配並得到一匹配結果；以及一組合模組，根據該提取特徵、該定位位置及位姿信號、及該匹配結果來產生該更新的周邊地圖。
  8. 如請求項2所述之模組化控制系統，其中該複數個程式更包括：一對接模組，根據該致能信號處理該組織化傳感器數據及該周邊地圖，以產生一對接路徑信號及運動控制參數；其中該機器人協調模組根據該致能信號處理該對接路徑信號及運動控制參數，以產生用於控制該AGV運動的該機器人控制信號。
  9. 如請求項8所述之模組化控制系統，其中該介面包括：一車輛命令介面，將該機器人控制信號傳輸至該AGV的馬達或致動器，以控制該AGV運動至一對接位置。
  10. 如請求項8所述之模組化控制系統，其中該介面包括：一物料搬運命令介面，將該機器人控制信號傳輸至附接到該AGV之一機器人的馬達或致動器，以控制該機器人的運動或位置。
  11. 一種控制一自動導引車(AGV)之方法，該方法包括步驟：(a)提供包括一介面、一處理器及一記憶體的一模組化控制系統，其中該記憶體儲存一周邊地圖及由該處理器執行的複數個程式，且該複數個程式包括一任務調度模組、一傳感器融合模組、一建圖模組、及一定位模組；(b)該模組化控制系統通過該介面與一AGV管理系統通信，以接收一命令信號；(c)該模組化控制系統通過該介面與複數個傳感器通信，以接收傳感器信號，其中該介面通過濾除錯誤或不相關的傳感器數據並將濾除後的傳感器數據格式化為預定格式來預處理該傳感器信號，以產生預處理後的傳感器信號；(d)該任務調度模組接收來自該介面的該命令信號，並轉換所接收的該命令信號以產生對應於所接收的該命令信號的一致能信號； (e)該傳感器融合模組接收該傳感器信號及該致能信號，以根據該致能信號處理所接收的該傳感器信號，並產生一組織化傳感器數據；其中該傳感器融合模組根據一預定義的融合策略或一動態融合策略，通過加權來同步或聚合該預處理後的傳感器信號，以產生該組織化傳感器數據，而該融合策略包括一並行融合策略或一中央融合策略；(f)該建圖模組根據該致能信號處理該組織化傳感器數據及該周邊地圖，以產生一更新的周邊地圖，並將該更新的周邊地圖儲存到該記憶體中；以及(g)該定位模組根據該致能信號處理該組織化傳感器數據及該更新的周邊地圖，以產生一定位位置及位姿信號。
  12. 如請求項11所述之方法，其中該複數個程式更包括一導航模組及一機器人協調模組，且該方法更包括步驟：該導航模組根據該致能信號處理該定位位置及位姿信號及該更新的周邊地圖，以產生一目標路徑信號及運動控制參數；以及該機器人協調模組根據該致能信號處理該目標路徑信號及運動控制參數，以產生一機器人控制信號來控制該AGV的運動。
  13. 如請求項12所述之方法，其中該介面包括一北向介面，該模組化控制系統於步驟(b)中通過該北向介面與該AGV管理系統通信，且該方法更包括步驟：該模組化控制系統通過該北向介面與該AGV管理系統通信，以傳輸該更新的周邊地圖、該定位位置及位姿信號、或該目標路徑信號及運動控制參數至該AGV管理系統。
  14. 如請求項12所述之方法，其中該介面包括一車輛命令介面，且該方法更包括步驟： 該模組化控制系統通過該車輛命令介面，將該機器人控制信號傳輸至該AGV的馬達或致動器，以控制該AGV的運動。
  15. 如請求項12所述之方法，其中該介面包括一物料搬運命令介面，且該方法更包括步驟：該模組化控制系統通過該物料搬運命令介面，將該機器人控制信號傳輸至附接到該AGV之一機器人的馬達或致動器，以控制該機器人的運動或位置。
  16. 如請求項11所述之方法，其中該介面包括一傳感器介面，該模組化控制系統通過該傳感器介面接收來自該複數個傳感器之該傳感器信號，其中該複數個傳感器包括2D或3D視覺傳感器、光學雷達(LIDAR)傳感器、慣性測量單元(IMU)傳感器、或機器人里程計傳感器。
  17. 如請求項11所述之方法，其中該建圖模組包括：一特徵提取模組，從該組織化傳感器數據中提取空間特徵以產生提取特徵；一匹配模組，將該提取特徵與該周邊地圖進行匹配並得到一匹配結果；以及一組合模組，根據該提取特徵、該定位位置及位姿信號、及該匹配結果來產生該更新的周邊地圖。
  18. 如請求項12所述之方法，其中該複數個程式更包括一對接模組，且該方法更包括步驟：該對接模組根據該致能信號處理該組織化傳感器數據及該周邊地圖，以產生一對接路徑信號及運動控制參數；以及該機器人協調模組根據該致能信號處理該對接路徑信號及運動控制參數，以產生用於控制該AGV運動的該機器人控制信號。
TW111105457A 2021-06-30 2022-02-15 控制自動導引車之模組化控制系統及方法 TWI806429B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US202163217118P 2021-06-30 2021-06-30
US63/217,118 2021-06-30
US17/566,102 2021-12-30
US17/566,102 US20230004170A1 (en) 2021-06-30 2021-12-30 Modular control system and method for controlling automated guided vehicle

Publications (2)

Publication Number Publication Date
TW202303326A TW202303326A (zh) 2023-01-16
TWI806429B true TWI806429B (zh) 2023-06-21

Family

ID=84724671

Family Applications (1)

Application Number Title Priority Date Filing Date
TW111105457A TWI806429B (zh) 2021-06-30 2022-02-15 控制自動導引車之模組化控制系統及方法

Country Status (3)

Country Link
US (1) US20230004170A1 (zh)
CN (1) CN115542846A (zh)
TW (1) TWI806429B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201739194A (zh) * 2016-04-27 2017-11-01 日本電產新寶股份有限公司 移動體的管理系統、方法及電腦程式
TW202001286A (zh) * 2018-06-13 2020-01-01 合盈光電科技股份有限公司 物件定位系統
TW202020693A (zh) * 2018-11-28 2020-06-01 台達電子工業股份有限公司 地圖建置設備及其地圖建置方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10088317B2 (en) * 2011-06-09 2018-10-02 Microsoft Technologies Licensing, LLC Hybrid-approach for localization of an agent
US9886035B1 (en) * 2015-08-17 2018-02-06 X Development Llc Ground plane detection to verify depth sensor status for robot navigation
WO2020205655A1 (en) * 2019-03-29 2020-10-08 Intel Corporation Autonomous vehicle system
WO2021216830A1 (en) * 2020-04-22 2021-10-28 Koireader Technologies, Inc. System for monitoring inventory of a warehouse or yard
EP4136406A4 (en) * 2020-05-22 2024-05-22 Profound Positioning Inc. VEHICLE LOCATION SYSTEM AND METHOD

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201739194A (zh) * 2016-04-27 2017-11-01 日本電產新寶股份有限公司 移動體的管理系統、方法及電腦程式
TW202001286A (zh) * 2018-06-13 2020-01-01 合盈光電科技股份有限公司 物件定位系統
TW202020693A (zh) * 2018-11-28 2020-06-01 台達電子工業股份有限公司 地圖建置設備及其地圖建置方法

Also Published As

Publication number Publication date
US20230004170A1 (en) 2023-01-05
CN115542846A (zh) 2022-12-30
TW202303326A (zh) 2023-01-16

Similar Documents

Publication Publication Date Title
JP7341652B2 (ja) 情報処理装置、情報処理方法、プログラム、およびシステム
US11584004B2 (en) Autonomous object learning by robots triggered by remote operators
US8073564B2 (en) Multi-robot control interface
KR102028346B1 (ko) 선도 추미 대차
TWI827649B (zh) 用於ｖｓｌａｍ比例估計的設備、系統和方法
CN108073167A (zh) 一种基于深度相机与激光雷达的定位与导航方法
CN111033561A (zh) 用于利用语义信息来导航机器人设备的系统和方法
Rodic et al. Scalable experimental platform for research, development and testing of networked robotic systems in informationally structured environments experimental testbed station for wireless robot-sensor networks
US20090234499A1 (en) System and method for seamless task-directed autonomy for robots
US20200103915A1 (en) Determining Changes in Marker Setups for Robot Localization
CN113791627B (zh) 一种机器人导航方法、设备、介质和产品
WO2018191818A1 (en) Stand-alone self-driving material-transport vehicle
US20240310860A1 (en) Methods and apparatus for controlling automated vehicles in an environment using virtual approved pathways
CN118020038A (zh) 两轮自平衡机器人
CN114730192A (zh) 物体移动系统
CN107263457A (zh) 分体式机器人及其组合、分离方法
TWI806429B (zh) 控制自動導引車之模組化控制系統及方法
Lee et al. Cyber Physical Autonomous Mobile Robot (CPAMR) framework in the context of industry 4.0
Lu et al. An Autonomous Vehicle Platform for Parcel Delivery
Øvsthus et al. Mobile Robotic Manipulator Based Autonomous Warehouse Operations
CN112882470A (zh) 一种核电站试验机器人及试验方法
EP4024155B1 (en) Method, system and computer program product of control of unmanned aerial vehicles
US20220334594A1 (en) Information processing system, information processing apparatus, and information processing program
US20230297121A1 (en) Moving body control system, control apparatus, and moving body control method
US12130635B2 (en) Information processing system and information processing apparatus