TW202321847A - 控制多個機器人協同執行任務的機器人系統 - Google Patents

控制多個機器人協同執行任務的機器人系統 Download PDF

Info

Publication number
TW202321847A
TW202321847A TW111141372A TW111141372A TW202321847A TW 202321847 A TW202321847 A TW 202321847A TW 111141372 A TW111141372 A TW 111141372A TW 111141372 A TW111141372 A TW 111141372A TW 202321847 A TW202321847 A TW 202321847A
Authority
TW
Taiwan
Prior art keywords
robot
task
end effector
perform
cooperatively
Prior art date
Application number
TW111141372A
Other languages
English (en)
Inventor
周文 孫
唐寧 塔爾伯特 莫里斯
哈利 哲 蘇
羅漢 庫爾卡尼
凱文 何塞 查韋斯
薩米爾 梅農
托比 倫納德 貝克
大衛 利奧 三世 湯德羅
羅伯特 霍姆伯格
Original Assignee
美商靈巧公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 美商靈巧公司 filed Critical 美商靈巧公司
Publication of TW202321847A publication Critical patent/TW202321847A/zh

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • B25J9/1682—Dual arm manipulator; Coordination of several manipulators
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/0084—Programme-controlled manipulators comprising a plurality of manipulators
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J15/00—Gripping heads and other end effectors
    • B25J15/06—Gripping heads and other end effectors with vacuum or magnetic holding means
    • B25J15/0616—Gripping heads and other end effectors with vacuum or magnetic holding means with vacuum
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/021—Optical sensing devices
    • B25J19/023—Optical sensing devices including video camera means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/0084—Programme-controlled manipulators comprising a plurality of manipulators
    • B25J9/0087—Dual arms
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1669—Programme controls characterised by programming, planning systems for manipulators characterised by special application, e.g. multi-arm co-operation, assembly, grasping
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/39—Robotics, robotics to robotics hand
    • G05B2219/39109—Dual arm, multiarm manipulation, object handled in cooperation

Abstract

本發明揭示一種用於控制多個機器人協同執行一任務的機器人系統。一第一機器人判定與一第二機器人協同執行一任務、獨立地移動至一第一抓取位置以抓取與該任務相關聯之一物件、接收該第二機器人準備協同執行該任務之一指示且以一領導者模式沿由該第一機器人判定之一軌跡獨立於該第二機器人移動該物件。該第二機器人輔助該第一機器人至少部分地藉由獨立地移動至一第二抓取位置而協同執行該任務、抓取該物件，且至少部分地藉由以一跟隨者操作模式操作以在該第一機器人沿該軌跡移動該物件時維持與該物件接合而與該第一機器人協同以移動該物件。

Description

控制多個機器人協同執行任務的機器人系統
本發明之實施例係關於一種控制多個機器人協同執行任務的機器人系統。
已提供機器人以執行多種任務，諸如操縱物件。例如，具有一末端執行器之一機械臂可用於拾取及放置物品。此等機器人之商業應用之實例包含分類、套組、碼垛、卸垛、卡車或集裝箱子裝載及卸載等。
在一些上下文中，待處置之物件在大小、重量、封裝及其他屬性方面具有相當變化。通常，一機械臂經設計以處置一最大尺寸、重量等之物件。在一些上下文中，習知方法可需要能夠處置可需要處置之最大、最重及/或其他最困難物件之一機械臂。
本發明揭示一種用於控制兩個或兩個以上機器人(例如機械臂，各終接一末端執行器(諸如一吸入型或夾持器型末端執行器))之機器人系統。在各種實施例中，機器人獨立工作以拾取/放置機器人可抓取及移動之物品而不使用多個機器人。如本文所揭示，由兩個或兩個以上協同工作之機器人移動一單一機器人無法移動之太大、太重、外型怪異等酬載。
在各種實施例中，多個機器人獨立地計劃及執行用於拾取及抓取封裝之運動軌跡。作出一判定以使用兩個或兩個以上機器人協同移動一酬載。例如，酬載之一屬性(例如，基於使用電腦視覺之酬載之一分類)由機器人控制系統獲知。例如，影像資料可用於按類型對酬載進行分類，且該類型之一酬載之一重量或其他屬性可用於判定使用多個機器人來移動物品。或，一單一機器人可試圖(例如)使用一基於吸力之末端執行器來抓取物品，且可不能夠升高物品或維持一牢固抓取。在一些實施例中，屬性及/或抓取策略(例如單一機器人、多機器人)(例如)基於試圖抓取及移動一類似物品及/或相同類型之物品之先前經驗而由系統隨時間學習。
在各種實施例中，為使用多個機器人移動一物品，一單一領導者機器人(例如)在領導者機器人框架中獨立地計劃一封裝軌跡以移動及將封裝放置於(例如)一目的地位置。一計劃者、排程器或其他應用或模組可發訊一協同位置之開始。一或多個跟隨者機器人接收信號，且作為回應，各機器人記錄自其跟隨者末端執行器位置及定向至領導者之末端執行器之位置及定向之一變換。例如，對於一矩形箱子之一兩個機器人拾取/放置，一單一跟隨者可判定一變換以實現及維持與領導者之末端執行器相對對應於兩個機器人將(例如)藉由吸入跨其協同抓取箱子之一距離之一位置及定向。
在各種實施例中，在放置運動中之各時間步驟處，跟隨者接收領導者之末端執行器位置及定向之一更新且使用先前判定之變換來重新計算其目標位置及定向(例如)以維持自領導者之初始變換。跟隨者使用操作空間控制(例如計算及應用必要之機械臂關節馬達扭矩)來最小化其當前末端執行器位置及定向與其重新計算之目標位置之間的誤差。
在一些實施例中，一旦跟隨者機器人使其末端執行器處於與領導者機器人相反之位置及定向且兩個(或所有)機器人均抓取封裝，速度控制即可用於同步移動末端執行器且維持跟隨者末端執行器相對於領導者之位置及定向。
在各種實施例中，一力控制器用於維持領導者機器人與跟隨者機器人之間的接觸力及扭矩。在一些實施例中，力控制器用於防止機器人與經拾取物件之間的平移及旋轉滑動且確保機器人領導者與跟隨者之間的物件姿態。
在一些實施例中，為實現精確放置，精確控制物件姿勢。基於領導者及跟隨者之末端執行器姿勢以及整個拾取及放置軌跡中之接觸力及扭矩來估計物件姿勢。
其他申請案之交叉參考 本申請案主張2021年11月1日申請之名稱為「ROBOTIC SYSTEM TO CONTROL MULTIPLE ROBOTS TO PERFORM A TASK COOPERATIVELY」之美國臨時專利申請案第63/274,461號之優先權，該案為了所有目的以引用的方式併入本文中。
本發明可以多種方式實施，包含作為一程序；一設備；一系統；一物質之組成；體現在一電腦可讀儲存媒體上之一電腦程式產品；及/或一處理器，諸如經構形以執行儲存在耦合至處理器之一記憶體上及/或由該記憶體提供之指令之一處理器。在本說明書中，此等實施方案或本發明可採取之任何其他形式可指稱技術。一般而言，在本發明之範疇內可更改所揭示之程序之步驟之順序。除非另有說明，否則描述為經構形以執行一任務之一組件(諸如一處理器或一記憶體)可實施為經臨時構形以在一給定時間內執行任務之一一般組件或經製造以執行任務之一特定組件。如本文所使用，術語「處理器」係指經構形以處理資料(諸如電腦程式指令)之一或多個裝置、電路及/或處理核心。
下文提供本發明之一或多個實施例之一詳細描述連同繪示本發明之原理之附圖。連同此等實施例一起描述本發明，但本發明不受限於任何實施例。本發明之範疇僅由申請專利範圍界定且本發明涵蓋多種替代方案、修改及等效物。在以下描述中闡述多種具體細節以提供對本發明之一徹底理解。此等細節係為了實例之目的而提供且可根據申請專利範圍實踐本發明而不需要一些或所有此等具體細節。為了清楚起見，尚未詳細描述在與本發明相關之技術領域中已知之技術材料使得未不必要地致使本發明不清楚。
圖1係繪示經構形以控制複數個機器人協同執行一任務的一機器人系統之一實施例之一方塊圖。在圖中所展示之實例中，系統及環境100包含配備一吸入型末端執行器104之一第一機械臂102及配備一吸入型末端執行器108之一第二機械臂106。在圖中所展示之狀態中，機械臂102及機械臂106經定位以相對於一大箱子110協同執行一拾取及放置任務。一控制電腦112經構形以與工作空間中之機械臂102、機械臂106及一或多個攝影機或其他感測器114之一或多者無線通信。自攝影機114接收之影像資料(例如)可由控制電腦112使用以產生工作空間之一三維視圖且在適當時將命令及資訊發送至機械臂102及機械臂106以促進協同拾取及放置任務。
圖2A至圖2C繪示在如本文所揭示之一機器人系統之一實施例中執行之一協同拾取及放置任務之一實例。在圖中所展示實例中，在圖2A中，具有吸入型末端執行器204之機械臂202及具有吸入型末端執行器208之機械臂206經定位以開始協同執行相對於大箱子210之一拾取及放置任務，類似於圖1中所展示之開始狀態。在各種實施例中，如本文所揭示，在一協同拾取及放置中，機械臂202可為「領導者」且機械臂206可為「跟隨者」。可藉由任何適合方法選擇「領導者」，諸如藉由將「領導者」角色指派至起始協同任務之機器人、藉由將角色隨機指派至參與機器人之一或另一者、藉由一「選舉」或其他選擇方法。
為起始操作，在各種實施例中，作為「領導者」，機械臂202將其末端執行器204移動至圖中所展示位置且接著(例如)藉由將末端執行器204移動至與箱子210之側接觸或幾乎接觸之一位置中且施加吸力來抓取箱子210。可將一信號發送至另一機器人(及/或控制另一機器人之一程序)以指示領導者已完成其抓取。跟隨者(例如本實例中之機械臂206)接著將(例如)在與領導者(即，機械臂202)已抓取箱子210之側相對之一側抓取箱子210。跟隨者將基於領導者之末端執行器204之位置及定向及箱子210之相關尺寸記錄一變換。例如，視覺系統及/或其他感測器可用於量測尺寸，或辨識箱子210 (例如具體而言及/或按類型)且使用物品及/或類型資訊來判定尺寸(例如，藉由查找)。
如圖2B中所展示，一旦兩個機器人(202、206)已抓取箱子210。領導者(在此實例中，機械臂202)獨立於跟隨者機械臂206計算且沿由機械臂202 (及/或與之相關聯之一控制程序)判定之一軌跡移動箱子。在各種實施例中，跟隨者機器人(在此實例中，機械臂206)接收(例如週期性地、連續地等)領導者機械臂202之末端執行器204之位置及定向資訊。跟隨者機械臂206 (及/或與其相關聯之一控制程序)使用領導者機器人(202、204)之位置及定向資訊及先前判定及記錄之變換來計算跟隨者之末端執行器208之一新目標位置及定向且視需要計算且將扭矩施加於包括機械臂206之馬達以最小化跟隨者之末端執行器208之當前位置及定向與(最近更新)目標之間的誤差(差異)。
一旦物件(箱子210)已放置於目的地位置中，如(例如)圖2C中所展示，領導者機器人(機械臂202)釋放其抓取且告知跟隨者拾取及放置任務已完成。作為回應，跟隨者(機械臂206)釋放其抓取且兩個機器人(202、206)自由執行其他工作，諸如(返回)獨立地拾取及放置較小/較輕物件及/或協同執行另一較大或較重物件之一下一拾取及放置任務。
圖3係繪示一機器人控制系統之一實施例之一方塊圖。在各種實施例中，圖3之機器人控制系統302包含或包含於圖1之控制電腦112中。在各種實施例中，包括圖3之機器人控制系統302之一或多個模組或子系統可跨多個計算節點分佈，諸如包括圖1之控制電腦112、機械臂102及/或機械臂106之電腦及/或處理器。
在圖中所展示之實例中，機器人控制系統302包含一分層計劃者、調度器及/或包括經構形以促進由兩個或兩個以上機器人協同執行任務之一機器人協同促進模組304 (如本文所揭示)及機器人特定控制器306及308之控制模組。例如，機器人1控制器306可與圖1之機械臂102及/或圖2A至圖2C之機械臂202相關聯，而機器人2控制器308可與圖2之機械臂106及/或圖2A至圖2C之機械臂206相關聯。
在各種實施例中，分別與機器人1控制器306及機器人2控制器308關聯之各自機器人可獨立操作(例如)以拾取及放置機器人能夠單獨處置之物件。在各種實施例中，使用兩個或兩個以上機器人之協同任務可藉由機器人1控制器306與機器人2控制器308之間發送之通信之一或多者來起始及/或執行；(一方面)機器人協同促進模組304與(另一方面)各自機器人1控制器306及機器人2控制器308之間的雙邊通信；及/或所有三個(或三個以上)實體之間的通信。
在圖中所展示之實例中，機器人控制系統302進一步包含一電腦視覺子系統310，經構形以自一或多個3D攝影機及/或其他感測器(諸如圖1之攝影機114)接收影像及深度資料，且使用所接收之資料產生及/或更新工作空間之一三維視圖。電腦視覺子系統310之輸出可提供至機器人協同促進模組304、機器人1控制器306及機器人2控制器308之一或多者以使其等能夠起始及協同執行一任務以拾取及放置一物品。例如，影像資料可用於判定箱子或其他物件對於一單一機器人太大及/或太重而無法拾取及放置。工作空間及其內之物件之三維視圖亦可用於(例如)判定各機器人之各自抓取策略及/或位置、判定將各機器人之末端執行器移動至其對應拾取位置之無碰撞軌跡且判定透過其將物件協同移動至其待放置之目的地位置之一無碰撞軌跡。
圖4係繪示經構形以控制複數個機器人協同執行一任務的一機器人系統之一實施例之一狀態圖。在各種實施例中，圖4之狀態圖400可由經構形以使用兩個或兩個以上機器人協同執行一操作之一機器人來實施及/或相對於該機器人實施。在一些實施例中，圖4之狀態圖400可由圖1之控制電腦112及/或圖3之機器人協同促進模組304、機器人1控制器306及機器人2控制器308之一或多者實施。
在圖中所展示實例中，在狀態402中，一機器人獨立工作以執行任務。例如，機器人可獨立拾取及放置物品(諸如)以在一套組操作中填充一箱子或其他容器、在一分類操作中將物品放置於一傳送帶或其他運輸工具上，在一托板上堆疊物品等。在接收需要幫助以執行一任務之一指示(404)之後(諸如已感知且需要拾取及放置之一物品太大而無法抓取且與一個機器人一起移動之一指示)，機器人及/或控制器即轉變至其中起始協同執行任務之一狀態406。例如，可將一通信發送至另一機器人(例如自圖3之機器人1控制器306至機器人2控制器308)或發送至一更高層級之計劃器/調度器(例如圖3之機器協同促進模組304)，或更高層級計劃器/調度器可認識到協同執行任務之需要且可起始至狀態406之轉變。
在圖中所展示實例中，機器人及/或控制器可經由一「取消幫助」轉變408轉變回狀態402中之獨立工作。例如，機器人/控制器及/或一更高層級之計劃器/調度器可判定任務已由一或多個其他機器人執行及/或指派至一或多個其他機器人。
在一些實施例中，在「啟動協同」狀態406中，起始協同執行任務之機器人/控制器與一助手機器人直接或間接通信，例如藉由請求幫助。可指派另一機器人來幫助及/或可同意幫助。機器人可被指派及/或同意在一未來時間或在一未來條件(諸如完成助手機器人已開始之一任務及/或具有更高優先權之一任務)發生之後即幫助。例如，自大型或重型物件周圍清除其他物件以促進協同任務之一任務可具有一更高優先權且可因此首先完成。一旦助手機器人準備好執行協同任務，助手機器人即直接或間接地(例如經由一更高層級之計劃器/調度器，諸如圖3之機器人協同促進模組304)告知任務起始者助手機器人已準備號以提示至「開始協同」狀態412之一轉變410。助手可經由圖中所展示之實例中之「給予幫助」轉變414直接自狀態402中之獨立工作轉變至「開始協同」狀態412。
一旦所有參與機器人在「開始協同」狀態412準備好，即判定一「領導者」(若需要)且領導者轉變(416)至「做領導者」狀態418而跟隨者轉變(420)至「做跟隨者」狀態422。如在圖2A至圖2C中所繪示之實例中，在「做領導者」狀態418及「做跟隨者」狀態422中，領導者及(若干)跟隨者如本文所揭示般協同以協同執行任務(諸如)以拾取及放置一大型或重型物件。一旦任務已完成，領導者及(若干)跟隨者即轉變(424、426)回「獨立工作」狀態402且恢復獨立工作。
圖5A係繪示在如本文所揭示之一機器人系統之一實施例中作為一「領導者」機器人協同執行一任務的一程序之一實施例之一流程圖。在各種實施例中，圖5A之程序500可由與作為「領導者」參與由兩個或兩個億是機器人協同執行一任務之一機器人相關聯之一機器人控制器實施，如本文所揭示。
在圖中所展示實例中，在502處，接收以「領導者」之角色開始一協同任務(使用一或多個其他機器人)之一指示。例如，可接收協同執行一拾取及放置任務之一指示。在504處，領導者判定抓取物件之一位置且計劃一軌跡以將其末端執行器安全地移動至抓取物件之位置中且在506處，領導者沿該軌跡將其末端執行器移動至該抓取位置。在508處，領導者判定(獨立於任何其他機器人)將物件移動至一相關聯之目的地之一軌跡。例如，機器人之一模型及其運動學及影像及/或關於工作空間之其他資訊(例如構形資料、CAD檔案等)、物件之一或多個屬性(例如尺寸、剛度等)及影像/感測器資料可用於計劃軌跡。在510處，自(若干)「跟隨者」機器人接收機器人實施程序500以將協同(若干)跟隨者機器人準備開始任務之協同執行之一指示。作為回應，在512處，「領導者」機器人將其末端執行器(及領導者及跟隨者之關節抓取中之物件)沿領導者判定之軌跡移動至目的地。在514處，在將物件放置於目的地之後，領導者機器人即釋放其抓取且告知(若干)跟隨機器人任務已完成。在各種實施例中，領導者接著恢復獨立操作。
圖5B係繪示在如本文所揭示之一機器人系統之一實施例中作為一「跟隨者」機器人協同執行一任務的一程序之一實施例之一流程圖。在各種實施例中，圖5B之程序520可由與作為「跟隨者」參與由兩個或兩個以上機器人協同執行一任務之一機器人相關聯之一機器人控制器實施，如本文所揭示。
在圖中所展示實例中，在522處，接收開始與處於「跟隨者」角色之一或多個其他機器人協同執行一任務之一指示，如本文所揭示。在524處，跟隨者判定一抓取點-例如，與「領導者」已指示其將抓取物件之側相對之該物件的一側上之抓取點-且計劃一軌跡以移動至適當位置以在該點抓取物件。在526處，跟隨者將其末端執行器移動至經判定之抓取位置且(例如)回應於接收領導者已完成其抓取之一指示而抓取物件。在528處，接收領導者之末端執行器位置及定向資訊，且跟隨者使用此資訊連同關於物件之資訊(例如使領導者之末端執行器與跟隨者之末端執行器分離之維度中之物件之大小)且計算一變換。在各種實施例中，變換包括一矩陣或可應用於領導者之末端執行器之位置及定向(通常以領導者之參考框架表達)之其他數學構造，以為跟隨者之末端執行器提供當末端執行器及夾持於其等之間的物件透過工作空間移動至物件待放置之目的地時將維持跟隨者之末端執行器相對於領導者之末端執行器之相對位置及定向之一對應位置及定向。在530處，跟隨者機器人告知領導者跟隨者「準備好」，例如跟隨者已抓取物件，計算變換，且準備好維持其末端執行器相對於(例如相反於)領導者之末端執行器之位置。
在532處，當領導者機器人開始沿由領導者獨立判定之軌跡移動時，跟隨者使用其計算之變換且當領導者之末端執行器透過工作空間移動時連續接收其位置及定向資訊。例如，對於領導者之末端執行器之所接收之位置及/或定向之至少一子集中之各者，跟隨者計算其自身之末端執行器之一新目標位置及/或定向且將如判定為最小化其末端執行器之當前位置及/或定向與當前目標之間的誤差(例如差異)所需之扭矩施加於其馬達。
在534處，跟隨者接收(例如自領導者)協同任務「完成」之一指示，跟隨者回應於該指示釋放其抓取且程序520結束。
在各種實施例中，本文所揭示之技術可用於使機器人系統能夠(例如)藉由使用兩個或兩個以上機器人協同執行一任務而相對於一更寬範圍之物件執行多種任務。
儘管已為了清楚理解之目的而詳細描述前述實施例，但本發明不受限於所提供之細節。存在實施本發明之諸多替代方式。所揭示之實施例係繪示性而非限制性。
100:系統及環境 102:第一機械臂 104:吸入型末端執行器 106:第二機械臂 108:吸入型末端執行器 110:大箱子 112:控制電腦 114:感測器 202:機械臂 204:吸入型末端執行器 206:機械臂 208:吸入型末端執行器 210:大箱子 302:機器人控制系統 304:機器人協同促進模組 306:機器人特定控制器/機器人1控制器 308:機器人特定控制器/機器人2控制器 310:電腦視覺子系統 400:狀態圖 402:狀態 404:接收需要幫助以執行一任務之一指示 406:狀態 408:「取消幫助」轉變 410:轉變 412:「給予幫助」轉變 414:「開始協同」狀態 416:轉變 418:「做領導者」狀態 420:轉變 422:做跟隨者 424:轉變 426:轉變 500:程序 502:接收以「領導者」之角色開始一協同任務(使用一或多個其他機器人)之一指示 504:判定抓取物件之一位置且計劃一軌跡以將其末端執行器安全地移動至抓取物件之位置中 506:沿該軌跡將其末端執行器移動至該抓取位置 508:判定(獨立於任何其他機器人)將物件移動至一相關聯之目的地之一軌跡 510:自(若干)「跟隨者」機器人接收機器人實施程序500以將協同(若干)跟隨者機器人準備開始任務之協同執行之一指示 512:將其末端執行器(及(若干)領導者及跟隨者之關節抓取中之物件)沿領導者判定之軌跡移動至目之地 514:在將物件放置於目的地之後，領導者機器人即釋放其抓取且告知(若干)跟隨機器人任務已完成 520:程序 522:接收開始與處於「跟隨者」角色之一或多個其他機器人協同執行一任務之一指示 524:判定一抓取點-例如，與「領導者」已指示其將抓取物件之側相對之該物件的一側上之抓取點-且計劃一軌跡以移動至適當位置以在該點抓取物件 526:將其末端執行器移動至經判定之抓取位置且(例如)回應於接收領導者已完成其抓取之一指示而抓取物件 528:接收領導者之末端執行器位置及定向資訊，且跟隨者使用此資訊連同關於物件之資訊(例如使領導者之末端執行器與跟隨者之末端執行器分離之維度中之物件之大小)且計算一變換 530:告知領導者跟隨者「準備好」(例如跟隨者已抓取物件，計算變換，且準備好維持其末端執行器相對於(例如相反於)領導者之末端執行器之位置 532:當領導者機器人開始沿由領導者獨立判定之軌跡移動時，跟隨者使用其計算之變換且當領導者之末端執行器透過工作空間移動時連續接收其位置及定向資訊 534:接收(例如自領導者)協同任務「完成」之一指示
以下詳細描述及附圖中揭示本發明之各種實施例。
圖1係繪示經構形以控制複數個機器人協同執行一任務的一機器人系統之一實施例之一方塊圖。
圖2A至圖2C繪示在如本文所揭示之一機器人系統之一實施例中執行之一協同拾取及放置任務之一實例。
圖3係繪示一機器人控制系統之一實施例之一方塊圖。
圖4係繪示經構形以控制複數個機器人協同執行一任務的一機器人系統之一實施例之一狀態圖。
圖5A係繪示在如本文所揭示之一機器人系統之一實施例中作為一「領導者」機器人協同執行一任務的一程序之一實施例之一流程圖。
圖5B係繪示在如本文所揭示之一機器人系統之一實施例中作為一「跟隨者」機器人協同執行一任務的一程序之一實施例之一流程圖。
100:系統及環境
102:第一機械臂
104:吸入型末端執行器
106:第二機械臂
108:吸入型末端執行器
110:大箱子
112:控制電腦
114:感測器

Claims (20)

  1. 一種機器人系統，其包括： 一第一機器人，其包括具有一第一末端執行器之一第一機械臂；及 一第二機器人，其包括具有一第二末端執行器之一第二機械臂； 其中該第一機器人經構形以判定與該第二機器人協同執行一任務、獨立地移動至一第一抓取位置以使用該第一末端執行器抓取與該任務相關聯之一物件、接收該第二機器人準備協同執行該任務之一指示，且以一領導者操作模式沿由該第一機器人判定之一第一軌跡獨立於該第二機器人移動該物件；及 其中該第二機器人經構形以至少部分地藉由獨立地移動至一第二抓取位置來輔助該第一機器人協同執行該任務、使用該第二末端執行器抓取該物件及至少部分地藉由以一跟隨者操作模式操作以在該第一機器人沿該第一軌跡移動該物件時維持與物件接合而與該第一機器人協同以移動該物件。
  2. 如請求項1之系統，其中該第一末端執行器包括一吸入型末端執行器。
  3. 如請求項1之系統，其中協同執行該任務之該判定係至少部分地基於該物件之一屬性。
  4. 如請求項1之系統，其中協同執行該任務之該判定係至少部分地基於自一攝影機或其他感測器接收之影像資料。
  5. 如請求項1之系統，其中該第二機器人準備協同執行該任務之該指示係至少部分地基於該第二機器人已抓取該物件之一判定。
  6. 如請求項1之系統，其中該第二機器人準備協同執行該任務之該指示係至少部分地基於該第二機器人已計算待應用於所接收之該第一末端執行器之位置及定向資訊之一變換以判定該第二末端執行器之一對應目標位置及定向之一判定。
  7. 如請求項6之系統，其中該第二機器人經構形以在該物件沿該第一軌跡移動時接收該第一末端執行器之位置及定向資訊之連續集合；使用該變換來為該第一末端執行器之位置及定向資訊之該等連續集合之至少一子集判定該第二末端執行器之一對應目標位置及定向；且操作該第二機器人以最小化該第二末端執行器之實際位置及定向與該目標之間的誤差。
  8. 如請求項1之系統，其中該第二機器人經構形以使用速度控制來匹配該第一末端執行器之一對應速度。
  9. 如請求項1之系統，其中該第二機器人經構形以在該物件移動通過該第一軌跡時使用力控制來維持該第二末端執行器與該物件之接合。
  10. 如請求項1之系統，其中該第一機器人及該第二機器人經構形以在不協同執行任何任務時獨立工作。
  11. 如請求項1之系統，其中該第一機器人經構形以在將該物件放置於與該第一軌跡之末端相關聯之一目的地位置之後即釋放其對該物件之抓取。
  12. 如請求項11之系統，其中該第一機器人經構形以告知該第二機器人其已完成該任務。
  13. 如請求項12之系統，其中該第二機器人經構形以至少部分地基於由該第一機器人告知該任務已完成而釋放其抓取。
  14. 如請求項1之系統，其進一步包括經構形以產生該第一機器人、該第二機器人及該物件位於其中之一工作空間之一三維視圖之一電腦視覺子系統。
  15. 一種方法，其包括： 由具有一第一末端執行器之一第一機器人判定與具有一第二末端執行器之一第二機器人協同執行一任務； 由該第一機器人獨立地移動至一第一抓取位置以使用該第一末端執行器抓取與該任務相關聯之一物件； 由該第一機器人接收該第二機器人準備協同執行該任務之一指示；及 由該第一機器人以一領導者操作模式獨立於該第二機器人沿由該第一機器人判定之一第一軌跡移動該物件； 其中該第二機器人經構形以至少部分地藉由獨立地移動至一第二抓取位置來輔助該第一機器人協同執行該任務、使用該第二末端執行器抓取該物件及至少部分地藉由以一跟隨者操作模式操作以在該第一機器人沿該第一軌跡移動該物件時維持與物件接合而與該第一機器人協同以移動該物件。
  16. 如請求項15之方法，其中協同執行該任務之該判定係至少部分地基於該物件之一屬性。
  17. 如請求項15之方法，其中協同執行該任務之該判定係至少部分地基於自一攝影機或其他感測器接收之影像資料。
  18. 如請求項15之方法，其中該第二機器人準備協同執行該任務之該指示係至少部分地基於該第二機器人已抓取該物件之一判定。
  19. 如請求項15之方法，其中該第二機器人準備協同執行該任務之該指示係至少部分地基於該第二機器人已計算待應用於所接收之該第一末端執行器之位置及定向資訊之一變換以判定該第二末端執行器之一對應目標位置及定向之一判定。
  20. 一種體現在一非暫時性電腦可讀媒體中且包括用於以下之電腦指令之電腦程式產品： 由具有一第一末端執行器之一第一機器人判定與具有一第二末端執行器之一第二機器人協同執行一任務； 由該第一機器人獨立地移動至一第一抓取位置以使用該第一末端執行器抓取與該任務相關聯之一物件； 由該第一機器人接收該第二機器人準備協同執行該任務之一指示；及 由該第一機器人以一領導者操作模式獨立於該第二機器人沿由該第一機器人判定之一第一軌跡移動該物件； 其中該第二機器人經構形以至少部分地藉由獨立地移動至一第二抓取位置來輔助該第一機器人協同執行該任務、使用該第二末端執行器抓取該物件及至少部分地藉由以一跟隨者操作模式操作以在該第一機器人沿該第一軌跡移動該物件時維持與物件接合而與該第一機器人協同以移動該物件。
TW111141372A 2021-11-01 2022-10-31 控制多個機器人協同執行任務的機器人系統 TW202321847A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US202163274461P 2021-11-01 2021-11-01
US63/274,461 2021-11-01

Publications (1)

Publication Number Publication Date
TW202321847A true TW202321847A (zh) 2023-06-01

Family

ID=86145017

Family Applications (1)

Application Number Title Priority Date Filing Date
TW111141372A TW202321847A (zh) 2021-11-01 2022-10-31 控制多個機器人協同執行任務的機器人系統

Country Status (3)

Country Link
US (2) US11772269B2 (zh)
TW (1) TW202321847A (zh)
WO (1) WO2023076724A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10987808B1 (en) * 2016-12-14 2021-04-27 The Board Of Trustees Of The Leland Stanford Junior University Systems and methods for providing a control solution for an actuator
US20220156665A1 (en) * 2018-01-26 2022-05-19 Above Daas, Inc. Systems and methods for orchestrating agents
CN116352726B (zh) * 2023-05-30 2023-08-01 成都航空职业技术学院 一种基于多源数据协同的机械臂控制方法和系统

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1083208A (ja) * 1996-09-05 1998-03-31 Matsushita Electric Ind Co Ltd ロボット間相対位置演算機構
EP1090722B1 (en) * 1999-09-16 2007-07-25 Fanuc Ltd Control system for synchronously cooperative operation of a plurality of robots
JP3504222B2 (ja) * 2000-09-04 2004-03-08 ファナック株式会社 ロボット制御装置
US7010390B2 (en) * 2003-07-17 2006-03-07 Kuka Roboter Gmbh Method and system for controlling robots
US8082064B2 (en) 2007-08-24 2011-12-20 Elite Engineering Corporation Robotic arm and control system
JP6172293B2 (ja) 2013-01-20 2017-08-02 株式会社ダイフク トレーラやコンテナから製品を荷下し／荷解きするための自動トラック荷下し装置
GB201303255D0 (en) 2013-02-25 2013-04-10 Univ Bristol Collaborating robots
US10807805B2 (en) 2013-05-17 2020-10-20 Intelligrated Headquarters, Llc Robotic carton unloader
WO2015187975A1 (en) 2014-06-04 2015-12-10 Intelligrated Headquarters Llc Truck unloader visualization
JP6476632B2 (ja) 2014-07-31 2019-03-06 セイコーエプソン株式会社 双腕ロボット
JP6122065B2 (ja) 2015-05-29 2017-04-26 ファナック株式会社 搬送物を吊り下げて搬送するロボットシステム
DE102016000850A1 (de) * 2016-01-27 2017-07-27 Kuka Roboter Gmbh Steuern eines Roboterverbands
CN105751196A (zh) 2016-04-12 2016-07-13 华南理工大学 一种基于主从式的工业机器人协作作业方法
US10192195B1 (en) * 2016-10-25 2019-01-29 Amazon Technologies, Inc. Techniques for coordinating independent objects with occlusions
WO2018091103A1 (en) * 2016-11-18 2018-05-24 Abb Schweiz Ag A robot arm system and a method for handling an object by a robot arm system during lead through programming
WO2018107000A1 (en) 2016-12-09 2018-06-14 Berkshire Grey, Inc. Systems and methods for processing objects provided in vehicles
CA3062101A1 (en) * 2017-05-03 2018-11-08 Taiga Robotics Corp. Systems and methods for remotely controlling a robotic device
EP3636566B1 (en) 2018-10-10 2023-03-22 Tata Consultancy Services Limited Apparatus for loading and unloading of freight
US11426864B2 (en) * 2018-12-03 2022-08-30 Kindred Systems Inc. Robot manipulator system and methods for providing supplemental securement of objects
DE102019102470B4 (de) * 2019-01-31 2021-08-26 Franka Emika Gmbh Einlernvorgang für ein Robotersystem bestehend aus zwei Robotermanipulatoren
CN112296995B (zh) 2019-07-26 2023-08-08 广州中国科学院先进技术研究所 机器人协作搬运系统
US11117267B2 (en) 2019-08-16 2021-09-14 Google Llc Robotic apparatus for operating on fixed frames
US20210122035A1 (en) * 2019-10-29 2021-04-29 Sanctuary Cognitive Systems Corporation Machine vision parsing of three-dimensional environments employing neural networks
CN111515949B (zh) 2020-04-23 2021-08-10 大连理工大学 一种双臂协作机器人的双臂传接位置选取方法
CN112264852B (zh) 2020-11-04 2021-11-30 北京航空航天大学 一种打磨大型薄壁件的双臂机器人协同减振方法
CN113427483A (zh) 2021-05-19 2021-09-24 广州中国科学院先进技术研究所 一种基于强化学习的双机器人力/位多元数据驱动方法
US20220371186A1 (en) * 2021-05-19 2022-11-24 Guangzhou Institute of advanced technology Dual-robot position/force multivariate-data-driven method using reinforcement learning

Also Published As

Publication number Publication date
US20230134924A1 (en) 2023-05-04
US20240042613A1 (en) 2024-02-08
WO2023076724A1 (en) 2023-05-04
US11772269B2 (en) 2023-10-03

Similar Documents

Publication Publication Date Title
TW202321847A (zh) 控制多個機器人協同執行任務的機器人系統
DE102019130048B4 (de) Ein Robotersystem mit Srückverlustverwaltungsmechanismus
US11919169B2 (en) Optimization of motion paths of a robot using vision data
US20230158676A1 (en) Controlling multiple robots to cooperatively pick and place items
CN111730603A (zh) 机器人系统的控制装置以及控制方法
KR20210149091A (ko) 상자들을 팔레타이징하기 위한 로봇 및 방법
US20230150137A1 (en) Controlling multiple robots to cooperatively unload a truck or other container
KR20210077643A (ko) 개별 컵 제어를 갖는 지능형 그리퍼
CN117460601A (zh) 集成移动机械手机器人的动态质量估计方法
Benali et al. Dual arm robot manipulator for grasping boxes of different dimensions in a logistics warehouse
TWI794989B (zh) 基於速度控制的機器人系統、控制一機器人系統之方法、及體現於一非暫時性電腦可讀媒體之電腦程式產品
CN109641706B (zh) 拣货方法、系统及其应用的获持与放置系统、机器人
JP7353948B2 (ja) ロボットシステム及びロボットシステムの制御方法
CN108698225B (zh) 机器人码放货物的方法及机器人
WO2023193773A1 (en) Robotic systems with object handling mechanism and associated systems and methods
TW202332554A (zh) 多模式機器人末端執行器
Kaipa et al. Characterizing performance of sensorless fine positioning moves in the presence of grasping position uncertainty
Lei et al. Dual-arm object transportation via model predictive control and external disturbance estimation
Kosuge et al. Coordinated Motion Control of Multiple Manipulators
US20230271797A1 (en) Robotic system to control ingress to a robotic loader
CN114683299B (zh) 机器人工具及其操作方法
JP7264387B2 (ja) 開閉式物体用のロボットグリッパアセンブリ及び物体をピッキングするための方法
Krishnan et al. Adaptive gain control law for visual servoing of 6DOF robot manipulator
Benali et al. A Humanoid Torso For Palletization in Logistics Warehouses
Song et al. Picking by Tilting: In-Hand Manipulation for Object Picking using Effector with Curved Form