TW202122225A - 使用先進掃描技術之用於機器人箱揀取的系統及方法 - Google Patents

使用先進掃描技術之用於機器人箱揀取的系統及方法 Download PDF

Info

Publication number
TW202122225A
TW202122225A TW109123021A TW109123021A TW202122225A TW 202122225 A TW202122225 A TW 202122225A TW 109123021 A TW109123021 A TW 109123021A TW 109123021 A TW109123021 A TW 109123021A TW 202122225 A TW202122225 A TW 202122225A
Authority
TW
Taiwan
Prior art keywords
workpiece
robot
posture
picking
user interface
Prior art date
Application number
TW109123021A
Other languages
English (en)
Inventor
克里斯托弗 湯瑪士 阿洛伊西奧
Original Assignee
美商泰瑞達公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 美商泰瑞達公司 filed Critical 美商泰瑞達公司
Publication of TW202122225A publication Critical patent/TW202122225A/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/451—Execution arrangements for user interfaces
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/06—Control stands, e.g. consoles, switchboards
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1612—Programme controls characterised by the hand, wrist, grip control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1628—Programme controls characterised by the control loop
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/006—Controls for manipulators by means of a wireless system for controlling one or several manipulators
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/37—Measurements
    • G05B2219/37555—Camera detects orientation, position workpiece, points of workpiece
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40014—Gripping workpiece to place it in another place
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40053—Pick 3-D object from pile of objects
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40564—Recognize shape, contour of object, extract position and orientation
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/45—Nc applications
    • G05B2219/45063—Pick and place manipulator

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Robotics (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Orthopedic Medicine & Surgery (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Manipulator (AREA)

Abstract

提供一種用於程式化一工件之揀取及放置的方法及系統。實施例可包括將一工件與附接至一機器人的一末端效應器關聯，及在該工件與該末端效應器關聯時掃描該工件。實施例亦可包括至少部分基於該掃描而判定該工件相對於該機器人的一姿勢。

Description

使用先進掃描技術之用於機器人箱揀取的系統及方法
本發明大致關於機器人學，且更具體地關於用於機器人箱揀取(bin picking)的系統及方法。
某些形式的體力勞動（諸如一次一個工件地將箱卸載至機器中、散裝零件排序、及訂單履行）係勞力密集的。若工件或操作係沉重的、銳利的、或以其他方式有危害的，此等工作常係危險的。在對抗此等問題的努力中，箱揀取機器人已在處理此等繁瑣的工作。然而，由於所需的準確度及精準度的量常超出系統的能力，機器人箱揀取係特別難以掌握的任務。箱揀取通常包括發現箱中的零件、將其拾取、將其移動至目的地、且之後將其放下。傳統的機器人程式化通常涉及程式地指定一系列機器人姿勢。「藉由實例程式化(programming by example)」、「牽引式程式化(lead-through programming)」、「教導式程式化(teach-in programming)」傳統上意指引導機器人通過一系列姿勢。
在一個實施方案中，提供一種用於程式化一工件之揀取及放置之方法。該方法可包括將一工件與附接至一機器人的一末端效應器關聯，及在該工件與該末端效應器關聯時掃描該工件。該方法可進一步包括至少部分基於該掃描而判定該工件相對於該機器人的一姿勢。
可包括下列特徵的一或多者。該方法可包括經由該機器人拾取該工件，其中拾取該工件包括指定該機器人相對於該工件之該姿勢的一或多個姿勢。該方法可進一步包括放置該工件，其中放置該工件包括判定一機器人姿勢及自該機器人姿勢推斷該工件的該姿勢。該方法亦可包括放置該工件，其中放置該工件包括指定該機器人相對於該工件之該姿勢的一或多個姿勢。該方法可進一步包括在一圖形使用者介面處顯示該工件相對於該機器人的該姿勢以允許視覺驗證。在一些實施例中，掃描及判定可在該機器人在一固定位置中時發生。該方法可進一步包括允許一使用者藉由輸入一或多個座標來調整該工件相對於該機器人的該姿勢。該方法亦可包括將該工件的一經調整姿勢顯示在一圖形使用者介面處以供驗證。
在另一實施方案中，提供一種用於程式化一工件之揀取及放置之系統。該系統可包括附接至一機器人並經建構以具有與其關聯的一工件的一末端效應器。該系統亦可包括經建構以在該工件與該末端效應器關聯時掃描該工件的一掃描器。該系統可進一步包括經建構以至少部分基於該掃描而判定該工件相對於該機器人的一姿勢的一計算裝置。
可包括下列特徵的一或多者。該機器人可經建構以拾取該工件，其中拾取該工件包括指定該機器人相對於該工件之該姿勢的一或多個姿勢。該機器人可經建構以放置該工件，其中放置該工件包括判定一機器人姿勢及自該機器人姿勢推斷該工件的該姿勢。該機器人可經建構以放置該工件，其中放置該工件包括指定該機器人相對於該工件之該姿勢的一或多個姿勢。該計算裝置可經建構以在一圖形使用者介面處顯示該工件相對於該機器人的該姿勢以允許視覺驗證。掃描及判定可在該機器人在一固定位置中時發生。該圖形使用者介面可經建構以允許一使用者藉由輸入一或多個座標來調整該工件相對於該機器人的該姿勢。該圖形使用者介面可經建構以將該工件的一經調整姿勢顯示在一圖形使用者介面處以供驗證。
在附圖與下文描述中提出一或多個實作的細節。其他特徵及優點將由描述、圖式、及申請專利範圍而變得明顯。
本揭露的實施例係關於用於機器人箱揀取的系統及方法。因此，包括於本文中的箱揀取方法可允許機器人與掃描系統一起運作，以識別箱中的零件、從箱揀取零件、並將經揀取零件放置在指定位置。與上文討論的傳統機器人程式化實例相比，本文描述的機器人箱揀取程序的實施例經建構以聚焦在工件與機器人末端效應器的關係，與僅聚焦於機器人相反。工件可在箱中的任何位置，且最終工件放置可使用許多不同的機器人姿勢實現。
本申請案之實施例可包括來自美國專利第6,757,587號、美國專利第7,680,300號、美國專利第8,301,421號、美國專利第8,408,918號、美國專利第8,428,781號、美國專利第9,357,708號、美國公開案第2015/0199458號、美國公開案第2016/0321381號、美國公開案第2018/0060459號、及美國專利申請案第16/453,197號及第16/378,343號的概念，其等各自的全部內容以引用其等全文之方式併入本文中。
現在參照圖1，顯示可駐留在計算裝置12上並可由該計算裝置執行的機器人箱揀取程序10，該計算裝置可連接至網路（例如，網路14）（例如，網際網路或區域網路）。計算裝置12（及/或下文提及之用戶端電子裝置的一或多者）的實例可包括但不限於（多個）個人電腦、（多個）膝上型電腦、（多個）行動計算裝置、伺服器電腦、一系列伺服器電腦、（多個）大型電腦、或（多個）計算雲端。計算裝置12可執行作業系統，例如但不限於Microsoft® Windows®；Mac® OS X®；Red Hat® Linux®、或客製化作業系統。（Microsoft及Windows係Microsoft Corporation在美國、其他國家、或二者的註冊商標；Mac及OS X係Apple Inc.在美國、其他國家、或二者的註冊商標；Red Hat係Red Hat Corporation在美國、其他國家、或二者的註冊商標；而Linux係Linus Torvalds在美國、其他國家、或二者的註冊商標）。
如將於下文更詳細地討論者，機器人箱揀取程序（諸如圖1至圖2的機器人箱揀取程序10）可用於程式化工件的揀取及放置。該程序可包括將工件與附接至機器人的末端效應器關聯200，及在工件與末端效應器關聯時掃描202工件。該程序可進一步包括至少部分基於掃描而判定204工件相對於機器人的姿勢。
機器人箱揀取程序10的指令集及副常式（其等可儲存在耦接至計算裝置12的儲存裝置16上）可由包括在計算裝置12內的一或多個處理器（未圖示）及一或多個記憶體架構（未圖示）執行。儲存裝置16可包括但不限於：硬碟機；快閃驅動器，磁帶驅動器；光學驅動器；RAID陣列；隨機存取記憶體(RAM)；及唯讀記憶體(ROM)。
網路14可連接至一或多個次級網路（例如，網路18），次級網路的實例可包括但不限於：區域網路；廣域網路；或例如，內部網路。
機器人箱揀取程序10可係與經由用戶端應用程式22、24、26、28、66存取的小程式/應用程式介接的獨立應用程式。在一些實施例中，機器人箱揀取程序10可全部或部分地分佈在雲端計算拓撲中。以此方式，計算裝置12及儲存裝置16可指多個裝置，其亦可分布在網路14及/或網路18各處。
計算裝置12可執行機器人控制應用程式（例如，機器人控制應用程式20），其實例可包括但不限於來自Energid Technologies of Cambridge, Massachusetts的Actin®軟體開發套件及任何其他箱揀取應用程式或軟體。機器人箱揀取程序10及/或機器人控制應用程式20可經由用戶端應用程式22、24、26、28、68存取。機器人箱揀取程序10可係獨立的應用程式，或可係可與機器人控制應用程式20、機器人控制應用程式20的組件、及/或用戶端應用程式22、24、26、28、68的一或多者互動及/或在該機器人控制應用程式、該機器人控制應用程式的組件、及/或該等用戶端應用程式內執行的小程式/應用程式/腳本(script)/擴充(extension)。機器人控制應用程式20可係獨立的應用程式，或可係可與機器人箱揀取程序10、機器人箱揀取程序10的組件、及/或用戶端應用程式22、24、26、28、68的一或多者互動及/或在該機器人箱揀取程序、該機器人箱揀取程序的組件、及/或該等用戶端應用程式內執行的小程式/應用程式/腳本/擴充。用戶端應用程式22、24、26、28、68的一或多者可係獨立的應用程式，或可係可與機器人箱揀取程序10及/或機器人控制應用程式20互動及/或在該機器人箱揀取程序及/或機器人控制應用程式內執行及/或該機器人箱揀取程序及/或機器人控制應用程式之組件的小程式/應用程式/腳本/擴充。用戶端應用程式22、24、26、28、68的實例可包括但不限於接收查詢以搜尋來自一或多個資料庫、伺服器、雲端儲存伺服器等的內容的應用程式、文字及/或圖形使用者介面、客製化網路瀏覽器、外掛程式、應用程式設計介面(Application Programming Interface, API)、或客製應用程式。用戶端應用程式22、24、26、28、68的指令集及副常式（其等可儲存在耦接至用戶端電子裝置38、40、42、44的儲存裝置30、32、34、36上）可由併入用戶端電子裝置38、40、42、44中的一或多個處理器（未圖示）及一或多個記憶體架構（未圖示）執行。
儲存裝置30、32、34、36可包括但不限於：硬碟機；快閃驅動器，磁帶驅動器；光學驅動器；RAID陣列；隨機存取記憶體(RAM)；及唯讀記憶體(ROM)。用戶端電子裝置38、40、42、44（及/或計算裝置12）的實例可包括但不限於個人電腦（例如，用戶端電子裝置38）、膝上型電腦（例如，用戶端電子裝置40）、智慧型/資料啟用手機（例如，用戶端電子裝置42）、筆記型電腦（例如，用戶端電子裝置44）、平板電腦（未圖示）、伺服器（未圖示）、電視（未圖示）、智慧型電視（未圖示）、媒體（例如，視訊、相片等）擷取裝置（未圖示）、及專用網路裝置（未圖示）。用戶端電子裝置38、40、42、44可各自執行作業系統，其實例可包括但不限於Microsoft® Windows®；Mac® OS X®；Red Hat® Linux®、Windows® Mobile、Chrome OS、Blackberry OS、Fire OS、或客製作業系統。
用戶端應用程式22、24、26、28、68的一或多者可經建構以實行機器人箱揀取程序10的一些或全部功能（且反之亦然）。因此，機器人箱揀取程序10可係純粹的伺服器側應用程式、純粹的用戶端側應用程式、或由用戶端應用程式22、24、26、28、68的一或多者及/或機器人箱揀取程序10合作地執行的混合伺服器側/用戶端側應用程式。
用戶端應用程式22、24、26、28、68的一或多者可經建構以實行機器人控制應用程式20的一些或全部功能（且反之亦然）。因此，機器人控制應用程式20可係純粹的伺服器側應用程式、純粹的用戶端側應用程式、或由用戶端應用程式22、24、26、28、68的一或多者及/或機器人控制應用程式20合作地執行的混合伺服器側/用戶端側應用程式。由於用戶端應用程式22、24、26、28、68的一或多者、機器人箱揀取程序10、及機器人控制應用程式20（單獨地或以任何組合地採用）可實行一些或全部的相同功能，經由用戶端應用程式22、24、26、28、68的一或多者、機器人箱揀取程序10、及機器人控制應用程式20、或其組合實行此類功能的任何描述、及在用戶端應用程式22、24、26、28、68的一或多者、機器人箱揀取程序10、機器人控制應用程式20、或其組合之間用以實行此類功能的任何所描述的（多種）互動應僅作為實例，而非用以限制本揭露的範圍。
使用者46、48、50、52可直接或間接通過網路14或通過次級網路18存取計算裝置12及機器人箱揀取程序10（例如，使用用戶端電子裝置38、40、42、44的一或多者）。進一步地，計算裝置12可通過次級網路18連接至網路14，如使用虛鏈結線54所繪示的。機器人箱揀取程序10可包括一或多個使用者介面，諸如瀏覽器及文字或圖形使用者介面，使用者46、48、50、52可通過其存取機器人箱揀取程序10。
各種用戶端電子裝置可直接或間接地耦接至網路14（或網路18）。例如，用戶端電子裝置38經顯示經由固線式網路連接直接耦接至網路14。進一步地，用戶端電子裝置44經顯示經由固線式網路連接直接耦接至網路18。用戶端電子裝置40經顯示經由無線通訊通道56無線地耦接至網路14，該無線通訊通道建立在用戶端電子裝置40與經顯示直接耦接至網路14的無線存取點（亦即，WAP）58之間。例如，WAP 58可係能夠在用戶端電子裝置40與WAP 58之間建立無線通訊通道56的IEEE 800.11a、800.11b、800.11g、Wi-Fi®、及/或Bluetoothtm （包括Bluetoothtm 低功耗）裝置。用戶端電子裝置42經顯示經由無線通訊通道60無線地耦接至網路14，該無線通訊通道建立在用戶端電子裝置42與經顯示直接耦接至網路14的蜂巢式網路/橋接器62之間。在一些實施方案中，機器人系統64可經由無線通訊通道66無線地耦接至網路14，該無線通訊通道建立在用戶端電子裝置42與經顯示直接耦接至網路14的蜂巢式網路/橋接器62之間。儲存裝置70可耦接至機器人系統64且可包括但不限於：硬碟機；快閃驅動器，磁帶驅動器；光學驅動器；RAID陣列；隨機存取記憶體(RAM)；及唯讀記憶體(ROM)。使用者72可直接或間接通過網路14或通過次級網路18存取計算裝置12及機器人箱揀取程序10（例如，使用機器人系統64）。
一些或全部的IEEE 800.11x規格可使用乙太網路協定及用於路徑共享之具有避免碰撞的載波感測多重存取（亦即，CSMA/CA）。例如，各種800.11x規格可使用相移鍵控（亦即，PSK）調變或互補碼鍵控（亦即，CCK）調變。Bluetoothtm （包括Bluetoothtm 低功耗）係允許，例如，行動電話、電腦、智慧型手機、及其他電子裝置使用短程無線連接互連的電信產業規格。亦可使用其他形式的互連（例如，近場通訊(NFC)）。
在一些實施例中，箱揀取系統（例如，箱揀取系統64）可包括機器手臂（例如，可購自Universal Robots的Universal Robots UR5等）、控制器、握爪、感測器、及共處理器（例如，用以運行來自感知及任務規劃之在計算上昂貴的操作）。然而，將理解箱揀取系統可包括額外的組件及/或可省略在本揭露之範圍內之此等實例組件中的一或多者。
在一些實施例中，且亦參照圖3，箱揀取系統（例如，箱揀取系統64）可經建構以在共處理器上運行全部模組並透過，例如，乙太網路連接使用來自UR的即時資料交換介面與UR控制器介接。軟體應用程式可從用於一或多個圖形使用者介面的客製外掛程式建立，諸如可購自Energid Technologies的「Actin Viewer」。在一些實施例中，感測器可係任何合適的感測器（例如，3D感測器）。在一些實施例中，箱揀取系統（例如，箱揀取系統64）可經建構以在至少一個共處理器上運行一些模組並在UR控制器上運行一些模組。在一些實施例中，所有模組均可在UR控制器上運行。
如本文所使用的，用語「Actin viewer」可指圖形使用者介面、「Actin」可指機器人控制軟體、且「UR」可指「Universal Robots」。此等特定公司及產品的任何使用僅以舉實例的方式提供。如此，可使用任何合適的圖形使用者介面、機器人控制軟體、及裝置/模組而不脫離本揭露之範圍。
在一些實施例中，共處理器可包括核心處理器及圖形卡。作業系統及編譯器可係任何合適類型的。共處理器可包括多個外部介面（例如，乙太網路至UR控制器、USB3.0至（多個）攝影機、HDMI至投影機等）。此等特定裝置及系統以及本文件通篇描述的其他者僅以舉實例的方式提供。
在一些實施例中，Universal Robots UR5可使用在箱揀取系統64中。該控制器可係未經修改的。例如，吸力杯臂末端工具(end of arm tool, EOAT)可經由，例如，24 VDC數位輸出通道連接至控制器。然而，應理解任何EOAT可使用在本揭露之範圍內的任何機械臂上。
在一些實施例中，可使用任何掃描器。此可係結構化光感測器且可啟用第三方整合。掃描器連同SDK可與可用以建立工件網目模板的應用程式一起供應。
在一些實施例中，箱揀取應用程式（例如，箱揀取應用程式20）可經建構以在箱揀取系統（例如，箱揀取系統64）的共處理器上運行，替代上文討論之基於GUI的Actin Viewer。例如，使用者介面可經由箱揀取罩蓋移動至控制器及教導下垂。如本文所使用的，「罩蓋(cap)」通常係指機器人的能力、配件、或周邊。「UR」罩蓋可指可購自「Universal Robotics」或本揭露之受讓人的罩蓋。在一個實例中，C++ 罩蓋常駐程式可在控制器上運行以透過RTI Connext DDS啟用與共處理器的通訊。實例部署顯示在圖4中。
在一些實施例中，箱揀取系統可包括多個階段。此等階段可包括但不限於：安裝；校準及對準；應用程式組態；及箱揀取操作。
在一些實施例中，可組態箱揀取系統。例如，機器人、感測器、及握爪可全部在此操作階段中實體地安裝及校準。可執行感測器校準以識別攝影機及投影機的內部及外部參數。感測器對機器人的對準可使用由球體之陣列所組成的經3D列印對準物體執行。例如，可輕易偵測到目標工件，並可定義工件姿勢評估係相對於其之機器人座標框。安裝、校準、及對準參數可儲存至共處理器上的檔案。
在一些實施例中，箱揀取程式組態階段係使用者組態箱揀取系統以執行具有給定之工件及放置或夾具之箱揀取操作的階段。使用者首先可載入或建立新的程式組態。建立新的程式可包括但不限於組態工具、工件模板、及箱，接著訓練抓握及放置。
在箱揀取操作階段中，使用者可觸發箱揀取系統以執行箱揀取或停止，及監控進展。箱揀取系統可自動運行，並在各揀取嘗試之前掃描箱。在一些實施例中，箱揀取系統預期有二種使用者角色，其等可包括使用者角色及開發者角色。使用者可通過圖形使用者介面（例如，可能不需要程式化經驗）與箱揀取系統互動。開發者可擴展箱揀取軟體以包括新感測器支援、新握爪、新姿勢評估(Matcher)演算法、新邊界產生器、及新抓握腳本選擇器。各種任務可由使用者執行，且其他任務可由開發者執行。
現在參照圖5，提供允許使用者設定起始位置的圖形使用者介面。使用者可選擇程式樹中的「起始位置(home position)」選項並接著選擇「設定起始位置(set the home position)」。使用者接著可遵循教導器上的指令以將機器人移動至所欲的起始位置。
現在參照圖6，提供允許使用者組態工具的圖形使用者介面。使用者可選擇程式樹中的「工具(tool)」選項並藉由手動輸入座標及定向來設定工具中心點。使用者亦可被提供載入目標檔的選項。
現在參照圖7，提供允許使用者登錄箱的圖形使用者介面。使用者可選擇「基底(base)」選項作為登錄平面並選擇「教導(teach)」選項作為箱類型。可將指標器安裝至末端效應器。
現在參照圖8，提供允許使用者登錄箱的圖形使用者介面。使用者可使用指標器碰觸各箱壁之內部上的四個點以登錄。在一些實施例中，可展開該等教導點。可提供側定義繪圖以登錄各側。一旦登錄完成，可觸變LED指示器。
現在參照圖9，提供允許使用者組態箱碰撞形狀的圖形使用者介面。使用者可選擇「預設形狀(default shapes)」選項以基於該登錄定義箱的碰撞形狀。在一些實施例中，使用者可改變碰撞形狀的大小。
現在參照圖10，提供允許使用者驗證零件模板的圖形使用者介面。使用者可選擇「掃描(scan)」選項以掃描箱中的工件。在一些實施例中，箱揀取系統可嘗試使點雲與零件模板匹配。
現在參照圖11，提供允許使用者組態重掃描位置的圖形使用者介面。使用者可選擇程式樹中的「重掃描位置(rescan position)」選項並選擇以「設定重掃描位置(set the rescan position)」。一旦機器人已移動至所欲重掃描位置，使用者可選擇「確定(ok)」。
現在參照圖12，提供允許使用者編輯抓握列表的圖形使用者介面。在一些實施例中，抓握列表可在評估抓握時定義使用的優先順序。抓握可藉由選擇「添加抓握(add grasp)」或「移除抓握(remove grasp)」來添加及移除。經選取的抓握可使用如圖所示的按鍵在列表中上移或下移。
現在參照圖13，提供允許使用者觀看抓握精靈的圖形使用者介面。使用者可選擇程式樹中的新抓握節點或選擇「下一步(next)」以存取抓握精靈。使用者可改變「選項」欄標下的抓握名稱。
現在參照圖14，提供允許使用者訓練揀取的圖形使用者介面。使用者可選擇「教導揀取方法(teach pick approach)」選項，並將機器人移動至揀取進路位置。該進路位置不應在零件模板碰撞區域中。使用者可選擇「確定(ok)」選項以記錄位置，並接著繼續設定其他位置。
現在參照圖15至圖26，機器人箱揀取程序10的實施例顯示可用以藉由掃描工件並至少部分基於該掃描判定工件相對於機器人的姿勢而程式化機器人的各種圖形使用者介面，該工件可與機器人的末端效應器關聯及/或附接至該末端效應器。圖15顯示可用以開始添加揀取規則或放置規則之程序的實例圖形使用者介面。
在一些實施例中，且如圖16所示，機器人箱揀取程序10可包括將工件與附接至機器人的末端效應器關聯。在操作中，使用者可選擇工件並藉由將工件附接至與機器人關聯的末端效應器或工具而教導揀取。應注意工件可使用任何合適的方法與末端效應器關聯，包括但不限於，磁化附接、吸力附接等。一旦工件與末端效應器關聯，使用者可選擇「教導(teach)」選項。自工具中心點（「TCP (tool center point)」）的偏移亦可顯示在圖形使用者介面處及/或由使用者在圖形使用者介面處編輯。
在一些實施例中，且如圖17所示，機器人箱揀取程序10可包括在工件與末端效應器關聯時掃描工件。如此，機器人手臂及/或末端效應器可移動，使得掃描器可掃描已與末端效應器關聯的工件。使用者可接著在圖形使用者介面處驗證工件及末端效應器是否如預期地關聯或附接。若使用者已驗證對準，他或她可選擇掃描選項。若對準需要進一步調整，可將其取消並可進行一或多個調整。若選擇掃描選項，圖形使用者介面可指示掃描在進行中，如圖18所示。
在一些實施例中，機器人箱揀取程序10可包括至少部分基於掃描而判定工件相對於機器人的姿勢。如圖19所示，可在圖形使用者介面處將工件相對於機器人或末端效應器的姿勢顯示給使用者。此可允許工件及工件與末端效應器關聯之方式以及自TCP之X、Y、及Z偏移二者的視覺驗證，如圖19至圖20所示。X、Y、及Z座標系統可在圖形使用者介面處顯示，並可基於使用者偏好調整。該程序可允許使用者藉由輸入及/或編輯座標來調整工件相對於機器人的姿勢。工件的經調整姿勢可在圖形使用者介面處顯示以供驗證。
在一些實施例中，機器人箱揀取程序10可包括使用機器人及/或末端效應器拾取工件。此可包括指定機器人相對於工件之姿勢的一或多個姿勢。
在一些實施例中，機器人箱揀取程序10可包括放置工件，其中放置工件包括判定機器人姿勢及自該機器人姿勢推斷工件的姿勢。放置工件亦可包括指定機器人相對於工件之姿勢的一或多個姿勢。在一些實施例中，掃描工件及判定可在機器人在固定位置中時發生。
現在參照圖21至圖25，提供可用以根據一或多個放置規則的實例圖形使用者介面。如圖21所示，放置規則可藉由將工件附接至末端效應器並從圖形使用者介面選擇「教導」選項而教導。為準備掃描，使用者可能需要移動機器人及/或末端效應器以對掃描器呈現工件及末端效應器。在一些情形中，末端效應器可使用可通過圖形使用者介面存取的一或多個控制項控制，然而，手動呈現亦在本揭露之範圍內。一旦工件及末端效應器對掃描器係可見的，可起始掃描，如圖21至圖23所示。
現在參照圖24，提供顯示掃描結果的實例圖形使用者介面。在此特定實例中，掃描結果顯示末端效應器位置以及特定的X、Y、及Z座標。程序10允許使用者驗證工件與末端效應器的關係，且亦提供執行再掃描的能力（若需要）。圖25顯示使用者或系統可定義所欲放置位置的實例圖形使用者介面。在一些實施例中，在選擇「下一步」選項時，可將末端效應器及工件移動至所欲放置位置。圖26描繪顯示工具位置及關節位置座標二者的圖形使用者介面。
本揭露的實施例可允許不將揀取及放置程式化成序列，但係以建立工件相對於機器人的姿勢開始，並從起始開始點向前或向後工作。關係可藉由在工件由末端效應器固持時掃描該工件而建立。末端效應器可剛性地附接至機器人，所以此亦可建立工件相對於機器人的姿勢。揀取的其餘部分可藉由指定機器人位置相對於已建立的工件/機器人姿勢的數值偏移而指定。放置的其餘部分可藉由讀取機器人姿勢、從機器人姿勢推斷工件姿勢、及指定機器人位置相對於已建立的工件姿勢的數值偏移而指定。
因此，本文描述的機器人箱揀取程序10的實施例可提供許多優於既存方法的優點。例如，揀取及放置可藉由每一次以掃描開始而獨立地程式化及除錯。工件及末端效應器的關係可在掃描前最佳化，移除因為零件移動、在揀取期間的吸力杯變形（或機器握爪上的彈性墊變形）、非所要的偏移等的誤差。工件與末端效應器的關係可在掃描後視覺地驗證。此方法可被認為係「自中間(from the middle out)」程式化，向後工作至揀取及向前工作至放置。此將任何誤差累積鏈切成兩半。程式化揀取可能完全不需要移動機器人、減少工作量、並移除由人類視覺建立機器人位置所導致的誤差。本文所包括的實施例可藉由呈現顯著特徵、在經掃描容積的最佳部分中掃描、與其他工件或環境混亂隔絕地掃描工件等來改善工件姿勢偵測的準確度。
在一些實施例中，放置訓練程序可包括下列步驟：1)離線：教導該機器人拾取並對感測器呈現工件以供掃描。記錄末端效應器姿勢及工件姿勢二者。2)離線：教導機器人將工件放置在其目的地，記錄末端效應器姿勢。3)線上：使用與步驟1中相同的機器人姿態揀取工件並對感測器呈現以供掃描，記錄末端效應器姿勢及工件姿勢。4)線上：藉由在先前步驟中收集的資訊將工件放置至其目的地。
在一些實施例中，放置準確度可由三個主要來源所主導：1)機器人動力模型校準、2)感測器校準及對準、及3)工件姿勢評估。此等三個任務判定定義機器人末端效應器姿勢、感測器姿勢、及工件姿勢及在一共同座標系統中的座標系統變換。最終的工件放置可經計算隨此等變換而變動。
在一些實施例中且如上文討論的，GUI可在任何合適的裝置上，包括但不限於在教導器上、在手持裝置上、在個人電腦上、在機器人自身上等。在一些實施例中，GUI可自多個來源提取其所顯示的資訊，例如，自機器人控制器及自與機器人控制器分開的處理器。在一些實施例中，GUI可將使用者輸入引導至一或多個目的地，例如，至機器人控制器及/或與機器人控制器分開的處理器。在一些實施例中，GUI的使用者可或可不知悉多個資料來源或目的地的存在。
如上文解釋者，本發明提供一種方法及由提供用於執行該方法之步驟的功能的各種模組所組成的對應裝備二者。可將模組實作為硬體，或可實作為軟體或韌體以用於由電腦處理器執行。尤其，在韌體或軟體的情形中，可將本發明提供為電腦程式產品，該電腦程式產品包括將電腦程式碼（亦即，軟體或韌體）具現於其上以供由電腦處理器執行之電腦可讀儲存結構。
應理解上述配置僅說明本發明之原理的應用。所屬技術領域中具有通常知識者可設計許多修改及替代配置而不脫離本揭露之範圍。
10:機器人箱揀取程序 12:計算裝置 14:網路 16:儲存裝置 18:網路 20:機器人控制應用程式 22:用戶端應用程式 24:用戶端應用程式 26:用戶端應用程式 28:用戶端應用程式 30:儲存裝置 32:儲存裝置 34:儲存裝置 36:儲存裝置 38:用戶端電子裝置 40:用戶端電子裝置 42:用戶端電子裝置 44:用戶端電子裝置 46:使用者 48:使用者 50:使用者 52:使用者 54:虛鏈結線 56:無線通訊通道 58:無線存取點(WAP) 60:無線通訊通道 62:蜂巢式網路/橋接器 64:機器人系統/箱揀取系統 66:用戶端應用程式/無線通訊通道 68:用戶端應用程式 70:儲存裝置 72:使用者 200:關聯 202:掃描 204:判定
附圖（其等被包括以提供本揭露之實施例的進一步瞭解，並被併入本說明書中並構成本說明書的一部分）繪示本揭露之實施例，並連同說明書一起用以解釋本揭露之實施例的原理。 [圖1]係耦接至分散式計算網路之機器人箱揀取程序的簡圖； [圖2]係圖1之機器人箱揀取程序的一個實施方案的流程圖； [圖3]係根據本揭露的一實施例之經建構在共處理器上運行所有模組並透過乙太網路連接使用來自UR的即時資料交換介面與UR控制器介接的箱揀取系統。 [圖4]係根據本揭露的一實施例之顯示箱揀取系統部署圖的介面。 [圖5]係根據本揭露的一實施例之允許使用者設定起始位置的圖形使用者介面。 [圖6]係根據本揭露的一實施例之允許使用者組態工具的圖形使用者介面。 [圖7]係根據本揭露的一實施例之允許使用者登錄箱的圖形使用者介面。 [圖8]係根據本揭露的一實施例之允許使用者登錄箱的圖形使用者介面。 [圖9]係根據本揭露的一實施例之允許使用者組態箱碰撞形狀的圖形使用者介面。 [圖10]係根據本揭露的一實施例之允許使用者驗證零件模板的圖形使用者介面。 [圖11]係根據本揭露的一實施例之允許使用者組態重掃描位置的圖形使用者介面。 [圖12]係根據本揭露的一實施例之允許使用者添加抓握的圖形使用者介面。 [圖13]係根據本揭露的一實施例之允許使用者訓練抓握及放置的圖形使用者介面。 [圖14]係根據本揭露的一實施例之允許使用者訓練揀取的圖形使用者介面。 [圖15]係根據本揭露的一實施例之允許使用者設定揀取規則的圖形使用者介面。 [圖16]係根據本揭露的一實施例之允許使用者設定揀取規則的圖形使用者介面。 [圖17]係根據本揭露的一實施例之允許使用者設定揀取規則的圖形使用者介面。 [圖18]係根據本揭露的一實施例之允許使用者設定揀取規則的圖形使用者介面。 [圖19]係根據本揭露的一實施例之允許使用者設定揀取規則的圖形使用者介面。 [圖20]係根據本揭露的一實施例之允許使用者設定揀取規則的圖形使用者介面。 [圖21]係根據本揭露的一實施例之允許使用者設定放置規則的圖形使用者介面。 [圖22]係根據本揭露的一實施例之允許使用者設定放置規則的圖形使用者介面。 [圖23]係根據本揭露的一實施例之允許使用者設定放置規則的圖形使用者介面。 [圖24]係根據本揭露的一實施例之允許使用者設定放置規則的圖形使用者介面。 [圖25]係根據本揭露的一實施例之允許使用者設定放置規則的圖形使用者介面。 [圖26]係根據本揭露的一實施例的圖形使用者介面。
200:關聯
202:掃描
204:判定

Claims (16)

  1. 一種用於程式化一工件之揀取及放置的方法，其包含： 將一工件與附接至一機器人的一末端效應器關聯； 在該工件與該末端效應器關聯時掃描該工件；及 至少部分基於該掃描而判定該工件相對於該機器人的一姿勢。
  2. 如請求項1之方法，其進一步包含： 經由該機器人拾取該工件，其中拾取該工件包括指定該機器人相對於該工件之該姿勢的一或多個姿勢。
  3. 如請求項1之方法，其進一步包含： 放置該工件，其中放置該工件包括判定一機器人姿勢及自該機器人姿勢推斷該工件的該姿勢。
  4. 如請求項1之方法，其進一步包含： 放置該工件，其中放置該工件包括指定該機器人相對於該工件之該姿勢的一或多個姿勢。
  5. 如請求項1之方法，其進一步包含： 在一圖形使用者介面顯示該工件相對於該機器人的該姿勢以允許視覺驗證。
  6. 如請求項1之方法，其中掃描及判定係在該機器人在一固定位置中時發生。
  7. 如請求項1之方法，其進一步包含： 允許一使用者藉由輸入一或多個座標來調整該工件相對於該機器人的該姿勢。
  8. 如請求項7之方法，其進一步包含： 將該工件的一經調整姿勢顯示在一圖形使用者介面處以供驗證。
  9. 一種用於程式化一工件之揀取及放置的系統，其包含： 一末端效應器，其附接至一機器人並經建構以具有與其關聯的一工件； 一掃描器，其經建構以在該工件與該末端效應器關聯時掃描該工件；及 一計算裝置，其經建構以至少部分基於該掃描而判定該工件相對於該機器人的一姿勢。
  10. 如請求項9之系統，其中該機器人經建構以拾取該工件，其中拾取該工件包括指定該機器人相對於該工件之該姿勢的一或多個姿勢。
  11. 如請求項9之系統，其中該機器人經建構以放置該工件，其中放置該工件包括判定一機器人姿勢及自該機器人姿勢推斷該工件的該姿勢。
  12. 如請求項9之系統，其中該機器人經建構以放置該工件，其中放置該工件包括指定該機器人相對於該工件之該姿勢的一或多個姿勢。
  13. 如請求項9之系統，其中該計算裝置經建構以在一圖形使用者介面顯示該工件相對於該機器人的該姿勢以允許視覺驗證。
  14. 如請求項9之系統，其中，其中掃描及判定係在該機器人在一固定位置中時發生。
  15. 如請求項13之系統，其中該圖形使用者介面經建構以允許一使用者藉由輸入一或多個座標來調整該工件相對於該機器人的該姿勢。
  16. 如請求項15之系統，其中該圖形使用者介面經建構以將該工件的一經調整姿勢顯示在該圖形使用者介面處以供驗證。
TW109123021A 2019-07-23 2020-07-08 使用先進掃描技術之用於機器人箱揀取的系統及方法 TW202122225A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/520,007 US11648674B2 (en) 2019-07-23 2019-07-23 System and method for robotic bin picking using advanced scanning techniques
US16/520,007 2019-07-23

Publications (1)

Publication Number Publication Date
TW202122225A true TW202122225A (zh) 2021-06-16

Family

ID=74190628

Family Applications (1)

Application Number Title Priority Date Filing Date
TW109123021A TW202122225A (zh) 2019-07-23 2020-07-08 使用先進掃描技術之用於機器人箱揀取的系統及方法

Country Status (9)

Country Link
US (1) US11648674B2 (zh)
EP (1) EP4003667A4 (zh)
JP (1) JP2022541120A (zh)
CN (1) CN114080590A (zh)
BR (1) BR112022000476A2 (zh)
CA (1) CA3145307A1 (zh)
MX (1) MX2022000872A (zh)
TW (1) TW202122225A (zh)
WO (1) WO2021015967A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
USD938960S1 (en) * 2019-03-27 2021-12-21 Teradyne, Inc. Display screen or portion thereof with graphical user interface
USD950594S1 (en) * 2020-06-30 2022-05-03 Siemens Ltd., China Display screen with graphical user interface
USD957437S1 (en) * 2020-07-14 2022-07-12 Siemens Ltd., China Display screen with graphical user interface
US20220326111A1 (en) * 2021-04-08 2022-10-13 Pavement Recycling Systems Inc. Automated Analysis and Sorting of Milling Drum Tools

Family Cites Families (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6757587B1 (en) 2003-04-04 2004-06-29 Nokia Corporation Method and apparatus for dynamically reprogramming remote autonomous agents
US7680300B2 (en) 2004-06-01 2010-03-16 Energid Technologies Visual object recognition and tracking
US8301421B2 (en) 2006-03-31 2012-10-30 Energid Technologies Automatic control system generation for robot design validation
US8408918B2 (en) 2007-06-27 2013-04-02 Energid Technologies Corporation Method and apparatus for haptic simulation
JP4835616B2 (ja) * 2008-03-10 2011-12-14 トヨタ自動車株式会社 動作教示システム及び動作教示方法
US9357708B2 (en) 2008-05-05 2016-06-07 Energid Technologies Corporation Flexible robotic manipulation mechanism
US8559699B2 (en) 2008-10-10 2013-10-15 Roboticvisiontech Llc Methods and apparatus to facilitate operations in image based systems
US8428781B2 (en) 2008-11-17 2013-04-23 Energid Technologies, Inc. Systems and methods of coordination control for robot manipulation
GB201009219D0 (en) 2010-06-02 2010-07-21 Airbus Operations Ltd Aircraft component manufacturing method and apparatus
JP5744587B2 (ja) * 2011-03-24 2015-07-08 キヤノン株式会社 ロボット制御装置、ロボット制御方法、プログラム及び記録媒体
JP2012232363A (ja) * 2011-04-28 2012-11-29 Seiko Epson Corp ロボット制御システム、ロボットシステム及びプログラム
JP5911299B2 (ja) * 2011-12-27 2016-04-27 キヤノン株式会社 情報処理装置、情報処理装置の制御方法およびプログラム
JP2014176923A (ja) * 2013-03-14 2014-09-25 Yaskawa Electric Corp ロボットシステムおよび被加工物の製造方法
JP6245886B2 (ja) * 2013-08-08 2017-12-13 キヤノン株式会社 画像撮像方法及び画像撮像装置
US10078712B2 (en) 2014-01-14 2018-09-18 Energid Technologies Corporation Digital proxy simulation of robotic hardware
US9981380B2 (en) * 2014-07-01 2018-05-29 Seiko Epson Corporation Teaching apparatus and robot system
US9656390B2 (en) * 2014-11-10 2017-05-23 Faro Technologies, Inc. Human-centric robot with noncontact measurement device
US9878447B2 (en) * 2015-04-10 2018-01-30 Microsoft Technology Licensing, Llc Automated collection and labeling of object data
US10635761B2 (en) 2015-04-29 2020-04-28 Energid Technologies Corporation System and method for evaluation of object autonomy
DE102016015936B4 (de) * 2015-07-31 2024-08-29 Fanuc Corporation Vorrichtung für maschinelles Lernen, Robotersystem und maschinelles Lernsysem zum Lernen eines Werkstückaufnahmevorgangs
CN108025432B (zh) * 2015-09-17 2021-05-07 Abb瑞士股份有限公司 部件馈送器以及包括部件馈送器的用于拾取部件的系统
ES2929729T3 (es) * 2015-11-13 2022-12-01 Berkshire Grey Operating Company Inc Sistemas de clasificación para proporcionar clasificación de una variedad de objetos
CN108290286A (zh) * 2015-12-03 2018-07-17 Abb瑞士股份有限公司 用于教导工业机器人拾取零件的方法
US10445442B2 (en) 2016-09-01 2019-10-15 Energid Technologies Corporation System and method for game theory-based design of robotic systems
EP3512667A1 (en) * 2016-09-13 2019-07-24 ABB Schweiz AG Method of programming an industrial robot
US10596700B2 (en) * 2016-09-16 2020-03-24 Carbon Robotics, Inc. System and calibration, registration, and training methods
JP6823502B2 (ja) * 2017-03-03 2021-02-03 株式会社キーエンス ロボット設定装置、ロボット設定方法、ロボット設定プログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器
US10766149B2 (en) * 2018-03-23 2020-09-08 Amazon Technologies, Inc. Optimization-based spring lattice deformation model for soft materials
MX2020014187A (es) 2018-06-26 2021-03-09 Teradyne Inc Metodo y sistema para extraccion robotica de recipientes.
CN109093599A (zh) * 2018-09-07 2018-12-28 中科新松有限公司 一种抓取示教方法及系统
CN109623229A (zh) * 2019-02-15 2019-04-16 重庆固高科技长江研究院有限公司 一种基于机器人焊接的手眼协作系统
US11358282B2 (en) 2019-04-08 2022-06-14 Teradyne, Inc. System and method for constraint management of one or more robots

Also Published As

Publication number Publication date
WO2021015967A1 (en) 2021-01-28
CN114080590A (zh) 2022-02-22
BR112022000476A2 (pt) 2022-05-24
US11648674B2 (en) 2023-05-16
EP4003667A4 (en) 2022-09-14
MX2022000872A (es) 2022-02-14
EP4003667A1 (en) 2022-06-01
CA3145307A1 (en) 2021-01-28
US20210023710A1 (en) 2021-01-28
JP2022541120A (ja) 2022-09-22

Similar Documents

Publication Publication Date Title
TW202122225A (zh) 使用先進掃描技術之用於機器人箱揀取的系統及方法
US11511415B2 (en) System and method for robotic bin picking
CN109313417B (zh) 帮助机器人定位
US20180029232A1 (en) Control apparatus and robot
JP6343353B2 (ja) ロボットの動作プログラム生成方法及びロボットの動作プログラム生成装置
EP3166084B1 (en) Method and system for determining a configuration of a virtual robot in a virtual environment
US20080013825A1 (en) Simulation device of robot system
US10534876B2 (en) Simulation device and simulation method that carry out simulation of operation of robot system, and recording medium that records computer program
JP2017094406A (ja) シミュレーション装置、シミュレーション方法、およびシミュレーションプログラム
JP2019018272A (ja) モーション生成方法、モーション生成装置、システム及びコンピュータプログラム
US10406688B2 (en) Offline programming apparatus and method having workpiece position detection program generation function using contact sensor
Andersen et al. Definition and initial case-based evaluation of hardware-independent robot skills for industrial robotic co-workers
JP2021079520A (ja) 拡張現実を用いたシミュレーション装置及びロボットシステム
US20180085920A1 (en) Robot control device, robot, and robot system
WO2021039775A1 (ja) 画像処理装置、撮像装置、ロボット及びロボットシステム
US11389954B2 (en) Robot control device
JP6456557B1 (ja) 把持位置姿勢教示装置、把持位置姿勢教示方法及びロボットシステム
JP2015003348A (ja) ロボット制御システム、制御装置、ロボット、ロボット制御システムの制御方法及びロボットの制御方法
Zhang et al. Vision-guided robot alignment for scalable, flexible assembly automation
KR20210072463A (ko) 인간-머신 상호작용 방법 및 이를 위한 장치
WO2016132521A1 (ja) 教示データ生成装置
JP2022132506A (ja) シミュレーション方法、シミュレーションシステムおよびモジュールデータのデータ構造
WO2024054797A1 (en) Visual robotic task configuration system
KR20240105576A (ko) 숙련자 경험 기반 fpcb 포장 자동화 시스템 및 방법
JP2020163499A (ja) 物体検出方法、物体検出装置およびロボットシステム