TW202147181A - 三指式機械夾爪系統及其訓練方法 - Google Patents

三指式機械夾爪系統及其訓練方法 Download PDF

Info

Publication number
TW202147181A
TW202147181A TW109119448A TW109119448A TW202147181A TW 202147181 A TW202147181 A TW 202147181A TW 109119448 A TW109119448 A TW 109119448A TW 109119448 A TW109119448 A TW 109119448A TW 202147181 A TW202147181 A TW 202147181A
Authority
TW
Taiwan
Prior art keywords
mechanical gripper
fingered
training
controller
torque
Prior art date
Application number
TW109119448A
Other languages
English (en)
Inventor
翁慶昌
游翔麟
陳仁杰
林裕倫
Original Assignee
淡江大學
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 淡江大學 filed Critical 淡江大學
Priority to TW109119448A priority Critical patent/TW202147181A/zh
Priority to US17/236,214 priority patent/US20210387331A1/en
Publication of TW202147181A publication Critical patent/TW202147181A/zh

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1628—Programme controls characterised by the control loop
    • B25J9/163—Programme controls characterised by the control loop learning, adaptive, model based, rule based expert control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B25J13/085—Force or torque sensors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J15/00—Gripping heads and other end effectors
    • B25J15/0052—Gripping heads and other end effectors multiple gripper units or multiple end effectors
    • B25J15/0061—Gripping heads and other end effectors multiple gripper units or multiple end effectors mounted on a modular gripping structure
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J15/00—Gripping heads and other end effectors
    • B25J15/08—Gripping heads and other end effectors having finger members
    • B25J15/10—Gripping heads and other end effectors having finger members with three or more finger members
    • B25J15/103—Gripping heads and other end effectors having finger members with three or more finger members for gripping the object in three contact points
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1612—Programme controls characterised by the hand, wrist, grip control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1628—Programme controls characterised by the control loop
    • B25J9/1633—Programme controls characterised by the control loop compliant, force, torque control, e.g. combined with position control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/33—Director till display
    • G05B2219/33034—Online learning, training
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/39—Robotics, robotics to robotics hand
    • G05B2219/39466—Hand, gripper, end effector of manipulator
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/39—Robotics, robotics to robotics hand
    • G05B2219/39496—3-Fingered hand

Abstract

一種三指式機械夾爪系統，其包含力矩感測器、三指式機械夾爪、影像擷取模組及控制器。三指式機械夾爪與力矩感測器連接。控制器與力矩感測器、三指式機械夾爪及影像擷取模組連接。影像擷取模組擷取一訓練物品之影像，控制器控制三指式機械夾爪分別以複數個夾爪姿態夾取此訓練物品，並根據力矩感測器之感測訊號計算各個夾爪姿態之力矩資訊，且透過機械學習演算法對訓練物品之影像及該些夾爪姿態之該些力矩資訊進行訓練以獲得訓練物品之訓練結果。

Description

三指式機械夾爪系統及其訓練方法
本發明係有關於一種機械夾爪系統，特別是一種三指式機械夾爪系統。本發明還涉及此三指式機械夾爪系統之訓練方法。
隨著人工智慧技術的進步，機械人的功能也愈來愈強大；目前，機械人已大量應用於各種不同的產業。此外，應用於居家服務或大型商場的服務型機械人也逐漸受到重視。其中，服務型機械人可能需要夾取各種形狀複雜的物品；因此，相較於應用在工廠的產業機器人，服務型機械人在訓練上有較高的難度。然而，現有的服務型機械人缺乏適當的訓練機制，故無法有效地夾取各種形狀複雜的物品。
本發明之一實施例提出一種三指式機械夾爪系統，其包含力矩感測器、三指式機械夾爪、影像擷取模組及控制器。三指式機械夾爪與力矩感測器連接。控制器與力矩感測器、三指式機械夾爪及影像擷取模組連接。影像擷取模組擷取一訓練物品之影像，控制器控制三指式機械夾爪分別以複數個夾爪姿態夾取此訓練物品，並根據力矩感測器之感測訊號計算各個夾爪姿態之力矩資訊，且透過機械學習演算法對訓練物品之影像及該些夾爪姿態之該些力矩資訊進行訓練以獲得訓練物品之訓練結果。
在一實施例中，三指式機械夾爪系統更包含機械手臂，機械手臂與控制器連接，並透過力矩感測器與三指式機械夾爪連接。
在一實施例中，力矩感測器之一側固定於機械手臂，力矩感測器之另一側固定於三指式機械夾爪。
在一實施例中，機械手臂之法蘭面與訓練物品或目標物放置之平面平行。
在一實施例中，控制器獲得三指式機械夾爪以任一夾爪姿態夾取訓練物品時，力矩感測器之X軸力矩感測值、Y軸力矩感測值及Z軸力矩感測值，並計算X軸力矩感測值、Y軸力矩感測值及Z軸力矩感測值之平方和，再計算平方和之平方根，以做為夾爪姿態之力矩資訊。
在一實施例中，當平方根小於預設值時，控制器判斷夾爪姿態為最佳夾爪姿態。
在一實施例中，控制器根據訓練物品之影像之深度資訊移動三指式機械夾爪。
在一實施例中，控制器根據力矩感測器之重量資訊判斷訓練物品是否已被三指式機械夾爪夾取。
在一實施例中，機械學習演算法為深度強化學習演算法。
在一實施例中，影像擷取模組為彩色攝影機、彩色深度攝影機或其它類似的元件。
本發明之另一實施例提出一種三指式機械夾爪系統之訓練方法，其包含下列步驟：以影像擷取模組擷取訓練物品之影像；透過控制器控制三指式機械夾爪分別以複數個夾爪姿態夾取訓練物品；經由控制器根據力矩感測器之感測訊號計算各個夾爪姿態之力矩資訊；以及透過控制器執行機械學習演算法對訓練物品之影像及該些夾爪姿態之該些力矩資訊進行訓練以獲得訓練物品之訓練結果。
在一實施例中，控制器與機械手臂連接，機械手臂透過力矩感測器與三指式機械夾爪連接。
在一實施例中，力矩感測器之一側固定於機械手臂，力矩感測器之另一側固定於三指式機械夾爪。
在一實施例中，機械手臂之法蘭面與訓練物品或目標物放置之平面平行。
在一實施例中，經由控制器根據力矩感測器之感測訊號計算各個夾爪姿態之力矩資訊之步驟包含下列步驟：經由控制器獲得三指式機械夾爪以任一夾爪姿態夾取訓練物品時，力矩感測器之X軸力矩感測值、Y軸力矩感測值及Z軸力矩感測值；以及透過控制器計算X軸力矩感測值、Y軸力矩感測值及Z軸力矩感測值計算之平方和，再計算平方和之平方根，以做為夾爪姿態之力矩資訊。
在一實施例中，透過控制器執行機械學習演算法對訓練物品之影像及該些力矩資訊進行訓練以獲得訓練物品之訓練結果之步驟包含：經由控制器在平方根小於預設值時判斷夾爪姿態為最佳夾爪姿態。
在一實施例中，三指式機械夾爪系統之訓練方法更包含下列步驟：由控制器根據訓練物品之影像之深度資訊移動三指式機械夾爪。
在一實施例中，三指式機械夾爪系統之訓練方法更包含下列步驟：經由控制器根據力矩感測器之重量資訊判斷訓練物品是否已被三指式機械夾爪夾取。
在一實施例中，機械學習演算法可為深度強化學習演算法或其它相關的演算法。
在一實施例中，影像擷取模組可為彩色攝影機、彩色深度攝影機或其它類似的元件。
承上所述，依本發明之三指式機械夾爪系統及其訓練方法，其可具有一或多個下述優點：
(1)本發明之一實施例中，三指式機械夾爪系統可根據力矩感測器的感測訊號及機械學習演算法進行訓練以獲得多個訓練物品之訓練結果，以建立包含多個訓練物品的訓練結果的訓練資料庫，再根據訓練資料庫及目標物之影像以最佳夾爪姿態夾取目標物，故可以穩定的夾取多種形狀複雜的目標物，故三指式機械夾爪系統能達到極佳的效能。
(2)本發明之一實施例中，三指式機械夾爪系統可根據影像擷取模組之影像之深度資訊移動機械手臂及三指式機械夾爪，故可防止三指式機械夾爪與目標物發生碰撞，以提升三指式機械夾爪系統的安全性。
(3)本發明之一實施例中，三指式機械夾爪系統可持續擴充訓練資料庫，使三指式機械夾爪系統能穩定夾取更多形狀複雜的目標物，使用上更具彈性。
(4)本發明之一實施例中，三指式機械夾爪系統採用高自由度的三指式機械夾爪，其可以根據目標物的形狀改變適當的夾爪姿態，使三指式機械夾爪系統能穩定的夾取形狀複雜的目標物，應用上更為廣泛。
(5)本發明之一實施例中，三指式機械夾爪系統可在不大幅增加成本的前提下達到所欲達到的功效，極具商業價值。
以下將參照相關圖式，說明依本發明之三指式機械夾爪系統及其訓練方法之實施例，為了清楚與方便圖式說明之故，圖式中的各部件在尺寸與比例上可能會被誇大或縮小地呈現。在以下描述及/或申請專利範圍中，當提及元件「連接」或「耦合」至另一元件時，其可直接連接或耦合至該另一元件或可存在介入元件；而當提及元件「直接連接」或「直接耦合」至另一元件時，不存在介入元件，用於描述元件或層之間之關係之其他字詞應以相同方式解釋。為使便於理解，下述實施例中之相同元件係以相同之符號標示來說明。
請參閱第1圖，其係為本發明之第一實施例之三指式機械夾爪系統之方塊圖。如圖所示，三指式機械夾爪系統1包含力矩感測器11、影像擷取模組12、控制器13及三指式機械夾爪14。
三指式機械夾爪14與力矩感測器11連接。在一實施例中，力矩感測器11可為各種多軸力/力矩感測器(如6-DOF F/T sensor)。
控制器13與力矩感測器11、三指式機械夾爪14及影像擷取模組12連接。在一實施例中，控制器13可為微控制器(MCU)、中央處理器(CPU)或各種電腦裝置。在一實施例中，影像擷取模組12可為彩色攝影機、彩色深度攝影機或其它類似的元件。
三指式機械夾爪系統1可對多個具有不同形狀的訓練物品進行訓練程序，使三指式機械夾爪系統1在實際應用時能根據目標物的形狀調整適合的夾爪姿態成功夾取不同形狀的物體。
在訓練程序中，影像擷取模組12擷取一訓練物品之影像，而控制器13控制三指式機械夾爪14分別以複數個夾爪姿態夾取此訓練物品，再根據力矩感測器11之感測訊號計算各個夾爪姿態之力矩資訊；其中，控制器13可根據此訓練物品之影像之深度資訊移動三指式機械夾爪14，以避免與此訓練物品碰撞。接下來，控制器13透過機械學習演算法131對此訓練物品之影像及該些夾爪姿態之力矩資訊進行訓練以獲得此訓練物品之訓練結果，其包含三指式機械夾爪14夾取此訓練物品的最佳夾取姿態。然後，控制器13重覆上述步驟以對多個不同形狀的訓練物品進行訓練，以取得各個訓練物品之訓練結果，藉此則可建立一個訓練資料庫。在一實施例中，機械學習演算法131可為深度強化學習演算法(Deep Reinforcement Learning Algorithm)或其它相關的演算法。
完成訓練程序後，三指式機械夾爪系統1則可根據訓練資料庫夾取各種目標物。當三指式機械夾爪系統1欲夾取一目標物時，影像擷取模組12擷取此目標物之影像，而控制器13將此目標物之影像與訓練資料庫進行比對，以選擇對應於此目標物之形狀的最佳夾取姿態，且將三指式機械夾爪14調整為此最佳夾取姿態，再移動三指式機械夾爪14以夾取此目標物。其中，控制器13可根據此目標物之影像之深度資訊移動三指式機械夾爪14，以避免與此目標物碰撞。
由上述可知，三指式機械夾爪系統1可計算力矩感測器11感測三指式機械夾爪14夾取時的力矩資訊，再透過機械學習演算法131進行訓練；上述的機制也精確地找出夾取各種不同形狀的目標物的最佳夾爪姿態，故可以穩定的夾取各種不同形狀的目標物。因此，三指式機械夾爪系統1能夠達到極佳的效能。
當然，上述僅為舉例，三指式機械夾爪系統1之各元件及其協同關係均可依實際需求變化，本發明並不以此為限。
請參閱第2圖，其係為本發明之第一實施例之三指式機械夾爪系統之訓練方法之流程圖。如圖所示，三指式機械夾爪系統1之訓練方法包含下列步驟：
步驟S21：以影像擷取模組擷取訓練物品之影像。
步驟S22：透過控制器控制三指式機械夾爪分別以複數個夾取姿態夾取訓練物品。
步驟S23：經由控制器根據力矩感測器之感測訊號計算各個夾取姿態之力矩資訊。
步驟S24：透過控制器執行機械學習演算法對訓練物品之影像及該些夾取姿態之該些力矩資訊進行訓練以獲得訓練物品之訓練結果。
步驟S25：經由控制器重覆上述步驟以對多個不同形狀的訓練物品進行訓練，以取得各個訓練物品之訓練結果，並建立訓練資料庫。
步驟S26：以影像擷取模組擷取一目標物之影像。
步驟S27：透過控制器根據訓練資料庫及此目標物之影像控制三指式機械夾爪夾取此目標物。
值得一提的是，現有的服務型機械人缺乏適當的訓練機制，故無法有效地夾取各種形狀複雜的物品。相反的，根據本發明之實施例，三指式機械夾爪系統可根據力矩感測器的感測訊號及機械學習演算法進行訓練以獲得多個訓練物品之訓練結果，以建立包含多個訓練物品的訓練結果的訓練資料庫，再根據訓練資料庫及目標物之影像以最佳夾爪姿態夾取目標物，故可以穩定的夾取多種形狀複雜的目標物，故三指式機械夾爪系統能達到極佳的效能。
又，根據本發明之實施例，三指式機械夾爪系統可根據影像擷取模組之影像之深度資訊移動機械手臂及三指式機械夾爪，故可防止三指式機械夾爪與目標物發生碰撞，以提升三指式機械夾爪系統的安全性。
此外，根據本發明之實施例，三指式機械夾爪系統可持續擴充訓練資料庫，使三指式機械夾爪系統能穩定夾取更多形狀複雜的目標物，使用上更具彈性。
另外，根據本發明之實施例，三指式機械夾爪系統採用高自由度三指式機械夾爪，其可以根據目標物的形狀改變適當的夾爪姿態，使三指式機械夾爪系統能穩定的夾取形狀複雜的目標物，應用上更為廣泛。
再者，根據本發明之實施例，三指式機械夾爪系統可在不大幅增加成本的前提下達到所欲達到的功效，極具商業價值。
請參閱第3圖、第4圖及第5A圖~第5C圖，其係為本發明之第二實施例之三指式機械夾爪系統之結構圖、三指式機械夾爪之結構圖及三指式機械夾爪之各種夾爪姿態之示意圖。如第3圖所示，三指式機械夾爪系統2包含力矩感測器21、彩色深度(RGB-D)攝影機22、電腦裝置23、三指式機械夾爪24、機械手臂25及支架26。
機械手臂25設置於支架26上。
三指式機械夾爪24透過力矩感測器21與機械手臂25連接。其中，力矩感測器21之一側固定於機械手臂25，而力矩感測器21之另一側固定於三指式機械夾爪24。另外，機械手臂25之法蘭面與訓練物品或該目標物放置之平面平行。
電腦裝置23與力矩感測器21、機械手臂25、三指式機械夾爪24及彩色深度攝影機22透過有線或無線的方式連接。
如第4圖所示，三指式機械夾爪24包含基座241、第一趾部242a、第二趾部242b及第三趾部242c。第一趾部242a、第二趾部242b及第三趾部242c可樞轉地連接於基座241，使三指式機械夾爪24的夾爪姿態可調整。如第5A圖所示，第一趾部242a、第二趾部242b及第三趾部242可轉動至基座241之同一側，以形成第一種夾爪姿態。如第5B圖所示，第一趾部242a、第二趾部242b及第三趾部242可轉動使第一趾部242a、第二趾部242b及第三趾部242分別位於不同側，且第二趾部242b相對於第三趾部242，以形成第二種夾爪姿態。如第5C圖所示，第一趾部242a、第二趾部242b及第三趾部242可轉動使第二趾部242b及第三趾部242位於同一側，且第一趾部242a相對於第一趾部242b及第三趾部242，以形成第三種夾爪姿態。
如第3圖所示，三指式機械夾爪系統2可對多個具有不同形狀的訓練物品進行訓練程序，使三指式機械夾爪系統2在實際應用時能根據目標物的形狀調整適合的夾爪姿態成功夾取不同形狀的物體。
在訓練程序中，彩色深度攝影機22擷取一訓練物品之影像，而電腦裝置23控制機械手臂25及三指式機械夾爪24分別以複數個夾爪姿態夾取此訓練物品，再根據力矩感測器21之感測訊號計算各個夾爪姿態之力矩資訊；其中，電腦裝置23可根據此訓練物品之影像之深度資訊移動機械手臂25及三指式機械夾爪24，以避免與此訓練物品碰撞。
接下來，電腦裝置23透過深度強化學習演算法對此訓練物品之影像及該些夾爪姿態之力矩資訊進行訓練以獲得此訓練物品之訓練結果。其中，當電腦裝置23控制機械手臂25及三指式機械夾爪24以一夾爪姿態夾取此訓練物品時，電腦裝置23根據此訓練物品之影像之深度資訊移動三指式機械夾爪24，以避免與此訓練物品碰撞，並根據力矩感測器21之重量資訊判斷此訓練物品是否已被三指式機械夾爪24夾取。若此訓練物品已被三指式機械夾爪24夾取，電腦裝置23接收力矩感測器21之X軸力矩感測值、Y軸力矩感測值及Z軸力矩感測值。然後，電腦裝置23計算X軸力矩感測值、Y軸力矩感測值及Z軸力矩感測之平方和，再計算平方和之平方根，以做為此夾爪姿態之力矩資訊，如下式(1)所示：
Figure 02_image001
…………………………..…………...(1)
其中，Mf 表示力矩資訊；Mx 表示X軸力矩感測值；My 表示Y軸力矩感測值；Mz 表示Z軸力矩感測值。
當力矩資訊小於預設值時，電腦裝置23判斷此夾爪姿態為最佳夾爪姿態；上述之預設值可依實際需求設置。
同樣的，電腦裝置23重覆上述步驟以對多個不同形狀的訓練物品進行訓練，以取得各個訓練物品之訓練結果，藉此則可建立一個訓練資料庫。完成訓練程序後，三指式機械夾爪系統2則可根據訓練資料庫夾取各種目標物。當三指式機械夾爪系統2欲夾取一目標物時，彩色深度攝影機22擷取此目標物之影像，而電腦裝置23將此目標物之影像與訓練資料庫進行比對，以選擇對應於此目標物之形狀的最佳夾取姿態，且將三指式機械夾爪24調整為此最佳夾取姿態，再移動三指式機械夾爪24以夾取此目標物。
由上述可知，三指式機械夾爪系統2可透過特殊的方式計算力矩感測器21感測三指式機械夾爪24夾取時的力矩資訊，再透過深度強化學習演算法進行訓練，以確保三指式機械夾爪24能夠以最佳夾爪姿態穩定地夾取具有不同形狀的目標物。
另外，由上述可知，三指式機械夾爪系統2採用高自由度三指式機械夾爪24，其可以根據目標物的形狀改變適當的夾爪姿態，使三指式機械夾爪2系統能穩定的夾取形狀複雜的目標物。
此外，三指式機械夾爪系統2可透過上述訓練程序對更多具有不同形狀的訓練物品進行訓練，故可持續擴充訓練資料庫，使三指式機械夾爪系統2能穩定夾取更多形狀複雜的目標物。
再者，三指式機械夾爪系統2可根據彩色深度攝影機22之影像之深度資訊移動機械手臂25及三指式機械夾爪24，故可防止三指式機械夾爪24與目標物發生碰撞，以提升三指式機械夾爪系統2的安全性。因此，三指式機械夾爪系統2能夠達到極佳的效能。
當然，上述僅為舉例，三指式機械夾爪系統2之各元件及其協同關係均可依實際需求變化，本發明並不以此為限。
本實施例透過上述的機制分別對多種不同的訓練物品進行訓練，包含鐵鎚、夾線鉗、清潔劑及金屬件，並分別獲得三指式機械夾爪24以最佳夾取姿態夾取各個訓練物品時的X軸力矩感測值(Mx )、Y軸力矩感測值(My )、Z軸力矩感測值(Mz )及力矩資訊(Mf )，如下表1所示：
  鐵鎚 夾線鉗 清潔劑 金屬件
Mx -0.9Nm -0.01Nm 0.07Nm 0.03Nm
My 0.65Nm 0.00Nm -0.07Nm -0.10Nm
Mz 0.00Nm 0.00Nm 0.04Nm 0.03Nm
Mf 0.656201 0.01 0.106771 0.108628
用於判斷各個訓練物品之最佳夾取姿態之預設值可依實際需求設置，或以可達成最小力矩資訊的夾爪姿態為為最佳夾爪姿態；不同的訓練物品可能有不同的預設值。
請參閱第6圖，其係為本發明之第二實施例之三指式機械夾爪系統之訓練方法之流程圖。如圖所示，三指式機械夾爪系統2之訓練方法包含下列步驟：
步驟S61：以彩色深度攝影機擷取訓練物品之影像。
步驟S62：透過電腦裝置控制三指式機械夾爪分別以複數個夾取姿態夾取訓練物品。
步驟S63：經由電腦裝置獲得該三指式機械夾爪以任一夾爪姿態夾取訓練物品時，力矩感測器之X軸力矩感測值、Y軸力矩感測值及Z軸力矩感測值。
步驟S64：透過電腦裝置計算X軸力矩感測值、Y軸力矩感測值及Z軸力矩感測值計算之平方和，再計算平方和之平方根，以做為此夾爪姿態之力矩資訊。
步驟S65：經由電腦裝置選擇力矩資訊小於一預設值之夾爪姿態做為最佳夾爪姿態，以做為訓練結果。
步驟S66：由電腦裝置重覆上述步驟以對多個不同形狀的訓練物品進行訓練，以取得各個訓練物品之訓練結果，並建立訓練資料庫。
步驟S67：以彩色深度攝影機擷取一目標物之影像。
步驟S68：由電腦裝置根據訓練資料庫及此目標物之影像控制機械手臂及三指式機械夾爪夾取此目標物。
綜上所述，根據本發明之實施例，三指式機械夾爪系統可根據力矩感測器的感測訊號及機械學習演算法進行訓練以獲得多個訓練物品之訓練結果，以建立包含多個訓練物品的訓練結果的訓練資料庫，再根據訓練資料庫及目標物之影像以最佳夾爪姿態夾取目標物，故可以穩定的夾取多種形狀複雜的目標物，故三指式機械夾爪系統能達到極佳的效能。
又，根據本發明之實施例，三指式機械夾爪系統可根據影像擷取模組之影像之深度資訊移動機械手臂及三指式機械夾爪，故可防止三指式機械夾爪與目標物發生碰撞，以提升三指式機械夾爪系統的安全性。
此外，根據本發明之實施例，三指式機械夾爪系統可持續擴充訓練資料庫，使三指式機械夾爪系統能穩定夾取更多形狀複雜的目標物，使用上更具彈性。
另外，根據本發明之實施例，三指式機械夾爪系統採用高自由度三指式機械夾爪，其可以根據目標物的形狀改變適當的夾爪姿態，使三指式機械夾爪系統能穩定的夾取形狀複雜的目標物，應用上更為廣泛。
再者，根據本發明之實施例，三指式機械夾爪系統可在不大幅增加成本的前提下達到所欲達到的功效，極具商業價值。
可見本發明在突破先前之技術下，確實已達到所欲增進之功效，且也非熟悉該項技藝者所易於思及，其所具之進步性、實用性，顯已符合專利之申請要件，爰依法提出專利申請，懇請  貴局核准本件發明專利申請案，以勵創作，至感德便。
以上所述僅為舉例性，而非為限制性者。其它任何未脫離本發明之精神與範疇，而對其進行之等效修改或變更，均應該包含於後附之申請專利範圍中。
1:三指式機械夾爪系統 11:力矩感測器 12:影像擷取模組 13:控制器 131:機械學習演算法 14:三指式機械夾爪 2:三指式機械夾爪系統 21:力矩感測器 22:彩色深度攝影機 23:電腦裝置 24:三指式機械夾爪 241:基座 242a:第一趾部 242b:第二趾部 242c:第三趾部 25:機械手臂 26:支架 S21~S27, S61~S68:步驟流程
第1圖 係為本發明之第一實施例之三指式機械夾爪系統之方塊圖。
第2圖 係為本發明之第一實施例之三指式機械夾爪系統之訓練方法之流程圖。
第3圖 係為本發明之第二實施例之三指式機械夾爪系統之結構圖。
第4圖 係為本發明之第二實施例之三指式機械夾爪系統之三指式機械夾爪之結構圖。
第5A圖~第5C圖 係為本發明之第二實施例之三指式機械夾爪之各種夾爪姿態之示意圖。
第6圖 係為本發明之第二實施例之三指式機械夾爪系統之訓練方法之流程圖。
1:三指式機械夾爪系統
11:力矩感測器
12:影像擷取模組
13:控制器
131:機械學習演算法
14:三指式機械夾爪

Claims (20)

  1. 一種三指式機械夾爪系統，係包含： 一力矩感測器； 一三指式機械夾爪，係與該力矩感測器連接； 一影像擷取模組；以及 一控制器，係與該力矩感測器、該三指式機械夾爪及該影像擷取模組連接； 其中，該影像擷取模組擷取一訓練物品之影像，該控制器控制該三指式機械夾爪分別以複數個夾爪姿態夾取該訓練物品，並根據該力矩感測器之感測訊號計算各個該夾爪姿態之一力矩資訊，且透過一機械學習演算法對該訓練物品之影像及該些夾爪姿態之該些力矩資訊進行訓練以獲得該訓練物品之一訓練結果。
  2. 如請求項1所述之三指式機械夾爪系統，更包含一機械手臂，該機械手臂與該控制器連接，並透過該力矩感測器與該三指式機械夾爪連接。
  3. 如請求項2所述之三指式機械夾爪系統，其中該力矩感測器之一側固定於該機械手臂，該力矩感測器之另一側固定於該三指式機械夾爪。
  4. 如請求項2所述之三指式機械夾爪系統，其中該機械手臂之一法蘭面與該訓練物品或該目標物放置之平面平行。
  5. 如請求項1所述之三指式機械夾爪系統，其中該控制器獲得該三指式機械夾爪以任一該夾爪姿態夾取該訓練物品時，該力矩感測器之一X軸力矩感測值、一Y軸力矩感測值及一Z軸力矩感測值，並計算該X軸力矩感測值、該Y軸力矩感測值及該Z軸力矩感測值之一平方和，再計算該平方和之一平方根，以做為該夾爪姿態之該力矩資訊。
  6. 如請求項5所述之三指式機械夾爪系統，其中當該平方根小於一預設值時，該控制器判斷該夾爪姿態為一最佳夾爪姿態。
  7. 如請求項1所述之三指式機械夾爪系統，其中該控制器根據該訓練物品之影像之深度資訊移動該三指式機械夾爪。
  8. 如請求項1所述之三指式機械夾爪系統，其中該控制器根據該力矩感測器之一重量資訊判斷該訓練物品是否已被該三指式機械夾爪夾取。
  9. 如請求項1所述之三指式機械夾爪系統，其中該機械學習演算法為一深度強化學習演算法。
  10. 如請求項1所述之三指式機械夾爪系統，其中該影像擷取模組為一彩色深度攝影機。
  11. 一種三指式機械夾爪系統之訓練方法，係包含： 以一影像擷取模組擷取一訓練物品之影像； 透過一控制器控制一三指式機械夾爪分別以複數個夾爪姿態夾取該訓練物品； 經由該控制器根據該力矩感測器之感測訊號計算各個該夾爪姿態之一力矩資訊；以及 透過該控制器執行一機械學習演算法對該訓練物品之影像及該些夾爪姿態之該些力矩資訊進行訓練以獲得該訓練物品之一訓練結果。
  12. 如請求項11所述之三指式機械夾爪系統之訓練方法，其中該控制器與一機械手臂連接，該機械手臂透過該力矩感測器與該三指式機械夾爪連接。
  13. 如請求項12所述之三指式機械夾爪系統之訓練方法，其中該力矩感測器之一側固定於該機械手臂，該力矩感測器之另一側固定於該三指式機械夾爪。
  14. 如請求項12所述之三指式機械夾爪系統之訓練方法，其中該機械手臂之一法蘭面與該訓練物品或該目標物放置之平面平行。
  15. 如請求項11所述之三指式機械夾爪系統之訓練方法，其中經由該控制器根據該力矩感測器之感測訊號計算各個該夾爪姿態之該力矩資訊之步驟包含： 經由該控制器獲得該三指式機械夾爪以任一該夾爪姿態夾取該訓練物品時，該力矩感測器之一X軸力矩感測值、一Y軸力矩感測值及一Z軸力矩感測值；以及 透過該控制器計算該X軸力矩感測值、該Y軸力矩感測值及該Z軸力矩感測值計算之一平方和，再計算該平方和之一平方根，以做為該夾爪姿態之該力矩資訊。
  16. 如請求項15所述之三指式機械夾爪系統之訓練方法，其中透過該控制器執行該機械學習演算法對該訓練物品之影像及該些力矩資訊進行訓練以獲得該訓練物品之該訓練結果之步驟包含： 經由該控制器在該平方根小於一預設值時判斷該夾爪姿態為一最佳夾爪姿態。
  17. 如請求項11所述之三指式機械夾爪系統之訓練方法，更包含： 由該控制器根據該訓練物品之影像之深度資訊移動該三指式機械夾爪。
  18. 如請求項11所述之三指式機械夾爪系統之訓練方法，更包含： 經由該控制器根據該力矩感測器之一重量資訊判斷該訓練物品是否已被該三指式機械夾爪夾取。
  19. 如請求項11所述之三指式機械夾爪系統之訓練方法，其中該機械學習演算法為一深度強化學習演算法。
  20. 如請求項11所述之三指式機械夾爪系統之訓練方法，其中該影像擷取模組為一彩色深度攝影機。
TW109119448A 2020-06-10 2020-06-10 三指式機械夾爪系統及其訓練方法 TW202147181A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
TW109119448A TW202147181A (zh) 2020-06-10 2020-06-10 三指式機械夾爪系統及其訓練方法
US17/236,214 US20210387331A1 (en) 2020-06-10 2021-04-21 Three-finger mechanical gripper system and training method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW109119448A TW202147181A (zh) 2020-06-10 2020-06-10 三指式機械夾爪系統及其訓練方法

Publications (1)

Publication Number Publication Date
TW202147181A true TW202147181A (zh) 2021-12-16

Family

ID=78824383

Family Applications (1)

Application Number Title Priority Date Filing Date
TW109119448A TW202147181A (zh) 2020-06-10 2020-06-10 三指式機械夾爪系統及其訓練方法

Country Status (2)

Country Link
US (1) US20210387331A1 (zh)
TW (1) TW202147181A (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114559464A (zh) * 2022-03-23 2022-05-31 广西大学 一种机械手手指及机械手

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1598154B1 (en) * 2004-05-21 2007-12-19 Fanuc Ltd Managing structure comprising a guide plate for an umbilical member of an industrial robot
US10324449B2 (en) * 2015-02-27 2019-06-18 Makino Milling Machine Co., Ltd. Motor controlling method, control device and machine tool
JP6546618B2 (ja) * 2017-05-31 2019-07-17 株式会社Ｐｒｅｆｅｒｒｅｄ Ｎｅｔｗｏｒｋｓ 学習装置、学習方法、学習モデル、検出装置及び把持システム
JP2020192614A (ja) * 2019-05-24 2020-12-03 京セラドキュメントソリューションズ株式会社 ロボット装置及び把持方法
US11513520B2 (en) * 2019-12-10 2022-11-29 International Business Machines Corporation Formally safe symbolic reinforcement learning on visual inputs

Also Published As

Publication number Publication date
US20210387331A1 (en) 2021-12-16

Similar Documents

Publication Publication Date Title
JP6380828B2 (ja) ロボット、ロボットシステム、制御装置、及び制御方法
JP6170285B2 (ja) マニピュレータ及びその経路生成方法
JP2019010713A (ja) ハンド制御装置、ハンド制御方法、およびハンドのシミュレーション装置
Yamakawa et al. Motion planning for dynamic folding of a cloth with two high-speed robot hands and two high-speed sliders
JP6111700B2 (ja) ロボット制御方法、ロボット制御装置、ロボットおよびロボットシステム
JP4001105B2 (ja) ロボットによる任意形状物体の把持方法
JP2009269127A (ja) 把持装置及びその制御方法
JP2007222951A5 (zh)
CN108818586B (zh) 一种适用于机械手自动抓取的物体重心检测方法
JP2007098501A (ja) ロボットシステム
TW202147181A (zh) 三指式機械夾爪系統及其訓練方法
Sintov et al. Dynamic regrasping by in-hand orienting of grasped objects using non-dexterous robotic grippers
Yamakawa et al. Dynamic manipulation of a cloth by high-speed robot system using high-speed visual feedback
Funabashi et al. Stable in-grasp manipulation with a low-cost robot hand by using 3-axis tactile sensors with a CNN
US20180215044A1 (en) Image processing device, robot control device, and robot
Ke et al. Telemanipulation with chopsticks: Analyzing human factors in user demonstrations
JP4737099B2 (ja) ロボットおよびロボットの制御装置と制御方法
Hinwood et al. Towards the design of a human-inspired gripper for textile manipulation
JP6314429B2 (ja) ロボット、ロボットシステム、及びロボット制御装置
Xue et al. Gripping a kitchen knife on the cutting board
JP2006130580A (ja) ロボットによる任意形状物体の把持方法
Jamone et al. Benchmarking the grasping capabilities of the icub hand with the ycb object and model set
JP4715296B2 (ja) ロボットハンドの持ち替え把持制御方法。
JP6322948B2 (ja) ロボット制御装置、ロボットシステム、ロボット、ロボット制御方法、及びプログラム
JP2020192614A (ja) ロボット装置及び把持方法