TW202210253A - 機器人系統及拾取方法 - Google Patents

機器人系統及拾取方法 Download PDF

Info

Publication number
TW202210253A
TW202210253A TW110132776A TW110132776A TW202210253A TW 202210253 A TW202210253 A TW 202210253A TW 110132776 A TW110132776 A TW 110132776A TW 110132776 A TW110132776 A TW 110132776A TW 202210253 A TW202210253 A TW 202210253A
Authority
TW
Taiwan
Prior art keywords
workpieces
fingers
workpiece
pressure distribution
finger
Prior art date
Application number
TW110132776A
Other languages
English (en)
Other versions
TWI784700B (zh
Inventor
石毛真修
梅舘拓也
井尻善久
Original Assignee
日商歐姆龍股份有限公司
國立大學法人東京大學
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日商歐姆龍股份有限公司, 國立大學法人東京大學 filed Critical 日商歐姆龍股份有限公司
Publication of TW202210253A publication Critical patent/TW202210253A/zh
Application granted granted Critical
Publication of TWI784700B publication Critical patent/TWI784700B/zh

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B25J13/081—Touching devices, e.g. pressure-sensitive
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1612—Programme controls characterised by the hand, wrist, grip control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1602—Programme controls characterised by the control system, structure, architecture
    • B25J9/161—Hardware, e.g. neural networks, fuzzy logic, interfaces, processor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1628—Programme controls characterised by the control loop
    • B25J9/163—Programme controls characterised by the control loop learning, adaptive, model based, rule based expert control
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40053—Pick 3-D object from pile of objects
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40537—Detect if robot has picked up more than one piece from bin; interlocked parts
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/45—Nc applications
    • G05B2219/45063—Pick and place manipulator

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Orthopedic Medicine & Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Manipulator (AREA)

Abstract

本發明的機器人系統包括：機器人機構，包括握持工件的手指；檢測部，檢測手指對工件的握持狀態；辨識部，基於檢測部的檢測結果，辨識手指所握持的工件的數量；以及控制部，在使機器人機構進行自載置有多個工件的載置場所中握持工件的動作後，在由辨識部辨識出的工件的數量與預先所指定的指定數量不同的情況下，以使得所握持的工件的數量成為指定數量的方式對機器人機構的運行進行控制，且手指的至少一個具有可撓性，在由手指握持工件的狀態下，控制部以使至少一個手指的位置發生變化的方式對機器人機構的運行進行控制。

Description

機器人系統及揀選方法
本揭示是有關於一種機器人系統及拾取方法。
於專利文獻1～專利文獻3中，揭示了一種基於散裝的工件的攝影圖像來辨識能夠拾取的工件並拾取工件的技術。 [現有技術文獻] [專利文獻]
專利文獻1：日本專利第5767464號公報 專利文獻2：日本專利特開2017-42859號公報 專利文獻3：日本專利第5196156號公報
[發明所欲解決之課題]
然而，於所述現有技術中，特別是在如螺釘等般小的工件、金屬的工件、有光澤的工件的情況下，難以利用圖像感測器或深度感測器可靠地檢測工件的位置及姿勢，結果，難以可靠地進行一個工件的拾取。另外，由於未能推定與周邊的干擾物的間隙、或未能計算握持可能性，亦會導致拾取失敗。進而，由於拾取一個工件大多會導致其周圍的工件的配置發生變化，因此在每次拾取動作之前亦需要用於檢測工件的位置及姿勢的時間。
本揭示是鑒於上述方面而完成者，其目的在於提供一種即便並非每次事先檢測工件的位置及姿勢，亦能夠以高準確度拾取工件的機器人系統及拾取方法。 [解決課題之手段]
揭示的第一態樣是一種機器人系統，包括：機器人機構，包括握持工件的多個手指；檢測部，檢測所述多個手指對所述工件的握持狀態；辨識部，基於所述檢測部的檢測結果，辨識所述多個手指所握持的工件的數量；以及控制部，在使所述機器人機構進行自載置有多個所述工件的載置場所中握持所述工件的動作後，在由所述辨識部辨識出的所述工件的數量與預先所指定的指定數量不同的情況下，以使得所握持的所述工件的數量成為所述指定數量的方式對所述機器人機構的運行進行控制，且所述多個手指中的至少一個具有可撓性，在由所述多個手指握持所述工件的狀態下，所述控制部以使至少一個手指的位置發生變化的方式對所述機器人機構的運行進行控制。
於所述第一態樣中，可為：所述多個手指中的至少一個由彈性構件構成。
揭示的第二態樣包括：機器人機構，包括握持工件的多個手指；檢測部，檢測所述多個手指對所述工件的握持狀態；辨識部，基於所述檢測部的檢測結果，辨識所述多個手指所握持的工件的數量；以及控制部，在使所述機器人機構進行自載置有多個所述工件的載置場所中握持所述工件的動作後，在由所述辨識部辨識出的所述工件的數量與預先所指定的指定數量不同的情況下，以使得所握持的所述工件的數量成為所述指定數量的方式對所述機器人機構的運行進行控制，且所述檢測部包括壓力分佈感測器，所述壓力分佈感測器設置於至少一個手指的握持面且檢測與所述工件接觸的所述握持面的壓力分佈，所述辨識部利用握持數量辨識模型辨識所述工件的個數，所述握持數量辨識模型將由所述檢測部檢測出的壓力分佈作為輸入、將由所述多個手指握持的所述工件的個數作為輸出而進行了學習，所述控制部基於自驅動方法模型輸出的驅動方法對所述機器人機構的運行進行控制，所述驅動方法模型將所述壓力分佈及驅動所述多個手指的驅動部的驅動狀態作為輸入、將由所述多個手指握持的所述工件的個數以及用於使所述工件的數量成為所述指定數量的所述驅動部的所述驅動方法作為輸出而進行了學習。
於所述第二態樣中，可構成為，在所述壓力分佈感測器上設置有彈性構件。
於所述第一態樣中，可設為，所述控制部以如下的方式對所述機器人機構的運行進行控制：在由所述多個手指握持所述工件的狀態下，重覆進行使所述多個手指中的至少一個沿作為用於握持的運行方向的第一方向、與所述第一方向及所述手指的長度方向交叉的第二方向、作為所述手指的長度方向的第三方向、及以所述第三方向為旋轉軸進行旋轉的旋轉方向中的至少一個方向移動，直至由所述辨識部辨識出的所述工件的數量成為所述指定數量。
於所述第一態樣中，可設為，在所述多個手指的相對位置關係相互不同的狀態下，所述檢測部對所述握持狀態進行多次檢測，所述辨識部基於對所述握持狀態進行多次檢測而得的結果，辨識所述工件的個數。
揭示的第三態樣是一種拾取方法，對於包括用於握持工件的多個手指的機器人機構，檢測所述多個手指對所述工件的握持狀態，基於所述工件的握持狀態的檢測結果，辨識所述多個手指所握持的工件的數量，在使所述機器人機構進行自載置有多個所述工件的載置場所中握持所述工件的動作後，在辨識出的所述工件的數量與預先所指定的指定數量不同的情況下，以使得所握持的所述工件的數量成為所述指定數量的方式對所述機器人機構的運行進行控制，所述多個手指中的至少一個具有可撓性，在由所述多個手指握持所述工件的狀態下，以使至少一個手指的位置發生變化的方式對所述機器人機構的運行進行控制。
揭示的第四態樣是一種拾取方法，對於包括用於握持工件的多個手指的機器人機構，檢測所述多個手指對所述工件的握持狀態，基於所述工件的握持狀態的檢測結果，辨識所述多個手指所握持的工件的數量，在使所述機器人機構進行自載置有多個所述工件的載置場所中握持所述工件的動作後，在辨識出的所述工件的數量與預先所指定的指定數量不同的情況下，以使得所握持的所述工件的數量成為所述指定數量的方式對所述機器人機構的運行進行控制，所述拾取方法包括壓力分佈感測器，所述壓力分佈感測器設置於至少一個手指的握持面且檢測與所述工件接觸的所述握持面的壓力分佈，利用將檢測出的壓力分佈作為輸入、將由所述多個手指握持的所述工件的個數作為輸出而進行了學習的握持數量辨識模型，辨識所述工件的個數，基於自驅動方法模型輸出的所述驅動方法對所述機器人機構的運行進行控制，所述驅動方法模型將所述壓力分佈作為輸入、將由所述多個手指握持的所述工件的個數以及所述驅動方法作為輸出而進行了學習，所述驅動方法為所述多個手指中的至少一個手指的驅動方法，且用於使所述工件的數量成為所述指定數量。 [發明的效果]
根據本揭示，即便並非每次事先檢測工件的位置及姿勢，亦能夠以高準確度拾取工件。
以下，參照圖式對本揭示的實施方式的一例進行說明。再者，對各圖式中相同或等價的構成元件及部分賦予相同的參照符號。另外，圖式的尺寸比率有時為了方便說明而誇張，有時與實際的比率不同。
＜第一實施方式＞
圖1是第一實施方式的機器人系統10的結構圖。如圖1所示，機器人系統10包括機器人機構20、控制裝置30、及攝影部40。在本實施方式中，機器人系統10作為拾取工件W的拾取裝置發揮功能。
機器人機構20包括：機器人臂AR，是作為進行拾取動作時的運行控制的對象的機構部分；以及機器人手H，安裝在機器人臂AR的頂端。機器人手H自作為載置有多個工件W的載置場所的一例的箱50握持工件W。機器人手H是握持部的一例。再者，於本實施方式中，作為一例，對工件W為螺釘等可由機器人手H握持多個工件W的程度的比較小的零件的情況進行說明，但工件W並不限於此。
機器人手H包括多個手指，於本實施方式中作為一例而包括兩個手指F1、F2，但手指的數量並不限定於兩個。另外，於本實施方式中，手指F1、手指F2作為一例而由板狀的構件構成，但手指F1、手指F2的形狀不限於此。
另外，機器人手H包括：驅動部22-1，在由手指F1、手指F2握持工件W的狀態下，進行驅動以使手指F1的位置發生變化；以及驅動部22-2，在由手指F1、手指F2握持工件W的狀態下，進行驅動以使手指F2的位置發生變化。再者，於本實施方式中，對在手指F1、手指F2兩者設置有驅動部的情況進行說明，但亦可構成為在手指F1、手指F2的任一者設置有驅動部。
另外，在手指F1的握持面設置有壓力分佈感測器24-1，所述壓力分佈感測器24-1檢測與工件W接觸的握持面的壓力分佈。同樣地，在手指F2的握持面設置有壓力分佈感測器24-2，所述壓力分佈感測器24-2檢測與工件W接觸的握持面的壓力分佈。此處，壓力分佈感測器24-1、壓力分佈感測器24-2是檢測手指F1、手指F2對工件W的握持狀態的檢測部的一例。
再者，於本實施方式中，對在手指F1、手指F2兩者各自的握持面設置有壓力分佈感測器的情況進行了說明，但亦可構成為在手指F1、手指F2的任一手指的握持面設置有壓力分佈感測器。
作為一例，機器人機構20可使用自由度為6的垂直多關節機器人、水平多關節機器人等，但機器人的自由度及種類不限於該些。
控制裝置30控制機器人機構20。如圖2所示，控制裝置30在功能上包括辨識部32及控制部34。
辨識部32基於壓力分佈感測器24-1、壓力分佈感測器24-2的檢測結果、即壓力分佈，辨識手指F1、手指F2所握持的工件W的個數。於本實施方式中，作為一例，辨識部32使用將由壓力分佈感測器24-1、壓力分佈感測器24-2檢測出的壓力分佈各者作為輸入、將工件W的數量作為輸出而進行了學習的學習完成模型，例如使用了類神經網路的學習完成模型，辨識由手指F1、手指F2握持的工件W的個數。
控制部34在使機器人機構20進行自箱50中握持工件W的動作後，在由辨識部32辨識出的工件的個數與預先所指定的指定數量不同的情況下，對機器人機構20的運行進行控制，以使所握持的工件W的數量成為指定數量。再者，於本實施方式中，對指定數量為1的情況進行說明。即，在由辨識部32辨識出的工件的個數為多個的情況下，對機器人機構20的運行進行控制以使工件W落下，直至由辨識部32辨識出的工件的個數成為一個為止。
具體而言，控制部34例如為了使由手指F1、手指F2握持工件W的握持狀態變化，對驅動部22-1、驅動部22-2的至少一者進行控制，以使手指F1、手指F2的至少一者移動。即，挪動手指F1、手指F2中的至少一者，以使手指F1、手指F2的相對位置變化。藉此，由手指F1、手指F2握持的工件W的握持狀態發生變化，從而可使工件W落下。
攝影部40設置於能夠自箱50的上方拍攝箱50內的工件W的位置，並將根據控制裝置30的指示拍攝箱50內的工件W而得的攝影圖像輸出至控制裝置30。
接下來是表示控制裝置30的硬體結構的框圖。
如圖3所示，控制裝置30具有中央處理單元（Central Processing Unit，CPU）30A、唯讀記憶體（Read Only Memory，ROM）30B、隨機存取記憶體（Random Access Memory，RAM）30C、儲存器（storage）30D、輸入部30E、監視器（monitor）30F、光碟驅動裝置30G及通訊介面30H。各結構經由匯流排30I而相互可通訊地連接。
於本實施方式中，在儲存器30D中保存有拾取程式。CPU 30A為中央運算處理單元，且執行各種程式或控制各結構。即，CPU 30A自儲存器30D中讀出程式，並將RAM 30C作為作業區域執行程式。CPU 30A依照儲存器30D中所記錄的程式，進行所述各結構的控制及各種運算處理。
ROM 30B保存各種程式及各種資料。RAM 30C作為作業區域而暫時儲存程式或資料。儲存器30D包括硬碟驅動器（Hard Disk Drive，HDD）或者固態驅動器（Solid State Drive，SSD），且保存包括操作系統（operating system）在內的各種程式及各種資料。
輸入部30E包括鍵盤30E1及滑鼠30E2等指向器件（pointing device），且用於進行各種輸入。監視器30F例如為液晶顯示器，且顯示工件W的握持狀態等各種資訊。監視器30F亦可採用觸控面板（touch panel）方式而亦作為輸入部30E發揮功能。光碟驅動裝置30G讀入各種記錄媒體（唯讀光碟（Compact Disk Read Only Memory，CD-ROM）或藍光光碟等）中所儲存的資料、對記錄媒體進行資料的寫入等。
通訊介面30H是用於與其他設備進行通訊的介面，例如可使用乙太網路（Ethernet）（註冊商標）、光纖分佈式資料介面（Fiber Distributed Data Interface，FDDI）或無線保真（Wireless Fidelity，Wi-Fi）（註冊商標）等標準。
圖2所示的控制裝置30的各功能結構是藉由以下來達成：CPU 30A讀出儲存器30D中所儲存的拾取程式，在RAM 30C中展開並予以執行。
接下來，對機器人系統10的作用進行說明。
圖4是表示利用機器人系統10進行的拾取處理的流程的流程圖。當用戶操作輸入部30E來指示執行拾取處理時，CPU 30A自儲存器30D中讀出拾取程式，在RAM 30C中展開並予以執行，藉此執行拾取處理。
於步驟S100中，CPU 30A作為控制部34而對機器人機構20進行控制，以由機器人手H握持箱50內的工件W。具體而言，例如指示攝影部40進行拍攝，從而獲取對箱50內的工件W進行拍攝而得的攝影圖像，並藉由對所獲取的攝影圖像進行圖像分析來確定工件W存在的場所。此時，不需要確定應握持的工件W的位置及姿勢，僅確定工件W存在的場所即可。然後，對機器人臂AR進行控制，以使機器人手H移動至工件W所存在的場所，然後，對驅動部22-1、驅動部22-2進行控制，以便由手指F1、手指F2握持工件W。或者，亦可設為：在不利用攝影部40進行拍攝的情況下，在箱50內的任一位置進行將手指F1、手指F2閉合的動作，作為其結果，以某種概率握持工件W。特別是在箱50內殘存有多個工件W的情況下，即便不事先確定工件W所存在的場所，亦能夠以高概率握持工件W。
於步驟S102中，CPU 30A作為辨識部32而自壓力分佈感測器24-1、壓力分佈感測器24-2分別獲取手指F1、手指F2的握持面的壓力分佈。而且，根據所獲取的手指F1、手指F2的握持面的壓力分佈來辨識由手指F1、手指F2握持的工件W的個數。
於步驟S104中，CPU 30A作為控制部34而判定於步驟S102中辨識出的工件W的個數是否為0。而且，在辨識出的工件W的個數不為0的情況下，即，在握持有至少一個以上的工件W的情況下，轉移至步驟S106。另一方面，在辨識出的工件的個數為0的情況下，返回步驟S100重新握持工件W。
於步驟S106中，CPU 30A作為控制部34而判定於步驟S102中辨識出的工件W的個數是否為指定數量，即辨識出的工件W的個數是否為一個。而且，在辨識出的工件W的個數為1的情況下，轉移至步驟S108。另一方面，在辨識出的工件W的個數不為1的情況下，即為多個的情況下，轉移至步驟S110。
於步驟S108中，CPU 30A作為控制部34而對機器人機構20進行控制，以將由機器人手H握持的工件W移動並載置於規定的場所。
於步驟S110中，CPU 30A作為控制部34而對驅動部22-1、驅動部22-2中的至少一者進行控制，以挪動手指F1、手指F2中的至少一者。例如，可預先決定要挪動的手指、方向及移動量，亦可基於步驟S102中所獲取的手指F1、手指F2的握持面的壓力分佈來決定要挪動的手指、方向及移動量。藉此，由手指F1、手指F2握持的工件W的握持狀態發生變化，工件W容易落下。
於步驟S112中，CPU 30A作為控制部34而判定是否已拾取箱50內的所有工件W。即，判定箱50內是否為空。具體而言，例如對由攝影部40拍攝的攝影圖像進行圖像分析，判定在箱50內是否殘留有工件W。而且，在箱50內未殘留工件W的情況下，結束本常式（routine）。另一方面，在箱50內殘留有工件W的情況下，返回步驟S100並重覆進行與上述相同的處理，直至拾取所有工件W。
如此，於本實施方式中，並非在事先檢測出應握持的工件W的位置及姿勢之後握持工件W，而是首先握持工件W，然後進行挪動手指F1、手指F2中的至少一者直至所握持的工件W的個數成為指定數量的運行。藉此，即便並非每次事先檢測工件W的位置及姿勢，亦能夠以高準確度拾取工件W。
（變形例1）
接下來，對第一實施方式的變形例1進行說明。
在辨識所握持的工件W的數量的情況下，例如，亦可基於手指F1、手指F2各自的握持面上的工件W的接觸面積來辨識所握持的工件W的個數。例如，基於由壓力分佈感測器24-1、壓力分佈感測器24-2檢測出的各個壓力分佈，分別算出手指F1、手指F2各自的握持面上的工件W的接觸面積。而且，例如亦可使用表示各接觸面積與所握持的工件的個數之間的對應關係的列表資料或數式等，來辨識所握持的工件W的個數。例如，在工件W為球體的情況下，因由一個工件W按壓具有彈性的握持面而形成的接觸面積相對較穩定，因此能夠以上述方式辨識個數。
（變形例2）
接下來，對第一實施方式的變形例2進行說明。
在辨識所握持的工件W的數量的情況下，例如，亦可設為利用作為檢測部的一例的攝影部40拍攝由手指F1、手指F2握持工件W的狀態，並基於由攝影部40拍攝的攝影圖像來辨識所握持的工件W的個數。該情況下，控制部34可移動機器人手H，以使其於能夠由攝影部40拍攝由手指F1、手指F2握持的工件W的位置、即工件W不會被手指F1、手指F2遮擋的位置被拍攝。另外，亦可構成為更包括攝影部40的移動機構，以使攝影部40移動至機器人手H的位置。另外，亦可使機器人手H及攝影部40兩者移動。
（變形例3）
接下來，對第一實施方式的變形例3進行說明。
在辨識所握持的工件W的數量的情況下，例如亦可構成為包括作為檢測部的一例的六軸力覺感測器，該六軸力覺感測器檢測由手指F1、手指F2握持工件W的狀態下施加於手指F1、手指F2的力，使得辨識部32基於由力覺感測器檢測出的力的鉛垂方向分量在握持後相對於握持前所增加的量即工件W的總重量來辨識工件W的個數。該情況下，例如基於工件W的總重量以及工件W的每一個的重量來辨識工件W的個數。即，亦可藉由自力覺感測器所檢測出的力算出的工件W的總重量除以工件W的每一個的重量來算出工件W的個數。
（變形例4）
接下來，對第一實施方式的變形例4進行說明。
控制部34亦可在由辨識部32辨識出的工件W的數量與指定數量不同的情況下，例如在少於指定數量的情況下，對機器人機構20的運行進行控制，以自箱50中重新握持工件W。即，亦可對機器人機構20進行控制，以藉由在箱50上進行使手指F1、手指F2打開的動作而使暫時握持的工件W返回箱50上，然後再次握持箱50內的工件W。
（變形例5）
接下來，對第一實施方式的變形例5進行說明。
控制部34亦可在由辨識部32辨識出的工件W的數量多於指定數量的情況下，對機器人機構20進行控制，以對由手指F1、手指F2握持的工件的至少一部分施加外力而使所述工件落下。例如，亦可對機器人機構20進行控制，以使工件W碰撞棒狀的固定的夾具，從而使工件W落下。另外，例如亦可構成為進而設置有藉由棒狀構件對工件W施加外力的外力機構，使得藉由對該外力機構進行控制以使棒狀部件與工件W碰撞而使工件W落下。
＜第二實施方式＞
接下來，對第二實施方式進行說明。再者，對與第一實施方式相同的部分標註相同的符號，並省略詳細的說明。
於第二實施方式中，對手指F1、手指F2中的至少一個具有可撓性的結構的情況進行說明。於第二實施方式中，對手指F1、手指F2兩者具有可撓性的情況進行說明，但亦可為手指F1、手指F2中的一者具有可撓性的結構。
如圖5所示，第二實施方式的手指F1包括蛇腹部F1A，所述蛇腹部F1A在手指F1的長度方向沿著Z軸方向、即重力方向的情況下，在X軸方向上具有可撓性。因此，手指F1在圖5中在X軸方向上具有可撓性。
手指F2包括在X軸方向上具有可撓性的蛇腹部F2A。因此，手指F1在圖5中在X軸方向上具有可撓性。進而，手指F2包括在Y軸方向上具有可撓性的蛇腹部F2B。因此，手指F2在圖5中在Y軸方向上亦具有可撓性。
驅動部22-1包括旋轉用馬達，所述旋轉用馬達進行驅動以使手指F1以圖5中Z軸方向為旋轉軸而沿箭頭A方向旋轉。藉由驅動所述旋轉用馬達，可自如圖6的（A）所示般自下方觀察手指F1、手指F2時握持工件W的狀態起，如圖6的（B）所示般以Z軸方向為旋轉軸而沿箭頭A方向挪動手指F1。
另外，手指F2的指尖與驅動部22-2例如藉由繩狀的第一腱（省略圖示）連接。而且，驅動部22-2包括以拉伸第一腱的方式進行驅動的第一拉伸用馬達。藉由驅動所述第一拉伸用馬達，可自圖7的（A）所示的狀態起如圖7的（B）所示般使手指F2沿X軸方向活動。再者，由於手指F1包括在X軸方向上具有可撓性的蛇腹F1A，因此手指F1追隨手指F2的活動而沿X軸方向移動。
另外，手指F2的指尖與驅動部22-2例如藉由繩狀的第二腱（省略圖示）連接。而且，驅動部22-2包括以拉伸第二腱的方式進行驅動的第二拉伸用馬達。藉由驅動所述第二拉伸用馬達，可自圖8的（A）所示的狀態起如圖8的（B）所示般使手指F2沿Y軸方向活動。再者，由於手指F1在Y軸方向上不具有可撓性，因此不會追隨手指F2的活動沿Y軸方向移動。
另外，雖然在圖1中省略了圖示，但如圖9所示，在手指F1的指尖的工件W的握持面貼附有壓力分佈感測器24-1，進而自其上貼附有彈性構件26-1。手指F2亦同樣地在指尖的工件W的握持面貼附有壓力分佈感測器24-2，進而自其上貼附有與彈性構件26-1相同的彈性構件。
壓力分佈感測器24-1、壓力分佈感測器24-2包括m×n（m、n為整數）個壓力檢測元件。例如可設為m=6、n=4等，但m、n的值並不限於此。
例如，如圖10的（A）所示，在壓力分佈感測器24-1上未設置彈性構件26-1的情況下，當握持工件W時，僅可在兩處接點S1、S2處探測工件W，因此有無法精度良好地辨識工件W之虞。相對於此，如圖10的（B）所示，在壓力分佈感測器24-1上設置有彈性構件26-1的結構的情況下，如圖10的（B）中以箭頭所示，所握持的工件W的壓力以面形式傳遞至壓力分佈感測器24-1，從而可精度良好地辨識工件W。
再者，手指F1、手指F2亦可由彈性構件構成。即，亦可不另行設置彈性構件，而是使手指F1、手指F2的指尖本身由彈性構件構成。
於第二實施方式中，作為一例，辨識部32利用將由壓力分佈感測器24-1、壓力分佈感測器24-2檢測出的壓力分佈作為輸入、將由手指F1、手指F2握持的工件W的個數作為輸出而進行了學習的握持數量辨識模型，辨識工件W的個數。
作為握持數量辨識模型，例如可使用如下的學習完成模型，但並不限於此，即，所述學習完成模型學習了使用卷積類神經網路（Convolutional Neural Network：CNN）的學習模型。
用於辨識工件W的個數的壓力分佈檢測亦可改變手指F1、手指F2的相對位置關係而進行多次。該情況下，控制部34進行使手指F1、手指F2中的至少一個向預定的方向移動的控制，藉此在壓力分佈感測器24-1、壓力分佈感測器24-2中多次檢測工件W的握持狀態。例如，一邊使手指F2向X軸方向移動以按壓手指F1，一邊在壓力分佈感測器24-1、壓力分佈感測器24-2中多次檢測壓力分佈。即，以時間序列檢測手指F1、手指F2的握持面的壓力分佈。
辨識部32將由壓力分佈感測器24-1、壓力分佈感測器24-2各自進行多次檢測而得的結果、即多次檢測出的手指F1、手指F2的各個壓力分佈輸入至握持數量辨識模型中。如此，藉由將多個壓力分佈輸入至握持數量辨識模型中，可精度良好地辨識工件W的個數。
再者，例如亦可在手指F1設置用於檢測手指F1向X軸方向的彎曲程度的拉伸感測器（stretch sensor），將所述拉伸感測器的輸出值進一步輸入至握持數量辨識模型中。
控制部34對機器人機構20的運行進行控制，以在由手指F1、手指F2握持工件W的狀態下使手指F1、手指F2中至少一個手指的位置發生變化。
具體而言，對機器人機構20的運行進行控制，以在由手指F1、手指F2握持工件W的狀態下，使手指F1、手指F2中的至少一個沿預定的第一方向、與第一方向交叉的第二方向、與第一方向及第二方向交叉的第三方向、以及以第三方向為旋轉軸進行旋轉的旋轉方向中的至少一個方向移動。例如，在圖5中，在將X軸方向設為第一方向的情況下，Y軸方向成為第二方向，Z軸方向成為第三方向，箭頭A方向成為旋轉方向。
關於要挪動的手指、方向及移動量，如第一實施方式中所說明般，例如可基於步驟S102中所獲取的手指F1、手指F2的握持面的壓力分佈來決定。
另外，控制部34亦可基於自驅動方法模型輸出的驅動方法，對機器人機構20的運行進行控制，所述驅動方法模型將由壓力分佈感測器24-1、壓力分佈感測器24-2檢測出的壓力分佈及驅動部22-1、驅動部22-2的驅動狀態作為輸入，將由手指F1、手指F2握持的工件W的個數以及用於使工件W的數量成為指定數量的驅動部22-1、驅動部22-2的驅動方法作為輸出進行了學習。此處提及的「驅動方法」為例如驅動命令或作為驅動命令生成基礎的資訊般的與驅動相關的資訊，是指相當於機器學習中提及的「行動」、控制理論中提及的「控制輸入」的資訊。於第二實施方式中，說明基於自驅動方法模型輸出的驅動方法對機器人機構20的運行進行控制的情況。
此處，所謂驅動部22-1的驅動狀態是指驅動部22-1的旋轉用馬達的旋轉角，且相當於手指F1在箭頭A方向上自初始狀態起的移動量。另外，所謂驅動部22-2的驅動狀態是指驅動部22-2的第一拉伸用馬達的旋轉角及第二拉伸用馬達的旋轉角，且分別相當於手指F2在X軸方向上自初始狀態起的移動量及在Y軸方向上自初始狀態起的移動量。
於第二實施方式中，作為一例，驅動方法模型設為使用了如下學習完成模型的結構，即，所述學習完成模型包括基於作為遞歸型類神經網路（Recurrent Neural Network：RNN）的一種的長短期記憶（Long Short-Term Memory，LSTM）的學習模型及/或強化學習模型。
在此種驅動方法模型中，向基於LSTM的學習模型中輸入由壓力分佈感測器24-1、壓力分佈感測器24-2檢測出的壓力分佈及驅動部22-1、驅動部22-2的驅動狀態，求出所握持的工件W的個數。然後，將所求出的工件W的個數、由壓力分佈感測器24-1、壓力分佈感測器24-2檢測出的壓力分佈、以及驅動部22-1、驅動部22-2的驅動狀態作為狀態資訊而輸入至強化學習模型中。強化學習模型輸出驅動部22-1、驅動部22-2的驅動方法，作為與所輸入的狀態資訊對應的行動。即，輸出驅動部22-1的旋轉用馬達的旋轉角、驅動部22-2的第一拉伸用馬達的旋轉角及第二拉伸用馬達的旋轉角。控制部34依照自驅動方法模型輸出的驅動方法驅動驅動部22-1、驅動部22-2，使手指F1、手指F2的至少一者移動。再者，亦可將拉伸感測器的輸出值包含於狀態資訊中而進一步輸入至驅動方法模型中。
接下來，對機器人系統10的作用進行說明。
藉由第二實施方式的機器人系統10進行的拾取處理的基本流程與第一實施方式中所說明的圖4所示的流程圖中示出的處理相同。以下，對第二實施方式中特徵性的處理進行說明。
於圖4的步驟S102中，CPU 30A一邊作為控制部34而在由手指F1、手指F2握持工件W的狀態下使手指F2沿X軸方向移動，一邊作為辨識部32而自壓力分佈感測器24-1、壓力分佈感測器24-2以時間序列分別獲取手指F1、手指F2的握持面的壓力分佈。然後，將按時間序列獲取的手指F1、手指F2的握持面的壓力分佈輸入至握持數量辨識模型中，藉此辨識由手指F1、手指F2握持的工件W的個數。
於步驟S110中，CPU 30A作為控制部34而將由壓力分佈感測器24-1、壓力分佈感測器24-2檢測出的壓力分佈及驅動部22-1、驅動部22-2的驅動狀態輸入至驅動方法模型中，並依照自驅動方法模型輸出的驅動方法驅動驅動部22-1、驅動部22-2，藉此使手指F1、手指F2的至少一者以錯開的方式移動，從而使工件W的握持狀態變化。藉此，工件W容易落下。
如此，於第二實施方式中，使用握持數量辨識模型來辨識工件W的握持數量，並使用驅動方法模型來控制手指F1、手指F2的動作。藉此，即便並非每次事先檢測工件W的位置及姿勢，亦能夠以高準確度拾取工件W。
再者，於所述各實施方式中，亦可為CPU以外的各種處理器執行CPU讀入軟體（程式）而執行的拾取處理。作為該情況下的處理器，可例示：現場可程式閘陣列（Field-Programmable Gate Array，FPGA）等於製造後能夠變更電路結構的可程式邏輯器件（Programmable Logic Device，PLD）、及特殊應用積體電路（Application Specific Integrated Circuit，ASIC）等為了執行特定處理而具有專門設計的電路結構的處理器即專用電氣電路等。另外，可由所述各種處理器中的一個來執行拾取處理，亦可由同種或不同種的兩個以上處理器的組合（例如多個FPGA、及CPU與FPGA的組合等）來執行拾取處理。另外，所述各種處理器的硬體結構更具體而言是將半導體元件等電路元件組合而成的電氣電路。
另外，於所述各實施方式中，對拾取程式預先儲存（安裝）在儲存器30D或ROM 30B的態樣進行了說明，但不限定於此。程式亦能夠以記錄在CD-ROM、唯讀數位光碟（Digital Versatile Disk Read Only Memory，DVD-ROM）、及通用串列匯流排（Universal Serial Bus，USB）記憶體等記錄媒體的形態提供。另外，程式亦可設為經由網路自外部裝置下載的形態。
再者，將日本專利申請案第2020-151539號的揭示的所有內容藉由參照併入至本說明書中。另外，本說明書中所記載的所有文獻、專利申請案及技術規格是與具體且分別記載藉由參照將各文獻、專利申請案及技術規格併入的情形相同程度地，藉由參照而併入至本說明書中。
10:機器人系統 20:機器人機構 22-1、22-2:驅動部 24-1、24-2:壓力分佈感測器 26-1:彈性構件 30:控制裝置 30A:CPU 30B:ROM 30C:RAM 30D:儲存器 30E:輸入部 30E1:鍵盤 30E2:滑鼠 30F:監視器 30G:光碟驅動裝置 30H:通訊介面 30I:匯流排 32:辨識部 34:控制部 40:攝影部 50:箱 A:箭頭 AR:機器人臂 F1、F2:手指 F1A、F2A、F2B:蛇腹部 H:機器人手 S1、S2:接點 S100、S102、S104、S106、S108、S110、S112:步驟 W:工件
圖1是機器人系統的結構圖。 圖2是控制裝置的功能框圖。 圖3是表示控制裝置的硬體結構的框圖。 圖4是表示拾取處理的流程的流程圖。 圖5是手指的立體圖。 圖6的（A）、圖6的（B）是沿著Z軸方向自下方觀察握持工件的手指而得的圖。 圖7的（A）、圖7的（B）是沿著Y軸方向觀察握持工件的手指而得的圖。 圖8的（A）、圖8的（B）是沿著X軸方向觀察握持工件的手指而得的圖。 圖9是表示壓力分佈感測器及彈性構件的圖。 圖10的（A）、圖10的（B）是用於說明彈性構件的圖。
10:機器人系統
20:機器人機構
22-1、22-2:驅動部
24-1、24-2:壓力分佈感測器
30:控制裝置
40:攝影部
50:箱
AR:機器人臂
F1、F2:手指
H:機器人手
W:工件

Claims (8)

  1. 一種機器人系統，包括： 機器人機構，包括握持工件的多個手指； 檢測部，檢測所述多個手指對所述工件的握持狀態； 辨識部，基於所述檢測部的檢測結果，辨識所述多個手指所握持的工件的數量；以及 控制部，在使所述機器人機構進行自載置有多個所述工件的載置場所中握持所述工件的動作後，在由所述辨識部辨識出的所述工件的數量與預先所指定的指定數量不同的情況下，以使得所握持的所述工件的數量成為所述指定數量的方式對所述機器人機構的運行進行控制，且 所述多個手指中的至少一個具有可撓性， 在由所述多個手指握持所述工件的狀態下，所述控制部以使至少一個手指的位置發生變化的方式對所述機器人機構的運行進行控制。
  2. 如請求項1所述的機器人系統，其中， 所述多個手指中的至少一個由彈性構件構成。
  3. 一種機器人系統，包括： 機器人機構，包括握持工件的多個手指； 檢測部，檢測所述多個手指對所述工件的握持狀態； 辨識部，基於所述檢測部的檢測結果，辨識所述多個手指所握持的工件的數量；以及 控制部，在使所述機器人機構進行自載置有多個所述工件的載置場所中握持所述工件的動作後，在由所述辨識部辨識出的所述工件的數量與預先所指定的指定數量不同的情況下，以使得所握持的所述工件的數量成為所述指定數量的方式對所述機器人機構的運行進行控制，且 所述檢測部包括壓力分佈感測器，所述壓力分佈感測器設置於至少一個手指的握持面且檢測與所述工件接觸的所述握持面的壓力分佈， 所述辨識部利用握持數量辨識模型辨識所述工件的個數，所述握持數量辨識模型將由所述檢測部檢測出的壓力分佈作為輸入、將由所述多個手指握持的所述工件的個數作為輸出而進行了學習， 所述控制部基於自驅動方法模型輸出的驅動方法對所述機器人機構的運行進行控制，所述驅動方法模型將所述壓力分佈及驅動所述多個手指的驅動部的驅動狀態作為輸入、將由所述多個手指握持的所述工件的個數以及用於使所述工件的數量成為所述指定數量的所述驅動部的所述驅動方法作為輸出而進行了學習。
  4. 如請求項3所述的機器人系統，其中， 在所述壓力分佈感測器上設置有彈性構件。
  5. 如請求項1或請求項3所述的機器人系統，其中， 所述控制部以如下的方式對所述機器人機構的運行進行控制：在由所述多個手指握持所述工件的狀態下，重覆進行使所述多個手指中的至少一個沿作為用於握持的運行方向的第一方向、與所述第一方向及所述手指的長度方向交叉的第二方向、作為所述手指的長度方向的第三方向、及以所述第三方向為旋轉軸進行旋轉的旋轉方向中的至少一個方向移動，直至由所述辨識部辨識出的所述工件的數量成為所述指定數量。
  6. 如請求項1或請求項3所述的機器人系統，其中， 在所述多個手指的相對位置關係相互不同的狀態下，所述檢測部對所述握持狀態進行多次檢測， 所述辨識部基於對所述握持狀態進行多次檢測而得的結果，辨識所述工件的個數。
  7. 一種拾取方法， 對於包括用於握持工件的多個手指的機器人機構，檢測所述多個手指對所述工件的握持狀態， 基於所述工件的握持狀態的檢測結果，辨識所述多個手指所握持的工件的數量， 在使所述機器人機構進行自載置有多個所述工件的載置場所中握持所述工件的動作後，在辨識出的所述工件的數量與預先所指定的指定數量不同的情況下，以使得所握持的所述工件的數量成為所述指定數量的方式對所述機器人機構的運行進行控制， 所述多個手指中的至少一個具有可撓性， 在由所述多個手指握持所述工件的狀態下，以使至少一個手指的位置發生變化的方式對所述機器人機構的運行進行控制。
  8. 一種拾取方法， 對於包括用於握持工件的多個手指的機器人機構，檢測所述多個手指對所述工件的握持狀態， 基於所述工件的握持狀態的檢測結果，辨識所述多個手指所握持的工件的數量， 在使所述機器人機構進行自載置有多個所述工件的載置場所中握持所述工件的動作後，在辨識出的所述工件的數量與預先所指定的指定數量不同的情況下，以使得所握持的所述工件的數量成為所述指定數量的方式對所述機器人機構的運行進行控制， 所述拾取方法包括壓力分佈感測器，所述壓力分佈感測器設置於至少一個手指的握持面且檢測與所述工件接觸的所述握持面的壓力分佈， 利用將檢測出的壓力分佈作為輸入、將由所述多個手指握持的所述工件的個數作為輸出而進行了學習的握持數量辨識模型，辨識所述工件的個數， 基於自驅動方法模型輸出的驅動方法對所述機器人機構的運行進行控制，所述驅動方法模型將所述壓力分佈作為輸入、將由所述多個手指握持的所述工件的個數以及所述驅動方法作為輸出而進行了學習，所述驅動方法為所述多個手指中的至少一個手指的驅動方法，且用於使所述工件的數量成為所述指定數量。
TW110132776A 2020-09-09 2021-09-03 機器人系統及拾取方法 TWI784700B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020151539A JP7531196B2 (ja) 2020-09-09 2020-09-09 ロボットシステム及びピッキング方法
JP2020-151539 2020-09-09

Publications (2)

Publication Number Publication Date
TW202210253A true TW202210253A (zh) 2022-03-16
TWI784700B TWI784700B (zh) 2022-11-21

Family

ID=80631542

Family Applications (1)

Application Number Title Priority Date Filing Date
TW110132776A TWI784700B (zh) 2020-09-09 2021-09-03 機器人系統及拾取方法

Country Status (6)

Country Link
US (1) US20230294278A1 (zh)
EP (1) EP4212291A4 (zh)
JP (1) JP7531196B2 (zh)
CN (1) CN115916483A (zh)
TW (1) TWI784700B (zh)
WO (1) WO2022054505A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118288292A (zh) * 2024-05-10 2024-07-05 中原动力智能机器人有限公司 一种棒状工件的无序抓取方法、装置、设备以及存储介质

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5196156B2 (ja) 2008-09-16 2013-05-15 株式会社Ｉｈｉ バラ積みピッキング装置におけるワークピッキング方法
JP5685027B2 (ja) 2010-09-07 2015-03-18 キヤノン株式会社 情報処理装置、物体把持システム、ロボットシステム、情報処理方法、物体把持方法およびプログラム
JP5767464B2 (ja) 2010-12-15 2015-08-19 キヤノン株式会社 情報処理装置、情報処理装置の制御方法、およびプログラム
JP2013086186A (ja) 2011-10-13 2013-05-13 Seiko Epson Corp 把持装置及びロボット
JP5905549B1 (ja) 2014-09-16 2016-04-20 ファナック株式会社 バラ積みされた物品を取出す物品取出装置
US10259122B2 (en) * 2015-03-05 2019-04-16 President And Fellows Of Harvard College Compliant adaptive robot grasper
JP2017042859A (ja) 2015-08-25 2017-03-02 キヤノン株式会社 ピッキングシステム、並びに、そのための処理装置、方法及びプログラム
CA3011733A1 (en) 2016-01-20 2017-07-27 Soft Robotics, Inc. Soft robotic grippers for cluttered grasping environments, high acceleration movements, food manipulation, and automated storage and retrieval systems
JP6937200B2 (ja) * 2017-09-12 2021-09-22 株式会社東芝 物品移動装置、物品移動方法、および物品移動制御プログラム
WO2019065426A1 (ja) 2017-09-26 2019-04-04 倉敷紡績株式会社 ロボットハンドおよびロボットハンド制御方法
WO2019094951A1 (en) 2017-11-10 2019-05-16 Soft Robotics, Inc. End of arm tools for soft robotic systems
JP2019089145A (ja) 2017-11-13 2019-06-13 倉敷紡績株式会社 ロボットハンドおよびロボットハンド制御方法
JP6671694B1 (ja) 2018-11-30 2020-03-25 株式会社クロスコンパス 機械学習装置、機械学習システム、データ処理システム及び機械学習方法
US11312012B2 (en) * 2019-01-01 2022-04-26 Giant Ai, Inc. Software compensated robotics
JP6870764B2 (ja) 2020-06-23 2021-05-12 株式会社三洋物産 遊技機

Also Published As

Publication number Publication date
JP2022045772A (ja) 2022-03-22
JP7531196B2 (ja) 2024-08-09
EP4212291A4 (en) 2024-10-09
EP4212291A1 (en) 2023-07-19
TWI784700B (zh) 2022-11-21
WO2022054505A1 (ja) 2022-03-17
US20230294278A1 (en) 2023-09-21
CN115916483A (zh) 2023-04-04

Similar Documents

Publication Publication Date Title
US20170249561A1 (en) Robot learning via human-demonstration of tasks with force and position objectives
CN113386123B (zh) 控制装置、机器人、学习装置、机器人系统和学习方法
JP6450960B2 (ja) ロボット、ロボットシステム及び教示方法
US20220331964A1 (en) Device and method for controlling a robot to insert an object into an insertion
CN113878588B (zh) 面向卡扣式连接的基于触觉反馈的机器人柔顺装配方法
Saen et al. Action-intention-based grasp control with fine finger-force adjustment using combined optical-mechanical tactile sensor
US20240083023A1 (en) Robot model learning device, robot model machine learning method, recording medium storing robot model machine learning program, robot control device, robot control method, and recording medium storing robot control program
TW202210253A (zh) 機器人系統及拾取方法
Jha et al. Imitation and supervised learning of compliance for robotic assembly
Jang et al. Virtual kinesthetic teaching for bimanual telemanipulation
Tajima et al. Robust bin-picking system using tactile sensor
da Fonseca et al. In-hand telemanipulation using a robotic hand and biology-inspired haptic sensing
CN116323110A (zh) 轨道生成装置、轨道生成方法以及轨道生成程序
US20230278227A1 (en) Device and method for training a machine learning model to derive a movement vector for a robot from image data
Romero et al. Modeling and evaluation of human-to-robot mapping of grasps
TW202210252A (zh) 機器人系統以及拾取方法
CN116829313A (zh) 机器人控制装置、机器人控制方法以及机器人控制程序
CN112533739B (zh) 机器人控制装置、机器人控制方法以及存储介质
TW202211073A (zh) 學習裝置、學習方法、學習程式、控制裝置、控制方法及控制程式
TWI734237B (zh) 自動控制方法以及自動控制裝置
TWI734055B (zh) 自動控制方法以及自動控制裝置
Hagelskjær et al. Off-the-shelf bin picking workcell with visual pose estimation: A case study on the world robot summit 2018 kitting task
US20240227180A9 (en) Robot system, learning apparatus, information processing apparatus, learned model, control method, information processing method, method for manufacturing product, and recording medium
US12131483B2 (en) Device and method for training a neural network for controlling a robot for an inserting task
US20220335295A1 (en) Device and method for training a neural network for controlling a robot for an inserting task