WO2022054505A1 - ロボットシステム及びピッキング方法 - Google Patents

ロボットシステム及びピッキング方法 Download PDF

Info

Publication number
WO2022054505A1
WO2022054505A1 PCT/JP2021/030017 JP2021030017W WO2022054505A1 WO 2022054505 A1 WO2022054505 A1 WO 2022054505A1 JP 2021030017 W JP2021030017 W JP 2021030017W WO 2022054505 A1 WO2022054505 A1 WO 2022054505A1
Authority
WO
WIPO (PCT)
Prior art keywords
fingers
work
works
gripped
robot mechanism
Prior art date
Application number
PCT/JP2021/030017
Other languages
English (en)
French (fr)
Inventor
真修 石毛
拓也 梅舘
善久 井尻
Original Assignee
オムロン株式会社
国立大学法人 東京大学
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オムロン株式会社, 国立大学法人 東京大学 filed Critical オムロン株式会社
Priority to US18/021,268 priority Critical patent/US20230294278A1/en
Priority to CN202180050579.0A priority patent/CN115916483A/zh
Priority to EP21866465.4A priority patent/EP4212291A4/en
Publication of WO2022054505A1 publication Critical patent/WO2022054505A1/ja

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B25J13/081—Touching devices, e.g. pressure-sensitive
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1612—Programme controls characterised by the hand, wrist, grip control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1602—Programme controls characterised by the control system, structure, architecture
    • B25J9/161—Hardware, e.g. neural networks, fuzzy logic, interfaces, processor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1628—Programme controls characterised by the control loop
    • B25J9/163—Programme controls characterised by the control loop learning, adaptive, model based, rule based expert control
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40053—Pick 3-D object from pile of objects
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40537—Detect if robot has picked up more than one piece from bin; interlocked parts
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/45—Nc applications
    • G05B2219/45063—Pick and place manipulator

Definitions

  • This disclosure relates to a robot system and a picking method.
  • Patent Documents 1 to 3 disclose a technique for recognizing a work that can be picked based on a photographed image of the work piled up in bulk and picking the work.
  • Patent Document 1 Japanese Patent Application Laid-Open No. 5767464
  • Patent Document 2 Japanese Patent Application Laid-Open No. 2017-42859
  • Patent Document 3 Japanese Patent Application Laid-Open No. 5196156
  • the present disclosure has been made in view of the above points, and provides a robot system and a picking method capable of picking a work with high accuracy without detecting the position and posture of the work in advance each time.
  • the purpose is.
  • the first aspect of the disclosure is a robot system, which is a robot mechanism including a plurality of fingers for gripping a work, a detection unit for detecting a gripping state of the work by the plurality of fingers, and a detection result of the detection unit.
  • the robot mechanism After the recognition unit that recognizes the number of works gripped by the plurality of fingers and the robot mechanism are made to grip the work from a mounting place where a plurality of the works are mounted, the robot mechanism is used.
  • the control unit for controlling the movement of the robot mechanism so that the number of the gripped works becomes the specified number is provided.
  • the robot mechanism is such that at least one of the plurality of fingers has flexibility, and the control unit changes the position of the at least one finger in a state where the work is gripped by the plurality of fingers. Control the movement of the robot.
  • At least one of the plurality of fingers may be made of an elastic member.
  • the second aspect of the disclosure is a robot mechanism including a plurality of fingers for gripping the work, a detection unit for detecting the gripping state of the work by the plurality of fingers, and the plurality of detection units based on the detection results of the detection unit.
  • the recognition unit recognizes the number of workpieces gripped by the finger, and the recognition unit recognizes the workpieces after the robot mechanism is made to grip the workpieces from a placement location where a plurality of the workpieces are mounted.
  • the detection unit includes a control unit that controls the movement of the robot mechanism so that the number of gripped works becomes the specified number.
  • the recognition unit includes a pressure distribution sensor provided on the grip surface of at least one finger and detects the pressure distribution of the grip surface with which the work contacts, and the recognition unit receives the pressure distribution detected by the detection unit as an input.
  • the number of the workpieces is recognized by the gripping number recognition model learned by using the number of the workpieces gripped by a plurality of fingers as an output, and the control unit recognizes the pressure distribution and the drive state of the drive unit that drives the plurality of fingers.
  • the movement of the robot mechanism is controlled based on the driving method.
  • an elastic member may be provided on the pressure distribution sensor.
  • control unit holds the work with the plurality of fingers until the number of the works recognized by the recognition unit reaches the designated number, and the control unit holds at least one of the plurality of fingers.
  • Rotate one in the first direction which is the movement direction for gripping, the second direction which intersects the first direction and the longitudinal direction of the finger, the third direction which is the longitudinal direction of the finger, and the third direction.
  • the movement of the robot mechanism may be controlled so that the movement is repeated in at least one direction of rotation as the axis.
  • the detection unit detects the gripping state a plurality of times in a state where the relative positional relationships of the plurality of fingers are different from each other, and the recognition unit detects the gripping state a plurality of times.
  • the number of the works may be recognized based on the above.
  • the third aspect of the disclosure is a picking method, in which the gripping state of the work by the plurality of fingers of a robot mechanism including a plurality of fingers for gripping the work is detected, and the detection result of the gripping state of the work is used.
  • the recognized work When the number is different from the predetermined number, the movement of the robot mechanism is controlled so that the number of gripped works becomes the specified number, and at least one of the plurality of fingers is made flexible.
  • the robot mechanism controls the movement of the robot mechanism so that the position of at least one finger changes in a state where the work is gripped by the plurality of fingers.
  • the fourth aspect of the disclosure is a picking method, in which the gripping state of the work by the plurality of fingers of a robot mechanism including a plurality of fingers for gripping the work is detected, and the detection result of the gripping state of the work is used.
  • the recognized work When recognizing the number of works gripped by the plurality of fingers and causing the robot mechanism to perform an operation of gripping the work from a placement location where a plurality of the works are placed, the recognized work When the number is different from the specified number specified in advance, the movement of the robot mechanism is controlled so that the number of gripped works becomes the specified number, and the work is provided on the gripping surface of at least one finger, and the work is provided.
  • the work is included in a pressure distribution sensor that detects the pressure distribution of the gripping surface in contact with the work, and the detected pressure distribution is input, and the number of the work gripped by the plurality of fingers is used as an output. With the pressure distribution as an input, the number of the works gripped by the plurality of fingers and the number of the works in the driving method of at least one of the plurality of fingers are defined as the designated number.
  • the movement of the robot mechanism is controlled based on the driving method output from the driving method model learned as an output.
  • FIG. 1 is a configuration diagram of the robot system 10 according to the first embodiment.
  • the robot system 10 includes a robot mechanism 20, a control device 30, and a photographing unit 40.
  • the robot system 10 functions as a picking device for picking the work W.
  • the robot mechanism 20 includes a robot arm AR as a mechanism portion that is a target of motion control when performing a picking operation, and a robot hand H attached to the tip of the robot arm AR.
  • the robot hand H grips the work W from the box 50 as an example of a placement place where a plurality of work W are placed.
  • the robot hand H is an example of a grip portion.
  • the work W will be described as an example of a case where the work W is a relatively small part that can grip a plurality of work W with a robot hand H such as a screw, but the work W is not limited to this. do not have,
  • the robot hand H includes a plurality of fingers, two fingers F1 and F2 as an example in the present embodiment, but the number of fingers is not limited to two. Further, the fingers F1 and F2 are configured by a plate-shaped member as an example in the present embodiment, but the shapes of the fingers F1 and F2 are not limited to this.
  • the drive unit 22-1 is driven so that the position of the finger F1 changes, and the work W is gripped by the fingers F1 and F2.
  • a drive unit 22-2 that drives the finger F2 so that the position of the finger F2 changes.
  • the drive unit is provided on both the fingers F1 and F2 will be described, but the drive unit may be provided on any of the fingers F1 and F2.
  • the gripping surface of the finger F1 is provided with a pressure distribution sensor 24-1 for detecting the pressure distribution of the gripping surface with which the work W contacts.
  • the gripping surface of the finger F2 is provided with a pressure distribution sensor 24-2 for detecting the pressure distribution on the gripping surface with which the work W contacts.
  • the pressure distribution sensors 24-1 and 24-2 are examples of detection units that detect the gripping state of the work W by the fingers F1 and F2.
  • the pressure distribution sensor is provided on each of the gripping surfaces of the fingers F1 and F2
  • the pressure distribution sensor is provided on the gripping surface of any of the fingers F1 and F2. It may be configured as a new type.
  • the robot mechanism 20 for example, a vertical articulated robot having 6 degrees of freedom, a horizontal articulated robot, or the like is used, but the degree of freedom and type of the robot are not limited to these.
  • the control device 30 controls the robot mechanism 20. As shown in FIG. 2, the control device 30 functionally includes a recognition unit 32 and a control unit 34.
  • the recognition unit 32 recognizes the number of works W gripped by the fingers F1 and F2 based on the detection results of the pressure distribution sensors 24-1 and 24-2, that is, the pressure distribution. As an example in this embodiment, the recognition unit 32 receives each of the pressure distributions detected by the pressure distribution sensors 24-1 and 24-2 as an input, and uses the number of work Ws as an output to learn a trained model, for example, a neural network. Using a trained model using a network, the number of work W gripped by the fingers F1 and F2 is recognized.
  • the control unit 34 determines that the number of works recognized by the recognition unit 32 is different from the predetermined number specified in advance.
  • the movement of the robot mechanism 20 is controlled so that the number becomes a designated number. In this embodiment, the case where the designated number is 1 will be described. That is, when the number of works recognized by the recognition unit 32 is plurality, the movement of the robot mechanism 20 is controlled so that the work W falls until the number of works recognized by the recognition unit 32 becomes one. ..
  • control unit 34 changes the gripping state in which the work W is gripped by, for example, the fingers F1 and F2, so that the drive units 22-1 and 22-2 move so that at least one of the fingers F1 and F2 moves. Control at least one of them. That is, at least one of the fingers F1 and F2 is shifted so that the relative positions of the fingers F1 and F2 change. As a result, the gripping state of the work W gripped by the fingers F1 and F2 changes, and the work W can be dropped.
  • the photographing unit 40 is installed at a position where the work W in the box 50 can be photographed from above the box 50, and outputs a photographed image of the work W in the box 50 to the control device 30 according to the instruction of the control device 30.
  • the control device 30 includes a CPU (Central Processing Unit) 30A, a ROM (Read Only Memory) 30B, a RAM (Random Access Memory) 30C, a storage 30D, an input unit 30E, a monitor 30F, and an optical disk drive device 30G. And has a communication interface 30H. Each configuration is communicably connected to each other via bus 30I.
  • CPU Central Processing Unit
  • ROM Read Only Memory
  • RAM Random Access Memory
  • the picking program is stored in the storage 30D.
  • the CPU 30A is a central arithmetic processing unit that executes various programs and controls each configuration. That is, the CPU 30A reads the program from the storage 30D and executes the program using the RAM 30C as a work area. The CPU 30A controls each of the above configurations and performs various arithmetic processes according to the program recorded in the storage 30D.
  • the ROM 30B stores various programs and various data.
  • the RAM 30C temporarily stores a program or data as a work area.
  • the storage 30D is composed of an HDD (Hard Disk Drive) or an SSD (Solid State Drive), and stores various programs including an operating system and various data.
  • the input unit 30E includes a pointing device such as a keyboard 30E1 and a mouse 30E2, and is used for performing various inputs.
  • the monitor 30F is, for example, a liquid crystal display, and displays various information such as a gripping state of the work W.
  • the monitor 30F may adopt a touch panel system and function as an input unit 30E.
  • the optical disc drive device 30G reads data stored in various recording media (CD-ROM, Blu-ray disc, etc.), writes data to the recording medium, and the like.
  • the communication interface 30H is an interface for communicating with other devices, and for example, a standard such as Ethernet (registered trademark), FDDI or Wi-Fi (registered trademark) is used.
  • Each functional configuration of the control device 30 shown in FIG. 2 is realized by the CPU 30A reading the picking program stored in the storage 30D, expanding the picking program in the RAM 30C, and executing the program.
  • FIG. 4 is a flowchart showing the flow of picking processing by the robot system 10.
  • the CPU 30A reads the picking program from the storage 30D, expands the picking program into the RAM 30C, and executes the picking process.
  • step S100 the CPU 30A controls the robot mechanism 20 as the control unit 34 so as to grip the work W in the box 50 by the robot hand H.
  • the photographing unit 40 is instructed to take a picture, a photographed image of the work W in the box 50 is acquired, and the acquired photographed image is image-analyzed to specify the location of the work W.
  • the robot arm AR is controlled so that the robot hand H moves to the place where the work W exists, and then the drive units 22-1 and 22-2 are controlled so that the work W is gripped by the fingers F1 and F2. .
  • the work W may be gripped with a certain probability as a result of performing an operation of closing the fingers F1 and F2 at any position in the box 50 without taking a picture by the photographing unit 40.
  • the work W can be gripped with high probability without even specifying the place where the work W exists in advance.
  • step S102 the CPU 30A acquires the pressure distribution of the gripping surface of the fingers F1 and F2 from the pressure distribution sensors 24-1 and 24-2 as the recognition unit 32, respectively. Then, the number of works W gripped by the fingers F1 and F2 is recognized from the acquired pressure distribution on the gripping surface of the fingers F1 and F2.
  • step S104 the CPU 30A determines whether or not the number of work W recognized in step S102 is 0 as the control unit 34. Then, when the number of recognized work W is not 0, that is, when at least one or more work W is gripped, the process proceeds to step S106. On the other hand, when the number of recognized works is 0, the process returns to step S100 and the work W is re-grasped.
  • step S106 the CPU 30A, as the control unit 34, determines whether or not the number of work W recognized in step S102 is the specified number, that is, whether or not the number of recognized work W is one. Then, when the number of recognized work W is 1, the process proceeds to step S108. On the other hand, if the number of recognized works W is not 1, that is, if there are a plurality of recognized works W, the process proceeds to step S110.
  • step S108 the CPU 30A, as the control unit 34, controls the robot mechanism 20 so that the work W gripped by the robot hand H is moved to a predetermined place and placed.
  • step S110 the CPU 30A controls at least one of the drive units 22-1 and 22-2 as the control unit 34 so as to shift at least one of the fingers F1 and F2.
  • the finger to be shifted, the direction, and the amount of movement may be predetermined, or the finger to be shifted, the direction, and the amount of movement are determined based on the pressure distribution on the gripping surface of the fingers F1 and F2 acquired in step S102. You may. As a result, the gripping state of the work W gripped by the fingers F1 and F2 changes, and the work W is likely to fall.
  • step S112 the CPU 30A determines whether or not all the work W in the box 50 has been picked by the control unit 34. That is, it is determined whether or not the inside of the box 50 is empty. Specifically, for example, the captured image captured by the photographing unit 40 is image-analyzed to determine whether or not the work W remains in the box 50. Then, if there is no work W remaining in the box 50, this routine is terminated. On the other hand, if the work W remains in the box 50, the process returns to step S100, and the same process as above is repeated until all the work W is picked.
  • the work W is first gripped and then the number of gripped works W is determined. Exercise to shift at least one of the fingers F1 and F2 until the specified number is reached. As a result, the work W can be picked with high accuracy without detecting the position and posture of the work W in advance each time.
  • the number of gripped workpieces W may be recognized based on the contact area of the workpieces on the gripping surfaces of the fingers F1 and F2. For example, the contact area of the work W on each gripping surface of the fingers F1 and F2 is calculated based on each of the pressure distributions detected by the pressure distribution sensors 24-1 and 24-2. Then, for example, the number of gripped works W may be recognized by using table data or a mathematical formula showing the correspondence between each contact area and the number of gripped works. For example, when the work W is a sphere, the contact area formed by pressing the elastic gripping surface with one work W is relatively stable, so that the number can be recognized in this way. It is possible.
  • the control unit 34 shoots the work W held by the fingers F1 and F2 at a position where the photographing unit 40 can photograph the work W, that is, at a position where the work W is not hidden by the fingers F1 and F2. H may be moved.
  • the imaging unit 40 may be further provided with a moving mechanism, and the photographing unit 40 may be moved to the position of the robot hand H. Further, both the robot hand H and the photographing unit 40 may be moved.
  • a 6-axis force sensor is provided as an example of a detection unit that detects a force applied to fingers F1 and F2 in a state where the workpieces W are gripped by fingers F1 and F2.
  • the recognition unit 32 recognizes the number of works W based on the amount of the vertical component of the force detected by the force sensor increased after gripping, that is, the total weight of the work W. You may do it.
  • the number of works W may be recognized based on the total weight of the works W and the weight of each work W. That is, the number of works W may be calculated by dividing the total weight of the works W calculated from the force detected by the force sensor by the weight of each work W.
  • the control unit 34 controls the movement of the robot mechanism 20 so as to re-grasp the work W from the box 50 when the number of work W recognized by the recognition unit 32 is different from the specified number, for example, less than the specified number. You may do it. That is, by opening the fingers F1 and F2 on the box 50, the robot mechanism 20 is controlled so as to return the gripped work W to the box 50 and then grip the work W in the box 50 again. You may.
  • the control unit 34 sets the robot mechanism 20 so as to apply an external force to at least a part of the work held by the fingers F1 and F2 to drop the work W. It may be controlled.
  • the robot mechanism 20 may be controlled so that the work W collides with a rod-shaped fixing jig so that the work W is dropped.
  • an external force mechanism for applying an external force to the work W by a rod-shaped member may be further provided, and the external force mechanism may be controlled to cause the rod-shaped member to collide with the work W to cause the work W to drop.
  • the case where at least one of the fingers F1 and F2 has flexibility will be described.
  • the case where both the fingers F1 and F2 have flexibility will be described, but one of the fingers F1 and F2 may have a flexibility.
  • the finger F1 according to the second embodiment includes a bellows F1A having flexibility in the X-axis direction when the longitudinal direction of the finger F1 is along the Z-axis direction, that is, the gravity direction. ing. Therefore, the finger F1 has flexibility in the X-axis direction in FIG.
  • the finger F2 has a bellows F2A that is flexible in the X-axis direction. Therefore, the finger F1 has flexibility in the X-axis direction in FIG. Further, the finger F2 includes a bellows F2B that is flexible in the Y-axis direction. Therefore, the finger F2 also has flexibility in the Y-axis direction in FIG.
  • the drive unit 22-1 includes a rotation motor that drives the finger F1 to rotate in the direction of arrow A with the Z-axis direction as the rotation axis in FIG.
  • a rotation motor that drives the finger F1 to rotate in the direction of arrow A with the Z-axis direction as the rotation axis in FIG.
  • the work W is gripped when the fingers F1 and F2 are viewed from below as shown in FIG. 6 (A), and the Z axis is as shown in FIG. 6 (B).
  • the finger F1 can be moved in the direction of arrow A with the direction as the rotation axis.
  • the fingertip of the finger F2 and the driving unit 22-2 are connected by, for example, a string-shaped first tendon (not shown).
  • the drive unit 22-2 includes a first pulling motor that drives the first tendon so as to pull it. By driving this first pulling motor, the finger F2 can be moved in the X-axis direction as shown in FIG. 7 (B) from the state shown in FIG. 7 (A). Since the finger F1 includes a bellows F1A having flexibility in the X-axis direction, the finger F1 moves in the X-axis direction following the movement of the finger F2.
  • the fingertip of the finger F2 and the driving unit 22-2 are connected by, for example, a string-shaped second tendon (not shown).
  • the drive unit 22-2 includes a second pulling motor that drives the second tendon so as to pull it. By driving this second pulling motor, the finger F2 can be moved in the Y-axis direction as shown in FIG. 8 (B) from the state shown in FIG. 8 (A). Since the finger F1 does not have flexibility in the Y-axis direction, it does not move in the Y-axis direction following the movement of the finger F2.
  • a pressure distribution sensor 24-1 is attached to the gripping surface of the work W of the fingertip of the finger F1 as shown in FIG. 9, and an elastic member is further attached from above. 26-1 is pasted.
  • the pressure distribution sensor 24-2 is attached to the gripping surface of the work W of the fingertip, and an elastic member similar to the elastic member 26-1 is further attached from above.
  • FIG. 10A when the elastic member 26-1 is not provided on the pressure distribution sensor 24-1, when the work W is gripped, the work W is brought into contact points S1 and S2 at two points. Since it can be detected only by itself, there is a possibility that the work W cannot be recognized accurately.
  • FIG. 10B in the case of the configuration in which the elastic member 26-1 is provided on the pressure distribution sensor 24-1, the gripped work is as shown by the arrow in FIG. 10B. The pressure of W is transmitted on the surface to the pressure distribution sensor 24-1, and the work W can be recognized with high accuracy.
  • the fingers F1 and F2 may be made of an elastic member. That is, instead of providing the elastic members separately, the fingertips of the fingers F1 and F2 themselves may be composed of the elastic members.
  • the recognition unit 32 has learned the pressure distribution detected by the pressure distribution sensors 24-1 and 24-2 as an input and the number of workpieces W gripped by the fingers F1 and F2 as an output.
  • the number of workpieces W is recognized by the gripping number recognition model.
  • the gripping number recognition model for example, a trained model learned from a learning model using a convolutional neural network (CNN) can be used, but the model is not limited to this.
  • CNN convolutional neural network
  • the pressure distribution detection for recognizing the number of works W may be performed a plurality of times by changing the relative positional relationship between the fingers F1 and F2.
  • the control unit 34 controls to move at least one of the fingers F1 and F2 in a predetermined direction, so that the pressure distribution sensors 24-1 and 24-2 hold the work W a plurality of times. Let it be detected.
  • the pressure distribution sensors 24-1 and 24-2 detect the pressure distribution multiple times while moving the finger F2 in the X-axis direction as if the finger F1 is pressed. That is, the pressure distribution on the gripping surface of the fingers F1 and F2 is detected in chronological order.
  • the recognition unit 32 inputs the result of detection by each of the pressure distribution sensors 24-1 and 24-2 multiple times, that is, each of the pressure distributions of the fingers F1 and F2 detected multiple times into the grip number recognition model. In this way, by inputting a plurality of pressure distributions into the gripping number recognition model, the number of works W can be recognized with high accuracy.
  • a stretch sensor for detecting the degree of warpage of the finger F1 in the X-axis direction may be provided on the finger F1 and the output value of this stretch sensor may be further input to the gripping number recognition model.
  • the control unit 34 controls the movement of the robot mechanism 20 so that the position of at least one of the fingers F1 and F2 changes while the work W is gripped by the fingers F1 and F2.
  • the movement of the robot mechanism 20 is controlled so as to move in at least one of a third direction intersecting the two directions and a rotation direction rotating with the third direction as the rotation axis.
  • a third direction intersecting the two directions and a rotation direction rotating with the third direction as the rotation axis.
  • the X-axis direction is the first direction in FIG. 5
  • the Y-axis direction is the second direction
  • the Z-axis direction is the third direction
  • the arrow A direction is the rotation direction.
  • the finger to be shifted, the direction, and the amount of movement may be determined based on, for example, the pressure distribution on the gripping surface of the fingers F1 and F2 acquired in step S102, as described in the first embodiment.
  • control unit 34 inputs the pressure distribution detected by the pressure distribution sensors 24-1 and 24-2 and the drive state of the drive units 22-1 and 22-2, and the work W gripped by the fingers F and F2.
  • the robot mechanism 20 is based on the drive method output from the drive method model learned from the number and the drive methods of the drive units 22-1 and 22-2 for making the number of works W a specified number. You may control the movement.
  • the "driving method” here is information related to driving such as a driving command or information that is a source of driving command generation, and corresponds to "behavior" in machine learning and "control input” in control theory. Means things.
  • the motion of the robot mechanism 20 is controlled based on the drive method output from the drive method model will be described.
  • the drive state of the drive unit 22-1 is the rotation angle of the rotation motor of the drive unit 22-1, and corresponds to the amount of movement of the finger F1 in the arrow A direction from the initial state.
  • the drive state of the drive unit 22-2 is the rotation angle of the first pulling motor and the rotation angle of the second pulling motor of the drive unit 22-2, which are the initial angles of the finger F2 in the X-axis direction. It corresponds to the amount of movement from the state and the amount of movement from the initial state in the Y-axis direction.
  • the driving method model is a trained model including an LSTM (Long Short-Term Memory) -based learning model and / or a reinforcement learning model, which is a kind of recurrent neural network (RNN) as an example in the second embodiment. It is configured using.
  • LSTM Long Short-Term Memory
  • RNN recurrent neural network
  • the pressure distribution detected by the pressure distribution sensors 24-1 and 24-2 and the drive state of the drive units 22-1 and 22-2 are input to the LSTM-based learning model and gripped. Find the number of works W. Then, the obtained number of workpieces W, the pressure distribution detected by the pressure distribution sensors 24-1 and 24-2, and the driving state of the driving units 22-1 and 22-2 are input to the reinforcement learning model as state information.
  • the reinforcement learning model outputs the driving methods of the driving units 22-1 and 22-2 as actions corresponding to the input state information. That is, the rotation angle of the rotation motor of the drive unit 22-1, the rotation angle of the first pulling motor of the drive unit 22-2, and the rotation angle of the second pulling motor are output.
  • the control unit 34 drives the drive units 22-1 and 22-2 according to the drive method output from the drive method model, and moves at least one of the fingers F1 and F2.
  • the output value of the stretch sensor may be included in the state information and further input to the drive method model.
  • the basic flow of the picking process by the robot system 10 according to the second embodiment is the same as the process shown in the flowchart shown in FIG. 4 described in the first embodiment.
  • the characteristic processing in the second embodiment will be described.
  • step S102 of FIG. 4 in a state where the CPU 30A holds the work W with the fingers F1 and F2 as the control unit 34, the pressure distribution sensor 24-1 is used as the recognition unit 32 while moving the finger F2 in the X-axis direction. , 24-2, the pressure distributions of the gripping surfaces of the fingers F1 and F2 are acquired in chronological order. Then, by inputting the pressure distribution of the gripping surface of the fingers F1 and F2 acquired in time series into the gripping number recognition model, the number of works W gripped by the fingers F1 and F2 is recognized.
  • step S110 the CPU 30A inputs the pressure distribution detected by the pressure distribution sensors 24-1 and 24-2 and the drive states of the drive units 22-1 and 22-2 into the drive method model as the control unit 34, and drives the model.
  • Method By driving the drive units 22-1 and 22-2 according to the drive method output from the model, at least one of the fingers F1 and F2 is moved so as to be displaced, and the gripping state of the work W is changed. This makes it easier for the work W to fall.
  • the gripping number recognition model is used to recognize the gripping number of the work W
  • the driving method model is used to control the movements of the fingers F1 and F2.
  • various processors other than the CPU may execute the picking process executed by the CPU reading the software (program) in each of the above embodiments.
  • the processor includes a PLD (Programmable Logic Device) whose circuit configuration can be changed after manufacturing an FPGA (Field-Programmable Gate Array), and an ASIC (Application Specific Integrated Circuit) for specifying an ASIC.
  • An example is a dedicated electric circuit or the like, which is a processor having a circuit configuration designed exclusively for the purpose.
  • the picking process may be executed by one of these various processors, or a combination of two or more processors of the same type or different types (for example, a plurality of FPGAs, and a combination of a CPU and an FPGA, etc.). ) May be executed.
  • the hardware-like structure of these various processors is, more specifically, an electric circuit in which circuit elements such as semiconductor elements are combined.
  • the mode in which the picking program is stored (installed) in the storage 30D or ROM 30B in advance has been described, but the present invention is not limited to this.
  • the program is provided in a form recorded on a recording medium such as a CD-ROM (Compact Disk Read Only Memory), a DVD-ROM (Digital Versaille Disc Read Only Memory), and a USB (Universal Serial Bus) memory. Further, the program may be downloaded from an external device via a network.
  • Robot system 20 Robot mechanism 22-1, 22-2 Drive unit 24-1, 24-2 Pressure distribution sensor 26-1 Elastic member 30 Control device 32 Recognition unit 34 Control unit 40 Imaging unit 50 Box F1, F2 Finger F1A, F2A, F2B Bellows AR Robot Arm H Robot Hand W Work

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Orthopedic Medicine & Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Manipulator (AREA)

Abstract

ロボットシステムは、ワークを把持する指を備えたロボット機構と、指によるワークの把持状態を検出する検出部と、検出部の検出結果に基づいて指に把持されたワークの数を認識する認識部と、ロボット機構にワークが複数載置されている載置場所からワークを把持する動作をさせた後に、認識部により認識されたワークの数が予め指定された指定数と異なる場合、把持されたワークの数が指定数となるようにロボット機構の運動を制御する制御部と、を備え、指の少なくとも1つは、可撓性を有し、制御部は、指でワークを把持した状態において、少なくとも１つの指の位置が変化するようにロボット機構の運動を制御する。

Description

ロボットシステム及びピッキング方法
　本開示は、ロボットシステム及びピッキング方法に関する。
　特許文献１～３には、ばら積みされたワークの撮影画像に基づいてピッキング可能なワークを認識してワークをピッキングする技術が開示されている。
　　　特許文献１：　特許第５７６７４６４号公報
　　　特許文献２：　特開２０１７－４２８５９号公報
　　　特許文献３：　特許第５１９６１５６号公報
　しかしながら、上記従来技術では、特にねじ等のような小さいワーク、金属のワーク、光沢があるワークの場合、画像センサや深度センサによるワークの位置や姿勢を確実に検出するのが困難である結果、１つのワークのピッキングを確実に行うのが困難である。また、周辺の干渉物とのクリアランスの推定や、把持可能性の計算を失敗することによってもピッキングの失敗を招く。さらに、１つのワークをピッキングすることによりその周囲のワークの配置が変わってしまうことが多いので、毎回のピッキング動作の前にワークの位置や姿勢を検出するための時間も要する。
　本開示は、上記の点に鑑みてなされたものであり、ワークの位置や姿勢を毎回事前に検出しなくても、高い確度で、ワークをピッキングすることができるロボットシステム及びピッキング方法を提供することを目的とする。
　開示の第１態様は、ロボットシステムであって、ワークを把持する複数の指を備えたロボット機構と、前記複数の指による前記ワークの把持状態を検出する検出部と、前記検出部の検出結果に基づいて前記複数の指に把持されたワークの数を認識する認識部と、前記ロボット機構に前記ワークが複数載置されている載置場所から前記ワークを把持する動作をさせた後に、前記認識部により認識された前記ワークの数が予め指定された指定数と異なる場合、把持された前記ワークの数が前記指定数となるように前記ロボット機構の運動を制御する制御部と、を備え、前記複数の指の少なくとも1つは、可撓性を有し、前記制御部は、前記複数の指で前記ワークを把持した状態において、少なくとも１つの指の位置が変化するように前記ロボット機構の運動を制御する。
　上記第１態様において、前記複数の指の少なくとも１つが弾性部材で構成されていてもよい。
　開示の第２態様は、ワークを把持する複数の指を備えたロボット機構と、前記複数の指による前記ワークの把持状態を検出する検出部と、前記検出部の検出結果に基づいて前記複数の指に把持されたワークの数を認識する認識部と、前記ロボット機構に前記ワークが複数載置されている載置場所から前記ワークを把持する動作をさせた後に、前記認識部により認識された前記ワークの数が予め指定された指定数と異なる場合、把持された前記ワークの数が前記指定数となるように前記ロボット機構の運動を制御する制御部と、を備え、前記検出部は、少なくとも１つの指の把持面に設けられ、前記ワークが接触する前記把持面の圧力分布を検出する圧力分布センサを含み、前記認識部は、前記検出部により検出された圧力分布を入力とし、前記複数の指で把持した前記ワークの個数を出力として学習された把持数認識モデルにより前記ワークの個数を認識し、前記制御部は、前記圧力分布及び前記複数の指を駆動する駆動部の駆動状態を入力とし、前記複数の指で把持した前記ワークの個数と、前記ワークの数を前記指定数とするための前記駆動部の駆動方法と、を出力として学習された駆動方法モデルから出力された前記駆動方法に基づいて前記ロボット機構の運動を制御する。
　上記第２態様において、前記圧力分布センサ上に弾性部材が設けられている構成としてもよい。
　上記第１態様において、前記制御部は、前記認識部により認識された前記ワークの数が前記指定数となるまで、前記複数の指により前記ワークを把持した状態で、前記複数の指の少なくとも１つを、把持のための運動方向である第１方向、前記第１方向及び前記指の長手方向と交差する第２方向、前記指の長手方向である第３方向、及び前記第３方向を回転軸として回転する回転方向の少なくとも１つの方向に移動させることが繰り返されるように、前記ロボット機構の運動を制御するようにしてもよい。
　上記第１態様において、前記検出部は、前記複数の指の相対的な位置関係が互いに異なる状態で前記把持状態を複数回検出し、前記認識部は、前記把持状態を複数回検出した結果に基づいて前記ワークの個数を認識するようにしてもよい。
　開示の第３態様は、ピッキング方法であって、ワークを把持する複数の指を備えたロボット機構の前記複数の指による前記ワークの把持状態を検出し、前記ワークの把持状態の検出結果に基づいて前記複数の指に把持されたワークの数を認識し、前記ロボット機構に前記ワークが複数載置されている載置場所から前記ワークを把持する動作をさせた後に、認識された前記ワークの数が予め指定された指定数と異なる場合、把持された前記ワークの数が前記指定数となるように前記ロボット機構の運動を制御し、前記複数の指の少なくとも1つは、可撓性を有し、前記複数の指で前記ワークを把持した状態において、少なくとも１つの指の位置が変化するように前記ロボット機構の運動を制御する。
　開示の第４態様は、ピッキング方法であって、ワークを把持する複数の指を備えたロボット機構の前記複数の指による前記ワークの把持状態を検出し、前記ワークの把持状態の検出結果に基づいて前記複数の指に把持されたワークの数を認識し、前記ロボット機構に前記ワークが複数載置されている載置場所から前記ワークを把持する動作をさせた後に、認識された前記ワークの数が予め指定された指定数と異なる場合、把持された前記ワークの数が前記指定数となるように前記ロボット機構の運動を制御し、少なくとも１つの指の把持面に設けられ、前記ワークが接触する前記把持面の圧力分布を検出する圧力分布センサを含み、検出された圧力分布を入力とし、前記複数の指で把持した前記ワークの個数を出力として学習された把持数認識モデルにより前記ワークの個数を認識し、前記圧力分布を入力とし、前記複数の指で把持した前記ワークの個数と、前記複数の指の少なくとも１つの指の駆動方法であって前記ワークの数を前記指定数とするための駆動方法と、を出力として学習された駆動方法モデルから出力された前記駆動方法に基づいて前記ロボット機構の運動を制御する。
　本開示によれば、ワークの位置や姿勢を毎回事前に検出しなくても、高い確度で、ワークをピッキングすることができる。
ロボットシステムの構成図である。 制御装置の機能ブロック図である。 制御装置のハードウェア構成を示すブロック図である。 ピッキング処理の流れを示すフローチャートである。 指の斜視図である。 ワークを把持した指をＺ軸方向に沿って下方から見た図である。 ワークを把持した指をＹ軸方向に沿って見た図である。 ワークを把持した指をＸ軸方向に沿って見た図である。 圧力分布センサ及び弾性部材を示す図である。 弾性部材について説明するための図である。
　以下、本開示の実施形態の一例を、図面を参照しつつ説明する。なお、各図面において同一又は等価な構成要素及び部分には同一の参照符号を付与している。また、図面の寸法比率は、説明の都合上誇張されている場合があり、実際の比率とは異なる場合がある。
＜第１実施形態＞
　図１は、第１実施形態に係るロボットシステム１０の構成図である。図１に示すように、ロボットシステム１０は、ロボット機構２０、制御装置３０、及び撮影部４０を備える。ロボットシステム１０は、本実施形態では、ワークＷをピッキングするピッキング装置として機能する。
　ロボット機構２０は、ピッキング動作を行う際の運動制御の対象である機構部分としてのロボットアームＡＲと、ロボットアームＡＲの先端に取り付けられたロボットハンドＨと、を含む。ロボットハンドＨは、ワークＷが複数載置されている載置場所の一例としての箱５０からワークＷを把持する。ロボットハンドＨは、把持部の一例である。なお、本実施形態では、ワークＷは、一例としてネジ等のロボットハンドＨで複数のワークＷを把持できる程度の比較的小さい部品である場合について説明するが、ワークＷはこれに限られるものではない、
　ロボットハンドＨは、複数の指、本実施形態では一例として２つの指Ｆ１、Ｆ２を備えるが、指の数は２つに限られるものではない。また、指Ｆ１、Ｆ２は、本実施形態では一例として板状の部材で構成されるが、指Ｆ１、Ｆ２の形状はこれに限られるものではない。
　また、ロボットハンドＨは、指Ｆ１、Ｆ２でワークＷを把持した状態において、指Ｆ１の位置が変化するように駆動する駆動部２２－１と、指Ｆ１、Ｆ２でワークＷを把持した状態において、指Ｆ２の位置が変化するように駆動する駆動部２２－２と、を備える。なお、本実施形態では、指Ｆ１、Ｆ２の両方に駆動部が設けられた場合について説明するが、指Ｆ１、Ｆ２の何れかに駆動部を設けた構成としてもよい。
　また、指Ｆ１の把持面には、ワークＷが接触する把持面の圧力分布を検出する圧力分布センサ２４－１が設けられている。同様に、指Ｆ２の把持面には、ワークＷが接触する把持面の圧力分布を検出する圧力分布センサ２４－２が設けられている。ここで、圧力分布センサ２４－１、２４－２は、指Ｆ１、Ｆ２によるワークＷの把持状態を検出する検出部の一例である。
　なお、本実施形態では、指Ｆ１、Ｆ２の両方の把持面の各々に圧力分布センサが設けられた場合について説明するが、指Ｆ１、Ｆ２の何れかの指の把持面に圧力分布センサを設けた構成としてもよい。
　ロボット機構２０は、一例として自由度が６の垂直多関節ロボット、水平多関節ロボット等が用いられるが、ロボットの自由度及び種類はこれらに限られるものではない。
　制御装置３０は、ロボット機構２０を制御する。図２に示すように、制御装置３０は、機能的には、認識部３２及び制御部３４を含む。
　認識部３２は、圧力分布センサ２４－１、２４－２の検出結果、すなわち圧力分布に基づいて、指Ｆ１、Ｆ２に把持されたワークＷの個数を認識する。認識部３２は、本実施形態では一例として、圧力分布センサ２４－１、２４－２で検出された圧力分布の各々を入力とし、ワークＷの数を出力として学習された学習済みモデル、例えばニューラルネットワークを用いた学習済みモデルを用いて、指Ｆ１、Ｆ２で把持されたワークＷの個数を認識する。
　制御部３４は、ロボット機構２０に箱５０からワークＷを把持する動作をさせた後に、認識部３２により認識されたワークの個数が予め指定された指定数と異なる場合、把持されたワークＷの数が指定数となるようにロボット機構２０の運動を制御する。なお、本実施形態では、指定数が１の場合について説明する。すなわち、認識部３２により認識されたワークの個数が複数の場合は、認識部３２により認識されたワークの個数が１つになるまで、ワークＷが落下するようにロボット機構２０の運動を制御する。
　具体的には、制御部３４は、例えば指Ｆ１、Ｆ２でワークＷを把持した把持状態を変化させるため、指Ｆ１、Ｆ２の少なくとも一方が移動するように、駆動部２２－１、２２－２の少なくとも一方を制御する。すなわち、指Ｆ１、Ｆ２の相対位置が変化するように、指Ｆ１、Ｆ２の少なくとも一方をずらす。これにより、指Ｆ１、Ｆ２で把持しているワークＷの把持状態が変化し、ワークＷを落下させることができる。
　撮影部４０は、箱５０の上方から箱５０内のワークＷを撮影可能な位置に設置され、制御装置３０の指示によって箱５０内のワークＷを撮影した撮影画像を制御装置３０に出力する。
　次に、制御装置３０のハードウェア構成を示すブロック図である。
　図３に示すように、制御装置３０は、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）３０Ａ、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）３０Ｂ、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）３０Ｃ、ストレージ３０Ｄ、入力部３０Ｅ、モニタ３０Ｆ、光ディスク駆動装置３０Ｇ及び通信インタフェース３０Ｈを有する。各構成は、バス３０Ｉを介して相互に通信可能に接続されている。
　本実施形態では、ストレージ３０Ｄには、ピッキングプログラムが格納されている。ＣＰＵ３０Ａは、中央演算処理ユニットであり、各種プログラムを実行したり、各構成を制御したりする。すなわち、ＣＰＵ３０Ａは、ストレージ３０Ｄからプログラムを読み出し、ＲＡＭ３０Ｃを作業領域としてプログラムを実行する。ＣＰＵ３０Ａは、ストレージ３０Ｄに記録されているプログラムに従って、上記各構成の制御及び各種の演算処理を行う。
　ＲＯＭ３０Ｂは、各種プログラム及び各種データを格納する。ＲＡＭ３０Ｃは、作業領域として一時的にプログラム又はデータを記憶する。ストレージ３０Ｄは、ＨＤＤ（Ｈａｒｄ　Ｄｉｓｋ　Ｄｒｉｖｅ）又はＳＳＤ（Ｓｏｌｉｄ　Ｓｔａｔｅ　Ｄｒｉｖｅ）により構成され、オペレーティングシステムを含む各種プログラム、及び各種データを格納する。
　入力部３０Ｅは、キーボード３０Ｅ１、及びマウス３０Ｅ２等のポインティングデバイスを含み、各種の入力を行うために使用される。モニタ３０Ｆは、例えば、液晶ディスプレイであり、ワークＷの把持状態等の各種の情報を表示する。モニタ３０Ｆは、タッチパネル方式を採用して、入力部３０Ｅとして機能してもよい。光ディスク駆動装置３０Ｇは、各種の記録媒体(ＣＤ－ＲＯＭ又はブルーレイディスクなど)に記憶されたデータの読み込みや、記録媒体に対するデータの書き込み等を行う。
　通信インタフェース３０Ｈは、他の機器と通信するためのインタフェースであり、例えば、イーサネット（登録商標）、ＦＤＤＩ又はＷｉ－Ｆｉ（登録商標）等の規格が用いられる。
　図２に示した制御装置３０の各機能構成は、ＣＰＵ３０Ａがストレージ３０Ｄに記憶されたピッキングプログラムを読み出し、ＲＡＭ３０Ｃに展開して実行することにより実現される。
　次に、ロボットシステム１０の作用について説明する。
　図４は、ロボットシステム１０によるピッキング処理の流れを示すフローチャートである。ユーザーが入力部３０Ｅを操作してピッキング処理の実行を指示すると、ＣＰＵ３０Ａがストレージ３０Ｄからピッキングプログラムを読み出して、ＲＡＭ３０Ｃに展開し実行することにより、ピッキング処理が実行される。
　ステップＳ１００では、ＣＰＵ３０Ａが、制御部３４として、ロボットハンドＨにより箱５０内のワークＷを把持するようロボット機構２０を制御する。具体的には、例えば撮影部４０に撮影を指示して箱５０内のワークＷを撮影した撮影画像を取得し、取得した撮影画像を画像解析することによりワークＷの存在する場所を特定する。このとき、把持すべきワークＷの位置や姿勢を特定する必要はなく、ワークＷが存在する場所を特定するだけでよい。そして、ワークＷが存在する場所にロボットハンドＨが移動するようにロボットアームＡＲを制御し、その後、指Ｆ１、Ｆ２でワークＷを把持するように駆動部２２－１、２２－２を制御する。あるいは、撮影部４０による撮影を行うことなく、箱５０内の何れかの位置で指Ｆ１、Ｆ２を閉じる動作を行い、その結果として、ある確率でワークＷが把持されるようにしてもよい。特に、箱５０内に多数のワークＷが残存している場合には、事前にワークＷが存在する場所の特定すらしなくても、高い確率でワークＷを把持することができる。
　ステップＳ１０２では、ＣＰＵ３０Ａが、認識部３２として、圧力分布センサ２４－１、２４－２から指Ｆ１、Ｆ２の把持面の圧力分布を各々取得する。そして、取得した指Ｆ１、Ｆ２の把持面の圧力分布から指Ｆ１、Ｆ２によって把持されたワークＷの個数を認識する。
　ステップＳ１０４では、ＣＰＵ３０Ａが、制御部３４として、ステップＳ１０２で認識したワークＷの個数が０であるか否かを判定する。そして、認識したワークＷの個数が０ではない場合、すなわち、少なくとも１つ以上のワークＷを把持している場合はステップＳ１０６へ移行する。一方、認識したワークの個数が０の場合はステップＳ１００へ戻ってワークＷを把持し直す。
　ステップＳ１０６では、ＣＰＵ３０Ａが、制御部３４として、ステップＳ１０２で認識したワークＷの個数が指定数であるか否か、すなわち認識したワークＷの個数が１つであるか否かを判定する。そして、認識したワークＷの個数が１の場合はステップＳ１０８へ移行する。一方、認識したワークＷの個数が１ではない場合、すなわち複数の場合は、ステップＳ１１０へ移行する。
　ステップＳ１０８では、ＣＰＵ３０Ａが、制御部３４として、ロボットハンドＨで把持したワークＷを所定の場所に移動して載置するようにロボット機構２０を制御する。
　ステップＳ１１０では、ＣＰＵ３０Ａが、制御部３４として、指Ｆ１、Ｆ２の少なくとも一方をずらすように、駆動部２２－１、２２－２の少なくとも一方を制御する。例えば、ずらす指、方向、及び移動量を予め定めておいてもよいし、ステップＳ１０２で取得した指Ｆ１、Ｆ２の把持面の圧力分布に基づいて、ずらす指、方向、及び移動量を決定してもよい。これにより、指Ｆ１、Ｆ２で把持しているワークＷの把持状態が変化し、ワークＷが落下しやすくなる。
　ステップＳ１１２では、ＣＰＵ３０Ａが、制御部３４として、箱５０内のワークＷを全てピッキングしたか否かを判定する。すなわち、箱５０内が空になっているか否かを判定する。具体的には、例えば撮影部４０で撮影された撮影画像を画像解析して、箱５０内にワークＷが残っているか否かを判定する。そして、箱５０内にワークＷが残っていない場合は、本ルーチンを終了する。一方、箱５０内にワークＷが残っている場合はステップＳ１００へ戻り、ワークＷを全てピッキングするまで上記と同様の処理を繰り返す。
　このように、本実施形態では、把持すべきワークＷの位置や姿勢を事前に検出してからワークＷを把持するのではなく、まずはワークＷを把持してから、把持したワークＷの個数が指定数になるまで指Ｆ１、Ｆ２の少なくとも一方をずらす運動を行う。これにより、ワークＷの位置や姿勢を毎回事前に検出しなくても、高い確度で、ワークＷをピッキングすることができる。
（変形例１）
　次に、第１実施形態の変形例１について説明する。
　把持したワークＷの数を認識する場合に、例えば、指Ｆ１、Ｆ２の各々の把持面におけるワークＷの接触面積に基づいて、把持したワークＷの個数を認識してもよい。例えば、圧力分布センサ２４－１、２４－２で検出された圧力分布の各々に基づいて、指Ｆ１、Ｆ２の各々の把持面におけるワークＷの接触面積を各々算出する。そして、例えば各接触面積と把持したワークの個数との対応関係を表すテーブルデータ又は数式等を用いて、把持したワークＷの個数を認識してもよい。例えばワークＷが球体の場合には、弾性を有する把持面が１個のワークＷで押されることにより形成される接触面積は比較的安定しているので、このようにして個数を認識することが可能である。
（変形例２）
　次に、第１実施形態の変形例２について説明する。
　把持したワークＷの数を認識する場合に、例えば、検出部の一例としての撮影部４０で指Ｆ１、Ｆ２でワークＷを把持した状態を撮影し、撮影部４０で撮影された撮影画像に基づいて、把持したワークＷの個数を認識するようにしてもよい。この場合、制御部３４は、指Ｆ１、Ｆ２で把持されたワークＷを撮影部４０で撮影可能な位置、すなわち、指Ｆ１、Ｆ２によってワークＷが隠れない位置で撮影されるように、ロボットハンドＨを移動させてもよい。また、撮影部４０の移動機構を更に備えた構成とし、撮影部４０をロボットハンドＨの位置に移動させるようにしてもよい。また、ロボットハンドＨ及び撮影部４０の両方を移動させてもよい。
（変形例３）
　次に、第１実施形態の変形例３について説明する。
　把持したワークＷの数を認識する場合に、例えば、指Ｆ１、Ｆ２でワークＷを把持した状態の指Ｆ１、Ｆ２にかかる力を検出する検出部の一例としての６軸力覚センサを備えた構成とし、認識部３２は、力覚センサにより検出された力の鉛直方向成分が把持前に対して把持後に増加した量、すなわちワークＷの総重量に基づいて、ワークＷの個数を認識するようにしてもよい。この場合、例えばワークＷの総重量と、ワークＷの１個当たりの重量と、に基づいて、ワークＷの個数を認識するようにしてもよい。すなわち、力覚センサにより検出された力から算出したワークＷの総重量をワークＷの１個当たりの重量で除算することによりワークＷの個数を算出してもよい。
（変形例４）
　次に、第１実施形態の変形例４について説明する。
　制御部３４は、認識部３２により認識されたワークＷの数が指定数と異なる場合、例えば指定数より少ない場合、箱５０からワークＷを把持し直すようにロボット機構２０の運動を制御するようにしてもよい。すなわち、箱５０上で指Ｆ１、Ｆ２を開く動作をさせることにより、一旦把持したワークＷを箱５０上に戻してから、再度箱５０内のワークＷを把持するようにロボット機構２０を制御してもよい。
（変形例５）
　次に、第１実施形態の変形例５について説明する。
　制御部３４は、認識部３２により認識されたワークＷの数が指定数より多い場合、指Ｆ１、Ｆ２で把持しているワークの少なくとも一部に外力を加えて落下させるようにロボット機構２０を制御するようにしてもよい。例えば、棒状の固定の治具にワークＷを衝突させるようにロボット機構２０を制御して、ワークＷを落下させるようにしてもよい。また、例えば棒状部材によってワークＷに外力を加える外力機構を更に設けた構成とし、当該外力機構を制御して棒状部材をワークＷに衝突させることでワークＷを落下させるようにしてもよい。
＜第２実施形態＞
　次に、第２実施形態について説明する。なお、第１実施形態と同一部分については同一符号を付し、詳細な説明は省略する。
　第２実施形態では、指Ｆ１、Ｆ２の少なくとも１つが可撓性を有する構成の場合について説明する。第２実施形態では、指Ｆ１、Ｆ２の両方が可撓性を有する場合について説明するが、指Ｆ１、Ｆ２の一方が可撓性を有する構成であってもよい。
　図５に示すように、第２実施形態に係る指Ｆ１は、指Ｆ１の長手方向がＺ軸方向、すなわち重力方向に沿っている場合において、Ｘ軸方向に可撓性を有する蛇腹Ｆ１Ａを備えている。このため、指Ｆ１は、図５においてＸ軸方向に可撓性を有する。
　指Ｆ２は、Ｘ軸方向に可撓性を有する蛇腹Ｆ２Ａを備えている。このため、指Ｆ１は、図５においてＸ軸方向に可撓性を有する。更に、指Ｆ２は、Ｙ軸方向に可撓性を有する蛇腹Ｆ２Ｂを備えている。このため、指Ｆ２は、図５においてＹ軸方向にも可撓性を有する。
　駆動部２２－１は、図５においてＺ軸方向を回転軸として矢印Ａ方向に指Ｆ１が回転するよう駆動する回転用モータを備える。この回転用モータを駆動することにより、図６（Ａ）に示すように指Ｆ１、Ｆ２を下方から見た場合においてワークＷを把持した状態から、図６（Ｂ）に示すように、Ｚ軸方向を回転軸として矢印Ａ方向に指Ｆ１をずらすことができる。
　また、指Ｆ２の指先と駆動部２２－２とは、例えば紐状の第１の腱（図示省略）によって接続されている。そして、駆動部２２－２は、第１の腱を引っ張るように駆動する第１の引っ張り用モータを備えている。この第１の引っ張り用モータを駆動することにより、図７（Ａ）に示す状態から、図７（Ｂ）に示すように指Ｆ２をＸ軸方向に動かすことができる。なお、指Ｆ１は、Ｘ軸方向に可撓性を有する蛇腹Ｆ１Ａを備えているため、指Ｆ２の動きに追従してＸ軸方向に移動する。
　また、指Ｆ２の指先と駆動部２２－２とは、例えば紐状の第２の腱（図示省略）によって接続されている。そして、駆動部２２－２は、第２の腱を引っ張るように駆動する第２の引っ張り用モータを備えている。この第２の引っ張り用モータを駆動することにより、図８（Ａ）に示す状態から、図８（Ｂ）に示すように指Ｆ２をＹ軸方向に動かすことができる。なお、指Ｆ１は、Ｙ軸方向に可撓性を有しないため、指Ｆ２の動きに追従してＹ軸方向に移動することはない。
　また、図１では図示は省略したが、指Ｆ１の指先のワークＷの把持面には、図９に示すように、圧力分布センサ２４－１が貼り付けられており、更にその上から弾性部材２６－１が貼り付けられている。指Ｆ２も同様に、指先のワークＷの把持面には、圧力分布センサ２４－２が貼り付けられており、更にその上から弾性部材２６－１と同様の弾性部材が貼り付けられている。
　圧力分布センサ２４－１、２４－２は、ｍ×ｎ（ｍ、ｎは整数）個の圧力検出素子で構成される。例えばｍ＝６、ｎ＝４等とすることができるが、ｍ、ｎの値はこれに限られるものではない。
　例えば図１０（Ａ）に示すように、圧力分布センサ２４－１上に弾性部材２６－１が設けられていない場合、ワークＷを把持した際には、ワークＷを２カ所の接点Ｓ１、Ｓ２のみでしか検知できないため、ワークＷを精度良く認識できない虞がある。これに対し、図１０（Ｂ）に示すように、圧力分布センサ２４－１上に弾性部材２６－１を設けた構成の場合、図１０（Ｂ）において矢印で示すように、把持されたワークＷの圧力が圧力分布センサ２４－１に対して面で伝わることとなり、ワークＷを精度良く認識することができる。
　なお、指Ｆ１、Ｆ２が弾性部材で構成されてもよい。すなわち、弾性部材を別個に設けるのではなく、指Ｆ１、Ｆ２の指先自体が弾性部材で構成されていてもよい。
　認識部３２は、第２実施形態では一例として、圧力分布センサ２４－１、２４－２により検出された圧力分布を入力とし、指Ｆ１、Ｆ２で把持したワークＷの個数を出力として学習された把持数認識モデルによりワークＷの個数を認識する。
　把持数認識モデルとしては、例えば畳み込みニューラルネットワーク（Ｃｏｎｖｏｌｕｔｉｏｎａｌ　Ｎｅｕｒａｌ　Ｎｅｔｗｏｒｋ：ＣＮＮ）を用いた学習モデルを学習した学習済みモデルを用いることができるが、これに限られるものではない。
　ワークＷの個数を認識するための圧力分布検出は、指Ｆ１、Ｆ２の相対位置関係を変えて複数回行ってもよい。その場合、制御部３４では、指Ｆ１、Ｆ２の少なくとも１つを予め定めた方向へ移動させる制御を行うことにより、圧力分布センサ２４－１、２４－２において、ワークＷの把持状態を複数回検出させる。例えば、指Ｆ１を押すように、指Ｆ２をＸ軸方向へ移動させながら圧力分布センサ２４－１、２４－２において複数回圧力分布を検出させる。すなわち、時系列で指Ｆ１、Ｆ２の把持面の圧力分布を検出させる。
　認識部３２は、圧力分布センサ２４－１、２４－２の各々で複数回検出した結果、すなわち、複数回検出した指Ｆ１、Ｆ２の圧力分布の各々を把持数認識モデルに入力する。このように、複数の圧力分布を把持数認識モデルに入力することにより、精度良くワークＷの個数を認識することができる。
　なお、例えば指Ｆ１のＸ軸方向への反りの度合いを検出するストレッチセンサーを指Ｆ１に設け、このストレッチセンサーの出力値を把持数認識モデルに更に入力するようにしてもよい。
　制御部３４は、指Ｆ１、Ｆ２でワークＷを把持した状態において、指Ｆ１、Ｆ２のうち少なくとも１つの指の位置が変化するようにロボット機構２０の運動を制御する。
　具体的には、指Ｆ１、Ｆ２によりワークＷを把持した状態で、指Ｆ１、Ｆ２の少なくとも１つを、予め定めた第１方向、第１方向と交差する第２方向、第１方向及び第２方向と交差する第３方向、及び第３方向を回転軸として回転する回転方向の少なくとも１つの方向に移動させるように、ロボット機構２０の運動を制御する。例えば、図５においてＸ軸方向を第１方向とした場合、Ｙ軸方向が第２方向、Ｚ軸方向が第３方向となり、矢印Ａ方向が回転方向となる。
　ずらす指、方向、及び移動量については、第１実施形態で説明したように、例えばステップＳ１０２で取得した指Ｆ１、Ｆ２の把持面の圧力分布に基づいて決定してもよい。
　また、制御部３４は、圧力分布センサ２４－１、２４－２で検出された圧力分布及び駆動部２２－１、２２－２の駆動状態を入力とし、指Ｆ、Ｆ２で把持したワークＷの個数と、ワークＷの数を指定数とするための駆動部２２－１、２２－２の駆動方法と、を出力として学習された駆動方法モデルから出力された駆動方法に基づいてロボット機構２０の運動を制御してもよい。ここでいう「駆動方法」は、例えば駆動命令又は駆動命令生成の元となる情報のような駆動に関わる情報であり、機械学習でいう「行動」、制御理論でいう「制御入力」に相当するものを意味する。第２実施形態では、駆動方法モデルから出力された駆動方法に基づいてロボット機構２０の運動を制御する場合について説明する。
　ここで、駆動部２２－１の駆動状態とは、駆動部２２－１の回転用モータの回転角であり、指Ｆ１の矢印Ａ方向の初期状態からの移動量に相当する。また、駆動部２２－２の駆動状態とは、駆動部２２－２の第１の引っ張り用モータの回転角及び第２の引っ張り用モータの回転角であり、それぞれ指Ｆ２のＸ軸方向の初期状態からの移動量及びＹ軸方向の初期状態からの移動量に相当する。
　駆動方法モデルは、第２実施形態では一例として再帰型ニューラルネットワーク（Ｒｅｃｕｒｒｅｎｔ　Ｎｅｕｒａｌ　Ｎｅｔｗｏｒｋ：ＲＮＮ）の一種であるＬＳＴＭ（Ｌｏｎｇ　Ｓｈｏｒｔ－Ｔｅｒｍ　Ｍｅｍｏｒｙ）ベースの学習モデル及び／又は強化学習モデルを含む学習済みモデルを用いた構成とする。
　このような駆動方法モデルでは、ＬＳＴＭベースの学習モデルに圧力分布センサ２４－１、２４－２で検出された圧力分布及び駆動部２２－１、２２－２の駆動状態が入力され、把持しているワークＷの個数を求める。そして、求めたワークＷの個数、圧力分布センサ２４－１、２４－２で検出された圧力分布、及び駆動部２２－１、２２－２の駆動状態を状態情報として強化学習モデルに入力する。強化学習モデルは、入力された状態情報に対応する行動として、駆動部２２－１、２２－２の駆動方法を出力する。すなわち、駆動部２２－１の回転用モータの回転角、駆動部２２－２の第１の引っ張り用モータの回転角及び第２の引っ張り用モータの回転角を出力する。制御部３４は、駆動方法モデルから出力された駆動方法に従って駆動部２２－１、２２－２を駆動し、指Ｆ１、Ｆ２の少なくとも一方を移動させる。なお、ストレッチセンサーの出力値を状態情報に含め、駆動方法モデルに更に入力するようにしてもよい。
　次に、ロボットシステム１０の作用について説明する。
　第２実施形態に係るロボットシステム１０によるピッキング処理の基本的な流れは、第１実施形態で説明した図４に示すフローチャートで示す処理と同様である。以下、第２実施形態において特徴的な処理について説明する。
　図４のステップＳ１０２では、ＣＰＵ３０Ａが、制御部３４として、指Ｆ１、Ｆ２でワークＷを把持した状態において、指Ｆ２をＸ軸方向に移動させながら、認識部３２として、圧力分布センサ２４－１、２４－２から指Ｆ１、Ｆ２の把持面の圧力分布を時系列で各々取得する。そして、時系列取得した指Ｆ１、Ｆ２の把持面の圧力分布を把持数認識モデルに入力することにより、指Ｆ１、Ｆ２によって把持されたワークＷの個数を認識する。
　ステップＳ１１０では、ＣＰＵ３０Ａが、制御部３４として、圧力分布センサ２４－１、２４－２で検出された圧力分布及び駆動部２２－１、２２－２の駆動状態を駆動方法モデルに入力し、駆動方法モデルから出力された駆動方法に従って駆動部２２－１、２２－２を駆動することで指Ｆ１、Ｆ２の少なくとも一方をずらすように移動させ、ワークＷの把持状態を変化させる。これにより、ワークＷが落下しやすくなる。
　このように、第２実施形態では、把持数認識モデルを用いてワークＷの把持数を認識し、駆動方法モデルを用いて指Ｆ１、Ｆ２の動作を制御する。これにより、ワークＷの位置や姿勢を毎回事前に検出しなくても、高い確度で、ワークＷをピッキングすることができる。
　なお、上記各実施形態でＣＰＵがソフトウェア（プログラム）を読み込んで実行したピッキング処理を、ＣＰＵ以外の各種のプロセッサが実行してもよい。この場合のプロセッサとしては、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）等の製造後に回路構成を変更可能なＰＬＤ（Ｐｒｏｇｒａｍｍａｂｌｅ　Ｌｏｇｉｃ　Ｄｅｖｉｃｅ）、及びＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ　Ｓｐｅｃｉｆｉｃ　Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が例示される。また、ピッキング処理を、これらの各種のプロセッサのうちの１つで実行してもよいし、同種又は異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡ、及びＣＰＵとＦＰＧＡとの組み合わせ等）で実行してもよい。また、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子等の回路素子を組み合わせた電気回路である。
　また、上記各実施形態では、ピッキングプログラムがストレージ３０Ｄ又はＲＯＭ３０Ｂに予め記憶（インストール）されている態様を説明したが、これに限定されない。プログラムは、ＣＤ－ＲＯＭ（Ｃｏｍｐａｃｔ　Ｄｉｓｋ　Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、ＤＶＤ－ＲＯＭ（Ｄｉｇｉｔａｌ　Ｖｅｒｓａｔｉｌｅ　Ｄｉｓｋ　Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、及びＵＳＢ（Ｕｎｉｖｅｒｓａｌ　Ｓｅｒｉａｌ　Ｂｕｓ）メモリ等の記録媒体に記録された形態で提供されてもよい。また、プログラムは、ネットワークを介して外部装置からダウンロードされる形態としてもよい。
　なお、日本国特許出願第２０２０－１５１５３９号の開示は、その全体が参照により本明細書に取り込まれる。また、本明細書に記載された全ての文献、特許出願、及び技術規格は、個々の文献、特許出願、及び技術規格が参照により取り込まれることが具体的かつ個々に記された場合と同程度に、本明細書中に参照により取り込まれる。
１０ ロボットシステム
２０ ロボット機構
２２－１、２２－２ 駆動部
２４－１、２４－２ 圧力分布センサ
２６－１ 弾性部材
３０ 制御装置
３２ 認識部
３４ 制御部
４０ 撮影部
５０ 箱
Ｆ１、Ｆ２ 指
Ｆ１Ａ、Ｆ２Ａ、Ｆ２Ｂ 蛇腹
ＡＲ ロボットアーム
Ｈ ロボットハンド
Ｗ ワーク

Claims (8)

  1. 　ワークを把持する複数の指を備えたロボット機構と、
    　前記複数の指による前記ワークの把持状態を検出する検出部と、
    　前記検出部の検出結果に基づいて前記複数の指に把持されたワークの数を認識する認識部と、
    　前記ロボット機構に前記ワークが複数載置されている載置場所から前記ワークを把持する動作をさせた後に、前記認識部により認識された前記ワークの数が予め指定された指定数と異なる場合、把持された前記ワークの数が前記指定数となるように前記ロボット機構の運動を制御する制御部と、
    　を備え、
    　前記複数の指の少なくとも１つは、可撓性を有し、
    　前記制御部は、前記複数の指で前記ワークを把持した状態において、少なくとも１つの指の位置が変化するように前記ロボット機構の運動を制御する
    　ロボットシステム。
  2. 　前記複数の指の少なくとも１つが弾性部材で構成されている
    　請求項１記載のロボットシステム。
  3. 　ワークを把持する複数の指を備えたロボット機構と、
    　前記複数の指による前記ワークの把持状態を検出する検出部と、
    　前記検出部の検出結果に基づいて前記複数の指に把持されたワークの数を認識する認識部と、
    　前記ロボット機構に前記ワークが複数載置されている載置場所から前記ワークを把持する動作をさせた後に、前記認識部により認識された前記ワークの数が予め指定された指定数と異なる場合、把持された前記ワークの数が前記指定数となるように前記ロボット機構の運動を制御する制御部と、
    　を備え、
    　前記検出部は、少なくとも１つの指の把持面に設けられ、前記ワークが接触する前記把持面の圧力分布を検出する圧力分布センサを含み、
    　前記認識部は、前記検出部により検出された圧力分布を入力とし、前記複数の指で把持した前記ワークの個数を出力として学習された把持数認識モデルにより前記ワークの個数を認識し、
    　前記制御部は、前記圧力分布及び前記複数の指を駆動する駆動部の駆動状態を入力とし、前記複数の指で把持した前記ワークの個数と、前記ワークの数を前記指定数とするための前記駆動部の駆動方法と、を出力として学習された駆動方法モデルから出力された前記駆動方法に基づいて前記ロボット機構の運動を制御する
    　ロボットシステム。
  4. 　前記圧力分布センサ上に弾性部材が設けられている
    　請求項３記載のロボットシステム。
  5. 　前記制御部は、前記認識部により認識された前記ワークの数が前記指定数となるまで、前記複数の指により前記ワークを把持した状態で、前記複数の指の少なくとも１つを、把持のための運動方向である第１方向、前記第１方向及び前記指の長手方向と交差する第２方向、前記指の長手方向である第３方向、及び前記第３方向を回転軸として回転する回転方向の少なくとも１つの方向に移動させることが繰り返されるように、前記ロボット機構の運動を制御する
    　請求項１～４の何れか１項に記載のロボットシステム。
  6. 　前記検出部は、前記複数の指の相対的な位置関係が互いに異なる状態で前記把持状態を複数回検出し、
    　前記認識部は、前記把持状態を複数回検出した結果に基づいて前記ワークの個数を認識する
    　請求項１～５の何れか１項に記載のロボットシステム。
  7. 　ワークを把持する複数の指を備えたロボット機構の前記複数の指による前記ワークの把持状態を検出し、
    　前記ワークの把持状態の検出結果に基づいて前記複数の指に把持されたワークの数を認識し、
    　前記ロボット機構に前記ワークが複数載置されている載置場所から前記ワークを把持する動作をさせた後に、認識された前記ワークの数が予め指定された指定数と異なる場合、把持された前記ワークの数が前記指定数となるように前記ロボット機構の運動を制御し、
    　前記複数の指の少なくとも１つは、可撓性を有し、
    　前記複数の指で前記ワークを把持した状態において、少なくとも１つの指の位置が変化するように前記ロボット機構の運動を制御する
    　ピッキング方法。
  8. 　ワークを把持する複数の指を備えたロボット機構の前記複数の指による前記ワークの把持状態を検出し、
    　前記ワークの把持状態の検出結果に基づいて前記複数の指に把持されたワークの数を認識し、
    　前記ロボット機構に前記ワークが複数載置されている載置場所から前記ワークを把持する動作をさせた後に、認識された前記ワークの数が予め指定された指定数と異なる場合、把持された前記ワークの数が前記指定数となるように前記ロボット機構の運動を制御し、
    　少なくとも１つの指の把持面に設けられ、前記ワークが接触する前記把持面の圧力分布を検出する圧力分布センサを含み、
    　検出された圧力分布を入力とし、前記複数の指で把持した前記ワークの個数を出力として学習された把持数認識モデルにより前記ワークの個数を認識し、
    　前記圧力分布を入力とし、前記複数の指で把持した前記ワークの個数と、前記複数の指の少なくとも１つの指の駆動方法であって前記ワークの数を前記指定数とするための駆動方法と、を出力として学習された駆動方法モデルから出力された前記駆動方法に基づいて前記ロボット機構の運動を制御する
    　ピッキング方法。
PCT/JP2021/030017 2020-09-09 2021-08-17 ロボットシステム及びピッキング方法 WO2022054505A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US18/021,268 US20230294278A1 (en) 2020-09-09 2021-08-17 Robot System and Picking Method
CN202180050579.0A CN115916483A (zh) 2020-09-09 2021-08-17 机器人系统及拾取方法
EP21866465.4A EP4212291A4 (en) 2020-09-09 2021-08-17 ROBOT SYSTEM AND ORDER PICKING PROCESS

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020151539A JP7531196B2 (ja) 2020-09-09 2020-09-09 ロボットシステム及びピッキング方法
JP2020-151539 2020-09-09

Publications (1)

Publication Number Publication Date
WO2022054505A1 true WO2022054505A1 (ja) 2022-03-17

Family

ID=80631542

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/030017 WO2022054505A1 (ja) 2020-09-09 2021-08-17 ロボットシステム及びピッキング方法

Country Status (6)

Country Link
US (1) US20230294278A1 (ja)
EP (1) EP4212291A4 (ja)
JP (1) JP7531196B2 (ja)
CN (1) CN115916483A (ja)
TW (1) TWI784700B (ja)
WO (1) WO2022054505A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118288292A (zh) * 2024-05-10 2024-07-05 中原动力智能机器人有限公司 一种棒状工件的无序抓取方法、装置、设备以及存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5196156B2 (ja) 2008-09-16 2013-05-15 株式会社Ｉｈｉ バラ積みピッキング装置におけるワークピッキング方法
JP5767464B2 (ja) 2010-12-15 2015-08-19 キヤノン株式会社 情報処理装置、情報処理装置の制御方法、およびプログラム
JP2017042859A (ja) 2015-08-25 2017-03-02 キヤノン株式会社 ピッキングシステム、並びに、そのための処理装置、方法及びプログラム
JP2018507116A (ja) * 2015-03-05 2018-03-15 プレジデント アンド フェローズ オブ ハーバード カレッジ 柔軟適応ロボットグラスパ
WO2019065426A1 (ja) * 2017-09-26 2019-04-04 倉敷紡績株式会社 ロボットハンドおよびロボットハンド制御方法
JP2020082322A (ja) * 2018-11-30 2020-06-04 株式会社クロスコンパス 機械学習装置、機械学習システム、データ処理システム及び機械学習方法
JP2020151539A (ja) 2020-06-23 2020-09-24 株式会社三洋物産 遊技機

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5685027B2 (ja) 2010-09-07 2015-03-18 キヤノン株式会社 情報処理装置、物体把持システム、ロボットシステム、情報処理方法、物体把持方法およびプログラム
JP2013086186A (ja) 2011-10-13 2013-05-13 Seiko Epson Corp 把持装置及びロボット
JP5905549B1 (ja) 2014-09-16 2016-04-20 ファナック株式会社 バラ積みされた物品を取出す物品取出装置
CA3011733A1 (en) 2016-01-20 2017-07-27 Soft Robotics, Inc. Soft robotic grippers for cluttered grasping environments, high acceleration movements, food manipulation, and automated storage and retrieval systems
JP6937200B2 (ja) * 2017-09-12 2021-09-22 株式会社東芝 物品移動装置、物品移動方法、および物品移動制御プログラム
WO2019094951A1 (en) 2017-11-10 2019-05-16 Soft Robotics, Inc. End of arm tools for soft robotic systems
JP2019089145A (ja) 2017-11-13 2019-06-13 倉敷紡績株式会社 ロボットハンドおよびロボットハンド制御方法
US11312012B2 (en) * 2019-01-01 2022-04-26 Giant Ai, Inc. Software compensated robotics

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5196156B2 (ja) 2008-09-16 2013-05-15 株式会社Ｉｈｉ バラ積みピッキング装置におけるワークピッキング方法
JP5767464B2 (ja) 2010-12-15 2015-08-19 キヤノン株式会社 情報処理装置、情報処理装置の制御方法、およびプログラム
JP2018507116A (ja) * 2015-03-05 2018-03-15 プレジデント アンド フェローズ オブ ハーバード カレッジ 柔軟適応ロボットグラスパ
JP2017042859A (ja) 2015-08-25 2017-03-02 キヤノン株式会社 ピッキングシステム、並びに、そのための処理装置、方法及びプログラム
WO2019065426A1 (ja) * 2017-09-26 2019-04-04 倉敷紡績株式会社 ロボットハンドおよびロボットハンド制御方法
JP2020082322A (ja) * 2018-11-30 2020-06-04 株式会社クロスコンパス 機械学習装置、機械学習システム、データ処理システム及び機械学習方法
JP2020151539A (ja) 2020-06-23 2020-09-24 株式会社三洋物産 遊技機

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP4212291A4

Also Published As

Publication number Publication date
JP2022045772A (ja) 2022-03-22
JP7531196B2 (ja) 2024-08-09
TW202210253A (zh) 2022-03-16
EP4212291A4 (en) 2024-10-09
EP4212291A1 (en) 2023-07-19
TWI784700B (zh) 2022-11-21
US20230294278A1 (en) 2023-09-21
CN115916483A (zh) 2023-04-04

Similar Documents

Publication Publication Date Title
US8489236B2 (en) Control apparatus and control method for robot arm, robot, control program for robot arm, and integrated electronic circuit
JP6450960B2 (ja) ロボット、ロボットシステム及び教示方法
US11745338B2 (en) Control apparatus, robot, learning apparatus, robot system, and method
JP2013223921A (ja) 力またはインピーダンス制御ロボットの作業空間安全動作
Su et al. Robust grasping for an under-actuated anthropomorphic hand under object position uncertainty
WO2022123849A1 (ja) ロボット、把持力制御装置、把持力制御方法、及び把持力制御プログラム
Saen et al. Action-intention-based grasp control with fine finger-force adjustment using combined optical-mechanical tactile sensor
WO2022054505A1 (ja) ロボットシステム及びピッキング方法
JP2015186834A (ja) ロボット制御装置、把持部制御装置、ロボット、把持部、ロボット制御方法、及びプログラム
WO2022080132A1 (ja) 軌道生成装置、軌道生成方法、及び軌道生成プログラム
da Fonseca et al. In-hand telemanipulation using a robotic hand and biology-inspired haptic sensing
Friedl et al. Experimental evaluation of tactile sensors for compliant robotic hands
WO2022054506A1 (ja) ロボットシステム及びピッキング方法
JP2015074058A (ja) ロボット制御装置、ロボットシステム、ロボット、ロボット制御方法、及びプログラム
Yuan et al. Task-orientated robot teleoperation using wearable IMUs
US20230234231A1 (en) Teleoperation assist device, teleoperation assist method, and storage medium
Ali et al. Development of Vision Based Smart Gripper for Material Handling Using Internet of Things
Tegin et al. Real life grasping using an under-actuated robot hand-Simulation and experiments
US20240227180A9 (en) Robot system, learning apparatus, information processing apparatus, learned model, control method, information processing method, method for manufacturing product, and recording medium
Taksale et al. Low cost robotic hand gloves
WO2024009408A1 (ja) ロボットシステム、ロボット制御方法及びロボット制御プログラム
WO2023167003A1 (ja) 制御装置、制御方法、及び制御プログラム
WO2023200011A1 (ja) 遠隔制御システム、ロボットの遠隔制御方法及び遠隔制御プログラム
Svensson et al. An adaptive passive gripper for collaborative robots
Sarabandi et al. In-Hand Manipulation with Soft Fingertips

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21866465

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2021866465

Country of ref document: EP

Effective date: 20230411