WO2021124388A1 - 把持装置、制御方法及びプログラム - Google Patents

把持装置、制御方法及びプログラム Download PDF

Info

Publication number
WO2021124388A1
WO2021124388A1 PCT/JP2019/049141 JP2019049141W WO2021124388A1 WO 2021124388 A1 WO2021124388 A1 WO 2021124388A1 JP 2019049141 W JP2019049141 W JP 2019049141W WO 2021124388 A1 WO2021124388 A1 WO 2021124388A1
Authority
WO
WIPO (PCT)
Prior art keywords
gripping
grip
unit
module
gripping device
Prior art date
Application number
PCT/JP2019/049141
Other languages
English (en)
French (fr)
Inventor
明彦 山口
Original Assignee
国立大学法人東北大学
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 国立大学法人東北大学 filed Critical 国立大学法人東北大学
Priority to EP19956491.5A priority Critical patent/EP4079469A4/en
Priority to PCT/JP2019/049141 priority patent/WO2021124388A1/ja
Priority to US17/783,162 priority patent/US20230017869A1/en
Priority to CN201980102943.6A priority patent/CN114845845A/zh
Priority to KR1020227019770A priority patent/KR20220115945A/ko
Priority to JP2021565160A priority patent/JP7385303B2/ja
Publication of WO2021124388A1 publication Critical patent/WO2021124388A1/ja

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1612—Programme controls characterised by the hand, wrist, grip control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J15/00—Gripping heads and other end effectors
    • B25J15/02—Gripping heads and other end effectors servo-actuated
    • B25J15/0253—Gripping heads and other end effectors servo-actuated comprising parallel grippers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J15/00—Gripping heads and other end effectors
    • B25J15/08—Gripping heads and other end effectors having finger members
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/021—Optical sensing devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/39—Robotics, robotics to robotics hand
    • G05B2219/39469—Grip flexible, deformable plate, object and manipulate it
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40052—Deform, bend flexible material

Definitions

  • the present invention relates to a gripping device, a control method and a program.
  • the present invention has been made in view of such a situation, and an object of the present invention is to provide a gripping device, a control method, and a program capable of gripping a specific amount of flexible gripping objects.
  • the gripping device includes a gripping module having a first surface and a second surface, and grips an object between the first surface and the second surface.
  • An arm portion that changes the position of the grip portion module, an imaging unit that is provided at a position that moves together with the grip portion module and images at least a part of the object, a specific amount of the object, and the first Based on the specific amount information indicating the contact state when the surfaces of 1 are in contact with each other and the information indicating the contact state imaged by the imaging unit when the grip unit module grips at least a part of the object. It is provided with a control unit capable of controlling at least one of the grip module or the arm so that the amount of the object is close to the specific amount.
  • the imaging unit is provided on the back surface side of the first surface at a position where the object can be imaged.
  • control unit is information indicating the ratio of the portion where the specific amount information indicates the background to the portion indicating the object, and the information and the gripping. It is possible to control at least one of the grip module or the arm based on the information indicating the contact state imaged by the imaging unit when the unit module grips at least a part of the object. ing.
  • control unit is information indicating that the specific amount information indicates the ratio of a portion where the brightness change of the object is large, and the information and the gripping unit module are described. It is possible to control at least one of the grip module or the arm based on the information indicating the contact state imaged by the imaging unit when at least a part of the object is gripped.
  • the specific amount information is information indicating the color of the object
  • the information and the grip module are at least one of the objects. It is possible to control at least one of the grip portion module and the arm portion based on the information indicating the contact state imaged by the image pickup unit when the portion is gripped.
  • control method has a first surface and a second surface, and a grip portion that grips the object between the first surface and the second surface.
  • a control method for a gripping device including a module, an arm portion that changes the position of the grip portion module, and an imaging unit that is provided at a position that moves together with the grip portion module and that images at least a part of the object.
  • the specific amount information indicating the contact state when the specific amount of the object and the first surface come into contact with each other, and the imaging unit when the grip module grips at least a part of the object.
  • a control step capable of controlling at least one of the grip module or the arm so that the amount of the gripped object approaches the specific amount based on the information indicating the contact state imaged by the camera. Including.
  • the program according to one aspect of the present invention has a first surface and a second surface, and a grip module that grips an object between the first surface and the second surface. And an arm portion that changes the position of the grip portion module, and an image pickup unit that is provided at a position that moves together with the grip portion module and that images at least a part of the object.
  • Specific amount information indicating a contact state when a specific amount of the object and the first surface come into contact with the computer, and the imaging unit when the grip module grips at least a part of the object.
  • a control step capable of controlling at least one of the grip module or the arm so that the amount of the gripped object approaches the specific amount is executed. Let me.
  • FIG. 1 is a diagram showing an example of the configuration of the gripping device 100 in the embodiment.
  • the posture of the gripping device 100 is shown by a three-dimensional Cartesian coordinate system of the x-axis, the y-axis, and the z-axis.
  • the gripping device 100 in the present embodiment detects the gripping state by coming into contact with the gripping object, and grips a specific amount of the gripping object.
  • the gripping device 100 includes a gripping device module 10, a gripping device control unit 90 (or a control unit; the same applies hereinafter), a tip portion 110, an upper arm portion 120, a joint portion 130, and a lower arm.
  • a portion 140, a main horizontal axis portion 150, a main vertical axis portion 160, and a base portion 170 are provided.
  • the tip portion 110, the upper arm portion 120, the joint portion 130, the lower arm portion 140, the main horizontal axis portion 150, and the main vertical axis portion 160 are not distinguished, it is described as the arm portion 180.
  • the base portion 170 is a portion connected to the main vertical axis portion 160.
  • the main vertical axis portion 160 is a portion connecting the main horizontal axis portion 150 and the base portion 170.
  • the main vertical axis portion 160 is controlled by the gripping device control unit 90, and the main horizontal axis portion 150 is displaced around the axis of the main vertical axis portion 160.
  • the main horizontal axis portion 150 is a portion connecting the lower arm portion 140 and the main vertical axis portion 160.
  • the main horizontal shaft portion 150 is controlled by the gripping device control unit 90, and the lower arm portion 140 is displaced around the axis of the main horizontal shaft portion 150.
  • the lower arm portion 140 is a portion connecting the joint portion 130 and the main horizontal axis portion 150.
  • the joint portion 130 is a portion connecting the upper arm portion 120 and the lower arm portion 140.
  • the joint portion 130 is controlled by the gripping device control unit 90, and the upper arm portion 120 is displaced around the axis of the joint portion 130.
  • the upper arm portion 120 is a portion connecting the tip portion 110 and the joint portion 130.
  • the tip 110 is connected to the grip module 10.
  • the posture (for example, position and direction) of the tip 110 is controlled by the gripping device control unit 90.
  • the posture of the grip module 10 changes as the posture of the tip 110 changes.
  • the arm portion 180 is not limited to this example as long as the position of the grip portion module 10 can be changed to any of the x-axis, the y-axis, and the z-axis.
  • the arm portion 180 has at least 6 degrees of freedom, and further has 7 degrees of freedom, including 1 degree of freedom, which is the distance between the grip portion 1 and the support portion 2 included in the grip portion module 10. Have.
  • the gripping unit module 10 detects the contact state of the gripping object, and outputs information indicating the detected contact state of the gripping object to the gripping device control unit 90.
  • the gripping device control unit 90 acquires the information output by the gripping unit module 10.
  • the gripping device control unit 90 drives the arm unit 180 to change the position of the gripping unit module 10.
  • the gripping device control unit 90 controls to change the position of the gripping unit module 10 based on the information acquired from the gripping unit module 10.
  • FIG. 2 is a diagram showing an example of a case where the gripping device 100 in the embodiment grips the flexible gripping object 21.
  • FIG. 2A shows an example in which the gripping device 100 contacts the flexible gripping object 21 and acquires information indicating the contact state
  • FIG. 2B shows the gripping device 100 being flexible.
  • An example of the case where the specific amount 22 which is a part of the gripping object 21 is gripped is shown.
  • the posture of the gripping device 100 is shown by a three-dimensional Cartesian coordinate system of the x-axis, the y-axis, and the z-axis.
  • the flexible gripping object 21 is housed in a container 20.
  • the gripping device control unit 90 drives the arm unit 180 to change the position of the gripping unit module 10 with respect to the gripping object 21.
  • the grip module 10 is in contact with the grip target 21.
  • the gripping unit module 10 acquires information indicating a contact state between the gripping unit module 10 and the gripping object 21, and provides it to the gripping device control unit 90.
  • the gripping device control unit 90 controls the arm unit 180 based on the acquired information indicating the contact state between the gripping unit module 10 and the gripping object 21.
  • the gripping device control unit 90 determines whether or not the gripping unit module 10 is gripping the specific amount 22 from the information indicating the contact state between the gripping unit module 10 and the gripping object 21.
  • the information indicating the specific amount 22 may be stored in the gripping device control unit 90 or may be stored in the external storage unit 84.
  • the gripping device control unit 90 compares the information indicating the specific amount 22 with the information indicating the contact state between the gripping unit module 10 and the gripping object 21, and when the specific amount 22 is smaller, a smaller amount.
  • At least one of the arm portion 180 and the grip portion module 10 is controlled so as to perform an operation for gripping.
  • a control method is not particularly limited.
  • the grip portion module 10 may be operated to change the opening / closing amount between the grip portion 1 and the support portion 2, to reduce the amount of the gripping object, or by raising the arm portion 180 to grip.
  • the amount of the object to be gripped may be reduced, and further, the amount of the object to be gripped may be reduced by appropriately combining the operation of the grip module 10 and the operation of the arm 180.
  • the gripping object gripped by the gripping portion module 10 is brought closer to the information indicating the specific amount 22 so that the information indicating the contact state between the gripping portion module 10 and the gripping object 21 is brought closer to the information indicating the specific amount 22.
  • the amount of the object is controlled to approach the specific amount 22.
  • the gripping device control unit 90 compares the information indicating the specific amount 22 with the information indicating the contact state between the gripping unit module 10 and the gripping object 21, and when the specific amount 22 is larger, a larger amount is used.
  • At least one of the arm portion 180 and the grip portion module 10 is controlled so as to perform an operation for gripping.
  • Such a control method is not particularly limited.
  • the amount of the gripping object may be increased by operating the grip module 10 and changing the opening / closing amount between the grip portion 1 and the support portion 2 to increase the opening / closing amount, or the arm portion.
  • the amount of the gripping object may be increased by lowering the 180, or the amount of the gripping object may be increased by appropriately combining the above-mentioned operation of the grip module 10 and the operation of the arm 180. Good.
  • the gripping object gripped by the gripping portion module 10 is brought closer to the information indicating the specific amount 22 so that the information indicating the contact state between the gripping portion module 10 and the gripping object 21 is brought closer to the information indicating the specific amount 22.
  • the amount of the object is controlled to approach the specific amount 22.
  • the gripping device control unit 90 compares the information indicating the specific amount 22 with the information indicating the contact state between the gripping unit module 10 and the gripping object 21, and determines the contact state between the gripping unit module 10 and the gripping object 21. When the indicated information is within the range of the information indicating the specific amount 22, the specific amount 22 is moved to the target point from the gripping object 21. For example, the gripping device 100 moves a specific amount 22 of the gripping objects 21 housed in the container 20 to a target point located outside the container 20.
  • FIG. 3 is a diagram showing an example of the grip module 10 in the embodiment.
  • the configuration of the grip module 10 will be described with reference to the figure.
  • the posture of the grip module 10 is shown by a three-dimensional Cartesian coordinate system of the x-axis, the y-axis, and the z-axis.
  • the grip module 10 includes a connection portion 11, a grip portion 1, and a support portion 2.
  • the connecting portion 11 is a portion that connects the tip portion 110, the grip portion 1, and the supporting portion 2.
  • the grip portion 1 is connected to the connecting portion 11.
  • the grip portion 1 includes a contact surface 41 that contacts at least a part of the gripping object 21.
  • the contact surface 41 is also referred to as a first surface.
  • the support portion 2 is connected to the connection portion 11.
  • the support portion 2 includes a support surface 42 that contacts at least a part of the gripping object 21.
  • the support surface 42 is also referred to as a second surface.
  • the grip portion 1 and the support portion 2 are arranged at positions where the contact surface 41 and the support surface 42 face each other.
  • the connection portion 11 includes a drive device (not shown), and at least the grip portion 1 is displaced in the y-axis direction based on the grip indication from the grip device control unit 90.
  • the grip module 10 grips the grip target 21 between the grip 1 and the support 2 by driving at least the grip 1 in the y-axis direction.
  • the connecting portion 11 is described as displaces the grip portion 1 in the y-axis direction, but the support portion 2 may be similarly displaced in the y-axis direction.
  • the grip module 10 will be described as gripping the grip target 21 by the grip 1 and the support 2, but the configuration of the grip module 10 is not limited to this example.
  • the grip module 10 may be composed of a plurality of grip portions 1, a plurality of support portions 2, or a combination of a plurality of grip portions 1 and a plurality of support portions 2.
  • the support surface 42 (second surface) is provided at a position where the contact surface 41 (first surface) and the normals of each other intersect.
  • the support surface 42 (second surface) is provided at a position facing the contact surface 41 (first surface).
  • the gripping portion 1 grips at least a part of a predetermined amount of the gripping object 21 by the contact surface 41 (first surface) and the support surface 42 (second surface) of the support portion 2.
  • FIG. 4 is a diagram showing an example of a cross-sectional view of the grip portion 1 in the embodiment.
  • FIG. 4 shows a cross-sectional view of the grip portion 1 in FIG. 3 on the xy plane.
  • the direction of the grip module 10 is indicated by a three-dimensional Cartesian coordinate system of the x-axis, the y-axis, and the z-axis.
  • FIG. 4A is a diagram showing an example of a cross-sectional view of the grip portion 1A in the embodiment.
  • FIG. 4B is a diagram showing an example of a cross-sectional view of the grip portion 1B, which is a modification of the grip portion 1 in the embodiment.
  • the support portion 2 may be configured to have the same configuration as the grip portion 1.
  • the gripping portion 1A detects the contact state between the gripping object 21 and the contact surface 41 by capturing an image of the gripping object 21.
  • the grip portion 1A in this example is an example of the grip portion 1.
  • the gripping unit 1 includes an imaging unit 30, a contact state detecting unit 43, a hard layer 70, and a frame 50.
  • the frame 50 holds the image pickup unit 30, the contact state detection unit 43, and the hard layer 70.
  • the contact state detection unit 43 includes a contact surface 41.
  • the contact surface 41 is a surface that comes into contact with the gripping object 21.
  • the contact state detection unit 43 detects the contact state between the gripping object 21 in contact with the contact surface 41 and the contact surface 41.
  • the contact state detection unit 43 may be made of a transparent material that transmits light. ..
  • the hard layer 70 is provided at a position in contact with the contact state detection unit 43.
  • the hard layer 70 may be made of a transparent and hard material such as acrylic.
  • the contact state detection unit 43 and the hard layer 70 will be described as separate components, but the contact state detection unit 43 and the hard layer 70 are made of the same member, so that the hard layer is formed. It may be configured not to include 70.
  • the imaging unit 30 is arranged on the back side of the contact surface 41 that can come into contact with the gripping object 21 on both the front and back surfaces of the contact state detection unit 43.
  • the contact surface 41 is the front surface
  • the contact surface 41 side is the front surface side
  • the opposite surface of the contact surface 41 is the back surface
  • the opposite side of the contact surface 41 is the back surface side.
  • the gripping object 21 is provided at a position where it can be imaged from the back surface of the contact surface 41 (first surface) with which the gripping object 21 comes into contact.
  • the image pickup unit 30 will be described as being provided inside the grip portion 1, but the position where the image pickup unit 30 is provided is not limited to this example.
  • the image pickup unit 30 may be provided at the tip of the arm unit 180 and at a position where it moves together with the grip unit module 10. Further, the image pickup unit 30 may be provided at a position for capturing an image showing a contact state between at least a part of the gripping object 21 and the contact surface 41 (first surface). The imaging unit 30 captures an image of the gripping object 21 in contact with the contact surface 41, and outputs the information of the captured image to the gripping device control unit 90.
  • the gripping portion 1B detects the contact state between the gripping object 21 and the contact surface 41B by the displacement of the marker 45.
  • the grip portion 1B in this example is an example of the grip portion 1.
  • the same configurations as those of the grip portion 1A are designated by the same reference numerals as those in FIG. 4A, and the description thereof will be omitted.
  • the grip portion 1B is different from the grip portion 1A in that the contact state detection unit 43B is provided with the marker 45.
  • the contact state detection unit 43B includes a contact surface 41B.
  • the contact state detection unit 43B is a modification of the contact state detection unit 43
  • the contact surface 41B is a modification of the contact surface 41.
  • a plurality of markers 45 are arranged at predetermined positions of the contact state detection unit 43B.
  • the marker 45 is an opaque member arranged at the positions of grid points divided at equal intervals inside the contact state detection unit 43B.
  • the marker 45 is said to be arranged inside the contact state detection unit 43B, but the present invention is not limited to this, and the marker 45 may be provided on the contact surface 41B or on the back surface of the contact surface 41B. Further, the marker 45 will be described as being arranged discretely at the positions of the grid points, but the present invention is not limited to this.
  • the marker 45 may be a grid pattern or other continuous pattern.
  • the contact state detection unit 43B is deformed along the shape of the gripping object 21 in contact with the transmission unit contact surface 40 which is the contact surface.
  • a specific material of the contact state detection unit 43B is a silicone material having a thickness of 2 mm and a transmittance of about 94%.
  • the position of the marker 45 is also displaced by the contact state detection unit 43B deforming at least a part along the shape of the gripping object 21.
  • the gripping device control unit 90 detects the contact state between the gripping object 21 and the contact surface 41B from the displacement of the marker 45 imaged by the imaging unit 30.
  • the pattern of the marker 45 may be an irregular pattern so that the contact state between the gripping object 21 and the contact surface 41B can be easily detected.
  • the marker 45 has been described as being an opaque member, the marker 45 is not limited to this, and may be a translucent member or a transparent member as long as the displacement when the gripping object comes into contact can be optically recognized.
  • the contact state detection unit 43 is not limited to the example shown in the figure.
  • the contact state detection unit 43 may detect the contact state of the gripping object 21, for example.
  • the deformation of the contact state detection unit 43 may be detected by refraction of light.
  • the contact state detection unit 43 may be configured so that light does not pass from the contact surface 41 to the back surface of the contact surface 41.
  • FIG. 5 is a diagram showing an example of the functional configuration of the gripping device 100 in the embodiment.
  • the gripping device 100 includes a gripping device control unit 90, an input unit 92, an output unit 93, an imaging unit 30, an arm unit 180, and a grip unit 1 as functional configurations.
  • the gripping device control unit 90 includes a microcomputer (not shown), memories such as RAM (Random access memory) and ROM (Read only memory), and a communication unit that communicates with an external device.
  • the input unit 92 acquires information from sensors such as a pressure sensor, a position sensor, a temperature sensor, and an acceleration sensor, a camera, a microphone (all not shown), and the like.
  • the output unit 93 outputs a drive signal to a motor for driving the robot (not shown) or the like.
  • the gripping device control unit 90 outputs the output information I OUT to the output unit 93 based on the input information I IN acquired from the input unit 92.
  • the gripping device control unit 90 will also be referred to as a drive control unit.
  • the image capturing unit 30 outputs the captured image information as image information I IMG to the gripping device control unit 90.
  • the gripping device control unit 90 outputs drive information I DRV including information for driving the arm unit 180 and the grip unit 1 connected to the tip of the arm unit 180 based on the acquired image information I IMG.
  • the gripping device control unit 90 includes a specific amount information ITGT indicating a contact state when a specific amount of gripping object 21 and a contact surface 41 (first surface) come into contact with each other, and a gripping unit module 10. Based on the information indicating the contact state imaged by the imaging unit 30 when at least a part of the gripped object 21 is gripped, the amount of the gripped object 21 is brought closer to the information shown in the specific amount information ITGT.
  • the gripping device controller 90 the information set forth in the specific amount information I TGT, compares the information shown in the image information I IMG, outputs drive information I DRV based on the result of comparison, It drives at least one of the grip module 10 and the arm 180.
  • the specific amount information ITGT may be stored in the storage unit 84.
  • the specific amount information ITGT is information indicating a contact state when a specific amount of the gripping object 21 and the contact surface 41 (first surface) come into contact with each other.
  • the specific amount is an amount that the gripping device 100 targets for gripping.
  • the specific amount may be a weight or a volume.
  • the storage unit 84 may be provided in the gripping device 100.
  • the gripping device 100 learns that there is an error between the specific quantity information ITGT and the actual specific quantity as a result of gripping a plurality of times, the gripping device 100 stores the specific quantity update information IFB in the storage unit 84. By outputting, the specific amount information ITGT stored in the storage unit 84 may be updated.
  • FIG. 6 is a diagram for explaining the operation of the gripping portion 1 with respect to the gripping object 21 in the embodiment.
  • FIG. 6A is a cross-sectional view of the gripping device 100 in the xz plane when the gripping portion 1 comes into contact with the gripping object 21.
  • FIG. 6B is a diagram showing an example of an image I10 captured by the image pickup unit 30 included in the gripping unit 1.
  • FIG. 6C is a diagram showing an example of an image I20 imaged by the image pickup unit 30 of the support unit 2 when the support unit 2 includes the image pickup unit 30.
  • the gripping device control unit 90 controls the arm unit 180 so as to be rotatably around the displacements in the x-axis direction, the y-axis direction, and the z-axis direction. Further, the gripping device control unit 90 controls the distance L1 between the contact surface 41 of the gripping unit 1 and the support surface 42 of the support unit 2. That is, the grip portion 1 has 7 degrees of freedom, which is 6 degrees of freedom plus 1 degree of freedom. The gripping device control unit 90 adjusts the gripping amount to a specific amount by changing the position of the gripping unit 1 with respect to the gripping object 21.
  • FIG. 6B is an example of the image I10 of the gripping object 21 imaged by the imaging unit 30 provided in the gripping unit 1.
  • the y c z c plane indicates an image plane in which the y c plane is imaged in FIG. 6 (A).
  • the portion occupied by the gripping object 21 is referred to as the object image I11.
  • the portion occupied by the background is referred to as the background image I12.
  • the background is a portion where the gripping object 21 is not imaged.
  • the support portion 2 may have the same configuration as the grip portion 1. In this example, a case where the support portion 2 has the same configuration as the grip portion 1 will be described.
  • the support portion 2 has an imaging unit 30.
  • FIG. 6C is an image I20 of the gripping object 21 imaged by the imaging unit 30 provided on the support unit 2.
  • the y c z c plane indicates an image plane in which the y c plane is imaged in FIG. 6 (A).
  • the portion occupied by the gripping object 21 is referred to as the object image I21.
  • the portion occupied by the background is referred to as the background image I22.
  • the background is a portion where the gripping object 21 is not imaged.
  • FIG. 7 is a diagram showing an example of a series of operations of the gripping device 100 in the embodiment. A series of operations of the gripping device 100 will be described with reference to the figure.
  • the gripping device control unit 90 acquires the specific quantity information ITGT , which is information indicating the specific quantity to be gripped, from the storage unit 84.
  • the storage unit 84 in which the specific amount information ITGT is stored may or may not be provided in the gripping device 100.
  • the gripping device control unit 90 acquires the specific amount information ITGT by communicating with the storage unit 84 by a communication unit (not shown). After acquiring the specific amount information ITGT , the gripping device control unit 90 proceeds to the process in step S11.
  • Step S11 The gripping device control unit 90 drives the arm unit 180 provided with the gripping unit 1 to bring the gripping unit 1 closer to the gripping object 21.
  • the gripping device control unit 90 advances the process to step S12.
  • Step S12 The imaging unit 30 provided in the gripping unit 1 images the gripping object 21.
  • the gripping device control unit 90 acquires image information I IMG from the image pickup unit 30.
  • the gripping device control unit 90 advances the process to step S13.
  • Step S13 The gripping device control unit 90 compares the specific amount information ITGT acquired from the storage unit 84 with the information indicating the contact state shown in the image information I IMG acquired from the gripping unit 1.
  • the information indicating the contact state may be, for example, the ratio of the image of the object shown in the image information IIMG to the background image.
  • the information indicating the contact state may be the ratio of the area of the object image I11 to the area of the background image I12.
  • the process proceeds to step S19. If the information indicating the contact state indicated by the image information I IMG is not within the range indicated by the specific amount information ITGT (that is, step S13; NO), the process proceeds to step S14.
  • Step S14 The gripping device control unit 90 extracts the difference between the information indicating the contact state shown in the image information I IMG acquired from the gripping unit 1 and the information shown in the specific amount information ITGT.
  • the process proceeds to step S16.
  • the process proceeds to step S18.
  • the gripping device control unit 90 drives and controls at least one of the arm unit 180 or the gripping unit module 10 to a position where the difference is further acquired. That is, the operation of picking up (grasping) more objects to be gripped is performed.
  • the arm portion 180 for example, when the arm portion 180 is moved downward, the contact area between the grip portion module 10 and the gripping object increases, and the gripping amount increases.
  • the grip module 10 for example, if the distance between the grip 1 and the support 2 is narrower than in the state where the grip module 10 is inserted into the mountain of the object to be gripped, the grip amount becomes larger.
  • both the arm portion 180 and the grip portion module 10 may be subjected to the above-mentioned operations to grip more objects to be gripped.
  • the gripping device control unit 90 controls the arm unit 180 and the gripping unit module 10 to be driven as described above, and then proceeds to the process in step S12.
  • the gripping device control unit 90 drives and controls at least one of the arm unit 180 or the gripping unit module 10 to a position where the difference is discarded. That is, the operation of taking (grasping) less of the object to be gripped is performed.
  • the arm portion 180 for example, when the arm portion 180 is moved upward, the contact area between the grip portion module 10 and the gripping object is reduced, and the gripping amount is reduced.
  • the grip module 10 for example, if the distance between the grip 1 and the support 2 is widened so as to return the grip module 10 to the state in which the grip module 10 is inserted into the mountain of the object to be gripped, the grip amount is reduced. Further, both the arm portion 180 and the grip portion module 10 may be operated as described above to grip the gripping object less.
  • the gripping device control unit 90 controls the arm unit 180 and the gripping unit module 10 to be driven as described above, and then proceeds to the process in step S12. (Step S19)
  • the gripping device control unit 90 moves the gripping object 21 to be gripped to a predetermined position while maintaining the gripping state of the gripping unit 1. Maintaining the gripped state means, for example, maintaining the distance L1 between the contact surface 41 of the grip portion 1 and the support surface 42 of the support portion 2.
  • FIG. 8 is a diagram showing an example of control based on the ratio of the object and the background in the embodiment.
  • the gripping device controller 90 a certain amount of information I TGT, as an example of comparison with the information indicating the contact state shown in the image information I IMG, may be a control based on the ratio of the object and the background .
  • An example of control based on the ratio of the object and the background will be described with reference to the figure.
  • the horizontal axis is associated with the "ratio of the object and the background”
  • the vertical axis is associated with the "movement" of the arm unit 180, which is shown in the relational expression W1.
  • the gripping device control unit 90 calculates the ratio between the object and the background shown in the acquired image. In this example, "the ratio of the object to the background” will be described as the ratio of the object to the ratio occupied by the background.
  • the gripping device control unit 90 determines the operation.
  • the gripping device control unit 90 drives the arm unit 180 to take more gripping objects 21.
  • the gripping device control unit 90 drives the arm unit 180 to throw away the gripping object 21.
  • the gripping device control unit 90 is the information shown in the specific amount information, and the information indicating the ratio between the portion showing the background and the portion showing the gripping object and the contact imaged by the imaging unit 30.
  • the arm unit 180 is controlled based on the image showing the state.
  • the relational expression W1 has been described as a linear function, but the relational expression W1 is not limited to this example.
  • the relational expression W1 may be configured to be obtained by a regression model such as a neural network or a support vector machine.
  • FIG. 9 is a diagram showing an example of control based on the edge ratio in the embodiment.
  • the gripping device controller 90 a certain amount of information I TGT, as an example of comparison with the information indicating the contact state shown in the image information I IMG, the control based on the percentage of the edge shown in the image information I IMG You may.
  • the weight shown in the specific amount information ITGT and the ratio of the edges shown in the image information IMG may have a positive correlation. For example, when the focal position of the imaging unit 30 is adjusted to the contact surface 41, the closer (closer) the gripping object 21 is to the contact surface 41, the more the image of the gripping object 21 appears in the image information I IMG.
  • the horizontal axis is associated with the “edge ratio” and the vertical axis is associated with the “operation” of the arm unit 180, which is shown in the relational expression W2.
  • the gripping device control unit 90 calculates the edge of the acquired image. For example, the gripping device control unit 90 calculates the edge of the image shown in the image information I IMG by image processing such as applying a differential filter. In this example, the edge means a portion where the brightness change of the image shown in the image information I IMG is large. When the calculated value is between the reference numerals P23 and the reference numeral P24, the gripping device control unit 90 determines the operation.
  • the gripping device control unit 90 drives the arm unit 180 to take more gripping objects 21.
  • the gripping device control unit 90 drives the arm unit 180 to throw away the gripping object 21.
  • the gripping device control unit 90 sets the information shown in the specific amount information, which indicates the proportion of the portion of the gripping object 21 where the brightness change is large, and the contact state imaged by the imaging unit 30.
  • the arm unit 180 is controlled based on the image shown.
  • the relational expression W2 has been described as a linear function, but the relational expression W2 is not limited to this example.
  • the relational expression W2 may be configured to be obtained by a regression model such as a neural network or a support vector machine.
  • FIG. 10 is a diagram showing an example of control based on the color of the image in the embodiment.
  • the gripping device controller 90 a certain amount of information I TGT, as an example of comparison with the information indicating the contact state shown in the image information I IMG, the control based on the color of the image shown in the image information I IMG You may.
  • An example of control based on the color of the image shown in the image information I IMG will be described with reference to the figure.
  • the gripping device control unit 90 calculates the color of the acquired image. For example, the gripping device control unit 90 calculates the average value of the colors of the images shown in the image information I IMG.
  • color refers to the average color of the image indicated in the image information I IMG, but may be a color of a portion where the object is occupied, based on the color of each point of the image information I IMG It may be configured to perform an operation.
  • the gripping device control unit 90 determines the operation.
  • the gripping device control unit 90 drives the arm unit 180 to take more gripping objects 21.
  • the gripping device control unit 90 drives the arm unit 180 to throw away the gripping object 21.
  • the gripping device control unit 90 is an arm based on the information shown in the specific amount information, which is the information indicating the color of the gripping object 21, and the image indicating the contact state captured by the imaging unit 30.
  • the unit 180 is controlled.
  • the relational expression W3 has been described as a linear function, but the relational expression W3 is not limited to this example.
  • the relational expression W3 may be configured to be obtained by a regression model such as a neural network or a support vector machine.
  • the gripping device 100 of the present embodiment grips a specific amount of the gripping object 21 by including the gripping portion 1 and the arm portion 180.
  • the gripping device control unit 90 controls the arm unit 180 based on the image acquired by the image capturing unit 30 provided in the gripping unit 1.
  • the gripping device control unit 90 controls the arm unit 180 by comparing the information acquired from the storage unit 84 with the information shown in the image acquired by the imaging unit 30. Therefore, the gripping device 100 can grip a specific amount by controlling the arm unit 180 based on the image acquired by the imaging unit 30 provided in the gripping unit 1.
  • the gripping device 100 of the present embodiment includes an imaging unit 30 at a position where the gripping object 21 can be imaged from the back surface of the contact surface 41 of the gripping unit 1.
  • the gripping device 100 of the present embodiment can obtain more information about the gripping object 21 as compared with the case where the camera is provided on the ceiling as in the prior art. Therefore, according to the present embodiment, the gripping device 100 can grip a specific amount more accurately from the gripping object 21.
  • the gripping device 100 of the present embodiment controls the arm portion 180 based on the information indicating the ratio of the portion showing the background and the portion showing the gripping object. Therefore, the gripping device control unit 90 can estimate how much the gripping unit 1 is gripping, and can grip a specific amount.
  • the gripping device 100 of the present embodiment controls the arm portion 180 based on the ratio of the portion where the brightness change of the gripping object 21 is large.
  • the gripping object 21 gripped by the gripping device 100 of the present embodiment may be soft.
  • the weight of the object to be gripped 21 may differ depending on whether it is soft or hard. Therefore, according to the gripping device 100 of the present embodiment, the state of the gripping object 21 (for example, the gripping object 21) is controlled by controlling the arm portion 180 based on the ratio of the portion where the brightness change of the gripping object 21 is large. A specific amount can be estimated according to the softness of the.
  • the gripping device 100 of the present embodiment controls the arm portion 180 based on the color of the gripping object 21.
  • the weight of the gripping object 21 gripped by the gripping device 100 of the present embodiment may differ depending on the color. For example, yellow-green cabbage may be light, dark green cabbage may be heavy, and so on. Therefore, according to the gripping device 100 of the present embodiment, the specific amount can be estimated more accurately by controlling the arm portion 180 based on the color of the gripping object 21.
  • each part included in the gripping device 100 in the above-described embodiment is recorded on a computer-readable recording medium to record a program for realizing these functions on the recording medium. It may be realized by loading the program recorded in the computer system into a computer system and executing the program.
  • the term "computer system” as used herein includes hardware such as an OS and peripheral devices.
  • the "computer-readable recording medium” refers to a portable medium such as a magneto-optical disk, ROM, or CD-ROM, or a storage unit such as a hard disk built in a computer system. Further, a “computer-readable recording medium” is a medium that dynamically holds a program for a short period of time, such as a communication line when a program is transmitted via a network such as the Internet. It may also include a program that holds a program for a certain period of time, such as a volatile memory inside a computer system that serves as a server or a client.
  • the above-mentioned program may be a program for realizing a part of the above-mentioned functions, and may be a program for realizing the above-mentioned functions in combination with a program already recorded in the computer system. ..

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Orthopedic Medicine & Surgery (AREA)
  • Manipulator (AREA)

Abstract

把持装置は、第１の面と、第２の面とを有し、前記第１の面と前記第２の面との間で対象物を把持する把持部モジュールと、前記把持部モジュールの位置を変化させるアーム部と、前記把持部モジュールと共に移動する位置に備えられ、前記対象物のうち少なくとも一部を撮像する撮像部と、特定量の前記対象物と前記第１の面が接触した場合の接触状態を示す特定量情報と、前記撮像部が撮像する接触状態を示す情報とに基づき、把持された前記対象物の量が前記特定量に近づくように、前記把持部モジュール又は前記アーム部の少なくとも一方を制御することが可能な制御部とを備える。

Description

把持装置、制御方法及びプログラム
　本発明は、把持装置、制御方法及びプログラムに関する。
　従来、把持対象物の上部に備えられた撮像部により撮像された画像情報に基づいてロボットハンドを制御することにより、把持対象物を把持する技術が知られている（例えば、特許文献１を参照）。
特開２０１９－１９８９５０号公報
　ここで、惣菜等の柔軟な把持対象物のうち、特定の量をロボットハンドにより把持し、目的の場所まで移動させる要望があった。しかしながら、従来技術によるロボットハンドを用いて、柔軟な把持対象物のうち、特定の量を把持しようとするような場合には、把持対象物の上部に備えられた撮像部が撮像する情報からでは、柔軟な把持対象物の内部の状態まで認識できないという問題があった。
　すなわち、従来手法によると、柔軟な把持対象物のうち、特定の量を推定することが困難であるという問題があった。
　本発明は、このような状況に鑑みてなされたものであり、柔軟な把持対象物のうち、特定の量を把持することができる把持装置、制御方法及びプログラムを提供することを目的とする。
　本発明の一態様に係る把持装置は、第１の面と、第２の面とを有し、前記第１の面と前記第２の面との間で対象物を把持する把持部モジュールと、前記把持部モジュールの位置を変化させるアーム部と、前記把持部モジュールと共に移動する位置に備えられ、前記対象物のうち少なくとも一部を撮像する撮像部と、特定量の前記対象物と前記第１の面が接触した場合の接触状態を示す特定量情報と、前記把持部モジュールが前記対象物の少なくとも一部を把持したときに前記撮像部が撮像する接触状態を示す情報とに基づき、把持された前記対象物の量が前記特定量に近づくように、前記把持部モジュール又は前記アーム部の少なくとも一方を制御することが可能な制御部とを備える。
　また、本発明の一態様に係る把持装置において、前記撮像部は、前記第１の面の裏面側であって、前記対象物を撮像可能な位置に備えられる。
　また、本発明の一態様に係る把持装置において、前記制御部は、前記特定量情報が背景を示す部分と前記対象物を示す部分との割合を示す情報であって、当該情報と、前記把持部モジュールが前記対象物の少なくとも一部を把持したときに前記撮像部が撮像する接触状態を示す情報とに基づいて、前記把持部モジュール又は前記アーム部の少なくとも一方を制御することが可能になっている。
　また、本発明の一態様に係る把持装置において、前記制御部は、前記特定量情報が前記対象物の輝度変化が大きい部分の割合を示す情報であって当該情報と、前記把持部モジュールが前記対象物の少なくとも一部を把持したときに前記撮像部が撮像する接触状態を示す情報とに基づいて、前記把持部モジュール又は前記アーム部の少なくとも一方を制御することが可能になっている。
　また、本発明の一態様に係る把持装置において、前記制御部は、前記特定量情報が前記対象物の色を示す情報であって、当該情報と、前記把持部モジュールが前記対象物の少なくとも一部を把持したときに前記撮像部が撮像する接触状態を示す情報とに基づいて、前記把持部モジュール又は前記アーム部の少なくとも一方を制御することが可能になっている。
　また、本発明の一態様に係る制御方法は、第１の面と、第２の面とを有し、前記第１の面と前記第２の面との間で対象物を把持する把持部モジュールと、前記把持部モジュールの位置を変化させるアーム部と、前記把持部モジュールと共に移動する位置に備えられ、前記対象物のうち少なくとも一部を撮像する撮像部と、を備える把持装置の制御方法であって、特定量の前記対象物と前記第１の面が接触した場合の接触状態を示す特定量情報と、前記把持部モジュールが前記対象物の少なくとも一部を把持したときに前記撮像部が撮像する接触状態を示す情報とに基づき、把持された前記対象物の量が前記特定量に近づくように、前記把持部モジュール又は前記アーム部の少なくとも一方を制御することが可能な制御ステップを含む。
　また、本発明の一態様に係るプログラムは、第１の面と、第２の面とを有し、前記第１の面と前記第２の面との間で対象物を把持する把持部モジュールと、前記把持部モジュールの位置を変化させるアーム部と、前記把持部モジュールと共に移動する位置に備えられ、前記対象物のうち少なくとも一部を撮像する撮像部と、を備える把持装置と接続されたコンピュータに、特定量の前記対象物と前記第１の面が接触した場合の接触状態を示す特定量情報と、前記把持部モジュールが前記対象物の少なくとも一部を把持したときに前記撮像部が撮像する接触状態を示す情報とに基づき、把持された前記対象物の量が前記特定量に近づくように、前記把持部モジュール又は前記アーム部の少なくとも一方を制御することが可能な制御ステップを実行させる。
　本発明によれば、柔軟な把持対象物のうち、特定の量を把持することができる把持装置、制御方法及びプログラムを提供できる。
実施形態における把持装置の一例を示す図である。 実施形態における把持装置が柔軟な把持対象物を把持する場合の一例を示す図である。 実施形態における把持部モジュールの一例を示す図である。 実施形態における把持部の断面図の一例を示す図である。 実施形態における把持装置の機能構成の一例を示す図である。 実施形態における把持部の把持対象物に対する動作を説明するための図である。 実施形態における把持装置の一連の動作の一例を示す図である。 実施形態における対象物と背景の割合に基づく制御の一例を示す図である。 実施形態におけるエッジの割合に基づく制御の一例を示す図である。 実施形態における画像の色彩に基づく制御の一例を示す図である。
［把持装置１００の構成］
　以下、本発明の実施形態について、図面を参照しながら説明する。
　図１は、実施形態における把持装置１００の構成の一例を示す図である。ｘ軸、ｙ軸及びｚ軸の三次元直交座標系によって把持装置１００の姿勢を示す。本実施形態における把持装置１００は、把持対象物と接触することにより把持状態を検出し、把持対象物のうち特定量を把持する。
　本実施形態において、把持装置１００は、把持部モジュール１０と、把持装置制御部９０（または、制御部。以下同じ。）と、先端部１１０と、上腕部１２０と、関節部１３０と、下腕部１４０と、主横軸部１５０と、主縦軸部１６０と、土台部１７０とを備える。先端部１１０と、上腕部１２０と、関節部１３０と、下腕部１４０と、主横軸部１５０と、主縦軸部１６０とを区別しない場合には、アーム部１８０と記載する。
　土台部１７０は、主縦軸部１６０と接続される部位である。
　主縦軸部１６０は、主横軸部１５０と土台部１７０とを繋ぐ部位である。主縦軸部１６０は把持装置制御部９０により制御され、主横軸部１５０を主縦軸部１６０の軸周りに変位させる。
　主横軸部１５０は、下腕部１４０と主縦軸部１６０とを繋ぐ部位である。主横軸部１５０は把持装置制御部９０により制御され、下腕部１４０を主横軸部１５０の軸周りに変位させる。
　下腕部１４０は、関節部１３０と主横軸部１５０とを繋ぐ部位である。
　関節部１３０は、上腕部１２０と下腕部１４０とを繋ぐ部位である。関節部１３０は把持装置制御部９０により制御され、上腕部１２０を関節部１３０の軸周りに変位させる。
　上腕部１２０は、先端部１１０と関節部１３０とを繋ぐ部位である。
　先端部１１０は、把持部モジュール１０と接続される。先端部１１０の姿勢（例えば、位置及び方向）は、把持装置制御部９０によって制御される。把持部モジュール１０の姿勢は、先端部１１０の姿勢が変化することによって変化する。
　なお、アーム部１８０は、把持部モジュール１０の位置をｘ軸、ｙ軸又はｚ軸のいずれかに変化させることができればよく、この一例に限定されない。この一例においては、アーム部１８０は、少なくとも６自由度の自由度を有し、更に把持部モジュール１０が備える把持部１と支持部２との間隔である１自由度を含め、７自由度を有する。
　把持部モジュール１０は、把持対象物の接触状態を検知し、検知した把持対象物の接触状態を示す情報を把持装置制御部９０に出力する。
　把持装置制御部９０は、把持部モジュール１０が出力した情報を取得する。把持装置制御部９０は、アーム部１８０を駆動させ、把持部モジュール１０の位置を変化させる。把持装置制御部９０は、把持部モジュール１０から取得した情報に基づき、把持部モジュール１０の位置を変化させる制御を行う。
　図２は、実施形態における把持装置１００が柔軟な把持対象物２１を把持する場合の一例を示す図である。図２（Ａ）には、把持装置１００が柔軟な把持対象物２１と接触し、接触状態を示す情報を取得する場合の一例を示し、図２（Ｂ）には、把持装置１００が柔軟な把持対象物２１の一部である特定量２２を把持する場合の一例を示す。ｘ軸、ｙ軸及びｚ軸の三次元直交座標系によって把持装置１００の姿勢を示す。
　この一例において、柔軟な把持対象物２１は、容器２０に収容されている。
　図２（Ａ）を参照しながら、把持装置１００が柔軟な把持対象物２１と接触し、接触状態を示す情報を取得する場合の一例を説明する。
　把持装置制御部９０は、アーム部１８０を駆動し、把持対象物２１に対する把持部モジュール１０の位置を変化させる。同図において、把持部モジュール１０は、把持対象物２１に接触している。把持部モジュール１０は、把持部モジュール１０と把持対象物２１との接触状態を示す情報を取得し、把持装置制御部９０に提供する。把持装置制御部９０は、取得した把持部モジュール１０と把持対象物２１との接触状態を示す情報に基づき、アーム部１８０を制御する。
　図２（Ｂ）を参照しながら、把持装置１００が柔軟な把持対象物２１の一部である特定量２２を把持する場合の一例について説明する。
　把持装置制御部９０は、把持部モジュール１０と把持対象物２１との接触状態を示す情報から、把持部モジュール１０が特定量２２を把持しているか否かを判定する。特定量２２を示す情報は、把持装置制御部９０に記憶されていてもよいし、外部の記憶部８４に記憶されていてもよい。
　把持装置制御部９０は、特定量２２を示す情報と、把持部モジュール１０と把持対象物２１との接触状態を示す情報とを比較し、特定量２２の方が小さい場合には、より少ない量を把持するための動作をさせるよう、アーム部１８０及び把持部モジュール１０の少なくとも一方を制御する。このような制御方法は特に限定されない。例えば、把持部モジュール１０を動作させて、把持部１と支持部２との開閉量を変化させることで把持対象物の量を減少させてもよいし、アーム部１８０を上昇させることによっても把持対象物の量を減少させてもよく、さらに、把持部モジュール１０の動作とアーム部１８０の動作を適宜組合わせることによっても、把持対象物の量を減少させてもよい。このような動作制御を行うことによって、把持部モジュール１０と把持対象物２１との接触状態を示す情報を、特定量２２を示す情報に近づくようにして、把持部モジュール１０に把持された把持対象物の量が特定量２２に近づくように制御する。
　把持装置制御部９０は、特定量２２を示す情報と、把持部モジュール１０と把持対象物２１との接触状態を示す情報とを比較し、特定量２２の方が大きい場合には、より多い量を把持するための動作をさせるよう、アーム部１８０及び把持部モジュール１０の少なくとも一方を制御する。このような制御方法は特に限定されない。例えば、把持部モジュール１０を動作させて、把持部１と支持部２との開閉量を変化させることで開閉量を変化させることで、把持対象物の量を増加させてもよいし、アーム部１８０を下降させることによっても把持対象物の量を増加させてもよく、把持部モジュール１０の上記動作とアーム部１８０の動作を適宜組合わせることによっても、把持対象物の量を増加させてもよい。このような動作制御を行うことによって、把持部モジュール１０と把持対象物２１との接触状態を示す情報を、特定量２２を示す情報に近づくようにして、把持部モジュール１０に把持された把持対象物の量が特定量２２に近づくように制御する。
　把持装置制御部９０は、特定量２２を示す情報と、把持部モジュール１０と把持対象物２１との接触状態を示す情報とを比較し、把持部モジュール１０と把持対象物２１との接触状態を示す情報が、特定量２２を示す情報の範囲内にある場合には、把持対象物２１のうちから特定量２２を目標地点まで移動させる。
　例えば、把持装置１００は、容器２０に収容された把持対象物２１のうち特定量２２を、容器２０の外側に位置する目標地点まで移動させる。
　図３は、実施形態における把持部モジュール１０の一例を示す図である。同図を参照しながら、把持部モジュール１０の構成について説明する。ｘ軸、ｙ軸及びｚ軸の三次元直交座標系によって把持部モジュール１０の姿勢を示す。
　把持部モジュール１０は、接続部１１と、把持部１と、支持部２とを備える。
　接続部１１は、先端部１１０と、把持部１と、支持部２とを繋ぐ部位である。
　把持部１は、接続部１１に接続される。把持部１は、把持対象物２１の少なくとも一部に接触する接触面４１を備えている。以後、接触面４１を第１の面とも記載する。
　支持部２は、接続部１１に接続される。支持部２は、把持対象物２１の少なくとも一部に接触する支持面４２を備えている。以後、支持面４２を第２の面とも記載する。
　この一例において、把持部１と支持部２とは、接触面４１と支持面４２とが互いに向きあう位置に配置される。接続部１１は、不図示の駆動装置を備えており、把持装置制御部９０からの把持示に基づき、少なくとも把持部１をｙ軸方向に変位させる。把持部モジュール１０は、少なくとも把持部１をｙ軸方向に駆動させることにより、把持部１及び支持部２の間にある把持対象物２１を把持する。
　なお、この一例において、接続部１１は、把持部１をｙ軸方向に変位させるとして説明するが、支持部２も同様にｙ軸方向に変位するよう構成してもよい。
なお、この一例において、把持部モジュール１０は、把持部１と、支持部２とにより把持対象物２１を把持するとして説明するが、把持部モジュール１０の構成は、この一例に限定されない。例えば、把持部モジュール１０は、複数の把持部１、複数の支持部２又は複数の把持部１と複数の支持部２との組み合わせから構成されていてもよい。この場合、支持面４２（第２の面）は、接触面４１（第１の面）と互いの法線が交わる位置に備えられる。例えば、支持面４２（第２の面）は、接触面４１（第１の面）と対向する位置に備えられる。
　把持部１は、接触面４１（第１の面）と、支持部２の支持面４２（第２の面）とにより、所定量の把持対象物２１のうちの少なくとも一部を把持する。
　図４は、実施形態における把持部１の断面図の一例を示す図である。図４には、図３における把持部１のｘ－ｙ平面上の断面図を示す。ｘ軸、ｙ軸及びｚ軸の三次元直交座標系によって把持部モジュール１０の方向を示す。
　図４（Ａ）は、実施形態における把持部１Ａの断面図の一例を示す図である。図４（Ｂ）は、実施形態における把持部１の変形例である把持部１Ｂの断面図の一例を示す図である。
　なお、支持部２を駆動可能なよう構成する場合には、支持部２を把持部１と同様の構成を有するよう構成してもよい。
　図４（Ａ）を参照しながら、把持部１Ａの構成の一例を説明する。この一例において、把持部１Ａは、把持対象物２１の像を撮像することにより、把持対象物２１と接触面４１との接触状態を検出する。
　この一例における把持部１Ａは、把持部１の一例である。把持部１は、撮像部３０と、接触状態検出部４３と、硬質レイヤ７０と、フレーム５０とを備える。
　フレーム５０は、撮像部３０と、接触状態検出部４３と、硬質レイヤ７０とを保持する。
　接触状態検出部４３は、接触面４１を備える。接触面４１は、把持対象物２１に接触する面である。接触状態検出部４３は、接触面４１に接触する把持対象物２１と、接触面４１との接触状態を検出する。
　例えば、接触面４１に接触する把持対象物２１と、接触面４１との接触状態を、像により検出する場合は、接触状態検出部４３は光を透過させる透明な材質によって構成されていてもよい。
　硬質レイヤ７０は、接触状態検出部４３に接する位置に備えられる。例えば、硬質レイヤ７０は、透明で硬質なアクリル等の材質により構成されていてもよい。
　なお、本実施形態では接触状態検出部４３と硬質レイヤ７０とをそれぞれ別個の構成要素として説明するが、接触状態検出部４３と硬質レイヤ７０とが同一の部材により構成されることで、硬質レイヤ７０を備えないよう構成してもよい。
　撮像部３０は、接触状態検出部４３の表裏両面のうち、把持対象物２１に接触可能な接触面４１の裏側に配置される。ここで、接触状態検出部について、接触面４１を表面、接触面４１の側を表面側、接触面４１の反対面を裏面、接触面４１の反対側を裏面側とする。より具体的には、把持対象物２１が接触する接触面４１（第１の面）の裏面から、把持対象物２１を撮像可能な位置に備えられる。
　なお、この一例において、撮像部３０は把持部１の内部に備えられているとして説明するが、撮像部３０が備えられる位置は、この一例に限定されない。撮像部３０は、アーム部１８０の先端であって把持部モジュール１０と共に移動する位置に備えられていればよい。また、撮像部３０は、把持対象物２１のうち少なくとも一部と、接触面４１（第１の面）との接触状態を示す画像を撮像する位置に備えられていればよい。
　撮像部３０は、接触面４１に接触する把持対象物２１の像を撮像し、撮像した像の情報を、把持装置制御部９０に出力する。
　図４（Ｂ）を参照しながら、把持部１Ｂの構成の一例を説明する。この一例において、把持部１Ｂは、マーカ４５の変位により、把持対象物２１と接触面４１Ｂとの接触状態を検出する。
　この一例における把持部１Ｂは、把持部１の一例である。把持部１Ａと同様の構成については、図４（Ａ）と同様の符号を付し、説明を省略する。
　把持部１Ｂは、接触状態検出部４３Ｂにマーカ４５を備える点において、把持部１Ａとは異なる。接触状態検出部４３Ｂは接触面４１Ｂを備えている。接触状態検出部４３Ｂは、接触状態検出部４３の変形例であり、接触面４１Ｂは、接触面４１の変形例である。
　マーカ４５は、接触状態検出部４３Ｂの所定の位置に複数配置される。この一例においては、マーカ４５とは、接触状態検出部４３Ｂの内部の等間隔に区切られた格子点の位置に配置された不透明部材である。なお、マーカ４５は、接触状態検出部４３Ｂの内部に配置されるとしたがこれに限られず、接触面４１Ｂに備えられていてもよいし、接触面４１Ｂの裏面に備えられていてもよい。また、マーカ４５は、格子点の位置に離散的に配置されるものとして説明するがこれに限られない。マーカ４５は格子パターンやその他の連続的なパターンであってもよい。
　この一例において、接触状態検出部４３Ｂは、接触面である透過部接触面４０に接触した把持対象物２１の形状に沿って少なくとも一部が変形する。例えば、接触状態検出部４３Ｂが透明な材質によって構成される場合、接触状態検出部４３Ｂの具体的な材質としては、厚さが２ミリメートルで約９４パーセントの透過率のシリコーン素材がある。
　接触状態検出部４３Ｂが、把持対象物２１の形状に沿って少なくとも一部が変形することにより、マーカ４５の位置も変位する。把持装置制御部９０は、撮像部３０が撮像するマーカ４５の変位から、把持対象物２１と、接触面４１Ｂとの接触状態を検出する。
　なお、マーカ４５のパターンは、把持対象物２１と、接触面４１Ｂのとの接触状態の検出が容易なように不規則的なパターンであってもよい。なお、マーカ４５は、不透明部材であるとして説明したがこれに限られず、把持対象物が接触したときの変位が光学的に認識できるものであれば半透明部材や透明部材であってもよい。
　なお、接触状態検出部４３は、同図に示した例に限定されない。接触状態検出部４３は、把持対象物２１の接触状態を検出できればよく、例えば。接触状態検出部４３の変形を光の屈折により検出するように構成してもよい。その場合、接触状態検出部４３は、光が接触面４１から接触面４１の裏面に透過しないよう構成されていてもよい。
　図５は、実施形態における把持装置１００の機能構成の一例を示す図である。
　把持装置１００は、把持装置制御部９０と、入力部９２と、出力部９３と、撮像部３０と、アーム部１８０と、把持部１とを、機能構成として備える。
　把持装置制御部９０は、不図示のマイクロコンピュータ、ＲＡＭ(Random access memory)及びＲＯＭ(Read only memory)等のメモリ、及び外部機器との通信を行う通信部等を備える。
　入力部９２は、圧力センサ、位置センサ、温度センサ、及び加速度センサ等のセンサ、カメラ、マイク（いずれも不図示）などから情報を取得する。入力部９２が出力し、把持装置制御部９０が取得する情報を区別しない場合は、入力情報ＩＩＮと記載する。
　出力部９３は、ロボット駆動用のモータ（不図示）などに駆動信号を出力する。把持装置制御部９０が出力部９３に出力する情報を区別しない場合には、出力情報ＩＯＵＴと記載する。
　把持装置制御部９０は、入力部９２から取得する入力情報ＩＩＮに基づき、出力部９３に出力情報ＩＯＵＴを出力する。以後、把持装置制御部９０を、駆動制御部とも記載する。
　撮像部３０は、撮像した像の情報を画像情報ＩＩＭＧとして把持装置制御部９０に出力する。
　把持装置制御部９０は、取得した画像情報ＩＩＭＧに基づき、アーム部１８０及びアーム部１８０の先端に接続される把持部１を駆動する情報を含む駆動情報ＩＤＲＶを出力する。具体的には、把持装置制御部９０は、特定量の把持対象物２１と接触面４１（第１の面）が接触した場合の接触状態を示す特定量情報ＩＴＧＴと、把持部モジュール１０が把持対象物２１の少なくとも一部を把持したときに撮像部３０が撮像する接触状態を示す情報とに基づき、把持された把持対象物２１の量が特定量情報ＩＴＧＴに示される情報に近づくように、把持部モジュール１０及びアーム部１８０のうち少なくとも一方を駆動する。より具体的には、把持装置制御部９０は、特定量情報ＩＴＧＴに示される情報と、画像情報ＩＩＭＧに示される情報とを比較し、比較した結果に基づき駆動情報ＩＤＲＶを出力し、把持部モジュール１０及びアーム部１８０のうち少なくとも一方を駆動する。
　ここで、特定量情報ＩＴＧＴは、記憶部８４に記憶されていてもよい。具体的には、特定量情報ＩＴＧＴは、特定量の把持対象物２１と接触面４１（第１の面）が接触した場合の接触状態を示す情報である。特定量とは、把持装置１００が把持の目標とする量のことである。特定量は、重量であってもよいし、体積であってもよい。
　記憶部８４は、把持装置１００に備えられていてもよい。
　なお、把持装置１００は、複数回の把持の結果、特定量情報ＩＴＧＴと実際の特定量との間に誤差があることを学習した場合には、特定量更新情報ＩＦＢを記憶部８４に出力することにより、記憶部８４に記憶される特定量情報ＩＴＧＴを更新するよう構成してもよい。
　図６は、実施形態における把持部１の把持対象物２１に対する動作を説明するための図である。
　図６（Ａ）は、把持部１が把持対象物２１に接触した場合の、把持装置１００の、ｘ－ｚ平面における断面図である。図６（Ｂ）は、把持部１が備える撮像部３０が撮像する画像Ｉ１０の一例を示す図である。図６（Ｃ）は、支持部２が撮像部３０を備える場合において、支持部２の撮像部３０が撮像する画像Ｉ２０の一例を示す図である。
　図６（Ａ）を参照しながら、把持部１の把持対象物２１に対する動作を説明する。
　把持装置制御部９０は、アーム部１８０を、ｘ軸方向、ｙ軸方向及びｚ軸方向の変位と、それぞれの軸の周囲を回転可能に制御する。また、把持装置制御部９０は、把持部１の接触面４１と、支持部２の支持面４２との間の距離Ｌ１を制御する。つまり、把持部１は、６自由度に１自由度を加えた７自由度を有する。
　把持装置制御部９０は、把持部１の把持対象物２１に対する位置を変化させることにより、把持する量が特定量となるよう調整する
　把持部１に備えられた撮像部３０は、接触面４１の画像を撮像する。
　図６（Ｂ）は、把持部１に備えられた撮像部３０が撮像する把持対象物２１の画像Ｉ１０の一例である。画像Ｉ１０をｙｃ軸及びｚｃ軸の二次元直交座標系によって示す。ｙｃ－ｚｃ平面は、図６（Ａ）においてｙ－ｚ平面が撮像された画像面を示す。
　画像Ｉ１０において、把持対象物２１が占める部分を対象物画像Ｉ１１とする。画像Ｉ１０において、背景が占める部分を背景画像Ｉ１２とする。背景とは、把持対象物２１が撮像されていない部分である。
　なお、支持部２は、把持部１と同様の構成を有していてもよい。この一例において、支持部２は、把持部１と同様の構成を有している場合について説明する。支持部２が把持部１と同様の構成を有している場合、支持部２は、撮像部３０を有する。
　図６（Ｃ）は、支持部２に備えられた撮像部３０が撮像する把持対象物２１の画像Ｉ２０である。画像Ｉ２０をｙｃ軸及びｚｃ軸の二次元直交座標系によって示す。ｙｃ－ｚｃ平面は、図６（Ａ）においてｙ－ｚ平面が撮像された画像面を示す。
　画像Ｉ２０において、把持対象物２１が占める部分を対象物画像Ｉ２１とする。画像Ｉ２０において、背景が占める部分を背景画像Ｉ２２とする。背景とは、把持対象物２１が撮像されていない部分である。
　図７は、実施形態における把持装置１００の一連の動作の一例を示す図である。同図を参照しながら、把持装置１００の一連の動作について説明する。
（ステップＳ１０）把持装置制御部９０は、記憶部８４から、把持の目標とする特定量を示す情報である特定量情報ＩＴＧＴを取得する。特定量情報ＩＴＧＴが記憶される記憶部８４は、把持装置１００に備えられていてもよいし、把持装置１００に備えられていなくてもよい。記憶部８４が把持装置１００に備えられていない場合、把持装置制御部９０は、不図示の通信部により、記憶部８４と通信を行うことにより、特定量情報ＩＴＧＴを取得する。把持装置制御部９０は、特定量情報ＩＴＧＴを取得した後、処理をステップＳ１１に進める。
（ステップＳ１１）把持装置制御部９０は、把持部１が備えられたアーム部１８０を駆動し、把持部１を把持対象物２１に近づける。把持装置制御部９０は、処理をステップＳ１２に進める。
（ステップＳ１２）把持部１に備えられた撮像部３０は、把持対象物２１を撮像する。把持装置制御部９０は、撮像部３０から、画像情報ＩＩＭＧを取得する。把持装置制御部９０は、処理をステップＳ１３に進める。
（ステップＳ１３）把持装置制御部９０は、記憶部８４から取得した特定量情報ＩＴＧＴと、把持部１から取得した画像情報ＩＩＭＧに示される接触状態を示す情報とを比較する。ここで、接触状態を示す情報とは、例えば、画像情報ＩＩＭＧに示される対象物の画像と、背景の画像との割合であってもよい。画像情報ＩＩＭＧが画像Ｉ１０である場合、接触状態を示す情報とは、対象物画像Ｉ１１の面積と、背景画像Ｉ１２の面積との割合であってもよい。
　画像情報ＩＩＭＧに示される接触状態を示す情報が、特定量情報ＩＴＧＴが示す範囲内にある場合（つまり、ステップＳ１３；ＹＥＳ）には、処理をステップＳ１９に進める。画像情報ＩＩＭＧに示される接触状態を示す情報が、特定量情報ＩＴＧＴが示す範囲内にない場合（つまり、ステップＳ１３；ＮＯ）には、処理をステップＳ１４に進める。
（ステップＳ１４）把持装置制御部９０は、把持部１から取得した画像情報ＩＩＭＧに示される接触状態を示す情報と、特定量情報ＩＴＧＴに示される情報との差分を抽出する。把持部１から取得した画像情報ＩＩＭＧに示される接触状態を示す情報が、特定量情報ＩＴＧＴに示される情報より小さい場合（つまり、ステップＳ１４；ＹＥＳ）には、処理をステップＳ１６に進める。把持部１から取得した画像情報ＩＩＭＧに示される接触状態を示す情報が、特定量情報ＩＴＧＴに示される情報より大きい場合（つまり、ステップＳ１４；ＮＯ）には、処理をステップＳ１８に進める。
（ステップＳ１６）把持装置制御部９０は、アーム部１８０又は把持部モジュール１０の少なくとも一方を駆動させて制御することにより、その差分をさらに取得する位置に駆動する。すなわち、把持対象物をより多く取る（把持する）動作をする。具体的には、アーム部１８０に関しては、例えば下方にずらすと把持部モジュール１０と把持対象物との接触面積が増大し把持量が多くなる。把持部モジュール１０に関しては、例えば把持対象物の山に把持部モジュール１０を挿入した状態よりも把持部１及び支持部２の間隔を狭くすると把持量が多くなる。さらに、アーム部１８０及び把持部モジュール１０の両方につき上記それぞれの動作をさせて把持対象物をより多く把持するようにしてもよい。把持装置制御部９０は、アーム部１８０や把持部モジュール１０を上記のように駆動させる制御をした後、処理をステップＳ１２に進める。
（ステップＳ１８）把持装置制御部９０は、アーム部１８０又は把持部モジュール１０の少なくとも一方を駆動させて制御することにより、その差分を捨てる位置に駆動する。すなわち、把持対象物をより少なく取る（把持する）動作をする。具体的には、アーム部１８０に関しては、例えば上方にずらすと把持部モジュール１０と把持対象物との接触面積が減り把持量が少なくなる。把持部モジュール１０に関しては、例えば把持対象物の山に把持部モジュール１０を挿入した状態に戻すように把持部１及び支持部２の間隔を広げるようにすると把持量が少なくなる。さらに、アーム部１８０及び把持部モジュール１０の両方につき上記それぞれの動作をさせて把持対象物をより少なく把持するようにしてもよい。把持装置制御部９０は、アーム部１８０や把持部モジュール１０を上記のように駆動させる制御をした後、処理をステップＳ１２に進める。
（ステップＳ１９）把持装置制御部９０は、把持部１の把持状態を維持したまま、把持している把持対象物２１を所定の位置まで移動させる。把持状態を維持とは、例えば、把持部１の接触面４１と、支持部２の支持面４２との間の距離Ｌ１を維持することをいう。
［対象物と背景の割合に基づく制御の一例］
　図８は、実施形態における対象物と背景の割合に基づく制御の一例を示す図である。
　ここで、把持装置制御部９０は、特定量情報ＩＴＧＴと、画像情報ＩＩＭＧに示される接触状態を示す情報との比較の一例として、対象物と背景の割合に基づく制御をしてもよい。同図を参照しながら、対象物と背景の割合に基づく制御の一例について説明する。
　同図において、横軸には“対象物と背景の割合”が、縦軸にはアーム部１８０の“動作”が対応付けられて、関係式Ｗ１に示される。
　把持装置制御部９０は、取得した画像に示される対象物と背景の割合を算出する。この一例において、“対象物と背景の割合”は、背景が占める割合に対する対象物の割合として説明する。把持装置制御部９０は、算出した値が符号Ｐ１３から符号Ｐ１４の間にある場合、動作を確定する。把持装置制御部９０は、算出した値が、符号Ｐ１３より小さい場合、アーム部１８０を駆動し、把持対象物２１をより多く取る動作をさせる。把持装置制御部９０は、算出した値が、符号Ｐ１４より大きい場合、アーム部１８０を駆動し、把持対象物２１を捨てる動作をさせる。
　つまり、この一例において、把持装置制御部９０は、特定量情報に示される情報であって、背景を示す部分と把持対象物を示す部分との割合を示す情報と、撮像部３０が撮像する接触状態を示す画像とに基づいて、アーム部１８０を制御する。
　なお、この一例において、関係式Ｗ１は１次関数であるとして説明したが、関係式Ｗ１はこの一例に限定されない。関係式Ｗ１は、ニューラルネットワーク、サポートベクタマシン等の回帰モデルにより求められるよう構成してもよい。
［エッジの割合に基づく制御の一例］
　図９は、実施形態におけるエッジの割合に基づく制御の一例を示す図である。
　ここで、把持装置制御部９０は、特定量情報ＩＴＧＴと、画像情報ＩＩＭＧに示される接触状態を示す情報との比較の一例として、画像情報ＩＩＭＧに示されるエッジの割合に基づく制御をしてもよい。
　具体的には、特定量情報ＩＴＧＴに示される重量と、画像情報ＩＩＭＧに示されるエッジの割合とは、正の相関を有している場合がある。例えば、撮像部３０の焦点位置が、接触面４１に調整されている場合において、把持対象物２１が接触面４１に近づく（密着する）ほど、画像情報ＩＩＭＧには把持対象物２１の像が鮮明に撮像されるため、画像情報ＩＩＭＧに示されるエッジの割合は増加する。一方、把持対象物２１が接触面４１から遠ざかる（密着度が減る）ほど、ボケ量が増加するため画像情報ＩＩＭＧに示されるエッジの割合は減少する。すなわち、画像情報ＩＩＭＧに示されるエッジの割合と、把持対象物２１と接触面４１との距離には相関がある。より多くの把持対象物２１が、接触面４１に密着しているほど、重量は多くなることから、特定量情報ＩＴＧＴに示される重量と、画像情報ＩＩＭＧに示されるエッジの割合とは、正の相関を有している場合がある。
　同図を参照しながら、画像情報ＩＩＭＧに示されるエッジの割合に基づく制御の一例について説明する。
　同図において、横軸には“エッジの割合”が、縦軸にはアーム部１８０の“動作”が対応付けられて、関係式Ｗ２に示される。
　把持装置制御部９０は、取得した画像のエッジを算出する。例えば、把持装置制御部９０は、微分フィルタを適用ずる等の画像処理により、画像情報ＩＩＭＧに示される画像のエッジを算出する。この一例において、エッジとは、画像情報ＩＩＭＧに示される画像の輝度変化が大きい部分をいう。把持装置制御部９０は、算出した値が符号Ｐ２３から符号Ｐ２４の間にある場合、動作を確定する。把持装置制御部９０は、算出した値が、符号Ｐ２３より小さい場合、アーム部１８０を駆動し、把持対象物２１をより多く取る動作をさせる。把持装置制御部９０は、算出した値が、符号Ｐ２４より大きい場合、アーム部１８０を駆動し、把持対象物２１を捨てる動作をさせる。
　つまり、この一例において、把持装置制御部９０は、特定量情報に示される情報であって、把持対象物２１の輝度変化が大きい部分の割合を示す情報と、撮像部３０が撮像する接触状態を示す画像とに基づいてアーム部１８０を制御する。
　なお、この一例において、関係式Ｗ２は１次関数であるとして説明したが、関係式Ｗ２はこの一例に限定されない。関係式Ｗ２は、ニューラルネットワーク、サポートベクタマシン等の回帰モデルにより求められるよう構成してもよい。
［画像の色彩に基づく制御の一例］
　図１０は、実施形態における画像の色彩に基づく制御の一例を示す図である。
　ここで、把持装置制御部９０は、特定量情報ＩＴＧＴと、画像情報ＩＩＭＧに示される接触状態を示す情報との比較の一例として、画像情報ＩＩＭＧに示される画像の色彩に基づく制御をしてもよい。同図を参照しながら、画像情報ＩＩＭＧに示される画像の色彩に基づく制御の一例について説明する。
　同図において、横軸には“Ｒ”が、縦軸にはアーム部１８０の“動作”が対応付けられて、関係式Ｗ３に示される。この一例において色彩がＲ（赤色）である場合について説明するが、ＲＧＢの３軸に基づいた関係式を利用してもよい。
　把持装置制御部９０は、取得した画像の色彩を算出する。例えば、把持装置制御部９０は、画像情報ＩＩＭＧに示される画像の色彩の平均値を算出する。この一例において、色彩とは、画像情報ＩＩＭＧに示される画像の平均の色彩をいうが、対象物が占める部分の色彩であってもよいし、画像情報ＩＩＭＧの各点の色彩に基づいた動作を行うよう構成してもよい。
　把持装置制御部９０は、算出した値が符号Ｐ３３から符号Ｐ３４の間にある場合、動作を確定する。把持装置制御部９０は、算出した値が、符号Ｐ３３より小さい場合、アーム部１８０を駆動し、把持対象物２１をより多く取る動作をさせる。把持装置制御部９０は、算出した値が、符号Ｐ３４より大きい場合、アーム部１８０を駆動し、把持対象物２１を捨てる動作をさせる。
　つまり、この一例において、把持装置制御部９０は、特定量情報に示される情報であって、把持対象物２１の色を示す情報と撮像部３０が撮像する接触状態を示す画像とに基づいてアーム部１８０を制御する。
　なお、この一例において、関係式Ｗ３は１次関数であるとして説明したが、関係式Ｗ３はこの一例に限定されない。関係式Ｗ３は、ニューラルネットワーク、サポートベクタマシン等の回帰モデルにより求められるよう構成してもよい。
［実施形態の効果のまとめ］
　以上説明したように、本実施形態の把持装置１００は、把持部１と、アーム部１８０とを備えることにより、把持対象物２１のうち特定量を把持する。把持装置制御部９０は、把持部１に備えられた撮像部３０により取得された画像に基づき、アーム部１８０を制御する。把持装置制御部９０は、記憶部８４から取得した情報と、撮像部３０により取得された画像に示される情報とを比較し、アーム部１８０を制御する。
　したがって、把持装置１００は、把持部１に備えられた撮像部３０により取得された画像に基づき、アーム部１８０を制御することにより、特定量を把持することができる。
　また、本実施形態の把持装置１００は、把持部１の接触面４１の裏面から把持対象物２１を撮像可能な位置に撮像部３０を備える。
　例えば、従来技術のように、カメラが天井に備えられた場合と比較して、本実施形態の把持装置１００は、把持対象物２１について、より多くの情報を得ることができる。
　したがって、本実施形態によれば、把持装置１００は、把持対象物２１の中からより正確に特定量を把持することができる。
　また、本実施形態の把持装置１００は、背景を示す部分と把持対象物を示す部分との割合を示す情報に基づいて、アーム部１８０を制御する。
　したがって、把持装置制御部９０は、把持部１がどの程度の量を把持しているか推定することができ、特定量を把持することができる。
　また、本実施形態の把持装置１００は、把持対象物２１の輝度変化が大きい部分の割合に基づいてアーム部１８０を制御する。
　ここで、本実施形態の把持装置１００が把持する把持対象物２１は、柔らかいものである場合がある。把持対象物２１が柔らかいものである場合と、硬いものである場合において、重さが違う場合がある。
　したがって、本実施形態の把持装置１００によれば、把持対象物２１の輝度変化が大きい部分の割合に基づいてアーム部１８０を制御することにより、把持対象物２１の状態（例えば、把持対象物２１の柔らかさ）に応じて、特定量を推定することができる。
　また、本実施形態の把持装置１００は、把持対象物２１の色彩に基づいてアーム部１８０を制御する。
　ここで、本実施形態の把持装置１００が把持する把持対象物２１は、色彩に応じて重さが違う場合がある。例えば、黄緑のキャベツは軽く、深緑のキャベツは重い等の場合があり得る。
　したがって、本実施形態の把持装置１００によれば、把持対象物２１の色彩に基づいてアーム部１８０を制御することにより、より正確に特定量を推定することができる。
　なお、上述した実施形態における把持装置１００が備える各部の機能の全体あるいはその機能の一部は、これらの機能を実現するためのプログラムをコンピュータにより読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。
　また、「コンピュータにより読み取り可能な記録媒体」とは、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶部のことをいう。さらに、「コンピュータにより読み取り可能な記録媒体」とは、インターネット等のネットワークを介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また、上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよい。
　以上、本発明を実施するための形態について実施形態を用いて説明したが、本発明はこうした実施形態に何ら限定されるものではなく、本発明の趣旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。
１…把持部、２…支持部、１０…把持部モジュール、１１…接続部、１００…把持装置、２０…容器、２１…把持対象物、２２…特定量、１１０…先端部、１２０…上腕部、１３０…関節部、１４０…下腕部、１５０…主横軸部、１６０…主縦軸部、１７０…土台部、１８０…アーム部、９０…把持装置制御部、３０…撮像部、４１…接触面、４２…支持面、４３…接触状態検出部、４５…マーカ、５０…フレーム、７０…硬質レイヤ、９２…入力部、９３…出力部、８４…記憶部

Claims (7)

  1. 　第１の面と、第２の面とを有し、前記第１の面と前記第２の面との間で対象物を把持する把持部モジュールと、
    　前記把持部モジュールの位置を変化させるアーム部と、
    　前記把持部モジュールと共に移動する位置に備えられ、前記対象物のうち少なくとも一部を撮像する撮像部と、
    　特定量の前記対象物と前記第１の面が接触した場合の接触状態を示す特定量情報と、前記把持部モジュールが前記対象物の少なくとも一部を把持したときに前記撮像部が撮像する接触状態を示す情報とに基づき、把持された前記対象物の量が前記特定量に近づくように、前記把持部モジュール又は前記アーム部の少なくとも一方を制御することが可能な制御部と
    　を備える把持装置。
  2. 　前記撮像部は、
    　前記第１の面の裏面側であって、前記対象物を撮像可能な位置に備えられる
    　請求項１に記載の把持装置。
  3. 　前記制御部は、
    　前記特定量情報が背景を示す部分と前記対象物を示す部分との割合を示す情報であって、当該情報と、前記把持部モジュールが前記対象物の少なくとも一部を把持したときに前記撮像部が撮像する接触状態を示す情報とに基づいて、前記把持部モジュール又は前記アーム部の少なくとも一方を制御することが可能になっている
    　請求項１又は請求項２に記載の把持装置。
  4. 　前記制御部は、
    　前記特定量情報が前記対象物の輝度変化が大きい部分の割合を示す情報であって、当該情報と、前記把持部モジュールが前記対象物の少なくとも一部を把持したときに前記撮像部が撮像する接触状態を示す情報とに基づいて、前記把持部モジュール又は前記アーム部の少なくとも一方を制御することが可能になっている
    　請求項１から請求項３のいずれか一項に記載の把持装置。
  5. 　前記制御部は、
    　前記特定量情報が前記対象物の色を示す情報であって、当該情報と、前記把持部モジュールが前記対象物の少なくとも一部を把持したときに前記撮像部が撮像する接触状態を示す情報とに基づいて、前記把持部モジュール又は前記アーム部の少なくとも一方を制御することが可能になっている
    　請求項１から請求項４のいずれか一項に記載の把持装置。
  6. 　第１の面と、第２の面とを有し、前記第１の面と前記第２の面との間で対象物を把持する把持部モジュールと、
    　前記把持部モジュールの位置を変化させるアーム部と、
    　前記把持部モジュールと共に移動する位置に備えられ、前記対象物のうち少なくとも一部を撮像する撮像部と、
    　を備える把持装置の制御方法であって、
    　特定量の前記対象物と前記第１の面が接触した場合の接触状態を示す特定量情報と、前記把持部モジュールが前記対象物の少なくとも一部を把持したときに前記撮像部が撮像する接触状態を示す情報とに基づき、把持された前記対象物の量が前記特定量に近づくように、前記把持部モジュール又は前記アーム部の少なくとも一方を制御することが可能な制御ステップ
    　を含む制御方法。
  7. 　第１の面と、第２の面とを有し、前記第１の面と前記第２の面との間で対象物を把持する把持部モジュールと、
    　前記把持部モジュールの位置を変化させるアーム部と、
    　前記把持部モジュールと共に移動する位置に備えられ、前記対象物のうち少なくとも一部を撮像する撮像部と、
    　を備える把持装置と接続されたコンピュータに、
    　特定量の前記対象物と前記第１の面が接触した場合の接触状態を示す特定量情報と、前記把持部モジュールが前記対象物の少なくとも一部を把持したときに前記撮像部が撮像する接触状態を示す情報とに基づき、把持された前記対象物の量が前記特定量に近づくように、前記把持部モジュール又は前記アーム部の少なくとも一方を制御することが可能な制御ステップ
    　を実行させるプログラム。
PCT/JP2019/049141 2019-12-16 2019-12-16 把持装置、制御方法及びプログラム WO2021124388A1 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
EP19956491.5A EP4079469A4 (en) 2019-12-16 2019-12-16 GRIPPER DEVICE, CONTROL METHOD AND PROGRAM
PCT/JP2019/049141 WO2021124388A1 (ja) 2019-12-16 2019-12-16 把持装置、制御方法及びプログラム
US17/783,162 US20230017869A1 (en) 2019-12-16 2019-12-16 Grasping device, control method, and program
CN201980102943.6A CN114845845A (zh) 2019-12-16 2019-12-16 把持装置、控制方法和程序
KR1020227019770A KR20220115945A (ko) 2019-12-16 2019-12-16 파지 장치, 제어 방법 및 프로그램
JP2021565160A JP7385303B2 (ja) 2019-12-16 2019-12-16 把持装置、制御方法及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2019/049141 WO2021124388A1 (ja) 2019-12-16 2019-12-16 把持装置、制御方法及びプログラム

Publications (1)

Publication Number Publication Date
WO2021124388A1 true WO2021124388A1 (ja) 2021-06-24

Family

ID=76478566

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/049141 WO2021124388A1 (ja) 2019-12-16 2019-12-16 把持装置、制御方法及びプログラム

Country Status (6)

Country Link
US (1) US20230017869A1 (ja)
EP (1) EP4079469A4 (ja)
JP (1) JP7385303B2 (ja)
KR (1) KR20220115945A (ja)
CN (1) CN114845845A (ja)
WO (1) WO2021124388A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005257343A (ja) * 2004-03-09 2005-09-22 Nagoya Industrial Science Research Inst 光学式触覚センサ、光学式触覚センサを利用したセンシング方法、センシングシステム、物体操作力制御方法、物体操作力制御装置、物体把持力制御装置及びロボットハンド
JP2018027581A (ja) * 2016-08-17 2018-02-22 株式会社安川電機 ピッキングシステム
JP2019025646A (ja) * 2017-07-25 2019-02-21 株式会社ケー・デー・イー 分配装置、盛付システム及び学習データ生成装置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5239987B2 (ja) * 2009-03-24 2013-07-17 株式会社豊田自動織機 ロボットハンド用撮像装置内蔵フィンガ
JP5505138B2 (ja) * 2010-07-05 2014-05-28 株式会社安川電機 ロボット装置およびロボット装置による把持方法
JP6111700B2 (ja) * 2013-01-30 2017-04-12 セイコーエプソン株式会社 ロボット制御方法、ロボット制御装置、ロボットおよびロボットシステム
JP2015226968A (ja) * 2014-06-02 2015-12-17 セイコーエプソン株式会社 ロボット、ロボットシステム、制御装置、及び制御方法
JP2018034243A (ja) * 2016-08-31 2018-03-08 セイコーエプソン株式会社 ロボット、ロボット制御装置、及びロボットシステム
JP6534126B2 (ja) * 2016-11-22 2019-06-26 パナソニックＩｐマネジメント株式会社 ピッキングシステム及びその制御方法
JP6560443B2 (ja) * 2017-06-21 2019-08-14 株式会社齋藤創造研究所 マニピュレーターおよびロボット
JP7035364B2 (ja) * 2017-08-02 2022-03-15 日本精工株式会社 ボールねじ装置及び電動パワーステアリング装置
JP6836606B2 (ja) 2018-04-24 2021-03-03 ファナック株式会社 ロボット制御装置およびシステム
JP6725587B2 (ja) 2018-05-18 2020-07-22 ファナック株式会社 バラ積みされたワークを取り出すロボットシステムおよびロボットシステムの制御方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005257343A (ja) * 2004-03-09 2005-09-22 Nagoya Industrial Science Research Inst 光学式触覚センサ、光学式触覚センサを利用したセンシング方法、センシングシステム、物体操作力制御方法、物体操作力制御装置、物体把持力制御装置及びロボットハンド
JP2018027581A (ja) * 2016-08-17 2018-02-22 株式会社安川電機 ピッキングシステム
JP2019025646A (ja) * 2017-07-25 2019-02-21 株式会社ケー・デー・イー 分配装置、盛付システム及び学習データ生成装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
DONLON, ELLIOTT ET AL.: "GelSlim: A High-Resolution, Compact, Robust, and Calibrated Tactile-sensing Finger", 2018 IEEE /RSJ INTERNATIONAL CONFERENCE ON INTELLIGENT ROBOTS AND SYSTEMS (IROS, 2018, pages 1927 - 1934, XP033490904, DOI: 10.1109/IROS.2018.8593661 *
See also references of EP4079469A4 *

Also Published As

Publication number Publication date
JP7385303B2 (ja) 2023-11-22
US20230017869A1 (en) 2023-01-19
KR20220115945A (ko) 2022-08-19
CN114845845A (zh) 2022-08-02
JPWO2021124388A1 (ja) 2021-06-24
EP4079469A1 (en) 2022-10-26
EP4079469A4 (en) 2023-09-13

Similar Documents

Publication Publication Date Title
US11975446B2 (en) Sensorized robotic gripping device
US11752625B2 (en) Robot grip detection using non-contact sensors
US20230018498A1 (en) Software Compensated Robotics
US11691273B2 (en) Generating a model for an object encountered by a robot
JP6921151B2 (ja) ロボットの把持のための深層機械学習方法および装置
US10913151B1 (en) Object hand-over between robot and actor
WO2018100760A1 (ja) 上肢動作支援装置及び上肢動作支援システム
JP2007216381A (ja) ロボット
Shimonomura et al. Robotic grasp control with high-resolution combined tactile and proximity sensing
US10052767B2 (en) Robot, control device, and control method
JP6042291B2 (ja) ロボット、ロボット制御方法、及びロボット制御プログラム
JP7481427B2 (ja) 取り出しシステム及び方法
WO2021124388A1 (ja) 把持装置、制御方法及びプログラム
CN113021391A (zh) 一种集成视觉机器人夹爪及其使用方法
JP2006007390A (ja) 撮像装置、撮像方法、撮像プログラム、撮像プログラムを記録したコンピュータ読取可能な記録媒体
JPH10128689A (ja) 無人移動体の視覚補正装置
Kragic et al. Biologically motivated visual servoing and grasping for real world tasks
WO2021001992A1 (ja) 触覚センサ、触覚センサシステム及びプログラム
JP2020131296A (ja) 制御装置及びプログラム
WO2022030242A1 (ja) 情報処理装置、情報処理方法、およびプログラム
WO2023171687A1 (ja) ロボット制御装置及びロボット制御方法
CN111788041B (zh) 由机器人基于使用(一个或多个)机器学习模型确定的抓取策略对物体的抓取

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19956491

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021565160

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2019956491

Country of ref document: EP

Effective date: 20220718