WO2023218568A1 - エンドエフェクタ - Google Patents

エンドエフェクタ Download PDF

Info

Publication number
WO2023218568A1
WO2023218568A1 PCT/JP2022/019977 JP2022019977W WO2023218568A1 WO 2023218568 A1 WO2023218568 A1 WO 2023218568A1 JP 2022019977 W JP2022019977 W JP 2022019977W WO 2023218568 A1 WO2023218568 A1 WO 2023218568A1
Authority
WO
WIPO (PCT)
Prior art keywords
moving member
contact
end effector
area
contact moving
Prior art date
Application number
PCT/JP2022/019977
Other languages
English (en)
French (fr)
Inventor
佳典 原田
泰子 中谷
Original Assignee
ヤマハ発動機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ヤマハ発動機株式会社 filed Critical ヤマハ発動機株式会社
Priority to PCT/JP2022/019977 priority Critical patent/WO2023218568A1/ja
Priority to US18/505,828 priority patent/US20240075635A1/en
Publication of WO2023218568A1 publication Critical patent/WO2023218568A1/ja

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J15/00—Gripping heads and other end effectors
    • B25J15/0028—Gripping heads and other end effectors with movable, e.g. pivoting gripping jaw surfaces
    • A—HUMAN NECESSITIES
    • A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01D—HARVESTING; MOWING
    • A01D46/00—Picking of fruits, vegetables, hops, or the like; Devices for shaking trees or shrubs
    • A01D46/30—Robotic devices for individually picking crops
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/021—Optical sensing devices
    • B25J19/023—Optical sensing devices including video camera means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1612—Programme controls characterised by the hand, wrist, grip control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1628—Programme controls characterised by the control loop
    • B25J9/1653—Programme controls characterised by the control loop parameters identification, estimation, stiffness, accuracy, error analysis
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/45—Nc applications
    • G05B2219/45003—Harvester
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/45—Nc applications
    • G05B2219/45105—Fruit picker, pruner, end effector is a platform for an operator

Definitions

  • the present invention relates to an end effector that captures an object.
  • Fruits such as strawberries and grapes, and green and yellow vegetables such as asparagus and tomatoes are more delicate and easily damaged than grains such as rice and wheat, and their unit prices are higher. These delicate and expensive crops are harvested by hand, one by one, to avoid damage during harvest. Therefore, harvesting fruits, green and yellow vegetables, etc. places a greater physical burden on producers compared to grains, etc., which can be harvested efficiently and on a large scale using harvesting machines such as combines. Harvesting work is physically taxing, so securing labor is difficult, and the burden on producers tends to increase. Therefore, a crop harvesting system using an articulated robot arm is known.
  • the crop harvesting system is provided with a working device for harvesting crops, an image processing device, etc. at the tip of an articulated robot arm.
  • the harvesting system uses an image processing device to specify the position of a crop to be harvested, and uses a working device to perform harvesting work.
  • the individual shapes, ripening conditions, etc. of crops differ depending on the crop to be harvested. Therefore, in a harvesting system in which the stroke of the claws or the like operated when harvesting crops is always constant, it may not be possible to properly harvest crops that are ripening in various shapes and under various conditions.
  • the cotton harvesting system described in Patent Document 1 includes a robot arm, a picking section (end effector) that harvests cotton, a stereo camera, and a control device.
  • the picking section and the stereo camera are supported by the robot arm.
  • the picking section includes a plurality of claws that open and close when harvesting cotton, and a motor that opens and closes the claws.
  • the control device of the harvesting system calculates the position and size of the captured cotton from the image of the cotton captured by the stereo camera.
  • the control device adjusts the open position and closed position of the claw according to the size of the cotton. In this way, the cotton harvesting system can reliably harvest cotton by changing the open and closed positions of the claws based on the size of the cotton.
  • the opening position of the claw of the picking section is adjusted based on the size of the crop. That is, the harvesting system does not adjust the opening position of the claws in consideration of the conditions of leaves, cobs, main stems, branches, etc. located around the crop. Therefore, in the harvesting system, in the process of the picking unit approaching the crop, the picking unit comes into contact with leaves, cobs, main stems, branches, etc. located within the moving space in which the claws of the picking unit move, and the picking unit comes into contact with leaves, cobs, main stems, branches, etc. There was a high possibility of damaging the axis, main stem, branches, etc.
  • leaves, cobs, main stems, branches, etc. around the crop may become obstacles for the claws of the picking section, making it impossible to bring the picking section close to the harvesting position.
  • the harvesting system adjusts the opening position of the claws of the picking section based on the size of the crop, the range in which the picking section can capture the crops is greater than when the claws are opened to the maximum extent. becomes narrower. Therefore, in the harvesting system, if the calculation error in the position of the crop calculated based on the image captured by the stereo camera is large, or if the positioning accuracy of the picking unit with respect to the crop is low, the picking unit may not be able to capture the crop. there were.
  • the harvesting system calculates the position of the crop with high precision in order to capture the crop while avoiding interference between the claws of the picking section and obstacles around the crop, and also calculates the position of the crop with high precision and adjusts each axis of the articulated robot arm. They are linked with high precision.
  • the calculation accuracy of the crop position and the accuracy of the articulated robot arm that moves the picking section affect the crop capture rate by the picking section.
  • the harvesting system detects the position of the crop with high precision in order to capture the crop to be harvested while suppressing damage to leaves, cobs, main stems, branches, etc. located around the crop.
  • the end effector must be moved with high precision by an articulated robot arm. Therefore, in the harvesting system, the movement speed of the end effector by the multi-joint robot arm is slowed down in order to interlock the multi-joint robot arm with high precision, and the number of harvests per unit time is reduced.
  • the present invention improves the capture rate of objects while suppressing damage to leaves, cobs, main stems, branches, etc. located around the crop, without increasing the accuracy of movement of the working machine that moves the end effector.
  • the purpose is to provide an end effector with improved performance.
  • the present inventors have developed a method to control crops while suppressing damage to leaves, cobs, main stems, branches, etc. located around the target object, without increasing the accuracy of movement of the working machine that moves the end effector.
  • An end effector includes a main body member supported by a movable working machine, and an end effector that is provided on the main body member and that contacts a part of the target object to capture the target object at a capture position.
  • an object positioning mechanism including a contact movement member, an imaging device provided in the main body member to take an image including the object, and an imaging device that acquires the image input from the imaging device, and acquires the image input from the imaging device, and and a control device that controls the object positioning mechanism.
  • the object positioning mechanism constitutes a part of the contact movement member, and moves with respect to the main body member in a first direction perpendicular to a front-rear direction, with the direction from the main body member toward the capture position being the forward direction.
  • the contact movement member includes a first contact movement member and a second contact movement member that constitutes a part of the contact movement member and moves in a second direction orthogonal to the front-rear direction.
  • the control device determines from the image that the contact moving member passes through an area that is configured of an area where the target object is located and an area through which the first contact moving member and the second contact moving member can pass, and has a predetermined shape.
  • a region is calculated so that when the end effector is moved by the working machine from the imaging position to the capture position, the first contact moving member and the second contact moving member pass within the contact moving member passing region.
  • the position of at least one of the first contacting and moving member and the second contacting and moving member relative to the main body member is adjusted.
  • the end effector control device determines, based on the image captured by the imaging device, that the first contact moving member and the second contact moving member are in contact with an object that has a predetermined shape and is located around the target object.
  • a contact moving member passing area is calculated, which is an area where the contact moving member can reach the target object while suppressing the movement.
  • the control device controls the main body member so that the first contact moving member and the second contact moving member pass within the contact moving member passing region when the end effector moves toward the target object capture position. Adjusting the positions of the first contacting and moving member and the second contacting and moving member.
  • the end effector is arranged so that the first contact-moving member and the second contact-moving member increase the capture rate of the target object within a range where the first contact-moving member and the second contact-moving member can suppress contact with objects other than the target object.
  • the distance between the two contact moving members can be increased.
  • the end effector makes a first contact movement with respect to the target object so as to increase the capture rate of the target object within a range where the first contact movement member and the second contact movement member can suppress contact with objects other than the target object.
  • the interval between the member and the second contacting and moving member can be made as large as possible. Therefore, the end effector can increase the allowable deviation amount of the position of the end effector with respect to the object, taking into consideration the surrounding state of the object.
  • the control device also controls the first contact moving member to suppress contact with the first contact moving member and the second contact moving member even if objects other than the target object located around the target object move due to wind or the like.
  • the positions of the contact moving member and the second contact moving member relative to the main body member can be adjusted. Therefore, even if the state of the environment around the object changes, the end effector can move the object while the first contact movement member and the second contact movement member suppress contact with objects other than the object. can be captured.
  • the target object can be captured while suppressing damage to leaves, cobs, main stems, branches, etc. located around the target object, without increasing the precision of movement of the working machine that moves the end effector. rate can be increased.
  • the end effector of the present invention preferably includes the following configuration.
  • the control device is configured to determine, in the image, the position of the contact-moving member passing region with respect to the object, the rotation angle of the contact-moving member passing region with respect to the object, and the size of the contact-moving member passing region with respect to the object. By changing at least one of them, the contact moving member passing region having the maximum area is calculated.
  • the control device for the end effector is arranged such that the first contact-moving member and the second contact-moving member have a predetermined shape and the first contact-moving member and the second contact-moving member have a predetermined shape in the moving direction of the first contact-moving member and the second contact-moving member.
  • a contact moving member passing area is calculated in which the distance from to the object is as large as possible.
  • the end effector touches the target object with the first contact moving member and the second contact moving member positioned so that the range in which the target object can be captured is as large as possible while suppressing contact with objects other than the target object. You can get close. As a result, the target object can be captured while suppressing damage to leaves, cobs, main stems, branches, etc. located around the target object, without increasing the precision of movement of the working machine that moves the end effector. rate can be increased.
  • the end effector of the present invention preferably includes the following configuration.
  • the control device calculates an area through which the first contact and movement member and the second contact and movement member pass as an object exclusion area in the contact movement member passing area, and includes the object in the object exclusion area. If a portion is located, the contact moving member passage area is newly calculated.
  • the first contact moving member and the second contact moving member can suppress contact with the target object. Calculate the exclusion area.
  • the control device prevents contact between the object located in the contact movement member passage area and the first contact movement member and the second contact movement member by determining the presence or absence of the object in the object exclusion area. It's suppressed. Therefore, the first contacting and moving member and the second contacting and moving member are prevented from coming into contact with the object and anything other than the object in the process of moving to the capture position where the object is captured.
  • the target object can be captured while suppressing damage to leaves, cobs, main stems, branches, etc. located around the target object, without increasing the precision of movement of the working machine that moves the end effector. rate can be increased.
  • the end effector of the present invention preferably includes the following configuration.
  • the control device calculates a polygonal or circular contact moving member passage area.
  • the end effector sets a polygonal contact movement member passage area according to the surrounding state of the target object, so that the first contact movement member and the second contact movement member in the contact movement member passage area are set.
  • the distance from the contact moving member can be made as wide as possible.
  • the end effector sets a circular contact-moving member passing region by a control device, so that the contact-moving member passing region sets the angle of the moving direction of the first contact-moving member and the second contact-moving member with respect to the object. is not restricted.
  • the target object can be captured while suppressing damage to leaves, cobs, main stems, branches, etc. located around the target object, without increasing the precision of movement of the working machine that moves the end effector. rate can be increased.
  • connection As used herein, “attached,” “connected,” “coupled,” and/or their equivalents are used in a broad sense, including “direct and indirect” attachment; Includes both connections and combinations. Additionally, “connected” and “coupled” are not limited to physical or mechanical connections or couplings, but can include direct or indirect electrical connections or couplings.
  • an end effector means a device that performs any treatment on an object.
  • the end effector is attached to the tip of a working machine such as an articulated robot arm.
  • the end effector has a structure depending on the treatment to be performed on the object, and includes various devices depending on the treatment.
  • object refers to an object that is imaged by the stereo camera to calculate distance information.
  • the objects include, for example, fruits, trunks, stems, branches, stalks, etc. used in agricultural work.
  • an object other than the target object is an object other than the target imaged by the stereo camera for calculating distance information, and is located in a region through which the end effector passes when approaching the target object. means something to do.
  • Objects other than the target object include, for example, trunks, stems, branches, stalks, etc. located around the target object.
  • object positioning mechanism refers to a mechanism that positions an object at a treatment position in an end effector.
  • the object positioning mechanism has a function of capturing the object at a capture position. Further, the object positioning mechanism may have a function of moving the captured object from the capture position to the treatment position. Further, the object positioning mechanism has a function of holding the object.
  • the working machine refers to a machine that moves the end effector to a predetermined position in order to perform the treatment on the object using the end effector.
  • the work machine may be any machine that can move the end effector, such as a robot arm, an unmanned flying vehicle, an unmanned ground vehicle, or the like.
  • a stereo camera refers to a camera that can capture images of a target object from a plurality of different directions simultaneously, thereby acquiring images for calculating the distance to the target object.
  • the stereo camera is a camera having two or more of the optical lenses and the image pickup elements that constitute a monocular camera structure.
  • the stereo camera can calculate the amount of parallax in a range where imaging ranges captured by the optical lens and the image sensor overlap.
  • the contact moving member passage area is an area having a predetermined shape in an image captured by an imaging device, in which the area where the object is located and the first contact moving member and the second contact moving member are connected. means an area that is made up of a passable area.
  • the area where the target object is located means the area occupied by the target object in the image.
  • the area through which the first contact and movement member and the second contact and movement member can pass is an area other than the area occupied by the object in the image, and the area through which the first contact and movement member and the second contact and movement member can pass.
  • An area where there are no obstacles to passing through. That is, the contact-moving member passage area means an area in the image that has a predetermined shape larger than the target object and includes only the target object.
  • an articulated robot arm refers to a robot arm that has a plurality of joints connecting a plurality of links.
  • the articulated robot arm includes a vertical articulated robot arm.
  • the vertical multi-joint robot arm is a serial link mechanism robot arm in which the links are connected in series from the base to the tip by a rotary joint or a translational joint with one degree of freedom.
  • the vertically articulated robot arm has a plurality of joints.
  • damage to leaves, cobs, main stems, branches, etc. located around the object is suppressed without increasing the accuracy of movement of the working machine that moves the end effector. Robustness can be increased so that the object can be captured and treated while still being able to handle the object.
  • FIG. 1 is a plan view of an end effector according to the present invention.
  • FIG. 2 is a side view of the end effector according to the present invention.
  • FIG. 3 is a block diagram showing the control configuration of the end effector according to the present invention.
  • FIG. 4 is a schematic diagram showing a captured image and a contact moving member passage area in Embodiment 1 of end effector capture control according to the present invention.
  • FIG. 5 is a schematic diagram showing a contact moving member passage area, a contact moving member before adjustment, and a contact moving member after adjustment in Embodiment 1 of end effector capture control according to the present invention.
  • FIG. 1 is a plan view of an end effector according to the present invention.
  • FIG. 2 is a side view of the end effector according to the present invention.
  • FIG. 3 is a block diagram showing the control configuration of the end effector according to the present invention.
  • FIG. 4 is a schematic diagram showing a captured image and a contact moving member passage area in Embodiment
  • FIG. 6 is a schematic diagram showing a reference contact moving member passing region and a corrected contact moving member passing region in Embodiment 2 of end effector capture control according to the present invention.
  • FIG. 7 is a schematic diagram showing a contact moving member passing area and a target object exclusion area and a newly calculated contact moving member passing area and target object exclusion area in Embodiment 3 of end effector capture control according to the present invention. be.
  • FIG. 8 is a schematic diagram showing an end effector supported by a multi-joint robot arm device.
  • FIG. 9 is a block diagram showing a control configuration of the end effector according to the present invention, and a schematic diagram showing a contact moving member passage area, a contact moving member before adjustment, and a contact moving member after adjustment.
  • FIG. 1 is a plan view of an end effector 1 according to the present invention.
  • FIG. 2 is a side view of the end effector 1.
  • FIG. 3 is a block diagram showing the control configuration of the end effector 1. As shown in FIG.
  • the arrow Front in the figure indicates the front direction of the end effector 1.
  • the arrow Rear in the figure indicates the rear direction of the end effector 1.
  • An arrow Up in the figure indicates the upward direction of the end effector 1.
  • the arrow Down in the figure indicates the downward direction in the end effector 1.
  • the front and back direction of the end effector 1 is the direction in which the direction in which the object positioning mechanism 3 moves toward the grape stalk G is the front direction of the end effector 1, that is, the direction in which the end effector 1 moves from the imaging position P1 to the capturing position P2. This is the direction of movement.
  • the left-right direction of the end effector 1 is a direction perpendicular to the front-back direction and the up-down direction of the end effector 1, when the vertical direction is defined as the up-down direction.
  • clockwise means clockwise when viewed from above to below in the vertical direction.
  • Counterclockwise means counterclockwise when viewed from above to below in the vertical direction.
  • the end effector 1 is a device that captures, for example, a target object, a grape stalk G (hereinafter referred to as "fruit stalk G").
  • the end effector 1 is supported by a work machine that can move the end effector 1.
  • the end effector 1 captures the fruit stalk G based on the image I captured by the stereo camera 8, which is an imaging device.
  • the end effector 1 includes a main body member 2, an object positioning mechanism 3, a treatment mechanism 6, a stereo camera 8, and a control device 9.
  • the main body member 2 is a component that constitutes the casing of the end effector 1.
  • the main body member 2 is a substantially rectangular parallelepiped housing with one side open.
  • the casing constituting the main body member 2 has a size that can accommodate the object positioning mechanism 3, the positioning mechanism actuator 4, and the treatment mechanism 6 therein.
  • the object positioning mechanism 3, the positioning mechanism actuator 4, and the treatment mechanism 6 are housed inside the main body member 2 with the opening portion facing upward so that the longitudinal direction of the main body member 2 is along the front-rear direction. ing.
  • a cover 2a is attached to the opening of the main body member 2 so as to close the opening.
  • the object positioning mechanism 3 is a mechanism that positions the fruit stalk G.
  • the object positioning mechanism 3 includes a positioning mechanism actuator 4, a contact movement member 5, and a contact movement mechanism (not shown).
  • the positioning mechanism actuator 4 (see FIG. 3) is a drive source for the object positioning mechanism 3.
  • the positioning mechanism actuator 4 is, for example, an electric cylinder.
  • the electric cylinder is an actuator that moves a piston rod in the axial direction using an electric motor.
  • the positioning mechanism actuator 4 includes an encoder 4a that detects the amount of rotation of the electric motor or the amount of movement of the piston rod. Electric power is supplied to the positioning mechanism actuator 4 from an actuator control section 10 included in the control device 9 .
  • the encoder 4a outputs a position signal related to the amount of rotation of the electric motor or the amount of movement of the piston rod to the actuator control unit 10. Thereby, the position of the positioning mechanism actuator 4 is controlled by the actuator control section 10.
  • the contact moving member 5 is a member that captures the fruit stalk G.
  • the contact moving member 5 includes a first contact moving member 5L and a second contact moving member 5R.
  • the first contacting and moving member 5L and the second contacting and moving member 5R are members that capture the fruit stalk G.
  • the first contact moving member 5L and the second contact moving member 5R are, for example, curved rectangular plate members.
  • the first contact moving member 5L is a member that approaches the fruit stalk G from the left side of the fruit stalk G by the driving force of the positioning mechanism actuator 4.
  • the first contact moving member 5L is located at the front end of the main body member 2, and approximately at the center of the main body member 2 in the left-right direction. Further, the first contact moving member 5L is supported by the main body member 2 in a state where it can rotate relative to the main body member 2 about an axis perpendicular to the front-rear direction and the left-right direction.
  • the tip of the first contact moving member 5L is located to the left of a reference line D that is orthogonal to the axis and extends in the front-rear direction.
  • the first contact moving member 5L is located on the left side from the base end rotatably supported by the main body member 2 toward the distal end while extending in the front direction.
  • the first contact movement member 5L is connected to the positioning mechanism actuator 4 via a contact movement mechanism (not shown).
  • the second contact moving member 5R is a member that approaches the fruit stalk G from the left side of the fruit stalk G by the driving force of the positioning mechanism actuator 4.
  • the second contact moving member 5R is located at the front end of the main body member 2, and approximately at the center of the main body member 2 in the left-right direction. Further, the second contact moving member 5R is rotatably supported with respect to the main body member 2 with the axis as a rotation center in the front-rear direction and the left-right direction. In this embodiment, the rotation center of the first contact movement member 5L and the rotation center of the second contact movement member 5R are the same.
  • the tip of the second contact moving member 5R is located to the right of the reference line D.
  • the second contact moving member 5R is located on the right side from the base end rotatably supported by the main body member 2 toward the distal end while extending in the front direction.
  • the second contact movement member 5R is connected to the positioning mechanism actuator 4 via a contact movement mechanism (not shown).
  • the first contact moving member 5L is configured so that its tip portion can rotate in a direction toward the reference line D (clockwise) and in a direction away from the reference line D (counterclockwise) by the positioning mechanism actuator 4. That is, the first contact moving member 5L is configured such that its tip portion can be moved in the left-right direction, which is a direction perpendicular to the reference line D, by the positioning mechanism actuator 4. Further, the second contact moving member 5R is configured to be rotatable in the direction in which the tip portion approaches the reference line D (counterclockwise) and in the direction away from the reference line D (clockwise) by the positioning mechanism actuator 4. . That is, the second contact movement member 5R is configured such that its tip portion can be moved in the left-right direction, which is a direction perpendicular to the reference line D, by the positioning mechanism actuator 4.
  • first contact moving member 5L and the second contact moving member 5R are configured to move in opposite directions to each other by the positioning mechanism actuator 4.
  • the first contact moving member 5L rotates counterclockwise relative to the main body member 2 by the same rotation angle as the rotation angle of the second contact moving member 5R. rotate around.
  • the first contact moving member 5L rotates clockwise relative to the main body member 2 by the same rotation angle as the rotation angle of the second contact moving member 5R. rotate around. That is, the first contact movement member 5L is moved by the positioning mechanism actuator 4 in the right direction, which is the first direction, approaching the second contact movement member 5R.
  • the second contact movement member 5R is moved by the positioning mechanism actuator 4 in the second direction, that is, to the left, approaching the first contact movement member 5L.
  • the first contact moving member 5L and the second contact moving member 5R are configured to be movable in the left-right direction by the same amount of movement in the direction toward and away from each other by the positioning mechanism actuator 4.
  • the object positioning mechanism 3 configured as described above is configured such that the first contacting and moving member 5L and the second contacting and moving member 5R are switched by the positioning mechanism actuator 4 between an open state in which they are separated from each other and a closed state in which they are close to each other. I can do it.
  • the object positioning mechanism 3 can capture the fruit stalk G using the first contacting and moving member 5L and the second contacting and moving member 5R.
  • the object positioning mechanism 3 can arbitrarily change the angles of the first contact moving member 5L and the second contact moving member 5R with respect to the reference line D by the positioning mechanism actuator 4. That is, the object positioning mechanism 3 can arbitrarily change the interval in the left-right direction between the tip of the first contact-moving member 5L and the tip of the second contact-moving member 5R.
  • the treatment mechanism 6 is a mechanism that performs treatment to cut the fruit stalk G.
  • the treatment mechanism 6 cuts the fruit stalk G using a treatment blade driven by a treatment mechanism actuator 7.
  • the treatment mechanism actuator 7 (see FIG. 3) is a drive source for the treatment mechanism 6.
  • the treatment mechanism actuator 7 is, for example, an electric cylinder.
  • the electric cylinder is an actuator that moves a piston rod in the axial direction using an electric motor. Electric power is supplied to the treatment mechanism actuator 7 from an actuator control section 10 included in the control device. Thereby, the treatment mechanism actuator 7 is controlled by the actuator control section 10.
  • the stereo camera 8 is a device that captures an image for measuring the distance to the fruit stalk G existing in a predetermined space.
  • the stereo camera 8 is a camera that has two or more combinations of optical lenses and image sensors that constitute a monocular camera structure.
  • the stereo camera 8 can calculate the amount of parallax in a range where the imaging ranges captured by the optical lens and the image sensor overlap.
  • the stereo camera 8 is fixed to the main body member 2.
  • the stereo camera 8 is configured to be able to image the front of the end effector 1.
  • the stereo camera 8 outputs the captured image to the image processing section 11 included in the control device 9.
  • the control device 9 controls the positioning mechanism actuator 4 of the object positioning mechanism 3, the treatment mechanism actuator 7 of the treatment mechanism 6, and the stereo camera 8.
  • the control device 9 includes an actuator control section 10 and an image processing section 11.
  • the control device 9 integrally controls the actuator control section 10 and the image processing section 11.
  • the control device 9 is electrically connected to a control device of a working machine, which is a higher-level control device, by a signal line or the like.
  • the control device 9 receives a control signal related to capture control of the fruit stalk G from the control device of the work machine. Further, the control device 9 outputs a control signal related to capturing the fruit stalk G to the control device of the working machine.
  • the actuator control unit 10 controls the positioning mechanism actuator 4 and the treatment mechanism actuator 7.
  • the actuator control unit 10 is electrically connected to the positioning mechanism actuator 4 and the treatment mechanism actuator 7 via a power line. Further, the actuator control section 10 is electrically connected to the encoder 4a of the positioning mechanism actuator 4 by a signal line.
  • a position signal is input to the actuator control unit 10 from the encoder 4a.
  • the actuator control unit 10 supplies power to the positioning mechanism actuator 4 based on the position signal input from the encoder 4a. That is, the actuator control unit 10 controls the amount of movement of the positioning mechanism actuator 4 based on the position signal input from the encoder 4a.
  • the actuator control unit 10 can adjust the positions of the first contact moving member 5L and the second contact moving member 5R, which are moved by the positioning mechanism actuator 4, with respect to the main body. That is, the actuator control unit 10 can arbitrarily change the interval in the left-right direction between the tip of the first contact-moving member 5L and the tip of the second contact-moving member 5R.
  • the actuator control unit 10 supplies power to the treatment mechanism actuator 7 based on the position signal input from the encoder 4a. That is, when a predetermined position signal is input from the encoder 4a when the first contact moving member 5L and the second contact moving member 5R capture the fruit stalk G, the actuator control unit 10 moves the treatment mechanism actuator 7 to a certain position. Move only a fixed amount. Thereby, the actuator control unit 10 can move the treatment blade to the treatment position using the treatment mechanism actuator 7.
  • the image processing unit 11 processes the image I captured by the stereo camera 8.
  • the image processing unit 11 stores in advance data for detecting fruit stalks G obtained by learning various images of fruit stalks G.
  • the image processing unit 11 has an image processing program for processing the input image I.
  • the image processing program can detect the fruit stalk G from the image I and calculate the distance from the imaging position P1 where the fruit stalk G is imaged to the fruit stalk G.
  • the image processing program is configured to detect contact points in the image I, which are areas having a predetermined shape, where the fruit stalk G is located, and where objects other than the fruit stalk G are not located, such as leaves, cobs, main stems, branches, etc.
  • the moving member passage area B can be calculated.
  • the image processing unit 11 is electrically connected to the stereo camera 8 via a signal line. Further, the image processing unit 11 is inputted with images I respectively captured by a pair of monocular cameras included in the stereo camera 8 . The image processing unit 11 detects the fruit stalk G from the input image I based on the image processing program. Furthermore, the image processing unit 11 calculates the distance to the fruit stalk G based on the image processing program.
  • the image processing unit 11 Based on the image processing program, the image processing unit 11 performs contact movement, which has a predetermined shape and is composed of an area where the fruit stalk G is located and an area where the fruit stalk G and objects other than the fruit stalk G are not located.
  • a member passing area B is calculated from the image I.
  • FIG. 4 is a schematic diagram showing a captured image I and a contact moving member passage area B in Embodiment 1 of capture control of the end effector 1.
  • FIG. 5 is a schematic diagram showing the contact moving member passage area B, the contact moving member 5 before adjustment, and the contact moving member 5 after adjustment in Embodiment 1 of the capture control of the end effector 1. It is assumed that the end effector 1 is supported by a working machine such as an articulated robot arm that can move the end effector 1 to any position. Further, it is assumed that the end effector 1 is positioned at a location where the fruit stalk G is included within the imaging range of the stereo camera 8. Further, the first contact moving member 5L and the second contact moving member 5R set the initial position Pa at the position farthest from each other within the movable range of the first contact moving member 5L and the second contact moving member 5R.
  • the image processing unit 11 directs the stereo camera 8 to capture the fruit stalk G. Outputs a signal that images the area where the sensor is located.
  • the stereo camera 8 captures an image I including the fruit stalk G at the imaging position P1, where the end effector 1 is positioned.
  • the stereo camera 8 outputs the captured image I to the image processing section 11.
  • the image processing unit 11 detects the fruit stalk G from the image I input from the stereo camera 8 based on the image processing program. Further, the image processing unit 11 calculates the distance L from the imaging position P1 to the fruit stalk G at the capturing position P2 based on the image processing program (see FIG. 8).
  • the image processing unit 11 processes an area A1 having a predetermined shape, an area A1 where the fruit stalk G is located, a fruit stalk G, and a region other than the fruit stalk G.
  • a contact moving member passing area B is calculated, which is made up of an area A2 where no object is located.
  • the predetermined shape is a rectangle consisting of sides extending in the left-right direction, which is the moving direction of the first contact-moving member 5L and the second contact-moving member 5R, and sides extending in the up-down direction orthogonal to the left-right direction.
  • the area A1 where the fruit stalk G is located is an area occupied by the image of the fruit stalk G.
  • the area A2 in which the fruit stalk G and objects other than the fruit stalk G are not located includes other grape stalks G, grapes, stems, leaves, branches, and trunks located between the imaging position P1 of the image I and the fruit stalk G. This is an area excluding the area occupied by images of objects other than the fruit stalk G, which are objects such as the fruit stalk G, and the region occupied by the image of the fruit stalk G.
  • the control device 9 positions the first contact moving member 5L and the second contact moving member 5R in the contact moving member passing region B from the contact moving member passing region B and the distance L.
  • Adjustment positions Pb which are the positions of the first contact moving member 5L and the second contact moving member 5R with respect to the main body member 2 when the contact movement is made, are respectively calculated.
  • the control device 9 supplies power to the positioning mechanism actuator 4 using the actuator control unit 10 based on the calculated adjustment positions Pb of the first contact moving member 5L and the second contact moving member 5R.
  • the positioning mechanism actuator 4 moves the first contact moving member 5L and the second contact moving member 5R from the initial position Pa toward the adjustment position Pb in a direction closer to the reference line D.
  • the encoder 4a outputs a position signal to the actuator control section 10.
  • the actuator control unit 10 determines that the first contact moving member 5L and the second contact moving member 5R have moved to the adjustment position Pb based on the input position signal, it stops supplying power to the positioning mechanism actuator 4.
  • the control device 9 outputs a control signal to end the contact moving member adjustment control to the control device (robot arm control device 114) of the work machine.
  • the end effector 1 is moved from the imaging position P1 to the capture position P2 by the work machine.
  • the first contact moving member 5L and the second contact moving member 5R pass through the contact moving member passage area B from the imaging position P1 until they are positioned at the capturing position P2. Therefore, the first contact moving member 5L and the second contact moving member 5R are prevented from coming into contact with anything other than the fruit stalk G until they are positioned from the imaging position P1 to the capturing position P2.
  • the end effector 1 can maximize the range in which the fruit stalk G can be captured within the contact moving member passing region B.
  • the first contact moving member 5L and the second contact moving member 5R are positioned within the contact moving member passing region B by an arbitrary distance inward from the boundary of the contact moving member passing region B, the first contact moving member 5L and the second contact moving member 5R are positioned within the contact moving member passing region B.
  • the member 5L and the second contact-moving member 5R are separated from leaves, stems, branches, etc. located outside the contact-moving member passage area B by an arbitrary distance. Therefore, in the end effector 1, the first contact moving member 5L and the second contact moving member 5R do not contact the leaves, stems, branches, etc. if the amount of movement of the leaves, stems, branches, etc. due to wind etc. is less than an arbitrary distance. . Further, in the end effector 1, if the amount of positional deviation with respect to the fruit stalk G is less than an arbitrary distance, the first contacting and moving member 5L and the second contacting and moving member 5R do not contact leaves, stems, branches, etc.
  • the end effector 1 configured in this manner suppresses the contact between the first contact moving member 5L and the second contact moving member 5R with objects other than the fruit stalk G, and the first contact moving member 5L and the second contact moving member 5R.
  • the distance from 5R can be made as wide as possible.
  • the end effector 1 suppresses contact between the first contact moving member 5L and the second contact moving member 5R with objects other than the fruit stalk G, and the first contact moving member 5L and the second contact moving member relative to the fruit stalk G.
  • the 5R interval can be made as large as possible. Therefore, the end effector 1 can increase the allowable deviation amount of the position of the end effector 1 with respect to the fruit stalk G that can capture the fruit stalk G, taking into consideration the surrounding state of the fruit stalk G.
  • control device 9 is configured to suppress contact with the first contact moving member 5L and the second contact moving member 5R even if objects other than the fruit stalk G located around the fruit stalk G move due to wind or the like.
  • the positions of the first contact moving member 5L and the second contact moving member 5R relative to the main body member 2 can be adjusted. Therefore, even if the state of the environment around the fruit stalk G changes, the end effector 1 can control the fruit stalk while the first contact moving member 5L and the second contact moving member 5R suppress contact with objects other than the fruit stalk G. G can be captured.
  • the G capture rate can be increased.
  • FIG. 6 is a schematic diagram showing a reference contact-moving member passing region B1 and a corrected contact-moving member passing region B2 in Embodiment 2 of capture control of the end effector 1. Note that in the following embodiments, specific explanations of points similar to those of the already described embodiments will be omitted, and the explanation will focus on the different parts.
  • the image processing unit 11 selects an area having a predetermined shape, which is an area A1 where the fruit stalk G is located, and an area through which the first contact moving member 5L and the second contact moving member 5R can pass.
  • a reference contact moving member passing area B1 consisting of A2 is calculated.
  • the reference contact moving member passage area B1 includes sides extending in the left-right direction, which is the moving direction of the first contact moving member 5L and the second contact moving member 5R, and sides extending in the up-down direction orthogonal to the left-right direction. It is a rectangular area consisting of
  • the image processing unit 11 changes at least one of the position rotation angle and size of the reference contact moving member passage area B1 based on the image processing program. Further, the image processing unit 11 calculates the area of the reference contact moving member passing region B1 according to changes in at least one of the position, the rotation angle, and the size. The image processing unit 11 calculates a corrected contact moving member passing area B2 having the largest area among the corrected contact moving member passing areas B2 calculated according to changes in at least one of the position, the rotation angle, and the size. .
  • the end effector 1 calculates the distance L1 from the position of the first contact moving member 5L in the corrected contact moving member passing area B2 to the area A1 where the fruit stalk G is located (FIG. ) and the distance L2 (see FIG. 5) from the position of the second contact moving member 5R in the corrected contact moving member passing area B2 to the area A1 where the fruit stalk G is located, as well as the distance L1 in the reference contact moving member passing area B1 and the distance L2 (see FIG. 5). It can be made larger than the distance L2.
  • the control device 9 of the end effector 1 configured as described above changes the position, rotation angle, and size of the reference contact-moving member passing region B1 to adjust the positions of the first contact-moving member 5L and the second contact-moving member 5R.
  • a corrected contact moving member passing region B2 in which the adjustment range of is as large as possible is calculated.
  • the end effector 1 is in a state where the first contact moving member 5L and the second contact moving member 5R are positioned so that the range in which the fruit stalk G can be captured is as large as possible while suppressing contact with objects other than the fruit stalk G. , the fruit stalk G can be approached.
  • FIG. 7 is a schematic diagram showing the contact-moving member passing region B and the object exclusion region C, and the newly calculated contact-moving member passing region Bn and object exclusion region Cn in the third embodiment of the acquisition control of the end effector 1. be.
  • the image processing unit 11 generates a contact area having a predetermined shape and consisting of an area A1 where the fruit stalk G is located and an area A2 where the fruit stalk G and objects other than the fruit stalk G are not located, based on the image processing program.
  • a moving member passage area B is calculated.
  • the contact moving member passage area B includes sides extending in the left-right direction, which is the moving direction of the first contact moving member 5L and the second contact moving member 5R, and sides extending in the up-down direction orthogonal to the left-right direction. It is a rectangular area.
  • the control device 9 determines the first contact with the main body member 2 when the first contact moving member 5L and the second contact moving member 5R are positioned within the contact moving member passing area B. Adjustment positions Pb, which are the positions of the moving member 5L and the second contact moving member 5R, are calculated.
  • the image processing unit 11 determines whether the first contacting and moving member 5L and the second contacting and moving member 5R are the same in the contacting and moving member passage area B based on the shapes and adjustment positions Pb of the first and second contacting and moving members 5L and 5R.
  • An object exclusion area C which is an area to be passed through, is calculated.
  • This area indicates the space where the Therefore, when a part of the fruit stalk G is located within the target object exclusion area C, the end effector 1 moves the tip of the first contact moving member 5L and the tip of the second contact moving member 5R before being positioned at the capturing position P2. At least one of them contacts the fruit stalk G (see Cp in FIG. 7). That is, the end effector 1 cannot move to the capture position P2 (see FIG. 8).
  • the image processing unit 11 determines that a part of the fruit stalk G is located within the object exclusion area C, it newly calculates the contact moving member passing area B.
  • the image processing unit 11 changes at least one of the position and rotation angle of the contact moving member passing region B with respect to the fruit stalk G to calculate a new contact moving member passing region Bn based on the image processing program.
  • the image processing unit 11 adjusts the first contact and movement member 5L and the second contact and movement member based on the shapes and adjustment positions Pb of the first contact and movement member 5L and the second contact and movement member 5R within the new contact and movement member passage area Bn.
  • a new object exclusion area Cn which is the area through which 5R passes, is calculated.
  • the control device 9 adjusts the calculated first contact moving member 5L and second contact moving member 5R. Based on the position Pb, the actuator control section 10 supplies electric power to the positioning mechanism actuator 4.
  • the control device 9 of the end effector 1 configured as described above is configured such that the first contact moving member 5L and the second contact moving member 5R move toward the peduncle G while the end effector 1 is moving from the imaging position P1 toward the capturing position P2.
  • the object exclusion area C is calculated so as not to come into contact with the object. By determining the presence or absence of the fruit stalk G in the target object exclusion region C, the control device 9 distinguishes between the fruit stalk G located in the contact moving member passing region B, the first contact moving member 5L, and the second contact moving member 5R.
  • the first contact moving member 5L and the second contact moving member 5R are suppressed from coming into contact with the fruit stalk G and objects other than the fruit stalk G during the process of the end effector 1 moving from the imaging position P1 to the capturing position P2. .
  • the fruit stalk G can be prevented from being damaged, such as leaves, cobs, main stems, branches, etc. located around the fruit stalk G, without increasing the accuracy of movement of the working machine that moves the end effector 1. can increase the capture rate.
  • FIG. 6 is a schematic diagram showing a state in which grapes are imaged by a six-degree-of-freedom articulated robot arm 101 equipped with the end effector 1 according to the present invention.
  • FIG. 7 is a plan view and a side view of the end effector 1 to which the stereo camera according to Embodiment 1 of the present invention is attached.
  • FIG. 8 is a diagram showing an example of a processed image of the grape harvesting order calculated by the robot arm control device 114.
  • the multi-joint robot arm device 100 includes a multi-joint robot arm 101, an end effector 1, and a robot arm control device 114 (see FIGS. 1 and 2).
  • FIG. 9 is a block diagram showing the control configuration of the end effector 1 provided in the articulated robot arm device 100, and a schematic diagram showing the contact moving member passage area B, the contact moving member 5 before adjustment, and the contact moving member 5 after adjustment. It is a diagram.
  • arrow Z in the figure indicates the upward direction of the articulated robot arm device 100.
  • Arrow Y in the figure indicates the forward direction of the multi-joint robot arm device 100.
  • the articulated robot arm 101 in this embodiment is a serial link mechanism robot arm in which a link 103 is connected in series from the base end to the distal end by a rotary joint (motor unit 102) with one degree of freedom. It is.
  • the multi-joint robot arm 101 is, for example, a vertical multi-joint robot arm 101 having a movable part with six degrees of freedom.
  • the articulated robot arm 101 is provided in a remotely controlled vehicle 200 or the like.
  • the multi-joint robot arm 101 six motor units 102 are connected in series by links 103, starting from the base end fixed to the remote control vehicle 200.
  • the motor unit 102 of each axis constitutes a rotary joint.
  • the motor unit 102 for each axis includes a motor, a speed reducer, an encoder, and a drive circuit (not shown).
  • the articulated robot arm 101 is controlled by a robot arm control device 114.
  • the articulated robot arm 101 receives control signals from the robot arm control device 114 to drive circuits for each axis. Furthermore, the articulated robot arm 101 transmits information regarding the output of the motor of the motor unit 102 for each axis and information from the encoder to the robot arm control device 114.
  • the robot arm control device 114 (see FIG. 3) is a device that controls the multi-joint robot arm 101 and the end effector 1.
  • the robot arm control device 114 controls the multi-joint robot arm 101 and the end effector 1 to capture the fruit stalk G within the working range that the end effector 1 can reach.
  • the robot arm control device 114 stores various image processing programs and data for controlling the operations of the multi-joint robot arm 101 and the end effector 1.
  • the robot arm control device 114 is electrically connected to the control device 9 of the end effector 1 by a signal line and a power line.
  • the robot arm control device 114 can output a control signal as a higher-level control device of the control device 9.
  • the robot arm control device 114 moves the end effector 1 using the articulated robot arm 101.
  • the robot arm control device 114 positions the end effector 1 using the multi-joint robot arm 101 so that the fruit stalk G is included within the imaging range of the stereo camera 8 that the end effector 1 has. Furthermore, the robot arm control device 114 causes the multi-joint robot arm 101 to move the end effector 1 from the imaging position P1 to the capture position P2.
  • the image processing unit 11 of the control device 9 calculates a rectangular area including the fruit stalk G as the contact moving member passage area B.
  • the image processing unit may calculate the contact moving member passage area as a polygonal or circular contact movement member passage area.
  • the image processing unit calculates, for example, a hexagonal contact movement member passage area.
  • the end effector 1 calculates the contact moving member passing area B such that the first contact moving member 5L and the second contact moving member 5R pass near the apex of the calculated polygonal contact moving member passing area B.
  • the interval between the first contacting and moving member 5L and the second contacting and moving member 5R in the contacting and moving member passage area B can be made as wide as possible.
  • the end effector 1 calculates the contact moving member passing area B by using the control device 9 to calculate the contact moving member passing area B without considering the angle of the end effector 1 with respect to the fruit stalk G. I can do it.
  • the fruit stalk G can be prevented from being damaged, such as leaves, cobs, main stems, branches, etc. located around the fruit stalk G, without increasing the precision of movement of the working machine that moves the end effector 1.
  • Robustness can be increased so that information can be captured and treated.
  • the end effector 1 has a stereo camera 8 composed of two monocular cameras as an imaging device.
  • the imaging device does not have to be a stereo camera.
  • the imaging device may be any device that can calculate the distance from the imaging position to the target object and can capture an image including the target object.
  • the imaging device may be a LiDAR (light detection and ranging) that measures the distance to an object including a target object using a laser beam.
  • the positioning mechanism actuator 4 is constituted by an electric cylinder that moves the piston rod in the axial direction by an electric motor.
  • the positioning mechanism actuator may be any actuator that can move the first contact movement member 5L and the second contact movement member 5R.
  • the object positioning mechanism 3 includes a first contact movement member 5L and a second contact movement member 5R.
  • the object positioning mechanism 3 may include a plurality of contact movement members.
  • the object positioning mechanism 3 may have, for example, three contact moving members.
  • the first contact movement member 5L and the second contact movement member 5R are configured to be interlocked by the positioning mechanism actuator 4 in the left-right direction toward and away from each other by the same amount of movement.
  • the first contact-moving member 5L and the second contact-moving member 5R may be configured to be able to move independently in the left-right direction. That is, the first contact moving member 5L and the second contact moving member 5R may be configured to move by an arbitrary distance in an arbitrary direction by respective separate positioning mechanism actuators.
  • the image processing unit 11 can determine the positions of the first contacting and moving member 5L and the second contacting and moving member 5R with respect to the fruit stalk G in the contacting and moving member passage area B, respectively, at arbitrary positions.
  • the articulated robot arm 101 includes, for example, an S-axis motor unit, an L-axis motor unit, a U-axis motor unit, a B-axis motor unit, an R-axis motor unit, and a T-axis motor unit connected in series by links. is connected to.
  • the order in which the motor units of each axis of the multi-joint robot arm 101 are connected, the direction of the axis when they are connected, etc. may be any structure that can be established as the multi-joint robot arm 101.

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Orthopedic Medicine & Surgery (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Environmental Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Manipulator (AREA)

Abstract

エンドエフェクタ1を移動させる作業機械の移動の精度を高い精度にすることなく、対象物の周囲に位置する葉、穂軸、主茎、枝等の受傷を抑制しつつ前記対象物を捕捉して処置を行うことができるようにロバスト性を高めることができる。エンドエフェクタ1は。ステレオカメラ８と、対象物を捕捉する接触移動部材５と、アクチュエータ４と、制御装置９を含む。制御装置９は、対象物が位置する領域Ａ１と第１接触移動部材５Ｌ及び第２接触移動部材５Ｒが通過可能な領域Ａ２とから構成される接触移動部材通過領域Ｂをステレオカメラ８が撮像した画像Ｉから算出し、接触移動部材５が接触移動部材通過領域Ｂ内を通過するように、接触移動部材５の位置を調整する。

Description

エンドエフェクタ
　本発明は、対象物を捕捉するエンドエフェクタに関する。
　イチゴ、ぶどう等の果物、アスパラガス、トマト等の緑黄色野菜は、米、小麦等の穀物に比べてデリケートで損傷し易く、且つ単価が高い。このようなデリケートで単価が高い作物は、収穫時に損傷しないように一つずつ手作業で収穫される。従って、果物、緑黄色野菜等の収穫は、コンバイン等の収穫作業機械を用いた効率的で大規模な収穫が可能な穀物等に比べて生産者の肉体的負担が大きい。肉体的負担が大きい収穫作業のため、労働力の確保は難しく、生産者の負担が増大する傾向にある。そこで、多関節ロボットアームを用いた作物の収穫システムが知られている。前記作物の収穫システムには、多関節ロボットアームの先端に作物を収穫するための作業装置及び画像処理装置等が設けられている。前記収穫システムは、画像処理装置によって収穫の対象となる作物の位置を特定し、作業装置によって収穫作業を行う。ところで、作物は、個別の形状、実っている状況等が収穫対象の作物毎に異なっている。よって、作物を収穫する際に作動させる爪等のストロークが常に一定の収穫システムでは、様々な形状、様々な状況で実っている作物を適切に収穫できない場合があった。
　そこで、収穫する作物の形状に合わせて爪等の動作ストロークを変更する収穫システムが知られている。特許文献１に記載されている綿花の収穫システムは、ロボットアームと、綿花を収穫するピッキング部（エンドエフェクタ）と、ステレオカメラと、制御装置とを有している。前記ピッキング部と前記ステレオカメラとは、前記ロボットアームに支持されている。前記ピッキング部は、綿花を収穫する際に開閉する複数の爪と、前記爪を開閉させるモータとを有している。前記収穫システムの制御装置は、前記ステレオカメラによって撮像した綿花の画像から、撮像された綿花の位置及び大きさを算出する。前記制御装置は、綿花の大きさに応じて前記爪の開放位置及び閉鎖位置を調整する。このように、前記綿花の収穫システムは、綿花の大きさに基づいて爪の開放位置及び閉鎖位置を変更することにより、綿花を確実に収穫することができる。
中国特許出願公開第１１３３３０９１５号明細書
　特許文献１の収穫システムは、ピッキング部の爪の開放位置が作物の大きさに基づいて調整されている。つまり、前記収穫システムは、作物の周囲に位置する葉、穂軸、主茎、枝等の状態を考慮して爪の開放位置を調整していない。よって、前記収穫システムは、ピッキング部が作物に近づく過程において、ピッキング部の爪が移動する移動空間内に位置する葉、穂軸、主茎、枝等にピッキング部が接触して、葉、穂軸、主茎、枝等を傷つける可能性が高かった。また、前記収穫システムは、作物の周囲の葉、穂軸、主茎、枝等がピッキング部の爪の障害物となって、ピッキング部を収穫位置まで近づけることができない場合があった。さらに、前記収穫システムは、作物の大きさに基づいてピッキング部の爪の開放位置を調整しているので、爪を最も大きく開放している場合に比べて、ピッキング部が作物を捕捉可能な範囲が狭くなる。よって、前記収穫システムは、ステレオカメラが撮像した画像に基づいて算出した作物の位置の算出誤差が大きい場合、または作物に対するピッキング部の位置決め精度が低い場合、ピッキング部によって作物を捕捉できない可能性があった。よって、前記収穫システムは、ピッキング部の爪と作物の周囲の障害物との干渉を回避しつつ作物を捕捉するために作物の位置を高精度で算出するとともに、多関節ロボットアームの各軸を高精度で連動させている。
　このように、前記収穫システムでは、作物の位置の算出精度及びピッキング部を移動させる多関節ロボットアームの精度がピッキング部による作物の捕捉率に影響を与える。つまり、前記収穫システムは、作物の周囲に位置する葉、穂軸、主茎、枝等の受傷を抑制しつつ前記収穫対象の作物を捕捉するために、作物の位置を高い精度で検出するとともに、多関節ロボットアームによってエンドエフェクタを高い精度で移動させなければならない。よって、前記収穫システムは、多関節ロボットアームを高精度で連動させるために多関節ロボットアームによるエンドエフェクタの移動速度が遅くなり、単位時間当たりの収穫数が低下する。
　本発明は、エンドエフェクタを移動させる作業機械の移動の精度を高い精度にすることなく、作物の周囲に位置する葉、穂軸、主茎、枝等の受傷を抑制しつつ対象物の捕捉率を高めたエンドエフェクタの提供を目的とする。
　本発明者らは、エンドエフェクタを移動させる作業機械の移動の精度を高い精度にすることなく、対象物の周囲に位置する葉、穂軸、主茎、枝等の受傷を抑制しつつ作物を捕捉して処置を行うことができるようにロバスト性を高めたエンドエフェクタについて検討した。鋭意検討の結果、本発明者らは、以下のような構成に想到した。
　本発明の一実施形態に係るエンドエフェクタは、移動可能な作業機械に支持される本体部材と、前記本体部材に設けられ、前記対象物の一部と接触して前記対象物を捕捉位置において捕捉する接触移動部材を含む対象物位置決め機構と、前記本体部材に設けられ、前記対象物を含む画像を撮像する撮像装置と、前記撮像装置から入力された前記画像を取得し、前記画像に基づいて前記対象物位置決め機構を制御する制御装置とを備えている。
前記対象物位置決め機構は、前記接触移動部材の一部を構成し、前記本体部材に対して前記本体部材から前記捕捉位置に向かう方向を前方向とする前後方向に直交する第１方向に移動する第１接触移動部材と、前記接触移動部材の一部を構成し、前記前後方向に直交する第２方向に移動する第２接触移動部材とを含む。前記制御装置は、前記画像から、前記対象物が位置する領域と、前記第１接触移動部材及び前記第２接触移動部材が通過可能な領域とから構成され且つ所定の形状を有する接触移動部材通過領域を算出し、前記エンドエフェクタが前記撮像位置から前記捕捉位置まで前記作業機械によって移動する際に、第１接触移動部材及び前記第２接触移動部材が前記接触移動部材通過領域内を通過するように、前記第１接触移動部材及び前記第２接触移動部材の少なくとも一方の前記本体部材に対する位置を調整する。
　上述のように、エンドエフェクタの制御装置は、撮像装置によって撮像した画像から、所定の形状であって第１接触移動部材及び第２接触移動部材が対象物の周囲に位置する物に接触することを抑制しつつ対象物に到達可能な領域である接触移動部材通過領域を算出する。更に、前記制御装置は、エンドエフェクタが対象物の捕捉位置に向かって移動する際に、第１接触移動部材及び第２接触移動部材が接触移動部材通過領域内を通過するように、本体部材に対する第１接触移動部材及び第２接触移動部材の位置を調整する。これにより、前記エンドエフェクタは、第１接触移動部材及び第２接触移動部材が対象物以外の物との接触を抑制可能な範囲で対象物の捕捉率を高めるように第１接触移動部材と第２接触移動部材との間隔を広くすることができる。つまり、前記エンドエフェクタは、第１接触移動部材及び第２接触移動部材が対象物以外の物との接触を抑制可能な範囲で、対象物の捕捉率を高めるように対象物に対する第１接触移動部材及び第２接触移動部材の間隔をできるだけ大きくすることができる。よって、前記エンドエフェクタは、対象物の周囲の状態を考慮した上で、対象物に対するエンドエフェクタの位置の許容ずれ量を大きくすることができる。
　また、前記制御装置は、対象物の周囲に位置する前記対象物以外の物が風等によって移動しても第１接触移動部材及び第２接触移動部材との接触を抑制するように前記第１接触移動部材及び前記第２接触移動部材の本体部材に対する位置を調整することができる。よって、前記エンドエフェクタは、対象物の周囲の環境の状態が変化した場合でも、第１接触移動部材及び第２接触移動部材が対象物以外の物との接触を抑制しつつ、前記対象物を捕捉することができる。これにより、エンドエフェクタを移動させる作業機械の移動の精度を高い精度にすることなく、対象物の周囲に位置する葉、穂軸、主茎、枝等の受傷を抑制しつつ前記対象物の捕捉率を高めることができる。
　他の観点によれば、本発明のエンドエフェクタは、以下の構成を含むことが好ましい。前記制御装置は、前記画像において、前記対象物に対する前記接触移動部材通過領域の位置、前記対象物に対する前記接触移動部材通過領域の回転角度、前記対象物に対する前記接触移動部材通過領域の大きさのうち少なくとも一つを変更することにより、面積が最大となる前記接触移動部材通過領域を算出する。
　上述のように、前記エンドエフェクタの制御装置は、前記画像において、所定の形状であって第１接触移動部材及び第２接触移動部材の移動方向において、第１接触移動部材及び第２接触移動部材から対象物までの距離ができるだけ大きくなる接触移動部材通過領域を算出する。前記エンドエフェクタは、対象物以外の物との接触を抑制しつつ対象物を捕捉可能な範囲ができるだけ大きくなるように第１接触移動部材及び第２接触移動部材を位置付けた状態で前記対象物に近づくことができる。これにより、エンドエフェクタを移動させる作業機械の移動の精度を高い精度にすることなく、対象物の周囲に位置する葉、穂軸、主茎、枝等の受傷を抑制しつつ前記対象物の捕捉率を高めることができる。
　他の観点によれば、本発明のエンドエフェクタは、以下の構成を含むことが好ましい。前記制御装置は、前記接触移動部材通過領域において、前記第１接触移動部材及び前記第２接触移動部材が通過する領域を対象物排除領域として算出し、前記対象物排除領域内に前記対象物の一部が位置する場合、前記接触移動部材通過領域を新たに算出する。
　上述のように、前記エンドエフェクタの制御装置は、エンドエフェクタが対象物に向かって移動する際に、第１接触移動部材及び第２接触移動部材が前記対象物との接触を抑制可能な対象物排除領域を算出する。前記制御装置は、前記対象物排除領域における対象物の有無を判定することにより、接触移動部材通過領域内に位置する対象物と前記第１接触移動部材及び前記第２接触移動部材との接触を抑制している。したがって、前記第１接触移動部材及び前記第２接触移動部材は、前記対象物を捕捉する捕捉位置に移動する過程において前記対象物及び前記対象物以外の物との接触が抑制される。これにより、エンドエフェクタを移動させる作業機械の移動の精度を高い精度にすることなく、対象物の周囲に位置する葉、穂軸、主茎、枝等の受傷を抑制しつつ前記対象物の捕捉率を高めることができる。
　他の観点によれば、本発明のエンドエフェクタは、以下の構成を含むことが好ましい。前記制御装置は、多角形状、または円形状の前記接触移動部材通過領域を算出する。
　上述のように、前記エンドエフェクタは、対象物の周囲の状態に合わせて多角形状の接触移動部材通過領域を設定することで、前記接触移動部材通過領域における前記第１接触移動部材と前記第２接触移動部材との間隔をできるだけ広くすることができる。さらに、前記エンドエフェクタは、制御装置によって円形状の接触移動部材通過領域を設定することで、接触移動部材通過領域によって対象物に対する前記第１接触移動部材と第２接触移動部材の移動方向の角度が制限されない。これにより、エンドエフェクタを移動させる作業機械の移動の精度を高い精度にすることなく、対象物の周囲に位置する葉、穂軸、主茎、枝等の受傷を抑制しつつ前記対象物の捕捉率を高めることができる。
　本明細書で使用される専門用語は、特定の実施例のみを定義する目的で使用されるのであって、前記専門用語によって発明を制限する意図はない。
　本明細書で使用される「及び／または」は、一つまたは複数の関連して列挙された構成物のすべての組み合わせを含む。
　本明細書において、「含む、備える（ｉｎｃｌｕｄｉｎｇ）」「含む、備える（ｃｏｍｐｒｉｓｉｎｇ）」または「有する（ｈａｖｉｎｇ）」及びそれらの変形の使用は、記載された特徴、工程、操作、要素、成分、及び／または、それらの等価物の存在を特定するが、ステップ、動作、要素、コンポーネント、及び／または、それらのグループのうちの１つまたは複数を含むことができる。
　本明細書において、「取り付けられた」、「接続された」、「結合された」、及び／または、それらの等価物は、広義の意味で使用され、“直接的及び間接的な”取り付け、接続及び結合の両方を包含する。さらに、「接続された」及び「結合された」は、物理的または機械的な接続または結合に限定されず、直接的または間接的な電気的接続または結合を含むことができる。
　他に定義されない限り、本明細書で使用される全ての用語（技術用語及び科学用語を含む）は、本発明が属する技術分野の当業者によって一般的に理解される意味と同じ意味を有する。
　一般的に使用される辞書に定義された用語は、関連する技術及び本開示の文脈における意味と一致する意味を有すると解釈されるべきであり、本明細書で明示的に定義されていない限り、理想的または過度に形式的な意味で解釈されることはない。
　本発明の説明においては、いくつもの技術および工程が開示されていると理解される。これらの各々は、個別の利益を有し、他に開示された技術の１つ以上、または、場合によっては全てと共に使用することもできる。
　したがって、明確にするために、本発明の説明では、不要に個々のステップの可能な組み合わせをすべて繰り返すことを控える。しかしながら、本明細書及び特許請求の範囲は、そのような組み合わせがすべて本発明の範囲内であることを理解して読まれるべきである。
　本明細書では、本発明に係るエンドエフェクタの実施形態について説明する。
　以下の説明では、本発明の完全な理解を提供するために多数の具体的な例を述べる。しかしながら、当業者は、これらの具体的な例がなくても本発明を実施できることが明らかである。
　よって、以下の開示は、本発明の例示として考慮されるべきであり、本発明を以下の図面または説明によって示される特定の実施形態に限定することを意図するものではない。
　［エンドエフェクタ］
　本明細書において、エンドエフェクタとは、対象物に対して任意の処置を行う装置を意味する。前記エンドエフェクタは、多関節ロボットアーム等の作業機械の先端に取り付けられる。前記エンドエフェクタは、前記対象物に対する処置に応じた構造を有し、前記処置に応じた様々な機器を有している。
　［対象物］
　本明細書において、対象物とは、前記ステレオカメラによって距離情報を算出するために撮像される対象を意味する。前記対象物は、例えば、農作業における果実、幹、茎、枝および柄等を含む。
　［対象物以外の物］
　本明細書において、対象物以外の物とは、前記ステレオカメラによって距離情報を算出するために撮像される対象以外の物であって、エンドエフェクタが前記対象物に近づく際に通過する領域に位置する物を意味する。前記対象物以外の物は、例えば、対象物の周囲に位置する幹、茎、枝および柄等を含む。
　［対象物位置決め機構］
　本明細書において、対象物位置決め機構とは、エンドエフェクタにおいて、対象物を処置位置に位置づける機構を意味する。前記対象物位置決め機構は、対象物を捕捉位置で捕捉する機能を有する。また、前記対象物位置決め機構は、捕捉した対象物を捕捉位置から処置位置まで移動させる機能を有していてもよい。また、前記対象物位置決め機構は、対象物を保持する機能を有する。
　［作業機械］
　本明細書において、作業機械とは、エンドエフェクタによって対象物に前記処置を行うために前記エンドエフェクタを所定の位置まで移動させる機械を意味する。作業機械は、例えば、ロボットアーム、無人飛行体、無人地上車両等のように、前記エンドエフェクタを移動させることが可能な機械であればよい。
　［ステレオカメラ］
　本明細書において、ステレオカメラとは、対象物を複数の異なる方向から同時に撮像することにより、前記対象物までの距離を算出する画像を取得することができるカメラを意味する。前記ステレオカメラは、単眼カメラ構造を構成する前記光学レンズと前記撮像素子とを２つ以上有するカメラである。前記ステレオカメラは、前記光学レンズと前記撮像素子とによって撮像される撮像範囲が重複している範囲における視差量を算出することができる。
　［接触移動部材通過領域］
　本明細書において、接触移動部材通過領域とは、撮像装置が撮像した画像において所定の形状を有する領域であって、対象物が位置する領域と前記第１接触移動部材及び第２接触移動部材が通過可能な領域とから構成される領域を意味する。対象物が位置する領域とは、前記画像において、前記対象物が占める領域を意味する。前記第１接触移動部材及び第２接触移動部材が通過可能な領域とは、前記画像において、前記対象物が占める領域以外の領域であって、前記第１接触移動部材及び第２接触移動部材が通過する際に障害となる物が存在しない領域を意味する。すなわち、接触移動部材通過領域とは、前記画像において前記対象物よりも大きい所定の形状を有する領域であって、前記対象物のみが含まれている領域を意味する。
　［多関節ロボットアーム］
　本明細書において、多関節ロボットアームとは、複数のリンクを連結する関節部を複数有するロボットアームを意味する。前記多関節ロボットアームは、垂直多関節ロボットアームを含む。具体的には、前記垂直多関節ロボットアームは、リンクが１自由度の回転関節または直動関節によって根元から先端まで直列に連結されたシリアルリンク機構のロボットアームである。前記垂直多関節ロボットアームは、複数の関節部を有する。
　本発明の一実施形態によれば、エンドエフェクタを移動させる作業機械の移動の精度を高い精度にすることなく、対象物の周囲に位置する葉、穂軸、主茎、枝等の受傷を抑制しつつ前記対象物を捕捉して処置を行うことができるようにロバスト性を高めることができる。
図１は、本発明に係るエンドエフェクタの平面図である。 図２は、本発明に係るエンドエフェクタの側面図である。 図３は、本発明に係るエンドエフェクタの制御構成を示すブロック図である。 図４は、本発明に係るエンドエフェクタの捕捉制御の実施形態１における撮像された画像及び接触移動部材通過領域を示す模式図である。 図５は、本発明に係るエンドエフェクタの捕捉制御の実施形態１における接触移動部材通過領域と調整前の接触移動部材及び調整後の接触移動部材を示す模式図である。 図６は、本発明に係るエンドエフェクタの捕捉制御の実施形態２における基準接触移動部材通過領域と補正接触移動部材通過領域を示す模式図である。 図７は、本発明に係るエンドエフェクタの捕捉制御の実施形態３における接触移動部材通過領域及び対象物排除領域と新たに算出された接触移動部材通過領域及び対象物排除領域とを示す模式図である。 図８は、多関節ロボットアーム装置に支持されるエンドエフェクタを示す模式図である。 図９は、本発明に係るエンドエフェクタの制御構成を示すブロック図及び接触移動部材通過領域と調整前の接触移動部材及び調整後の接触移動部材を示す模式図である。
　以下で、各実施形態について、図面を参照しながら説明する。各図において、同一部分には同一の符号を付して、その同一部分の説明は繰り返さない。なお、各図中の構成部材の寸法は、実際の構成部材の寸法及び各構成部材の寸法比率等を忠実に表したものではない。
　＜全体構成＞
　図１から図３を用いて本発明の実施形態１に係るエンドエフェクタ１を説明する。図１は、本発明に係るエンドエフェクタ１の平面図である。図２はエンドエフェクタ１の側面図である。図３は、エンドエフェクタ１の制御構成を示すブロック図である。
　以下、図中の矢印Ｆｒｏｎｔは、エンドエフェクタ１の前方向を示す。図中の矢印Ｒｅａｒは、エンドエフェクタ１の後方向を示す。図中の矢印Ｕｐは、エンドエフェクタ１の上方向を示す。図中の矢印Ｄｏｗｎは、エンドエフェクタ１における下方向を示す。エンドエフェクタ１の前後方向は、対象物位置決め機構３が葡萄の果柄Ｇに向かって移動する方向をエンドエフェクタ１の前方向とした方向、すなわち、エンドエフェクタ１が撮像位置Ｐ１から捕捉位置Ｐ２に向かって移動する方向である。また、エンドエフェクタ１の左右方向は、鉛直方向を上下方向と規定した場合に、エンドエフェクタ１の前後方向及び上下方向に垂直な方向である。また、以下の実施形態において、「時計回り」とは、上下方向における上方から下方に見て右回りを意味する。「反時計回り」とは、上下方向における上方から下方に見て左回りを意味する。
　図１及び図２に示すように、エンドエフェクタ１は、例えば対象物である葡萄の果柄Ｇ（以下、「果柄Ｇ」と示す）を捕捉する装置である。エンドエフェクタ１は、エンドエフェクタ１を移動可能な作業機械に支持されている。本実施形態において、エンドエフェクタ１は、撮像装置であるステレオカメラ８が撮像した画像Ｉに基づいて果柄Ｇを捕捉する。エンドエフェクタ１は、本体部材２と、対象物位置決め機構３と、処置機構６と、ステレオカメラ８と、制御装置９とを有する。
　本体部材２は、エンドエフェクタ１の筐体を構成する部品である。本体部材２は、一面が開口している略直方体の筐体である。本体部材２を構成する筐体は、対象物位置決め機構３、位置決め機構用アクチュエータ４及び処置機構６を内部に収容可能な大きさを有している。本体部材２の内部には、本体部材２の長手方向が前後方向に沿うように、開口部分を上方向に向けた状態で対象物位置決め機構３、位置決め機構用アクチュエータ４及び処置機構６が収容されている。本体部材２の開口部分には、該開口部分を塞ぐようにカバー２ａが取付られている。
　＜対象物位置決め機構＞
　図１及び図３に示すように、対象物位置決め機構３は、果柄Ｇの位置決めを行う機構である。対象物位置決め機構３は、位置決め機構用アクチュエータ４と、接触移動部材５と、図示しない接触移動機構とを備える。
　位置決め機構用アクチュエータ４（図３参照）は、対象物位置決め機構３の駆動源である。位置決め機構用アクチュエータ４は、例えば、電動シリンダである。電動シリンダは、ピストンロッドを電動モータによって軸線方向に移動させるアクチュエータである。位置決め機構用アクチュエータ４は、電動モータの回転量またはピストンロッドの移動量を検出するエンコーダ４ａを有している。位置決め機構用アクチュエータ４には、制御装置９に含まれるアクチュエータ制御部１０から電力が供給される。エンコーダ４ａは、アクチュエータ制御部１０に対して電動モータの回転量またはピストンロッドの移動量に関する位置信号を出力する。これにより、位置決め機構用アクチュエータ４は、アクチュエータ制御部１０によって位置制御される。
　接触移動部材５は、果柄Ｇを捕捉する部材である。接触移動部材５は、第１接触移動部材５Ｌ及び第２接触移動部材５Ｒを有する。第１接触移動部材５Ｌ及び第２接触移動部材５Ｒは、果柄Ｇを捕捉する部材である。第１接触移動部材５Ｌ及び第２接触移動部材５Ｒは、例えば、長方形状の板状部材が湾曲された部材である。
　第１接触移動部材５Ｌは、位置決め機構用アクチュエータ４の駆動力により、果柄Ｇの左方から果柄Ｇに近づく部材である。第１接触移動部材５Ｌは、本体部材２の前端部であって、本体部材２の左右方向の略中央に位置している。また、第１接触移動部材５Ｌは、前後方向及び左右方向に対して垂直な軸線を回転中心として本体部材２に対して回転可能な状態で本体部材２に支持されている。第１接触移動部材５Ｌの先端部は、前記軸線に直交且つ前後方向に延びる基準線Ｄよりも左方に位置している。つまり、第１接触移動部材５Ｌは、前方向に延びている状態において、本体部材２に回転可能に支持されている基端部から先端部に向かうにつれて左方に位置している。第１接触移動部材５Ｌは、図示しない接触移動機構を介して位置決め機構用アクチュエータ４に接続されている。
　第２接触移動部材５Ｒは、位置決め機構用アクチュエータ４の駆動力により、果柄Ｇの左方から果柄Ｇに近づく部材である。第２接触移動部材５Ｒは、本体部材２の前端部であって、本体部材２の左右方向の略中央に位置している。また、第２接触移動部材５Ｒは、前後方向及び左右方向に対して前記軸線を回転中心として本体部材２に対して回転可能に支持されている。本実施形態において、第１接触移動部材５Ｌの回転中心と第２接触移動部材５Ｒの回転中心とは同一である。第２接触移動部材５Ｒの先端部は、基準線Ｄよりも右方に位置している。つまり、第２接触移動部材５Ｒは、前方向に延びている状態において、本体部材２に回転可能に支持されている基端部から先端部に向かうにつれて右方に位置している。第２接触移動部材５Ｒは、図示しない接触移動機構を介して位置決め機構用アクチュエータ４に接続されている。
　第１接触移動部材５Ｌは、位置決め機構用アクチュエータ４によって、先端部が基準線Ｄに近づく方向（時計回り）と基準線Ｄから離れる方向（反時計回り）に回転可能に構成されている。つまり、第１接触移動部材５Ｌは、位置決め機構用アクチュエータ４によって、先端部が基準線Ｄに直交する方向である左右方向に移動可能に構成されている。また、第２接触移動部材５Ｒは、位置決め機構用アクチュエータ４によって、先端部が基準線Ｄに近づく方向（反時計回り）と基準線Ｄから離れる方向（時計回り）に回転可能に構成されている。つまり、第２接触移動部材５Ｒは、位置決め機構用アクチュエータ４によって、先端部が基準線Ｄに直交する方向である左右方向に移動可能に構成されている。
　また、第１接触移動部材５Ｌと第２接触移動部材５Ｒとは、位置決め機構用アクチュエータ４によって互いに逆方向に移動するように構成されている。第２接触移動部材５Ｒが本体部材２に対して時計回りに回転する場合、第１接触移動部材５Ｌは、本体部材２に対して第２接触移動部材５Ｒの回転角度と同じ回転角度だけ反時計回りに回転する。第２接触移動部材５Ｒが本体部材２に対して反時計回りに回転する場合、第１接触移動部材５Ｌは、本体部材２に対して第２接触移動部材５Ｒの回転角度と同じ回転角度だけ時計回りに回転する。つまり、第１接触移動部材５Ｌは、位置決め機構用アクチュエータ４によって、第２接触移動部材５Ｒに近づく第１方向である右方向に移動する。第２接触移動部材５Ｒは、位置決め機構用アクチュエータ４によって、第１接触移動部材５Ｌに近づく第２方向である左方向に移動する。このように、第１接触移動部材５Ｌと第２接触移動部材５Ｒとは、位置決め機構用アクチュエータ４によって、左右方向に互いに近づく方向と離れる方向に同じ移動量だけ移動可能に構成されている。
　このように構成される対象物位置決め機構３は、第１接触移動部材５Ｌ及び第２接触移動部材５Ｒを位置決め機構用アクチュエータ４によって互いに離れている開状態と互いに近づいている閉状態とに切り替えることができる。対象物位置決め機構３は、第１接触移動部材５Ｌ及び第２接触移動部材５Ｒによって果柄Ｇを捕捉することができる。また、対象物位置決め機構３は、位置決め機構用アクチュエータ４によって、基準線Ｄに対する第１接触移動部材５Ｌ及び第２接触移動部材５Ｒの角度を任意に変更することができる。つまり、対象物位置決め機構３は、第１接触移動部材５Ｌの先端部と第２接触移動部材５Ｒの先端部との左右方向の間隔を任意に変更することができる。
　処置機構６は、果柄Ｇを切断する処置を行う機構である。処置機構６は、処置機構用アクチュエータ７によって駆動される処置刃によって果柄Ｇを切断する。
　処置機構用アクチュエータ７（図３参照）は、処置機構６の駆動源である。処置機構用アクチュエータ７は、例えば、電動シリンダである。電動シリンダは、ピストンロッドを電動モータによって軸線方向に移動させるアクチュエータである。処置機構用アクチュエータ７には、制御装置に含まれるアクチュエータ制御部１０から電力が供給される。これにより、処置機構用アクチュエータ７は、アクチュエータ制御部１０によって制御される。
　ステレオカメラ８は、所定の空間内に存在する果柄Ｇまでの距離を測定するための画像を撮像する装置である。ステレオカメラ８は、単眼カメラ構造を構成する光学レンズと撮像素子との組み合わせを２つ以上有するカメラである。ステレオカメラ８は、光学レンズと前記撮像素子とによって撮像される撮像範囲が重複している範囲における視差量を算出することができる。ステレオカメラ８は、本体部材２に固定されている。ステレオカメラ８は、エンドエフェクタ１の前方を撮像可能に構成されている。ステレオカメラ８は、制御装置９に含まれる画像処理部１１に対して撮像した画像を出力する。
　図３に示すように、制御装置９は、対象物位置決め機構３の位置決め機構用アクチュエータ４、処置機構６の処置機構用アクチュエータ７及びステレオカメラ８を制御する。制御装置９は、アクチュエータ制御部１０、画像処理部１１を含む。制御装置９は、アクチュエータ制御部１０及び画像処理部１１を統合して制御する。制御装置９は、上位の制御装置である作業機械の制御装置に信号線等によって電気的に接続されている。制御装置９は、前記作業機械の制御装置から果柄Ｇの捕捉制御に関する制御信号が入力される。また、制御装置９は、前記作業機械の制御装置に対して果柄Ｇの捕捉に関する制御信号を出力する。
　アクチュエータ制御部１０は、位置決め機構用アクチュエータ４及び処置機構用アクチュエータ７を制御する。アクチュエータ制御部１０は、位置決め機構用アクチュエータ４及び処置機構用アクチュエータ７に電力線によって電気的に接続されている。また、アクチュエータ制御部１０は、位置決め機構用アクチュエータ４のエンコーダ４ａに信号線によって電気的に接続されている。
　アクチュエータ制御部１０には、エンコーダ４ａから位置信号が入力される。アクチュエータ制御部１０は、エンコーダ４ａから入力された位置信号に基づいて、位置決め機構用アクチュエータ４に電力を供給する。すなわち、アクチュエータ制御部１０は、エンコーダ４ａから入力された位置信号に基づいて、位置決め機構用アクチュエータ４の移動量を制御する。これにより、アクチュエータ制御部１０は、位置決め機構用アクチュエータ４によって移動される第１接触移動部材５Ｌ及び第２接触移動部材５Ｒの本体部に対する位置を調整することができる。つまり、アクチュエータ制御部１０は、第１接触移動部材５Ｌの先端部と第２接触移動部材５Ｒの先端部との左右方向の間隔を任意に変更することができる。
　アクチュエータ制御部１０は、エンコーダ４ａから入力された位置信号に基づいて、処置機構用アクチュエータ７に電力を供給する。すなわち、アクチュエータ制御部１０は、第１接触移動部材５Ｌ及び第２接触移動部材５Ｒが果柄Ｇを捕捉した際にエンコーダ４ａから所定の位置信号が入力されると、処置機構用アクチュエータ７を所定量だけ移動させる。これにより、アクチュエータ制御部１０は、処置機構用アクチュエータ７によって処置刃を処置位置まで移動することができる。
　画像処理部１１は、ステレオカメラ８が撮像した画像Ｉを処理する。画像処理部１１は、果柄Ｇの様々な画像について学習することにより獲得した果柄Ｇの検出用データを予め格納している。画像処理部１１は、入力された画像Ｉを処理するための画像処理プログラムを有している。前記画像処理プログラムは、画像Iから果柄Ｇを検出し、果柄Ｇを撮像した撮像位置Ｐ１から果柄Ｇまでの距離を算出することができる。また、前記画像処理プログラムは、画像Ｉにおいて、所定の形状であって、果柄Ｇが位置し、且つ果柄Ｇ以外の葉、穂軸、主茎、枝等物が位置しない領域である接触移動部材通過領域Ｂを算出することができる。
　画像処理部１１は、ステレオカメラ８に信号線によって電気的に接続されている。また、画像処理部１１は、ステレオカメラ８が有する一対の単眼カメラがそれぞれ撮像した画像Ｉが入力される。画像処理部１１は、前記画像処理プログラムに基づいて入力された画像Ｉから果柄Ｇを検出する。更に、画像処理部１１は、前記画像処理プログラムに基づいて果柄Ｇまでの距離を算出する。
　画像処理部１１は、前記画像処理プログラムに基づいて、所定の形状であって果柄Ｇが位置する領域と、果柄Ｇ及び果柄Ｇ以外の物が位置しない領域とから構成される接触移動部材通過領域Ｂを画像Ｉから算出する。
　［実施形態１］
　次に、図１から図５を用いて、エンドエフェクタ１の接触移動部材調整制御の実施形態１について説明する。図４は、エンドエフェクタ１の捕捉制御の実施形態１における撮像された画像I及び接触移動部材通過領域Ｂを示す模式図である。図５は、エンドエフェクタ１の捕捉制御の実施形態１における接触移動部材通過領域Ｂと調整前の接触移動部材５及び調整後の接触移動部材５を示す模式図である。なお、エンドエフェクタ１は、エンドエフェクタ１を任意の位置に移動可能な多関節ロボットアーム等の作業機械に支持されているものとする。また、エンドエフェクタ１は、ステレオカメラ８の撮像範囲内に果柄Ｇが含まれる場所に位置付けられているものとする。また、第１接触移動部材５Ｌ及び第２接触移動部材５Ｒは、第１接触移動部材５Ｌ及び第２接触移動部材５Ｒの可動範囲内において、互いに最も離れた位置を初期位置Ｐａとする。
　図３に示すように、制御装置９は、前記作業機械の制御装置から果柄Ｇの捕捉制御を開始する制御信号が入力されると、画像処理部１１によってステレオカメラ８に対して果柄Ｇが位置する範囲を撮像する信号を出力する。
　ステレオカメラ８は、エンドエフェクタ１が位置付けられている場所を撮像位置Ｐ１として、撮像位置Ｐ１において果柄Ｇの果柄が含まれる画像Ｉを撮像する。ステレオカメラ８は、撮像した画像Ｉを画像処理部１１に対して出力する。
　画像処理部１１は、前記画像処理プログラムに基づいてステレオカメラ８から入力された画像Ｉから果柄Ｇを検出する。更に、画像処理部１１は、前記画像処理プログラムに基づいて撮像位置Ｐ１から捕捉位置Ｐ２の果柄Ｇまでの距離Ｌを算出する（図８参照）。
　図３及び図４に示すように、画像処理部１１は、前記画像処理プログラムに基づいて、所定の形状の領域であって、果柄Ｇが位置する領域Ａ１と果柄Ｇ及び果柄Ｇ以外の物が位置しない領域Ａ２とから構成される接触移動部材通過領域Ｂを算出する。所定の形状は、例えば、画像Ｉにおいて、第１接触移動部材５Ｌ及び第２接触移動部材５Ｒの移動方向である左右方向に延びる辺と、左右方向に直交する上下方向に延びる辺とからなる長方形状である。果柄Ｇが位置する領域Ａ１は、果柄Ｇの画像が占める領域である。果柄Ｇ及び果柄Ｇ以外の物が位置しない領域Ａ２は、画像Ｉの撮像位置Ｐ１から果柄Ｇまでの間に位置する他の葡萄の果柄Ｇ、葡萄、茎、葉、枝、幹等の対象物である果柄Ｇ以外の物の画像が占める領域及び果柄Ｇの画像が占める領域を除いた領域である。つまり、果柄Ｇ及び果柄Ｇ以外の物が位置しない領域Ａ２は、前方向に見て、撮像位置Ｐ１から捕捉位置Ｐ２までの間にエンドエフェクタ１と接触する可能性がある物が存在しない空間を示す領域である。
　図３と図５に示すように、制御装置９は、接触移動部材通過領域Ｂと距離Ｌとから、第１接触移動部材５Ｌ及び第２接触移動部材５Ｒを接触移動部材通過領域Ｂ内に位置付けた際の本体部材２に対する第１接触移動部材５Ｌ及び第２接触移動部材５Ｒの位置である調整位置Ｐｂをそれぞれ算出する。
　制御装置９は、算出した第１接触移動部材５Ｌ及び第２接触移動部材５Ｒの調整位置Ｐｂに基づいて、アクチュエータ制御部１０によって位置決め機構用アクチュエータ４に対して電力を供給する。位置決め機構用アクチュエータ４は、第１接触移動部材５Ｌ及び第２接触移動部材５Ｒを初期位置Ｐａから調整位置Ｐｂに向かって基準線Ｄに近づく方向に移動させる。エンコーダ４ａは、アクチュエータ制御部１０に対して位置信号を出力する。アクチュエータ制御部１０は、入力された位置信号によって第１接触移動部材５Ｌ及び第２接触移動部材５Ｒが調整位置Ｐｂに移動したと判断すると、位置決め機構用アクチュエータ４に対する電力の供給を停止する。制御装置９は、前記作業機械の制御装置（ロボットアーム制御装置１１４）に対して、接触移動部材調整制御を終了する制御信号を出力する。
　エンドエフェクタ１は、前記作業機械によって撮像位置Ｐ１から捕捉位置Ｐ２に移動する。この際、第１接触移動部材５Ｌ及び第２接触移動部材５Ｒは、撮像位置Ｐ１から捕捉位置Ｐ２に位置付けられるまで、接触移動部材通過領域Ｂ内を通過する。よって、第１接触移動部材５Ｌ及び第２接触移動部材５Ｒは、撮像位置Ｐ１から捕捉位置Ｐ２に位置付けられるまで、果柄Ｇ以外の物との接触が抑制される。
　接触移動部材通過領域Ｂ内において、第１接触移動部材５Ｌと第２接触移動部材５Ｒとの間隔が最も広くなるように第１接触移動部材５Ｌ及び第２接触移動部材５Ｒが位置付けられた場合、第１接触移動部材５Ｌ及び第２接触移動部材５Ｒは、接触移動部材通過領域Ｂ内において果柄Ｇから最も離れている。よって、エンドエフェクタ１は、接触移動部材通過領域Ｂ内において、果柄Ｇを捕捉可能な範囲を最も大きくすることができる。
　また、接触移動部材通過領域Ｂ内において接触移動部材通過領域Ｂの境界よりも任意の距離だけ内方に第１接触移動部材５Ｌ及び第２接触移動部材５Ｒが位置付けられた場合、第１接触移動部材５Ｌ及び第２接触移動部材５Ｒは、接触移動部材通過領域Ｂの外方に位置する葉、茎、枝等から任意の距離だけ離れている。よって、エンドエフェクタ１は、風等による葉、茎、枝等の移動量が任意の距離未満であれば第１接触移動部材５Ｌ及び第２接触移動部材５Ｒが葉、茎、枝等に接触しない。また、エンドエフェクタ１は、果柄Ｇに対する位置のずれ量が任意の距離未満であれば第１接触移動部材５Ｌ及び第２接触移動部材５Ｒが葉、茎、枝等に接触しない。
　このように構成されるエンドエフェクタ１は、第１接触移動部材５Ｌ及び第２接触移動部材５Ｒが果柄Ｇ以外の物との接触を抑制しつつ第１接触移動部材５Ｌと第２接触移動部材５Ｒとの間隔をできるだけ広くすることができる。つまり、エンドエフェクタ１は、第１接触移動部材５Ｌ及び第２接触移動部材５Ｒが果柄Ｇ以外の物との接触を抑制しつつ果柄Ｇに対する第１接触移動部材５Ｌ及び第２接触移動部材５Ｒの間隔をできるだけ大きくすることができる。よって、エンドエフェクタ１は、果柄Ｇの周囲の状態を考慮した上で、果柄Ｇを捕捉可能な果柄Ｇに対するエンドエフェクタ１の位置の許容ずれ量を大きくすることができる。
　また、制御装置９は、果柄Ｇの周囲に位置する果柄Ｇ以外の物が風等によって移動しても第１接触移動部材５Ｌ及び第２接触移動部材５Ｒとの接触を抑制するように第１接触移動部材５Ｌ及び第２接触移動部材５Ｒの本体部材２に対する位置を調整することができる。よって、エンドエフェクタ１は、果柄Ｇの周囲の環境の状態が変化した場合でも第１接触移動部材５Ｌ及び第２接触移動部材５Ｒが果柄Ｇ以外の物との接触を抑制しつつ果柄Ｇを捕捉することができる。これにより、エンドエフェクタ１を移動させる前記作業機械の移動の精度を高い精度にすることなく、果柄Ｇの周囲に位置する葉、穂軸、主茎、枝等の受傷を抑制しつつ果柄Ｇの捕捉率を高めることができる。
　［実施形態２］
　＜接触移動部材通過領域の最大化＞
　図３と図６とを用いて、本発明のエンドエフェクタ１おける接触移動部材調整制御の実施形態２について説明する。図６は、エンドエフェクタ１の捕捉制御の実施形態２における基準接触移動部材通過領域Ｂ１と補正接触移動部材通過領域Ｂ２を示す模式図である。なお、以下の実施形態において、既に説明した実施形態と同様の点に関してはその具体的説明を省略し、相違する部分を中心に説明する。
　画像処理部１１は、前記画像処理プログラムに基づいて、所定の形状の領域であって、果柄Ｇが位置する領域Ａ１と第１接触移動部材５Ｌ及び第２接触移動部材５Ｒが通過可能な領域Ａ２とから構成される基準接触移動部材通過領域Ｂ１を算出する。本実施形態において、基準接触移動部材通過領域Ｂ１は、第１接触移動部材５Ｌ及び第２接触移動部材５Ｒの移動方向である左右方向に延びる辺と、左右方向に直交する上下方向に延びる辺とからなる長方形状の領域である。
　画像処理部１１は、前記画像処理プログラムに基づいて、基準接触移動部材通過領域Ｂ１の位置回転角度及び大きさのうち少なくとも一つを変更する。更に、画像処理部１１は、前記位置、前記回転角度及び前記大きさの少なくとも一つの変更に応じて基準接触移動部材通過領域Ｂ１の面積を算出する。画像処理部１１は、前記位置、前記回転角度及び前記大きさの少なくとも一つの変更に応じて算出した補正接触移動部材通過領域Ｂ２のうち、最も面積が大きい補正接触移動部材通過領域Ｂ２を算出する。
　エンドエフェクタ１は、補正接触移動部材通過領域Ｂ２を算出することで、補正接触移動部材通過領域Ｂ２における第１接触移動部材５Ｌの位置から果柄Ｇが位置する領域Ａ１までの距離Ｌ１（図５参照）及び補正接触移動部材通過領域Ｂ２における第２接触移動部材５Ｒの位置から果柄Ｇが位置する領域Ａ１までの距離Ｌ２（図５参照）を、基準接触移動部材通過領域Ｂ１における距離Ｌ１及び距離Ｌ２よりも大きくすることができる。
　このように構成されるエンドエフェクタ１の制御装置９は、基準接触移動部材通過領域Ｂ１の位置、回転角度、大きさを変更して、第１接触移動部材５Ｌ及び第２接触移動部材５Ｒの位置の調整範囲ができるだけ大きくなる補正接触移動部材通過領域Ｂ２を算出する。エンドエフェクタ１は、果柄Ｇ以外の物との接触を抑制しつつ果柄Ｇを捕捉可能な範囲ができるだけ大きくなるように第１接触移動部材５Ｌ及び第２接触移動部材５Ｒを位置付けた状態で、果柄Ｇに近づくことができる。これにより、エンドエフェクタ１を移動させる前記作業機械の移動の精度を高い精度にすることなく、果柄Ｇの周囲に位置する葉、穂軸、主茎、枝等の受傷を抑制しつつ果柄Ｇの捕捉率を高めることができる。
　［実施形態３］
　＜対象物排除領域＞
　図３と図７とを用いて、本発明のエンドエフェクタ１おける接触移動部材調整制御の実施形態３について説明する。図７は、エンドエフェクタ１の捕捉制御の実施形態３における接触移動部材通過領域Ｂ及び対象物排除領域Ｃと新たに算出された接触移動部材通過領域Ｂｎ及び対象物排除領域Ｃｎを示す模式図である。
　画像処理部１１は、前記画像処理プログラムに基づいて、所定の形状であって果柄Ｇが位置する領域Ａ１と果柄Ｇ及び果柄Ｇ以外の物が位置しない領域Ａ２とから構成される接触移動部材通過領域Ｂを算出する。本実施形態において、接触移動部材通過領域Ｂは、第１接触移動部材５Ｌ及び第２接触移動部材５Ｒの移動方向である左右方向に延びる辺と、左右方向に直交する上下方向に延びる辺とからなる長方形状の領域である。
　制御装置９は、接触移動部材通過領域Ｂと距離Ｌとから、第１接触移動部材５Ｌ及び第２接触移動部材５Ｒを接触移動部材通過領域Ｂ内に位置付けた際の本体部材２に対する第１接触移動部材５Ｌ及び第２接触移動部材５Ｒの位置である調整位置Ｐｂをそれぞれ算出する。
　画像処理部１１は、接触移動部材通過領域Ｂ内において、第１接触移動部材５Ｌ及び第２接触移動部材５Ｒの形状と調整位置Ｐｂとから第１接触移動部材５Ｌ及び第２接触移動部材５Ｒが通過する領域である対象物排除領域Ｃを算出する。対象物排除領域Ｃは、前方向に見て、エンドエフェクタ１が撮像位置Ｐ１から捕捉位置Ｐ２まで移動する際に第１接触移動部材５Ｌの先端部及び第２接触移動部材５Ｒの先端部が通過する空間を示す領域である。したがって、対象物排除領域Ｃ内に果柄Ｇの一部が位置する場合、エンドエフェクタ１は、捕捉位置Ｐ２に位置付けられる前に第１接触移動部材５Ｌの先端と第２接触移動部材５Ｒの先端のうち少なくとも一方が果柄Ｇに接触する（図７のＣｐ参照）。つまり、エンドエフェクタ１は、捕捉位置Ｐ２（図８参照）まで移動できない。
　よって、画像処理部１１は、対象物排除領域Ｃ内に果柄Ｇの一部が位置すると判定した合、接触移動部材通過領域Ｂを新たに算出する。画像処理部１１は、前記画像処理プログラムに基づいて、果柄Ｇに対する接触移動部材通過領域Ｂの位置、回転角度のうち少なくとも一つを変更して新たな接触移動部材通過領域Ｂｎを算出する。画像処理部１１は、新たな接触移動部材通過領域Ｂｎ内において、第１接触移動部材５Ｌ及び第２接触移動部材５Ｒの形状と調整位置Ｐｂとから第１接触移動部材５Ｌ及び第２接触移動部材５Ｒが通過する領域である新たな対象物排除領域Ｃｎを算出する。
　画像処理部１１が新たな対象物排除領域Ｃｎ内に果柄Ｇの一部が位置しないと判定した場合、制御装置９は、算出した第１接触移動部材５Ｌ及び第２接触移動部材５Ｒの調整位置Ｐｂに基づいて、アクチュエータ制御部１０によって位置決め機構用アクチュエータ４に対して電力を供給する。
　このように構成されるエンドエフェクタ１の制御装置９は、エンドエフェクタ１が撮像位置Ｐ１から捕捉位置Ｐ２に向かって移動中に、第１接触移動部材５Ｌ及び第２接触移動部材５Ｒが果柄Ｇと接触しないように、対象物排除領域Ｃを算出する。制御装置９は、対象物排除領域Ｃにおける果柄Ｇの有無を判定することで、接触移動部材通過領域Ｂ内に位置する果柄Ｇと第１接触移動部材５Ｌ及び第２接触移動部材５Ｒとの接触を防止している。したがって、第１接触移動部材５Ｌ及び第２接触移動部材５Ｒは、エンドエフェクタ１が撮像位置Ｐ１から捕捉位置Ｐ２に移動する過程において果柄Ｇ及び果柄Ｇ以外の物との接触が抑制される。これにより、エンドエフェクタ１を移動させる作業機械の移動の精度を高い精度にすることなく、果柄Ｇの周囲に位置する葉、穂軸、主茎、枝等の受傷を抑制しつつ果柄Ｇの捕捉率を高めることができる。
　＜多関節ロボットアーム装置＞
　次に、エンドエフェクタ１が設けられている６自由度の移動体である多関節ロボットアーム装置１００について説明する。図６は、本発明に係るエンドエフェクタ１を備えた６自由度の多関節ロボットアーム１０１による葡萄の撮像状態を表す模式図である。図７は、本発明の実施形態１に係るステレオカメラが取り付けられたエンドエフェクタ１の平面図と側面図である。図８は、ロボットアーム制御装置１１４によって算出された葡萄の収穫順の処理画像の一例を示す図である。多関節ロボットアーム装置１００は、多関節ロボットアーム１０１、エンドエフェクタ１及びロボットアーム制御装置１１４（図１及び図２参照）を含む。図９は、多関節ロボットアーム装置１００に設けられたエンドエフェクタ１の制御構成を示すブロック図及び接触移動部材通過領域Ｂと調整前の接触移動部材５及び調整後の接触移動部材５を示す模式図である。
　以下、図中の矢印Ｚは、多関節ロボットアーム装置１００の上方向を示す。図中の矢印Ｙは、多関節ロボットアーム装置１００の前方向を示す。
　＜多関節ロボットアーム１０１＞
　図８に示すように、多関節ロボットアーム１０１は、本実施形態において、リンク１０３が１自由度の回転関節（モータユニット１０２）によって基端から先端まで直列に連結されたシリアルリンク機構のロボットアームである。多関節ロボットアーム１０１は、例えば６自由度の可動部を有する垂直多関節ロボットアーム１０１である。多関節ロボットアーム１０１は、遠隔操作車両２００等に設けられている。
　多関節ロボットアーム１０１では、遠隔操作車両２００に固定された基端部から順に、６つのモータユニット１０２がそれぞれリンク１０３によって直列に連結されている。各軸のモータユニット１０２は、回転関節を構成している。各軸のモータユニット１０２は、図示しないモータ、減速機、エンコーダ及び駆動回路を含む。多関節ロボットアーム１０１は、ロボットアーム制御装置１１４によって制御される。多関節ロボットアーム１０１は、ロボットアーム制御装置１１４から各軸の駆動回路に制御信号を取得する。また、多関節ロボットアーム１０１は、各軸のモータユニット１０２のモータの出力に関する情報及びエンコーダからの情報をロボットアーム制御装置１１４に送信する。
　＜ロボットアーム制御装置＞
　ロボットアーム制御装置１１４（図３参照）は、多関節ロボットアーム１０１およびエンドエフェクタ１を制御する装置である。ロボットアーム制御装置１１４は、エンドエフェクタ１が到達可能な範囲である作業範囲内の果柄Ｇを捕捉するように多関節ロボットアーム１０１およびエンドエフェクタ１を制御する。ロボットアーム制御装置１１４には、多関節ロボットアーム１０１及びエンドエフェクタ１の動作を制御するために種々の画像処理プログラム、データが格納されている。
　ロボットアーム制御装置１１４は、エンドエフェクタ１の制御装置９に信号線及び電力線によって電気的に接続されている。ロボットアーム制御装置１１４は、制御装置９の上位の制御装置として制御信号を出力することができる。
　図３及び図９に示すように、ロボットアーム制御装置１１４は、多関節ロボットアーム１０１によってエンドエフェクタ１を移動させる。ロボットアーム制御装置１１４は、多関節ロボットアーム１０１によってエンドエフェクタ１が有するステレオカメラ８の撮像範囲内に果柄Ｇが含まれるようにエンドエフェクタ１を位置づける。また、ロボットアーム制御装置１１４は、多関節ロボットアーム１０１によって、エンドエフェクタ１を撮像位置Ｐ１から捕捉位置Ｐ２まで移動させる。
　（その他の実施形態）
　以上、本発明の実施の形態を説明したが、上述した実施の形態は本発明を実施するための例示に過ぎない。よって、上述した実施の形態に限定されることなく、その趣旨を逸脱しない範囲内において上述した実施の形態を適宜変形して実施することが可能である。
　上述の各実施形態において、制御装置９の画像処理部１１は、果柄Ｇを含む長方形状の領域を接触移動部材通過領域Ｂとして算出している。しかしながら、画像処理部は、多角形状または円形状の接触移動部材通過領域として算出してもよい。画像処理部は、例えば６角形状の接触移動部材通過領域を算出する。
　エンドエフェクタ１は、算出した多角形状の接触移動部材通過領域Ｂの頂点近傍を第１接触移動部材５Ｌ及び第２接触移動部材５Ｒが通過するように接触移動部材通過領域Ｂを算出することで、接触移動部材通過領域Ｂにおける第１接触移動部材５Ｌと第２接触移動部材５Ｒとの間隔をできるだけ広くすることができる。さらに、エンドエフェクタ１は、制御装置９によって円形状の接触移動部材通過領域Ｂを算出することで、エンドエフェクタ１の果柄Ｇに対する角度を考慮することなく接触移動部材通過領域Ｂを算出することができる。これにより、エンドエフェクタ1を移動させる作業機械の移動の精度を高い精度にすることなく、果柄Ｇの周囲に位置する葉、穂軸、主茎、枝等の受傷を抑制しつつ果柄Ｇを捕捉して処置を行うことができるようにロバスト性を高めることができる。
　また、上述の各実施形態において、エンドエフェクタ１は、撮像装置として２つの単眼カメラから構成されるステレオカメラ８を有している。しかしながら、撮像装置は、ステレオカメラでなくてもよい。撮像装置は、撮像位置から対象物までの距離を算出可能、且つ対象物を含む画像を撮像可能な装置であればよい。また、撮像装置は、レーザー光で対象物を含む物体までの距離を計測するＬｉＤＡＲ（ｌｉｇｈｔ　ｄｅｔｅｃｔｉｏｎ　ａｎｄ　ｒａｎｇｉｎｇ）でもよい。
　また、上述の各実施形態において、位置決め機構用アクチュエータ４は、ピストンロッドを電動モータによって軸線方向に移動させる電動シリンダによって構成されている。しかしながら、位置決め機構用アクチュエータは、第１接触移動部材５Ｌ及び第２接触移動部材５Ｒを移動可能なアクチュエータであればよい。
　また、上述の各実施形態において、対象物位置決め機構３は、第１接触移動部材５Ｌ及び第２接触移動部材５Ｒを有する。しかしながら、対象物位置決め機構３は、複数の接触移動部材を有していてもよい。対象物位置決め機構３は、例えば、３つの接触移動部材を有していてもよい。
　また、上述の各実施形態において、第１接触移動部材５Ｌ及び第２接触移動部材５Ｒは、位置決め機構用アクチュエータ４によって左右方向に互いに近づく方向と離れる方向に同じ移動量だけ連動するように構成されている。しかしながら、第１接触移動部材５Ｌと第２接触移動部材５Ｒとは、それぞれ独立して左右方向に移動可能に構成されていてもよい。すなわち、第１接触移動部材５Ｌ及び第２接触移動部材５Ｒは、それぞれ別個の位置決め機構用アクチュエータによって、任意の方向に任意の距離だけ移動するように構成されてもよい。これにより、画像処理部１１は、接触移動部材通過領域Ｂ内において果柄Ｇに対する第１接触移動部材５Ｌ及び第２接触移動部材５Ｒの位置をそれぞれ任意の位置に決定することができる。
　また、前記実施形態において、多関節ロボットアーム１０１は、一例としてＳ軸モータユニット、Ｌ軸モータユニット、Ｕ軸モータユニット、Ｂ軸モータユニット、Ｒ軸モータユニット、Ｔ軸モータユニットがそれぞれリンクによって直列に連結されている。多関節ロボットアーム１０１の各軸のモータユニットの連結順、連結される際の軸線方向等は、多関節ロボットアーム１０１として成立する構造であればよい。
　　　１　エンドエフェクタ
　　　２　本体部材
　　　３　対象物位置決め機構
　　　４　位置決め機構用アクチュエータ
　　４ａ　エンコーダ
　　　５　接触移動部材
　　５Ｌ　第１接触移動部材
　　５Ｒ　第２接触移動部材
　　　６　処置機構
　　　７　処置機構用アクチュエータ
　　　８　ステレオカメラ
　　　９　制御装置
　　１０　アクチュエータ制御部
　　１１　画像処理部
　１００　多関節ロボットアーム装置
　１０１　多関節ロボットアーム
　１１４　ロボットアーム制御装置
　２００　遠隔操作車両
　　Ｇ　　果柄
　　Ａ１　果柄が位置する領域
　　Ａ２　果柄及び果柄以外の物が位置しない領域
　　Ｂ　　接触移動部材通過領域
　　Ｂ１　基準接触移動部材通過領域
　　Ｂ２　補正接触移動部材通過領域
　　Ｂｎ　新たに算出された接触移動部材通過領域
　　Ｃ　　対象物排除領域
　　Ｃｎ　新たに算出された対象物排除領域
　　Ｐ１　撮像位置
　　Ｐ２　捕捉位置
　　Ｐａ　初期位置
　　Ｐｂ　調整位置

Claims (4)

  1. 　移動可能な作業機械に支持される本体部材と、
    　前記本体部材に設けられ、対象物の一部と接触して前記対象物を捕捉位置において捕捉する接触移動部材を含む対象物位置決め機構と、
    　前記本体部材に設けられ、前記対象物を含む画像を撮像位置において撮像する撮像装置と、
    　前記撮像装置から入力された前記画像に基づいて前記対象物位置決め機構を制御する制御装置と、
    を備えたエンドエフェクタであって、
    　前記対象物位置決め機構は、
    　　前記接触移動部材の一部を構成し、前記本体部材に対して前記本体部材から前記捕捉位置に向かう方向を前方向とする前後方向に直交する第１方向に移動する第１接触移動部材と、
    　　前記接触移動部材の一部を構成し、前記前後方向に直交する第２方向に移動する第２接触移動部材と、
    　　前記第１接触移動部材を前記第１方向に移動させ、前記第２接触移動部材を前記第２方向に移動させるアクチュエータと、を含み、
    　前記制御装置は、
    　　前記画像から、前記対象物が位置する領域と、前記第１接触移動部材及び前記第２接触移動部材が通過可能な領域とから構成され且つ所定の形状を有する接触移動部材通過領域を算出し、
    　　前記エンドエフェクタが前記撮像位置から前記捕捉位置まで前記作業機械によって移動する際に、第１接触移動部材及び前記第２接触移動部材が前記接触移動部材通過領域内を通過するように、前記第１接触移動部材及び前記第２接触移動部材の少なくとも一方の前記本体部材に対する位置を、前記アクチュエータによって調整する、
    エンドエフェクタ。
  2. 　請求項１に記載のエンドエフェクタにおいて、
    　前記制御装置は、
    　　前記画像において、前記対象物に対する前記接触移動部材通過領域の位置、前記対象物に対する前記接触移動部材通過領域の回転角度、前記対象物に対する前記接触移動部材通過領域の大きさのうち少なくとも一つを変更することにより、面積が最大となる前記接触移動部材通過領域を算出する、
    エンドエフェクタ。
  3. 　請求項１または２に記載のエンドエフェクタにおいて、
    　前記制御装置は、
    　　前記接触移動部材通過領域において、前記第１接触移動部材及び前記第２接触移動部材が通過する領域を対象物排除領域として算出し、
    　　前記対象物排除領域内に前記対象物の一部が位置する場合、前記接触移動部材通過領域を新たに算出する、
    エンドエフェクタ。
  4. 　請求項１から３のいずれか一項に記載のエンドエフェクタにおいて、
    　前記制御装置は、
    　　多角形状、または円形状の前記接触移動部材通過領域を算出する、
    エンドエフェクタ。
PCT/JP2022/019977 2022-05-11 2022-05-11 エンドエフェクタ WO2023218568A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
PCT/JP2022/019977 WO2023218568A1 (ja) 2022-05-11 2022-05-11 エンドエフェクタ
US18/505,828 US20240075635A1 (en) 2022-05-11 2023-11-09 End effector

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2022/019977 WO2023218568A1 (ja) 2022-05-11 2022-05-11 エンドエフェクタ

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US18/505,828 Continuation US20240075635A1 (en) 2022-05-11 2023-11-09 End effector

Publications (1)

Publication Number Publication Date
WO2023218568A1 true WO2023218568A1 (ja) 2023-11-16

Family

ID=88730054

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/019977 WO2023218568A1 (ja) 2022-05-11 2022-05-11 エンドエフェクタ

Country Status (2)

Country Link
US (1) US20240075635A1 (ja)
WO (1) WO2023218568A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010207118A (ja) * 2009-03-09 2010-09-24 Osaka Prefecture Univ 果実収穫用エンドエフェクタ
JP2017176087A (ja) * 2016-03-31 2017-10-05 パナソニック株式会社 収穫装置
CN112715162A (zh) * 2021-01-21 2021-04-30 重庆文理学院 一种智能化采摘串型水果的系统
JP2021175396A (ja) * 2020-04-28 2021-11-04 株式会社椿本チエイン 収穫装置、収穫システム、収穫方法及びコンピュータプログラム
WO2022014641A1 (ja) * 2020-07-15 2022-01-20 ヤマハ発動機株式会社 エンドエフェクタ

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010207118A (ja) * 2009-03-09 2010-09-24 Osaka Prefecture Univ 果実収穫用エンドエフェクタ
JP2017176087A (ja) * 2016-03-31 2017-10-05 パナソニック株式会社 収穫装置
JP2021175396A (ja) * 2020-04-28 2021-11-04 株式会社椿本チエイン 収穫装置、収穫システム、収穫方法及びコンピュータプログラム
WO2022014641A1 (ja) * 2020-07-15 2022-01-20 ヤマハ発動機株式会社 エンドエフェクタ
WO2022013978A1 (ja) * 2020-07-15 2022-01-20 ヤマハ発動機株式会社 エンドエフェクタ
CN112715162A (zh) * 2021-01-21 2021-04-30 重庆文理学院 一种智能化采摘串型水果的系统

Also Published As

Publication number Publication date
US20240075635A1 (en) 2024-03-07

Similar Documents

Publication Publication Date Title
EP3539735A1 (en) Robotic arm end effector for fruit harvesting
US11477942B2 (en) Robotic fruit harvesting machine with fruit-pair picking and hybrid motorized-pneumatic robot arms
US20230166411A1 (en) End effector
WO2021044473A1 (ja) 多関節ロボットアーム制御装置及び多関節ロボットアーム装置
EP2268123A1 (en) Method and device for the removal of a leaf from a crop
CN111758397B (zh) 一种基于视觉识别的花椒智能采摘装置
CN114679963B (zh) 一种跨垄双臂协作草莓收获机器人、控制系统及采摘方法
JP2024505669A (ja) ガントリーシステムを備えたロボット収穫システム
Tinoco et al. A review of pruning and harvesting manipulators
US20180153103A1 (en) Machine for automatically harvesting fruits cultivated in rows
EP3498076B1 (en) Machine for automatically harvesting fruits cultivated in rows
WO2023218568A1 (ja) エンドエフェクタ
EP4140286A1 (en) Crop harvesting method, crop harvesting device, and crop harvesting system
JP2012110255A (ja) 果柄切断装置
Feng et al. Design and test of harvesting robot for table-top cultivated strawberry
Irie et al. Asparagus harvesting robot
WO2023218569A1 (ja) エンドエフェクタ
EP3967119A1 (en) Auto-positioning camera for drawn implements
CN113228939B (zh) 一种智能化的立式玉米收割台及玉米联合收割机
JP7152351B2 (ja) 収穫方法及び果菜収穫装置
WO2022013979A1 (ja) ステレオカメラ
WO2023203726A1 (ja) 画像取得装置
JP7234915B2 (ja) エンドエフェクタ
WO2023203727A1 (ja) 多関節ロボットアーム制御装置
Scarfe Development of an autonomous kiwifruit harvester: a thesis presented in partial fulfilment of the requirements for the degree of Doctor of Philosophy in Industrial Automation at Massey University, Manawatu, New Zealand.

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22941648

Country of ref document: EP

Kind code of ref document: A1