WO2012066819A1 - ワーク取り出し装置 - Google Patents

ワーク取り出し装置 Download PDF

Info

Publication number
WO2012066819A1
WO2012066819A1 PCT/JP2011/065961 JP2011065961W WO2012066819A1 WO 2012066819 A1 WO2012066819 A1 WO 2012066819A1 JP 2011065961 W JP2011065961 W JP 2011065961W WO 2012066819 A1 WO2012066819 A1 WO 2012066819A1
Authority
WO
WIPO (PCT)
Prior art keywords
workpiece
hand
gripping
work
posture
Prior art date
Application number
PCT/JP2011/065961
Other languages
English (en)
French (fr)
Inventor
幸康 堂前
靖雄 北明
奥田　晴久
鷲見　和彦
Original Assignee
三菱電機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 三菱電機株式会社 filed Critical 三菱電機株式会社
Priority to KR1020137012534A priority Critical patent/KR101453234B1/ko
Priority to JP2012544126A priority patent/JP5558585B2/ja
Priority to DE112011103794.5T priority patent/DE112011103794B4/de
Priority to US13/878,321 priority patent/US9089966B2/en
Priority to CN201180055387.5A priority patent/CN103221188B/zh
Publication of WO2012066819A1 publication Critical patent/WO2012066819A1/ja

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1612—Programme controls characterised by the hand, wrist, grip control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/04—Viewing devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/39—Robotics, robotics to robotics hand
    • G05B2219/39543—Recognize object and plan hand shapes in grasping movements
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40053—Pick 3-D object from pile of objects

Definitions

  • the present invention relates to a work picking device that picks up a work stacked in bulk.
  • the workpiece picking device is a device that picks workpieces one by one with a robot hand from a target on which a plurality of workpieces are stacked.
  • a conventional workpiece picking device for example, there is a device disclosed in Patent Document 1.
  • a partial shape unit into which the workpiece is divided and a priority order corresponding to the partial shape are stored in advance as data, and a plurality of stacked workpieces are stored.
  • image processing a plurality of partial shapes that are gripping position candidates are calculated, and the workpiece to be picked and its gripping portion are determined from the calculated candidates in consideration of the above priorities. It was.
  • the present invention has been made in view of the above, and an object of the present invention is to provide a workpiece take-out apparatus that can take out a workpiece in a mode in which the amount of data to be held in advance is small and the calculation time is short. To do.
  • a workpiece picking device includes a hand that grips a workpiece, a robot that moves the hand to a desired gripping position and posture, and a sensor that three-dimensionally measures the workpiece to obtain workpiece measurement data.
  • a storage medium that stores at least hand shape data, an information processing unit that calculates a gripping position and orientation based on data from the sensor and the storage medium, and a gripping position and orientation calculated by the information processing unit.
  • a control unit that controls the robot, and the information processing unit includes an optimum gripping candidate creation unit that directly derives a gripping position and orientation based on the workpiece measurement data and the hand shape data.
  • the workpiece take-out apparatus of the present invention it is possible to take out a workpiece with the same algorithm even if the workpiece shape changes in a mode in which the amount of data held in advance is small and the calculation time is also short.
  • FIG. 6 is an apparatus configuration diagram showing a workpiece removal apparatus according to a second embodiment.
  • FIG. 6 is an apparatus configuration diagram illustrating a workpiece take-out apparatus according to a third embodiment.
  • FIG. 6 is an apparatus configuration diagram showing a workpiece take-out apparatus according to a fourth embodiment. It is a figure which shows a part of workpiece taking-out apparatus by Embodiment 5.
  • FIG. It is a figure which shows the restriction
  • FIG. 10 is a diagram illustrating a two-dimensional hand model used in the fifth embodiment. It is a figure showing the processing image of the optimal holding
  • FIG. 10 is an apparatus configuration diagram showing a workpiece take-out apparatus according to a fifth embodiment. It is a graph showing the result of evaluating the success rate at the time of taking out a workpiece according to Embodiment 5 for taking out a workpiece that has been difficult to recognize by the method based on the conventional workpiece shape and has not reached the gripping test. is there.
  • FIG. 1 is an apparatus configuration diagram showing a workpiece take-out apparatus according to Embodiment 1 of the present invention.
  • the workpiece picking device includes at least a recording medium 1, a sensor 2, an information processing unit 3, a control unit 4, a robot 5, and a hand 6.
  • the recording medium 1 stores at least hand shape data.
  • the sensor 2 acquires the three-dimensional measurement data of the stacked workpieces.
  • the information processing unit 3 outputs the grip position / posture of the workpiece based on data from the storage medium 1 and the sensor 2.
  • the control unit 4 controls the operation of the robot 5 and further the operation of the hand 6 based on the grip position / posture data obtained by the information processing unit 3.
  • the robot 5 makes the hand 6 an arbitrary position and posture based on a command from the control unit 4, and the hand 6 grips a workpiece.
  • the sensor 2 may be mounted at the hand of the robot 5 or may be installed at an appropriate fixing destination separately from the robot 5.
  • the sensor 2 is, for example, a binocular or multi-lens stereo camera, an active stereo camera including a light projecting unit and a camera such as a laser or a projector, a device using a time-of-flight method, and a robot operation with a single eye. Any factor analysis method, Structure-from-Motion, Structure-and-Motion equipment, motion stereo camera, visual volume intersection method, or the like can be used.
  • the hand 6 may be a pinching type, a suction type, or a type that is inserted into a hole and expanded (hereinafter referred to as a holding type).
  • the present invention is characterized in that the gripping position / orientation is dynamically determined from the hand shape and measurement data, rather than determining the gripping position / orientation in advance based on the workpiece shape.
  • the unit 3 includes an optimum gripping candidate creation unit 30 that dynamically determines where on the workpiece measurement data from the sensor 2 is to be gripped.
  • the optimum gripping candidate creation unit 30 includes a grippable feature extraction unit 301, a hand matching unit 302, and a gripping posture candidate selection unit 303.
  • the grippable feature extraction unit 301 extracts grippable features from the workpiece measurement data of the sensor 2.
  • the hand matching unit 302 matches the hand shape data stored in the recording medium 1 with the features extracted by the grippable feature extraction unit 301 and dynamically creates a plurality of gripping position / posture candidates.
  • the gripping posture candidate selection unit 303 selects the gripping position / posture most easily gripped from the gripping position / posture candidates created by the hand matching unit 302.
  • the grippable feature extraction unit 301 extracts features that can be gripped by the hand 6 to be used regardless of the overall shape of the workpiece. For example, in the case of the sandwiching type hand 6, a protruding portion or an edge that is easy to pick up corresponds. In the case of a suction type hand, a surface of a certain area or more corresponds. Further, in the case of an extension type hand, a circular hole generated on the surface of the work corresponds.
  • These features can be extracted by applying edges, surfaces, circles, etc. to the 3D measurement data.
  • a mode for obtaining these features at high speed for example, a mode in which edge detection using a Canny operator or a Sobel operator is performed on a distance image in which distance is expressed by brightness, circle extraction by Hough transform is performed. Examples include a mode in which a surface is extracted by labeling a region surrounded by edges, a mode in which a texture portion is detected as a protrusion using the edge gradient direction and intensity of luminance, and the like. These are required for basic image processing, and can be completed very quickly even if many features are extracted.
  • the feature extracted by the grippable feature extracting unit 301 and the hand shape data (model) stored in the recording medium 1 are matched.
  • This is realized by having a model as shown in FIG. 2 according to each hand type.
  • the clamping type it can be defined by the opening width of the hand arm immediately before the gripping approach, the approach depth, the vertical width and the horizontal width of the hand.
  • the suction type it can be defined by the radius of suction
  • the extension type it can be defined by the radius of the hole that can be inserted, the radius of the work surface around the hole, and the penetration depth. Since the hand shape data as described above has simple parameters, the amount of data required is small.
  • it may be calculated from CAD data of the hand 6 or the hand 6 may be directly measured.
  • the hand shape model For matching with the hand shape model as described above, for example, if it is a suction type, a part with a high matching between the model and the feature point group is a candidate, the feature surface is small, or a hole is opened in the feature surface. When the degree of coincidence with the model is low, the matching score is lowered from the candidate.
  • Such matching is realized by matching points such as ICP (Iterative Closest Point) if it is a 3D model, by template matching if it is a 2D model, or by matching by convolution processing considering the model as a filter. Can do.
  • interference with the surrounding environment can be taken into consideration at the same time in the case of the sandwiching type or the extension type.
  • the hand matching unit 302 calculates a gripping position / posture having the highest matching score for each of the features extracted by the grippable feature extracting unit 301, and uses the plurality of gripping position / postures as gripping position / posture candidates. Or, for a single feature extracted by the grippable feature extraction unit 301, a plurality of gripping position / postures whose matching score is higher than a predetermined threshold are calculated, and the plurality of gripping position / postures are calculated as gripping positions. Let it be a posture candidate. By such processing, the gripping position / posture can be dynamically defined even if the workpiece shape is unknown.
  • the score is obtained by two-dimensional image matching with three degrees of freedom of translation two degrees of freedom and one degree of freedom of rotation. It is possible to calculate, and it is possible to calculate a gripping position / posture that is easy to grasp without interference of each feature at high speed.
  • the gripping posture candidate selection unit 303 selects the gripping position / posture candidate that is most easily gripped from the gripping position / posture candidates created by the hand matching unit 302. For this, the hand matching unit 302 having the highest score may be selected, or an additional priority may be given. For example, the workpiece at the highest position in the stacking scene may be selected by using the average height and the center of gravity position of the features extracted by the grippable feature extraction unit 301.
  • the control unit 4 controls the operation of the robot 5 and further the operation of the hand 6 based on the gripping position candidate data, The hand 6 grips and takes out a target workpiece from a plurality of workpieces stacked in bulk.
  • the workpiece take-out device configured as described above, if at least hand shape data and a hand shape model based on the hand shape data are held as prior information, the workpiece shape and the unloading scene state are obtained. Regardless, it is possible to dynamically calculate the gripping position and posture that is easy to grip with less interference between the peripheral workpiece and the hand, and the shape of the workpiece has changed in a manner that requires less data to be held in advance and less calculation time.
  • the workpiece can be taken out with the same algorithm.
  • the processing of having to redefine the priorities of the parts in the work each time the hand shape is different is not compulsory, it is possible to solve the problem that the labor and calculation time associated with changing the priorities increases. it can.
  • Embodiment 2 the hand shape data is directly matched with the workpiece measurement data, that is, the optimum gripping position / posture is calculated using only the hand shape data.
  • the workpiece shape data is further used, and the entanglement state between the workpieces that cannot be determined only by the measurement data, or whether the pickup operation is successful. It is also possible to estimate such.
  • work shape data is stored in the storage medium 1 in addition to the hand shape data, and as shown in FIG.
  • a workpiece state determination unit 31 that evaluates the gripping position / orientation calculated by 30 based on workpiece shape data is further included.
  • the workpiece state determination unit 31 includes a workpiece matching unit 311, a workpiece entanglement state estimation unit 312, a workpiece pickup operation estimation unit 313, and a gripping posture candidate selection unit 314.
  • the workpiece entanglement state estimation unit 312 determines the entanglement between the workpieces in the bulk stack that does not appear in the workpiece measurement data by determining the interference between workpiece models created from the matching of workpiece measurement data and workpiece shape data. Thus, an operation that prioritizes the gripping position / posture corresponding to an object with little entanglement is realized.
  • the workpiece picking-up motion estimation unit 313 calculates the position of the center of gravity of the workpiece when gripped from the hand shape data, the workpiece shape data, and the calculated gripping position / posture, and based on the calculated position of the workpiece after gripping An operation that gives priority to a gripping position / posture with a low possibility of the workpiece falling or the tilting of the workpiece after gripping is realized.
  • the optimum gripping candidate creation unit 30 in the second embodiment is basically the same as the optimum gripping candidate creation unit 30 in the first embodiment, but has one gripping position / posture that can be evaluated as optimum. It is different not only to decide but also to select a plurality. Further, in that case, a score for prioritizing a plurality of selected gripping position / postures may be created.
  • the workpiece matching data is matched with the workpiece shape data by the workpiece matching unit 311 using the gripping position / posture newly calculated by the optimum gripping candidate creation unit 30 and the extracted feature used therefor as an initial candidate.
  • the fact that an initial candidate has already been obtained corresponds to the fact that an initial search for work model matching has been made.
  • the feature is a set of three-dimensional points or edge points, accurate matching is performed by the ICP method or the like.
  • template collation with three degrees of freedom of translation two degrees of freedom and rotation one degree of freedom, collation using a hash, matching by silhouette, and collation by geometric relationship of features may be used. Further, it may be determined in advance which part of the work is a feature that is likely to be extracted by the optimum gripping candidate creation unit 30, and the matching search range may be limited to increase the speed.
  • the workpiece entanglement state estimation unit 312 obtains a corresponding workpiece model by matching workpiece measurement data and workpiece shape data with respect to a workpiece corresponding to a certain gripping position and posture and a workpiece group around the workpiece. By analyzing the state of the workpiece model, interference between workpieces is determined. As a result, when a part of each work model exists at the same position and interferes, the gripping position / posture corresponding to the work model is excluded from the candidates, or candidate selection in the gripping posture candidate selection unit 314 is performed. Processes such as lowering the priority. Also, even if there is no interference between the work models at this time, if the work model pick-up operation is simulated and if it collides with other peripheral work models, the corresponding grip position / posture should be excluded from the candidates as well Priorities may be reduced.
  • the workpiece picking-up motion estimation unit 313 performs gripping simulation using a certain gripping position / posture and a corresponding work model and a hand shape model corresponding to the gripping posture / posture.
  • the position of the center of gravity of the workpiece is calculated, and the gripping position / posture with a high risk of dropping during the picking-up operation is excluded or the priority is reduced.
  • the risk of falling may be determined using the Euclidean distance between the hand gripping position prepared as shown in FIG. 2 and the calculated gravity center position of the workpiece as an evaluation index.
  • the gripping posture candidate selection unit 314 selects an optimal gripping position / posture based on the priorities evaluated by the workpiece entanglement state estimation unit 312 and the workpiece pick-up operation estimation unit 313. At this time, the score for candidate creation created by the optimum gripping candidate creation unit 30 may be used.
  • Each evaluation index may be a linear combination such as summation or a non-linear combination such as integration.
  • the work entanglement state estimation unit 312 and the workpiece pick-up operation are mainly based on the score of the optimum gripping candidate creation unit 30.
  • a selection method such as rejecting candidates whose priority of the estimation unit 313 is below a certain level may be taken.
  • the workpiece take-out device as in the first embodiment, selection of candidates that can be gripped with high accuracy with less hand interference while reducing the amount of data, model registration effort, and calculation time. can do.
  • a gripping position / posture in which a workpiece can be taken out is less likely to be entangled between workpieces and to be less likely to fail during a pick-up operation.
  • a take-out operation can also be realized.
  • Embodiment 3 FIG. Based on FIG. 4, a workpiece takeout device according to the third embodiment will be described.
  • data relating to the gripping position / posture of the next work operation is further stored in the recording medium 1 in the second embodiment, and the information processing unit 3 is suitable for the next work as shown in FIG.
  • the next operation motion estimation unit for estimating the gripping position candidate is provided.
  • the next work motion estimation unit 32 estimates a grip position candidate based on the grip position / posture of the next work motion stored in the recording medium 1. For example, if the next work after the work removal is the assembly of the work to the product being assembled, the gripping position and posture of the work required during the assembly are suitable for the assembly operation. It is limited to that. For example, it is often impossible to assemble a workpiece gripped inside out as it is, and it is difficult to greatly change the posture that the robot takes while gripping. Although minute gripping errors can be tolerated, if gripping with a large error or gripping with a workpiece posture different from the assembly posture is performed, it is necessary to change the workpiece, which increases work time and labor. .
  • work can illustrate not only an assembly
  • the method for determining whether or not it is necessary to change the position from the gripping position / posture at the time of removal is to simulate the gripping state of the work using the work shape model, the hand shape model, and the gripping position / posture.
  • the next work motion estimation unit 32 holds the work shape model held by the hand shape model by the hand shape model at the work position obtained by simulating the next work such as assembly. Match with the workpiece shape model in the ground state. If the robot can calculate the transformation matrix between the positions and orientations of the respective hand shapes in a state where the positions and orientations of the respective workpiece shape models match, it is determined that the operation without changing can be performed as the next operation. If the calculation is impossible, it can be determined that it is necessary to hold it again, such as holding it again or handing it to another robot hand.
  • the workpiece can be taken out in a mode in which the amount of data to be held in advance is small and the calculation time is also short, as in the above-described embodiment. In addition to being able to do this, it is also possible to reduce the tact time by reducing the changeover work.
  • Embodiment 4 FIG.
  • a plurality of gripping position / posture candidates calculated by the optimum gripping candidate creation unit 30 are selected by the work state determination unit 31, and further selected by the next work motion estimation unit 32. This process was adopted.
  • a plurality of gripping position / posture candidates calculated by the optimum gripping candidate creation unit 30 are respectively set as a workpiece state determination unit 31 and a next work motion estimation unit 32. The evaluation is performed in parallel, and the evaluation is finally performed by the gripping posture candidate selection unit 33 in a comprehensive manner.
  • the candidate score calculated by the optimum gripping candidate creation unit 30, the evaluation values of the work state determination unit 31 and the next work motion estimation unit 32 are linearly combined such as addition or nonlinearly combined such as integration. It may be expressed and evaluated.
  • processing that intervenes a selection method such as rejecting candidates whose evaluation values of the work state determination unit 31 and the next work motion estimation unit 32 are below a certain value, mainly based on the score of the appropriate gripping candidate creation unit 30 It may be taken.
  • FIG. 6 shows a part of a workpiece take-out apparatus according to Embodiment 5 of the present invention.
  • a sandwich-type hand 6 and a sensor 2 that performs three-dimensional measurement are mounted on the tip of the robot 5.
  • the robot 5 of FIG. 6 is an articulated type with 6 degrees of freedom, but may be an articulated type with 7 degrees of freedom.
  • the robot 5 may be a double-arm type, vertical scalar type, or parallel link type robot.
  • the sensor 2 is attached to the tip of the robot 5 and can be operated together. Alternatively, the sensor 2 may be fixedly installed separately from the robot 5 or may be installed on another movable stage.
  • ⁇ Restrict the robot and hand movements as shown in Fig. 7 when unloading workpieces. It is assumed that the robot 5 has a coordinate system having X, Y, and Z directions as shown in FIG. At this time, as shown in FIG. 7A, the bulk object in the supply box 7 is operated in the sky above the supply box 7 with two degrees of freedom in translation in the X and Y axes and one degree of freedom in rotation around the Z axis. Align the position and posture of the hand 6 so that Next, as shown in FIG. 7 (b), the workpiece enters the supply box 7 with a motion of one degree of translation in the Z direction, and the work 6 is gripped by the hand 6. Further, as shown in FIG. 7C, the hand 6 is pulled up while holding the workpiece by an operation with one degree of freedom of translation in the Z direction. This is realized by an operation with a total of 4 degrees of freedom including 3 degrees of freedom of translation and 1 degree of freedom of rotation.
  • This operation has many advantages. For example, if the movement of 6 degrees of freedom is outside the movement range of the robot 5 and the robot 5 tries to move the movement of 6 degrees of freedom according to the posture of the workpiece, the robot 5 stops due to an error. If it can be realized by the above-described operation with a total of 4 degrees of freedom, there is a high possibility that such a situation can be avoided. Further, it is possible to avoid the danger that the robot 5 and the hand 6 collide with the supply box 7 and the sensor 2 due to the complicated movement of 6 degrees of freedom. It is easy to design a robot motion range, a safety range, and an interference avoidance range with four degrees of freedom. Furthermore, if the movement has a total of four degrees of freedom, the robot 5 can be a low-cost but high-speed vertical scalar type.
  • the line-of-sight direction of the sensor 2 is matched with the direction of the approaching motion as shown in FIG.
  • the visual line direction of the sensor here indicates the optical axis direction of the camera lens.
  • FIG. 9 An example of the distance image is shown in FIG.
  • the amount of reflection of light on the surface of the object is contained in each pixel as a luminance value.
  • the height of the object in the pixel is within each pixel.
  • FIG. 9 it is displayed brighter if it is close to the imaged sensor 2 and darker if it is far away.
  • the distance image has an advantage that the amount of processing calculation is lighter than that of the three-dimensional position data because three-dimensional information including the height can be handled as an image.
  • many image processing methods that have been used in production sites can be applied.
  • the distance image can be obtained by, for example, a three-dimensional measurement method that can obtain height information such as a spatial coding method or a stereo method, and a three-dimensional sensor that realizes the height information.
  • FIG. 10 shows a state in which a certain workpiece is piled up and measured with a three-dimensional sensor to obtain a camera image and a distance image.
  • the movement of the robot 5 is limited to four degrees of freedom, the line-of-sight direction of the sensor 2 is made coincident with the approaching movement direction, and the distance grasped workpiece distance image is used to select the optimum gripping candidate for picking up the workpiece.
  • the following explanation is focused on picking up and picking up, and it does not matter in what posture the work is picked up.
  • CAD data, point cloud data, distance data, two-dimensional image data, and partial information work area specific areas, edge lengths, texture features, geometrical relationships of characteristic parts such as holes
  • a two-dimensional hand model as shown in FIG. 11 is used. This is a further simplification of the sandwich-type hand shape 2D model shown in FIG. 2, and the tip portion of the hand that hits the workpiece at the moment when the hand 6 enters and grips is represented by a circular interference region. Since there are two interference areas at the tip of the hand for gripping, this two-dimensional hand model can be defined by only two parameters in total, the radius of the circle and the opening width of the hand that determines the positional relationship between the two circles.
  • the tip of the hand is a rectangular parallelepiped, it may be expressed by three parameters using length and width instead of the radius of the circle, or may be defined by a parameter representing a polygon or an ellipse.
  • the radius of the approximate circle is set large enough to cover the entire interference area, the hand will be able to use the approximate circle as a model to avoid interference. To function correctly.
  • Fig. 12 shows a processing image for creating an optimal gripping candidate using a distance image and a two-dimensional hand model.
  • FIG. 13 shows a processing flow.
  • the segment is extracted from the distance image.
  • the segment here refers to a plane or curved surface portion of the work surrounded by the shape edges.
  • Segmentation means extracting this segment. This extraction is realized by edge detection from a distance image using a Canny operator or a Sobel operator.
  • the edge in the distance image represents the shape edge of the object itself.
  • the area delimited by the detection edge corresponds to the plane or curved surface portion of the workpiece. Segments can be extracted by this method even for thin screws and springs, where model matching with the workpiece shape is difficult.
  • a candidate selection method for example, a plurality of candidates may be selected by giving priority to the segment at the highest position, or may be selected based on the area of the segment instead of the height information. From these candidates, the gripping position / posture with the highest score (gripability likelihood) by matching described below is output.
  • the segment selected as a candidate is matched with the 2D hand model.
  • a position that can be stably grasped without colliding is searched. This is realized by searching for a gripping position and posture in which 1) the area of the segment existing within the opening width of the hand is large, and 2) there is no interference between the interference region at the tip of the hand and the periphery of the segment and no collision occurs.
  • 1) is the convolution process between the candidate segment and the open width of the hand
  • 2) is the convolution process of the interference area between the candidate segment and the tip of the hand, including the area where it may collide. Can do.
  • the area of 2) is subtracted from the area of 1), it becomes “an area that can be grasped and cannot be collided”.
  • the gripping position and orientation to be calculated are the orientation and position of the hand model when this maximum likelihood is recorded. This is calculated for a single segment selected as a candidate or for multiple segments. In the case of a single segment, the position and orientation of the hand model that records the maximum likelihood within that segment is selected. In the case of a plurality of segments, the position and orientation of the hand model that records the maximum likelihood of the segment having the largest maximum likelihood in each segment is selected.
  • the result image of the gripping position / posture in FIG. 12 shows that a calculation result indicating that it is appropriate to grip the workpiece at a position approximately perpendicular to the edge is output at the center of gravity of the part of the workpiece protruding.
  • the number 92 represents the “how easy to grasp” with a maximum of 100 points by normalizing the likelihood of gripping with the area.
  • the dark gray circle in the middle represents the gripping position, and the two white circles connected by a straight line represent the interference area at the tip of the hand.
  • FIG. 14 shows a more easily understood result obtained by calculating the gripping position / posture for several candidate segments in the same manner.
  • the score is high where there is no peripheral interference, and the score is low in the part that is likely to hit when entering. Also, it can be seen that the score of the part orthogonal to the edge of the gripping position is high.
  • the opening / closing direction of the hand at the gripping position and the direction of the shape edge of the candidate segment should be perpendicular.
  • An example is shown in FIG.
  • the edge of the candidate segment is detected, and the edge direction for each local region is calculated.
  • the degree of orthogonality increases as the edge direction of the shape edge of the candidate segment that intersects the candidate segment is closer to the opening / closing direction of the hand.
  • Both evaluations can be reflected by multiplying the above-mentioned grippable likelihood score or adding weights.
  • FIG. 16 is an apparatus configuration diagram showing a workpiece take-out apparatus according to the fifth embodiment of the present invention.
  • the apparatus includes a recording medium 1 that stores only a two-dimensional hand model, a sensor 2 that generates a distance image of loosely stacked workpieces, and a gripping position and orientation based on the two-dimensional hand model of the storage medium 1 and the distance image of the sensor 2.
  • An information processing unit 3 having an optimum gripping candidate generation unit 30 to be calculated, a control unit 4 that controls the operation based on the gripping position and orientation information, a robot 5 that makes the hand an arbitrary position and orientation based on a command from the control unit, and grips a workpiece Hand 6 is included.
  • the processing flow performed in the optimum gripping candidate generation unit 30 is the flow of FIG.
  • This processing is implemented with a PC of Core2Duo2G and memory 2G with a calculation time of about 0.1 to 0.2 sec. It can be seen that the processing using three-dimensional information is very fast.
  • Multiple removal is a post-process, for example, it can be rejected based on camera measurement results or weight judgment, or placed on a flat surface and separated, so only when it is missed. If it failed, the average success rate for all workpieces was 91.5%. In the present embodiment, it is possible to quickly extract a workpiece having a complicated shape, which has been difficult to remove from the bulk stacking without adjusting each workpiece.
  • the workpiece can be taken out in a mode in which the amount of data to be held in advance is small and the calculation time is also short.
  • the following advantages are also obtained.
  • the line-of-sight direction of the sensor is made coincident with the approach direction when the hand approaches the workpiece in order to take out the stacked workpiece, creation of the optimum gripping candidate can be realized at high speed.
  • the robot forms a desired gripping position and posture with a limited total of four degrees of freedom, ie, three degrees of freedom in translation in the X, Y, and Z directions and one degree of freedom of rotation around the approach direction axis for picking up the workpiece.
  • the robot operation range, safety range, and interference avoidance range can be easily designed, and the start-up of the apparatus is speeded up.
  • the optimum gripping candidate creation unit uses a two-dimensional hand model as hand shape data, uses a distance image as work measurement data, and grips from the grippable likelihood obtained by convolution of the hand shape data and the work measurement data. Calculate the position and orientation. Furthermore, the optimum gripping candidate creation unit extracts a plane or a curved surface based on edge detection from the distance image, and calculates the gripping position and orientation by matching the plane or curved surface with the hand shape data. Therefore, the workpiece can be taken out at a high speed, and adjustments depending on the workpiece shape are not required, and the start-up of the apparatus is also accelerated.
  • the optimum gripping candidate creation unit calculates the gripping position and orientation from the orthogonality between the direction of the shape edge of the plane or curved surface extracted based on the edge detection from the distance image and the opening / closing direction of the hand. You can increase the success rate.

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Orthopedic Medicine & Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Manipulator (AREA)

Abstract

　事前に保持しておくデータ量が少なく、且つ、計算時間が少ない態様で、ワークの取り出しを行うことができるワーク取り出し装置を提供する。ワーク取り出し装置は、ワークを把持するハンド（６）と、ハンドを所望の把持位置姿勢にするロボット（５）と、ワークを３次元計測してワーク計測データを得るセンサ（２）と、少なくともハンド形状データを蓄えた記憶媒体（１）と、センサ及び記憶媒体からのデータをもとに把持位置姿勢を計算する情報処理部（３）と、情報処理部によって計算された把持位置姿勢に基づいてロボットを制御する制御部（４）とを備える。情報処理部には、ワーク計測データとハンド形状データに基づいて、直接、把持位置姿勢を導き出す最適把持候補作成部が設けられている。

Description

ワーク取り出し装置
　本発明は、バラ積みされたワークを取り出すワーク取り出し装置に関するものである。
　ワーク取り出し装置は、複数のワークがバラ積みされている対象から、ロボットハンドによって、ワークを一つずつピッキングする装置である。従来のワーク取り出し装置として、例えば特許文献１に開示された装置がある。かかる装置では、代表的なワークの形状を想定し、そのワークを区分けした部分形状単位と、その部分形状に対応した優先順位とを予めデータとして記憶しておき、バラ積みされた複数のワークを画像処理することで、把持位置の候補となる部分形状を複数算出し、さらに、算出された候補の中から、上記優先順位を考慮してピッキング対象としてのワークとその把持部分とを決定していた。
　しかしながら、上記特許文献１のようなワークの取り出し態様では、次のような問題が生じる。
　まず、第１の問題として、算出した把持位置の候補が少ないと、その中から決定したワークをハンドで把持しようとした場合に、ハンドが把持対象以外の他のワークと干渉したり他のワークが邪魔でハンドが把持位置まで到達できなかったりする確率が増加する。また、これを回避するためには、事前に多数の把持位置の候補数を算出しておく必要があるが、その場合には、今度は、手間や計算時間、データ量が膨大になるという問題点がある。
　さらに、第２の問題として、部分形状の区分態様やその部分形状への優先順位の割り付けは、異なるハンド形状ごとに定義しなおさなくてはならなかったので、それによっても、手間、計算時間が嵩むという問題点がある。
特開２０１０－８９２３８公報
　本発明は、上記に鑑みてなされたものであり、事前に保持しておくデータ量が少なく且つ計算時間も少ない態様で、ワークの取り出しを行うことができるワーク取り出し装置を提供することを目的とする。
　上述した目的を達成するため、本発明のワーク取り出し装置は、ワークを把持するハンドと、前記ハンドを所望の把持位置姿勢にするロボットと、ワークを３次元計測してワーク計測データを得るセンサと、少なくともハンド形状データを蓄えた記憶媒体と、前記センサ及び前記記憶媒体からのデータをもとに把持位置姿勢を計算する情報処理部と、前記情報処理部によって計算された把持位置姿勢に基づいて前記ロボットを制御する制御部とを備え、前記情報処理部は、前記ワーク計測データと前記ハンド形状データとに基づいて、直接、把持位置姿勢を導き出す最適把持候補作成部を含む。
　本発明のワーク取出し装置によれば、事前に保持しておくデータ量が少なく且つ計算時間も少ない態様で、ワーク形状が変わっても同じアルゴリズムでワークの取り出しを行うことができる。
本発明の実施の形態１に係るワーク取出し装置を示す装置構成図である。 ハンド形状データ及びそれに基づくハンド形状モデルを例示する図である。 実施の形態２に係るワーク取出し装置を示す装置構成図である。 実施の形態３に係るワーク取出し装置を示す装置構成図である。 実施の形態４に係るワーク取出し装置を示す装置構成図である。 実施の形態５によるワーク取出し装置の一部を示す図である。 バラ積みワーク取り出しにおけるロボットとハンドとの動作の制限を示す図である。 センサの視線方向と進入動作の方向との関係を示す図である。 距離画像の例を示す図である。 ワークをバラ積みにした状態を３次元センサで計測することで得られたカメラ画像と距離画像とを示す図である。 実施の形態５において用いる２次元ハンドモデルを例示した図である。 距離画像と２次元ハンドモデルとを利用した最適把持候補作成の処理イメージを表す図である。 図１２の処理を行うためのフローチャートである。 図１２の把持位置姿勢の結果画像に関し、よりわかりやすい結果のものを示した図である。 把持位置におけるハンドの開閉方向と候補セグメントの形状エッジの方向とが垂直であり、把持状態がより安定している態様を説明する図である。 実施の形態５に係るワーク取出し装置を示す装置構成図である。 従来のワーク形状をもとにした方法では認識が困難で把持試験まで達していなかったワークの取り出しについて、実施の形態５によるワークの取り出しを行った際の成功率を評価した結果を示すグラフである。
　以下、本発明に係るワーク取出し装置の実施の形態について添付図面に基づいて説明する。なお、図中、同一符号は同一又は対応部分を示すものとする。
　実施の形態１．
　図１は、本発明の実施の形態１によるワーク取出し装置を示す装置構成図である。ワーク取出し装置は、記録媒体１と、センサ２と、情報処理部３と、制御部４と、ロボット５と、ハンド６とを少なくとも備えている。
　記録媒体１は、少なくともハンド形状データを蓄えている。センサ２は、バラ積みされたワークの３次元の計測データを取得するものである。情報処理部３は、記憶媒体１とセンサ２とからのデータをもとにワークの把持位置姿勢を出力する。制御部４は、情報処理部３で得られた把持位置姿勢のデータに基づき、ロボット５の動作さらにはハンド６の動作をコントロールするものである。また、ロボット５は、制御部４の指令に基づきハンド６を任意の位置や姿勢にするものであり、ハンド６はワークを把持するものである。
　センサ２は、ロボット５の手先に搭載されていても、あるいは、ロボット５とは別に適当な固定先に設置されていてもよい。また、センサ２は、例えば、二眼あるいは多眼のステレオカメラ、レーザやプロジェクタなどの投光部とカメラとを備えたアクティブ方式のステレオカメラ、タイムオブフライト法を用いる機器、単眼でロボット動作を利用した因子分解法やStructure from Motion、Structure and Motionによる機器、モーションステレオカメラ、視体積交差法による機器など、任意の領域の３次元データをとれるものであればよい。
　ハンド６は、挟持タイプ、吸着タイプ、あるいは、穴に挿し込み広げるタイプ（以下、拡持タイプと称する）でもよい。
　本発明は、ワーク形状に基づき事前に把持位置姿勢を決めるのではなく、ハンド形状と計測データとから動的に把持位置姿勢を決めることを特徴の一つとしており、具体的には、情報処理部３に、センサ２からのワーク計測データ上のどこを掴みに行くかを動的に決定する最適把持候補作成部３０が含まれている。さらに、最適把持候補作成部３０は、把持可能特徴抽出部３０１と、ハンドマッチング部３０２と、把持姿勢候補選択部３０３とを含んでいる。把持可能特徴抽出部３０１は、センサ２のワーク計測データから把持可能な特徴を抽出する。ハンドマッチング部３０２は、記録媒体１に蓄えられたハンド形状データと把持可能特徴抽出部３０１で抽出された特徴とのマッチングをとり、動的に複数の把持位置姿勢候補を作成する。把持姿勢候補選択部３０３は、ハンドマッチング部３０２で作成された把持位置姿勢候補から、最も掴みやすい把持位置姿勢を選択する。以下、各部についてより詳細に説明する。
　把持可能特徴抽出部３０１では、ワークの全体形状によらず、利用するハンド６が掴むことができる特徴を抽出する。例を挙げると、挟持タイプのハンド６であれば、つまみやすい突起部分やエッジが相当する。吸着タイプのハンドであれば、一定領域以上の面が相当する。また、拡持タイプのハンドであれば、ワークの表面に生じている円形の穴が相当する。
　これら特徴は、３次元計測データに対してエッジ、面、円などを当てはめることで抽出することが可能である。これらの特徴を高速に求めるための態様としては、例えば、距離を明度で表した距離画像に対して、キャニー演算子やソーベル演算子などを利用したエッジ検出を行う態様、ハフ変換による円抽出を行う態様、エッジで囲まれた領域をラベリングすることで面を抽出する態様、輝度のエッジ勾配方向や強度を利用してテクスチャ部分を突起部として検出する態様等を挙げることができる。これらは、基本的な画像処理で求められるものであり、多くの特徴を抽出しても非常に高速で完了する。
　ハンドマッチング部３０２では、把持可能特徴抽出部３０１で抽出された特徴と記録媒体１に蓄えられたハンド形状データ（モデル）とのマッチングをとる。これは、各ハンドタイプに応じて、例えば、図２に示されるようなモデルを持つことで実現される。例えば、挟持タイプであれば、把持アプローチ直前のハンドアームの開き幅、進入深さ、ハンドの縦幅、横幅により定義することができる。また、吸着タイプであれば、吸着の半径によって定義することができ、拡持タイプであれば、差し込める穴の半径、穴周辺のワーク面の半径、進入深さで定義することができる。上記のようなハンド形状データでは、パラメータがシンプルであるので、必要とするデータ量は少なくて済む。各パラメータを求める際には、ハンド６のＣＡＤデータから計算してもよいし、ハンド６を直接計測してもよい。
　上述したようなハンド形状モデルとのマッチングは、例えば、吸着タイプであれば、モデルと特徴点群とのマッチングが高い部分を候補とし、特徴面が小さかったり、特徴面内に穴が開いていたりして、モデルとの一致度が低い場合には、その候補から照合スコアを低くする。こうしたマッチングは、３ＤモデルであればＩＣＰ(Iterative Closest Point)などの点群どうしの照合により、２Ｄモデルであればテンプレートマッチングや、モデルをフィルタと考えての畳みこみ処理によるマッチングによって、実現することができる。また挟持タイプや拡持タイプであればさらに周辺環境との干渉も同時に考慮することができる。すなわち例えば挟持タイプであれば、進入深さとハンドの縦幅、横幅とで定義される領域に計測データが含まれていた場合、照合スコアを下げることで実現する。ハンドマッチング部３０２は、把持可能特徴抽出部３０１で抽出された複数の特徴に対して、特徴ごとにマッチングスコアが最も高い把持位置姿勢を計算し、それら複数の把持位置姿勢を把持位置姿勢候補とするか、あるいは、把持可能特徴抽出部３０１で抽出された単一の特徴に対して、マッチングスコアが所定の閾値よりも高い複数の把持位置姿勢を計算し、それら複数の把持位置姿勢を把持位置姿勢候補とする。このような処理によって、ワーク形状が未知でも、動的に把持位置姿勢を定義することができる。
　また、上記のマッチングは、把持可能特徴抽出部３０１で距離画像上の主法線を計算しておくことで、並進２自由度、回転１自由度の３自由度の２次元画像照合でスコアを計算でき、各特徴の干渉がなくつかみやすい把持位置姿勢を高速に計算することが可能になる。
　把持姿勢候補選択部３０３では、ハンドマッチング部３０２で作成された把持位置姿勢候補から、最も掴みやすい把持位置姿勢候補を選択する。これはハンドマッチング部３０２のスコアが最も高かったものを選んでもよいし、さらに追加の優先度を与えても良い。例えば、把持可能特徴抽出部３０１で抽出された特徴の平均高さや重心位置を利用して、バラ積みシーンにおいて最も高い位置にあるワークを選択するなどしてもよい。
　このようにして、情報処理部３により最適な一つの把持位置姿勢が作成されたら、制御部４は、その把持位置候補のデータに基づき、ロボット５の動作さらにはハンド６の動作をコントロールし、ハンド６はバラ積みされた複数のワークの中から目的のワークを把持し取り出す。
　以上のように構成された本実施の形態に係るワーク取出し装置によれば、少なくともハンド形状データやそれに基づくハンド形状モデルを事前の情報として保持していれば、ワーク形状やバラ積みシーンの状態によらず、周辺ワークとハンドの干渉が生じにくく掴みやすい把持位置姿勢を動的に計算することができ、事前に保持しておくデータ量が少なく且つ計算時間も少ない態様で、ワーク形状が変わっても同じアルゴリズムでワークの取り出しを行うことができる。また、ハンド形状が異なるたびに、ワーク内の部分の優先順位を定義しなおさなければならないといった処理が強いられないため、優先順位の変更に伴う手間や計算時間が嵩むという問題を解消することができる。
　実施の形態２．
　上記実施の形態１では、ハンド形状データを直接、ワーク計測データにマッチングさせる態様をとっており、すなわちハンド形状データのみで最適な把持位置姿勢を計算していた。これに対して、本実施の形態２は、把持位置姿勢を絞り込んだ後に、さらにワーク形状データを利用して、計測データだけでは判断できないワークどうしの絡み状態や、拾上げ動作が成功するか否かの推定をも行えるようにしたものである。
　本実施の形態２では、記憶媒体１に、ハンド形状データに加えて、ワーク形状データも蓄えられており、また、図３に示されるように、情報処理部３には、最適把持候補作成部３０により計算された把持位置姿勢を、ワーク形状データに基づき評価するワーク状態判断部３１がさらに含まれている。
　また、ワーク状態判断部３１は、図３に示されるように、ワークマッチング部３１１、ワーク絡み状態推定部３１２、ワーク拾い出し動作推定部３１３、把持姿勢候補選択部３１４を含んでいる。ワーク絡み状態推定部３１２は、ワーク計測データとワーク形状データとのマッチングから作成されるワークモデル同士の干渉を判定することで、ワーク計測データには現れないバラ積み内部のワーク同士の絡みを判定し、絡みが少ない対象に対応した把持位置姿勢を優先する動作を実現させるものである。また、ワーク拾い出し動作推定部３１３は、ハンド形状データと、ワーク形状データと、計算される把持位置姿勢とから、把持したときのワークの重心位置を計算し、それをもとに把持後のワークの落下または把持後のワークの傾きの可能性が低い把持位置姿勢を優先する動作を実現させるものである。
　以下、各部の動作についてより詳細に説明する。ここで、まず、本実施の形態２における最適把持候補作成部３０は、基本的には、実施の形態１の最適把持候補作成部３０と同じであるものの、最適と評価できる把持位置姿勢をひとつだけ決定するのではなく、複数、選定する点で異なる。さらにその場合、選定された複数の把持位置姿勢に優先付けのためのスコアを作成しておいてもよい。
　最適把持候補作成部３０で新たに計算された把持位置姿勢とそれに用いられた抽出特徴とを初期候補として、ワークマッチング部３１１でワーク形状データとのマッチングを行う。すでに初期候補が求められていることはワークモデル照合の初期探索ができていることにあたる。このとき特徴が３次元点群やエッジ点の集合であればＩＣＰ法などで正確なマッチングをおこなう。２次元画像であれば並進２自由度、回転１自由度の３自由度のテンプレート照合や、ハッシュを用いた照合、シルエットによるマッチング、特徴の幾何学的関係による照合を用いてもよい。また、あらかじめ最適把持候補作成部３０で抽出されやすい特徴がワークのどの部分にあたるかを判断しておき、マッチングの探索範囲を限定し高速化を図ってもよい。
　ワーク絡み状態推定部３１２では、ある把持位置姿勢に対応するワークと、そのワークの周辺にあるワーク群とに関して、ワーク計測データ及びワーク形状データをマッチングすることで対応するワークモデルを獲得し、それらワークモデルの状態を分析することで、ワーク同士の干渉を判定する。その結果、それぞれのワークモデルの一部が同一位置に存在し、干渉している場合、そのワークモデルに対応する把持位置姿勢は候補から除外するか、もしくは把持姿勢候補選択部３１４における候補選択の優先度をさげるなどの処理を行う。またこのときワークモデル間で干渉がなかったとしても、ワークモデルの拾い出し動作をシミュレーションし、その動作により他の周辺ワークモデルとぶつかる場合は、同様に対応する把持位置姿勢を候補から除外するか優先度をさげてもよい。
　ワーク拾い出し動作推定部３１３では、ある把持位置姿勢とそれに対応するワークモデル、さらにそれに対応する把持位置姿勢のハンド形状モデルを用いて、把持のシミュレーションをおこなう。そして、その把持位置姿勢でハンドがワークを把持した場合、ワークの重心位置がどこにあるかを計算し、拾い出し動作時に落下の危険が高い把持位置姿勢は除外するか、もしくは優先度をさげる。これは、例えば、図２のように用意されたハンドの把持位置と、計算されたワークの重心位置間のユークリッド距離を評価指標として、落下の危険性を判定してもよい。
　把持姿勢候補選択部３１４では、ワーク絡み状態推定部３１２、ワーク拾い出し動作推定部３１３で評価された優先度をもとに、最適な把持位置姿勢を選択する。このとき、最適把持候補作成部３０で作成された候補付けのためのスコアを利用してもよい。それぞれの評価指標は、和算のような線形結合でも、積算のような非線形結合でもよい、また、例えば最適把持候補作成部３０のスコアを主体に、ワーク絡み状態推定部３１２、ワーク拾い出し動作推定部３１３の優先度が一定以下の候補は棄却するなどの選択方法をとってもよい。
　本実施の形態２に係るワーク取出し装置によれば、実施の形態１と同様、データ量・モデル登録の手間・計算時間の低減を図りつつ、ハンド干渉が少なく、高い精度で把持できる候補を選択することができる。さらに加えて、本実施の形態では、ワーク間の絡みがおきにくく、拾い出し動作中に落下する失敗がおきにくいワーク取り出しができる把持位置姿勢が優先的に選定されるため、より高い成功率の取り出し動作を実現することもできる。
　実施の形態３．
　図４に基づいて、本実施の形態３に係るワーク取出し装置を説明する。本実施の形態３は、上記実施の形態２において、さらに、記録媒体１に次作業動作の把持位置姿勢に関するデータが蓄えられ、図４に示されるように、情報処理部３に次作業に適した把持位置候補を推定する次作業動作推定部が設けられたものである。
　次作業動作推定部３２は、記録媒体１に蓄えられた次作業動作の把持位置姿勢をもとに、把持位置候補を推定する。これは、ワーク取り出しという作業の次の作業が、例えば、組立中の製品へのワークの組付けだとする場合、その組付け中に要求されるワークの把持位置姿勢はその組付け動作に適したものに限定される。例えば、裏返しに把持したワークをそのまま組付けることはできないことが多く、また、ロボットが把持中にとる姿勢は大きく変えることは困難である。微小な把持誤差は許容できるが、大きな誤差をともなう把持や、組付け姿勢とは異なるワークの姿勢での把持が行われてしまった場合、ワークの持ち替えが必要となり作業時間や手間が増えてしまう。そこで、本実施の形態では、取り出し時のワーク把持姿勢から次の作業で持ち替えが必要と判断される場合は、把持位置姿勢の候補としての優先度を下げる、もしくは棄却する。なお、ここでいう次の作業は、組付けだけでなく、搬送、パレタイジング、梱包などの作業を例示することができる。
　取り出し時の把持位置姿勢から持ち替えが必要か否かを判断する方法は、ワーク形状モデル、ハンド形状モデル、把持位置姿勢を利用して、ワークの把持状態をシミュレートする。具体的に例示すると、次作業動作推定部３２は、ハンド形状モデルに把持された状態のワーク形状モデルを、組付けなどの次作業をシミュレートして得られるワーク位置におけるハンド形状モデルに把持された状態のワーク形状モデルに、マッチングさせる。そして、それぞれのワーク形状モデルの位置姿勢が一致した状態で、それぞれのハンド形状の位置姿勢の間の変換行列をロボットが演算可能であれば次作業として持ち替えなしの動作が可能であると判定し、演算不可能であれば一度把持しなおすか、別のロボットハンドに手渡すなどの持ち替え作業をはさむ必要があると判定することができる。
　以上のように構成された本実施の形態のワーク取出し装置によれば、上記実施の形態と同様、事前に保持しておくデータ量が少なく且つ計算時間も少ない態様で、ワークの取り出しを行うことができることに加え、持ち替え作業を減少させることによるタクトタイムの短縮を実現することも可能となっている。
　実施の形態４．
　図４に示した実施の形態３では、最適把持候補作成部３０により計算された複数の把持位置姿勢候補を、ワーク状態判断部３１において、選り分けてから、次作業動作推定部３２において、さらに選り分けるという処理が採用されていた。これに対し、本実施の形態４は、図５に示されるように、最適把持候補作成部３０により計算された複数の把持位置姿勢候補を、ワーク状態判断部３１、次作業動作推定部３２それぞれでパラレルに評価し、最終的にそれらの評価を把持姿勢候補選択部３３において総合的に判断するという処理をとるものである。
　この場合、最適把持候補作成部３０で計算される候補のスコア、ワーク状態判断部３１、次作業動作推定部３２それぞれの評価値を、和算のような線形結合や、積算のような非線形結合であらわし、評価してもよい。また、例えば、適把持候補作成部３０のスコアを主体に、ワーク状態判断部３１、次作業動作推定部３２の評価値が一定以下の候補は棄却するなどの選択方法を介在させるような処理をとってもよい。
　このような構成によれば、実施の形態３のように正確な取り出し作業の実現と持ち替え作業が減ることによるタクトタイムの短縮が実現可能であり、さらに加えて、実際の生産システムでトラブルがおきやすい部分などにあわせて、評価値の利用のしかたを柔軟に設計することも可能となっている。
　実施の形態５．
　処理が高速で、ワーク形状に依存せず調整が容易で、汎用的なバラ積みワーク取り出しを実現する実施形態を示す。図６は本発明の実施の形態５によるワーク取出し装置の一部を示す。ロボット５の先に、挟持型のハンド６と３次元計測をするセンサ２とを搭載する。図６のロボット５は、６自由度の多関節型であるが、７自由度の多関節型でもよい。あるいは、ロボット５は、双腕型、垂直スカラー型、パラレルリンク型のロボットでもよい。また、センサ２は、ロボット５の先端に取付けられ、一緒に稼動できるが、これ以外に、ロボット５と別に固定設置してもよいし、別の可動ステージに設置してもよい。
　バラ積みワーク取り出しにおけるロボットとハンドとの動作を図７のように制限する。ロボット５にはハンド６の先端位置に図７に示すようなＸ，Ｙ，Ｚの方向を持つ座標系があるとする。このとき、図７の（ａ）のように、供給箱７の上空でＸ軸，Ｙ軸における並進２自由度、Ｚ軸周りの回転１自由度の動作で、供給箱７内のバラ積み物体を掴めるようにハンド６の位置と姿勢を合わせる。次に、図７の（ｂ）のように、Ｚ方向での並進１自由度の動きで供給箱７内に進入し、ワークをハンド６で把持する。さらに、図７の（ｃ）ように、Ｚ方向での並進１自由度の動作で、ワークを把持したままハンド６を引き上げる。これは並進３自由度、回転１自由度の合計４自由度の動作で実現する。
　この動作には多くの利点がある。例えば、６自由度の動きがロボット５の動作範囲外にある場合に、ワークの姿勢に応じて６自由度の動きをロボット５にさせようとすると、ロボット５はエラーで停止してしまうが、上記の合計４自由度の動作で実現できれば、そのような事態も避けることができる可能性が高まる。また、６自由度の複雑な動きによりロボット５やハンド６が供給箱７やセンサ２などと衝突する危険を避けられる。４自由度の動きでロボット動作範囲、安全範囲、干渉回避範囲を設計することは容易である。さらに、合計４自由度の動作であれば、ロボット５として、安価でありながら高速な垂直スカラー型も利用できる。
　ワークに近づく進入動作を並進１自由度の動作に制限するとき、図８に示すようにセンサ２の視線方向をその進入動作の方向と一致させる。ここでいうセンサの視線方向とは、カメラレンズの光軸方向を示す。このとき、センサ２の距離画像と、図２に示したハンド形状の２次元モデル（以降、２次元ハンドモデルと呼ぶ）から、画像処理だけで高速に把持位置姿勢を計算することができる。
　距離画像の例を図９に示す。カメラで撮影した画像の場合、各画素には対象物の表面の光の反射量が輝度値として収まっている。一方、距離画像の場合、各画素にはそこにある物体の高さが収まっている。図９では撮影したセンサ２に近ければ明るく、遠ければ暗く表示されている。距離画像は、高さを含む３次元情報を画像として扱えるため、３次元の位置データとして扱うよりも処理演算量が軽いという利点がある。また、距離画像によれば、従来から生産現場で使われてきた多くの画像処理方法を応用できる。距離画像は、例えば、空間コード化方式やステレオ方式のような高さ情報を得ることができる３次元計測方法と、それを実現する３次元センサとにより得ることができる。図１０はあるワークをバラ積みにした状態を３次元センサで計測し、カメラ画像と距離画像を得たものである。
　前述したように４自由度にロボット５の動作を制限し、センサ２の視線方向を進入動作方向に一致させ、バラ積みワークの距離画像を用いる態様で、ワークの取り出しのための最適把持候補を作成する方法を説明する。なお、以下の説明は、取り出し・つかみ出しに特化して考えたものであり、ワークをどのような姿勢でつかみ出すかは問わない。ワークのＣＡＤデータ、点群データ、距離データ、２次元の画像データや、部分情報（ワーク特定部分の面積やエッジの長さ、テクスチャ特徴、穴などワークの特徴的な部分の幾何関係など）を事前に用意しない。これはワーク形状に応じた事前調整にかかる手間と、扱うワークの数が増えればデータ量が大きくなることを避けるためである。
　距離画像からワークの掴む位置を計算するために、図１１に示すような２次元ハンドモデルを使う。これは図２の挟持型のハンド形状２Ｄモデルをさらに簡略化したもので、ハンド６が進入・把持動作をおこなう瞬間にワークにぶつかるハンドの先端部分を円形の干渉領域で表している。把持するためのハンド先端の干渉領域は２箇所あるので、その円の半径と、２つの円の位置関係を決めるハンドの開き幅という合計２つのパラメータだけで、この２次元ハンドモデルを定義できる。これは、ハンド先端が直方体であれば、円の半径の代わりに縦・横の長さを使い３つのパラメータであらわしてもよい、また多角形や楕円を現すパラメータで定義してもよい。しかし、そのように厳密でなくても、近似的な円の半径を、干渉領域全体を覆うよう十分大きめに設定すれば、干渉を避けるためのモデルとして近似的な円を用いても、ハンドは、正しく機能する。
　図１２に距離画像と２次元ハンドモデルを利用した最適把持候補作成の処理イメージを表す。また図１３は処理フローを表す。処理はまず、距離画像からセグメントを抽出する。ここでいうセグメントとは、形状エッジに囲まれたワークの平面や曲面部分を指す。セグメンテーションするとは、このセグメントを抽出することをさす。この抽出は、距離画像からのキャニー演算子やソーベル演算子によるエッジ検出で実現する。距離画像におけるエッジとは、物体の形状エッジそのものを表す。この検出エッジで区切られた領域が、ワークの平面や曲面部分にあたる。ワーク形状とのモデルマッチングが困難な、細ネジやバネなどでもこの方法でセグメントを抽出できる。
　次に、抽出されたたくさんのセグメントをいくつかの候補に絞り込む。この絞り込みは、計算時間の削減に寄与するが、全てのセグメントを候補として選択しても処理自体は実現できるので、絞り込みをせずに本発明を実施してもよい。候補の選択方法は、例えば最も高い位置にあるセグメントから優先順位をつけて複数選択してもよいし、高さ情報の変わりにセグメントの面積をもとに候補選択しても良い。この候補の中から次に説明するマッチングによるスコア（把持可能尤度）が最も高かった把持位置姿勢を出力する。
　候補として選択したセグメントは２次元ハンドモデルとのマッチングをおこなう。これにより、ぶつからずに安定して掴める位置を探す。これは、１）ハンドの開き幅内に存在するセグメントの面積が大きく、且つ、２）ハンド先端の干渉領域とセグメント周辺との干渉がなく衝突しない、把持位置姿勢を探すことで実現する。１）は、候補セグメントとハンドの開き幅部分との畳みこみ処理で、２）は、ぶつかる可能性のある周辺を含めた候補セグメントとハンド先端との干渉領域の畳みこみ処理で、計算することができる。１）の領域から２）の領域を引くと、「掴める可能性があり、かつ、ぶつかる可能性のない領域」となる。これを平滑化した後に可視化したものが図１２の把持可能尤度である。計算する把持位置姿勢はつまり、この最大尤度を記録したときのハンドモデルの姿勢と位置である。これを、候補として選択した唯一のセグメントに対して、もしくは複数のセグメントに対して、計算する。唯一のセグメントの場合は、そのセグメント内で最大尤度を記録するハンドモデルの位置姿勢を選択する。複数のセグメントの場合は、各セグメント内の最大尤度が最も大きいセグメントの、最大尤度を記録したハンドモデルの位置姿勢を選択する。図１２の把持位置姿勢の結果画像は、ワークの一部出っ張った部分の重心に、エッジにほぼ垂直に把持をするのが適当という計算結果が出力されたことを示している。９２という数字は、把持可能尤度を面積で正規化し、最大１００点で「どれだけつかみやすいか」を表したものである。真ん中の濃灰色の丸が把持位置を表し、直線で結ばれた白い２つ円がハンド先端の干渉領域を表している。
　いくつかの候補セグメントに対して把持位置姿勢を同じように計算した、よりわかりやすい結果が図１４である。図１４を見ると、周辺干渉がないところは得点が高く、進入したときにぶつかりそうな部分は得点が低い。また、掴む位置のエッジに直交した部分の得点が高くなっていることがわかる。
　さらに、把持状態を安定させるには、把持位置におけるハンドの開閉方向と候補セグメントの形状エッジの方向とが垂直であるほうがよい。図１５にその例を示す。候補セグメントのエッジを検出し、局所領域ごとのエッジ方向を計算する。候補セグメントに重なるある把持位置に、あるハンド開閉方向を持つ２次元ハンドモデルがあるとき、それと交差する候補セグメントの形状エッジのエッジ方向と、ハンドの開閉方向とが垂直に近いほど直交度が高いとして評価することで、より安定した把持姿勢を探索する。前述の把持可能尤度のスコアに掛け合わせたり、重みをつけて足し合わせたりすることで、両方の評価を反映することができる。
　図１６は、本発明の実施の形態５によるワーク取出し装置を示す装置構成図である。装置には、２次元ハンドモデルのみを蓄えた記録媒体１、バラ積みワークの距離画像を生成するセンサ２、記憶媒体１の２次元ハンドモデルとセンサ２の距離画像をもとに把持位置姿勢を計算する最適把持候補生成部３０を持つ情報処理部３、その把持位置姿勢情報に基づき動作をコントロールする制御部４、制御部の指令に基づきハンドを任意の位置姿勢にするロボット５、ワークを把持するハンド６が含まれる。
　最適把持候補生成部３０内でおこなわれる処理フローが前述した図１２のフローである。この処理はＣｏｒｅ２Ｄｕｏ２Ｇ、メモリ２ＧのＰＣで計算時間０．１～０．２ｓｅｃ程度での実装を実現しており、３次元情報を扱った処理としては、非常に高速であることが分かる。また、本発明の実施の形態５で、従来のワーク形状をもとにした方法では認識が困難で把持試験まで達していなかったワークの取り出しをおこない、成功率を評価した結果を、図１７に示す。「単体取り出し」とは、ワーク一つのみをつかみ出した場合であり、「複数取り出し」とはワーク複数を同時に取り出した場合である。複数取り出しは後工程で、例えばカメラの計測結果や重量判定をもとに棄却したり、平面上に置きなおして分離したりするなどの処置が可能であることから、取り出しそこねた場合のみを失敗とすると、全ワークの平均成功率で９１．５％となった。本実施の形態では、ワークごとの調整をおこなわずに、これまでバラ積みからの取り出しが困難であった複雑な形状のワークの取り出しが高速に実現している。
　このように構成された本実施の形態５によれば、前述した実施の形態同様、事前に保持しておくデータ量が少なく且つ計算時間も少ない態様で、ワークの取り出しを行うことができるが、さらに加えて、次のような利点も得られる。まず、センサの視線方向を、ハンドがバラ積みワークを取り出すためにワークに近づくときの進入方向と一致させているので、最適把持候補の作成が高速に実現できる。また、ロボットがＸ，Ｙ，Ｚ方向の並進３自由度と、ワークを取り出す進入方向軸周りの回転１自由度という、合計４自由度の制限された動作で所望の把持位置姿勢を形成するので、ロボット動作範囲、安全範囲、干渉回避範囲が容易に設計でき、また、装置の立上げが迅速化されている。
　また、最適把持候補作成部は、ハンド形状データとして２次元ハンドモデルを使い、ワーク計測データとして距離画像を使い、そのハンド形状データとワーク計測データとの畳みこみで求められる把持可能尤度から把持位置姿勢を計算する。さらに、最適把持候補作成部は、距離画像からのエッジ検出に基づき平面や曲面を抽出し、その平面や曲面とハンド形状データをマッチングすることで把持位置姿勢を計算する。よって、高速にワーク取り出しができ、且つ、ワーク形状に依存した調整を必要とせずそれによっても装置の立上げが迅速化する。また、最適把持候補作成部は、距離画像からのエッジ検出に基づき抽出した平面や曲面の形状エッジの方向と、ハンドの開閉方向との直交度から把持位置姿勢を計算するので、ワークの取り出しの成功率を高めることができる。
　以上、好ましい実施の形態を参照して本発明の内容を具体的に説明したが、本発明の基本的技術思想及び教示に基づいて、当業者であれば、種々の改変態様を採り得ることは自明である。
　１　記録媒体、２　センサ、３　情報処理部、４　制御部、５　ロボット、６　ハンド、７　供給箱、３０　最適把持候補作成部、３１　ワーク状態判断部、３２　次作業動作推定部、３０１　把持可能特徴抽出部、３０２　ハンドマッチング部、３０３　把持姿勢候補選択部、３１１　ワークマッチング部、３１２　ワーク絡み状態推定部、３１３　ワーク拾い出し動作推定部、３１４　把持姿勢候補選択部。

Claims (11)

  1. 　ワークを把持するハンドと、
    　前記ハンドを所望の把持位置姿勢にするロボットと、
    　ワークを３次元計測してワーク計測データを得るセンサと、
    　少なくともハンド形状データを蓄えた記憶媒体と、
    　前記センサ及び前記記憶媒体からのデータをもとに把持位置姿勢を計算する情報処理部と、
    　前記情報処理部によって計算された把持位置姿勢に基づいて前記ロボットを制御する制御部とを備え、
    　前記情報処理部は、前記ワーク計測データと前記ハンド形状データとに基づいて、直接、把持位置姿勢を導き出す最適把持候補作成部を含む
    ワーク取り出し装置。
  2. 　前記最適把持候補作成部は、前記ハンド形状データに基づくモデルと、前記ワーク計測データとのマッチングから、把持位置姿勢を直接計算する、請求項１のワーク取り出し装置。
  3. 　前記センサの視線方向は、前記ハンドがバラ積みワークを取り出すためにワークに近づくときの進入方向と一致している、請求項１又は２のワーク取り出し装置。
  4. 　前記ロボットがＸ，Ｙ，Ｚ方向の並進３自由度と、ワークを取り出す進入方向軸周りの回転１自由度という、合計４自由度の制限された動作で所望の把持位置姿勢を形成する、請求項３記載のワーク取り出し装置。
  5. 　前記最適把持候補作成部は、前記ハンド形状データとして２次元ハンドモデルを使い、前記ワーク計測データとして距離画像を使い、そのハンド形状データとワーク計測データ
    との畳みこみで求められる把持可能尤度から把持位置姿勢を計算する、請求項３又は４のワーク取り出し装置。
  6. 　前記最適把持候補作成部は、距離画像からのエッジ検出に基づき平面や曲面を抽出し、その平面や曲面とハンド形状データをマッチングすることで把持位置姿勢を計算する、請求項３乃至５の何れか一項のワーク取り出し装置。
  7. 　前記最適把持候補作成部は、距離画像からのエッジ検出に基づき抽出した平面や曲面の形状エッジの方向と、ハンドの開閉方向との直交度から把持位置姿勢を計算する、請求項６のワーク取り出し装置。
  8. 　前記記憶媒体は、ワーク形状データも蓄えており、
    　前記情報処理部は、前記最適把持候補作成部により計算された把持位置姿勢を、前記ワーク形状データに基づき評価するワーク状態判断部を含む
    請求項１乃至７の何れか一項のワーク取り出し装置。
  9. 　前記ワーク状態判断部は、前記ワーク計測データと前記ワーク形状データとのマッチングから作成されるワークモデル同士の干渉を判定することで、前記ワーク計測データには現れないバラ積み内部のワーク同士の絡みを判定し、絡みが少ない対象に対応した把持位置姿勢を優先するワーク絡み状態推定部を含む、請求項８のワーク取り出し装置。
  10. 　前記ワーク状態判断部は、前記ハンド形状データと、前記ワーク形状データと、計算される把持位置姿勢とから、把持したときのワークの重心位置を計算し、それをもとに把持後のワークの落下または把持後のワークの傾きの可能性が低い把持位置姿勢を優先するワーク拾い出し動作推定部を含む、請求項８又は９のワーク取り出し装置。
  11. 　前記記憶媒体は、ワーク取り出しの次の作業に関するワークの次作業把持位置姿勢のデータをも蓄えており、
    　前記情報処理部は、前記ロボットによって次作業把持位置姿勢への実現が可能な把持位置姿勢を優先する次作業動作推定部を含む
    請求項１乃至１０の何れか一項のワーク取り出し装置。
PCT/JP2011/065961 2010-11-17 2011-07-13 ワーク取り出し装置 WO2012066819A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1020137012534A KR101453234B1 (ko) 2010-11-17 2011-07-13 워크 취출 장치
JP2012544126A JP5558585B2 (ja) 2010-11-17 2011-07-13 ワーク取り出し装置
DE112011103794.5T DE112011103794B4 (de) 2010-11-17 2011-07-13 Aufnehmervorrichtung für Werkstücke
US13/878,321 US9089966B2 (en) 2010-11-17 2011-07-13 Workpiece pick-up apparatus
CN201180055387.5A CN103221188B (zh) 2010-11-17 2011-07-13 工件取出装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2010257082 2010-11-17
JP2010-257082 2010-11-17

Publications (1)

Publication Number Publication Date
WO2012066819A1 true WO2012066819A1 (ja) 2012-05-24

Family

ID=46083763

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2011/065961 WO2012066819A1 (ja) 2010-11-17 2011-07-13 ワーク取り出し装置

Country Status (6)

Country Link
US (1) US9089966B2 (ja)
JP (1) JP5558585B2 (ja)
KR (1) KR101453234B1 (ja)
CN (1) CN103221188B (ja)
DE (1) DE112011103794B4 (ja)
WO (1) WO2012066819A1 (ja)

Cited By (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014502564A (ja) * 2010-12-30 2014-02-03 ゼンロボティクス オイ 把持位置を決定する方法、コンピュータプログラム及び装置
CN103659822A (zh) * 2012-09-14 2014-03-26 株式会社安川电机 机器人设备
EP2781315A1 (en) * 2013-03-18 2014-09-24 Kabushiki Kaisha Yaskawa Denki Robot picking system, control device and method of manufacturing a workpiece
JP2014205209A (ja) * 2013-04-11 2014-10-30 三菱電機株式会社 ロボットシステム、及びロボットシステムの制御方法
JP2015009314A (ja) * 2013-06-28 2015-01-19 キヤノン株式会社 干渉判定装置、干渉判定方法、コンピュータプログラム
JP2015085475A (ja) * 2013-10-31 2015-05-07 キヤノン株式会社 情報処理装置、情報処理方法
JP2015100866A (ja) * 2013-11-22 2015-06-04 三菱電機株式会社 ロボットシミュレーション装置、プログラム、記録媒体及び方法
JP2015145055A (ja) * 2014-02-04 2015-08-13 セイコーエプソン株式会社 ロボット、ロボットシステム、制御装置および制御方法
JP2016132086A (ja) * 2015-01-22 2016-07-25 三菱電機株式会社 ワーク供給装置およびワーク把持姿勢計算方法
US9401222B1 (en) 2015-11-23 2016-07-26 International Business Machines Corporation Determining categories for memory fail conditions
JP2016221647A (ja) * 2015-06-02 2016-12-28 キヤノン株式会社 把持制御装置、把持制御方法及びプログラム
US9694499B2 (en) 2014-09-16 2017-07-04 Fanuc Corporation Article pickup apparatus for picking up randomly piled articles
WO2018123087A1 (ja) * 2016-12-28 2018-07-05 オムロン株式会社 シミュレーション装置、ロボット、シミュレーション方法、及びそのプログラム
JP2018126862A (ja) * 2018-05-14 2018-08-16 キヤノン株式会社 干渉判定装置、干渉判定方法、コンピュータプログラム
JP2018144144A (ja) * 2017-03-03 2018-09-20 株式会社キーエンス 画像処理装置、画像処理方法、及びコンピュータプログラム
JP2019063984A (ja) * 2017-10-02 2019-04-25 キヤノン株式会社 情報処理装置、方法及びロボットシステム
JP2019126886A (ja) * 2018-01-25 2019-08-01 株式会社リコー 情報処理システム、ピッキング箇所特定方法及びプログラム
JP2019153605A (ja) * 2018-02-28 2019-09-12 オムロン株式会社 落下ばらつき予測装置、方法、プログラム、及びロボットシステム
US10603788B2 (en) 2016-09-05 2020-03-31 Fanuc Corporation Robot simulation apparatus
JP2020049651A (ja) * 2019-12-11 2020-04-02 キヤノン株式会社 干渉判定装置、干渉判定方法、コンピュータプログラム
JPWO2021001882A1 (ja) * 2019-07-01 2021-01-07
JPWO2021029064A1 (ja) * 2019-08-15 2021-02-18
WO2021053750A1 (ja) * 2019-09-18 2021-03-25 株式会社Ｆｕｊｉ 作業ロボットおよび作業システム
JP6878727B1 (ja) * 2020-12-01 2021-06-02 株式会社エクサウィザーズ アノテーション支援装置、方法、及びプログラム
CN112936257A (zh) * 2021-01-22 2021-06-11 熵智科技(深圳)有限公司 一种工件抓取方法、装置、计算机设备及存储介质
JP2021171885A (ja) * 2020-04-27 2021-11-01 パナソニックＩｐマネジメント株式会社 保持装置、制御方法、制御プログラム、制御システム、およびエンドエフェクタ
JP2021185016A (ja) * 2017-03-06 2021-12-09 株式会社Fuji 画像処理装置
WO2023013743A1 (ja) * 2021-08-04 2023-02-09 京セラ株式会社 保持パラメータ推定装置及び保持パラメータ推定方法
WO2024023934A1 (ja) * 2022-07-26 2024-02-01 ファナック株式会社 ワーク取出し装置、ワーク取出し方法及び制御装置

Families Citing this family (66)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5837065B2 (ja) 2011-06-29 2015-12-24 三菱電機株式会社 部品供給装置
JP5494617B2 (ja) * 2011-10-26 2014-05-21 株式会社安川電機 ロボットシステムおよび加工品の製造方法
US20130343640A1 (en) * 2012-06-21 2013-12-26 Rethink Robotics, Inc. Vision-guided robots and methods of training them
DE102013013114A1 (de) * 2012-08-17 2014-02-20 Liebherr-Verzahntechnik Gmbh Vorrichtung zum automatisierten Entnehmen von in einem Behälter angeordneten Werkstücken
US9233470B1 (en) * 2013-03-15 2016-01-12 Industrial Perception, Inc. Determining a virtual representation of an environment by projecting texture patterns
JP5698789B2 (ja) 2013-04-18 2015-04-08 ファナック株式会社 ワークを搬送するロボットの制御装置
GB201309156D0 (en) * 2013-05-21 2013-07-03 Univ Birmingham Grasp modelling
JP5929854B2 (ja) * 2013-07-31 2016-06-08 株式会社安川電機 ロボットシステムおよび被加工物の製造方法
JP5788460B2 (ja) 2013-11-05 2015-09-30 ファナック株式会社 バラ積みされた物品をロボットで取出す装置及び方法
JP2015147256A (ja) 2014-02-04 2015-08-20 セイコーエプソン株式会社 ロボット、ロボットシステム、制御装置、及び制御方法
FR3020303B1 (fr) * 2014-04-25 2016-07-15 Sileane Procede et installation de prehension automatique d'un objet.
JP6425718B2 (ja) * 2014-05-20 2018-11-21 株式会社日立製作所 組立教示装置及び方法
JP6088563B2 (ja) * 2015-02-10 2017-03-01 ファナック株式会社 位置及び姿勢の変換演算機能を備えたワーク取出しロボットシステム、及びワーク取出し方法
JP6632208B2 (ja) * 2015-03-24 2020-01-22 キヤノン株式会社 情報処理装置、情報処理方法、プログラム
US9486921B1 (en) 2015-03-26 2016-11-08 Google Inc. Methods and systems for distributing remote assistance to facilitate robotic object manipulation
US9802317B1 (en) * 2015-04-24 2017-10-31 X Development Llc Methods and systems for remote perception assistance to facilitate robotic object manipulation
US9889564B2 (en) 2015-07-08 2018-02-13 Empire Technology Development Llc Stable grasp point selection for robotic grippers with machine vision and ultrasound beam forming
JP6339534B2 (ja) * 2015-07-17 2018-06-06 ファナック株式会社 最大で二つのワークを把持するハンドを備えたロボットの制御方法およびロボット制御装置
EP3383593B1 (en) * 2015-12-03 2021-04-28 ABB Schweiz AG Teaching an industrial robot to pick parts
US9687983B1 (en) * 2016-05-11 2017-06-27 X Development Llc Generating a grasp pose for grasping of an object by a grasping end effector of a robot
JP2018034242A (ja) 2016-08-31 2018-03-08 セイコーエプソン株式会社 ロボット制御装置、ロボット、及びロボットシステム
JP6646894B2 (ja) * 2016-12-28 2020-02-14 オムロン株式会社 保持可否結果出力装置
JP6734402B2 (ja) * 2017-01-12 2020-08-05 株式会社Ｆｕｊｉ 作業機
US10414043B2 (en) 2017-01-31 2019-09-17 Fanuc America Corporation Skew and circular boundary for line tracking and circular tracking
JP6438512B2 (ja) * 2017-03-13 2018-12-12 ファナック株式会社 機械学習により補正した計測データでワークの取り出しを行うロボットシステム、計測データ処理装置および計測データ処理方法
CN108618275B (zh) * 2017-03-20 2021-01-26 Ykk株式会社 拉头的搬送装置及其搬送方法
US11003177B2 (en) * 2017-03-24 2021-05-11 Mitsubishi Electric Corporation Apparatus and method for generating robot program
US11173615B2 (en) 2017-03-30 2021-11-16 Soft Robotics, Inc. User-assisted robotic control systems
JP6598814B2 (ja) * 2017-04-05 2019-10-30 キヤノン株式会社 情報処理装置、情報処理方法、プログラム、システム、および物品製造方法
DE102017207069A1 (de) * 2017-04-27 2018-10-31 Robert Bosch Gmbh Prüfvorrichtung zur optischen Prüfung eines Objektes, Produktionsanlage mit der Prüfvorrichtung und Verfahren zur optischen Prüfung des Objektes mit der Prüfvorrichtung
JP6487495B2 (ja) * 2017-05-19 2019-03-20 ファナック株式会社 ワーク取出しシステム
US10761542B1 (en) 2017-07-11 2020-09-01 Waymo Llc Methods and systems for keeping remote assistance operators alert
US11065761B2 (en) * 2017-07-25 2021-07-20 Dematic Corp. Robotic picking training technique
JP6608894B2 (ja) * 2017-09-27 2019-11-20 ファナック株式会社 ロボットシステム
JP6902208B2 (ja) 2017-11-14 2021-07-14 オムロン株式会社 把持方法、把持システム及びプログラム
JP6880457B2 (ja) 2017-11-14 2021-06-02 オムロン株式会社 把持方法、把持システム及びプログラム
US11504853B2 (en) * 2017-11-16 2022-11-22 General Electric Company Robotic system architecture and control processes
JP6879238B2 (ja) * 2018-03-13 2021-06-02 オムロン株式会社 ワークピッキング装置及びワークピッキング方法
JP6937260B2 (ja) * 2018-03-19 2021-09-22 株式会社東芝 把持制御装置、把持システム、およびプログラム
US11584016B2 (en) * 2018-04-24 2023-02-21 Fanuc Corporation Robot controller and system
US10751882B1 (en) * 2018-05-14 2020-08-25 Amazon Technologies, Inc. End effector for autonomous object retrieval
JP6823008B2 (ja) * 2018-05-18 2021-01-27 ファナック株式会社 バラ積みされたワークを取り出すロボットシステムおよびロボットシステムの制御方法
US11103994B2 (en) * 2018-07-02 2021-08-31 Teradyne, Inc. System and method for natural tasking of one or more robots
US10369701B1 (en) 2018-10-30 2019-08-06 Mujin, Inc. Automated package registration systems, devices, and methods
KR102650494B1 (ko) 2018-10-30 2024-03-22 무진 아이엔씨 자동화된 패키지 등록 시스템, 디바이스 및 방법
EP3670106B1 (en) * 2018-12-18 2024-05-15 Siemens Aktiengesellschaft Task-specific robot grasping system and method
WO2020141579A1 (ja) * 2019-01-04 2020-07-09 ソニー株式会社 制御装置、制御方法、及びプログラム
US11185978B2 (en) * 2019-01-08 2021-11-30 Honda Motor Co., Ltd. Depth perception modeling for grasping objects
US11148289B1 (en) 2019-01-08 2021-10-19 Amazon Technologies, Inc. Entanglement end effector for autonomous object retrieval
CN113453850A (zh) * 2019-02-27 2021-09-28 Abb瑞士股份有限公司 用于机器人组装的系统和方法
JP7299967B2 (ja) * 2019-03-04 2023-06-28 株式会社Fuji シミュレーションシステム
DE102019107851B4 (de) * 2019-03-27 2022-06-23 Franka Emika Gmbh Robotergreifer sowie Verfahren zum Betrieb eines Robotergreifers
US11745337B2 (en) 2019-08-29 2023-09-05 Kabushiki Kaisha Toshiba Handling device, control device, and computer program product
US11724401B2 (en) 2019-11-13 2023-08-15 Nvidia Corporation Grasp determination for an object in clutter
DE102020128653B4 (de) 2019-11-13 2024-03-14 Nvidia Corporation Greifbestimmung für ein Objekt in Unordnung
CN114845844B (zh) * 2019-12-17 2023-05-30 三菱电机株式会社 信息处理装置、工件识别装置及工件取出装置
JP7364505B2 (ja) 2020-03-18 2023-10-18 株式会社東芝 ハンドリング装置、制御装置、およびプログラム
DE102020115628A1 (de) 2020-06-12 2021-12-16 Schunk Gmbh & Co. Kg Spann- Und Greiftechnik Sensoreinrichtung für ein Greifsystem, Verfahren zur Erzeugung von optimalen Greifposen zur Ansteuerung einer Greifvorrichtung und zugehöriges Greifsystem
KR102307047B1 (ko) * 2020-07-03 2021-10-01 주식회사 두산 로봇의 피킹 우선 순위 선정 장치 및 방법
CN112873205A (zh) * 2021-01-15 2021-06-01 陕西工业职业技术学院 基于双夹具实时切换的工业机器人无序抓取方法
JP2022131750A (ja) * 2021-02-26 2022-09-07 株式会社東芝 ハンドリングシステム、搬送システム、制御装置、制御プログラム、およびハンドリング方法
DE102021002418B3 (de) 2021-05-07 2022-07-14 Günther Zimmer Verfahren zum Erstellen von Greiferablaufprogrammen
JP2023041200A (ja) * 2021-09-13 2023-03-24 トヨタ自動車株式会社 ワーク保持装置、ワーク保持方法、プログラム、及び制御装置
DE102021212860B4 (de) 2021-11-16 2024-05-08 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren zum Aufnehmen eines Objekts mittels eines Roboters
CN118058882A (zh) * 2022-11-24 2024-05-24 中国科学院深圳先进技术研究院 前臂假肢控制方法、装置、设备和介质
DE102023201407A1 (de) 2023-02-17 2024-08-22 Kuka Deutschland Gmbh Verfahren und System zur Verbesserung der Grifferreichbarkeit

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03270890A (ja) * 1990-03-20 1991-12-03 Canon Inc 視覚センサを備えたワーク把持制御装置
JPH09277184A (ja) * 1996-04-15 1997-10-28 Ricoh Co Ltd 画像処理方法
JPH11198076A (ja) * 1998-01-05 1999-07-27 Kubota Corp 保持位置判別装置及び仕分け装置
JP2000263482A (ja) * 1999-03-17 2000-09-26 Denso Corp ワークの姿勢探索方法および姿勢探索装置ならびにロボットによるワーク把持方法およびワーク把持装置
JP2000304509A (ja) * 1999-04-21 2000-11-02 Matsushita Electric Works Ltd 物体特定方法及び装置
WO2004106009A1 (ja) * 2003-06-02 2004-12-09 Matsushita Electric Industrial Co., Ltd. 物品操作システムおよび方法、並びに物品管理システムおよび方法
JP2007319997A (ja) * 2006-06-01 2007-12-13 Nissan Motor Co Ltd 教示装置および教示方法
JP2010210511A (ja) * 2009-03-11 2010-09-24 Honda Motor Co Ltd 対象物の３次元位置・姿勢認識装置及びその方法

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2261069B (en) * 1991-10-30 1995-11-01 Nippon Denso Co High speed picking system for stacked parts
JPH11114860A (ja) * 1997-10-20 1999-04-27 Yamaha Motor Co Ltd 認識方法及びピッキング装置
JPH11300670A (ja) 1998-04-21 1999-11-02 Fanuc Ltd 物品ピックアップ装置
JP3768174B2 (ja) 2002-07-24 2006-04-19 ファナック株式会社 ワーク取出し装置
JP2004160567A (ja) * 2002-11-11 2004-06-10 Fanuc Ltd 物品取出し装置
SE524796C2 (sv) 2002-12-10 2004-10-05 Svensk Industriautomation Ab Kollisionsskydd
JP2005111607A (ja) * 2003-10-07 2005-04-28 Fanuc Ltd ロボット物流トラッキング装置
JP4199264B2 (ja) 2006-05-29 2008-12-17 ファナック株式会社 ワーク取り出し装置及び方法
JP4238256B2 (ja) * 2006-06-06 2009-03-18 ファナック株式会社 ロボットシミュレーション装置
JP4235214B2 (ja) * 2006-07-04 2009-03-11 ファナック株式会社 ロボットプログラムを作成するための装置、プログラム、記録媒体及び方法
US7313464B1 (en) * 2006-09-05 2007-12-25 Adept Technology Inc. Bin-picking system for randomly positioned objects
JP4226623B2 (ja) 2006-09-29 2009-02-18 ファナック株式会社 ワーク取り出し装置
JP4271232B2 (ja) * 2006-12-20 2009-06-03 ファナック株式会社 ロボットのオフラインプログラミングを実行するための装置、方法、プログラム及び記録媒体
JP4309439B2 (ja) 2007-03-30 2009-08-05 ファナック株式会社 対象物取出装置
JP4962123B2 (ja) 2007-04-27 2012-06-27 日産自動車株式会社 把持候補位置選出装置、把持候補位置選出方法、把持経路生成装置、および把持経路生成方法
JP4794011B2 (ja) * 2008-04-03 2011-10-12 関東自動車工業株式会社 画像処理装置、およびロボット制御システム
CN102186638B (zh) * 2008-08-29 2016-03-02 Abb研究有限公司 在工业机器人的手臂末端处的工具的顺应装置
US8559699B2 (en) * 2008-10-10 2013-10-15 Roboticvisiontech Llc Methods and apparatus to facilitate operations in image based systems
JP5265296B2 (ja) 2008-10-10 2013-08-14 本田技研工業株式会社 ワーク取り出し方法
JP2010115723A (ja) * 2008-11-11 2010-05-27 Seiko Epson Corp ロボット及びロボットシステム
JP5304469B2 (ja) 2009-06-19 2013-10-02 株式会社デンソーウェーブ ビンピッキングシステム
JP5333344B2 (ja) * 2009-06-19 2013-11-06 株式会社安川電機 形状検出装置及びロボットシステム
JP5402697B2 (ja) * 2009-10-26 2014-01-29 株式会社安川電機 ロボット装置及びワーク取り出しシステム並びにワーク取り出し方法
JP5257335B2 (ja) * 2009-11-24 2013-08-07 オムロン株式会社 ３次元視覚センサにおける計測有効領域の表示方法および３次元視覚センサ
JP5316580B2 (ja) * 2011-05-17 2013-10-16 株式会社安川電機 ロボットシステム
JP5266377B2 (ja) * 2011-12-19 2013-08-21 ファナック株式会社 物品の姿勢を修正する機能を備えた取出し装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03270890A (ja) * 1990-03-20 1991-12-03 Canon Inc 視覚センサを備えたワーク把持制御装置
JPH09277184A (ja) * 1996-04-15 1997-10-28 Ricoh Co Ltd 画像処理方法
JPH11198076A (ja) * 1998-01-05 1999-07-27 Kubota Corp 保持位置判別装置及び仕分け装置
JP2000263482A (ja) * 1999-03-17 2000-09-26 Denso Corp ワークの姿勢探索方法および姿勢探索装置ならびにロボットによるワーク把持方法およびワーク把持装置
JP2000304509A (ja) * 1999-04-21 2000-11-02 Matsushita Electric Works Ltd 物体特定方法及び装置
WO2004106009A1 (ja) * 2003-06-02 2004-12-09 Matsushita Electric Industrial Co., Ltd. 物品操作システムおよび方法、並びに物品管理システムおよび方法
JP2007319997A (ja) * 2006-06-01 2007-12-13 Nissan Motor Co Ltd 教示装置および教示方法
JP2010210511A (ja) * 2009-03-11 2010-09-24 Honda Motor Co Ltd 対象物の３次元位置・姿勢認識装置及びその方法

Cited By (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014502564A (ja) * 2010-12-30 2014-02-03 ゼンロボティクス オイ 把持位置を決定する方法、コンピュータプログラム及び装置
CN103659822A (zh) * 2012-09-14 2014-03-26 株式会社安川电机 机器人设备
US9132548B2 (en) 2013-03-18 2015-09-15 Kabushiki Kaisha Yaskawa Denki Robot picking system, control device and method of manufacturing a workpiece
EP2781315A1 (en) * 2013-03-18 2014-09-24 Kabushiki Kaisha Yaskawa Denki Robot picking system, control device and method of manufacturing a workpiece
JP2014205209A (ja) * 2013-04-11 2014-10-30 三菱電機株式会社 ロボットシステム、及びロボットシステムの制御方法
JP2015009314A (ja) * 2013-06-28 2015-01-19 キヤノン株式会社 干渉判定装置、干渉判定方法、コンピュータプログラム
US10675763B2 (en) 2013-06-28 2020-06-09 Canon Kabushiki Kaisha Information processing apparatus for determining interference between object and grasping unit, information processing method, and storage medium
JP2015085475A (ja) * 2013-10-31 2015-05-07 キヤノン株式会社 情報処理装置、情報処理方法
JP2015100866A (ja) * 2013-11-22 2015-06-04 三菱電機株式会社 ロボットシミュレーション装置、プログラム、記録媒体及び方法
JP2015145055A (ja) * 2014-02-04 2015-08-13 セイコーエプソン株式会社 ロボット、ロボットシステム、制御装置および制御方法
US9694499B2 (en) 2014-09-16 2017-07-04 Fanuc Corporation Article pickup apparatus for picking up randomly piled articles
JP2016132086A (ja) * 2015-01-22 2016-07-25 三菱電機株式会社 ワーク供給装置およびワーク把持姿勢計算方法
JP2016221647A (ja) * 2015-06-02 2016-12-28 キヤノン株式会社 把持制御装置、把持制御方法及びプログラム
US9620244B1 (en) 2015-11-23 2017-04-11 International Business Machines Corporation Determining categories for memory fail conditions
US9401222B1 (en) 2015-11-23 2016-07-26 International Business Machines Corporation Determining categories for memory fail conditions
US10603788B2 (en) 2016-09-05 2020-03-31 Fanuc Corporation Robot simulation apparatus
WO2018123087A1 (ja) * 2016-12-28 2018-07-05 オムロン株式会社 シミュレーション装置、ロボット、シミュレーション方法、及びそのプログラム
JP2018103339A (ja) * 2016-12-28 2018-07-05 オムロン株式会社 シミュレーション装置、ロボット、シミュレーション方法、及びそのプログラム
JP2018144144A (ja) * 2017-03-03 2018-09-20 株式会社キーエンス 画像処理装置、画像処理方法、及びコンピュータプログラム
JP2021185016A (ja) * 2017-03-06 2021-12-09 株式会社Fuji 画像処理装置
JP7197653B2 (ja) 2017-03-06 2022-12-27 株式会社Fuji 画像処理装置
JP2019063984A (ja) * 2017-10-02 2019-04-25 キヤノン株式会社 情報処理装置、方法及びロボットシステム
JP2019126886A (ja) * 2018-01-25 2019-08-01 株式会社リコー 情報処理システム、ピッキング箇所特定方法及びプログラム
JP7073742B2 (ja) 2018-01-25 2022-05-24 株式会社リコー 情報処理システム、ピッキング箇所特定方法及びプログラム
JP2019153605A (ja) * 2018-02-28 2019-09-12 オムロン株式会社 落下ばらつき予測装置、方法、プログラム、及びロボットシステム
JP2018126862A (ja) * 2018-05-14 2018-08-16 キヤノン株式会社 干渉判定装置、干渉判定方法、コンピュータプログラム
JP7264247B2 (ja) 2019-07-01 2023-04-25 オムロン株式会社 情報処理装置及び情報処理方法
JPWO2021001882A1 (ja) * 2019-07-01 2021-01-07
WO2021001882A1 (ja) * 2019-07-01 2021-01-07 オムロン株式会社 情報処理装置及び情報処理方法
JPWO2021029064A1 (ja) * 2019-08-15 2021-02-18
US12097615B2 (en) 2019-08-15 2024-09-24 Omron Corporation Information processing device and information processing method
JP7310895B2 (ja) 2019-08-15 2023-07-19 オムロン株式会社 情報処理装置及び情報処理方法
WO2021029064A1 (ja) * 2019-08-15 2021-02-18 オムロン株式会社 情報処理装置及び情報処理方法
JPWO2021053750A1 (ja) * 2019-09-18 2021-03-25
WO2021053750A1 (ja) * 2019-09-18 2021-03-25 株式会社Ｆｕｊｉ 作業ロボットおよび作業システム
JP7163506B2 (ja) 2019-09-18 2022-10-31 株式会社Fuji 作業ロボットおよび作業システム
JP2020049651A (ja) * 2019-12-11 2020-04-02 キヤノン株式会社 干渉判定装置、干渉判定方法、コンピュータプログラム
JP7066671B2 (ja) 2019-12-11 2022-05-13 キヤノン株式会社 干渉判定装置、干渉判定方法、プログラム及びシステム
JP2021171885A (ja) * 2020-04-27 2021-11-01 パナソニックＩｐマネジメント株式会社 保持装置、制御方法、制御プログラム、制御システム、およびエンドエフェクタ
JP2022087396A (ja) * 2020-12-01 2022-06-13 株式会社エクサウィザーズ アノテーション支援装置、方法、及びプログラム
JP6878727B1 (ja) * 2020-12-01 2021-06-02 株式会社エクサウィザーズ アノテーション支援装置、方法、及びプログラム
CN112936257A (zh) * 2021-01-22 2021-06-11 熵智科技(深圳)有限公司 一种工件抓取方法、装置、计算机设备及存储介质
WO2023013743A1 (ja) * 2021-08-04 2023-02-09 京セラ株式会社 保持パラメータ推定装置及び保持パラメータ推定方法
WO2024023934A1 (ja) * 2022-07-26 2024-02-01 ファナック株式会社 ワーク取出し装置、ワーク取出し方法及び制御装置

Also Published As

Publication number Publication date
CN103221188A (zh) 2013-07-24
DE112011103794B4 (de) 2019-01-24
KR20130102080A (ko) 2013-09-16
JPWO2012066819A1 (ja) 2014-05-12
US9089966B2 (en) 2015-07-28
JP5558585B2 (ja) 2014-07-23
KR101453234B1 (ko) 2014-10-22
CN103221188B (zh) 2016-08-03
US20130211593A1 (en) 2013-08-15
DE112011103794T5 (de) 2013-10-17

Similar Documents

Publication Publication Date Title
JP5558585B2 (ja) ワーク取り出し装置
US11772267B2 (en) Robotic system control method and controller
US11383380B2 (en) Object pickup strategies for a robotic device
CN108399639B (zh) 基于深度学习的快速自动抓取与摆放方法
US10894324B2 (en) Information processing apparatus, measuring apparatus, system, interference determination method, and article manufacturing method
JP6807949B2 (ja) 干渉回避装置
CN110640730B (zh) 生成用于机器人场景的三维模型的方法和系统
JP5788460B2 (ja) バラ積みされた物品をロボットで取出す装置及び方法
JP7481427B2 (ja) 取り出しシステム及び方法
JP2014161965A (ja) 物品取り出し装置
JP2014205209A (ja) ロボットシステム、及びロボットシステムの制御方法
US20230044001A1 (en) Systems and methods for object detection
JP6945209B1 (ja) 物体検出のために安全ボリュームリストを生成するための方法および計算システム
JP2020121352A (ja) 物体把持システム
JP7398662B2 (ja) ロボット多面グリッパアセンブリ及びその操作方法
CN113808201B (zh) 一种目标物体检测方法及引导抓取方法
CN112338922A (zh) 一种五轴机械臂抓取放置方法及相关装置
JP7391342B2 (ja) 計算システム、方法及び非一時的コンピュータ可読媒体
US20240198543A1 (en) Automatic gripper fingertip design to reduce leftover in random bin picking applications
US20230241771A1 (en) Object placement
CN113219900B (zh) 基于相机生成的图像信息执行运动规划的方法和计算系统
Mohammad et al. Developing an Object Detection and Gripping Mechanism Algorithm using Machine Learning
CN115256368A (zh) 用于控制机器人的手爪抓取对象的控制装置和方法
CN118617414A (zh) 一种基于双臂机器人侧向抓取箱体方法、装置、设备和介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 11841701

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2012544126

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 13878321

Country of ref document: US

ENP Entry into the national phase

Ref document number: 20137012534

Country of ref document: KR

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 1120111037945

Country of ref document: DE

Ref document number: 112011103794

Country of ref document: DE

122 Ep: pct application non-entry in european phase

Ref document number: 11841701

Country of ref document: EP

Kind code of ref document: A1