WO2018092860A1 - 干渉回避装置 - Google Patents

干渉回避装置 Download PDF

Info

Publication number
WO2018092860A1
WO2018092860A1 PCT/JP2017/041345 JP2017041345W WO2018092860A1 WO 2018092860 A1 WO2018092860 A1 WO 2018092860A1 JP 2017041345 W JP2017041345 W JP 2017041345W WO 2018092860 A1 WO2018092860 A1 WO 2018092860A1
Authority
WO
WIPO (PCT)
Prior art keywords
approach
trajectory
gripping
unit
posture
Prior art date
Application number
PCT/JP2017/041345
Other languages
English (en)
French (fr)
Inventor
浩司 白土
奥田 晴久
Original Assignee
三菱電機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 三菱電機株式会社 filed Critical 三菱電機株式会社
Priority to JP2018551688A priority Critical patent/JP6807949B2/ja
Publication of WO2018092860A1 publication Critical patent/WO2018092860A1/ja

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00Controls for manipulators

Definitions

  • the present invention relates to an interference avoidance device that prevents a robot from interfering with peripheral devices.
  • the interference avoidance device performs an interference check as to whether or not there is a possibility of interference between the robot and the peripheral device depending on whether the occupied space in which the robot and the peripheral device operate overlaps.
  • the interference avoidance device corrects the motion trajectory previously planned by the program to a different motion trajectory, The robot is controlled using the corrected motion trajectory as the target trajectory. Controlling the robot in accordance with the corrected motion trajectory is called interference avoiding motion. This prevents the robot from interfering with other robots or peripheral devices arranged around the robot and prevents the robot or peripheral devices from failing, and prevents the robot from failing in advance. .
  • the conventional interference avoidance device performs an interference check in the Cartesian coordinate system.
  • the conventional interference avoidance device performs an interference check in the configuration space and generates an avoidance trajectory that realizes an interference avoidance operation.
  • the interference avoidance device corrects the intermediate trajectory and calculates an avoidance trajectory.
  • the interference avoidance device searches for an avoidance trajectory in the configuration space when interference is found in the configuration space expressed by the joint angle.
  • the constraint condition is not explicitly set, even if it is satisfied that the robot simply does not interfere, it affects the work quality such as the success rate of the work by the robot or the operation speed of the robot. Insufficient consideration for conditions. That is, in the conventional interference avoidance device, whether or not the trajectory is optimal for performing the work has not been sufficiently studied.
  • the optimal trajectory is the target position and intermediate point that comprehensively judge that the robot can perform the work in a short time, can take the trajectory that does not pass the singular point, and can maximize the work success rate. It is a work track that defines a track.
  • the avoidance trajectory described above can be located in a subset of this work trajectory, including when interference occurs.
  • Bin picking refers to gripping a specific part from a plurality of randomly stacked parts and transporting it to a specific location.
  • the target position is not fixed, and it is necessary to control the operation of the robot in accordance with the position and orientation of the parts.
  • the above-described interference check and interference avoidance operation are necessary.
  • Patent Document 1 discloses a calculation method for realizing interference check and interference avoidance operation in bin picking work.
  • the interference avoidance device disclosed in Patent Document 1 detects a gripping point candidate of a component with a three-dimensional measuring instrument when the robot takes out one component from a plurality of components arranged in a storage box, and grips the grip
  • the position and orientation of the tool part of the robot including the fingertip that grips the part with respect to the point candidate is calculated, and an interference check between the part of the storage box closest to the part and the tool part is performed.
  • the interference avoidance device disclosed in Patent Document 1 changes the target position and orientation so that the tool unit does not interfere within an allowable range when it is determined that there is interference as a result of the interference check.
  • the present invention has been made in view of the above, and an object thereof is to obtain an interference avoidance device that can suppress a decrease in the success rate of work while avoiding interference.
  • the interference avoidance device of the present invention receives at least measurement data obtained by measuring the state of the peripheral device, and the tool portion provided in the arm portion of the robot is used as the peripheral device.
  • An interference avoidance device that avoids interference, and based on measurement data and model information of a robot and peripheral devices, a gripping point that calculates a plurality of gripping point candidates that the tool part can grip a gripping target of the tool part A candidate generation unit, and a trajectory calculation unit that calculates an interference avoidance trajectory in which the tool unit approaches the gripping object without interfering with peripheral devices based on the plurality of gripping point candidates.
  • the trajectory calculation unit includes a gripping posture generation unit that generates a plurality of gripping posture candidates that exist within the allowable posture range without causing the tool unit to interfere with peripheral devices for the plurality of gripping point candidates, and the generated gripping
  • a gripping posture that allows the tool unit to approach the gripping target without shifting the gripping target is extracted from the posture candidates, and a plurality of gripping point candidates for achieving the extracted gripping posture are generated, and each gripping point candidate is defined as an end point.
  • a first approach trajectory generating unit that generates a plurality of trajectories as a first approach trajectory, and a robot arm unit and a first end point far from the gripping object among end points of the first approach trajectory
  • a second approach trajectory generation unit that generates a second approach trajectory that the tool unit approaches without interfering with peripheral devices, and an interference avoidance trajectory that connects the first approach trajectory and the second approach trajectory.
  • FIG. 1 is a configuration diagram of a robot system including an interference avoidance device according to Embodiment 1 of the present invention.
  • Configuration diagram of a production system including the interference avoidance device shown in FIG. 1 and peripheral devices of the interference avoidance device The figure for demonstrating the holding
  • grip object Configuration diagram of interference avoidance apparatus according to Embodiment 1 of the present invention
  • FIG. 4 is a fourth diagram for explaining the operation of the second approach orbit generation unit shown in FIG.
  • generation part shown in FIG. The flowchart for demonstrating operation
  • Configuration diagram of a trajectory calculation unit provided in the interference avoidance device according to Embodiment 2 of the present invention 1st figure for demonstrating operation
  • Configuration diagram of a trajectory calculation unit provided in the interference avoidance device according to Embodiment 4 of the present invention Hardware configuration diagram of interference avoidance apparatus according to Embodiments 1 to 4 of the present invention The figure which shows the modification of the production system shown in FIG. The figure which shows the structural example of the interference avoidance apparatus shown in FIG.
  • FIG. 1 is a configuration diagram of a robot system including an interference avoidance device according to Embodiment 1 of the present invention.
  • a robot system 100 shown in FIG. 1 includes a measurement unit 1, an interference avoidance device 2, a robot control device 3, and a robot. 4 is provided.
  • FIG. 2 is a configuration diagram of a production system including the interference avoidance device illustrated in FIG. 1 and peripheral devices of the interference avoidance device.
  • the production system 200 illustrated in FIG. 2 includes information in addition to the robot system 100 illustrated in FIG.
  • An integrated terminal 5, a conveyor control device 6, a processing machine control device 7 and a robot control device 8 are provided.
  • an information integration terminal 5 is connected to the robot control device 3.
  • the information integration terminal 5 is a device that collects and distributes information from devices such as a cloud server (not shown), an edge server, or a PLC (Programmable Logic Controller).
  • a plurality of peripheral devices are connected to the information integration terminal 5. Examples of the plurality of peripheral devices include a conveyor control device 6, a processing machine control device 7, and a robot control device 8. Information output from each of the conveyor control device 6, the processing machine control device 7, and the robot control device 8 is transmitted to the information integration terminal 5, and the information transmitted to the information integration terminal 5 is transmitted via the robot control device 3. Is transmitted to the interference avoidance device 2.
  • the information integration terminal 5 is connected to the interference avoidance device 2 via the robot control device 3, but the information integration terminal 5 may be directly connected to the interference avoidance device 2.
  • the robot 4 includes an arm part 41 that constitutes a robot main body manufactured by a robot manufacturer, and a tool part 42 provided at the tip of the arm part 41.
  • the tool part 42 includes a hand part 43, a jig 44 attached to the hand part 43, and the measuring part 1 attached to the jig 44.
  • the measuring unit 1 may be any measuring device for measuring the position and orientation of the component 9 a in the component box 9.
  • the measuring unit 1 includes a camera for imaging the component 9 a in the component box 9, and a hand unit 43. And a vision sensor, which is an image sensor that captures images of peripheral devices, laser displacement meters, and non-contact sensors.
  • the measuring unit 1 provided in the hand unit 43 via the jig 44 moves together with the hand unit 43 so as not to interfere with the parts box 9.
  • the measurement unit 1 will be described with the configuration of the “hand eye” provided in the tool unit, but as a means for measuring the peripheral device, a method of fixing the peripheral device to a position where it can be observed from a bird's-eye view is similarly implemented. be able to.
  • FIG. 2 shows a state of a bin picking operation in which the robot picks out one component 9a from a plurality of components 9a arranged in the component box 9 as an example of the operation by the robot 4.
  • the operation by the robot 4 using the interference avoidance device 2 according to the first embodiment is not limited to the bin picking operation, and may be a material handling operation, a kitting operation, or an assembly operation.
  • the reason why the operation by the robot 4 is not limited in this way is that the robot 4 basically performs the same processing when the operation of the robot 4 is changed according to the state of the component 9a.
  • operations of the interference avoidance device 2, the robot control device 3, and the robot 4 during the bin picking operation will be described.
  • the robot 4 first moves to a position before the bin picking operation according to a program executed by the robot control device 3.
  • the interference avoidance device 2 measures the three-dimensional position and the three-dimensional posture of the component 9a by the measuring unit 1.
  • the three-dimensional position and the three-dimensional posture of the component 9a may be referred to as the three-dimensional position and posture of the component 9a.
  • the interference avoidance apparatus 2 does not use the measurement data 1a measured by the measurement unit 1 as it is, but converts it into a three-dimensional position and orientation that holds information on a three-dimensional point group, line, surface, and color. .
  • a method of measuring the three-dimensional position and orientation of the component 9a from the measurement data 1a a method of measuring the three-dimensional position and orientation based on the distance to the target point measured using laser, infrared rays or sound waves, and a stereo camera are used. And a method for measuring the three-dimensional position and orientation.
  • the measurement unit 1 may be any measurement device that can reproduce the three-dimensional position and orientation information of the picking target in the interference avoidance device 2, and is not limited to the above-described camera, vision sensor, laser displacement meter, and non-contact sensor. .
  • the measurement target may include not only the component 9a but also the component box 9 and peripheral devices, and the interference avoidance apparatus 2 uses the measurement data 1a obtained by measuring the component 9a, the component box 9 and the peripheral devices to check the interference. You may use it.
  • determining the picking target it is common to execute a process of selecting a plurality of candidate points from the measurement data 1a and a process of selecting one candidate point from the selected candidate points.
  • the former process that is, means for selecting a plurality of candidate points from the measurement data 1a are roughly divided into two kinds.
  • the first means for selecting a plurality of candidate points is to store a part model such as a drawing model or 3D computer-aided design (CAD) in the interference avoidance device 2 in advance, or the 3D position and orientation of the picking target
  • a part model such as a drawing model or 3D computer-aided design (CAD)
  • CAD computer-aided design
  • reference data of information is stored in the interference avoidance device 2, and the measured measurement data 1a is collated with a part model or reference data to estimate the most likely picking target posture.
  • this estimation method is referred to as model matching.
  • the interference avoidance device 2 determines a gripping point at which the hand unit 43 grips the component 9a from a predetermined positional relationship between the picking target and the tool unit 42 using the estimated posture of the picking target.
  • the positional relationship between the predetermined picking target and the tool unit 42 may be given in advance by the user in the teaching work, or may be determined offline by the user based on the center of gravity position and ease of holding of the picking target. is there.
  • the second means for selecting a plurality of candidate points is a method that eliminates the need for model matching, and will be referred to as modelless matching below.
  • modelless matching a part model to be picked is not required, and a space that satisfies the condition for easily grasping the part 9a by the hand unit 43 is searched from the measured amount of points, lines, and surfaces. It is determined.
  • the condition for easy gripping is a part that can be included in the gripping region in the point cloud when a space that can be sandwiched between the fingertips when the finger of the hand unit 43 is opened and closed is defined as the gripping region. Any part that can be included in the gripping region can be generated.
  • the gripping region is gripped so that the component 9a can be gripped stably in the opening / closing direction of the finger.
  • the number can be reduced by adding a constraint condition.
  • the constraint condition include a case where the finger is opposed to and parallel to the finger included in the hand unit 43, and a case where there is no obstacle over a depth D [mm] in a direction in which the finger included in the hand unit 43 is inserted.
  • modelless matching unlike model matching, there is a problem that the boundaries between objects to be grasped are ambiguous. Therefore, in the point cloud information, the object to be grasped is often grouped at each boundary of a plurality of objects by a process called clustering, which makes it possible to calculate a measure of the center of gravity position by distinguishing the plurality of objects. Become.
  • indexes that are easy to grasp include indexes that are statistically made into a database from past results, and indexes that are determined based on rules derived in consideration of physical laws such as the balance between gravity and force, and the position of the center of gravity. .
  • the interference avoidance device 2 performs an interference check on whether or not there is a possibility that the tool unit 42 may interfere with the component box 9 or the peripheral device for one selected candidate point.
  • the candidate point indicates “coordinate point information at which the tool part grips the part”, and is represented by, for example, a set of three angles representing the position (X, Y, Z) and posture (eg, posture) of the tool portion. (Euler angle expression) information. That is, the interference avoidance device 2 determines whether the tool part 42 interferes with the component box 9 when the tool part 42 moves to the selected candidate point, and whether the tool part 42 interferes with the peripheral device described above. Check before bin picking.
  • the interference avoidance device 2 confirms whether or not the tool unit 42 interferes with the component box 9 or the peripheral device in the area occupied by the tool unit 42 at the gripping point, or the moving direction of the tool unit 42 It is confirmed whether or not the tool part 42 interferes with the component box 9 or peripheral devices in the region including the extended track.
  • the component box 9, the component 9a, the arm portion 41, and the tool portion 42 are modeled.
  • the model is represented by an occupied volume in a three-dimensional space and an occupied area on a two-dimensional plane.
  • the detailed shape of each of the component box 9, the component 9a, the arm unit 41, and the tool unit 42 is modeled as 3D-CAD, and a simple called a primitive such as a polyhedron, a rectangular parallelepiped, a cylinder, or a sphere.
  • the case of modeling with a model can be illustrated.
  • the former improves the accuracy of interference check, but is not suitable for real-time calculation because of high calculation cost.
  • the latter is suitable for real-time calculation because the calculation cost is low, but if the number of model judgments increases, the calculation cost increases, and the judgment accuracy is low. A safe decision may be made.
  • the interference avoidance device 2 is configured so that the tool portion 42 moves away from the component box 9 based on an allowable posture range that is a predetermined allowable posture of the robot posture. To change. As a result, the gripping point can be determined while avoiding the tool portion 42 from interfering with the component box 9. As shown in FIG. 2, since the plurality of components 9a arranged in the component box 9 have different positions and orientations, the allowable posture range described above changes for each picking target. Under the constraint that it may change, a posture that does not interfere is searched.
  • the interference avoidance device 2 includes a function for generating a picking candidate and an interference check function, and performs a picking operation when there is no possibility that the tool unit 42 interferes with the component box 9 or peripheral devices.
  • the interference avoidance device 2 corrects the posture at the gripping point based on the above-described allowable posture range, and performs interference check again on this.
  • the first problem is that, in the conventional interference avoidance device, the approach direction at the time of gripping is not considered as a required trajectory, so that the conventional interference avoidance device has lowered the gripping success rate.
  • the tool portion 42 When the picked component 9a has a protrusion, the tool portion 42 approaches the gripping point of the component 9a and the tool portion 42 is positioned with respect to the component 9a, that is, the relative position of the tool portion 42 as a point. If the trajectory up to gripping is not considered in addition to the positional relationship when gripping, the gripping success rate may be unnecessarily lowered. That is, if there is no restriction on the direction in which the tool part 42 is moved, the possibility of a decrease in the gripping success rate is low, but the tool part 42 may interfere with the component box 9 or peripheral equipment in the direction in which the tool part 42 is moved. There is a high possibility that the gripping success rate is lowered when there is a possibility that the component 9a moves if the gripping point is not reached from a specific direction.
  • the shape of the component box 9 is asymmetrical, or the shape of the peripheral device is asymmetrical, so that the tool part 42 easily interferes at a specific position.
  • the finger shape of 41 is not a flat plate shape but a bent L shape, a case where the end surface of the component 9a is bent, and a case where the shape of the component 9a is asymmetric and the allowable posture range is narrow.
  • the posture of the tool portion 42 at the gripping point of the component 9a may be different from the posture of the tool portion 42 approaching the gripping point of the component 9a.
  • Checking the interference with the direction in which the tool portion 42 is moved in a certain direction with respect to the gripping posture is not versatile because there is no consideration for the gripping trajectory.
  • evaluation of how much the gripping success rate is deteriorated when performing the interference check can be performed on the gripping point. It cannot be executed for the gripping trajectory.
  • the second problem is a conventional method for determining one gripping point including whether or not there is a non-interfering path when considering a trajectory that avoids interference while increasing the success rate of gripping.
  • the conventional interference check focuses only on the gripping point. For this reason, it is a problem to calculate a gripping point with a high gripping success rate and no possibility of interference as one position, and the movement up to the gripping point is performed when the part 9a is gripped.
  • the tool portion 42 is lowered from above the component box 9 in the same posture as the tool portion 42.
  • the method of checking only the presence or absence of simple interference at the gripping point has many limitations and fewer solutions when viewed in the trajectory leading to gripping, and the gripping success rate is reduced. There is a possibility of significant reduction.
  • FIG. 3 is a diagram for explaining a gripping posture and a first approach trajectory when a robot hand positioned above the component box shown in FIG. 1 approaches an object to be gripped.
  • the first approach trajectory is a trajectory in which the tool portion of the robot hand can approach the gripping object without shifting the gripping object in the generated gripping posture, and is also referred to as a gripping approach trajectory.
  • 3 includes a flat bottom surface portion 91 in contact with the floor surface 50, one surface portion 92a extending in the vertical direction from one end portion of the end portions of the bottom surface portion 91 in the horizontal direction, Of the bottom surface portion 91 in the direction, the other surface measuring portion 92b extending in the vertical direction from the other end portion, and the top surface portion extending in the horizontal direction from the upper end portion in the end portion of the surface measuring portion 92b in the vertical direction 93.
  • the length of the upper surface portion 93 in the horizontal direction is shorter than the length of the bottom surface portion 91 in the horizontal direction. Accordingly, an opening 94 is formed above the bottom surface portion 91 constituting the component box 9.
  • the opening 94 is provided between the end portion of the upper surface portion 93 on the surface measurement portion 92a side and the upper end portion of the surface measurement portion 92a.
  • the component box 9 shown in FIG. 3 has a shape in which the upper left portion of the left side protrudes to the inside of the component box 9.
  • FIG. 3 shows three hand portions 43A, 43B, and 43C for convenience in order to explain the gripping posture of the hand portion 43.
  • the hand units 43A, 43B, and 43C all correspond to the hand unit 43 shown in FIG.
  • the hand unit 43A corresponds to the hand unit 43 in the gripping posture A state
  • the hand unit 43B corresponds to the hand unit 43 in the gripping posture B state
  • the hand unit 43C is the hand unit 43 in the gripping posture C state.
  • a plurality of components 9a are arranged in the component box 9, and the component 9a1 arranged at the top of the plurality of components 9a is an object to be gripped by the hand units 43A, 43B, and 43C.
  • the component 9a1 has an L shape including a long piece 9a11 and a short piece 9a12 extending in a direction perpendicular to the end of the long piece 9a11.
  • a plurality of components 9a other than the component 9a1 have the same shape as the component 9a1.
  • the end of the long piece 9a11 is opposed to the surface measurement portion 92a, and the bottom of the long piece 9a11 is in contact with the component 9a existing below the component 9a1.
  • the edge part of the short piece 9a12 is located in the opposite side to the component 9a side which exists under the component 9a1.
  • the hand portion 43A in the gripping posture A is located closer to the upper surface portion 93 than the hand portions 43B and 43C in the gripping postures B and C.
  • a solid line movement locus A1 represents the movement locus of the tip of the hand portion 43A.
  • the hand portion 43 ⁇ / b> A moving along the movement locus A ⁇ b> 1 approaches the component 9 a 1 so as to grip the short piece 9 a 12 of the component 9 a 1.
  • the hand part 43 ⁇ / b> A and the measuring part 1 moving along the movement locus A ⁇ b> 1 may interfere with the upper surface part 93.
  • the gripping posture C is a desirable posture for increasing the gripping success rate of the component 9a1, but is disposed at a position overlapping the surface measurement portion 92a. Interferes with the surface measuring section 92a.
  • the dotted movement trajectory B1 represents the movement trajectory of the tip of the hand portion 43B.
  • the hand portion 43 ⁇ / b> B moving on the movement locus B ⁇ b> 1 approaches the component 9 a 1 so as to grip the short piece 9 a 12 of the component 9 a 1.
  • the hand part 43B and the measuring part 1 that approach the component 9a1 in the movement locus B1 have no possibility of interfering with the upper surface part 93 and the surface measuring part 92a.
  • the gripping success rate when the hand unit 43B moving along the movement locus B1 takes out the component 9a1 is lower than the gripping success rate when the hand unit 43A moving along the movement locus A1 takes out the component 9a1. This is because the hand portion 43A grips the short piece 9a12 and the long piece 9a11 of the component 9a1 simultaneously as compared with the hand portion 43B that grips a part of the short piece 9a12 of the component 9a1.
  • the gripping posture A and the gripping posture C are preferable to the gripping posture B in order to increase the gripping success rate when the component 9a1 is taken out from the plurality of components 9a arranged in the component box 9.
  • the gripping posture C is excluded from the gripping point candidates because the interference check determines that there is interference, and the gripping posture A and the gripping posture B remain as gripping point candidates.
  • the gripping posture B is a posture that places importance on not interfering, it is important to balance the gripping success rate with the presence or absence of interference in order to increase the gripping success rate. Therefore, how to understand the condition of no interference is an important point.
  • the interference avoidance device 2 defines a first approach trajectory for each tool unit 42 used for gripping so that the gripping posture A shown in FIG. 3 is selected, and the tool unit 42 may interfere.
  • the first approach trajectory with no interference is generated, and the second approach trajectory that can avoid interference is found by connecting the starting point of the generated first approach trajectory and the picking operation start point.
  • a gripping point candidate that is in a gripping posture is selected, and the selected trajectory is connected to obtain an interference avoidance trajectory A2.
  • the second approach trajectory is a trajectory from the end point (starting point) of the first approach trajectory in which the robot arm unit and tool unit approach the gripping target without interfering with peripheral devices.
  • the gripping posture A shown in FIG. 3 is not selected because only the gripping point is determined without considering the movement trajectory of the tool part reaching the gripping point of the component.
  • the gripping posture A is selected in the interference avoidance device 2 according to the first embodiment.
  • FIG. 4 is a configuration diagram of the interference avoidance apparatus according to Embodiment 1 of the present invention.
  • the interference avoidance device 2 shown in FIG. 4 includes measurement data 1a output from the measurement unit 1, model information 3a input via the robot control device 3, and a robot program before and after gripping output from the robot control device 3. Based on 3b and setting information 3c input via the robot controller 3, an interference avoidance trajectory 2a is generated and output.
  • the model information 3a is data related to the arm part 41, the tool part 42, the peripheral device, and the component box 9.
  • the model information 3a is each piece of geometric information expressed in 3D-CAD as information for defining the occupied area of the arm unit 41, the tool unit 42, the peripheral device, and the component box 9 in the three-dimensional space.
  • model information 3a it is possible to confirm the presence or absence of interference between the arm unit 41, the tool unit 42, the peripheral device and the component box 9, and the arm unit 41, the tool unit 42, the peripheral device and the component box 9 It is possible to calculate the relative distance between the two.
  • the robot program 3b before and after gripping is a robot language program stored in the robot controller 3 shown in FIG.
  • the robot program 3b may be information that defines the position related to the robot operation, and is not limited to the information stored in the robot control device 3, but may be information specifying the position related to the robot operation stored in a personal computer (not shown). .
  • the setting information 3c is information for setting an allowable posture range which is a preset allowable range of the robot posture.
  • the interference avoidance device 2 performs interference based on the gripping point candidate generation unit 10 that calculates a plurality of gripping point candidates 10a based on the measurement data 1a, the model information 3a, and the robot program 3b, and on the plurality of gripping point candidates 10a and the setting information 3c.
  • the gripping point candidate 10a includes gripping point candidate information and gripping constraint information.
  • the gripping constraint information is a position that is determined in advance from the gripping target object by setting a positional relationship between the tool unit 42 and the gripping target object in order to succeed in gripping, and using the point that achieves the positional relationship as a target point.
  • the constraint conditions when the tool part 42 is moved closer to the object to be grasped to be grasped are shown.
  • a position away from the object to be grasped by a certain distance is a position at which grasping approach is started, and a position 10 mm away from the grasping point candidate in the Z-axis direction of the tool coordinate system can be exemplified.
  • the tool coordinate system indicates a coordinate system set in the tool unit 42.
  • the Z-axis direction of the tool coordinate system is set on an axis that passes through the center point of the stroke of the part that opens and closes the fingertip of the hand unit 43 and is parallel to the fingertip direction of the hand unit 43.
  • the X-axis direction and the Y-axis direction of the tool coordinate system are determined so as to be easy for the user to use.
  • a target position / orientation relationship between the tool part 42 and the object to be gripped is determined.
  • the most desirable gripping posture is defined in advance as the positional relationship between the tool unit 42 and the object to be gripped.
  • the most desirable gripping posture can be determined based on an operation database for gripping an object to be gripped using the tool unit 42. As the database, results derived from actual experimental results may be used, or results of physical simulation or offline simulation may be used.
  • the position / posture relationship between the tool unit 42 and the object to be gripped includes an allowable posture error, and a statistical average value and median value of the position / posture relationship in which gripping is successful can be defined.
  • the predetermined desirable position and orientation relationship between the tool unit 42 and the object to be grasped is determined in advance as a representative position and orientation relationship in which grasping is successful.
  • the measuring unit 1 measures the state of the object to be gripped. Examples of the state of the object include the position and orientation of the component 9a. From the information obtained by measuring the state of the object, the position and orientation information of the object to be grasped with respect to the robot coordinate system can be obtained.
  • the robot coordinate system is a coordinate system based on the robot 4 and is a coordinate system used when the position of the robot 4 is controlled.
  • the Z axis is defined in a direction perpendicular to the installation surface of the robot 4, the origin is at the point where the axis of the first joint and the installation surface intersect, and the X axis is defined at the center position of the movable range of the first joint.
  • the gripping point candidate generation unit 10 generally performs image processing technology and position estimation processing in order to acquire position and orientation information of an object to be gripped.
  • the distance information between the measurement unit 1 and the measurement target, the point group information obtained by three-dimensionally plotting the distance information, and the texture information of the surface of the measurement target are input in advance.
  • the object to be grasped by applying SLAM (Simultaneous Localization And Mapping) as the position estimation process from the matching with the prepared model or the relationship between the acquired information at different times, and using the model matching technique as the image processing technique Position and orientation information is calculated.
  • SLAM Simultaneous Localization And Mapping
  • the gripping point candidate generation unit 10 receives the calculated position / posture robot_T_work of the object to be gripped as seen from the robot coordinate system, and the target position / posture tool_T_work between the tool unit 42 and the target object to be gripped as inputs.
  • the target position / posture robot_T_tool of the tool unit 42 for realizing the above is determined.
  • the expression i_T_j indicates a homogeneous transformation matrix T from the i coordinate system to the j coordinate system.
  • the homogeneous transformation matrix T is a 3 ⁇ 3 rotation matrix R representing the relationship between the X, Y, and Z axes between the i coordinate system and the j coordinate system, and the j coordinate system origin as seen from the i coordinate system.
  • 0 in the following equation (1) represents a zero matrix consisting of 0 in 1 row and 3 columns.
  • p is a vector of 3 rows and 1 column, and indicates a position vector of a target point viewed from a certain reference coordinate system.
  • the gripping point candidate generation unit 10 determines the target position Pgg of the robot fingertip position for the gripping operation by calculating the target position / posture robot_T_tool using the homogeneous transformation matrix i_T_j.
  • the target position Pgg is obtained by replacing the target position / posture robot_T_tool of the tool unit 42 with an expression of a robot command value. Examples of the expression of the robot command value include translation positions X, Y, and Z and rotation amounts A, B, and C around the X, Y, and Z axes.
  • the target position / posture robot_T_tool can be obtained by the following equation (2).
  • robot_T_tool robot_T_work * (tool_T_work) ⁇ -1 (2)
  • the target position Pgg of the robot fingertip position has a plurality of candidate points when there are various desired relationships between the object to be grasped and the tool unit 42. Therefore, hereinafter, candidate points for a plurality of target positions Pgg are expressed as gripping point candidates Pgg (i).
  • the gripping point candidate generation unit 10 calculates a position away from the gripping point candidate Pgg (i) by a certain distance based on the target position / posture relationship between the tool unit 42 and the object to be gripped, and determines the position as a gripping approach start point.
  • Psg (i) the interpolation method from the grip approach start point Psg (i) to the grip point candidate Pgg (i) for each grip point candidate, and each position and orientation are stored. That is, when attention is paid only to gripping, a trajectory describing a change (trajectory) of the positional relationship between the object to be gripped and the tool unit 42 for successful gripping is the first approach trajectory.
  • the first approach trajectory is a trajectory from the grip approach start point Psg (i) to the grip point candidate Pgg (i).
  • the grip approach start point Psg (i) is a point at which a gripping operation is started.
  • the movement direction and movement are performed for the purpose of avoiding gripping failure by the tool unit 42 touching the gripping target object or peripheral device before reaching the target position and orientation of the tool unit 42 and the gripping target object. It is assumed that only gripping using the tool part 42 with the amount constrained is included.
  • the trajectory of the tool unit 42 that is a fixed distance away from the target position / posture of the object to be gripped indicates that the gripping has succeeded or the gripping has failed. It is assumed that the movement does not contribute to the movement and is handled as a second approach trajectory as a movement other than the gripping operation.
  • a control method or operation setting different from the first approach track can be selected.
  • the speed setting of the second approach trajectory can be set faster than the first approach trajectory.
  • the second approach trajectory can improve the operation speed by selecting joint interpolation only during the second approach trajectory.
  • joint interpolation is an interpolation method in which the angle of a target point is set as a target angle for each motor axis and controlled.
  • the hand trajectory cannot be controlled to the designed trajectory, but can be moved at high speed because there are fewer restrictions on controlling each axis motor. The second approach trajectory will be described later.
  • the positional relationship, distance, and posture change related to the first approach trajectory can be obtained from the positional relationship acquired by learning using the database regarding the success or failure of the gripping, and the geometrical constraint relationship.
  • a similar relationship may be derived analytically. That is, the method for determining the grip approach start point Psg may be other than the arm direction of the tool part 42. Specifically, taking the gripping point candidate Pgg (i) as an input, while drawing an arc of radius R with the gripping point candidate Pgg (i) as the end point of the arc, a position away from the end point is calculated, The position can also be referred to as a grip approach start point Psg.
  • the hand unit should avoid the uneven part on the object surface before reaching the target position and orientation relationship for gripping the fingertip of the hand unit 43 and the object to be gripped. In some cases, a constant trajectory for moving 43 is provided.
  • FIG. 5 is a diagram illustrating an example of a method for defining the first approach trajectory and the grip approach start point in the interference avoidance device according to Embodiment 1 of the present invention.
  • the grip approach start point Psg corresponds to the operation point that the fingertip of the hand unit 43 should pass.
  • the gripping point candidate Pgg (i) is determined as the end point of the first approaching trajectory, and is obtained as the starting point of the first approaching trajectory 13 where the fingertip of the hand portion 43 moves away from the component 9a while avoiding interference with the convex portion 12 of the component 9a. be able to.
  • the first approach trajectory can also be used as a trajectory that moves so as to be taken out after being approached and gripped.
  • a first approach trajectory in which a point away from the gripping posture is designated as a starting point at a position where the work can be taken out by movement of the shortest distance.
  • the database regarding the success or failure of gripping can be realized both when a trial is performed using a physical simulation and when an experiment is actually performed using a real machine.
  • Priorities of gripping point candidates for work are determined in advance based on the priorities as described above. Examples of the priority order include selecting a gripping posture with a high success rate based on a past database, or preferentially selecting the component 9a disposed on the upper side of the component box 9.
  • the trajectory calculation unit 11 uses the setting information 3c and the plurality of gripping point candidates 10a to select a gripping point by the gripping posture generation unit, and generates a first approach trajectory that satisfies the gripping constraint with respect to the selected gripping point. To do. Further, a trajectory that does not interfere with the box or the like is generated as the second approach trajectory in a form connected to the grip approach start point that is the starting point of the first approach trajectory. Finally, the interference avoidance trajectory is calculated by connecting the first approach trajectory and the second approach trajectory, and is output as the interference avoidance trajectory 2a.
  • the conventional interference avoidance device performs only the calculation of the gripping point candidate without calculating the interference avoidance trajectory. However, in the interference avoidance device 2 according to Embodiment 1, in addition to the gripping point candidate, the gripping point candidate 10a and the second Using the approaching trajectory, the entire interference avoidance trajectory is calculated in a combined form.
  • FIG. 6 is a configuration diagram of the trajectory calculation unit shown in FIG. 4,
  • FIG. 7 is a diagram for explaining the operation of the interference check unit shown in FIG. 6, and
  • FIG. 8 is an operation of the gripping posture generation unit shown in FIG. 9 is a diagram for explaining the operation of the first approach trajectory generating unit shown in FIG. 6, and
  • FIGS. 10 to 13 are the second approach trajectory generating shown in FIG. It is the 1st to 4th figure for explaining operation of a part.
  • FIG. 14 is a diagram for explaining the operation of the avoidance trajectory generation unit shown in FIG.
  • the trajectory calculation unit 11 illustrated in FIG. 6 includes a gripping posture generation unit 21, a first approach trajectory generation unit 22, a second approach trajectory generation unit 23, an avoidance trajectory generation unit 24, and an interference check unit 25.
  • the gripping posture generation unit 21 generates an effective gripping posture 21a having no possibility of interference as a gripping point candidate after performing an interference check with peripheral devices including the component box 9 from the plurality of gripping point candidates 10a.
  • the plurality of gripping point candidates 10a include a plurality of gripping postures A, B, and C as shown in FIG. 8, and the postures that the tool unit 42 can take are among these gripping postures A, B, and C. It is generated through processing in the interference check unit 25. Note that gripping point candidates are referred to as candidate points for different positions or postures of the robot tool unit.
  • the interference check unit 25 illustrated in FIG. 6 sets the relative distance between the robot hand model 101 and the peripheral device model 102, for example, with the robot hand model 101 and the peripheral device model 102 illustrated in FIG. Calculation is performed to determine whether or not the relative distance is equal to or less than a reference value. Further, the interference check unit 25 calculates the relative distance between the tool model 103 and the peripheral device model 102, for example, with the robot hand model 101 and the peripheral device model 102 shown in FIG. It is determined whether or not the relative distance is equal to or less than a reference value. When performing an interference check, the interference check unit 25 inputs model geometric information and position / orientation information as model information, and determines whether there is an interference and the calculated relative distance between the models.
  • Output interference check determination information including Geometric shape information is information about attributes, dimensions, and the like.
  • the information regarding the attribute is information such as shape characteristics, primitive shapes, polyhedrons, free shapes, and the like.
  • the primitive shape is a shape such as a sphere, a rectangular parallelepiped, a cylinder, or a cone.
  • the polyhedron is a polyhedron surrounded by a triangular patch surface formatted in 3D-CAD (three Dimensional Computer Aided Design).
  • a free shape is a point cloud set defined by a point cloud.
  • the dimensions are radius R for a sphere and radius R and length L for a cylinder.
  • the interference check unit 25 needs to check at each time of the generation trajectory.
  • the interference check unit 25 inputs model information for each time with respect to the trajectory, and calculates whether there is interference in the entire trajectory. In order to reduce the calculation cost, there is a method of evaluating only a few representative postures among the starting point and the ending point. In addition, in order to reduce the calculation cost, a geometric model such as a polyhedron is generated by spatially interpolating the robot arm and robot hand model at the trajectory start point and the robot arm and robot hand model at the trajectory end point, There are methods for evaluating the presence or absence of interference.
  • the first approach trajectory generating unit 22 shown in FIG. 6 generates an effective first approach trajectory 22a by applying a gripping constraint corresponding to the effective gripping posture 21a generated by the gripping posture generating unit 21.
  • the interference check unit 25 performs an interference check on the effective first approach track 22a.
  • FIG. 9 shows the effective gripping postures A ′ and B ′ generated by the gripping posture generation unit 21, the first approach trajectory A1 ′ considering the access constraint on the effective gripping posture A ′, and the effective gripping posture B ′.
  • a first approach trajectory B1 ′ considering the approach constraint is shown.
  • the approaching operation of the tool unit 42 is started from a position away from the component 9a1 by a certain distance, and the tip of the tool unit 42 enters under the component 9a1. It is necessary to perform such an operation.
  • the tool part 42 operating on the first approach track A ⁇ b> 1 ′ may interfere with the component box 9. Therefore, it is desirable not to generate the first approach trajectory A1 'corresponding to the effective gripping posture A' but to generate the first approach trajectory B1 'corresponding to the effective gripping posture B'. Further, since the grip posture generation unit 21 is provided before the first approach track generation unit 22, the first approach track generation unit 22 calculates the effective first approach track 22a for all grip point candidates. There is no need to do so, and calculation efficiency is improved.
  • the grip constraint defines the movement trajectory of the tool part 42 up to grip point candidates to be introduced in order to increase the success rate of work.
  • the target position / posture of the tool unit 42 related to the gripping point is changed, the target position / posture of the tool unit 42 is also affected by changing conditions such as a gripping form, a mechanism, and a material of the fingertip of the hand unit 43, and thus the production system 200 is configured.
  • the method for increasing the gripping success rate varies depending on the mechanism to be operated.
  • the second approach trajectory generation unit 23 When generating the interference avoidance trajectory, the second approach trajectory generation unit 23 considers the constraint condition related to the fingertip of the hand unit 43 and considers not only the gripping posture but also the intermediate trajectory related to the gripping as the constraint condition.
  • the intermediate trajectory is a trajectory connecting the grip approach start point Psg, which is the starting point of the effective first approach trajectory, and the picking operation start point.
  • Psg the starting point of the effective first approach trajectory
  • the gripping speed is determined by the air pressure, and the factory where the hand unit 43 is installed.
  • the air pressure used in the above is a constant value, so that the gripping speed is a constant value.
  • the concept of a gripping point candidate in which the hand unit 43 touches the lower side of the component 9 a 1 and then touches the upper side of the component 9 a 1 varies depending on the configuration of the hand unit 43.
  • an ideal approach direction 14 in which the hand unit 43 approaches the component 9a1 and an allowable approach direction 15 in which the hand unit 43 can grip the component 9a1 are shown.
  • a suction-type hand unit 43-1 is used instead of the open / close gripper type hand unit 43 shown in FIG.
  • the hand part 43-1 is provided with a suction pad 43-1a, and the ideal approach direction 14 of the hand part 43-1 changes depending on the hardness and suction force of the suction pad 43-1a.
  • the allowable approach direction 15 is narrower than in the case of using the hand unit 43 shown in FIG. Considering this, it is not desirable to carelessly change the approach trajectory before and after gripping that contributes to the gripping success rate together with the interference check.
  • each of the plurality of parts 9a is lightweight by modelless matching using the model information 3a.
  • a couple of forces is generated with respect to the gripping point candidate 17 shown in FIG. 12, and the gripping point candidate 17 is not flipped with the fingertip of the hand unit 43 (not shown).
  • An allowable progression vector 18 including the distance is defined.
  • the allowable progression vector 18 indicates the distance that the vector may geometrically advance from the gripping point candidate 17 and the magnitude of the force that may be applied to the gripping point candidate 17.
  • the gripping point candidate 17 defines an upper limit of the load that should not be applied for the gripping phenomenon to occur.
  • an allowable retreat vector 19 including a distance is defined.
  • the allowable evacuation vector 19 indicates how much the hand unit 43 may be lifted when the tool unit 42 is moved to the gripping position and gripped, and the width of the vector is in any direction. It is an index of whether it can be raised with less influence on other objects.
  • the trajectory with the smallest amount of movement that satisfies these gripping constraints is defined as the effective first approach trajectory 22a.
  • the second approach trajectory generation unit 23 starts the effective first approach trajectory 22a in examining the interference avoidance trajectory passing through the effective first approach trajectory 22a generated by the first approach trajectory generation unit 22. An intermediate trajectory that connects the point Psg and the starting point of the picking operation is generated.
  • the second approach trajectory 23a is a trajectory defined to distinguish the movement of the free space without having a direct relation to the success rate of the gripping operation with respect to the effective first approach trajectory 22a. Therefore, although the start point is various, the end point is always the start point of the effective first approach track 22a.
  • the tool unit 42 is operated at high speed by specifying a picking operation start point posture with as little posture change as possible with respect to the position and orientation of the starting point of the effective first approach trajectory 22a. be able to.
  • the trajectory search for avoiding interference when generating each trajectory may be performed in Cartesian coordinates or in the configuration space.
  • a generally known search method can be used.
  • An example of the search method is RRT (Rapid Random Tree).
  • the second approach trajectory 23a shown in FIG. 14 is an effective first approach trajectory so that the robot hand model 101 and the tool model 103 do not interfere with the peripheral device model 102 of the component box 9.
  • the interference avoidance trajectory moves to the starting point of the first approach trajectory B1 ′.
  • the avoidance trajectory generation unit 24 illustrated in FIG. 6 includes an effective gripping posture 21a of the tool unit 42 obtained by the gripping posture generation unit 21 and an effective first of the tool unit 42 obtained by the first approach trajectory generation unit 22.
  • the approach track 22a is connected to the second approach track 23a of the tool unit 42 obtained by the second approach track generation unit 23, and is output to the robot control device 3 as the interference avoidance track 2a.
  • the robot control device 3 executes a bin picking operation based on the interference avoidance trajectory 2a.
  • the trajectory calculation unit 11 outputs a plurality of effective gripping postures 21 a, effective first approach trajectories 22 a, and second approach trajectories 23 a, and when there are a plurality of combinations, an evaluation function is defined and a score is obtained.
  • the evaluation function it is possible to select a trajectory that minimizes the time required to move the entire interference avoidance trajectory 2a, that is, the total work time of the robot. Further, as an evaluation function, an energy consumption amount calculated based on a current value necessary for robot operation can be input, and an evaluation value can be calculated so that the energy consumption amount is minimized.
  • the method of the evaluation function is not limited to these.
  • FIG. 15 is a flowchart for explaining the operation of the interference avoidance apparatus according to Embodiment 1 of the present invention.
  • the interference avoidance device 2 calculates a plurality of gripping point candidates 10a based on the measurement data 1a, and generates an effective gripping posture 21a with no possibility of interference among the calculated gripping point candidates 10a as a gripping point candidate ( S1).
  • the interference avoidance device 2 generates an effective first approach trajectory 22a corresponding to the generated gripping point candidate (S2), and performs an interference check on the effective gripping posture 21a and the effective first approach trajectory 22a (S3). ).
  • the interference check unit 25 As a result of the interference check, if there is a possibility of interference (S4, No), the interference check unit 25 generates a part of the tool unit 42 that may interfere with the component box 9, and causes interference in the allowable posture range. In order to eliminate it, the corrected gripping point candidate when the smallest posture change is performed is searched, and the presence or absence of interference is determined (S5).
  • the interference avoidance device 2 repeats the processes from S2 to S5.
  • a new gripping point candidate with the next highest priority is selected from the gripping posture generation unit 21 and an evaluation regarding the candidate point is performed.
  • the interference avoidance device 2 corrects the effective gripping posture 21a (S6), S3 To S6 are repeated.
  • the second approach trajectory generator 23 If there is no possibility of interference in S4 (S4, Yes), the second approach trajectory generator 23 generates the second approach trajectory 23a (S7), and the interference check unit 25 performs the interference check again (S8). ).
  • the avoidance track generation unit 24 generates an interference avoidance track for the robot controller 3 (S9).
  • the interference avoidance device 2 is divided into the two regions of the effective first approach trajectory 22a and the second approach trajectory 23a, and the first effective first success rate is high. If the second approach track 23a has an effective solution, the gripping point that is the starting point is selected as an effective gripping point. Connect to make an interference avoidance trajectory. With this configuration, the gripping success rate can be increased while selecting gripping points that do not interfere with each other, and the working efficiency of the robot system 100 can be improved as compared with the case where a conventional interference avoidance device is used.
  • FIG. FIG. 16 is a configuration diagram of a trajectory calculation unit provided in the interference avoidance device according to Embodiment 2 of the present invention.
  • a trajectory calculation unit 11A is used instead of the trajectory calculation unit 11 of the first embodiment.
  • the trajectory calculation unit 11 ⁇ / b> A includes a gripping posture generation unit 21, a first approach trajectory generation unit 22, a second approach trajectory generation unit 23, an avoidance trajectory generation unit 24, and an interference check unit 25 included in the trajectory calculation unit 11.
  • an interference risk evaluation unit 26 is provided.
  • FIG. 17 is a first diagram for explaining the operation of the interference risk evaluation unit shown in FIG.
  • the distance information Lij is a distance between the robot hand model 101 that is an object that is desired to avoid interference with the component box 9 or a distance between the tool model 103 that is an object that is desired to avoid interference with each other and the component box 9. .
  • They are kept at a certain distance or more to avoid interference. Therefore, when the accurate measurement result of the measurement unit and the accurate relative distance relationship between the peripheral device and the robot calculated based on the measurement result are always known, these are kept at a certain distance or more. It is important to manage that the second approach trajectory generation unit selects a trajectory in which these are more than a certain value.
  • an accurate relative distance relationship may not be obtained due to the effects of calibration errors and noise / relative distance modeling errors.
  • the interference risk in the second approach orbit is evaluated based on the approach distance Lij, and the risk is high.
  • the interference risk evaluation unit 26 shown in FIG. 16 receives the starting point information of the effective first approach trajectory 22a and the model information 3a as input, and sends the second approach trajectory generation unit 23 between the object i and the object j.
  • the distance information Lij is calculated.
  • the object i and the object j may be objects that are desired to avoid interference, such as the robot hand model 101, the tool model 103, and the component box 9 shown in FIG.
  • the interference risk evaluation unit 26 determines the distance between the object i and the object j based on the position information of each model such as the arm unit 41, the tool unit 42, the peripheral device, and the component box 9 included in the model information 3a and the measurement data 1a.
  • Information Lij is calculated.
  • FIG. 18 is a second diagram for explaining the operation of the interference risk evaluation unit shown in FIG.
  • the vertical axis represents the approach speed Lij 'calculated by dividing the difference of the distance information Lij by time
  • the horizontal axis represents time.
  • the vertical axis represents distance information Lij
  • the horizontal axis represents time.
  • the second approach trajectory generator 23 shown in FIG. 16 confirms whether or not the distance information Lij has reached the approach distance threshold 31b as shown in FIG. 18, or the approach distance change rate, that is, the approach speed Lij. It is confirmed whether or not 'exceeds the speed upper limit value 31a of the approach speed that changes according to the distance information Lij.
  • the speed upper limit value 31a is set to be reduced. That is, in the case of evaluation that increases the risk of interference, the allowable moving speed is reduced. If a moving speed larger than the reduced speed is set, the moving speed of the robot is adjusted so that the moving speed can be lowered to the speed upper limit value 31a.
  • interference Even if it is determined that there is no possibility of interference in the interference check, interference may occur if sensing information and modeling errors occur. Normally, in anticipation of these, by taking a “judgment margin” that sets a large threshold for determining interference with the approach distance Lij of all interference checks, the risk of collision between the tool part and the surrounding environment is reduced. To do. However, by taking this determination margin, the determination becomes excessive, and an erroneous determination may be made that “interferes” more than necessary. This drastically reduces the number of trajectories that can be gripped.
  • the hand unit 43 can be moved by adjusting the command value to a speed at which the damage level of the object is low.
  • the operation speed can be increased as necessary for the entire track while keeping the damage level low.
  • the speed upper limit value 31a of the approach speed Lij ′ between the models a part where the difference between the actual approach speed 30a and the speed upper limit value 31a is particularly large is searched, and the moving speed of the robot in those parts is greatly adjusted. can do.
  • the approach speed 30a shown on the upper side of FIG. 18 increases, approaches the speed upper limit value 31a, and the approach distance 30b shown on the lower side of FIG. 18 is compressed with respect to the time axis (horizontal axis). The value of does not change.
  • the operation speed of the second approach track generated by the second approach track generation unit can be maximized.
  • the maximum acceleration at which each axis of the robot arm can move varies depending on the posture of the robot arm in the second approach trajectory.
  • the relationship between the approach speed and the approach distance when the robot arm is moved at the maximum speed is obtained first. Then, it is possible to maximize the speed by finding a portion where the approach speed 30a exceeds the speed upper limit value 31a and adjusting so as to correct them.
  • the interference risk evaluation unit 26 pays attention to the relative distance between the hand unit 43 and the peripheral device and the relative approach speed between the hand unit 43 and the peripheral device, particularly as the distance between the objects that cause the interference risk.
  • the interference risk evaluation unit 26 pays attention to the relative distance between the hand unit 43 and the peripheral device and the relative approach speed between the hand unit 43 and the peripheral device, particularly as the distance between the objects that cause the interference risk.
  • Embodiment 3 Similar to the interference avoidance device 2 according to the second embodiment, the interference avoidance device 2 according to the third embodiment has a gripping posture generation unit 21, a first approach trajectory generation unit 22, a second approach trajectory generation unit 23, and avoidance. A trajectory generation unit 24, an interference check unit 25, and an interference risk evaluation unit 26 are provided.
  • a trajectory generation unit 24, an interference check unit 25, and an interference risk evaluation unit 26 are provided.
  • an operation example of the interference avoidance device 2 in which the potential method is applied to the second approach orbit generation unit 23 according to the second embodiment will be described.
  • a virtual energy field is defined between objects
  • a virtual external force is defined as a repulsive force (force dimension) acting as the distance between two objects approaches.
  • the potential method is to apply this virtual external force to the robot arm, determine the displacement of the arm based on the equation of motion, and correct the displacement as a correction amount at each point on the trajectory.
  • This is the idea of the trajectory correction.
  • a vector amount representing a trajectory correction amount (position dimension) of the position or orientation is calculated on the assumption that the object moves by virtual external force.
  • the trajectory correction using the potential method is a method of virtually correcting the hand control trajectory based on the above procedure.
  • the second approach orbit generation unit 23 according to the third embodiment causes the tool part 42 to act on the tool part 42 by applying a virtual external force that is a repulsive force according to the distance information Lij obtained by the interference risk evaluation unit 26.
  • the reference trajectory is corrected using the potential method with the reference trajectory as the reference trajectory.
  • FIG. 19 is a diagram illustrating an operation of the robot hand operated by the interference avoidance device according to the third embodiment.
  • a virtual external force 32 that is a repulsive force according to the distance information Lij obtained by the interference risk evaluation unit 26 acts on the hand unit 43.
  • the interference avoidance device 2 outputs virtual external force information indicated by the virtual external force 32 to the robot control device 3 shown in FIG. To do.
  • the robot controller 3 causes the hand unit 43 to follow the second approach track 23a as the second approach track P, and performs impedance control according to the virtual external force information.
  • the resultant force is directly interpreted as a moving speed, multiplied by an appropriate coefficient to obtain a position correction amount ⁇ P, and position control using the second approach trajectory P + position correction amount ⁇ P as a target value can be performed.
  • FIG. 19 an example of how to obtain the second approach orbit P + position correction amount ⁇ P is shown.
  • two virtual external forces 32 act according to the distance between the tip of the tool portion and the box. It shows how they are doing.
  • the robot control device 3 corrects the magnitude and direction of the velocity vector V according to the virtual external force 32, and sets the corrected velocity vector as V '.
  • the robot control device 3 corrects the target value by setting the amount ⁇ Tc * V ′ obtained by multiplying the corrected velocity vector V ′ and the control period ⁇ Tc as the position correction amount P + the position correction amount ⁇ P.
  • the position correction amount ⁇ P is selected so that K * ⁇ P is balanced with respect to the external force action F, where K is the virtual spring stiffness of the impedance control. You can also.
  • the third embodiment it is possible to cope with changes in the online situation that were not obtained in the second embodiment, and to operate the robot system 100 without damaging it even if a sudden environmental change occurs. System operation efficiency can be maintained.
  • FIG. 20 is a configuration diagram of a trajectory calculation unit provided in the interference avoidance device according to Embodiment 4 of the present invention.
  • the trajectory calculation unit 11B provided in the interference avoidance device 2 according to the fourth embodiment includes the gripping posture generation unit 21 and the first approach trajectory generation. Unit 22, second approach trajectory generation unit 23, avoidance trajectory generation unit 24, and interference check unit 25.
  • the effective gripping posture 21a is input to the first approach trajectory generating unit 22, and the hand opening / closing speed 33 and the hand opening / closing time 34 are input to the first approach trajectory generating unit 22 as gripping approach constraints. Is done.
  • the first approach trajectory generating unit 22 includes an effective first approach trajectory 22a evaluated by combining the trajectory generation and hand opening / closing instructions in consideration of the gripping approach restraint, the hand opening / closing speed 33, and the hand opening / closing time 34. Is generated.
  • the hand unit 43 is a hand using air pressure, the response time of the hand cannot be changed for each part. If the hand opening / closing is not in time for the effective first approach track 22a, it is possible to reduce the useless waiting time by setting the hand opening / closing time in the avoidance track generation unit 24. Such determination of the hand opening / closing time is determined from the time required for the effective first approach track 22a in the avoidance track generation unit 24.
  • the picking operation considering the hand opening / closing time 34 can be determined, it is possible to reduce the delay of one operation related to the hand opening / closing and shorten the tact time. it can.
  • the gripping operation on the trajectory can be controlled more finely by considering the hand opening / closing speed in addition to the trajectory as a gripping approach restriction, and the gripping success is achieved. The rate can be improved.
  • FIG. 21 is a hardware configuration diagram of the interference avoidance apparatus according to Embodiments 1 to 4 of the present invention.
  • the interference avoidance device 2 includes a CPU (Central Processing Unit) 61, a ROM (Read Only Memory) 62, a RAM (Random Access Memory) 63, and an input unit 65.
  • the CPU 61, the ROM 62, the RAM 63, and the input unit 65 are connected via a bus line 66.
  • the input unit 65 includes a mouse and a keyboard, and inputs information input by the user. Information input to the input unit 65 is sent to the CPU 61.
  • the ROM 62 stores a program 60 for the interference avoidance device 2.
  • the CPU 61 executes the program 60 loaded in the RAM 63 so that the gripping point candidate generation unit 10 and the trajectory calculation unit 11 of the interference avoidance device 2 Realized.
  • FIG. 22 is a view showing a modification of the production system shown in FIG.
  • a production system 200 shown in FIG. 22 includes an image processing apparatus 1001 in addition to the components of the production system 200 shown in FIG.
  • the image processing device 1001 is provided between the measurement unit 1 and the interference avoidance device 2.
  • the image processing apparatus 1001 is an apparatus having the function of the gripping point candidate generation unit 10 extracted from the interference avoidance apparatus 2.
  • the image processing apparatus 1001 is an apparatus including the gripping point candidate generation unit 10 of FIG. 4 that performs image processing on the measurement data 1a and calculates the gripping point candidate 10a.
  • FIG. 23 is a diagram showing a configuration example of the interference avoidance apparatus shown in FIG.
  • the interference avoidance apparatus 2 excludes the gripping point candidate generation unit 10 in FIG. 4 as illustrated in FIG. 23, and the interference avoidance apparatus 2 includes the gripping point candidate 10 a, model information 3 a, A trajectory calculation unit 11 having the robot program 3b and setting information 3c as input information is provided.
  • the processing result is shared via a network such as Ethernet (registered trademark). be able to.
  • FIG. 24 is a diagram showing a first modification of the production system shown in FIG.
  • the production system 200 shown in FIG. 24 is configured such that a gripping point candidate 10a obtained as a result of image processing is received by the robot control device 3.
  • the production system 200 may be configured such that the gripping point candidate 10a is received by both the robot control device 3 and the interference avoidance device 2.
  • FIG. 25 is a diagram showing a second modification of the production system shown in FIG.
  • the production system 200 shown in FIG. 25 includes an information integration terminal 5 using a PLC, a personal computer, etc., and all information is collectively managed by the information integration terminal 5 via a network, and operates in accordance with the state. It is configured to output a change instruction or command.
  • the gripping point candidate 10 a is input to the information integration terminal 5, and the gripping point candidate 10 a input to the information integration terminal 5 is input to the interference avoidance device 2 via the robot control device 3.
  • FIG. 26 is a diagram showing a third modification of the production system shown in FIG.
  • a production system 200 shown in FIG. 26 includes a plurality of image processing apparatuses 1001 and 1002 and a plurality of measuring units 1 and 1A.
  • the measuring unit 1 ⁇ / b> A is installed at a position where the robot 4 can be photographed by the fixed base 70.
  • the measurement unit 1A transmits imaging information obtained by imaging the operation of the robot 4 to the image processing apparatus 1002 as measurement data 1a.
  • the image processing apparatus 1002 is configured in the same manner as the image processing apparatus 1001, and calculates the gripping point candidate 10b based on the measurement data 1b.
  • the calculated gripping point candidate 10b is input to the information integration terminal 5.
  • the information integration terminal 5 aggregates the gripping point candidates 10a and 10b and outputs an operation change instruction or command to the whole according to the state.
  • the production system 200 is It is good also as a structure using only any one of the part 1 and the measurement part 1A.
  • the information integration terminal 5 is configured to include the interference avoidance device 2 and the information integration terminal 5 is a conveyor control device. 6. It is good also as a structure which functions as each interference avoidance apparatus 2 of the processing machine control apparatus 7 and the robot control apparatus 8. FIG.
  • FIG. 27 is a configuration diagram of a trajectory calculation unit provided in the interference avoidance device according to Embodiment 5 of the present invention.
  • the trajectory calculation unit 11C illustrated in FIG. 27 performs the first approach trajectory generation unit 22A and the second approach trajectory generation instead of the first approach trajectory generation unit 22 and the second approach trajectory generation unit 23 illustrated in FIG. A portion 23A is provided.
  • the trajectory calculation unit 11C includes a gripping posture generation unit 21, an avoidance trajectory generation unit 24, and an interference check unit 25 shown in FIG. 6 in addition to the first approach trajectory generation unit 22A and the second approach trajectory generation unit 23A.
  • the gripping posture generation unit 21, the avoidance trajectory generation unit 24, and the interference check unit 25 of FIG. 6 are not shown.
  • the same parts as those of the first embodiment are denoted by the same reference numerals, and the description thereof is omitted. Only different parts will be described here.
  • the first approach trajectory generator 22A includes a trajectory element generator 83 and an approach trajectory generator 84.
  • the trajectory element generation unit 83 calculates M + 1 first approach trajectory elements 13a based on the M pieces of intermediate goal information 81 related to the first approach trajectory and the effective gripping posture 21a.
  • M is an integer of 1 or more.
  • k is a variable from 1 to M + 1.
  • the first approach trajectory element is defined by interpolating the two end points with two positions (two of the gripping point, the via point, the operation start point, and the operation completion point) as both end points.
  • An example of the interpolation method is spline interpolation.
  • the intermediate goal is a gripping point candidate Pgg that is a target position of the tool part, and a gripping approach start point Psg of the tool part that is a starting point of a first approach trajectory indicating a position away from the target position Pgg of the tool part. It is the transit point of the trajectory defined between.
  • the intermediate goal information 81 is information indicating the contents of the intermediate goal.
  • the effective first approach trajectory 22a is generated.
  • the first approach orbit element 13a calculated second is connected to the first approach orbit element 13a calculated first, and the first approach orbit element 13a calculated second is connected to 3
  • the first approach trajectory element 13a calculated in the second is connected.
  • a trajectory 22a is generated.
  • the first connection method is a connection method considering the speed.
  • the first approach trajectory generation unit can define the approach trajectory so that the acceleration and deceleration are moderate in consideration of the influence of the inertial force and the centrifugal force generated in the vicinity of the intermediate goal as the connection point.
  • connection points of the two approaching track elements are connected as a track that does not become discontinuous, and the speed command value in the vicinity of the connection point is connected so as not to increase.
  • This is a connection method in which when the moving direction defined by the motion trajectory before and after the connection point rapidly changes in speed, it is appropriately decelerated to realize a smooth robot operation.
  • speed information is not necessarily required for the trajectory, but here it is necessary to have a passing speed that can be realized by the robot tool, so the passing speed of the robot tool is specified at any point on the trajectory.
  • the second connection method is a connection method that smoothly connects via points using a spline curve.
  • the first approach trajectory generation unit generates a smooth trajectory by performing spline interpolation based on the grip approach start point Psg that is the starting point of the first approach trajectory, the grip point candidate Pgg that is the end point, and the intermediate goal. You can also Here, the role of the intermediate goal will be described.
  • the trajectory candidates are calculated using the gripping approach start point Psg of the tool part and the gripping point candidate Pgg of the tool part.
  • M intermediate goals are set as passing points that must pass.
  • the approach vector direction that cannot be specified is set when the following event occurs when the robot moves in the approach vector direction.
  • Specific examples of the event include an event in which the robot tool unit or end effector interferes with an obstacle, an event that interferes with the operation of the object to be gripped (falling of the object to be gripped or damage to the object to be gripped), etc. Is mentioned.
  • the intermediate goal is set at a position offset by 10 mm from the gripping point candidate Pgg.
  • the “offset position” means “another position translated from a certain reference position by a certain amount of position (mm) in a certain direction”.
  • the “position offset by 10 mm” shown here is a position translated in the direction in which the robot can successfully grip, excluding the “vector that cannot be specified as the approach vector direction” described as a constraint.
  • a supplementary explanation will be given for the difference between the points that are not intermediate goals (gripping point candidates Pgg and grip approach start points Psg) and how to determine the intermediate goal.
  • the gripping point candidates are calculated based on the measurement data.
  • the end point on the side that is not the grip point Pgg of the first approach trajectory, that is, the grip approach start point Psg, is the position where the robot that grips the part to be picked up moves to a height or position where there is no interference between the part to be picked up and surrounding parts. Set.
  • a position different from the intermediate goal is set.
  • the parts that are in the supply box and are selected as gripping point candidates are called “parts to be taken out”, and the other parts in the supply box are called “surrounding parts”.
  • the intermediate goal is defined only when it is necessary to define a target point immediately before the gripping position, and the intermediate goal is not set if there is no restriction on the approach vector direction immediately before the gripping position.
  • the second approach trajectory generator 23A includes a trajectory element generator 85 and an approach trajectory generator 86.
  • the trajectory element generation unit 85 includes the grip approach start point Psg, which is the starting point of the effective first approach track 22a, and the start point of the second approach track 23a, which is the robot operation start point, in the effective first approach track 22a.
  • N + 1 second approach trajectory elements 13b are calculated on the basis of the picking operation start point and N pieces of intermediate goal information 82 related to the second approach trajectory.
  • N is an integer of 1 or more.
  • j is a variable from 1 to N + 1.
  • the trajectory element generation unit 85 calculates an approach trajectory element that connects the grip approach start point Psg of the effective first approach trajectory 22a and the first intermediate goal related to the second approach trajectory.
  • the trajectory element generation unit 85 calculates an approach trajectory element that connects the Nth intermediate goal related to the second approach trajectory and the starting point of the picking operation.
  • the intermediate goal information 82 is information defined by the position (X, Y, Z) and posture (rotation angle (A, B, C) / rotation matrix R) of the robot tool unit.
  • the starting point of the picking operation that is the starting point of the second approach track 23a is defined in the track element generation unit 85.
  • the picking operation starts from the top of a shelf or box (part of the surrounding environment) containing the target part, or the arm or hand interferes with the surrounding environment. Points that are far enough away are designed and specified by the user.
  • the starting point of the picking operation can be defined as a point acquired in an exploratory manner. Also in the case of acquiring in a search manner, as a search end condition, the user defines and sets a point where the hand is sufficiently separated from the box.
  • the second approach trajectory 23a is generated.
  • the effective first approach is performed so that the fingertip of the hand part 43 does not interfere with the convex part 12 of the part 9a.
  • a trajectory 22a is generated.
  • the state in which the gripping target is geometrically trapped in the fingertip space is a state in which spatial motion is restricted or a caging state.
  • the part touches the fingertip when trying to rotate in the fingertip of the gripping hand. In other words, this represents a state in which the component cannot be rotated.
  • the part to be gripped does not move greatly as it goes outward from the gap between the fingers, and it is possible to limit the posture change within a range where gripping is not impossible.
  • Caging is an object constraint that surrounds the surroundings so that they cannot come out in either direction, although there is no geometric constraint in contact. Also in this case, when the component is displaced by an external force other than the acting force on the component due to opening and closing of the fingertip, an object is to prevent an event that the component falls or cannot be gripped.
  • an operation for increasing the gripping success rate can be set by providing an intermediate goal.
  • an intermediate goal in which the robot hand posture is set by the following method can be selected as the intermediate goal in the second approach trajectory.
  • the second approach trajectory generating unit 23A minimizes the distance of the gripping point and the center of gravity of the object with respect to the direction perpendicular to the vertical direction, and stably grips the gripping target to prevent the gripping target from falling off by the action of the moment.
  • the posture can be set as the posture of the gripping hand of the intermediate goal robot.
  • the distance to the direction orthogonal to the vertical direction corresponds to the distance from the grip point of the robot hand to the center of gravity of the object.
  • the position of the intermediate goal corresponding to the posture of the gripping hand can be calculated as follows.
  • the second approach trajectory generating unit 23A calculates a height at which the gripping hand and the surrounding environment do not interfere with each other even when the component box 9 and the gripping object are in the stable gripping posture.
  • the point at which the stable gripping posture is reached after reaching a height that does not interfere with the intermediate goal can be set as the position of the intermediate goal.
  • the non-interfering height is calculated by, for example, calculating the gripping posture from the object data measured in advance, and interfering with the parts box or the like from the calculated gripping posture and the geometric data of the object acquired in advance. It can be obtained by calculating the distance that is not.
  • the interference avoidance device in addition to the effects of the first embodiment, it is possible to prevent the gripped object from falling out of the gripping state, and as a result, the productivity of the system is improved. The effect of doing is obtained.
  • FIG. 28 is a configuration diagram of a trajectory calculation unit provided in the interference avoidance device according to Embodiment 6 of the present invention.
  • the trajectory calculation unit 11D illustrated in FIG. 28 uses the first approach trajectory generation unit 22B and the second approach trajectory generation instead of the first approach trajectory generation unit 22 and the second approach trajectory generation unit 23 illustrated in FIG. A portion 23B is provided.
  • the trajectory calculation unit 11D includes an assembly posture candidate generation unit 27 and an assembly position candidate generation unit 28 instead of the gripping posture generation unit 21 illustrated in FIG.
  • the gripping point candidate is replaced with an “assembly posture candidate” in accordance with the change in the configuration to the assembly operation of the gripped object, and the gripping approach start point (starting point of the first approach trajectory) ) Is replaced with “Assembly operation start point”.
  • the picking operation start point which is the robot operation start point, is replaced with the “starting point of the entire assembly operation”.
  • the assembly position candidate generation unit 28 may be provided outside the trajectory calculation unit 11D.
  • the hand unit 43 uses a camera or an image sensor to measure the position of the component 9a and grip the component.
  • the robot starts the entire assembly operation in the same manner as in Embodiment 1 in which the part is empty after gripping the part 9a. Move to point Psa. Thereafter, the robot operates according to the trajectory generated by the trajectory calculation unit 11D.
  • the starting point Psa of the entire assembling operation is generated by the second approach trajectory generating unit.
  • the interference avoidance device 2 uses a vision sensor or a camera as a measurement unit to measure the position and orientation of the gripped object, and measure the measurement.
  • Image recognition processing is performed to calculate the position and orientation of the object held by the hand.
  • RGB Red Green Blue
  • distance image information such as a point cloud
  • distance information such as a point cloud
  • Image recognition processing is performed to calculate the position and orientation of the object held by the hand.
  • a model matching process or the like is used.
  • the “position and orientation of the part” indicating how the part is held with respect to the hand is acquired.
  • the position and orientation of the part are measured before gripping on the assumption that the gripping hand has successfully gripped the part in the ideal state without slipping and displacement relative to the part position and orientation acquired for gripping the part. It is also possible to calculate based on the position and orientation information of the parts.
  • the assembly position candidate generation unit 28 calculates gripping posture information 87 expressed by the tool position and posture of the robot based on the position and posture of the component.
  • the assembly position candidate generation unit 28 uses the gripping posture information 87 for the tool unit to be gripped based on the model information of the robot and peripheral devices, and uses the plurality of first assembly postures for the tool unit to complete the assembly of the gripping target.
  • Candidate 88 is calculated.
  • an example in which there are a plurality of first assembly posture candidates 88 generated by the assembly position candidate generation unit 28 includes a case where the part shape is a rectangular parallelepiped, a cylinder, or a disk.
  • the assembly position candidate generation unit 28 sets a plurality of first assembly posture candidates 88 based on the symmetry of the part.
  • the assembly posture candidate generation unit 27 generates a second assembly posture candidate that can realize an assembly operation including an allowable error. That is, the assembly posture candidate generation unit 27 generates a plurality of effective assembly posture candidates 27a that exist within the allowable posture range without the tool unit interfering with peripheral devices with respect to the second assembly posture candidate.
  • the effective assembly posture candidate 27a includes position information and posture information ([X, Y, Z, A, B, C]).
  • FIG. 29 is a diagram for explaining the operation of the trajectory calculation unit shown in FIG. In FIG. 29, after the tool unit 42 of the robot approaches the component box 9 that is a component supply box and the hand unit 43 grips the component 9 a that is the gripping object in the component box 9, The operation from moving 9a to the upper side of the component 9b until the component 9a held by the hand unit 43 is assembled to the component 9b is shown.
  • the robot that takes out the object to be grasped from the parts box 9 may perform product assembly work in the factory in addition to the object grasping operation.
  • the component 9b includes a fixing portion 80 into which the component 9a is fitted by a snap fit, a U-shaped protrusion 9b1, and the like. May exist.
  • Snap-fit is a kind of mechanical joining method used for joining two or more materials, and is a method of fixing two or more materials together by fitting the two or more materials using the elasticity of the materials. That is.
  • the tip of the component 9a does not interfere with the protrusion 9b1 of the component 9b, and the horizontal ends of the component 9a do not rest on the upper surface of the fixing unit 80.
  • the angle of the extension direction of the component 9a with respect to the extension direction of the component 9b is In addition to being different, the position of the tip of the component 9a with respect to members such as the fixing portion 80 and the protrusion 9b1 of the component 9b is different.
  • the assembly completion position is the position of the part 9a existing on the bottom side among the plurality of parts 9a existing in the part 9b.
  • the component 9a when the component 9a is assembled to the component 9b having members such as the fixing portion 80 and the protruding portion 9b1, there are cases where restrictions are imposed on the insertion direction, the insertion angle, and the like of the component 9a into the component 9b.
  • the component 9a when the assembly operation of the component 9a to the component 9b is started in the vertical direction from the position where the assembly completion position of the component 9a is extended vertically above the component 9b, the component 9a interferes with the protruding portion 9b1 of the component 9b. There is a fear.
  • the assembly cannot be completed. That is, the effective first approach track 22a generated by the first approach track generation unit 22A of the fifth embodiment is further divided into a plurality of tracks, and the second approach track generation unit 23A generates the second approach track. If the approach track 23a is not further divided into a plurality of tracks, the assembly may not be completed.
  • FIG. 30 is a flowchart for explaining the operation of the trajectory calculation unit shown in FIG.
  • the hand unit 43 grips the supplied component 9a (S10), and the interference avoidance device 2 calculates the position and orientation of the component 9a gripped by the hand unit 43 (S11). Assembling posture candidate points to be worked are generated (S12).
  • the first approach trajectory generation unit 22B of the trajectory calculation unit 11D moves the component in which the assembly direction or the insertion direction is restricted during assembly, and the assembly target and the component 9a gripped are in contact with each other.
  • a first approach trajectory consisting of component movement accompanied by is generated.
  • the first approach trajectory generation unit 22B of the trajectory calculation unit 11D satisfies the state in which the gripped component 9a and the gripping hand do not shift the assembly target among the plurality of generated effective assembly posture candidates 27a.
  • the assembly posture in which the part can approach the assembly target is extracted.
  • the first approach trajectory generation unit 22B generates a plurality of assembly trajectory candidates for achieving the extracted assembly posture, and uses the plurality of trajectories each having the plurality of assembly posture candidates as end points. Generate as a trajectory.
  • the first approach trajectory generation unit 22B provides a trajectory for the element operation to be pressed against the fixed unit 80, and generates the (k + 1) th first approach trajectory element 13a2 as the element operation for inserting the member up to that position.
  • the first approach orbit element 13a2 generated at this time is indicated by an arrow pointing to the upper left.
  • the first approach track element 13a2 includes the amount of movement and the inclination with respect to the horizontal direction when the tip of the component 9a is inserted into the protrusion 9b1 formed on the component 9b of FIG.
  • An effective first approach track 22a is generated in such a manner that each of the approach track elements 13a is connected.
  • the interference check unit 25 performs an interference check on the effective gripping posture 21a and the effective first approach trajectory 22a. If there is a possibility of interference as a result of the interference check (S15, No), the interference check unit 25 generates a part of the tool unit 42 that may interfere with the component box 9, and causes interference in the allowable posture range. In order to eliminate it, the corrected gripping point candidate when the smallest posture change is performed is searched, and the presence or absence of interference is determined (S16).
  • the interference avoidance device 2 corrects the effective gripping posture 21a (S17) and S14. To S15 are repeated.
  • the second approach trajectory generation unit 23B of the trajectory calculation unit 11D is the first farthest from the assembly target among the end points of the effective first approach trajectory 22a.
  • a second approach trajectory 23a in which the robot arm and the tool approach the end point 1 without interfering with peripheral devices is generated (S18).
  • the intermediate goal information 82 is intended to change the gripping posture of the component 9a from a gripping posture that is advantageous for gripping conveyance to a gripping posture that is convenient for assembly at a position above the component 9b.
  • the route point that was set is set.
  • the assembly start point is an end point 13a2a farther from the assembly position of the (M + 1) th first approach track element 13a2.
  • the end point of the second approach track element 13b2 is connected to the start point Psa of the entire assembly operation.
  • the movement of the component 9a taken out from the supply position with respect to the sky of the component 9b is referred to as a transport operation and is distinguished. Therefore, in the second approach trajectory generation unit 23B of the trajectory calculation unit 11D, N + 1 second approach trajectory elements 13b, that is, two are generated, so that each of the two generated second approach trajectory elements 13b is generated. Are connected, the second approach track 23a is generated.
  • the interference check unit 25 performs the interference check again (S19). When there is a possibility of interference with the second approach track 23a (S19, No), the processes of S18 and S19 are repeated. When there is no possibility of interference with the second approach track 23a (S19, Yes), the avoidance track generation unit 24 connects the effective first approach track 22a and the second approach track 23a to the interference avoidance track. 2a is generated (S20). A method for connecting the effective first approach track 22a and the second approach track 23a will be described. When a plurality of effective assembly posture candidates 27a, effective first approach trajectories 22a, and second approach trajectories 23a are output and there are a plurality of combinations, the evaluation value is minimized or maximized using the evaluation function. Select the trajectory.
  • the evaluation function it is possible to select a trajectory that takes the total work time corresponding to the movement of the entire interference avoidance trajectory as input but minimizes the evaluation value related to time. Further, as an evaluation function, an energy consumption amount based on a current value due to a robot operation can be input, and an evaluation value can be calculated so that the energy consumption amount is minimized.
  • the method of the evaluation function is not limited to these.
  • the interference avoidance device even when the product is assembled by assembling the component 9a to the component 9b, the effective first approach track 22a is divided into a plurality of tracks, and Since the second approach track 23a is divided into a plurality of tracks, the component 9a can be assembled to the component 9b without the component 9a interfering with the component 9b even when the fixing portion 80 or the like is present in the component 9b. .
  • FIG. 31 is a configuration diagram of a trajectory calculation unit provided in the interference avoidance device according to Embodiment 7 of the present invention.
  • the trajectory calculation unit 11E illustrated in FIG. 31 is in addition to the gripping posture generation unit 21, the first approach trajectory generation unit 22, the second approach trajectory generation unit 23, the avoidance trajectory generation unit 24, and the interference check unit 25 illustrated in FIG.
  • the simulation unit 300 is provided.
  • the simulation unit 300 includes a 3D model simulation unit 301, a learning device 302, a first approach track candidate storage unit 303, and a second approach track candidate storage unit 304.
  • the 3D model simulation unit 301 simulates the robot operation in the constructed virtual space based on the 3D-CAD model or the 3D model obtained by the three-dimensional measurement.
  • a simulation result 311 including the motion trajectory through which the robot arm passes and the interference determination information related to the interference with the surrounding environment where the motion is activated is output.
  • the learning device 302 inputs these simulation results 311, extracts an efficient operation that satisfies a certain criterion and an operation without interference based on the evaluation function, and those operation trajectories and driving necessary for the operation.
  • information 312 on the robot motion trajectory candidates and motion parameter constraints is output.
  • the operation parameter constraint is a condition for narrowing the allowable search space, such as the robot joint movable range and the robot movable range expressed in Cartesian coordinates, or the upper limit for narrowing the upper limit of the acceleration / deceleration of the drive axis. is there.
  • the 3D model simulation unit 301 uses the first approach trajectory candidate 313 and the second approach trajectory 313 based on the information 312 and the gripping point candidates obtained based on the measurement data of the target object acquired by the camera or the like during actual work.
  • An approach trajectory candidate 314 is generated and output.
  • the 3D model simulation unit 301 performs the imaging process on the simulation using the information 312 and the camera model in the virtual environment, and based on the gripping point candidates obtained in the virtual environment, A second approach trajectory candidate 314 can also be generated and output.
  • the first approach track candidate 313 is stored in the first approach track candidate storage unit 303
  • the second approach track candidate 314 is stored in the second approach track candidate storage unit 304.
  • the simulation unit 301 can perform the simulation in advance as many times as the calculation processing capability is permissible based on the object arrangement and the gripping point candidate assuming the situation assumed in the actual robot, the first approach The trajectory candidate 313 and the second approach trajectory candidate 314 can be stored in advance in a form corresponding to the positional relationship between all gripping point candidates and the surrounding environment. That is, when the robot actually operates, the first approach trajectory candidate generation unit considering the grip success rate and the interference with the surroundings based on the output information of the effective gripping point candidate 21a outputs the first approach trajectory candidate in a short time. 1 approach trajectory can be output. Similarly, the second approach trajectory generator can output the second approach trajectory in a short time.
  • the first approach track generation unit 22 selects the first approach track candidate 313 corresponding to the effective gripping posture 21a from the first approach track candidate storage unit 303, and selects the selected first approach track candidate 313.
  • the effective first approach trajectory 22a is output.
  • the second approach track generation unit 23 selects the second approach track candidate 314 corresponding to the effective first approach track 22a from the second approach track candidate storage unit 304, and selects the selected second approach track.
  • the candidate 314 is output as the second approach orbit 23a.
  • the processing time for performing the operation plan is shortened, and the tact time during production is shortened. can get.
  • the configuration described in the above embodiment shows an example of the contents of the present invention, and can be combined with another known technique, and can be combined with other configurations without departing from the gist of the present invention. It is also possible to omit or change the part.
  • 1,1A measurement unit 1a measurement data, 2 interference avoidance device, 2a interference avoidance trajectory, 3,8 robot control device, 3a model information, 3b robot program, 3c setting information, 4 robot, 5 information integration terminal, 6 conveyor control Device, 7 processing machine control device, 9 parts box, 9a, 9a1, 9b parts, 9a11 long piece, 9a12 short piece, 9b1 protrusion, 10 grip point candidate generator, 10a, 10b, 17 grip point candidate, 11, 11A, 11B, 11C, 11D, 11E Trajectory calculation unit, 12 convex portion, 13 first approach trajectory, 13a, 13a1, 13a2, first approach trajectory element, 13a2a, 13b1a end point, 13b, 13b1, 13b2 second approach Orbital elements, 14 ideal approach directions, 15 allowable approach directions, 18 allowable advance Vector, 19 allowable retraction vector, 21 gripping posture generation unit, 21a effective gripping posture, 22, 22A, 22B first approach trajectory generation unit, 22a effective first approach trajectory, 23, 23A, 23B second approach

Abstract

ツール部が周辺機器に干渉することを回避させる干渉回避装置(2)は、周辺機器の状態を計測して得られた計測データ(1a)とロボットおよび周辺機器のモデル情報(3a)とに基づき、ツール部の把持対象をツール部が把持可能な複数の把持点候補(10a)を算出する把持点候補生成部(10)と、複数の把持点候補(10a)に基づき、ツール部が周辺機器に干渉することなく把持対象に接近する干渉回避軌道(2a)を算出する軌道算出部(11)とを備える。

Description

干渉回避装置
 本発明は、ロボットが周辺機器に干渉することを回避する干渉回避装置に関する。
 干渉回避装置は、ロボットおよび周辺機器の各々が動作する占有空間の重複の有無により、ロボットと周辺機器とが干渉する可能性があるか否かの干渉チェックを実行する。そして動作計画時または動作実行時において干渉チェックにより、ロボットが周辺機器に干渉する可能性があると判断したとき、干渉回避装置は、プログラムで予め計画された動作軌道を異なる動作軌道に修正し、修正した動作軌道を目標軌道としてロボットを制御する。修正した動作軌道に合わせてロボットを制御することを干渉回避動作と称する。これにより、ロボットが当該ロボットの周辺に配置された他のロボットまたは周辺機器に干渉し、ロボットまたは周辺機器が故障することを未然に防止でき、またロボットによる作業が失敗することを未然に防止できる。
 従来の干渉回避装置は、デカルト座標系において干渉チェックを行う。または、従来の干渉回避装置は、コンフィギュレーション空間において干渉チェックを行い、干渉回避動作を実現する回避軌道を生成する。具体的には、干渉回避装置は、デカルト座標系上の空間において干渉が見つかった場合、中間軌道を修正して回避軌道を算出する。または干渉回避装置は、関節角度で表現されたコンフィギュレーション空間において干渉が見つかった場合、コンフィギュレーション空間中で回避軌道を探索する。これらの手法は、干渉が発生する経路をロボットが通ると判定されたとき、これを避けて通るように修正することを基本とした手法である。干渉回避動作を実現するための計算処理では、計算処理量が増加し、計算時間が一定以上必要となる代わりに確実に干渉しない経路を生成できる。
 一方、従来の干渉回避装置では、拘束条件が明示的に設定されていないため、単にロボットが干渉しないことが満たされても、ロボットによる作業成功率またはロボットの動作速度といった作業品質に影響を与える条件への考慮が不十分である。すなわち従来の干渉回避装置では、作業を実行するのに最適な軌道であるかという点が十分に検討されていない。最適な軌道とは、ロボットによる作業を短い時間で実行できる、特異点を通過しない軌道を取ることができる、作業成功率を最も高めることができる、ということを総合的に判断した目的位置および中間軌道を定めた作業軌道のことである。前述した回避軌道は、この作業軌道のサブセットに位置付けることができ、干渉が生じる場合を含む。
 近年、特にロボットによる組立作業の自動化の分野では、部品供給箱の中から部品を取り出すビンピッキングが盛んに行われている。ビンピッキングとは、ランダムに積み重ねられた複数の部品の中から特定の部品を把持して、特定の場所に運ぶことである。ビンピッキングでは目的位置が定まっておらず、部品の位置および姿勢に対応したロボットの動作制御が必要である。ビンピッキングにおいても前述した干渉チェックおよび干渉回避動作が必要である。
 特許文献1にはビンピッキング作業において干渉チェックおよび干渉回避動作を実現する演算方法が開示されている。特許文献1に開示される干渉回避装置は、収納箱内に配置された複数の部品の中からロボットが1つの部品を取り出す際、3次元計測器で部品の把持点候補を検出し、その把持点候補に対して部品を把持する指先を含めたロボットのツール部の位置姿勢を算出し、収納箱の内、部品に最も近い部分とツール部との干渉チェックを行う。また特許文献1に開示される干渉回避装置は、干渉チェックの結果、干渉していると判断されたとき、許容される範囲内でツール部が干渉しなくなるように目標位置姿勢を変更する。
特開2002-331480号公報
 しかしながら特許文献1に開示される干渉回避装置では、ロボットが周辺機器に干渉しない把持姿勢に修正されるとき、予め設定された把持姿勢とは異なる姿勢に補正されるため、干渉を回避できるものの、予め設定された把持姿勢に近い姿勢に補正するだけでは部品の把持に失敗することがあり、干渉を回避しながら作業の成功率の低下を抑制することが困難であった。
 本発明は、上記に鑑みてなされたものであって、干渉を回避しながら作業の成功率の低下を抑制できる干渉回避装置を得ることを目的とする。
 上述した課題を解決し、目的を達成するために、本発明の干渉回避装置は、少なくとも周辺機器の状態を計測した計測データが入力され、ロボットのアーム部に設けられたツール部が周辺機器に干渉することを回避させる干渉回避装置であって、計測データと、ロボットおよび周辺機器のモデル情報とに基づき、ツール部の把持対象をツール部が把持可能な複数の把持点候補を算出する把持点候補生成部と、複数の把持点候補に基づき、ツール部が周辺機器に干渉することなく把持対象に接近する干渉回避軌道を算出する軌道算出部とを備える。軌道算出部は、複数の把持点候補に対し、ツール部が周辺機器に干渉することなく、かつ許容姿勢範囲内に存在する複数の把持姿勢候補を生成する把持姿勢生成部と、生成された把持姿勢候補の中で把持対象をずらすことなくツール部が把持対象に接近できる把持姿勢を抽出し、抽出された把持姿勢となるための複数の把持点候補を生成し、把持点候補のそれぞれを端点に持つ複数の軌道を第1の接近軌道として生成する第1の接近軌道生成部と、第1の接近軌道の端点のうち把持対象から遠い位置にある第1の端点に、ロボットのアーム部およびツール部が周辺機器に干渉することなく接近する第2の接近軌道を生成する第2の接近軌道生成部と、第1の接近軌道と第2の接近軌道とを接続した干渉回避軌道を生成する回避軌道生成部とを備えることを特徴とする。
 本発明によれば、干渉を回避しながら作業の成功率の低下を抑制できるという効果を奏する。
本発明の実施の形態1に係る干渉回避装置を備えたロボットシステムの構成図 図1に示す干渉回避装置と干渉回避装置の周辺機器とを備えた生産システムの構成図 図1に示す部品箱の上方に位置するロボットハンドが把持対象の物体に接近するときの把持姿勢と第1の接近軌道とを説明するための図 本発明の実施の形態1に係る干渉回避装置の構成図 本発明の実施の形態1に係る干渉回避装置において第1の接近軌道および把持接近開始点の定義方法の例を示す図 図4に示す軌道算出部の構成図 図6に示す干渉チェック部の動作を説明するための図 図6に示す把持姿勢生成部の動作を説明するための図 図6に示す第1の接近軌道生成部の動作を説明するための図 図6に示す第2の接近軌道生成部の動作を説明するための第1の図 図6に示す第2の接近軌道生成部の動作を説明するための第2の図 図6に示す第2の接近軌道生成部の動作を説明するための第3の図 図6に示す第2の接近軌道生成部の動作を説明するための第4の図 図6に示す回避軌道生成部の動作を説明するための図 本発明の実施の形態1に係る干渉回避装置の動作を説明するためのフローチャート 本発明の実施の形態2に係る干渉回避装置が備える軌道算出部の構成図 図16に示す干渉リスク評価部の動作を説明するための第1の図 図16に示す干渉リスク評価部の動作を説明するための第2の図 本発明の実施の形態3に係る干渉回避装置よって動作するロボットハンドの動作を示す図 本発明の実施の形態4に係る干渉回避装置が備える軌道算出部の構成図 本発明の実施の形態1から4に係る干渉回避装置のハードウェア構成図 図2に示す生産システムの変形例を示す図 図22に示す干渉回避装置の構成例を示す図 図22に示す生産システムの第1の変形例を示す図 図22に示す生産システムの第2の変形例を示す図 図22に示す生産システムの第3の変形例を示す図 本発明の実施の形態5に係る干渉回避装置が備える軌道算出部の構成図 本発明の実施の形態6に係る干渉回避装置が備える軌道算出部の構成図 図28に示す軌道算出部による動作を説明するための図 図28に示す軌道算出部による動作を説明するためのフローチャート 本発明の実施の形態7に係る干渉回避装置が備える軌道算出部の構成図
 以下に、本発明の実施の形態に係る干渉回避装置を図面に基づいて詳細に説明する。なお、この実施の形態によりこの発明が限定されるものではない。
実施の形態1.
 図1は本発明の実施の形態1に係る干渉回避装置を備えたロボットシステムの構成図であり、図1に示すロボットシステム100は、計測部1、干渉回避装置2、ロボット制御装置3およびロボット4を備える。図2は図1に示す干渉回避装置と干渉回避装置の周辺機器とを備えた生産システムの構成図であり、図2に示す生産システム200は、図1に示すロボットシステム100に加えて、情報統合端末5、コンベア制御装置6、加工機制御装置7およびロボット制御装置8を備える。
 図2に示すようにロボット制御装置3には情報統合端末5が接続される。情報統合端末5は、不図示のクラウド上のサーバ、エッジサーバまたはPLC(Programmable Logic Controller)といった機器から情報を集めて配信する機器である。情報統合端末5には複数の周辺機器が接続される。複数の周辺機器としては、コンベア制御装置6、加工機制御装置7およびロボット制御装置8を例示できる。情報統合端末5には、コンベア制御装置6、加工機制御装置7およびロボット制御装置8のそれぞれから出力される情報が伝達され、情報統合端末5に伝達された情報は、ロボット制御装置3を介して干渉回避装置2に伝達される。干渉回避装置2では、後述する干渉チェックの際、当該周辺機器から伝達される最新の情報と、計測部1で計測された計測データ1aとが用いられる。なお図2では、情報統合端末5がロボット制御装置3を介して干渉回避装置2に接続されているが、情報統合端末5は干渉回避装置2に直接接続されている構成でもよい。
 図2に示すロボット4は6自由度の多関節ロボットである。ロボット4は、ロボットメーカが製作するロボット本体部を構成するアーム部41と、アーム部41の先端に設けられたツール部42とを備える。ツール部42は、ハンド部43と、ハンド部43に取り付けられたジグ44と、ジグ44に取り付けられた計測部1とを備える。
 計測部1は、部品箱9内の部品9aの位置および姿勢を計測するための計測機器であればよく、計測部1としては、部品箱9内の部品9aを撮像するカメラと、ハンド部43とその周辺機器とを撮像する画像センサであるビジョンセンサと、レーザ変位計と、非接触センサとを例示できる。ジグ44を介してハンド部43に設けられた計測部1は、部品箱9と干渉しないようにハンド部43と共に移動する。ここで計測部1はツール部に備える「ハンドアイ」の構成で説明するが、周辺機器を計測する手段として、周辺機器を俯瞰的に観測できる位置にジグ等で固定する方式も同様に実施することができる。
 図2では、ロボット4による作業の一例として、部品箱9内に配置された複数の部品9aの中からロボットが1つの部品9aを取り出すビンピッキング作業の様子が示される。ただし実施の形態1に係る干渉回避装置2を用いたロボット4による作業は、ビンピッキング作業に限定されず、マテハン作業、キッティング作業または組立作業でもよい。このようにロボット4による作業が限定されない理由は、部品9aの状態に応じてロボット4の動作を変化させるとき、基本的にロボット4が同様の処理を行うためである。以下ではビンピッキング作業時における干渉回避装置2、ロボット制御装置3およびロボット4の動作を説明する。
 ロボット4は、まずロボット制御装置3で実行されるプログラムに従い、ビンピッキング動作前の位置まで移動する。次に干渉回避装置2は、計測部1により部品9aの3次元位置および3次元姿勢を計測する。以下では、部品9aの3次元位置および3次元姿勢を、部品9aの3次元位置姿勢と称する場合がある。
 干渉回避装置2は、計測部1で計測された計測データ1aをそのまま使うのではなく、3次元の点群、線、面、および色の情報を保持した3次元位置姿勢に変換してから用いる。計測データ1aから部品9aの3次元位置姿勢を計測する方法としては、レーザ、赤外線または音波を用いて計測された対象点までの距離に基づき3次元位置姿勢を計測する方式と、ステレオカメラで取得された3次元位置姿勢を計測する方法とを例示できる。なお計測部1は、干渉回避装置2においてピッキング対象の3次元位置姿勢情報を再現できる計測機器であればよく、前述したカメラ、ビジョンセンサ、レーザ変位計および非接触センサに限定されるものではない。また計測対象は部品9aだけでなく部品箱9および周辺機器を含めてもよく、干渉回避装置2は部品9a、部品箱9および周辺機器を計測して得られた計測データ1aを用いて干渉チェックに活用してもよい。
 次に計測データ1aを用いて、ピッキング対象を決定する方法について説明する。ピッキング対象の決定では、計測データ1aから候補点を複数選出するプロセスと、複数選出された候補点の中から1つの候補点を選定するプロセスとを実行することが一般的である。前者のプロセス、すなわち計測データ1aから候補点を複数選出する手段には大きく分けて2種類の手段ある。
 候補点を複数選出する1つ目の手段は、予め図面モデルまたは3Dコンピュータ支援設計(CAD:Computer Aided Design)といった部品モデルを干渉回避装置2に格納しておき、またはピッキング対象の3次元位置姿勢情報の参照データを干渉回避装置2に格納しておき、計測された計測データ1aを部品モデルまたは参照データに照合することで、最も確からしいピッキング対象の姿勢を推定する方法である。以下では、この推定方法をモデルマッチングと称する。
 干渉回避装置2は、推定したピッキング対象の姿勢を用いて、予め定められたピッキング対象とツール部42との位置関係とから、ハンド部43が部品9aを把持する把持点を決定する。ここで、予め定められたピッキング対象とツール部42との位置関係については、事前にユーザによって教示作業で与える場合と、ピッキング対象の重心位置および持ち易さからオフラインでユーザが決定する場合とがある。
 候補点を複数選出する2つ目の手段は、モデルマッチングを不要とする方法であり、以下ではモデルレスマッチングと称する。モデルレスマッチングでは、ピッキング対象の部品モデルが不要であり、計測された点群、線および面といった特徴量から、ハンド部43が部品9aを把持し易い条件を満たす空間が探索され、把持点が決定される。把持し易い条件とは、ハンド部43が備える指の開閉時に指先間で挟み込みが可能な空間を把持領域としたとき、点群の中で把持領域に包含可能な部位である。把持領域に包含可能な部位であれば全て生成することができるため、把持点の個数を制限する場合、把持領域に関して、指の開閉方向に対して部品9aを安定して把持できるように、把持領域に包含される点群の形状について、制約条件を付けて数を減らすことができる。制約条件としては、ハンド部43が備える指と対向し、かつ、平行である場合と、ハンド部43が備える指をさしこむ方向に深さD[mm]にわたり障害物が無い場合とを例示できる。
 モデルレスマッチングでは、モデルマッチングと異なり、複数の把持対象の物体のそれぞれの境目が曖昧となる問題がある。従って点群情報は、クラスタリングという処理によって、把持対象の物体が複数の物体のそれぞれの境目でグルーピングされることが多く、これにより複数の物体を区別して重心位置の目安を算出することが可能となる。
 次に、前述した「複数選出された候補点の中から1つの候補点を選定するプロセス」について説明する。一般的には、候補点を1つ選定するルールとしては、把持し易い指標を設けて、これに対して最も把持し易い部品を選定することを例示できる。把持し易い指標としては、過去の実績から統計的にデータベース化された指標と、重力と力のつりあいと重心位置といった物理法則を考慮して導き出されるルールに基づいて決定される指標とを例示できる。
 複数選出された候補点の中から1つの候補点を選定する簡単な指標としては、部品箱9に配置された部品9a群の中から1つの部品9aを取り出すとき、部品9a群の上側に配置されているものを候補点にすることが考えられる。これは、部品9a群の下側に配置されている部品9aよりも部品9a群の上側に配置されている部品9aを把持する方が、部品9a群を崩すことが少なく、結果としてピッキング対象とした部品9aを把持する際に部品9aを取り損ねる要因を低減できるためである。また大量の実行データから統計的に優先順位を決定することもできる。すなわち把持が成功し易い高さおよび方向が分かっている場合、その把持点を優先的に選定することもできる。
 干渉回避装置2は、選定された1つの候補点について、ツール部42が部品箱9または周辺機器に干渉する可能性があるか否かの干渉チェックを実施する。ここで候補点とは「ツール部が部品を把持する座標点情報」を示しており、例えばツール部の位置(X,Y,Z)および姿勢(例えば姿勢を表す3つの角度の組で表されるオイラー角表現)の情報を含む。すなわち干渉回避装置2は、選定された候補点にツール部42が移動したとき、ツール部42が部品箱9に干渉するか否か、またツール部42が前述した周辺機器に干渉するか否かを、ビンピッキング動作前に確認する。具体的には、干渉回避装置2は、把持点におけるツール部42が占める領域において、ツール部42が部品箱9または周辺機器に干渉するか否かを確認し、または、ツール部42の移動方向に延長された軌道を含めた領域において、ツール部42が部品箱9または周辺機器に干渉するか否かを確認する。
 一般的に部品箱9、部品9a、アーム部41およびツール部42はモデル化される。モデルは、3次元空間上の占有体積と2次元平面上の占有面積とで表現されるものである。モデル化としては、部品箱9、部品9a、アーム部41およびツール部42のそれぞれの詳細な形状を3D-CAD通りにモデル化する場合と、多面体、直方体、円筒または球といったプリミティブと呼ばれる簡易なモデルでモデル化する場合とを例示できる。前者は、干渉チェックの判定精度が向上するものの、計算コストが高いためリアルタイム計算に向いていない。後者は、計算コストが低いためリアルタイム計算に向いているものの、モデル判定数が増えると計算コストが増加し、判定精度が低いため誤判定される可能性があり、また判定精度が低いため過度に安全な判定がなされる可能性がある。
 干渉回避装置2は、干渉チェック判定において干渉が生じる可能性がある場合、予め設定されたロボット姿勢の許容範囲である許容姿勢範囲に基づいて、ツール部42が部品箱9から遠ざかる方向に指先姿勢を変更する。これによりツール部42が部品箱9に干渉することを回避しながら把持点を決定することができる。図2に示すように部品箱9に配置される複数の部品9aは、それぞれの位置と向きが異なるため、前述した許容姿勢範囲はピッキング対象毎に変化するが、一般には一定角度分の姿勢が変化してもよいという制約下においては、干渉しない姿勢が探索される。
 このように干渉回避装置2は、ピッキング候補を生成する機能と干渉チェック機能とを備え、ツール部42が部品箱9または周辺機器に干渉する可能性が無い場合、ピッキング動作を実行する。一方、干渉する可能性がある場合、干渉回避装置2は、前述した許容姿勢範囲に基づいて、把持点における姿勢を修正し、これに対して再度干渉チェックを行う。
 ここで、把持が成功し易い把持点から干渉が生じない姿勢を探索し、その姿勢を新しい把持点として定義して、その把持点にツール部42を移動させて把持させる場合、従来の干渉回避装置では、以下の2つの課題が生じる。
 1つ目の課題は、従来の干渉回避装置では把持時の接近方向が必要軌道として考慮されていないため、従来の干渉回避装置は把持成功率を下げている点である。
 ピッキングする部品9aが突起を有する場合、部品9aの把持点へツール部42が接近する方向と、部品9aに対するツール部42の姿勢、すなわちツール部42の相対位置とに対して、点としての合致するときの位置関係だけではなく、把持に至るまでの軌道を考慮しなければ、把持成功率をいたずらに下げてしまうことがある。すなわち、ツール部42を動かす方向に制約が無い場合には把持成功率が低下する可能性は低いが、ツール部42を動かす方向において、ツール部42が部品箱9または周辺機器に干渉する可能性があるとき、または特定の方向から把持点に至らなければ部品9aが動く可能性があるときには、把持成功率が低下する可能性が高い。
 把持成功率が低下する可能性が高い場合としては、部品箱9の形状が非対称であり、または周辺機器の形状が非対称であるためツール部42が特定の位置で干渉し易い場合と、アーム部41の指形状が平板形状ではなく折れ曲がったL字形状である場合と、部品9aの端面が折れ曲がっている場合と、部品9aの形状が非対称であり許容姿勢範囲が狭い場合とを例示できる。
 このとき、部品9aの把持点におけるツール部42の姿勢と、部品9aの把持点に接近するツール部42の姿勢とが異なる場合がある。把持姿勢に関してツール部42を一定方向に移動する方向に対して干渉チェックすることは、把持軌道に対する考慮が無いため汎用的ではない。一方、干渉を避けるためツール部42の姿勢を許容範囲内で回転させた場合、干渉チェックを行う際に把持成功率がどの程度悪化するかの評価は、把持点に対しては実行できるが、把持軌道に対しては実行できない。
 2つ目の課題は、把持の成功率を高めながら干渉を回避する軌道を考える上で、干渉しない経路が存在するか否かを含めた形で、把持点を1つ決めるための方法が従来技術に開示されていない点である。従来の干渉チェックでは、把持点のみに着目している。このため、把持の成功率が高くかつ干渉の可能性が無い把持点を1つの位置として算出するところまでが課題であり、把持点に至るまでの移動は、部品9aを把持しているときのツール部42の姿勢と同じ姿勢でツール部42を部品箱9の上方から下降させるものである。しかしながら、モデルを詳細化するに従い、把持点における単純な干渉の有無だけをチェックする方法では、把持に至る軌道で見た場合、制約が多く、解が少なくなってしまうばかりか、把持成功率を著しく低下させる可能性がある。
 図3は図1に示す部品箱の上方に位置するロボットハンドが把持対象の物体に接近するときの把持姿勢と第1の接近軌道とを説明するための図である。なお、第1の接近軌道とは、生成された把持姿勢で、ロボットハンドのツール部が、把持対象をずらすことなく把持対象に接近できる軌道であり、把持接近軌道とも呼ぶ。図3に示す部品箱9は、床面50に接する平坦な底面部91と、水平方向における底面部91の端部の内、一方の端部から鉛直方向に延びる一方の測面部92aと、水平方向における底面部91の端部の内、他方の端部から鉛直方向に延びる他方の測面部92bと、鉛直方向における測面部92bの端部の内、上側の端部から水平方向に延びる上面部93とを備える。
 上面部93の水平方向における長さは、底面部91の水平方向における長さよりも短い。従って、部品箱9を構成する底面部91の上方には、開口部94が形成される。開口部94は、上面部93の測面部92a側の端部と、測面部92aの上端の端部との間に設けられている。このように図3に示す部品箱9は、その左側上端部分が部品箱9の内側に突き出た形状である。
 図3には、ハンド部43の把持姿勢を説明するために便宜上3つのハンド部43A,43B,43Cが示されている。ハンド部43A,43B,43Cは何れも図1に示すハンド部43に対応する。ハンド部43Aは把持姿勢Aの状態にあるハンド部43に対応し、ハンド部43Bは把持姿勢Bの状態にあるハンド部43に対応し、ハンド部43Cは把持姿勢Cの状態にあるハンド部43に対応する。
 部品箱9には複数の部品9aが配置され、複数の部品9aの中で最も上に配置された部品9a1は、ハンド部43A,43B,43Cの把持対象となる物体である。部品9a1は、長手片9a11と、長手片9a11の端部から直角方向に延びる短手片9a12とを備えるL字形状である。部品9a1以外の複数の部品9aも部品9a1と同様の形状である。部品9a1は、長手片9a11の端部が、測面部92aと対向し、長手片9a11の底部が、部品9a1の下方に存在する部品9aと接している。また部品9a1は、短手片9a12の端部が、部品9a1の下方に存在する部品9a側とは反対側に位置している。
 把持姿勢Aのハンド部43Aは、把持姿勢B,Cのハンド部43B,43Cよりも上面部93の近くに位置している。実線の移動軌跡A1は、ハンド部43Aの先端部の移動軌跡を表す。図3では、移動軌跡A1で移動するハンド部43Aが部品9a1の短手片9a12を把持するように部品9a1に接近する。ところが移動軌跡A1で移動するハンド部43Aおよび計測部1は、上面部93に干渉するおそれがある。
 ハンド部43Cは部品9a1の長手片9a11を把持することができるため、把持姿勢Cは部品9a1の把持成功率を高める上では望ましい姿勢であるが、測面部92aと重なる位置に配置されているため、測面部92aに干渉する。
 点線の移動軌跡B1は、ハンド部43Bの先端部の移動軌跡を表す。図3では、移動軌跡B1で移動するハンド部43Bが部品9a1の短手片9a12を把持するように部品9a1に接近する。移動軌跡B1で部品9a1に接近するハンド部43Bおよび計測部1は、上面部93および測面部92aに干渉するおそれがない。ところが移動軌跡B1で移動するハンド部43Bが部品9a1を取り出すときの把持成功率は、移動軌跡A1で移動するハンド部43Aが部品9a1を取り出すときの把持成功率よりも低い。これは、部品9a1の短手片9a12の一部を把持するハンド部43Bに比べて、ハンド部43Aは、部品9a1の短手片9a12と長手片9a11とを同時に把持するためである。
 このように、部品箱9に配置された複数の部品9aの中から部品9a1を取り出すときの把持成功率を高めるためには、把持姿勢Bよりも把持姿勢Aおよび把持姿勢Cが望ましい。ただし把持姿勢Cは干渉チェックにより干渉有りと判定されるため把持点候補から除外され、把持点候補には把持姿勢Aおよび把持姿勢Bが残る。干渉の有無においては、第1の接近軌道を把持点候補と同じ姿勢とすることを考えると、把持姿勢Bを把持点候補として選定することが望ましい。ところが把持姿勢Bは干渉しないことに重きが置かれた姿勢であるため、把持成功率を高める上では、把持成功率と干渉の有無とをバランスよく考慮する事が重要である。従って干渉をしないという条件をどのようにとらえるかが重要な点になる。
 実施の形態1に係る干渉回避装置2は、図3に示す把持姿勢Aが選ばれるように、把持に用いるツール部42毎の第1の接近軌道を定義し、ツール部42が干渉する可能性が無い第1の接近軌道を生成し、生成した第1の接近軌道の起点とピッキング動作開始点とを結ぶことで、干渉回避できる第2の接近軌道を探索し、この解を有する場合の有効把持姿勢である把持点候補を選定して、選定した軌道を接続して干渉回避軌道A2とする。なお、第2の接近軌道とは、第1の接近軌道の端点(起点)から、ロボットのアーム部およびツール部が周辺機器に干渉することなく把持対象に接近する軌道である。
 従来の干渉回避装置では、部品の把持点に至るツール部の移動軌跡が考慮されずに把持点のみが決定されるため、図3に示す把持姿勢Aが選ばれない。これに対して実施の形態1に係る干渉回避装置2では把持姿勢Aが選ばれる。
 以下では実施の形態1に係る干渉回避装置2の構成および処理内容を具体的に説明する。まず図4を用いて実施の形態1に係る干渉回避装置2の構成の概要を説明する。図4は本発明の実施の形態1に係る干渉回避装置の構成図である。
 図4に示す干渉回避装置2は、計測部1から出力される計測データ1aと、ロボット制御装置3を介して入力されるモデル情報3aと、ロボット制御装置3から出力される把持前後のロボットプログラム3bと、ロボット制御装置3を介して入力される設定情報3cとに基づき、干渉回避軌道2aを生成して出力する。
 モデル情報3aは、アーム部41、ツール部42、周辺機器および部品箱9に関するデータである。具体的には、モデル情報3aは、3次元空間上におけるアーム部41、ツール部42、周辺機器および部品箱9の占有領域を定義するための情報として、3D-CADで表現された各幾何情報であり、またはアーム部41、ツール部42、周辺機器および部品箱9のそれぞれを包含するプリミティブとして表現されたものである。プリミティブとしては、球体とその中心位置とを例示できる。モデル情報3aを用いることで、アーム部41、ツール部42、周辺機器および部品箱9の相互間の干渉の有無の確認が可能となり、またアーム部41、ツール部42、周辺機器および部品箱9の相互間の相対距離演算とが可能となる。
 把持前後のロボットプログラム3bは、図1に示すロボット制御装置3に記憶されたロボット言語プログラムである。ロボットプログラム3bは、ロボット動作に関する位置を規定する情報であればよく、ロボット制御装置3に記憶されたものに限定されず、不図示のパソコンに記憶されたロボット動作に関する位置を規定する情報でもよい。
 設定情報3cは、予め設定されたロボット姿勢の許容範囲である許容姿勢範囲を設定する情報である。
 干渉回避装置2は、計測データ1a、モデル情報3aおよびロボットプログラム3bに基づき複数の把持点候補10aを算出する把持点候補生成部10と、複数の把持点候補10aと設定情報3cとに基づき干渉回避軌道2aを算出する軌道算出部11とを備える。
 把持点候補10aは把持点候補情報および把持拘束情報を含む。把持拘束情報は、把持を成功させるためにツール部42と把持対象の物体との位置関係を予め決定しておき、位置関係を達成する点を目標地点として把持対象の物体から一定距離離れた位置からツール部42を接近させて把持対象の物体を把持する場合の拘束条件を示す。把持対象の物体から一定距離離れた位置は把持接近を開始する位置であり、把持点候補からツール座標系のZ軸方向に10mm離れた位置を例示できる。ツール座標系は、ツール部42に設定する座標系を示す。ツール座標系のZ軸方向は、ハンド部43の指先の開閉を行う部分のストロークの中心点を通り、かつ、ハンド部43の指先方向と平行な軸上に設定する。ツール座標系のX軸方向およびY軸方向は、ユーザが使い易いように決定される。
 把持拘束では、まずツール部42と把持対象の物体とに関して目標となる位置姿勢関係が決定される。物体の把持を実施する場合、最も望ましい把持姿勢を、予めツール部42と把持対象の物体との位置関係として定義しておく。最も望ましい把持姿勢は、ツール部42を用いて把持対象の物体を把持する操作のデータベースに基づいて決定できる。データベースには、実際の実験結果で導出された結果を用いてもよいし、物理シミュレーションまたはオフラインシミュレーションの結果を用いてもよい。
 ツール部42と把持対象の物体との位置姿勢関係には、許容される姿勢誤差が存在し、把持が成功した位置姿勢関係の統計的な平均値および中央値を定義できる。すなわちツール部42と把持対象の物体との予め定められた望ましい位置姿勢関係は、把持が成功する代表的な位置姿勢関係として予め決定されたものである。
 以下に干渉回避装置2の動作を説明する。ロボット4が物体を把持するための位置または軌道を計算するため、計測部1では把持対象の物体の状態が計測される。物体の状態としては、部品9aの位置および姿勢を例示できる。物体の状態を計測して得られた情報から、ロボット座標系に対する把持対象の物体の位置姿勢情報が得られる。ロボット座標系とは、ロボット4を基準とした座標系であり、ロボット4を位置制御する際に用いる座標系のことである。通常、ロボット4の据付面に鉛直な方向にZ軸が定義され、第1関節の軸と据付面とが交わる点に原点を持ち、第1関節の可動範囲の中心位置にX軸が定義される。
 把持点候補生成部10では、把持対象の物体の位置姿勢情報を取得するため、一般に画像処理技術および位置推定処理が行われる。把持点候補生成部10では、計測部1と計測対象との間の距離情報と、当該距離情報を3次元的にプロットした点群情報と、計測対象の表面のテクスチャ情報とを入力として、予め用意されたモデルとのマッチング、または時刻の違う取得情報間の関係から、位置推定処理としてSLAM(Simultaneous Localization And Mapping)を適用し、また画像処理技術としてモデルマッチング技術を用いて、把持対象の物体の位置姿勢情報が算出される。
 把持点候補生成部10は、算出した把持対象の物体のロボット座標系からみた位置姿勢robot_T_workと、予め決定したツール部42と把持対象の物体との目標位置姿勢tool_T_workとを入力として、ロボットが把持を実現するためのツール部42の目標位置姿勢robot_T_toolを決定する。
 ここで、i_T_jという表現は、i座標系からみたj座標系への同次変換行列Tを示す。同次変換行列Tとは、i座標系とj座標系との間のX軸,Y軸,Z軸の関係を表す3行3列の回転行列Rと、i座標系からみたj座標系原点の位置関係を表す3要素の並進ベクトルp(=(x,y,z))から下記(1)式で表現される4行4列の行列である。ただし下記(1)式の0は1行3列で0からなるゼロ行列を表している。
 T=(R    p 
0    1)・・・(1)
 回転行列Rは一般にR=(R11,R12,R13;R21,R22,R23;R31,R32,R33)からなる3行3列の行列で、相対的な回転を行列で表現している。また、pは3行1列のベクトルであり、ある参照座標系からみた対象となる点の位置ベクトルを示している。
 把持点候補生成部10は、同次変換行列i_T_jを用いて目標位置姿勢robot_T_toolを計算することで、把持動作のためのロボット指先位置の目標位置Pggを決定する。目標位置Pggはツール部42の目標位置姿勢robot_T_toolをロボット指令値の表現に置き代えたものである。ロボット指令値の表現としては、並進位置X,Y,Zと、X,Y,Z各軸周りの回転量A,B,Cとを例示できる。目標位置姿勢robot_T_toolは下記(2)式で求めることができる。
 robot_T_tool=robot_T_work*(tool_T_work)^-1・・・(2)
 ロボット指先位置の目標位置Pggは、把持対象の物体とツール部42との間の望ましい関係が多様である場合、複数点候補が存在する。このため以下では複数の目標位置Pggの候補点を、把持点候補Pgg(i)として表現する。
 把持点候補生成部10は、ツール部42と把持対象の物体との目標位置姿勢関係に基づいて、把持点候補Pgg(i)から一定距離離れた位置を算出し、その位置を把持接近開始点Psg(i)としたとき、把持点候補毎の把持接近開始点Psg(i)から把持点候補Pgg(i)までの補間方法と、それぞれの位置姿勢とを記憶する。すなわち、把持のみに着目した場合、把持を成功させるために把持対象の物体とツール部42との位置関係の変化(軌道)を記述した軌道が第1の接近軌道である。当該第1の接近軌道は、把持接近開始点Psg(i)から把持点候補Pgg(i)までの軌道である。把持接近開始点Psg(i)は、把持動作を開始する点である。
 把持動作には、ツール部42と把持対象の物体の目標位置姿勢に到達する前に、ツール部42が把持対象の物体または周辺機器に触れることで把持の失敗を避ける目的で、移動方向および移動量に制約が与えられたツール部42を使った把持のみを含むものとする。ここでは、ツール部42が把持対象の物体の目標位置姿勢に到達するまでの軌道において、把持対象の物体の目標位置姿勢から一定距離離れたツール部42の軌道は、把持の成功または把持の失敗に寄与しないとし、把持動作以外の移動として、第2の接近軌道として区別して取り扱われる。すなわち、第2の接近軌道は、第1の接近軌道と違う制御方法あるいは動作設定を選択することができる。例えば動作速度を上げるために、第2の接近軌道は速度設定を第1の接近軌道よりも高速に設定することができる。あるいは第2の接近軌道は、第2の接近軌道の間のみ関節補間を選択して動作速度を向上させる事もできる。ここで関節補間とは、モータ軸毎に目標地点の角度を目標角度として設定して制御する補間方法である。関節補間では、手先軌道を設計した軌道に制御できない代わりに、各軸モータを制御する制約が少なくなり高速に動かすことができる。第2の接近軌道については後述する。
 第1の接近軌道に関連する位置関係、距離および姿勢変更は、把持の成功または把持の失敗に関するデータベースを用いて、学習的に獲得された位置関係から求めることもでき、また幾何的な拘束関係から同様の関係を解析的に導いてもよい。すなわち、把持接近開始点Psgを決定する方法がツール部42のアーム方向以外の場合もある。具体的には、把持点候補Pgg(i)を入力として、把持点候補Pgg(i)を円弧の端点とする半径Rの円弧を描きながら、当該端点から一定距離離れた位置を算出し、その位置を把持接近開始点Psgと呼ぶこともできる。また、把持対象の物体の表面上に凹凸がある場合、ハンド部43の指先と把持対象の物体を把持する目標位置姿勢関係に到達するまでに、物体表面上の凹凸部を避けるようにハンド部43を動かす一定の軌道が与えられる場合もある。
 図5を用いて把持点候補Pgg(i)、把持接近開始点Psgおよび第1の接近軌道を説明する。図5は本発明の実施の形態1に係る干渉回避装置において第1の接近軌道および把持接近開始点の定義方法の例を示す図である。図5に示すように把持接近開始点Psgは、ハンド部43の指先の通過すべき動作点に対応している。把持点候補Pgg(i)を第1の接近軌道の終端点として、ハンド部43の指先が部品9aの凸部12との干渉を避けながら部品9aから離れる第1の接近軌道13の起点として求めることができる。ここで、第1の接近軌道は、接近して把持した後に取り出すように移動する軌道にも用いることができる。特に、取り出す時のことを考える場合は、起点として最短距離の移動でワークを取り出すことのできる位置で把持姿勢から離れた点を指定した第1の接近軌道を指定することができる。例えば、部品の把持後に他の部品から十分離れて持ち上げが成功するのに最低限必要な移動量を最短距離の移動として定義することができる。
 把持の成功または失敗に関するデータベースは、物理シミュレーションを用いて試行を行う場合と、実機を用いて実際に実験を行う場合との何れでも実現可能である。先に述べたような優先順位に基づいて作業の把持点候補の優先順位を予め決めておく。優先順位としては、過去のデータベースに基づいて成功率の高い把持姿勢を選定し、または部品箱9の上側に配置された部品9aを優先的に選定することを例示できる。
 軌道算出部11は、設定情報3cと複数の把持点候補10aとを用いて、把持姿勢生成部で把持点を選び、選ばれた把持点に対して把持拘束を満たす第1の接近軌道を生成する。さらに第1の接近軌道の起点である把持接近開始点に接続する形で、箱等に干渉しない軌道を第2の接近軌道として生成する。最後にこれら第1の接近軌道と第2の接近軌道を繋いだ形として干渉回避軌道を演算し、干渉回避軌道2aとして出力する。従来の干渉回避装置は、干渉回避軌道を演算せずに把持点候補の演算のみ行うが、実施の形態1に係る干渉回避装置2では、把持点候補以外に、把持点候補10aと第2の接近軌道とを用いて、これらを合わせた形で干渉回避軌道全体を演算する。
 以下では干渉回避軌道2aを生成するための軌道算出部11の構成および動作を説明する。
 図6は図4に示す軌道算出部の構成図であり、図7は図6に示す干渉チェック部の動作を説明するための図であり、図8は図6に示す把持姿勢生成部の動作を説明するための図であり、図9は図6に示す第1の接近軌道生成部の動作を説明するための図であり、図10から図13は図6に示す第2の接近軌道生成部の動作を説明するための第1から第4の図である。図14は図6に示す回避軌道生成部の動作を説明するための図である。
 図6に示す軌道算出部11は、把持姿勢生成部21、第1の接近軌道生成部22、第2の接近軌道生成部23、回避軌道生成部24および干渉チェック部25を備える。
 把持姿勢生成部21は、複数の把持点候補10aの中から部品箱9を含む周辺機器との干渉チェックをした後、干渉する可能性が無い有効把持姿勢21aを把持点候補として生成する。複数の把持点候補10aには図8に示すように複数の把持姿勢A,B,Cが含まれ、ツール部42が取り得る姿勢は、これらの複数の把持姿勢A,B,Cの中から、干渉チェック部25における処理を経て生成される。なお、把持点候補は、ロボットツール部の位置あるいは姿勢の何れか違うものに対して候補点と呼ぶ。
 図6に示す干渉チェック部25は、例えば、図7に示すロボットハンドモデル101と周辺機器モデル102を、干渉チェックを行う対象として、ロボットハンドモデル101と周辺機器モデル102との間で相対距離を計算して、相対距離が基準値以下であるか否かを判定する。また、干渉チェック部25は、例えば、図7に示すロボットハンドモデル101と周辺機器モデル102を、干渉チェックを行う対象として、ツールモデル103と周辺機器モデル102との間で相対距離を計算して、相対距離が基準値以下であるか否かを判定する。干渉チェックを行う際には、干渉チェック部25は、モデル情報として、モデルの幾何形状情報および位置姿勢情報を入力し、干渉しているか否かの判定結果と、計算されたモデル間の相対距離とを含んだ、干渉チェック判定情報を出力する。幾何形状情報は、属性、寸法などに関する情報であり。属性に関する情報は、形状特性、プリミティブ形状、多面体、自由形状などの情報である。プリミティブ形状は、球、直方体、円筒、円錐などの形状である。多面体は、3D-CAD(three Dimensional Computer Aided Design)でフォーマットされた三角パッチ面で囲まれた多面体である。自由形状は、点群で定義された点群集合である。寸法は、球であれば半径Rであり、円筒であれば半径Rと長さLとである。なお、干渉チェック部25は、生成軌道の各時刻におけるチェックを行う必要がある。干渉チェック部25は、軌道に対して時刻毎のモデル情報を入力し、軌道全体で干渉がないか演算する。計算コストを下げるために、起点と終点の内、代表的な姿勢数点のみを評価する方法がある。他にも、計算コストを下げるために、軌道起点のロボットアームおよびロボットハンドモデルと、軌道終点のロボットアームおよびロボットハンドモデルとを、空間的に内挿した幾何モデル、例えば多面体などを生成し、干渉の有無を評価する方法などがある。
 図6に示す第1の接近軌道生成部22は、把持姿勢生成部21で生成された有効把持姿勢21aに対応する把持制約を当てはめて有効第1の接近軌道22aを生成する。干渉チェック部25では有効第1の接近軌道22aに対して干渉チェックが行われる。図9には、把持姿勢生成部21で生成された有効把持姿勢A’,B’と、有効把持姿勢A’に接近制約を考慮した第1の接近軌道A1’と、有効把持姿勢B’に接近制約を考慮した第1の接近軌道B1’とが示される。この場合、把持対象である部品9a1を確実に把持するためには、部品9a1から一定距離離れた位置からツール部42の接近動作を開始させて、ツール部42の先端が部品9a1の下に潜り込むような動作を実施する必要がある。
 図9に示すように、第1の接近軌道A1’で動作するツール部42は部品箱9に干渉する可能性がある。そのため、有効把持姿勢A’に対応する第1の接近軌道A1’を生成せず、有効把持姿勢B’に対応する第1の接近軌道B1’を生成する方が望ましい。また第1の接近軌道生成部22の前段に把持姿勢生成部21が設けられているため、第1の接近軌道生成部22は全ての把持点候補に対して有効第1の接近軌道22aを演算する必要が無く、計算効率が向上する。
 以下では、把持点候補に対するツール部42側の把持制約について説明する。把持制約とは、作業の成功率を上げるために導入する把持点候補までのツール部42の移動軌道を規定するものである。把持点に関するツール部42の目標位置姿勢を変更する場合、ツール部42の目標位置姿勢は、ハンド部43の指先の把持形態、機構および材質といった変動条件の影響も受けるため、生産システム200を構成する機構毎に把持成功率を上げる方法が異なる。第2の接近軌道生成部23は、干渉回避軌道を生成する際、ハンド部43の指先に関する制約条件を考慮し、把持姿勢だけではなく、把持に関する中間軌道を拘束条件として考慮する。中間軌道は、有効第1の接近軌道の起点である把持接近開始点Psgとピッキング動作の開始点とを結ぶ軌道である。ピッキング動作の開始点には、対象となる部品の入った棚や箱(周辺環境の一部)の上空か、アームやハンドと周辺環境が干渉が生じない程度に十分離れた点が選ばれる。
 図10に示すように開閉グリッパ式のハンド部43が用いられている場合、ハンド部43を閉じ切る方法がエアー式であれば、把持速度は空気圧力で決まり、ハンド部43が設置される工場で用いられるエアーの圧力は一定値であることが多いため、把持速度は一定値となる。このとき、把持速度が速すぎる場合、ハンド部43から部品が落ちてしまうリスクがある。そのようなリスクを防ぐために、ハンド部43が部品9a1の下側に触れてから部品9a1の上側に触れるといった把持点候補の考え方は、ハンド部43の構成により変わる。なお図10では、ハンド部43が部品9a1に接近する理想アプローチ方向14と、ハンド部43が部品9a1を把持可能な許容アプローチ方向15とが示される。
 図11では、図10に示す開閉グリッパ式のハンド部43の代わりに、吸着式のハンド部43-1が用いられている。ハンド部43-1には吸着パッド43-1aが設けられ、吸着パッド43-1aの硬さおよび吸着力によって、ハンド部43-1の理想アプローチ方向14が変化する。特に吸着パッド43-1aは、部品9a1の表面に対して鉛直方向にアプローチした方が望ましいため、図10に示すハンド部43を用いる場合に比べて、許容アプローチ方向15が狭い。これを考慮すると、把持成功率に寄与する把持前後の接近軌道を、干渉チェックと共に不用意に変化させることは望ましくない。
 以上のように、ここまでは把持点候補に対するツール部42側の制約条件について述べた。次に把持点候補に対する部品9a1側の制約条件について述べる。
 モデルがある場合、モデル情報3aを用いたモデルレスマッチングにより複数の部品9aの各々が軽量であることを事前に把握できる。このとき、図12に示す把持点候補17に対して、偶力が発生し、また不図示のハンド部43の指先で部品9aを弾いてしまわないようにするため、把持点候補17に対して、距離を含む許容進行ベクトル18が定義される。許容進行ベクトル18は、ベクトルの大きさが幾何的に把持点候補17よりも進んでよい距離と、把持点候補17にかけてよい力の大きさとを示す。すなわち把持点候補17では、把持現象が生じるためにかけてはいけない負荷の上限を規定している。
 退避方向については、図13に示すように、距離を含む許容退避ベクトル19が定義される。許容退避ベクトル19は、把持位置にツール部42を移動させて把持を行った場合、どの程度ならばハンド部43を引き上げてよいかを示しており、ベクトルの幅は、何れの方向であれば他の物体への影響を少なくして引き上げられるかを指標化したものである。これらの把持拘束を満たす最も移動量が少ない軌道が、有効第1の接近軌道22aとして定義される。
 第2の接近軌道生成部23は、第1の接近軌道生成部22で生成された有効第1の接近軌道22aを通過する干渉回避軌道を検討する上で、有効第1の接近軌道22aの開始点Psgとピッキング動作の開始点とを結ぶ中間軌道を生成する。ここで第2の接近軌道23aとは、有効第1の接近軌道22aに対して、把持動作の成功率に直接関わりが無く、自由空間の移動について区別するために定義された軌道である。そのため、始点は様々であるが、終点は必ず有効第1の接近軌道22aの開始点になる。
 第2の接近軌道生成部23では、有効第1の接近軌道22aの起点の位置姿勢に対して、できるだけ姿勢変化の少ないピッキング動作開始点姿勢を指定することで、ツール部42を高速に動作させることができる。また干渉回避軌道の生成については、各軌道を生成する場合の干渉を避ける軌道探索は、デカルト座標で実施してもコンフィギュレーション空間で実施してもよい。オフラインで探索的に軌道を探す場合、一般に知られる探索方法を活用することができる。当該探索方法としてはRRT(Rapid Random Tree)を例示できる。
 図14に示す第2の接近軌道23aは、ロボットハンドモデル101およびツールモデル103が部品箱9の周辺機器モデル102と干渉しないように、ロボットハンドモデル101およびツールモデル103が有効第1の接近軌道である第1の接近軌道B1’の開始点に移動するような干渉回避軌道である。
 図6に示す回避軌道生成部24は、把持姿勢生成部21で得られたツール部42の有効把持姿勢21aと、第1の接近軌道生成部22で得られたツール部42の有効第1の接近軌道22aと、第2の接近軌道生成部23で得られたツール部42の第2の接近軌道23aとを繋ぎ、干渉回避軌道2aとしてロボット制御装置3に出力する。ロボット制御装置3は、干渉回避軌道2aに基づきビンピッキング動作を実行する。なお、軌道算出部11では、有効把持姿勢21a、有効第1の接近軌道22aおよび第2の接近軌道23aがそれぞれ複数出力され、組み合わせが複数存在する場合には、評価関数を定義して、評点が閾値を超え最も点数が高いものを実行するような方法をとることが出来る。評価関数としては、干渉回避軌道2a全体の移動に要する時間、すなわちロボットの総作業時間が最小化するような軌道を選択することができる。また、評価関数としては、ロボット動作に必要な電流の値に基づいて算出されるエネルギー消費量などを入力として、エネルギー消費量が最小化するよう評価値を算出することが出来る。評価関数の方法は、これらに限定するものではない。
 図15は本発明の実施の形態1に係る干渉回避装置の動作を説明するためのフローチャートである。干渉回避装置2は、計測データ1aに基づき複数の把持点候補10aを算出し、算出した複数の把持点候補10aの中から干渉する可能性が無い有効把持姿勢21aを把持点候補として生成する(S1)。干渉回避装置2は、生成した把持点候補に対応する有効第1の接近軌道22aを生成し(S2)、有効把持姿勢21aおよび有効第1の接近軌道22aに対して干渉チェックを実施する(S3)。
 干渉チェックの結果、干渉する可能性が有る場合(S4,No)、干渉チェック部25は、部品箱9と干渉する可能性のあるツール部42の一部を生成し、許容姿勢範囲において干渉をなくすために最も小さい姿勢変化をさせた場合の修正した把持点候補を探索し、干渉の可能性の有無を判定する(S5)。
 許容姿勢範囲に他の解が無い、すなわち許容姿勢範囲において干渉の可能性が無くなる演算結果が得られない場合(S5,No)、干渉回避装置2ではS2からS5までの処理が繰り返される。干渉の可能性が無くなる演算結果が得られない場合、把持姿勢生成部21より、優先順位が次に高い新しい把持点候補を選び、この候補点に関する評価を行う。
 許容姿勢範囲に他の解が有る、すなわち許容姿勢範囲において干渉の可能性が無くなる演算結果が得られる場合(S5,Yes)、干渉回避装置2では有効把持姿勢21aが修正され(S6)、S3からS6までの処理が繰り返される。
 S4において干渉する可能性が無い場合(S4,Yes)、第2の接近軌道生成部23が第2の接近軌道23aを生成し(S7)、干渉チェック部25では再び干渉チェックが行われる(S8)。
 第2の接近軌道23aに対して干渉の可能性が有る場合(S8,No)、S7およびS8の処理が繰り返される。第2の接近軌道23aに対して干渉の可能性が無い場合(S8,Yes)、回避軌道生成部24はロボット制御装置3に対する干渉回避軌道を生成する(S9)。
 以上に説明したように、実施の形態1に係る干渉回避装置2は、有効第1の接近軌道22aと第2の接近軌道23aという2つの領域に分け、先に把持成功率が高い有効第1の接近軌道22aに干渉の可能性が無いことを確認し、次に第2の接近軌道23aが有効な解をもつ場合、その起点となる把持点を有効把持点として選定し、それぞれの軌道を接続して干渉回避軌道とする。この構成により、干渉しない把持点を選定しながら把持成功率を高めることができ、従来の干渉回避装置を用いた場合に比べてロボットシステム100の作業効率を向上できる。
実施の形態2.
 図16は本発明の実施の形態2に係る干渉回避装置が備える軌道算出部の構成図である。以下、実施の形態1と同一部分には同一符号を付してその説明を省略し、ここでは異なる部分についてのみ述べる。実施の形態1と実施の形態2との相違点は以下の通りである。
 (1)実施の形態2では、実施の形態1の軌道算出部11の代わりに軌道算出部11Aが用いられている。
 (2)軌道算出部11Aは、軌道算出部11が備える把持姿勢生成部21、第1の接近軌道生成部22、第2の接近軌道生成部23、回避軌道生成部24および干渉チェック部25に加えて、干渉リスク評価部26を備える。
 図17は図16に示す干渉リスク評価部の動作を説明するための第1の図である。距離情報Lijは、互いに干渉を避けたい物体であるロボットハンドモデル101と部品箱9との間の距離、または互いに干渉を避けたい物体であるツールモデル103と部品箱9との間の距離である。通常これらが一定以上の距離に保たれることで、干渉が避けられている。よって、計測部の高精度な計測結果や、計測結果に基づいて算出される周辺機器とロボットの間の正確な相対距離関係が常に分かっている場合は、これらが一定以上の距離に保たれていることを管理することが重要で、これらが一定以上になる軌道を第2の接近軌道生成部は選択する。しかし、キャリブレーション誤差やノイズ・相対距離のモデル化誤差の影響により、正確な相対距離関係が得られないことがある。この場合、第2の接近軌道生成部内では、正確な相対距離関係が得られない場合には、第2の接近軌道の中の干渉リスクを接近距離Lijに基づいて評価して、リスクが高いと考えられる部分については、移動速度を調整することで実際にぶつかる場合のダメージを低減させるように、第2の接近軌道の実行速度を調整することが望ましい。
 図16に示す干渉リスク評価部26は、有効第1の接近軌道22aの開始点情報とモデル情報3aとを入力として、第2の接近軌道生成部23に対して、物体iと物体jの間の距離情報Lijを演算する。物体iおよび物体jは、図17に示すロボットハンドモデル101、ツールモデル103および部品箱9といった干渉を避けたいもの同士であればよい。干渉リスク評価部26は、モデル情報3aに含まれるアーム部41、ツール部42、周辺機器および部品箱9といった各モデルの位置情報と計測データ1aとに基づき、物体iと物体jの間の距離情報Lijを演算する。
 図18は図16に示す干渉リスク評価部の動作を説明するための第2の図である。図18の上側に示す図では縦軸が距離情報Lijの差分を時間で割ったことで算出された接近速度Lij’であり横軸が時間である。図18の下側に示す図は縦軸が距離情報Lijであり横軸が時間である。図16に示す第2の接近軌道生成部23は、図18に示すように距離情報Lijが接近距離の閾値31bに達しているか否かを確認し、または接近距離の変化率、すなわち接近速度Lij’が距離情報Lijに応じて変化する接近速度の速度上限値31aを超えているか否かを確認する。図18に示す例では接近距離Lijが干渉チェックの閾値31bに近づく場合に、速度上限値31aを低減させる設定がされている。すなわち、干渉リスクが高まる評価の場合は、許容される移動速度を低下させる。仮に、低下させた速度よりも大きい移動速度が設定されていた場合は、移動速度を速度上限値31aまで下げられるよう、ロボットの移動速度が調整される。
 干渉チェックにおいて干渉の可能性が無いと判定されても、センシング情報およびモデル化誤差が生じている場合、干渉が生じることがある。通常は、これらを見越してすべての干渉チェックの接近距離Lijに対して干渉していると判定する閾値を大きく設定する「判定マージン」をとることで、ツール部と周辺環境が衝突するリスクを低減する。しかし、この判定マージンをとることで、判定が過剰となり必要以上に「干渉する」と誤判定することがある。これにより把持可能であるとする軌道の数が極端に減ってしまう。実施の形態2に係る干渉回避装置2によれば、前記過剰な誤判定を避ける目的で判定マージンを小さくしたい場合で、かつ、要求作業時間が短く動作が高速なために干渉リスクが高い場合でも、接近距離Lijと接近速度Lij’に基づいて物体の破損レベルが低い速度に指令値を調整してハンド部43を移動させることができる。
 前記のように周辺機器とロボットが接近する場合に破損レベルが低いということを保った上で、軌道全体に対しては必要に応じて動作速度を高速化することもできる。例えば、各モデル間の接近速度Lij’の速度上限値31aを満たす場合、特に実際の接近速度30aと速度上限値31aの差が大きい部分を探索し、それらの部分におけるロボットの移動速度を大きく調整することができる。この場合、図18上側に示した接近速度30aが大きくなり、速度上限値31aに近づき、図18下側に示した接近距離30bについては時間軸(横軸)に対して圧縮し、縦軸方向の値は変化しない状況となる。ある時刻のロボット動作速度を上げていくことを繰り返すことで、第2の接近軌道生成部で生成された第2の接近軌道の動作速度を最大化することができるようになる。実際の調整方法としては、第2の接近軌道におけるロボットアームの姿勢によってロボットアームの各軸が動くことのできる最大加速度が変化することを考慮する必要がある。まず、ロボットアームの各姿勢において最大速度で動かした場合の接近速度および接近距離の関係を先に求める。そして、次に接近速度30aが速度上限値31aを超えている部分を見つけ、これらを修正するように調整することで速度を最大化することができる。
 実施の形態2に係る干渉リスク評価部26は、干渉リスクとなる物体間の距離として、特にハンド部43と周辺機器との相対距離と、ハンド部43と周辺機器との相対接近速度に着目し、各構成部品が許容する干渉速度を超えるリスクがある場合には速度を低下させることで、作業効率の低下を抑制しながらハンド部43および部品9aの損傷を防止でき、ハンド部43および部品9aの交換に要する時間ロスがなく、ロボットシステム100の更なる作業効率の向上を図ることができる。
実施の形態3.
 実施の形態3に係る干渉回避装置2は、実施の形態2に係る干渉回避装置2と同様に把持姿勢生成部21、第1の接近軌道生成部22、第2の接近軌道生成部23、回避軌道生成部24、干渉チェック部25および干渉リスク評価部26を備える。実施の形態3では、実施の形態2に係る第2の接近軌道生成部23にポテンシャル法を適用した干渉回避装置2の動作例を説明する。ポテンシャル法とは、物体間に仮想的なエネルギー場を定義して、2つの物体間が近づくほど斥力(力の次元)が作用するものとして仮想外力を定義するものである。この仮想外力が作用したとして、この仮想外力をロボットアームに作用させ運動方程式に基づいてアームの変位を求めて、変位量を軌道の各地点での補正量として補正して動作させるのがポテンシャル法での軌道補正の考え方である。他にも、仮想外力によって物体が押しのけられる動きをするものとして位置や姿勢の軌道補正量(位置の次元)を表すベクトル量を演算する。ロボットモデルを物体の片方であるとして、各地点における指令値生成をする際に、演算された斥力あるいは軌道補正量ベクトルに基づいて元の指令値に対して一定量押しのけられた位置に働く定義とする。ポテンシャル法を用いた軌道修正とは、以上の様な手順に基づき仮想的に手先制御軌道を修正する方法である。実施の形態3に係る第2の接近軌道生成部23は、干渉リスク評価部26で得られた距離情報Lijに応じた斥力である仮想外力をツール部42に作用させて、第2の接近軌道を参照軌道としてポテンシャル法を用いて参照軌道を修正するものである。
 図19は実施の形態3に係る干渉回避装置よって動作するロボットハンドの動作を示す図である。ハンド部43には、干渉リスク評価部26で得られた距離情報Lijに応じた斥力である仮想外力32が作用する。また干渉回避装置2は、図2に示すロボット制御装置3に対して、図16に示される第2の接近軌道23aを含む干渉回避軌道2aに加えて、仮想外力32の示す仮想外力情報を出力する。
 ロボット制御装置3は、第2の接近軌道23aを第2の接近軌道Pとしてハンド部43を追従させて、仮想外力情報に応じてインピーダンス制御を実施する。ポテンシャル法では、力の合力がそのまま移動速度として解釈され、適当な係数を掛けて位置補正量ΔPとされ、第2の接近軌道P+位置補正量ΔPを目標値とした位置制御を行うことができる。ここで、第2の接近軌道P+位置補正量ΔPの求め方の例を示す。図19では、ロボットのツール部先端が、第2の接近軌道Pに沿って速度ベクトルVで方向に移動している場合、ツール部先端と箱の距離に応じて仮想外力32が2か所作用している様子を示している。この場合、ロボット制御装置3は、仮想外力32に応じて速度ベクトルVの大きさと方向を補正し、補正された速度ベクトルをV’とする。ロボット制御装置3は、補正された速度ベクトルV’および制御周期ΔTcを掛けた量ΔTc*V’を、位置補正量P+位置補正量ΔPとして、目標値を補正する。速度ベクトルではなく、仮想外力Fと位置補正量ΔPの関係で表現すると、インピーダンス制御の仮想バネ剛性をKとして、外力作用Fに対して、K*ΔPが釣り合うような位置補正量ΔPを選択することもできる。これにより、実施の形態3では、実施の形態2では得られなかったオンラインでの状況の変化への対応を実現し、急な環境変化が生じてもロボットシステム100を破損させることなく動作させてシステム運用上の効率を維持できる。
実施の形態4.
 図20は本発明の実施の形態4に係る干渉回避装置が備える軌道算出部の構成図である。以下、実施の形態1と同一部分には同一符号を付してその説明を省略し、ここでは異なる部分についてのみ述べる。実施の形態4に係る干渉回避装置2が備える軌道算出部11Bは、実施の形態1に係る干渉回避装置2が備える軌道算出部11と同様に、把持姿勢生成部21、第1の接近軌道生成部22、第2の接近軌道生成部23、回避軌道生成部24および干渉チェック部25を備える。実施の形態4では、有効把持姿勢21aが第1の接近軌道生成部22に入力されると共に、ハンド開閉速度33とハンド開閉時刻34とが把持接近制約として第1の接近軌道生成部22に入力される。
 サーボガンを代表とする溶接技術の分野では溶接時間を短縮するためにアームの静定を見越してサーボガンのトリガを自動的に設定する技術がある。これと関連した事実として、把持においても、ハンド開閉速度および把持開始時間は、重要であり把持成功率に関連する。特に、第1の接近軌道を細かに規定する以上にロボットハンドに備え付けられたサーボガン毎にその軌道にあったハンド開閉動作を実行することが成功率を上げるために必要となる。
 実施の形態4に係る第1の接近軌道生成部22は、把持接近拘束、ハンド開閉速度33およびハンド開閉時刻34を考慮した軌道生成およびハンド開閉指示を合わせて評価した有効第1の接近軌道22aを生成する。ハンド部43が空気圧を用いたハンドである場合、当該ハンドの応答時間を部品毎に変えることができない。有効第1の接近軌道22aにおいてハンド開閉が間に合わない場合、回避軌道生成部24にハンド開閉時刻を設定することで無駄な待ち時間を低減することができる。このようなハンド開閉時間の決定については、回避軌道生成部24において有効第1の接近軌道22aに要する時間から判断する。
 以上に説明したように実施の形態4では、ハンド開閉時刻34を考慮したピッキング動作を決定することができるため、ハンド開閉に係る1回分の動作の遅延を低減し、タクトタイムを短縮することができる。また実施の形態4では、把持接近制約として軌道に加えてハンド開閉速度を合わせて考慮することで、実施の形態1の効果に加えて、軌道上の把持動作をより細やかに制御でき、把持成功率を向上させることができる。
 図21は本発明の実施の形態1から4に係る干渉回避装置のハードウェア構成図である。干渉回避装置2は、CPU(Central Processing Unit)61、ROM(Read Only Memory)62、RAM(Random Access Memory)63、入力部65を備える。干渉回避装置2では、CPU61、ROM62、RAM63および入力部65がバスライン66を介して接続されている。
 入力部65は、マウスおよびキーボードを備え、使用者により入力される情報を入力する。入力部65へ入力された情報は、CPU61へ送られる。ROM62には干渉回避装置2用のプログラム60が格納されている。実施の形態1から4に係る干渉回避装置2を実現する場合、CPU61はRAM63内にロードされたプログラム60を実行することにより、干渉回避装置2の把持点候補生成部10および軌道算出部11が実現される。
 図22は図2に示す生産システムの変形例を示す図である。図22に示す生産システム200は、図2に示す生産システム200の構成要素に加えて画像処理装置1001を備える。画像処理装置1001は計測部1および干渉回避装置2の間に設けられている。画像処理装置1001は、干渉回避装置2から抜き出された把持点候補生成部10の機能を有する装置である。すなわち画像処理装置1001は、計測データ1aに画像処理を行い把持点候補10aを算出する図4の把持点候補生成部10を備えた装置である。
 図23は図22に示す干渉回避装置の構成例を示す図である。図22に画像処理装置1001を用いる場合、図23に示すように干渉回避装置2では図4の把持点候補生成部10が除かれ、干渉回避装置2は、把持点候補10a、モデル情報3a、ロボットプログラム3bおよび設定情報3cを入力情報とする軌道算出部11を備える。
 また図22の生産システム200は、画像処理装置1001から画像処理結果である把持点候補10aを伝送するように構成されているため、イーサネット(登録商標)等のネットワークを介して処理結果を共有することができる。
 図24は図22に示す生産システムの第1の変形例を示す図である。図24に示す生産システム200は、画像処理の結果得られた把持点候補10aがロボット制御装置3で受信されるように構成されている。なお生産システム200は、把持点候補10aがロボット制御装置3および干渉回避装置2の双方で受信されるように構成してもよい。
 図25は図22に示す生産システムの第2の変形例を示す図である。図25に示す生産システム200は、PLCやパーソナルコンピュータ等を用いた情報統合端末5を備え、全ての情報をネットワークを介して情報統合端末5で一括で管理して、状態に応じて全体に動作変更の指示あるいは指令を出力するように構成されている。情報統合端末5には把持点候補10aが入力され、情報統合端末5に入力された把持点候補10aは、ロボット制御装置3を介して干渉回避装置2に入力される。
 図26は図22に示す生産システムの第3の変形例を示す図である。図26に示す生産システム200は、複数の画像処理装置1001,1002と、複数の計測部1,1Aとを備える。計測部1Aは、固定台70によりロボット4を撮影可能な位置に設置されている。計測部1Aは、ロボット4の動作を撮像して得られた撮像情報を計測データ1aとして画像処理装置1002に送信する。
 画像処理装置1002は、画像処理装置1001と同様に構成されおり、計測データ1bに基づき把持点候補10bを算出する。算出された把持点候補10bは情報統合端末5に入力される。情報統合端末5は把持点候補10a,10bを集約して、状態に応じて全体に動作変更の指示あるいは指令を出力する。
 なお本実施の形態では、ロボット4に固定された計測部1およびロボット4以外の場所に設置された計測部1Aを用いた例が示されるが、本実施の形態に係る生産システム200は、計測部1および計測部1Aの何れか一方のみ用いた構成としてもよい。また図示しないが、干渉回避装置2がロボット4以外の対象全体の干渉回避軌道を計算する場合、情報統合端末5の中に干渉回避装置2を含む構成にして、情報統合端末5がコンベア制御装置6、加工機制御装置7およびロボット制御装置8のそれぞれの干渉回避装置2として機能する構成としてもよい。
実施の形態5.
 図27は本発明の実施の形態5に係る干渉回避装置が備える軌道算出部の構成図である。図27に示す軌道算出部11Cは、図6に示す第1の接近軌道生成部22および第2の接近軌道生成部23の代わりに、第1の接近軌道生成部22Aおよび第2の接近軌道生成部23Aを備える。軌道算出部11Cは、第1の接近軌道生成部22Aおよび第2の接近軌道生成部23A以外にも、図6に示す把持姿勢生成部21、回避軌道生成部24および干渉チェック部25を備える。図27では、図6の把持姿勢生成部21、回避軌道生成部24および干渉チェック部25の図示が省略されている。以下、実施の形態1と同一部分には同一符号を付してその説明を省略し、ここでは異なる部分についてのみ述べる。
 第1の接近軌道生成部22Aは、軌道要素生成部83および接近軌道生成部84を備える。
 軌道要素生成部83は、第1の接近軌道に関するM個の中間ゴール情報81と有効把持姿勢21aとに基づき、M+1個の第1の接近軌道要素13aを演算する。Mは1以上の整数である。kは1からM+1までの変数である。軌道要素生成部83は、k=1から、k=M+1まで順に、第1の接近軌道要素13aを演算する。第1の接近軌道要素は、2点の位置(把持点、経由点、動作開始点、動作完了点のうちの2つ)を両端点として、両端点を補間して定義される。補間方法については、スプライン補間を例示できる。中間ゴールとは、ツール部の目標位置である把持点候補Pggと、ツール部の目標位置Pggから一定距離離れた位置を示す第1の接近軌道の起点であるツール部の把持接近開始点Psgとの間に定義される軌道の経由点のことである。中間ゴール情報81は、中間ゴールの内容を示す情報である。
 接近軌道生成部84は、k=1から、k=M+1まで順に演算された第1の接近軌道要素13aをそれぞれ記憶し、記憶した順に、複数の第1の接近軌道要素13aのそれぞれを接続することによって、有効第1の接近軌道22aを生成する。例えば、1番目に演算された第1の接近軌道要素13aに、2番目に演算された第1の接近軌道要素13aが接続され、2番目に演算された第1の接近軌道要素13aに、3番目に演算された第1の接近軌道要素13aが接続される。このような処理が、k=1に演算された第1の接近軌道要素13aから、k=M+1に演算された第1の接近軌道要素13aまで、順に実行されることによって、有効第1の接近軌道22aが生成される。k=1のときは、把持点候補Pggと第1の接近軌道に関する1番目の中間ゴールとを接続する接近軌道要素を演算することになる。k=M+1のときは、第1の接近軌道に関するM番目の中間ゴールと第1の接近軌道の起点である把持接近開始点Psgとを接続する接近軌道要素を演算することになる。2つの接近軌道要素の接続の仕方として、ロボット動作が滑らかに遷移する目的で次のような接近軌道要素の接続方法を適用することができる。1つ目の接続の仕方は、速度を考慮した接続方法である。第1の接近軌道生成部は、接続点である中間ゴール付近で生じる慣性力や遠心力の影響を考慮し、低速かつ加減速が緩やかになるように接近軌道を定義することができる。この際、2つの接近軌道要素の接続点が不連続にならない軌道として接続し、かつ接続点近傍の速度指令値が大きくならないように接続する。これは、接続点前後で動作軌道で定義される移動方向が速度の大きさが急激に変化する場合、適切に減速して滑らかなロボット動作を実現させるという、接続の仕方である。通常、軌道には必ずしも速度情報は必要無いが、ここではロボットのツール部が実現しうる通過速度である必要があるため、軌道上の任意の点においてロボットのツール部の通過速度が指定される場合として説明している。2つめの接続の仕方は、スプライン曲線を使って経由点を滑らかに接続する接続の仕方である。第1の接近軌道生成部は、第1の接近軌道の起点である把持接近開始点Psgと終点である把持点候補Pggと中間ゴールとに基づいて、スプライン補間して、滑らかな軌道を生成することも出来る。ここで、中間ゴールの役割を説明する。実施の形態1では、有効把持姿勢21aが決まると、ツール部の把持接近開始点Psgとツール部の把持点候補Pggとを用いて、軌道候補が計算されている。一方、本実施の形態では、ピッキングに必要な有効把持姿勢で表される把持点から算出される把持点候補Pgg以外に、M個の中間ゴールを、必ず通過する経由点として設定している。これらの中間ゴールは、いくつかの方法で得られる。例示すると、ユーザが事前の作業試行をロボットに行わせた後に成功事例から自動的に中間ゴールを抽出する場合、または事前のシミュレーションで成功事例から学習し自動的に中間ゴールを抽出する場合がある。すなわち、把持点に対して法線方向から真っ直ぐ掴みにいくと把持し損ねるような場合には、把持位置直前の目標地点を与える必要が出てくる。この目標地点が中間ゴール81となる。M=1として中間ゴールを1つ設定する場合を説明する。対象物を把持する場合で、把持位置直前の接近ベクトル方向に制約がある場合を考える。ここで「制約」とは、接近ベクトル方向として指定できないベクトルが存在する場合に、その接近ベクトル方向を指す。指定できない接近ベクトル方向は、ロボットが当該接近ベクトル方向に移動すると次のような事象が生じる場合に設定される。前記事象としては、具体的にロボットのツール部やエンドエフェクタが障害物への干渉する事象、把持対象の作業に支障がある作用を及ぼす(把持対象の転倒・把持対象の損傷)事象、などが挙げられる。把持姿勢から10mmオフセットした位置から、姿勢を変えずに指先を把持点に接近させる場合は、把持点候補Pggから10mmオフセットした位置に中間ゴールを設定する。ここで、「オフセットした位置」は、「ある基準となる位置から、ある方向に一定量の位置(mm)だけ平行移動した別の位置」を意味する。ここで示した「10mmオフセットした位置」は、制約として説明した「接近ベクトル方向として指定できないベクトル」を除いた、ロボットが把持成功できる方向に平行移動した位置となっている。一方で、中間ゴールではない点(把持点候補Pggや把持接近開始点Psg)と中間ゴールの決め方の違いについて補足説明する。把持点候補は前述の通り、計測データに基づいて計算される。第1の接近軌道の把持点Pggではない側の端点、すなわち把持接近開始点Psgは、取り出す部品と周囲の部品との干渉が無くなる高さや位置まで、取り出す部品を把持したロボットが移動した位置として設定する。すなわち、中間ゴールとは違う位置を設定する。ただしここでは供給箱に入っていて把持点候補として選ばれている部品を「取り出す部品」と呼び、供給箱に入っているそれ以外の部品を「周囲の部品」と呼んでいる。また、中間ゴールはあくまで、把持位置直前の目標地点を定義することが必要となる場合に定義されるものであり、把持位置直前の接近ベクトル方向に制約が無ければ中間ゴールは設定されない。
 第2の接近軌道生成部23Aは、軌道要素生成部85および接近軌道生成部86を備える。
 軌道要素生成部85は、有効第1の接近軌道22aの内、有効第1の接近軌道22aの起点である把持接近開始点Psgと、ロボット動作開始点である第2の接近軌道23aの開始点であるピッキング動作の開始点と、第2の接近軌道に関するN個の中間ゴール情報82とに基づき、N+1個の第2の接近軌道要素13bを演算する。Nは1以上の整数である。jは1からN+1までの変数である。軌道要素生成部85は、j=1から、j=N+1まで順に、第2の接近軌道要素13bを演算する。j=1のときは、軌道要素生成部85は、有効第1の接近軌道22aの把持接近開始点Psgと第2の接近軌道に関する1番目の中間ゴールとを接続する接近軌道要素を演算する。j=N+1のときは、軌道要素生成部85は、第2の接近軌道に関するN番目の中間ゴールとピッキング動作の開始点とを接続する接近軌道要素を演算する。中間ゴール情報82は、ロボットツール部の、位置(X,Y,Z)および姿勢(回転角(A,B,C)/回転行列R)で定義される情報である。ただし、第2の接近軌道23aの開始点であるピッキング動作の開始点については、軌道要素生成部85内で定義されるものとする。例えば、ピッキング動作の開始点は、[0076]に説明している通り、対象となる部品の入った棚や箱(周辺環境の一部)の上空か、アームやハンドと周辺環境が干渉を生じない程度に十分離れた点がユーザによって設計され指定される。また、それ以外の方法として、ピッキング動作の開始点は、[0083]、[0084]に説明している通り、探索的に獲得した点を定義しておくことが出来る。探索的に獲得する場合も探索の終了条件としては、箱からハンドが十分離れた点をユーザが定義して設定する。
 接近軌道生成部86は、j=1から、j=N+1まで順に演算された第2の接近軌道要素13bをそれぞれ記憶し、記憶した順に、第2の接近軌道要素13bのそれぞれを接続することによって、第2の接近軌道23aを生成する。
 ここで、図5に示したように、把持対象となる部品とハンドの幾何形状とを考慮して、ハンド部43の指先が部品9aの凸部12に干渉しないように、有効第1の接近軌道22aが生成される。ところが、有効第1の接近軌道22aの生成において、干渉を避ける軌道探索を行う手法を適用する場合、中間ゴールを設定する必要が生じるときがある。例えば、把持ハンドの指先の開閉と連動して、把持姿勢の直前の中間ゴールにおいて把持ハンドの指をわずかに閉じる動作を、ロボット動作の1つとして実施することによって、把持対象を幾何的にハンドの指先の空間にトラップした状態に遷移させて、さらに把持対象を目標把持点まで移動してから把持する場合を例示できる。なお、把持対象を幾何的にハンドの指先の空間にトラップした状態とは、空間運動に制約を生じている状態、またはケージングの状態である。空間運動に制約を生じている状態は、例えば、把持ハンドの指先が部品よりわずかに大きな領域で近接している場合に、部品が把持ハンドの指先の中で回転しようとすると指先に接触してしまい、部品が回転できなくなるような状態を表している。指の間の隙間から外側に出るほど把持対象部品が大きく変位することがなく、把持不可能とはならない範囲の姿勢変化にとどめることが可能である。このような中間ゴールを使った把持動作により把持点候補Pggに移動しようとした際に、転倒しやすい部品の転倒を防ぐことが出来る。ケージングとは、接触した幾何拘束はないが、いずれの方向にも抜け出ることが出来ないように周囲を囲う物体拘束である。この場合も、指先開閉による部品への作用力以外の外力により部品が変位する場合、部品が転倒あるいは把持不可能になってしまう事象を防ぐことが目的となる。
 同様の理由で、第2の接近軌道23aの生成時にも、中間ゴールを設けることによって、把持成功率を高める動作を設定することができる。例えば、物体の搬送中に、物体の重心位置がロボットハンドの把持点から離れて、モーメントが大きくなった場合、搬送中の物体が落下するおそれがある。このようなことを防ぐため第2の接近軌道における中間ゴールとして、ロボット手先姿勢を次のような方法で設定した中間ゴールを選定することができる。第2の接近軌道生成部23Aは、把持点と物体の重心位置に対して、鉛直方向に直交する方向に対する距離を最小化し、把持ハンドから把持対象がモーメントの作用で脱落を防ぐような安定把持姿勢を、中間ゴールのロボットの把持ハンドの姿勢として設定できる。鉛直方向に直交する方向に対する距離は、ロボットハンドの把持点から物体の重心位置までの距離に相当する。把持ハンドの姿勢に対応する中間ゴールの位置については次のように計算できる。第2の接近軌道生成部23Aは、部品箱9と把持物体が当該安定把持姿勢においても把持ハンドと周辺環境が干渉しない高さを演算し、干渉しない高さに到達するまでは前記安定把持姿勢を取らず、干渉しない高さ到達してから前記安定把持姿勢を取る点を中間ゴールの位置として設定できる。ここで、干渉しない高さは、例えば、事前に計測された対象物データから把持姿勢を算出しておき、算出された把持姿勢と事前に取得した物体の幾何データとから、部品箱等と干渉しない距離を演算することによって求めることができる。
 以上のように、実施の形態5に係る干渉回避装置によれば、実施の形態1の効果に加えて、把持物体の把持状態からの脱落を防ぐことができ、結果としてシステムの生産性が向上するという効果が得られる。
実施の形態6.
 図28は本発明の実施の形態6に係る干渉回避装置が備える軌道算出部の構成図である。図28に示す軌道算出部11Dは、図6に示す第1の接近軌道生成部22および第2の接近軌道生成部23の代わりに、第1の接近軌道生成部22Bおよび第2の接近軌道生成部23Bを備える。また軌道算出部11Dは、図6に示す把持姿勢生成部21の代わりに、組立姿勢候補生成部27と組立位置候補生成部28を備える。実施の形態6では、物体の把持では無く、把持した物体の組み立て作業に構成が変わるのに応じ、把持点候補を「組立姿勢候補」と置き換え、把持接近開始点(第1の接近軌道の起点)を「組立動作開始点」と置き換える。ロボット動作開始点であるピッキング動作の開始点を「組立動作全体の開始点」と置き換える。なお、組立位置候補生成部28は、軌道算出部11Dの外部に設けられていてもよい。以下、実施の形態1と同一部分には同一符号を付してその説明を省略し、ここでは異なる部分についてのみ述べる。
 まず、ハンド部43は、カメラまたは画像センサを活用して、部品9aの位置を計測し、部品を把持する。この際、供給形態がバラ積み供給で、部品がバラ積み状態である場合は、ロボットは部品9aを把持した後に部品の上空である実施の形態1と同じような処理で、組立動作全体の開始点Psaに移動する。その後、ロボットは軌道算出部11Dで生成された軌道に従い動作する。組立動作全体の開始点Psaは、第2の接近軌道生成部にて生成される。組立動作開始点に至るまで、または、組立動作開始点において、干渉回避装置2は、計測部であるビジョンセンサまたはカメラを活用して、把持している物体の位置姿勢を計測し、計測した計測情報(RGB(Red Green Blue)画像情報、ポイントクラウドなどの距離画像情報、距離情報)画像認識処理を施すことによって、ハンドで把持した対象の位置姿勢を演算する。画像認識処理では、モデルマッチング処理等が利用される。これにより、部品がハンドに対してどのように把持されているかという、「部品の位置姿勢」が取得される。ただし、部品の位置姿勢については、部品把持のために取得した部品の位置姿勢に対し、把持ハンドが滑りおよび位置ずれの無い理想的な状態で部品の把持を成功したものとして、把持前に計測した部品の位置姿勢情報に基づいて演算することも出来る。組立位置候補生成部28は、部品の位置姿勢に基づいてロボットのツール位置姿勢で表現された把持姿勢情報87を演算する。組立位置候補生成部28は、ロボットおよび周辺機器のモデル情報とに基づき、把持対象のツール部に対する把持姿勢情報87を使って、ツール部が把持対象の組立を完了する複数の第1の組立姿勢候補88を算出する。実施の形態1~実施の形態5では、把持姿勢生成部21が生成できる姿勢候補は複数ある場合が多い。一方、実施の形態6においては、図29に示すような部品9aを部品9bに対して組み付ける場合のように完了時における候補姿勢が1つしかなく、第1の組立姿勢候補88は1つのみ設定する場合がある。実施の形態6において、組立位置候補生成部28が生成する第1の組立姿勢候補88が複数ある場合の例として、部品形状が直方体、円柱または円盤である場合が挙げられる。部品形状が直方体、円柱または円盤である場合、部品の対称性により、組立位置候補生成部28が第1の組立姿勢候補88を複数個設定する。組立姿勢候補生成部27は、許容される誤差を含めて組立て作業を実現することが可能な第2の組立姿勢候補を生成する。すなわち、組立姿勢候補生成部27は、第2の組立姿勢候補に対し、ツール部が周辺機器に干渉することなく、かつ許容姿勢範囲内に存在する複数の有効組立姿勢候補27aを生成する。有効組立姿勢候補27aには、位置情報と姿勢情報([X,Y,Z,A,B,C])とが含まれる。
 図29は図28に示す軌道算出部による動作を説明するための図である。図29には、ロボットのツール部42が部品供給箱である部品箱9に接近し、ハンド部43が部品箱9内の把持対象物である部品9aを把持してから、ハンド部43が部品9aを部品9bの上側に移動して、ハンド部43が把持している部品9aを部品9bに組み付けるまでの動作が示される。
 部品箱9から把持対象物を取り出すロボットは、物体の把持動作以外にも、工場において製品の組立て作業を実施することがある。図29で示すように、部品9bに部品9aを組み付けることによって製品が組立てられる場合、部品9bには、スナップフィットによって部品9aが嵌め合わされる固定部80、コの字形状の突起部9b1等が存在する場合がある。スナップフィットとは、2以上の材料の結合に用いられる機械的接合法の一種であり、材料の弾性を利用して2以上の材料同士を嵌め合わせることにより、2以上の材料を互いに固定する方式のことである。そのため、ロボットは、製品の組立て作業の際、部品9aの先端が部品9bの突起部9b1に干渉することがなく、また部品9aの水平方向の両端が固定部80の上面に載ることがないように、部品9bに部品9aを組み付ける必要がある。
 ただし、部品9bへの部品9aの組立完了直前の位置および角度と、部品9bへの部品9aの組立完了位置および角度とを比較した場合、部品9bの延伸方向に対する部品9aの延伸方向の角度が異なるだけでなく、部品9bの固定部80および突起部9b1といった部材に対する部品9aの先端部の位置が異なる。組立完了位置は、部品9bに存在する複数の部品9aの内、最も底側に存在する部品9aの位置である。このように、固定部80および突起部9b1といった部材を有する部品9bへ部品9aを組み付ける場合、部品9bへの部品9aの挿入方向、挿入角度等に制約が生じるときがある。また、例えば部品9aの組立完了位置を部品9bの鉛直上方に延長した位置から、鉛直方向に部品9bへの部品9aの組立動作を開始した場合、部品9bの突起部9b1に部品9aが干渉するおそれがある。従って、部品9aの最終到達点である組立位置候補点以外に、中間ゴールである位置に部品9aを経由させる等して、部品9bに対する部品9aの相対位置、部品9bに対する部品9aの相対角度等を、細かく変更しなければ、組立てを完了することができない。すなわち、実施の形態5の第1の接近軌道生成部22Aで生成される有効第1の接近軌道22aをさらに複数の軌道に分割し、また第2の接近軌道生成部23Aで生成される第2の接近軌道23aをさらに複数の軌道に分割しなければ、組立てが完了しない場合がある。
 以下では、把持された対象物体が別の対象物体に組み付けられるときにおける、実施の形態6に係る軌道算出部11Dの動作を説明する。図30は図28に示す軌道算出部による動作を説明するためのフローチャートである。
 ハンド部43は、供給された部品9aを把持し(S10)、干渉回避装置2は、ハンド部43が把持した部品9aの位置姿勢を演算する(S11)。作業対象の組立姿勢候補点が生成される(S12)。次に、S13において、軌道算出部11Dの第1の接近軌道生成部22Bは、組立の中で組立方向あるいは挿入方向が制約されている部品移動、および組立対象と把持している部品9aが接触を伴う部品移動からなる第1の接近軌道を生成する。軌道算出部11Dの第1の接近軌道生成部22Bは、生成された複数の有効組立姿勢候補27aの中で、把持している部品9aおよび把持ハンドが組立対象をずらすことない状態を満たしつつツール部が組立対象に接近できる組立姿勢を抽出する。次に、第1の接近軌道生成部22Bは、抽出された組立姿勢となるための複数の組立軌道候補を生成し、複数の組立姿勢候補のそれぞれを端点に持つ複数の軌道を第1の接近軌道として生成する。具体的には、第1の接近軌道生成部22Bは、M個の中間ゴールに対し、k番目(ここではk=1)の第1の接近軌道要素13a1を生成する。図29には、このとき生成される第1の接近軌道要素13a1が上向きの湾曲した矢印で示される。続いて、第1の接近軌道生成部22Bは、固定部80に押し付ける要素動作のための軌道を設け、その位置まで部材を挿入する要素動作として、k+1番目の第1の接近軌道要素13a2を生成する。図29には、このとき生成される第1の接近軌道要素13a2が左上向きの矢印で示される。第1の接近軌道要素13a2は、図29の部品9bに形成される突起部9b1へ部品9aの先端を挿入するときの移動量と水平方向に対する傾きを含む。第1の接近軌道要素13a1と第1の接近軌道要素13a2とを組み合わせて形成される軌跡は、部品9bへの部品9aの組立動作時における、有効第1の接近軌道22aとなる。図29には、有効第1の接近軌道22aに関する中間ゴール情報81の数が1つの例、すなわちM=1の例が示される。従って、軌道算出部11Dの第1の接近軌道生成部22Bでは、第1の接近軌道要素13aがM+1個、すなわちM=1の例では2つ生成されるため、生成された2つの第1の接近軌道要素13aのそれぞれが接続される形で、有効第1の接近軌道22aが生成される。
 S14において、干渉チェック部25では、有効把持姿勢21aおよび有効第1の接近軌道22aに対して干渉チェックを実施する。干渉チェックの結果、干渉する可能性が有る場合(S15,No)、干渉チェック部25は、部品箱9と干渉する可能性のあるツール部42の一部を生成し、許容姿勢範囲において干渉をなくすために最も小さい姿勢変化をさせた場合の修正した把持点候補を探索し、干渉の可能性の有無を判定する(S16)。
 許容姿勢範囲に他の解が無い、すなわち許容姿勢範囲において干渉の可能性が無くなる演算結果が得られない場合(S16,No)、S13からS15までの処理が繰り返される。干渉の可能性が無くなる演算結果が得られない場合、把持姿勢生成部21より、優先順位が次に高い新しい把持点候補を選び、この候補点に関する評価を行う。
 許容姿勢範囲に他の解が有る、すなわち許容姿勢範囲において干渉の可能性が無くなる演算結果が得られる場合(S16,Yes)、干渉回避装置2では有効把持姿勢21aが修正され(S17)、S14からS15までの処理が繰り返される。
 S15において干渉する可能性が無い場合(S15,Yes)、軌道算出部11Dの第2の接近軌道生成部23Bは、有効第1の接近軌道22aの端点のうち組立対象から最も遠い位置にある第1の端点に、ロボットのアーム部およびツール部が周辺機器に干渉することなく接近する第2の接近軌道23aを生成する(S18)。具体的には、第2の接近軌道生成部23Bは、N個の中間ゴール情報82に対し、j番目(ここではj=1)の第2の接近軌道要素13b1を生成する。なお、図29に示す符号13b1はj=1番目の第2の接近軌道要素を示す。ここでは、中間ゴール情報82には、部品9bの上側の位置で、部品9aの把持姿勢を、把持搬送に有利である脱落しにくい把持姿勢から組立に都合の良い把持姿勢に遷移させることを意図した経由点が設定される。このときj=1番目の第2の接近軌道要素13b1となる軌道の端点13b1aは、組立開始点に接続される。組立開始点は、M+1番目の第1の接近軌道要素13a2の組立位置よりも遠い方の端点13a2aである。図29には、第2の接近軌道23aに関する中間ゴール情報82の数が1つの例、すなわちN=1の例が示される。第2の接近軌道要素13b2の端点は、組立動作全体の開始点Psaに接続する。なお、供給位置から部品9aを取り出し部品9bの上空に対する移動は、搬送動作と呼ぶこととし区別している。従って、軌道算出部11Dの第2の接近軌道生成部23Bでは、第2の接近軌道要素13bがN+1個、すなわち2つ生成されるため、生成された2つの第2の接近軌道要素13bのそれぞれが接続される形で、第2の接近軌道23aが生成される。
 干渉チェック部25では再び干渉チェックが行われる(S19)。第2の接近軌道23aに対して干渉の可能性が有る場合(S19,No)、S18およびS19の処理が繰り返される。第2の接近軌道23aに対して干渉の可能性が無い場合(S19,Yes)、回避軌道生成部24は、有効第1の接近軌道22aと第2の接近軌道23aとを接続した干渉回避軌道2aを生成する(S20)。有効第1の接近軌道22aと第2の接近軌道23aとの接続方法について説明する。有効組立姿勢候補27a、有効第1の接近軌道22a、第2の接近軌道23aがそれぞれ複数出力され、組み合わせが複数存在する場合には、評価関数を用いて評価値が最も小さくなるあるいは最も大きくなるもの軌道を選択する。評価関数としては、干渉回避軌道全体の移動に相当する総作業時間を入力としてが時間に関する評価値が最小化するような軌道を選択することができる。また、評価関数としては、ロボット動作による電流値に基づくエネルギー消費量などを入力として、エネルギー消費量が最小化するよう評価値を算出することが出来る。評価関数の方法としては、これらに限定するものではない。
 以上のように、実施の形態6に係る干渉回避装置によれば、部品9bに部品9aを組み付けることによって製品が組立てられる場合でも、有効第1の接近軌道22aが複数の軌道に分割され、また第2の接近軌道23aが複数の軌道に分割されるため、部品9bに固定部80等が存在する場合でも、部品9bに部品9aが干渉することなく、部品9bに部品9aを組み付けることができる。
実施の形態7.
 図31は本発明の実施の形態7に係る干渉回避装置が備える軌道算出部の構成図である。図31に示す軌道算出部11Eは、図6に示す把持姿勢生成部21、第1の接近軌道生成部22、第2の接近軌道生成部23、回避軌道生成部24および干渉チェック部25に加えて、シミュレーション部300を備える。シミュレーション部300は、3Dモデルシミュレーション部301、学習器302、第1の接近軌道候補記憶部303および第2の接近軌道候補記憶部304を備える。
 3Dモデルシミュレーション部301は、3D-CADモデル、または3次元計測で得られた3Dモデルを元に、構築された仮想空間においてロボット動作をシミュレーションすることによって、動作に必要な駆動力と、ロボットハンドまたはロボットアームが通過する動作軌道と、動作起動中の周辺環境との干渉に関する干渉判定情報と、を含むシミュレーション結果311を出力する。
 学習器302は、これらのシミュレーション結果311を入力し、評価関数を基にして一定の基準を満たす効率的な動作と干渉の無い動作とを抽出して、それらの動作軌道と動作に必要な駆動力とに関する情報として、ロボット動作軌道候補および動作パラメータ制約に関する情報312を出力する。ここで動作パラメータ制約とは、ロボットの関節可動範囲、直交座標表現のロボットの可動範囲などの、許容する探索空間を狭めるための条件、または駆動軸の加減速度の上限等を狭めるための上限である。
 3Dモデルシミュレーション部301は、情報312と、実際の作業時にカメラ等で取得する対象物体の計測データを元にして得られる把持点候補とに基づいて、第1の接近軌道候補313と第2の接近軌道候補314とを生成して出力する。他に、3Dモデルシミュレーション部301は、情報312と、仮想環境でカメラモデルを用いてシミュレーション上で撮像処理し、仮想環境中で得られる把持点候補に基づいて、第1の接近軌道候補313と第2の接近軌道候補314とを生成して出力することもできる。第1の接近軌道候補313は第1の接近軌道候補記憶部303に記憶され、第2の接近軌道候補314は第2の接近軌道候補記憶部304に記憶される。シミュレーション部301では実際のロボットで想定される状況を想定した物体配置や把持点候補に基づいて、計算処理能力が許容可能な回数だけシミュレーションを事前実施しておくことができるため、第1の接近軌道候補313および第2の接近軌道候補314は、あらゆる把持点候補および周辺環境の位置関係に対応した形で事前に記憶しておくことが出来る。すなわち、実際にロボットが稼動する際には、出力された有効把持点候補21aの情報に基づいて、把持成功率と周辺との干渉を考慮した第1の接近軌道候補生成部は短時間に第1の接近軌道を出力できる。同様に第2の接近軌道生成部は短時間で第2の接近軌道を出力することが出来る。
 第1の接近軌道生成部22は、有効把持姿勢21aに対応する第1の接近軌道候補313を、第1の接近軌道候補記憶部303から選択して、選択した第1の接近軌道候補313を、有効第1の接近軌道22aとして出力する。第2の接近軌道生成部23は、有効第1の接近軌道22aに対応する第2の接近軌道候補314を、第2の接近軌道候補記憶部304から選択して、選択した第2の接近軌道候補314を、第2の接近軌道23aとして出力する。
 以上のように、実施の形態7に係る干渉回避装置によれば、実施の形態1の効果に加えて、動作計画を実施する処理時間が短縮され、生産時のタクトタイムが短くなるという効果が得られる。
 以上の実施の形態に示した構成は、本発明の内容の一例を示すものであり、別の公知の技術と組み合わせることも可能であるし、本発明の要旨を逸脱しない範囲で、構成の一部を省略、変更することも可能である。
 1,1A 計測部、1a 計測データ、2 干渉回避装置、2a 干渉回避軌道、3,8 ロボット制御装置、3a モデル情報、3b ロボットプログラム、3c 設定情報、4 ロボット、5 情報統合端末、6 コンベア制御装置、7 加工機制御装置、9 部品箱、9a,9a1,9b 部品、9a11 長手片、9a12 短手片、9b1 突起部、10 把持点候補生成部、10a,10b,17 把持点候補、11,11A,11B,11C,11D,11E 軌道算出部、12 凸部、13 第1の接近軌道、13a,13a1,13a2 第1の接近軌道要素、13a2a,13b1a 端点、13b,13b1,13b2 第2の接近軌道要素、14 理想アプローチ方向、15 許容アプローチ方向、18 許容進行ベクトル、19 許容退避ベクトル、21 把持姿勢生成部、21a 有効把持姿勢、22,22A,22B 第1の接近軌道生成部、22a 有効第1の接近軌道、23,23A,23B 第2の接近軌道生成部、23a 第2の接近軌道、24 回避軌道生成部、25 干渉チェック部、26 干渉リスク評価部、27 組立姿勢候補生成部、27a 有効組立姿勢候補、28 組立位置候補生成部、28a 組立位置候補、30a 接近速度、30b 接近距離、31a 速度上限値、31b 閾値、32 仮想外力、33 ハンド開閉速度、34 ハンド開閉時刻、41 アーム部、42 ツール部、43,43-1,43A,43B,43C ハンド部、43-1a 吸着パッド、44 ジグ、50 床面、60 プログラム、61 CPU、62 ROM、63 RAM、65 入力部、66 バスライン、70 固定台、80 固定部、81,82 中間ゴール情報、83,85 軌道要素生成部、84,86 接近軌道生成部、87 把持姿勢情報、88 第1の組立姿勢候補、91 底面部、92a,92b 測面部、93 上面部、94 開口部、100 ロボットシステム、101 ロボットハンドモデル、102 周辺機器モデル、103 ツールモデル、200 生産システム、300 シミュレーション部、301 3Dモデルシミュレーション部、302 学習器、303 第1の接近軌道候補記憶部、304 第2の接近軌道候補記憶部、311 シミュレーション結果、312 情報、313 第1の接近軌道候補、314 第2の接近軌道候補、1001,1002 画像処理装置。

Claims (9)

  1.  少なくとも周辺機器の状態を計測した計測データが入力され、ロボットのアーム部に設けられたツール部が前記周辺機器に干渉することを回避させる干渉回避装置であって、
     前記計測データと、前記ロボットおよび前記周辺機器のモデル情報とに基づき、前記ツール部の把持対象を前記ツール部が把持可能な複数の把持点候補を算出する把持点候補生成部と、
     前記複数の把持点候補に基づき、前記ツール部が前記周辺機器に干渉することなく前記把持対象に接近する干渉回避軌道を算出する軌道算出部と
     を備え、
     前記軌道算出部は、
     前記複数の把持点候補に対し、前記ツール部が前記周辺機器に干渉することなく、かつ許容姿勢範囲内に存在する複数の把持姿勢候補を生成する把持姿勢生成部と、
     生成された前記把持姿勢候補の中で前記把持対象をずらすことなく前記ツール部が前記把持対象に接近できる把持姿勢を抽出し、抽出された把持姿勢となるための複数の把持点候補を生成し、把持点候補のそれぞれを端点に持つ複数の軌道を第1の接近軌道として生成する第1の接近軌道生成部と、
     前記第1の接近軌道の端点のうち前記把持対象から最も遠い位置にある第1の端点に、前記ロボットのアーム部および前記ツール部が周辺機器に干渉することなく接近する第2の接近軌道を生成する第2の接近軌道生成部と、
     前記第1の接近軌道と前記第2の接近軌道とを接続した前記干渉回避軌道を生成する回避軌道生成部と
     を備えることを特徴とする干渉回避装置。
  2.  前記ツール部と前記周辺機器との間の距離を前記計測データあるいは前記モデル情報に基づいて演算し、前記距離とその距離の変化を用いて前記周辺機器への前記ツール部の干渉のし易さを評価する干渉リスク評価部を備え、
     前記第2の接近軌道生成部は、前記第1の接近軌道の第1の端点と前記ツール部の把持接近開始点とを結ぶ軌道の中から、前記評価が基準値となる距離より小さくならない、かつ距離の変化量より大きくならない前記第2の接近軌道を選択することを特徴とする請求項1に記載の干渉回避装置。
  3.  前記第2の接近軌道生成部は、前記距離に応じた斥力である仮想外力を前記ツール部に作用させて、前記第2の接近軌道を参照軌道としてポテンシャル法を用いて前記参照軌道を修正することを特徴とする請求項2に記載の干渉回避装置。
  4.  前記第2の接近軌道生成部は、前記距離に応じて変化する前記ツール部の前記把持対象への接近速度を、前記接近速度の上限値を超えない範囲で最大化することを特徴とする請求項2に記載の干渉回避装置。
  5.  前記第1の接近軌道生成部は、前記ツール部の開閉速度および開閉時間を、前記把持対象への接近を制約する把持接近制約として、第1の接近軌道を生成することを特徴とする請求項1から請求項3の何れか一項に記載の干渉回避装置。
  6.  前記第1の接近軌道生成部は、前記ツール部の目標位置と前記ツール部の目標位置から一定距離離れた位置を示す前記ツール部の把持接近開始点との間に定義される軌道の経由点であるM個の中間ゴールと、把持接近開始点と、把持点候補とを接続するM+1個の第1の接近軌道要素を生成し、生成された複数の第1の接近軌道要素を接続し、
     前記Mは1以上の整数であることを特徴とする請求項1から請求項3の何れか一項に記載の干渉回避装置。
  7.  前記第2の接近軌道生成部は、前記ツール部の目標位置と前記ツール部の目標位置から一定距離離れた位置を示す前記ツール部の把持接近開始点との間に定義される軌道の経由点であるN個の中間ゴールと、把持接近開始点と、ピッキング動作の開始点とを接続するN+1個の第2の接近軌道要素を生成し、生成された複数の第2の接近軌道要素を接続し、
     前記Nは1以上の整数であることを特徴とする請求項1から請求項3の何れか一項に記載の干渉回避装置。
  8.  少なくとも周辺機器の状態を計測した計測データが入力され、ロボットのアーム部に設けられたツール部が前記周辺機器に干渉することを回避させる干渉回避装置であって、
     前記計測データと、前記ロボットおよび前記周辺機器のモデル情報とに基づき、前記ツール部の把持対象のツール部に対する把持姿勢情報を使って、前記ツール部が把持対象の組立を完了する複数の組立位置候補を算出し、算出した前記複数の組立位置候補に基づき、前記ツール部が前記周辺機器に干渉することなく組立対象に接近する干渉回避軌道を算出する軌道算出部を備え、
     前記軌道算出部は、
     前記組立位置候補に対し、前記ツール部が前記周辺機器に干渉することなく、かつ許容姿勢範囲内に存在する複数の組立姿勢候補を生成する組立姿勢候補生成部と、
     生成された前記複数の組立姿勢候補の中で、前記組立対象をずらすことなく前記ツール部が前記組立対象に接近できる組立姿勢を抽出し、抽出された組立姿勢となるための複数の組立軌道候補を生成し、前記複数の組立姿勢候補のそれぞれを端点に持つ複数の軌道を第1の接近軌道として生成する第1の接近軌道生成部と、
     前記第1の接近軌道の端点のうち前記組立対象から最も遠い位置にある第1の端点に、前記ロボットのアーム部および前記ツール部が周辺機器に干渉することなく接近する第2の接近軌道を生成する第2の接近軌道生成部と、
     前記第1の接近軌道と前記第2の接近軌道とを接続した前記干渉回避軌道を生成する回避軌道生成部と、
     を備え、
     前記第1の接近軌道生成部は、前記ツール部の目標位置である組立姿勢候補と前記ツール部の目標位置から一定距離離れた位置を示す前記ツール部の把持接近開始点との間に定義される軌道の経由点であるM個の中間ゴールと、組立動作開始点と、把持点とを接続するM+1個の第1の接近軌道要素を生成し、生成された複数の第1の接近軌道要素を接続し、
     前記第2の接近軌道生成部は、前記ツール部の目標位置と前記ツール部の目標位置から一定距離離れた位置を示す前記ツール部の把持接近開始点との間に定義される軌道の経由点であるN個の中間ゴールと、組立動作開始点と、組立動作全体の開始点とを接続するN+1個の第2の接近軌道要素を生成し、生成された複数の第2の接近軌道要素を接続し、
     前記Mは1以上の整数であり、前記Nは1以上の整数であることを特徴とする干渉回避装置。
  9.  前記軌道算出部は、
     複数の前記第1の接近軌道を記憶する第1の記憶部と、
     複数の前記第2の接近軌道を記憶する第2の記憶部と、
     をさらに備え、
     前記第1の接近軌道生成部は、前記把持姿勢候補に対応する第1の接近軌道を、前記第1の記憶部から選択して出力し、
     前記第2の接近軌道生成部は、前記第1の接近軌道生成部で選択された、第1の接近軌道に対応する第2の接近軌道を、前記第2の記憶部から選択して出力することを特徴とする請求項1に記載の干渉回避装置。
PCT/JP2017/041345 2016-11-16 2017-11-16 干渉回避装置 WO2018092860A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018551688A JP6807949B2 (ja) 2016-11-16 2017-11-16 干渉回避装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016-223301 2016-11-16
JP2016223301 2016-11-16

Publications (1)

Publication Number Publication Date
WO2018092860A1 true WO2018092860A1 (ja) 2018-05-24

Family

ID=62146497

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/041345 WO2018092860A1 (ja) 2016-11-16 2017-11-16 干渉回避装置

Country Status (2)

Country Link
JP (1) JP6807949B2 (ja)
WO (1) WO2018092860A1 (ja)

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020012565A1 (ja) * 2018-07-10 2020-01-16 三菱電機株式会社 ロボット制御装置
JP2020044591A (ja) * 2018-09-14 2020-03-26 学校法人早稲田大学 自律型作業支援ロボットの環境適応性強化システム、動作シミュレーション装置及びそのプログラム
JP2020049554A (ja) * 2018-09-21 2020-04-02 キヤノン株式会社 軌道生成方法、軌道生成装置、およびロボットシステム
JP2020066092A (ja) * 2018-10-24 2020-04-30 ファナック株式会社 ロボットの制御方法
JPWO2020008538A1 (ja) * 2018-07-03 2020-07-27 三菱電機株式会社 材質推定装置及びロボット
WO2021029064A1 (ja) * 2019-08-15 2021-02-18 オムロン株式会社 情報処理装置及び情報処理方法
CN112584986A (zh) * 2019-03-15 2021-03-30 欧姆龙株式会社 参数调整装置、参数调整方法以及程序
JP2021091055A (ja) * 2019-12-12 2021-06-17 株式会社キーエンス 測定装置
CN113226674A (zh) * 2018-12-28 2021-08-06 京瓷办公信息系统株式会社 控制装置
JP2021122899A (ja) * 2020-02-05 2021-08-30 株式会社デンソー 軌道生成装置、多リンクシステム、及び軌道生成方法
JP2021162494A (ja) * 2020-04-01 2021-10-11 日立金属株式会社 外観検査ロボットの検査経路探索装置、検査経路探索プログラム、および、外観検査ロボット
JPWO2022079764A1 (ja) * 2020-10-12 2022-04-21
JPWO2022085408A1 (ja) * 2020-10-19 2022-04-28
WO2022153374A1 (ja) * 2021-01-12 2022-07-21 川崎重工業株式会社 経路生成装置、経路生成方法及び経路生成プログラム
WO2022201362A1 (ja) * 2021-03-24 2022-09-29 三菱電機株式会社 ロボット制御装置、ロボット制御プログラムおよびロボット制御方法
WO2023276238A1 (ja) * 2021-07-02 2023-01-05 ソニーグループ株式会社 ロボット制御装置、およびロボット制御方法
JP7474681B2 (ja) 2020-11-10 2024-04-25 株式会社安川電機 プログラム生成システム、ロボットシステム、プログラム生成方法、および生成プログラム

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220168899A1 (en) * 2020-11-30 2022-06-02 Massachusetts Institute Of Technology System and method for location determination and robot control

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010155328A (ja) * 2009-01-01 2010-07-15 Sony Corp 軌道計画装置及び軌道計画方法、並びにコンピューター・プログラム
JP2012223845A (ja) * 2011-04-18 2012-11-15 Fanuc Ltd ロボットの着目部位と周辺物との干渉を予測する方法及び装置
JP2014180705A (ja) * 2013-03-18 2014-09-29 Yaskawa Electric Corp ロボットピッキングシステム及び被加工物の製造方法
JP2014205209A (ja) * 2013-04-11 2014-10-30 三菱電機株式会社 ロボットシステム、及びロボットシステムの制御方法
JP2015197312A (ja) * 2014-03-31 2015-11-09 キヤノン株式会社 情報処理装置、情報処理装置の制御方法、把持システムおよびプログラム
JP2016132086A (ja) * 2015-01-22 2016-07-25 三菱電機株式会社 ワーク供給装置およびワーク把持姿勢計算方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5623358B2 (ja) * 2011-09-06 2014-11-12 三菱電機株式会社 ワーク取り出し装置
JP6036662B2 (ja) * 2013-11-22 2016-11-30 三菱電機株式会社 ロボットシミュレーション装置、プログラム、記録媒体及び方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010155328A (ja) * 2009-01-01 2010-07-15 Sony Corp 軌道計画装置及び軌道計画方法、並びにコンピューター・プログラム
JP2012223845A (ja) * 2011-04-18 2012-11-15 Fanuc Ltd ロボットの着目部位と周辺物との干渉を予測する方法及び装置
JP2014180705A (ja) * 2013-03-18 2014-09-29 Yaskawa Electric Corp ロボットピッキングシステム及び被加工物の製造方法
JP2014205209A (ja) * 2013-04-11 2014-10-30 三菱電機株式会社 ロボットシステム、及びロボットシステムの制御方法
JP2015197312A (ja) * 2014-03-31 2015-11-09 キヤノン株式会社 情報処理装置、情報処理装置の制御方法、把持システムおよびプログラム
JP2016132086A (ja) * 2015-01-22 2016-07-25 三菱電機株式会社 ワーク供給装置およびワーク把持姿勢計算方法

Cited By (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2020008538A1 (ja) * 2018-07-03 2020-07-27 三菱電機株式会社 材質推定装置及びロボット
DE112018007703B4 (de) 2018-07-10 2022-03-03 Mitsubishi Electric Corporation Robotersteuerung
DE112018007703C5 (de) 2018-07-10 2023-01-05 Mitsubishi Electric Corporation Robotersteuerung
WO2020012565A1 (ja) * 2018-07-10 2020-01-16 三菱電機株式会社 ロボット制御装置
JP6632783B1 (ja) * 2018-07-10 2020-01-22 三菱電機株式会社 ロボット制御装置
CN112384340A (zh) * 2018-07-10 2021-02-19 三菱电机株式会社 机器人控制装置
JP7125745B2 (ja) 2018-09-14 2022-08-25 学校法人早稲田大学 自律型作業支援ロボットの環境適応性強化システム、動作シミュレーション装置及びそのプログラム
JP2020044591A (ja) * 2018-09-14 2020-03-26 学校法人早稲田大学 自律型作業支援ロボットの環境適応性強化システム、動作シミュレーション装置及びそのプログラム
JP2020049554A (ja) * 2018-09-21 2020-04-02 キヤノン株式会社 軌道生成方法、軌道生成装置、およびロボットシステム
JP7210201B2 (ja) 2018-09-21 2023-01-23 キヤノン株式会社 情報処理方法、プログラム、記録媒体、情報処理装置、ロボットシステム、物品の製造方法
JP2020066092A (ja) * 2018-10-24 2020-04-30 ファナック株式会社 ロボットの制御方法
US11338439B2 (en) 2018-10-24 2022-05-24 Fanuc Corporation Robot control method
US20220063100A1 (en) * 2018-12-28 2022-03-03 Kyocera Document Solutions Inc. Control apparatus
CN113226674A (zh) * 2018-12-28 2021-08-06 京瓷办公信息系统株式会社 控制装置
CN112584986A (zh) * 2019-03-15 2021-03-30 欧姆龙株式会社 参数调整装置、参数调整方法以及程序
US11945113B2 (en) 2019-03-15 2024-04-02 Omron Corporation Parameter adjustment device, parameter adjustment method, and program
JPWO2021029064A1 (ja) * 2019-08-15 2021-02-18
WO2021029064A1 (ja) * 2019-08-15 2021-02-18 オムロン株式会社 情報処理装置及び情報処理方法
JP7310895B2 (ja) 2019-08-15 2023-07-19 オムロン株式会社 情報処理装置及び情報処理方法
JP2021091055A (ja) * 2019-12-12 2021-06-17 株式会社キーエンス 測定装置
JP2021122899A (ja) * 2020-02-05 2021-08-30 株式会社デンソー 軌道生成装置、多リンクシステム、及び軌道生成方法
JP7375587B2 (ja) 2020-02-05 2023-11-08 株式会社デンソー 軌道生成装置、多リンクシステム、及び軌道生成方法
JP7409199B2 (ja) 2020-04-01 2024-01-09 株式会社プロテリアル 外観検査経路探索方法、外観検査ロボットの検査経路探索装置、検査経路探索プログラム、および、外観検査ロボット
JP2021162494A (ja) * 2020-04-01 2021-10-11 日立金属株式会社 外観検査ロボットの検査経路探索装置、検査経路探索プログラム、および、外観検査ロボット
JPWO2022079764A1 (ja) * 2020-10-12 2022-04-21
JP7357808B2 (ja) 2020-10-12 2023-10-06 三菱電機株式会社 干渉チェック装置
WO2022079764A1 (ja) * 2020-10-12 2022-04-21 三菱電機株式会社 干渉チェック装置
JP7337285B2 (ja) 2020-10-19 2023-09-01 三菱電機株式会社 ロボット制御装置およびロボット制御方法
JPWO2022085408A1 (ja) * 2020-10-19 2022-04-28
JP7474681B2 (ja) 2020-11-10 2024-04-25 株式会社安川電機 プログラム生成システム、ロボットシステム、プログラム生成方法、および生成プログラム
WO2022153374A1 (ja) * 2021-01-12 2022-07-21 川崎重工業株式会社 経路生成装置、経路生成方法及び経路生成プログラム
JP7429807B2 (ja) 2021-01-12 2024-02-08 川崎重工業株式会社 経路生成装置、経路生成方法及び経路生成プログラム
WO2022201362A1 (ja) * 2021-03-24 2022-09-29 三菱電機株式会社 ロボット制御装置、ロボット制御プログラムおよびロボット制御方法
JP7438453B2 (ja) 2021-03-24 2024-02-26 三菱電機株式会社 ロボット制御装置、ロボット制御プログラムおよびロボット制御方法
WO2023276238A1 (ja) * 2021-07-02 2023-01-05 ソニーグループ株式会社 ロボット制御装置、およびロボット制御方法

Also Published As

Publication number Publication date
JPWO2018092860A1 (ja) 2019-04-11
JP6807949B2 (ja) 2021-01-06

Similar Documents

Publication Publication Date Title
WO2018092860A1 (ja) 干渉回避装置
JP6771799B1 (ja) 壁に基づくパッキング機構を有するロボットシステム及びその動作方法
US11654564B2 (en) Efficient data generation for grasp learning with general grippers
JP7116901B2 (ja) ロボット制御装置、ロボット制御方法及びロボット制御プログラム
US11559894B2 (en) Object handling control device, object handling device, object handling method, and computer program product
JP6039434B2 (ja) ロボットが用いる把持パターンを生成する方法及び計算機プログラム製品
JP6860863B2 (ja) 経路出力方法
Reiser et al. Care-O-bot® 3-creating a product vision for service robot applications by integrating design and technology
JP6931457B2 (ja) モーション生成方法、モーション生成装置、システム及びコンピュータプログラム
Suárez-Ruiz et al. A framework for fine robotic assembly
JP2019010713A (ja) ハンド制御装置、ハンド制御方法、およびハンドのシミュレーション装置
JP5458274B2 (ja) 把持位置計算装置及び把持位置計算方法
Kaldestad et al. Collision avoidance with potential fields based on parallel processing of 3D-point cloud data on the GPU
JP2013144355A5 (ja)
US11919161B2 (en) Grasp generation for machine tending
JP6418359B1 (ja) ロボットプログラムの生成装置及び生成方法
Shuai et al. Compliant‐based robotic 3D bin packing with unavoidable uncertainties
JP7364505B2 (ja) ハンドリング装置、制御装置、およびプログラム
JP7028092B2 (ja) 把持姿勢評価装置及び把持姿勢評価プログラム
JP7348001B2 (ja) ロボットシミュレーション装置
Hu et al. Rotational Slippage Minimization in Object Manipulation
Leitner et al. Designing Cartman: a cartesian manipulator for the Amazon Robotics Challenge 2017
Shi et al. Real-time grasp planning with environment constraints
Wang et al. A Novel Learning-based Approach for Dual-Arm Robot Operation Point Selection
Watanabe et al. Grasp Motion Planning for box opening task by multi-fingered hands and arms

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17870953

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2018551688

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17870953

Country of ref document: EP

Kind code of ref document: A1