WO2017207436A1 - Industrieroboter - Google Patents

Industrieroboter Download PDF

Info

Publication number
WO2017207436A1
WO2017207436A1 PCT/EP2017/062764 EP2017062764W WO2017207436A1 WO 2017207436 A1 WO2017207436 A1 WO 2017207436A1 EP 2017062764 W EP2017062764 W EP 2017062764W WO 2017207436 A1 WO2017207436 A1 WO 2017207436A1
Authority
WO
WIPO (PCT)
Prior art keywords
industrial robot
absolute
pose
orientation
robot according
Prior art date
Application number
PCT/EP2017/062764
Other languages
English (en)
French (fr)
Inventor
Georg Von Wichert
Wendelin Feiten
Kai Wurm
Original Assignee
Siemens Aktiengesellschaft
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Siemens Aktiengesellschaft filed Critical Siemens Aktiengesellschaft
Publication of WO2017207436A1 publication Critical patent/WO2017207436A1/de

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B25J13/088—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices with position, velocity or acceleration sensors
    • B25J13/089—Determining the position of the robot with reference to its environment
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1602—Programme controls characterised by the control system, structure, architecture
    • B25J9/161—Hardware, e.g. neural networks, fuzzy logic, interfaces, processor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • B25J9/1692—Calibration of manipulator
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/39—Robotics, robotics to robotics hand
    • G05B2219/39024—Calibration of manipulator
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/39—Robotics, robotics to robotics hand
    • G05B2219/39027—Calibrate only some links, part of dofs, lock some links, ref pins on links
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/39—Robotics, robotics to robotics hand
    • G05B2219/39057—Hand eye calibration, eye, camera on hand, end effector

Definitions

  • Industrial robots According to VDI guideline 2860 is at Industrierobo ⁇ tern to universal motion machines with several ⁇ ren axes whose movements are freely programmable sensor-out and, if necessary. Such robots can be equipped, for example, with grippers or other tools as ejectors and can thereby perform handling or production tasks. Consequently, industrial robots consist of several links which connect a base to an effector and are movable according to kinematics.
  • an industrial robot as a robot arm with a serial kinematics, which consists of several main axes and hand axes.
  • the main axes serve primarily the purpose of adjusting a position of the Ef- maschineors, which is mounted on a flange at the end of the robot arm.
  • the hand axes have the task to set an orientation of the effector. While the major axes are selected alternatively as axes of rotation or translation axes or a combination of both types depending on the type of construction and application ⁇ dung purpose of the industrial robot, it is in the hand axes always about axes of rotation.
  • delta robots consist of several kinematic chains, which connect a base with an effector or a working platform.
  • a delta robot consists of three arms, which together connect a work platform to a base.
  • the mathematical description of the movement possibilities of a delta robot here is a closed kinematics, for example a parallel kinematics.
  • the problem may arise that the absolute position and orientation of the effector with respect to an environment is not known with sufficient accuracy. This can also be the case when sensors are installed in the joints or axes of the industrial robot, which can accurately determine their position.
  • the gears in the joints or the mechanical parts may be elastic, or the deflection may be unknown, perhaps because it depends on an unknown load.
  • the kinematic models on the basis of which the position and orientation are calculated may be erroneous. In conventional industrial robots, this is counteracted by designing them so massively that no elasticities occur as far as possible even at high loads. This initially leads to high repeatability. In order to achieve high absolute accuracy, the industrial robot is manually moved to various positions. For each of these positions, the position of an axis is measured from the outside exactly with a distance sensor, as for example in the
  • the position and orientation for example, a beechi ⁇ gen element, feature or object is summarized below and un ⁇ ter the term "pose".
  • the present invention seeks to provide an industrial robot which provides an alternative to the prior art.
  • At least one imaging sensor is mounted on a support member which is one of the members but not the last member. In principle, this can be both a mobile and a stationary industrial robot.
  • imaging sensors are mounted on the links of the industrial robot, which can detect features present in the environment and whose measured values are suitable for absolutely determining the pose of the imaging sensor and thus of the robot member carrying the imaging sensor in relation to the environment.
  • the environment has for this purpose features that can be detected by the sensors, and whose position and orientation relative to the sensors can be determined at least partially. These may be features that are specifically designed for the purpose of determining the position and orientation of the robot, as well as those that are present in the environment anyway.
  • the determination of the position and orientation of the features is done by the industrial robot with its sensors. soren itself.
  • the determined absolute pose is a pose in an absolute, fixed coordinate system.
  • Orientation is also determined in inaccurate or elastic industrial robots and at different loads. Furthermore, parameters can be determined in a model of the industrial robot and so the accuracy of the measurement of position and orientation and the control of the industrial robot can be improved if necessary. By using features that are already present in the environment, costs and set-up times can be reduced. The determination of the position and orientation of the features is done by the industrial robot with the imaging sensors themselves, external calibration devices and special calibration processes are no longer required. Because absolute position and orientation to the absolute coordinate system are used, workpieces can be placed by another agent (human or machine) relative to the absolute coordinate system. For this, the information about position and orientation of some features of the environment can be used.
  • the members of the industrial robot can be, for example, linear axes and / or rotation axes.
  • the last link in the kinematics of a jointed robot with a serial kinematics for example, a member having a flange as a tool interface.
  • the last link is a work platform.
  • the imaging sensors can be mounted, for example, on the respective members or embedded in this.
  • the absolute coordinate system consists of rectangular coordinate axes that are fixed and absolute in space. Its origin is preferably fixed at a single point in space.
  • the absolute coordinate system changes altered or does not move in relation to Industrierobo ⁇ ter, but the members of the industrial robot can be moved entspre ⁇ accordingly the kinematics within the absolute Koordinatensys ⁇ tems.
  • an industrial robot is created
  • the last link has a tool interface, in particular a flange, on which the effector or a changeover mount can be mounted for the effector, and
  • the predetermined pose of the tool interface is at a desired pose for an effector which cut parts to the tool is mounted, the same or can be calculated with egg ⁇ ner simple transformation from this.
  • the setting of the given pose may always include the same orientation, or e.g. only in two or one dimension, for example, if the respective
  • an industrial robot is created
  • the environment may include one or more features aufwei ⁇ sen which one or more imaging sensors are ER- summarizes this.
  • the absolute pose does not have to be determined in all coordinates. It can also have a blurring and be described probabilistically, for example as a probability density function.
  • an industrial robot is created
  • the internal sensors are preferably sensors that detect the positions of joints or axes of the industrial robot.
  • an industrial robot is provided with a controller that
  • an industrial robot in which the control is set up for the simultaneous N localization and map generation using a SLAM algorithm, where at the same time
  • the absolute coordinate system the pose of the features in the environment is ermit ⁇ telt simultaneously determined with respect to the absolute coordinate system, and calculates the pose of the members with respect to the absolute coordinate system.
  • the industrial robot can be given specifications for the map creation according to which criteria it should choose its absolute coordinate system, e.g. in accordance with a room corner or the floor.
  • This embodiment transfers the technique of gleichzeiti ⁇ gene localization (ie, determining the position and orientation) and the structure of a map of characteristics of the environment of mobile robotics to the orientation of a stationary industrial robot.
  • the absolute coordinate system is determined at the same time, determines the position and orientation of features of the environment with respect to the absolute coordinate system, and calculates the position and orientation of ⁇ be moving parts of the industrial robot with respect to the absolu ⁇ th coordinate system. This is based on measurements of sensors mounted on the moving parts.
  • additional sensors are also taken into account, which determine the positions of the joints.
  • an industrial robot is created
  • imaging sen ⁇ sensors are aligned in different directions.
  • the different directions are advantageous because cameras can determine a lateral displacement of a feature better than a distance or rotation of the feature.
  • an industrial robot is created
  • an industrial robot is created
  • At least one imaging sensor is mounted on a plurality of, in particular all, links.
  • the last member thereof may be necessary, except to the effector or use of industrial robot not behin ⁇ countries.
  • an industrial robot is created
  • imaging sensors in which in each case two, three or more imaging sensors are mounted on one or more, in particular all, members, wherein the imaging sensors are aligned in different directions.
  • an industrial robot is created
  • an industrial robot in which the one or more imaging sensors are 2D cameras, 3D cameras, infrared cameras, fringe projection sensors, ultrasonic sensors and / or laser scanners.
  • the one or more imaging sensors are 2D cameras, 3D cameras, infrared cameras, fringe projection sensors, ultrasonic sensors and / or laser scanners.
  • FIG. 2 shows an industrial robot 1 with a camera on a last link 14
  • FIG. 3 shows an industrial robot 1 with a camera on a third link 13.
  • Figure 1 shows an industrial robot 1, which is designed as articulated arm robot with four links.
  • a first member 11 is mounted on a stationary base 10.
  • This is followed in a serial kinematics of the industrial robot 1, a second member 12, on which a first camera 21 is mounted, a third member 13, on which a second camera 22 is mounted, and a last member 14, to which a third camera 23 and fourth camera 24 are mounted, which are aligned in awake Kunststoffli ⁇ chen directions.
  • an effector 15 here a gripper, mounted, which is to use a first workpiece 51 in a second workpiece 52.
  • the last member 14 has a flange plate with a center 3 on which the effector 15 is mounted.
  • the flange plate in this case forms a tool ⁇ interface, on which a change-receiving for under ⁇ different tools can be mounted.
  • the cameras 21, 22, 23, 24 can be distributed arbitrarily on one or more, in particular also all, links.
  • Several cameras operating on the same carrier are mounted, are preferably aligned in under Kunststoffli ⁇ chen directions.
  • the cameras 21, 22, 23, 24 draw, depending on the field of view, a first feature 31, a second feature 32, a third feature
  • Feature 33 and a fourth feature 34 of an environment are, for example, rotation-invariant ARToolkit markers, QR codes or checkerboard patterns.
  • the features can also be existing structures in the environment, which can be extracted as SIFT or SURF features using suitable algorithms.
  • a stationary industrial robot is shown in the figures, and the following embodiments also refer in part to an industrial robot whose base is mounted stationary.
  • the industrial robot deviating from the figures, however, also be mobile in at least one embodiment, and for this purpose be mounted in ⁇ play on a movable platform or themselves have a chassis.
  • absolute positioning is to be understood in the following to move a defined point on the industrial robot 1 to a given in an absolute coordinate system 2.
  • the defined point on Industrierobo ⁇ ter 1 is shown in Figure 1 example, for example, the center of a 3 Flange plate or the outermost point on an axis of rotation of the last member 14, usually the tool interface, or a point on the effector 15 itself.
  • Absolute positioning can also include the setting of an orientation.
  • an absolute pose that is, a position and orientation of the tool interface or the effector 15 is set in the absolute co ⁇ ordinate system. 2
  • the pose to be set may be predefined in this case as given pose and ⁇ example, from CAD data of the second workpiece 52 for a number of operations are calculated when the position of the second workpiece 52 in the absolute coordinate system is known.
  • the absolute coordinate system 2 is based as a stationary Coordina ⁇ tensystem for example, on the stationary base 10 of the In ⁇ dustrieroboters 1 or to an environment, eg a working ⁇ area, a cage around the industrial robot 1, magazines, racks etc..
  • the absolute coordinate system is based on the two Industrierobo ⁇ ter 1, it depends, for example, as shown in Figure 1 ge ⁇ shows on the kinematics of the industrial robot.
  • ge ⁇ shows on the kinematics of the industrial robot.
  • the first movement degree of freedom of the first member 11 is a substantially ver ⁇ Tikale rotational axis 4.
  • this axis of rotation 4 can be used, for example as a z-axis of the absolute coordinate system 2, which is adjusted so that the angle sensor indicates this axis 0 °.
  • the x-axis of the absolute coordinate system 2 is orthogonal ge selects ⁇ to the second member 12, that is, to Ro ⁇ tationsachse of the second degree of freedom, and the z-axis. If we call this the axis of rotation of the second Freedom ⁇ degree u, then the x-axis is the normalized
  • the third feature 33 and the fourth feature 34 are mounted on the work table 5, which are seen in the cameras of the industrial robot 1.
  • the essential features for determining the absolute coordinate system 2 may be as shown in Figure 2 but also in the environment, and they may occur naturally there or specifically be installed, ie they may be there for reasons other than for the purpose of determining the absolute Koordinatensys ⁇ tems 2 have been installed (as a work table, magazine, protective gates, etc.), or there are objects or structures or patterns that are particularly good of the Cameras can be detected and therefore have been installed in the environment.
  • the worktable 5 can be provided with a checkerboard pattern, which is detected particularly well by cameras. Then, this worktable 5 becomes the xy plane, and the origin is set with another pattern, for example, an arrow pointing to a corner in the chessboard.
  • the industrial robot 1 outputs the absolute coordinate system 2 to a user or other machines.
  • the industrial robot 1 drives, for example, certain points in the absolute coordinate system 2, for example
  • a user can manually approach characteristic positions with the industrial robot 1 (for example, a point on a shelf) and, for this purpose, the absolute coordinates as voice output, digital data set, or the like. to spend.
  • the industrial robot 1 hereby communicates correct absolute coordinates, which comply with the rules of geometry in 3D. If two points A and B are given and physically approached in the working space, then the Euclidean distance between the points in calculation, I I A - B I I, and measurement must match. The same applies to angles.
  • the industrial robot 1 mounts a motor for which there is a large variety of variants. Possibly.
  • the design of the engine has also been adapted, and the industrial robot 1 sees this engine for the first time, but knows the CAD plans.
  • the positions that need to be approached se ⁇ quentiell for installation were not previously catered to, which is why no relative positioning with high ⁇ How derholgenautechnik can be used. Instead, one is Absolute positioning required with sufficient accuracy.
  • the engine is, for example, the second workpiece 52, in which the first workpiece 51 is to be ⁇ sets. For this purpose, it is necessary that the position of the second workpiece 52 in the absolute coordinate system 2 of the industrial robot 1 is known exactly.
  • the second workpiece 52 is preferably used in a precisely defined manner by means of centering pins, after which all parts are subsequently mounted on the growing motor.
  • the position of the points of the industrial robot has to process 1 new workpieces in abso ⁇ Luten coordinate system 2, it follows from suitable CAD data and the initial position of the second workpiece 52nd Likewise, the required orientation of the industrial robot follows 1.
  • the industrial robot 1 must therefore be able to assume the respectively required exact position and orientation with the effector 15, and to this end it moves its motors. His so-called internal sensor usually detects the position of his joints. From the prior art, for example from the document “robot calibration”, available on the Internet on 05.07.2016 under
  • the position and orientation y can be described as a function f of the joint positions x and several other parameters p, which determine the function f: f: (x, p) -> y.
  • x is measured via sensors of the internal sensor system and is therefore faulty.
  • the absolute positioning determined in this way is not accurate enough for many applications.
  • the parameters p are not known exactly. This is to improve a calibration in which the parameters are changed so that for a number of phy- in terms of absolute coordinates, the sum of the square deviations of the modeled point and the measured point is minimized.
  • a calibration has limitations. First, it is difficult to measure the points to be physically approached. Second, the model of the industrial robot 1 is not completely often because it depends not all properties abbil ⁇ det, of which the position and orientation of the industrial robot 1 (for example, the center point 3 of its flange ⁇ plate).
  • the positi on ⁇ and orientation of the industrial robot 1 can model is based on the one hand from measurements of the joint positions are derived.
  • the position and orientation can also be measured directly at the effector 15 or at the center 3 of the flange plate.
  • a measuring body between the flange and the effector 15 are mounted, which is detected by an external sensor in the environment.
  • the exact position is hereby determined both from the Messun ⁇ gen of joint positions and the localization of the measuring body and the industrial robot 1 controlled according to this position.
  • such gauges are bulky and may be in the way of some tasks.
  • the first camera 21, second camera 22, third camera 23 and fourth camera 24 distributed on the different links of the industrial robot 1 in FIG. 1 are smaller and more cost-effective than such measuring bodies and provide more
  • the third camera 23 and the fourth camera 24 are in this case directly in the vicinity of the effector 15 on the last member 14 mounted on ⁇ , ie in a similar position as the previously described measuring body. Instead of looking at such a measuring body from outside, the third camera 23 and fourth camera 24 record the third feature 33 and the fourth feature 34 of the environment from the industrial robot 1.
  • a map of the environment and an absolute pose of the industrial robot 1 can be determined by simultaneous localization and map generation.
  • the map of the environment is a statistical estimate, while the absolute pose is well modeled as a probability density function.
  • FIG. 2 again shows an industrial robot 1, which is designed as articulated arm robot with four links.
  • the industrial robot 1 can be designed in this as in all other embodiments with more or less than four members.
  • any kinematics for the industrial robot 1 in question for example, a serial kinematics consisting of Rotati ⁇ onsachsen (R), translation axes (T) or a combination of these two types.
  • the serial kinematics may be, for example, a RRR / RRR, RTR / RRR, TRR / RRR, RRT / RRR, RTT / RRR, RT / RRR or TR / RRR kinematics of a two- or three-robotic robot three main axes and three hand axes act.
  • the kinematics of the industrial robot 1 can also be a parallel kinematic system.
  • the individual case a first member 11 of the industrial robot 1 on a stationary base 10 mon ⁇ advantage.
  • a serial kinematics of Indust ⁇ rieroboters 1 is followed by a second member 12, third member 13 and last member 14, on which a first camera 21 mounted is.
  • the last member 14 has a flange plate with a center 3, on which an effector 15, here a gripper, is mounted, which is to insert a first workpiece 51 into a second workpiece 52.
  • an absolute pose of a movable part of the industrial robot 1 to be ⁇ agree with the absolute pose is a pose in an absolute coordinate system 2 which is already explained wur- de and shown in Figure 2 in a new variant ,
  • the movable member is, for example, the last link 14, the first camera 21 or the effector 15.
  • Corresponding coor dinates ⁇ can be easily converted into one another, since the respective components are rigidly mounted to each other on the last member fourteenth
  • Figure 2 shows the case that the absolute pose for the last link 14, the first camera 21 or the effector 15 will be ⁇ included since the first camera 21 is assembled advantage on the last link 14th
  • the first camera 21 could also be mounted on the second member 12 or on the third member 13, as shown in FIG.
  • the absolute pose of the second member 12 and the third member would be calculated 13, which is also advantageous in order to improve the accuracy of the Berechnun ⁇ gene of the industrial robot 1 for the absolute positioning.
  • the base 10 of the industrial robot 1 is again mounted on a work table 5, which is painted as a first feature 31 with a chess board, which lies in the field of view of the first camera 21.
  • the edge length of the fields of the chess board is known and the first camera 21 calibrated.
  • a kinematic model of the industrial robot 1 is available. Sensors of an internal sensor of the industrial robot 1 record its joint positions, but are not accurate enough for absolute positioning.
  • the map of the environment contains only the reference pattern "chess board” with its intrinsic properties (rectangular, edge length of the fields) and its position and orientation in 3D
  • the map is built in 3D because the industrial robot 1 is free in
  • a map in 2D may also be sufficient depending on the degrees of freedom of the industrial robot 1.
  • the work table 5 is an xy plane of an absolute coordinate system 2, as this communica ⁇ tion of the absolute coordinate system 2 with the outside world simplified.
  • the checkerboard pattern of the f ⁇ th feature 31 defines the xy plane of the absolute Koordinatensys- tems. If the x-axis and y-axis are painted in a chessboard, the complete mapping has been completed.
  • the position and orientation of the first feature 31 relative to the first camera 21 can be determined from the camera image.
  • the camera image is predicted under assumptions about position and orientation, and this prediction is compared with the actual camera image. Then Po are sition and orientation changed until both matches ⁇ over. Since the pose is determined relative to the chessboard of the first feature 1, which also defines the absolute coordinate system 2, it is present in absolute coordinates.
  • a second chessboard 32 is mounted on a wall approximately perpendicular to the first feature 31.
  • Next Tier in ⁇ th step the position and orientation of the second feature 32 is determined.
  • the last member 14 is rotated until the second feature 32 in the camera image of first camera 21 becomes visible.
  • a rotation around a fixed angle range eg 60 ° or 90 °
  • the position and orientation of the second feature 32 is determined as follows. First, the position and orientation of the first camera 21 relative to the first feature 31 is determined. Subsequently, the last member 14 is rotated. In a third step, the position and orientation of the first camera 21 after the rotation is calculated. Finally, the Po ⁇ sition and orientation of the second feature 32 with respect to the first camera 21 in a fourth step is determined. As a result, the position and orientation of the second feature 32 in the absolute coordinate system 2, ie in relation to the first feature 31, are determined.
  • the position of the absolute coordinate system 2 is predetermined by the first feature 31.
  • the first feature 31 is known a priori.
  • the first feature 31 and possibly the second feature 32 can be measured a priori accurately with suitable sensors for this purpose.
  • Figure 3 shows another industrial robot 1, which is designed as articulated arm robot with four members. As previously explained, any other kinematics are possible, for example those of a six- or seven-axis articulated robotic robot.
  • the starting ⁇ solute coordinate system 2 is again selected as shown in Figure 1, being derived from the first member 11, so the first Rotati ⁇ onsachse of the industrial robot 1, the z-axis of the absolute coordinate system 2, as in the context of Figure 1 has been explained.
  • a first feature 31, a second shopping ⁇ times 32, 33 and a third feature, a fourth feature 34 which are known to the industrial robot 1 a priori.
  • the field of view of the industrial robot 1 in this case denotes the coverage of the viewing areas of a first camera 21 for all possible camera positions.
  • the features include, for example, rotation-invariant ARToolkit markers, QR codes or checkerboard patterns.
  • the features can also be structures already present in the environment, which can be extracted as SIFT or SURF features using suitable algorithms.
  • the first camera 21 is ⁇ mon advantage in Figure 3 on the third member. 13 This is merely illustrative of the variety of possible embodiments. Of course, the camera 21 may also be mounted on another of the links 11, 12 or 14.
  • the first camera 21 is moved around ⁇ on the third member 13, whereby the features 31, 32, 33, 34 are detected. This is by defined movements insbesonde ⁇ re translations or rotations of a limb. Using the robot kinematics, information about the position and orientation of the first camera 21 can be calculated here.
  • the position and orientation of the first camera 21 can also be accurately determined from the images of the features 31, 32, 33, 34 much more accurate than just the position of the joints and the kinematic model).
  • the equipment of the industrial robot 1 is completed to use the better estimate of the position and orientation of the features 31, 32, 33, 34 for locating the third camera 23 - the estimation can also be used immediately.
  • the SLAM algorithm used for this purpose is well known from the prior art.
  • cam (k) the position and orientation of the first camera 21 in the absolute coordinate system 2 at a point in time k.
  • These quantities are to be estimated and together form the state vector of the whole system, (cam (1), cam (2), cam (K), mi, m M ).
  • the composition of the position and orientation of the first camera 21 in absolute coordinates and the position and orientation of the respective feature 31, 32, 33, 34 in camera coordinates must be constant. This is achieved by compensating for any errors that may occur.
  • cam (k) + errorc (k) is used as the first part of the composition and s (k, i) + errors (k, i) as the second part of the composition.
  • These errors occur when using a value (as an optimization variable) for cam (k) and mi. They depend on the size of the distance between the value of the optimization variable and the measured value and on the covariances assumed for the measurements.
  • the camera positions and feature positions are chosen so that the total error is minimal. In this case, other camera positions are calculated than those determined solely by the kinematics, that is, the features have a significant influence.
  • the feature positions are also more accurately determined than from a single sighting.
  • the industrial robot 1 is generalized with respect to the illustration in Figure 1 and modeled as a robot with six moving members gi, qe in greater detail.
  • the position and orientation of each link on which a camera is mounted is now included in the state model.
  • the pose of the jeweili ⁇ gen member can system of the respective link are converted by a transformation of a coordinate in a pose of each camera. These are other parameters that also need to be more accurately determined by calibration.
  • the coordinate system of each member is chosen according to the standard model of Denavit and Hartenberg, cf. the document "Denavit-Hartenberg Transformation", available on the Internet on 06.07.2016 under
  • a poster could be present in the environment as a feature on which a point can be precisely determined and also recognized by image processing methods.
  • image features are known, for example, as a SIFT feature or SURF feature, cf. the document "Scale-invariant feature transform", available on the internet on 06.07.2016 under https://en.wikipedia.org/wiki/Scale- invariant_feature_transform.
  • multi-level laser scanners can also be used as imaging sensors, which generate a dense point cloud.
  • a point cloud typically contains characteristic structures that can be used as features for localization and mapping.
  • a laser scanner with a scan plane can also be used here if the environment has sufficiently many characteristic structures. In this case it may be necessary to carry out specific movements for the purpose of better localization and mapping.
  • active features e.g. be attached in the form of light sources in the environment.
  • active features e.g. be attached in the form of light sources in the environment.
  • a high absolute accuracy of the industrial robot can be achieved by simultaneous localization and mapping.
  • a possible implementation of one or more of the embodiments described above consists in a Indust ⁇ rieroboter with a control containing the corresponding loading invoices.
  • the controller can have an electronic memory, evaluate signals of an internal sensor system of the industrial robot and of the imaging sensors and control motors of the industrial robot.
  • the Steue- tion can in this case, also perform control by continually determined from the camera images and the internal sensor, a current absolute pose and this as long Toggle fits until a predetermined pose with a predetermined Ge ⁇ accuracy is set.

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Manipulator (AREA)

Abstract

Ein Industrieroboter (1) mit mehreren Gliedern (11, 12, 13, 14) wird mit mindestens einem bildgebenden Sensor (21, 22, 23, 24) ausgerüstet, welcher jedoch an einem Trägerglied (11, 12, 13) montiert wird, das nicht das letzte Glied (14) in der Kinematik des Roboters ist. Die Kameras werden also nicht am Flansch oder Effektor des Roboters angebracht, sondern an einer der in der Kinematik vorgelagerten Haupt- oder Handachsen. Die Kameras erfassen in der Umgebung vorhandene Merkmale (31, 32, 33, 34), aus denen die Steuerung des Roboters die Pose des bildgebenden Sensors und damit des den bildgebenden Sensor tragenden Roboterglieds in Bezug auf die Umgebung in einem absoluten, festen Koordinatensystem (2) bestimmen kann. Dies bietet den Vorteil, dass eine absolute Position und Orientierung auch bei ungenauen oder elastischen Industrierobotern und bei unterschiedlichen Lasten ermittelt wird. Weiterhin können Parameter in einem Modell des Industrieroboters bestimmt und so die Genauigkeit der Messung von Position und Orientierung sowie die Steuerung des Industrieroboters ggf. verbessert werden. Externe Kalibriervorrichtungen und spezielle Kalibriervorgänge werden nicht mehr zwingend benötigt. Weil absolute Position und Orientierung zu dem absoluten Koordinatensystem verwendet werden, können Werkstücke von einem weiteren Agenten (Mensch oder Maschine) relativ zu dem absoluten Koordinatensystem platziert werden.

Description

Beschreibung
Industrieroboter Laut VDI-Richtlinie 2860 handelt es sich bei Industrierobo¬ tern um universell einsetzbare Bewegungsautomaten mit mehre¬ ren Achsen, deren Bewegungen frei programmierbar und gegebenenfalls sensorgeführt sind. Derartige Roboter lassen sich beispielsweise mit Greifern oder anderen Werkzeugen als Ef- fektor ausrüsten und können hierdurch Handhabungs- oder Fertigungsaufgaben ausführen. Industrieroboter bestehen folglich aus mehreren Gliedern bzw. Achsen, welche eine Basis mit einem Effektor verbinden und gemäß einer Kinematik beweglich sind .
Aus dem Stand der Technik ist bekannt, einen Industrieroboter als Roboterarm mit einer seriellen Kinematik zu konstruieren, welche aus mehreren Hauptachsen und Handachsen besteht. Die Hauptachsen dienen vorrangig dem Zweck, eine Position des Ef- fektors einzustellen, welcher an einem Flansch am Ende des Roboterarms montiert ist. Demgegenüber haben die Handachsen die Aufgabe, eine Orientierung des Effektors einzustellen. Während die Hauptachsen je nach Konstruktionsart und Anwen¬ dungszweck des Industrieroboters wahlweise als Rotationsach- sen oder Translationsachsen oder als Kombination dieser beiden Arten gewählt werden, handelt es sich bei den Handachsen stets um Rotationsachsen.
Ein weiteres Beispiel für Industrieroboter sind Deltaroboter. Diese bestehen aus mehreren kinematischen Ketten, welche eine Basis mit einem Effektor bzw. einer Arbeitsplattform verbinden. Beispielsweise besteht ein Deltaroboter aus drei Armen, die gemeinsam eine Arbeitsplattform mit einer Basis verbinden. Die mathematische Beschreibung der Bewegungsmöglichkei- ten eines Deltaroboters ist hier eine geschlossene Kinematik, beispielsweise eine Parallelkinematik. Bei derartigen Industrierobotern kann das Problem auftreten, dass die absolute Position und Orientierung des Effektors in Bezug auf eine Umgebung nicht hinreichend genau bekannt ist. Dies kann auch dann der Fall sein, wenn in die Gelenke bzw. Achsen des Industrieroboters Sensoren eingebaut sind, welche deren Stellung genau bestimmen können.
Dafür kann es verschiedene Gründe geben: Die Getriebe in den Gelenken oder die mechanischen Teile können elastisch sein, oder die Auslenkung kann unbekannt sein, etwa weil sie von einer unbekannten Last abhängt. Weiterhin können die kinematischen Modelle, aufgrund derer die Position und Orientierung errechnet wird, fehlerhaft sein. Dem wird bei herkömmlichen Industrierobotern dadurch begegnet, diese so massiv auszulegen, dass möglichst auch bei ho¬ her Last keine Elastizitäten auftreten. Dies führt zunächst zu hoher Wiederholgenauigkeit. Um hohe absolute Genauigkeit zu erzielen, wird der Industrieroboter von Hand in verschie- dene Stellungen verfahren. Für jede dieser Stellungen wird die Position einer Achse von außen exakt mit einem Entfernungssensor ausgemessen, wie dies beispielsweise in der
DE 10 2011 052 386 AI offenbart ist. Im Rahmen einer solchen Kalibrierung wird ein Zusammenhang zwischen den Gelenkstel- lungen und der Position und Orientierung des Endeffektors ermittelt und gespeichert.
Beispielsweise aus S. Hutchinson, G. D. Hager, and P. I.
Corke, "A tutorial on visual servo control", IEEE Transacti- ons on Robotics and Automation, vol. 12, no . 5, pp . 651-670, 1996, ist der Ansatz bekannt, eine Kamera auf den Endeffektor zu montieren. Mittels der Kamera wird die relative Position und Orientierung zwischen einem Greifer und einem Werkstück oder zwischen zwei Werkstücken bestimmt.
Die Position und Orientierung, beispielsweise eines beliebi¬ gen Glieds, Merkmals oder Objekts, wird im Folgenden auch un¬ ter dem Begriff "Pose" zusammengefasst . Durch die vorliegende Erfindung soll ein Industrieroboter geschaffen werden, welcher eine Alternative zum Stand der Technik bereitstellt.
Diese Aufgabe wird durch einen Industrieroboter gelöst,
mit mehreren Gliedern, welche gemäß einer Kinematik beweglich sind, wobei ein letztes Glied zur Aufnahme oder Mon¬ tage eines Effektors eingerichtet ist,
dadurch gekennzeichnet, dass
mindestens ein bildgebender Sensor an einem Trägerglied montiert ist, welches eines der Glieder, aber nicht das letzte Glied ist. Grundsätzlich kann es sich hierbei sowohl um einen mobilen als auch um einen stationären Industrieroboter handeln.
Die im Folgenden genannten Vorteile müssen nicht notwendigerweise durch den Gegenstand des unabhängigen Patentanspruchs erzielt werden. Vielmehr kann es sich hierbei auch um Vorteile handeln, welche lediglich durch einzelne Ausführungsformen, Varianten oder Weiterbildungen erzielt werden.
Beispielsweise werden auf den Gliedern des Industrieroboters bildgebende Sensoren angebracht, die in der Umgebung vorhandene Merkmale erfassen können und deren Messwerte geeignet sind, die Pose des bildgebenden Sensors und damit des den bildgebenden Sensor tragenden Roboterglieds in Bezug auf die Umgebung absolut zu bestimmen.
Die Umgebung weist hierzu Merkmale auf, die von den Sensoren erkannt werden können, und deren Position und Orientierung relativ zu den Sensoren zumindest teilweise ermittelt werden kann. Dies können sowohl speziell zum Zweck der Bestimmung von Position und Orientierung des Roboters angebrachte Merkmale sein, als auch solche, die ohnehin in der Umgebung vorhanden sind. Die Bestimmung der Position und Orientierung der Merkmale geschieht durch den Industrieroboter mit seinen Sen- soren selbst. Die ermittelte absolute Pose ist eine Pose in einem absoluten, festen Koordinatensystem.
Ausführungsformen oder Weiterbildung des Industrieroboters können den Vorteil bieten, dass eine absolute Position und
Orientierung auch bei ungenauen oder elastischen Industrierobotern und bei unterschiedlichen Lasten ermittelt wird. Weiterhin können Parameter in einem Modell des Industrieroboters bestimmt und so die Genauigkeit der Messung von Position und Orientierung sowie die Steuerung des Industrieroboters ggf. verbessert werden. Durch die Verwendung von ohnehin in der Umgebung vorhandenen Merkmalen können Kosten und Rüstzeiten reduziert werden. Die Bestimmung der Position und Orientierung der Merkmale geschieht durch den Industrieroboter mit den bildgebenden Sensoren selbst, externe Kalibriervorrichtungen und spezielle Kalibriervorgänge werden nicht mehr zwingend benötigt. Weil absolute Position und Orientierung zu dem absoluten Koordinatensystem verwendet werden, können Werkstücke von einem weiteren Agenten (Mensch oder Maschine) relativ zu dem absoluten Koordinatensystem platziert werden. Dazu kann die Information über Position und Orientierung einiger Merkmale der Umgebung verwendet werden.
Die Glieder des Industrieroboters können beispielsweise Line- arachsen und/oder Rotationsachsen sein. Das letzte Glied in der Kinematik eines Gelenkarmroboters mit einer seriellen Kinematik ist beispielsweise ein Glied, welches einen Flansch als Werkzeugschnittstelle aufweist. Bei einem Deltaroboter mit einer Parallelkinematik ist das letzte Glied beispiels- weise eine Arbeitsplattform.
Die bildgebenden Sensoren können beispielsweise auf den jeweiligen Gliedern montiert oder in diese eingelassen sein. Das absolute Koordinatensystem besteht beispielsweise aus rechtwinkligen Koordinatenachsen, die fest und absolut im Raum stehen. Sein Ursprung ist vorzugsweise an einem einzigen Punkt im Raum fixiert. Das absolute Koordinatensystem verän- dert oder bewegt sich nicht im Verhältnis zum Industrierobo¬ ter, aber die Glieder des Industrieroboters können entspre¬ chend der Kinematik innerhalb des absoluten Koordinatensys¬ tems bewegt werden.
Gemäß einer Ausführungsform wird ein Industrieroboter geschaffen,
bei dem die Glieder auf einer stationären Basis montiert sind,
- bei dem das letzte Glied eine Werkzeugschnittstelle, ins¬ besondere einen Flansch, aufweist, an der der Effektor oder eine Wechselaufnahme für den Effektor montierbar ist, und
eingerichtet zur Ansteuerung von Antrieben der Glieder zur Einstellung einer in einem absoluten Koordinatensystem vorgegebenen Pose der Werkzeugschnittstelle.
Die vorgegebene Pose der Werkzeugschnittstelle ist mit einer gewünschten Pose für einen Effektor, welcher an der Werkzeug- schnittsteile montiert ist, identisch oder lässt sich mit ei¬ ner einfachen Transformation aus dieser berechnen.
Die Einstellung der vorgegebenen Pose kann auch immer die gleiche Orientierung beinhalten, oder z.B. nur in zwei oder einer Dimension erfolgen, beispielsweise wenn die jeweilige
Kinematik konstruktionsbedingt nur dies erlaubt und daher die Einstellmöglichkeiten beschränkt .
Gemäß einer Ausführungsform wird ein Industrieroboter ge- schaffen,
eingerichtet zur Extraktion von Merkmalen einer Umgebung aus Signalen des mindestens einen bildgebenden Sensors so¬ wie zur Bestimmung einer absoluten Pose des Trägerglieds anhand der extrahierten Merkmale, wobei die absolute Pose eine Pose in dem absoluten Koordinatensystem ist, und eingerichtet zur Berücksichtigung der absoluten Pose bei der Einstellung der vorgegebenen Pose der Werkzeugschnittstelle. Die Umgebung kann hierbei ein oder mehrere Merkmale aufwei¬ sen, welche von einem oder mehreren bildgebenden Sensoren er- fasst werden.
Die absolute Pose muss nicht in allen Koordinaten bestimmt werden. Sie kann auch eine Unscharfe aufweisen und probabi- listisch beschrieben sein, beispielsweise als Wahrscheinlich- keitsdichtefunktion .
Gemäß einer Ausführungsform wird ein Industrieroboter geschaffen,
eingerichtet zur Berücksichtigung von Signalen einer internen Sensorik bei der Einstellung der vorgegebenen Pose der Werkzeugschnittstelle.
Bei den internen Sensoren handelt es sich vorzugsweise um Sensoren, die die Stellungen von Gelenken oder Achsen des Industrieroboters ermitteln.
Gemäß einer Ausführungsform wird ein Industrieroboter mit einer Steuerung geschaffen, die
einen elektronischen Speicher aufweist, in dem ein Bewegungsmodell, welches auf der Kinematik basiert, als Pro¬ grammcode und/oder Datenstruktur abgelegt ist,
zur Berechnung von Parametern des Bewegungsmodells in Abhängigkeit von der absoluten Pose und/oder Signalen einer internen Sensorik eingerichtet ist, und
zur Nutzung des Bewegungsmodells zur Einstellung der vorgegebenen Pose der Werkzeugschnittstelle eingerichtet ist.
Hierbei werden die Parameter im Bewegungsmodell des Indust¬ rieroboters bestimmt, was einer laufenden Kalibrierung gleichkommt .
Gemäß einer Ausführungsform wird ein Industrieroboter geschaffen, bei dem die Steuerung eingerichtet ist zur simulta- nen Lokalisierung und Kartenerstellung mittels eines SLAM- Algorithmus, wobei zugleich
ein absolutes Koordinatensystem und eine Karte der Umgebung bestimmt wird, wobei die Karte der Umgebung das mindestens eine extrahierte Merkmal abbildet, und die absolute Pose des Trägerglieds bestimmt wird.
Dabei wird gleichzeitig das absolute Koordinatensystem ermit¬ telt, die Pose der Merkmale in der Umgebung bezüglich des ab- soluten Koordinatensystems bestimmt und die Pose der Glieder bezüglich des absoluten Koordinatensystems berechnet.
Dem Industrieroboter können für die Kartenerstellung bei Bedarf Vorgaben gegeben werden, nach welchen Kriterien er sein absolutes Koordinatensystem wählen soll, z.B. in Übereinstimmung mit einer Raumecke oder dem Fußboden.
Diese Ausführungsform überträgt die Technik der gleichzeiti¬ gen Lokalisierung (d.h. Bestimmung der Position und Orientie- rung) und des Aufbaus einer Karte von Merkmalen der Umgebung von der mobilen Robotik auf die Orientierung eines stationären Industrieroboters. Dabei wird gleichzeitig das absolute Koordinatensystem ermittelt, die Position und Orientierung von Merkmalen der Umgebung bezüglich des absoluten Koordina- tensystems bestimmt und die Position und Orientierung von be¬ weglichen Teilen des Industrieroboters bezüglich des absolu¬ ten Koordinatensystems berechnet. Dies beruht auf Messungen von Sensoren, die auf den beweglichen Teilen angebracht sind. Vorteilhafterweise werden zusätzlich auch Sensoren berück- sichtigt, die die Stellungen der Gelenke ermitteln.
Gemäß einer Ausführungsform wird ein Industrieroboter geschaffen,
mit zwei, drei oder mehr bildgebenden Sensoren, welche an dem Trägerglied montiert sind, wobei die bildgebenden Sen¬ soren in unterschiedlichen Richtungen ausgerichtet sind. Die unterschiedlichen Richtungen sind vorteilhaft, da Kameras einen seitlichen Versatz eines Merkmals besser als eine Entfernung oder Rotation des Merkmals bestimmen können.
Gemäß einer Ausführungsform wird ein Industrieroboter geschaffen,
eingerichtet zur Extraktion der Merkmale der Umgebung aus Signalen von mehreren der bildgebenden Sensoren.
Gemäß einer Ausführungsform wird ein Industrieroboter geschaffen,
bei dem an mehreren, insbesondere allen, Gliedern jeweils mindestens ein bildgebender Sensor montiert ist.
Das letzte Glied kann hiervon ggf. ausgenommen sein, um den Effektor bzw. Einsatz des Industrieroboters nicht zu behin¬ dern .
Gemäß einer Ausführungsform wird ein Industrieroboter ge- schaffen,
bei dem an einem oder mehreren, insbesondere allen, Gliedern jeweils zwei, drei oder mehr bildgebende Sensoren montiert sind, wobei die bildgebenden Sensoren in unterschiedlichen Richtungen ausgerichtet sind.
Gemäß einer Ausführungsform wird ein Industrieroboter geschaffen,
eingerichtet zur Extraktion der Merkmale der Umgebung aus Signalen der bildgebenden Sensoren sowie zur Bestimmung absoluter Posen für die jeweiligen Glieder anhand der extrahierten Merkmale, und
zur Berücksichtigung der absoluten Posen der Glieder bei der Einstellung der vorgegebenen Pose der Werkzeugschnittstelle.
Gemäß einer Ausführungsform wird ein Industrieroboter geschaffen, bei dem der oder die bildgebenden Sensoren 2D-Kameras, 3D- Kameras, Infrarot-Kameras, Streifenprojektionssensoren, Ultraschallsensoren und/oder Laserscanner sind. Im Folgenden werden Ausführungsbeispiele der Erfindung anhand von Figuren näher erläutert. In den Figuren sind gleiche oder funktionsgleiche Elemente mit denselben Bezugszeichen verse¬ hen, sofern nichts anderes angegeben ist. Es zeigen: Figur 1 einen Industrieroboter 1 mit vier Kameras,
Figur 2 einen Industrieroboter 1 mit einer Kamera an einem letzten Glied 14, und Figur 3 einen Industrieroboter 1 mit einer Kamera an einem dritten Glied 13.
Figur 1 zeigt einen Industrieroboter 1, welcher als Gelenkarmroboter mit vier Gliedern ausgeführt ist. Ein erstes Glied 11 ist auf einer stationären Basis 10 montiert. Darauf folgt in einer seriellen Kinematik des Industrieroboters 1 ein zweites Glied 12, an dem eine erste Kamera 21 montiert ist, ein drittes Glied 13, an dem eine zweite Kamera 22 montiert ist, und ein letztes Glied 14, an dem eine dritte Kamera 23 und vierte Kamera 24 montiert sind, welche in unterschiedli¬ chen Richtungen ausgerichtet sind. Am letzten Glied 14 ist auch ein Effektor 15, hier ein Greifer, montiert, welcher ein erstes Werkstück 51 in ein zweites Werkstück 52 einsetzen soll. Beispielsweise weist das letzte Glied 14 eine Flansch- platte mit einem Mittelpunkt 3 auf, an der der Effektor 15 montiert ist. Die Flanschplatte bildet hierbei eine Werkzeug¬ schnittstelle, an der auch eine Wechselaufnahme für unter¬ schiedliche Werkzeuge montiert sein kann. Grundsätzlich können die Kameras 21, 22, 23, 24 beliebig auf einem oder mehreren, insbesondere auch allen, Gliedern verteilt sein. Mehrere Kameras, die auf ein und demselben Trä- gerglied montiert sind, sind vorzugsweise in unterschiedli¬ chen Richtungen ausgerichtet.
Die Kameras 21, 22, 23, 24 zeichnen, je nach Sichtbereich, ein erstes Merkmal 31, ein zweites Merkmal 32, ein drittes
Merkmal 33 und ein viertes Merkmal 34 einer Umgebung auf. Bei den Merkmalen handelt es sich beispielsweise um rotationsinvariante ARToolkit-Marker, QR-Codes oder Schachbrettmuster. Die Merkmale können jedoch auch in der Umgebung ohnehin vor- handene Strukturen sein, welche sich als SIFT- oder SURF- Merkmale mit geeigneten Algorithmen extrahieren lassen.
Zwar ist in den Figuren jeweils ein stationärer Industrieroboter gezeigt, und auch die folgenden Ausführungsbeispiele nehmen teilweise Bezug auf einen Industrieroboter, dessen Basis stationär montiert ist. Grundsätzlich kann der Industrieroboter, abweichend von den Figuren, jedoch in mindestens einem Ausführungsbeispiel auch mobil sein, und hierzu bei¬ spielsweise auf einer verfahrbaren Plattform montiert sein oder selbst über ein Fahrwerk verfügen.
Unter dem Begriff „Absolutpositionierung" soll im Folgenden verstanden werden, einen definierten Punkt am Industrieroboter 1 an eine in einem absoluten Koordinatensystem 2 gegebene Position zu verfahren. Der definierte Punkt am Industrierobo¬ ter 1 ist im in Figur 1 gezeigten Beispiel beispielsweise der Mittelpunkt 3 einer Flanschplatte bzw. der äußerste Punkt auf einer Rotationsachse des letzten Glieds 14, in der Regel also die Werkzeugschnittstelle, oder ein Punkt an dem Effektor 15 selbst.
Die Absolutpositionierung kann hierbei auch die Einstellung einer Orientierung beinhalten. In diesem Fall wird also eine absolute Pose, d.h. eine Position und Orientierung der Werk- zeugschnittstelle oder des Effektors 15, in dem absoluten Ko¬ ordinatensystem 2 eingestellt. Die einzustellende Pose kann hierbei als vorgegebene Pose vorgegeben sein und beispiels¬ weise aus CAD-Daten des zweiten Werkstücks 52 für eine Reihe von Arbeitsschritten berechnet werden, wenn die Position des zweiten Werkstücks 52 im absoluten Koordinatensystem bekannt ist . Das absolute Koordinatensystem 2 ist als ortsfestes Koordina¬ tensystem beispielsweise auf die stationäre Basis 10 des In¬ dustrieroboters 1 oder auf eine Umgebung, z.B. einen Arbeits¬ bereich, einen Käfig um den Industrieroboter 1, Magazine, Regale etc., bezogen.
Wenn das absolute Koordinatensystem 2 auf den Industrierobo¬ ter 1 bezogen ist, hängt es beispielsweise wie in Figur 1 ge¬ zeigt von der Kinematik des Industrieroboters 1 ab. Im in Fi¬ gur 1 gezeigten Ausführungsbeispiel ist der erste Bewegungs- freiheitsgrad des ersten Glieds 11 eine im Wesentlichen ver¬ tikale Rotationsachse 4. Hier kann diese Rotationsachse 4 z.B. als z-Achse des absoluten Koordinatensystems 2 verwendet werden, welche so eingestellt wird, dass der Winkelgeber die¬ ser Achse 0° angibt. Die x-Achse des absoluten Koordinaten- Systems 2 wird orthogonal zum zweiten Glied 12, d.h. zur Ro¬ tationsachse des zweiten Freiheitsgrades, und zur z-Achse ge¬ wählt. Wenn wir diese Rotationsachse des zweiten Freiheits¬ grades u nennen, dann ist die x-Achse das normalisierte
Kreuzprodukt x = (u x z) / | | u x z | |. Die y-Achse ist dann das Kreuzprodukt von z und x, also z x x. Als Ursprung des absoluten Koordinatensystems 2 wird beispielsweise der
Schnitt der z-Achse mit einem Arbeitstisch 5 gewählt. Damit dieser sichtbar ist, werden das dritte Merkmal 33 und das vierte Merkmal 34 auf dem Arbeitstisch 5 angebracht, welche in den Kameras des Industrieroboters 1 gesehen werden.
Dies ist ein Ausführungsbeispiel für ein Roboter-zentriertes absolutes Koordinatensystem 2, d.h. die wesentlichen Merkmale zur Bestimmung des absoluten Koordinatensystems 2 finden sich in der Roboterkinematik. Die wesentlichen Merkmale zur Bestimmung des absoluten Koordinatensystems 2 können sich wie in Figur 2 gezeigt aber auch in der Umgebung befinden, und sie können dort auf natürliche Weise vorkommen oder speziell installiert sein, d.h. sie können dort aus anderen Gründen als zum Zwecke der Ermittlung des absoluten Koordinatensys¬ tems 2 angebracht worden sein (als Arbeitstisch, Magazin, Schutzgatter etc.), oder es sind Gegenstände bzw. Strukturen oder Muster, die besonders gut von den Kameras erfasst werden können und deshalb in der Umgebung angebracht wurden. In letzterem Sinne kann man zum Beispiel den Arbeitstisch 5 mit einem Schachbrettmuster versehen, das besonders gut von Kameras erfasst wird. Dann wird dieser Arbeitstisch 5 die x-y- Ebene, und der Ursprung wird mit einem weiteren Muster festgelegt, beispielsweise mit einem Pfeil, der auf eine Ecke im Schachbrett zeigt.
In einer Variante gibt der Industrieroboter 1 das absolute Koordinatensystem 2 an einen Benutzer oder weitere Maschinen aus. Hierzu fährt der Industrieroboter 1 beispielsweise be¬ stimmte Punkte im absoluten Koordinatensystem 2 an, z.B.
(1,1,0), (1,-1,0), (-1,1,0), (-1,-1,0), (1,1,1), (1,-1,1), (- 1,1,1), (-1,-1,1). Alternativ kann ein Benutzer manuell cha- rakteristische Positionen mit dem Industrieroboter 1 anfahren (beispielsweise einen Punkt an einem Regal) und sich hierzu die absoluten Koordinaten als Sprachausgabe, digitalen Datensatz o.ä. ausgeben lassen. Der Industrieroboter 1 teilt hierbei richtige absolute Koordinaten mit, welche die Regeln der Geometrie in 3D einhalten. Wenn zwei Punkte A und B angegeben werden und im Arbeitsraum physikalisch angefahren werden, dann muss der euklidische Abstand zwischen den Punkten in Berechnung, I I A - B I I, und Messung übereinstimmen. Entsprechendes gilt auch für Winkel.
Gemäß einem Anwendungsszenario montiert der Industrieroboter 1 einen Motor, für den es eine große Variantenvielfalt gibt. Ggf. ist auch die Konstruktion des Motors angepasst worden, und der Industrieroboter 1 sieht diesen Motor zum ersten Mal, kennt aber die CAD-Pläne. Die Positionen, die zur Montage se¬ quentiell angefahren werden müssen, wurden zuvor nicht angefahren, weshalb keine relative Positionierung mit hoher Wie¬ derholgenauigkeit genutzt werden kann. Stattdessen ist eine Absolutpositionierung mit ausreichender Genauigkeit erforderlich. Bezogen auf Figur 1 ist der Motor beispielsweise das zweite Werkstück 52, in welches das erste Werkstück 51 einge¬ setzt werden soll. Dazu ist es erforderlich, dass die Positi- on des zweiten Werkstücks 52 im absoluten Koordinatensystem 2 des Industrieroboters 1 genau bekannt ist. Vorzugsweise wird das zweite Werkstück 52 hierzu in eine Halterung mittels Zentrierstiften genau definiert eingesetzt, woraufhin in der Folge alle Teile an den wachsenden Motor montiert werden. Aus geeigneten CAD-Daten und der anfänglichen Position des zweiten Werkstücks 52 folgt dann die Position der Punkte im abso¬ luten Koordinatensystem 2, an die der Industrieroboter 1 neue Werkstücke verfahren muss. Ebenso folgt die erforderliche Orientierung des Industrieroboters 1.
Der Industrieroboter 1 muss also mit dem Effektor 15 die jeweils notwendige genaue Position und Orientierung einnehmen können, und dazu bewegt er seine Motoren. Seine sogenannte interne Sensorik erfasst üblicherweise die Stellung seiner Gelenke. Aus dem Stand der Technik, beispielsweise aus dem Dokument „Roboterkalibrierung", erhältlich im Internet am 05.07.2016 unter
https://de.wikipedia.org/wiki/Roboterkalibrierung, sind mathematische Grundlagen bekannt, um die Position und Orientie- rung aus diesen Sensormessungen zu berechnen. In Anlehnung an die Notation aus diesem Dokument kann die Position und Orientierung y als eine Funktion f der Gelenkstellungen x und etlicher weiterer Parameter p, welche die Funktion f näher bestimmen, beschrieben werden: f: (x, p) -> y.
Dabei wird x über Sensoren der internen Sensorik gemessen und ist folglich fehlerbehaftet. Die auf diese Weise ermittelte Absolutpositionierung ist für zahlreiche Anwendungsfälle nicht genau genug. Zum einen sind die Parameter p nicht genau bekannt. Dies soll eine Kalibrierung verbessern, bei der die Parameter so verändert werden, dass für eine Anzahl von phy- sikalisch gemessenen Punkten in absoluten Koordinaten die Summe der quadratischen Abweichungen von modelliertem Punkt und gemessenem Punkt minimiert wird. Eine derartige Kalibrierung stößt jedoch an Grenzen. Erstens ist es schwierig, die physikalisch anzufahrenden Punkte zu vermessen. Zweitens ist das Modell des Industrieroboters 1 oft nicht vollständig, da es nicht alle Eigenschaften abbil¬ det, von denen die Position und Orientierung des Industriero- boters 1 (beispielsweise des Mittelpunkts 3 seiner Flansch¬ platte) abhängt. Hierzu zählen Eigenschaften der Getriebe, ihre Elastizitäten oder ihr Hysterese-Verhalten, oder Elastizitäten der Glieder, Temperatureffekte, Ungenauigkeit der in¬ ternen Sensorik etc. Mit entsprechendem Aufwand können genau- ere, d.h. vollständigere Modelle aufgestellt und kalibriert werden .
Zur Erzielung einer hohen Absolutgenauigkeit kann die Positi¬ on und Orientierung des Industrieroboters 1 einerseits aus Messungen der Gelenkstellungen modellbasiert abgeleitet werden. Andererseits kann die Position und Orientierung auch am Effektor 15 oder am Mittelpunkt 3 der Flanschplatte direkt gemessen werden. Beispielsweise kann hierzu ein Messkörper zwischen dem Flansch und dem Effektor 15 angebracht werden, welcher durch einen externen Sensor in der Umgebung erfasst wird. Die genaue Position wird hierbei sowohl aus den Messun¬ gen der Gelenkstellungen als auch der Lokalisierung des Messkörpers ermittelt und der Industrieroboter 1 entsprechend in diese Position geregelt. Allerdings sind derartige Messkörper voluminös und können bei einigen Aufgaben im Weg sein.
Die auf den unterschiedlichen Gliedern des Industrieroboters 1 in Figur 1 verteilte erste Kamera 21, zweite Kamera 22, dritte Kamera 23 und vierte Kamera 24 sind kleiner und kos- tengünstiger als derartige Messkörper und liefern weitere
Messungen, aus denen die genaue Position des Effektors 15 be¬ stimmt werden kann. Die dritte Kamera 23 und die vierte Kamera 24 sind hierbei direkt in der Nähe des Effektors 15 am letzten Glied 14 mon¬ tiert, also in einer ähnlichen Position wie der zuvor erläuterte Messkörper. Anstatt von außen auf einen solchen Mess- körper zu blicken, zeichnen die dritte Kamera 23 und vierte Kamera 24 vom Industrieroboter 1 aus das dritte Merkmal 33 und das vierte Merkmal 34 der Umgebung auf.
Im Folgenden werden mehrere Beispiele erläutert, wie mittels einer simultanen Lokalisierung und Kartenerstellung zugleich das absolute Koordinatensystem 2, eine Karte der Umgebung und eine absolute Pose des Industrieroboters 1 bestimmt werden kann. Hierbei wird Bezug auf Figur 2 und die bisherigen Aus¬ führungen genommen. Bei der Karte der Umgebung handelt es sich beispielsweise um eine statistische Schätzung, während die absolute Pose gut als Wahrscheinlichkeitsdichtefunktion modellierbar ist.
Figur 2 zeigt erneut einen Industrieroboter 1, welcher als Gelenkarmroboter mit vier Gliedern ausgeführt ist. Selbstverständlich kann der Industrieroboter 1 in diesem wie in sämtlichen anderen Ausführungsbeispielen auch mit mehr oder weniger als vier Gliedern ausgeführt sein. Grundsätzlich kommt jede beliebige Kinematik für den Industrieroboter 1 in Frage, beispielsweise eine serielle Kinematik bestehend aus Rotati¬ onsachsen (R) , Translationsachsen (T) oder einer Kombination dieser beiden Arten. Bei der seriellen Kinematik kann es sich beispielsweise um eine RRR/RRR-, RTR/RRR-, TRR/RRR-, RRT/RRR- , RTT/RRR-, RT/RRR- oder TR/RRR-Kinematik eines Roboters mit zwei oder drei Hauptachsen und drei Handachsen handeln. Weiterhin kann die Kinematik des Industrieroboters 1 auch eine Parallelkinematik sein.
Im in Figur 2 gezeigten Einzelfall ist ein erstes Glied 11 des Industrieroboters 1 auf einer stationären Basis 10 mon¬ tiert. Darauf folgt in einer seriellen Kinematik des Indust¬ rieroboters 1 ein zweites Glied 12, ein drittes Glied 13 und ein letztes Glied 14, an dem eine erste Kamera 21 montiert ist. Das letzte Glied 14 weist eine Flanschplatte mit einem Mittelpunkt 3 auf, an der ein Effektor 15, hier ein Greifer, montiert ist, welcher ein erstes Werkstück 51 in ein zweites Werkstück 52 einsetzen soll.
Im vorliegenden Ausführungsbeispiel gilt es, eine absolute Pose eines beweglichen Teils des Industrieroboters 1 zu be¬ stimmen, wobei die absolute Pose eine Pose in einem absoluten Koordinatensystem 2 ist, welches zuvor bereits erläutert wur- de und in einer neuen Variante in Figur 2 eingezeichnet ist. Das bewegliche Teil ist beispielsweise das letzte Glied 14, die erste Kamera 21 oder der Effektor 15. Entsprechende Koor¬ dinaten lassen sich leicht ineinander umrechnen, da die entsprechenden Komponenten starr zueinander am letzten Glied 14 montiert sind.
Figur 2 zeigt zwar den Fall, dass die absolute Pose für das letzte Glied 14, die erste Kamera 21 oder den Effektor 15 be¬ rechnet wird, da die erste Kamera 21 am letzten Glied 14 mon- tiert ist. Grundsätzlich könnte die erste Kamera 21 in Bezug auf die folgenden Ausführungen jedoch auch - und wie in Figur 1 gezeigt - am zweiten Glied 12 oder am dritten Glied 13 montiert sein. In diesem Fall würde die absolute Pose für das zweite Glied 12 bzw. für das dritte Glied 13 berechnet, was ebenfalls vorteilhaft ist, um die Genauigkeit der Berechnun¬ gen des Industrieroboters 1 für die Absolutpositionierung zu verbessern .
In Figur 2 ist die Basis 10 des Industrieroboters 1 erneut auf einem Arbeitstisch 5 montiert, welcher als erstes Merkmal 31 mit einem Schachbrett bemalt ist, welches im Sichtbereich der ersten Kamera 21 liegt. Die Kantenlänge der Felder des Schachbretts ist bekannt und die erste Kamera 21 kalibriert. Weiterhin liegt ein kinematisches Modell des Industrierobo- ters 1 vor. Sensoren einer internen Sensorik des Industrieroboters 1 zeichnen seine Gelenkstellungen auf, sind aber hierbei nicht genau genug für eine Absolutpositionierung. In diesem Fall enthält die Karte der Umgebung lediglich das Referenzmuster „Schachbrett" mit seinen intrinsischen Eigenschaften (rechtwinklig, Kantenlänge der Felder) und seiner Position und Orientierung in 3D. Im vorliegenden Szenario wird die Karte in 3D aufgebaut, weil der Industrieroboter 1 sich frei in 3D bewegen kann. In Abhängigkeit von den Freiheitsgraden des Industrieroboters 1 kann jedoch auch eine Karte in 2D ausreichend sein. Entsprechend Figur 2 gibt der Arbeitstisch 5 eine x-y-Ebene eines absoluten Koordinatensystems 2 vor, da dies die Kommu¬ nikation des absoluten Koordinatensystems 2 mit der Außenwelt vereinfacht. Hierzu definiert das Schachbrettmuster des ers¬ ten Merkmals 31 die x-y-Ebene des absoluten Koordinatensys- tems . Falls die x-Achse und y-Achse im Schachbrett aufgemalt sind, ist das komplette Mapping bereits abgeschlossen.
Die Lokalisierung des Effektors 15 wird nun mittels der ers¬ ten Kamera 21 durchgeführt. In dem in Figur 1 gezeigten Auf- bau lassen sich Position und Orientierung des ersten Merkmals 31 relativ zur ersten Kamera 21 aus dem Kamerabild ermitteln. Beispielsweise wird hierzu unter Annahmen über Position und Orientierung das Kamerabild vorhersagt und diese Prädiktion mit dem tatsächlichen Kamerabild verglichen. Dann werden Po- sition und Orientierung so lange verändert, bis beides über¬ einstimmt. Da die Pose hierbei relativ zum Schachbrett des ersten Merkmals 1 ermittelt wird, welches auch das absolute Koordinatensystem 2 definiert, liegt sie in absoluten Koordinaten vor.
Im Rahmen der Bildverarbeitung lassen sich insbesondere der Abstand zum ersten Merkmal 31 und die Orientierung ggf. nur ungenau bestimmen. Um diese Genauigkeit zu verbessern, wird als zweites Merkmal 32 ein weiteres Schachbrett in etwa senk- recht zum ersten Merkmal 31 an eine Wand montiert. Im nächs¬ ten Schritt wird die Position und Orientierung des zweiten Merkmals 32 bestimmt. Beispielsweise wird hierzu das letzte Glied 14 gedreht, bis das zweite Merkmal 32 im Kamerabild der ersten Kamera 21 sichtbar wird. Eine Drehung um einen festen Winkelbereich (z.B. 60° oder 90°) kann mit herkömmlichen Industrierobotern sehr genau wiederholt werden, da die Wiederholgenauigkeit die absolute Genauigkeit übersteigt.
Die Position und Orientierung des zweiten Merkmals 32 wird wie folgt bestimmt. Zuerst wird die Position und Orientierung der ersten Kamera 21 relativ zum ersten Merkmal 31 ermittelt. Anschließend wird das letzte Glied 14 gedreht. In einem drit- ten Schritt wird die Position und Orientierung der ersten Kamera 21 nach der Drehung berechnet. Abschließend wird die Po¬ sition und Orientierung des zweiten Merkmals 32 in Bezug auf die erste Kamera 21 in einem vierten Schritt bestimmt. Als Ergebnis wird die Position und Orientierung des zweiten Merk- mals 32 im absoluten Koordinatensystem 2, also in Bezug auf das erste Merkmal 31 ermittelt.
Dies kann für viele verschiedene Positionen und Orientierungen des Industrieroboters 1 wiederholt werden, wobei jedes Mal eine andere Position und Orientierung des zweiten Merkmals 32 berechnet wird, obwohl diese konstant sein muss. Da¬ her werden die Parameter der Kamerabewegung und die Position und Orientierung so eingestellt, dass die Schwankung von Po¬ sition und Orientierung des zweiten Merkmals 32 minimiert wird, d.h. die Karte wird verbessert. Gleichzeitig wird damit auch die Schätzung der absoluten Pose des Industrieroboters 1 (hier der ersten Kamera 21) verbessert. Aus der absoluten Pose der ersten Kamera 21 kann auch unmittelbar die absolute Pose des Effektors 15 berechnet werden, da beide am letzten Glied 14 montiert sind.
In dem zuvor erläuterten Ausführungsbeispiel wird die Lage des absoluten Koordinatensystems 2 durch das erste Merkmal 31 vorgegeben. Das erste Merkmal 31 ist hierbei a priori be- kannt . Das erste Merkmal 31 und ggf. das zweite Merkmal 32 können hierzu auch mit geeigneten Sensoren a priori genau vermessen werden. Figur 3 zeigt einen weiteren Industrieroboter 1, welcher als Gelenkarmroboter mit vier Gliedern ausgeführt ist. Wie zuvor erläutert sind auch beliebige andere Kinematiken möglich, beispielsweise die eines sechs- oder siebenachsigen Gelenk- armroboters . Im Ausführungsbeispiel der Figur 3 wird das ab¬ solute Koordinatensystem 2 erneut wie in Figur 1 gezeigt gewählt, wobei aus dem ersten Glied 11, also der erste Rotati¬ onsachse des Industrieroboters 1, die z-Achse des absoluten Koordinatensystems 2 abgeleitet wird, wie dies im Kontext der Figur 1 erläutert wurde. Im Sichtbereich des Industrierobo¬ ters 1 befinden sich ein erstes Merkmal 31, ein zweites Merk¬ mal 32, ein drittes Merkmal 33 und ein viertes Merkmal 34, welche dem Industrieroboter 1 a priori bekannt sind. Der Sichtbereich des Industrieroboters 1 bezeichnet hierbei die Überdeckung der Sichtbereiche einer ersten Kamera 21 für alle möglichen Kamerapositionen. Bei den Merkmalen handelt es sich beispielsweise um rotationsinvariante ARToolkit-Marker, QR- Codes oder Schachbrettmuster. Die Merkmale können jedoch auch in der Umgebung ohnehin vorhandene Strukturen sein, welche sich als SIFT- oder SURF-Merkmale mit geeigneten Algorithmen extrahieren lassen.
Die erste Kamera 21 ist in Figur 3 am dritten Glied 13 mon¬ tiert. Dies dient lediglich der Veranschaulichung der Viel- falt möglicher Ausführungsformen. Selbstverständlich kann die Kamera 21 auch an einem anderen der Glieder 11, 12 oder 14 montiert sein.
Zum Aufbau der Karte und zur gleichzeitigen Lokalisierung wird die erste Kamera 21 auf dem dritten Glied 13 umher¬ bewegt, wodurch die Merkmale 31, 32, 33, 34 erfasst werden. Es handelt sich hierbei um definierte Bewegungen, insbesonde¬ re Translationen oder Rotationen eines Glieds. Anhand der Roboterkinematik lässt sich hierbei eine Information über die Position und Orientierung der ersten Kamera 21 berechnen.
Wenn eines der Merkmale 31, 32, 33, 34 im Kamerabild sichtbar ist, erhalten wir somit eine Schätzung der Position und Orientierung des Merkmals im Kamera-Koordinatensystem und über die Kinematik auch in absoluten Koordinaten. Mit dem Wissen, dass die Position und Orientierung der Merkmale 31, 32, 33, 34 in absoluten Koordinaten konstant ist, kann die Unsicherheit über diese Position und Orientierung minimiert werden. Gleichzeitig können dabei auch die Schätzungen der Parameter der Kinematik optimiert werden. Wenn schließlich Position und Orientierung der Merkmale 31, 32, 33, 34 über viele Messungen hinweg genau bestimmt wurden, kann auch die Position und Orientierung der ersten Kamera 21 aus den Bildern der Merkmale 31, 32, 33, 34 genau bestimmt werden (und zwar viel genauer als allein aus der Stellung der Gelenke und dem kinematischen Modell) . Man muss mit der Verwendung der besseren Schätzung von Position und Orientierung der Merkmale 31, 32, 33, 34 zum Lokalisieren der dritten Kamera 23 jedoch nicht bis zu einem Abschluss der Einrichtung des Industrieroboters 1 warten - man kann die Schätzung auch gleich verwenden.
Der hierzu verwendete SLAM-Algorithmus ist aus dem Stand der Technik hinreichend bekannt. Im Folgenden wird ein geeignetes Ausführungsbeispiel des SLAM-Algorithmus - weiterhin mit Be¬ zug auf Figur 3 - erläutert.
Nennen wir cam(k) die Position und Orientierung der ersten Kamera 21 im absoluten Koordinatensystem 2 zu einem Zeitpunkt k, weiter nennen wir mi die Position und Orientierung des i- ten Merkmals 31, 32, 33, 34 im absoluten Koordinatensystem 2. Diese Größen sollen geschätzt werden und bilden insgesamt den Zustandsvektor des gesamten Systems, (cam(l), cam(2), cam(K), mi , mM) .
Dazu liegen als Messungen Gelenkstellungen xi , xK und Sichtungen der Merkmale 31, 32, 33, 34 vor. Aus einer Gelenkstellung xi folgt eine Messung der Kameraposition cam(i) mit einer gewissen Zuverlässigkeit. Das wird als Wahrscheinlich¬ keitsdichteverteilung für Position und Orientierung modelliert. Wir nehmen dabei an, dass der mittlere Fehler 0 ist, dass die Kinematik also kalibriert ist. Falls keine hochqua- litative Kalibrierung vorliegt, funktioniert die Berechnung dennoch, da lediglich die Kovarianz für cam(i) entsprechend vergrößert wird. Unter der Voraussetzung, dass das Merkmal i von der ersten Kamera 21 zum Zeitpunkt k gesehen wird, bezeichnen wir die Position und Orientierung des Merkmals i in Kamerakoordinaten s(k, i) . Weil die Merkmale 31, 32, 33, 34 konstante Position und Orientierung haben, muss die Komposition der Position und Orientierung der ersten Kamera 21 in absoluten Koordinaten und der Position und Orientierung des jeweiligen Merkmals 31, 32, 33, 34 in Kamerakoordinaten konstant sein. Dies wird erreicht, indem ein eventuell auftretender Fehler ausgeglichen wird. Hierzu wird cam(k) + errorc(k) als erster Teil der Kom- position und s (k, i) + errors (k, i) als zweiter Teil der Komposition verwendet. Diese Fehler ergeben sich, wenn man für cam(k) und mi einen Wert (als Optimierungsvariable) einsetzt. Sie hängen von der Größe der Distanz zwischen dem Wert der Optimierungsvariable und dem Messwert sowie von den für die Messungen angenommenen Kovarianzen ab. Die Kamerapositionen und Merkmalspositionen werden so gewählt, dass der gesamte Fehler minimal ist. Dabei werden andere Kamerapositionen berechnet als die aus der Kinematik allein bestimmten, das heißt, die Merkmale haben einen deutlichen Einfluss. Die Merkmalspositionen werden auch genauer bestimmt als aus einer einzelnen Sichtung heraus.
Hierbei wird zugleich die Karte verbessert und die Position bestimmt, wie dies bei Algorithmen zur simultanen Lokalisie- rung und Kartenerstellung (engl. „Simultanous Localization and Mapping", SLAM) aus dem Stand der Technik bereits für andere Anwendungen bekannt ist. Eine günstige Implementierung dieses Ansatzes stellen Faktorgraph-Algorithmen wie der
GTSAM-Algorithmus bereit, letzterer ist ausführlich erläutert in dem Dokument „Factor Graphs and GTSAM: A Hands-on Intro- duction", Georgia Institute of Technology, Center for Robo- tics and Intelligent Machines, CP&R Technical Report, 2012, erhältlich im Internet am 06.07.2016 unter
http: / /hell .handle.net/1853/45226.
Eine ähnliche Genauigkeit lässt sich für den SLAM-Algorithmus auch erreichen, wenn nicht gleichzeitig über alle Messungen optimiert wird, sondern jede Messung berücksichtigt wird, so¬ bald sie durchgeführt wird. Die zuvor beschriebene Optimie¬ rung des Systemzustands (Lokalisierung und Kartographierung) wird also iterativ durchgeführt. Dazu geeignete Algorithmen sind beispielsweise als Kaimanfilter, Extended-Kalmanfilter , Unscented-Kalmanfilter oder Particle-Filter bekannt aus S. Thrun, W. Burgard, and D. Fox, Probabilistic Robotics, MIT- Press, 2005, S. 65-71, 96-102, 309-317. In den letzten Ausführungsbeispielen wurde die Verwendung einer einzigen Kamera erläutert. Dies lässt sich verallgemei¬ nern. Mit erneutem Bezug auf Figur 1 wird im Folgenden ein Ausführungsbeispiel für die Verwendung von mehreren Kameras 21, 22, 23, 24 auf verschiedenen Gliedern 11, 12, 13, 14 des Industrieroboters 1 erläutert. Für dieses Ausführungsbeispiel wird der Industrieroboter 1 gegenüber der Darstellung in Figur 1 verallgemeinert und als Roboter mit sechs bewegten Gliedern gi, qe in größerem Detail modelliert. Anstatt nur der Position und Orientierung eines der Glieder, beispielsweise des letzten Gliedes qe, wird nun die Position und Orientierung jedes Gliedes, auf dem eine Kamera montiert ist, in das Zustandsmodell aufgenommen. Die Pose des jeweili¬ gen Gliedes kann durch eine Transformation eines Koordinaten- Systems des jeweiligen Gliedes in eine Pose der jeweiligen Kamera umgerechnet werden. Dies sind weitere Parameter, die ebenfalls durch Kalibrierung genauer bestimmen müssen. Das Koordinatensystem des jeweiligen Gliedes wird entsprechend dem Standardmodell von Denavit und Hartenberg gewählt, vgl. das Dokument „Denavit-Hartenberg-Transformation" , erhältlich im Internet am 06.07.2016 unter
https : //de . wikipedia . org/wiki/Denavit-Hartenberg-Transforma¬ tion . Die Gelenkstellungen gehen nun nicht mehr insgesamt in die Berechnung ein, sondern wir berechnen die relative Position und Orientierung zwischen zwei Robotergliedern, die Kameras tragen, während dazwischen liegende Glieder keine Kameras tragen. Ansonsten entspricht die Berechnung den vorangegangenen Ausführungsbeispielen: die Fehler der Messungen werden genauso modelliert und minimiert wie im vorigen Fall, alle Roboterglieder werden gleichzeitig lokalisiert, und es können auch durchaus mehrere Glieder bzw. Kameras die gleichen Merkmale sehen. Auch hier kann die Optimierung sowohl gleichzeitig über alle Beobachtungen als auch iterativ durchgeführt werden . In den letzten Ausführungsbeispielen wurde die Verwendung von a priori bekannten Merkmalen in der Umgebung erläutert. Hierzu eignen sich spezielle optische Marker, bei denen die mög¬ lichen Positionen und Orientierungen der Kamera relativ zum Marker am besten ermittelt werden können. Dies entspricht ei- ner konzentrierten Wahrscheinlichkeitsdichteverteilung. Im Folgenden wird erläutert, wie in den bereits beschriebenen Ausführungsbeispielen jedoch auch andere Merkmale verwendet werden können. Beispielsweise könnte als Merkmal statt eines Schachbrettes ein Plakat in der Umgebung vorhanden sein, auf dem durch Bildverarbeitungsmethoden ein Punkt genau bestimmt und auch wiedererkannt werden kann. Solche Bildmerkmale sind z.B. als SIFT-Feature oder SURF-Feature bekannt, vgl. das Dokument „Scale-invariant feature transform", erhältlich im Internet am 06.07.2016 unter https://en.wikipedia.org/wiki/Scale- invariant_feature_transform.
In einem solchen Fall ist die Bestimmung der Entfernung sehr ungenau, und auch zwei der drei Rotationsparameter sind sehr ungenau. Aber diese Unsicherheit lässt sich wiederum als Wahrscheinlichkeitsdichteverteilung modellieren, und die Genauigkeit der Gesamtschätzung lässt sich wie im vorigen Bei- spiel ermitteln. Es liegen also schlechtere Informationen aus Einzelmessungen vor, welche aber durch mehr unabhängige Messungen kompensiert werden können. In den bisherigen Ausführungsbeispielen wurden Kameras als bildgebende Sensoren erläutert, weil hier eine Tendenz zur Miniaturisierung und Kostensenkung bei gleichzeitig steigender Leistungsfähigkeit besteht. Anstelle der Kameras können in den jeweiligen Ausführungsbeispielen jedoch auch andere bildgebende Sensoren verwendet werden, da die beschriebenen Prinzipien auch für andere Sensoren gültig sind. So eignen sich neben 2D-Kameras auch 3D-Kameras, Infrarotkameras, Streifenprojektionssensoren, Ultraschallsensoren und Laserscanner als bildgebende Sensoren.
Weiterhin können als bildgebende Sensoren anstelle der in der vorangegangenen Ausführungsbeispielen genannten Kameras auch Mehr-Ebenen-Laserscanner eingesetzt werden, die eine dichte Punktwolke erzeugen. Eine solche Punktwolke enthält in der Regel charakteristische Strukturen, die als Merkmale für eine Lokalisierung und Kartographierung verwendet werden können. Auch ein Laserscanner mit einer Scanebene kann hier verwendet werden, wenn die Umgebung hinreichend viele charakteristische Strukturen aufweist. In diesem Fall kann es erforderlich wer- den, zum Zwecke der besseren Lokalisierung und Kartographierung spezifische Bewegungen auszuführen.
Weiterhin können auch aktive Merkmale z.B. in Form von Lichtquellen in der Umgebung angebracht werden. Wie zuvor erläu- tert ist es hilfreich, die absolute Position dieser Marker als a priori Information bereitzustellen, aber nicht unbedingt erforderlich. Auch hier kann durch simultane Lokalisierung und Kartographierung eine hohe Absolutgenauigkeit des Industrieroboters erreicht werden.
Eine mögliche Implementierung eines oder mehrerer der zuvor beschriebenen Ausführungsbeispiele besteht in einem Indust¬ rieroboter mit einer Steuerung, welche die entsprechenden Be- rechnungen ausführt. Die Steuerung kann hierzu einen elektronischen Speicher aufweisen, Signale einer internen Sensorik des Industrieroboters sowie der bildgebenden Sensoren auswerten und Motoren des Industrieroboters ansteuern. Die Steue- rung kann hierbei auch eine Regelung durchführen, indem sie fortwährend aus den Kamerabildern und der internen Sensorik eine aktuelle absolute Pose ermittelt und diese so lange an- passt, bis eine vorgegebene Pose mit einer vorgegebenen Ge¬ nauigkeit eingestellt ist.
Obwohl die Erfindung durch die Ausführungsbeispiele im Detail illustriert und beschrieben wurde, ist sie nicht durch die offenbarten Beispiele eingeschränkt. Andere Variationen kön¬ nen vom Fachmann hieraus abgeleitet werden, ohne den Schutz- umfang der Erfindung zu verlassen. Die beschriebenen Ausführungsbeispiele, Varianten, Ausführungsformen und Weiterbil¬ dungen können auch frei miteinander kombiniert werden.

Claims

Patentansprüche
1. Industrieroboter (1),
mit mehreren Gliedern (11, 12, 13, 14), welche gemäß einer Kinematik beweglich sind, wobei ein letztes Glied (14) zur Aufnahme oder Montage eines Effektors (15) eingerichtet ist,
dadurch gekennzeichnet, dass
mindestens ein bildgebender Sensor (21, 22, 23, 24) an einem Trägerglied montiert ist, welches eines der Glieder (11, 12, 13), aber nicht das letzte Glied (14) ist.
2. Industrieroboter nach Anspruch 1,
bei dem die Glieder (11, 12, 13, 14) auf einer stationären Basis (10) montiert sind,
bei dem das letzte Glied (14) eine Werkzeugschnittstelle, insbesondere einen Flansch mit einem Mittelpunkt (3) , auf¬ weist, an der der Effektor (15) oder eine Wechselaufnahme für den Effektor (15) montierbar ist, und
eingerichtet zur Ansteuerung von Antrieben der Glieder (11, 12, 13, 14) zur Einstellung einer in einem absoluten Koordinatensystem vorgegebenen Pose der Werkzeugschnittstelle.
3. Industrieroboter nach Anspruch 2,
eingerichtet zur Extraktion von Merkmalen (31, 32, 33, 34) einer Umgebung aus Signalen des mindestens einen bildgebenden Sensors (21, 22, 23, 24) sowie zur Bestimmung einer absoluten Pose des Trägerglieds anhand der extrahierten Merkmale (31, 32, 33, 34), wobei die absolute Pose eine Pose in dem absoluten Koordinatensystem ist, und
eingerichtet zur Berücksichtigung der absoluten Pose bei der Einstellung der vorgegebenen Pose der Werkzeugschnittstelle.
4. Industrieroboter nach Anspruch 2 oder 3, eingerichtet zur Berücksichtigung von Signalen einer internen Sensorik bei der Einstellung der vorgegebenen Pose der Werkzeugschnittstelle.
5. Industrieroboter nach Anspruch 3, mit einer Steuerung, die einen elektronischen Speicher aufweist, in dem ein Bewegungsmodell, welches auf der Kinematik basiert, als Pro¬ grammcode und/oder Datenstruktur abgelegt ist,
zur Berechnung von Parametern des Bewegungsmodells in Ab- hängigkeit von der absoluten Pose und/oder Signalen einer internen Sensorik eingerichtet ist, und
zur Nutzung des Bewegungsmodells zur Einstellung der vorgegebenen Pose der Werkzeugschnittstelle eingerichtet ist.
6. Industrieroboter nach Anspruch 5, bei dem die Steuerung eingerichtet ist zur simultanen Lokalisierung und Kartenerstellung mittels eines SLAM-Algorithmus , wobei zugleich ein absolutes Koordinatensystem und eine Karte der Umgebung bestimmt wird, wobei die Karte der Umgebung das mindestens eine extrahierte Merkmal (31, 32, 33, 34) abbildet, und
die absolute Pose des Trägerglieds bestimmt wird.
7. Industrieroboter nach einem der vorhergehenden Ansprüche, - mit zwei, drei oder mehr bildgebenden Sensoren (21, 22, 23, 24), welche an dem Trägerglied montiert sind, wobei die bildgebenden Sensoren (21, 22, 23, 24) in unterschiedlichen Richtungen ausgerichtet sind.
8. Industrieroboter nach Anspruch 3 und 7,
eingerichtet zur Extraktion der Merkmale (31, 32, 33, 34) der Umgebung aus Signalen von mehreren der bildgebenden Sensoren (21, 22, 23, 24) .
9. Industrieroboter nach einem der vorhergehenden Ansprüche, bei dem an mehreren, insbesondere allen, Gliedern (11, 12, 13, 14) jeweils mindestens ein bildgebender Sensor (21, 22, 23, 24) montiert ist.
10. Industrieroboter nach Anspruch 9,
bei dem an einem oder mehreren, insbesondere allen, Gliedern (11, 12, 13, 14) jeweils zwei, drei oder mehr bildge¬ bende Sensoren (21, 22, 23, 24) montiert sind, wobei die bildgebenden Sensoren (21, 22, 23, 24) in unterschiedlichen Richtungen ausgerichtet sind.
11. Industrieroboter nach Anspruch 3 und 9 oder 3 und 10, eingerichtet zur Extraktion der Merkmale (31, 32, 33, 34) der Umgebung aus Signalen der bildgebenden Sensoren (21, 22, 23, 24) sowie zur Bestimmung absoluter Posen für die jeweiligen Glieder (11, 12, 13, 14) anhand der extrahierten Merkmale (31, 32, 33, 34), und
zur Berücksichtigung der absoluten Posen der Glieder (11, 12, 13, 14) bei der Einstellung der vorgegebenen Pose der Werkzeugschnittstelle .
12. Industrieroboter nach einem der vorhergehenden Ansprüche, bei dem der oder die bildgebenden Sensoren (21, 22, 23, 24) 2D-Kameras, 3D-Kameras, Infrarot-Kameras, Streifenpro¬ jektionssensoren, Ultraschallsensoren und/oder Laserscanner sind.
PCT/EP2017/062764 2016-05-31 2017-05-26 Industrieroboter WO2017207436A1 (de)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
DE102016209462 2016-05-31
DE102016209462.9 2016-05-31
DE102016212695.4A DE102016212695B4 (de) 2016-05-31 2016-07-12 Industrieroboter
DE102016212695.4 2016-07-12

Publications (1)

Publication Number Publication Date
WO2017207436A1 true WO2017207436A1 (de) 2017-12-07

Family

ID=60269298

Family Applications (2)

Application Number Title Priority Date Filing Date
PCT/EP2017/062215 WO2017207312A1 (de) 2016-05-31 2017-05-22 Verfahren zur orientierung eines industrieroboters und industrieroboter
PCT/EP2017/062764 WO2017207436A1 (de) 2016-05-31 2017-05-26 Industrieroboter

Family Applications Before (1)

Application Number Title Priority Date Filing Date
PCT/EP2017/062215 WO2017207312A1 (de) 2016-05-31 2017-05-22 Verfahren zur orientierung eines industrieroboters und industrieroboter

Country Status (5)

Country Link
US (1) US20200298411A1 (de)
EP (1) EP3463766A1 (de)
CN (1) CN109153125B (de)
DE (2) DE102016212695B4 (de)
WO (2) WO2017207312A1 (de)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10099372B2 (en) 2017-02-07 2018-10-16 Veo Robotics, Inc. Detecting and classifying workspace regions for safety monitoring
CN110936378A (zh) * 2019-12-04 2020-03-31 中科新松有限公司 一种基于增量补偿的机器人手眼关系自动标定方法
US11518051B2 (en) 2017-02-07 2022-12-06 Veo Robotics, Inc. Dynamic, interactive signaling of safety-related conditions in a monitored environment
US11541543B2 (en) 2017-02-07 2023-01-03 Veo Robotics, Inc. Dynamic, interactive signaling of safety-related conditions in a monitored environment
US11820025B2 (en) 2017-02-07 2023-11-21 Veo Robotics, Inc. Safe motion planning for machinery operation

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102018109329B4 (de) * 2018-04-19 2019-12-05 Gottfried Wilhelm Leibniz Universität Hannover Mehrgliedrige aktuierte Kinematik, vorzugsweise Roboter, besonders vorzugsweise Knickarmroboter
DE102018118265B4 (de) * 2018-07-27 2020-11-12 Sick Ag Verfahren und Überwachungssystem zum Absichern einer Maschine
GB2576322B (en) * 2018-08-13 2022-11-09 Imperial College Innovations Ltd Mapping object instances using video data
US11325252B2 (en) * 2018-09-15 2022-05-10 X Development Llc Action prediction networks for robotic grasping
US10990104B2 (en) 2019-01-10 2021-04-27 General Electric Company Systems and methods including motorized apparatus for calibrating sensors
DE102019105466B3 (de) 2019-03-04 2020-08-06 Forward Ttc Gmbh Verfahren zum Betrieb eines Antriebssystems sowie Antriebssystem
US11254019B2 (en) * 2019-03-05 2022-02-22 The Boeing Company Automatic calibration for a robot optical sensor
GB2582139B (en) * 2019-03-11 2021-07-21 Arrival Ltd A method for determining positional error within a robotic cell environment
CN113825980B (zh) * 2019-07-19 2024-04-09 西门子（中国）有限公司 机器人手眼标定方法、装置、计算设备以及介质
US11679508B2 (en) * 2019-08-01 2023-06-20 Fanuc Corporation Robot device controller for controlling position of robot
JP7306937B2 (ja) * 2019-09-25 2023-07-11 ファナック株式会社 ロボットに支持された部材の位置を調整するロボット装置の制御装置
CN110625597B (zh) * 2019-09-27 2021-01-01 陈小龙 一种基于slam的机器人系统及其示教方法
CN110861081B (zh) * 2019-10-14 2021-10-26 北京航空航天大学 一种欠约束索并联机器人末端执行器的自主定位方法
CN111872931B (zh) * 2020-07-31 2021-08-13 安徽巨一科技股份有限公司 一种机器人自动标定检测位置机构
EP4108390B1 (de) * 2021-06-25 2023-08-02 Sick Ag Verfahren zum sicheren betrieb eines beweglichen maschinenteils
CN113878586B (zh) * 2021-11-04 2023-07-18 杭州景吾智能科技有限公司 机器人运动学标定装置、方法及系统
CN113927599B (zh) * 2021-11-05 2023-12-19 上海新时达电气股份有限公司 绝对精度补偿方法及系统、设备和计算机可读存储介质
DE102021213358A1 (de) 2021-11-26 2023-06-01 Physik Instrumente (PI) GmbH & Co KG Posenbestimmung bei Parallelkinematiken mit Referenzmarkern
CN115008476B (zh) * 2022-08-09 2022-12-13 广州数控设备有限公司 基于等效运动学模型的机器人标定方法及设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4753569A (en) * 1982-12-28 1988-06-28 Diffracto, Ltd. Robot calibration
US20110280472A1 (en) * 2010-05-14 2011-11-17 Wallack Aaron S System and method for robust calibration between a machine vision system and a robot
US20110320042A1 (en) * 2010-06-25 2011-12-29 American Android Corp. Methods and processes to aggregate multiple image feeds and dynamically select command reference frames
DE102011052386A1 (de) 2010-08-03 2012-02-09 Denso Wave Inc. Verfahren und Vorrichtung zum Kalibrieren einer Ursprungsposition eines Gelenkarmroboters

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5297238A (en) * 1991-08-30 1994-03-22 Cimetrix Incorporated Robot end-effector terminal control frame (TCF) calibration method and device
FR2896441B1 (fr) * 2006-01-23 2009-07-03 Jerome Grosbois Procede et systeme permettant la prehension automatisee de piece(s)
DE102006048166A1 (de) * 2006-08-02 2008-02-07 Daimler Ag Verfahren zur Beobachtung einer Person in einem industriellen Umfeld
AT506865B1 (de) * 2008-05-20 2010-02-15 Siemens Vai Metals Tech Gmbh Vorrichtung zum verbessern von genauigkeitseigenschaften von handhabungsgeräten
KR101913332B1 (ko) * 2011-12-23 2018-10-31 삼성전자주식회사 이동 장치 및 이동 장치의 위치 인식 방법
DE102013207899A1 (de) * 2013-04-30 2014-10-30 Kuka Laboratories Gmbh Fahrerloses Transportfahrzeug, System mit einem Rechner und einem fahrerlosen Transportfahrzeug, Verfahren zum Planen einer virtuellen Spur und Verfahren zum Betreiben eines fahrerlosen Transportfahrzeugs
JP6415190B2 (ja) * 2014-09-03 2018-10-31 キヤノン株式会社 ロボット装置、ロボット制御プログラム、記録媒体、およびロボット装置の制御方法
US9630319B2 (en) * 2015-03-18 2017-04-25 Irobot Corporation Localization and mapping using physical features
US10173324B2 (en) * 2015-11-16 2019-01-08 Abb Schweiz Ag Facilitating robot positioning

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4753569A (en) * 1982-12-28 1988-06-28 Diffracto, Ltd. Robot calibration
US20110280472A1 (en) * 2010-05-14 2011-11-17 Wallack Aaron S System and method for robust calibration between a machine vision system and a robot
US20110320042A1 (en) * 2010-06-25 2011-12-29 American Android Corp. Methods and processes to aggregate multiple image feeds and dynamically select command reference frames
DE102011052386A1 (de) 2010-08-03 2012-02-09 Denso Wave Inc. Verfahren und Vorrichtung zum Kalibrieren einer Ursprungsposition eines Gelenkarmroboters

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
"Factor Graphs and GTSAM: A Hands-on Introduction", CP R TECHNICAL REPORT, Retrieved from the Internet <URL:http://hdl.handle.net/1853/45226>
DENAVIT-HARTENBERG-TRANSFORMATION, 6 July 2016 (2016-07-06), Retrieved from the Internet <URL:https://de.wikipedia.org/wiki/Denavit-Hartenberg-Transformation>
S. HUTCHINSON; G. D. HAGER; P. I. CORKE: "A tutorial on visual servo control", IEEE TRANSACTIONS ON ROBOTICS AND AUTOMATION, vol. 12, no. 5, 1996, pages 651 - 670, XP000640600, DOI: doi:10.1109/70.538972
S. THRUN; W. BURGARD; D. FOX: "Probabilistic Robotics", 2005, MIT-PRESS, pages: 65 - 71,96-10
SCALE-INVARIANT FEATURE TRANSFORM, 6 July 2016 (2016-07-06), Retrieved from the Internet <URL:https://en.wikipedia.org/wiki/Scaleinvariant feature transform>

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10099372B2 (en) 2017-02-07 2018-10-16 Veo Robotics, Inc. Detecting and classifying workspace regions for safety monitoring
US10882185B2 (en) 2017-02-07 2021-01-05 Veo Robotics, Inc. Dynamically determining workspace safe zones with speed and separation monitoring
US10899007B2 (en) 2017-02-07 2021-01-26 Veo Robotics, Inc. Ensuring safe operation of industrial machinery
US11040450B2 (en) 2017-02-07 2021-06-22 Veo Robotics, Inc. Dynamically determining and monitoring workspace safe zones using semantic representations of workpieces
US11279039B2 (en) 2017-02-07 2022-03-22 Veo Robotics, Inc. Ensuring safe operation of industrial machinery
US11376741B2 (en) 2017-02-07 2022-07-05 Veo Robotics, Inc. Dynamically determining workspace safe zones with speed and separation monitoring
US11518051B2 (en) 2017-02-07 2022-12-06 Veo Robotics, Inc. Dynamic, interactive signaling of safety-related conditions in a monitored environment
US11541543B2 (en) 2017-02-07 2023-01-03 Veo Robotics, Inc. Dynamic, interactive signaling of safety-related conditions in a monitored environment
US11623356B2 (en) 2017-02-07 2023-04-11 Veo Robotics, Inc. Dynamic, interactive signaling of safety-related conditions in a monitored environment
US11820025B2 (en) 2017-02-07 2023-11-21 Veo Robotics, Inc. Safe motion planning for machinery operation
CN110936378A (zh) * 2019-12-04 2020-03-31 中科新松有限公司 一种基于增量补偿的机器人手眼关系自动标定方法

Also Published As

Publication number Publication date
DE102016212694A1 (de) 2017-11-30
EP3463766A1 (de) 2019-04-10
US20200298411A1 (en) 2020-09-24
DE102016212695B4 (de) 2019-02-21
CN109153125A (zh) 2019-01-04
CN109153125B (zh) 2022-12-13
WO2017207312A1 (de) 2017-12-07
DE102016212695A1 (de) 2017-11-30

Similar Documents

Publication Publication Date Title
DE102016212695B4 (de) Industrieroboter
DE102016011653B4 (de) Robotersystem mit Kamera zum Aufnehmen eines Bildes einer Zielmarke
DE102015101710B4 (de) Verfahren zum Kalibrieren eines beweglichen Greiforgans unter Verwendung einer entfernten Digitalkamera
DE102016114337B4 (de) System und verfahren zum verknüpfen von koordinatenräumen maschinellen sehens in einer umgebung angeleiteten zusammenbaus
DE602005003147T2 (de) Messsystem
DE112019004517T5 (de) Roboterkalibrierung für ar (augmented reality) und digitaler zwilling
DE102018109774B4 (de) Bildverarbeitungssystem, Bildverarbeitungsvorrichtung und Bildverarbeitungsprogramm
DE112011101730T5 (de) System und Verfahren zur robusten Kalibrierung zwischen einem Bildverarbeitungssystem und einem Roboter
DE102004026814A1 (de) Verfahren und Vorrichtung zum Verbessern der Positioniergenauigkeit eines Handhabungsgeräts
DE102015000587A1 (de) Roboterprogrammiervorrichtung zum Erstellen eines Roboterprogramms zum Aufnehmen eines Bilds eines Werkstücks
DE112019000097B4 (de) Steuervorrichtung, Arbeitsroboter, Programm und Steuerverfahren
DE10153049B4 (de) 3D-Koordinationssystem
DE102018202322A1 (de) Robotersystem, Robotersteuervorrichtung und Robotersteuerverfahren
EP3578321A1 (de) Verfahren zum verwenden mit einer maschine zum erstellen einer erweiterte-realität-anzeigeumgebung
DE102019212452A1 (de) Interferenzvermeidungsvorrichtung und Robotersystem
DE102021209178A1 (de) Verfahren und Vorrichtung zum Bestimmen von Relativposen und zur Kalibrierung bei einem Koordinatenmessgerät oder Roboter
DE102019102927B4 (de) Verfahren und Vorrichtung zum Bestimmen von dimensionalen und/oder geometrischen Eigenschaften eines Messobjekts
EP3441200A1 (de) Referenzierverfahren und vorrichtung für industrieroboter
EP4094897B1 (de) Hand-auge-kalibrierung von kamerageführten apparaturen
DE102012022190A1 (de) Inverse Kinematik
EP3542233A1 (de) Vermessen einer bewegungsachse eines roboters
DE102020124136A1 (de) Verfahren und Anordnung zur Kalibrierung einer Parallelkinematik
EP1915239B1 (de) Verfahren zum erzeugen eines umgebungsbildes
DE102015104587B4 (de) Verfahren zum Kalibrieren eines Roboters an einem Arbeitsbereich und System zum Durchführen des Verfahrens
DE10118514B4 (de) Verfahren zur Arbeitspunktstabilisierung bei berührungsloser 3D- Positionserkennung eines zu vermessenden Objektes mittels Digitalkameras

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17727174

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17727174

Country of ref document: EP

Kind code of ref document: A1