WO2023165746A1 - Automation system and method for determining a pose of a sensor device of an automation system - Google Patents

Automation system and method for determining a pose of a sensor device of an automation system Download PDF

Info

Publication number
WO2023165746A1
WO2023165746A1 PCT/EP2023/050431 EP2023050431W WO2023165746A1 WO 2023165746 A1 WO2023165746 A1 WO 2023165746A1 EP 2023050431 W EP2023050431 W EP 2023050431W WO 2023165746 A1 WO2023165746 A1 WO 2023165746A1
Authority
WO
WIPO (PCT)
Prior art keywords
calibration
pose
sensor device
poses
automation system
Prior art date
Application number
PCT/EP2023/050431
Other languages
German (de)
French (fr)
Inventor
Christian Hanel
Simon Jessen
Original Assignee
Robert Bosch Gmbh
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch Gmbh filed Critical Robert Bosch Gmbh
Publication of WO2023165746A1 publication Critical patent/WO2023165746A1/en

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • B25J9/1692—Calibration of manipulator
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • B25J9/1666—Avoiding collision or forbidden zones
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/39—Robotics, robotics to robotics hand
    • G05B2219/39008—Fixed camera detects reference pattern held by end effector

Definitions

  • the present invention relates to a method for determining a pose of a sensor device of an automation system and an automation system.
  • An automation system is known from DE 10 2016 204 174 A1, which can automate parts of a production process for workpieces.
  • the automation system includes a functional module with a sensor unit for recording environmental data and an evaluation unit for determining an absolute position of the functional module in the system area on the basis of the environmental data.
  • Constant innovations mean that the workflows in production processes often have to be changed. Furthermore, the sequences of production processes have dynamic factors, which are recognized by sensors and which must be reacted to by appropriate adaptation.
  • robots with complex kinematics are often used, for example to transport or assemble parts.
  • the robots are typically a Cartesian robot, a SCARA robot or an articulated robot.
  • the movements or tasks that the robot is to process are typically programmed by an application engineer, ie a technician or engineer. All positions that the robot should move to in the application must be specified by the programmer.
  • a distinction is made between static points (ie three-dimensional locations), which do not change during the application's runtime, and dynamic points, which can change during the application's runtime.
  • Static points can be approached precisely with the robot by the applicator using the manual control device and accepted in the program.
  • Dynamic points can be determined, for example, using 3D sensors, in particular by means of optical sensors. Dynamic points are, for example, gripping points on moving objects.
  • the 3D sensor records the environment, for example as a point cloud, a software component evaluates this data and then localizes the object in three-dimensional space with its position and orientation.
  • 3D sensors are also conceivable to grab parts from boxes or pallets or to lift them from belt sections.
  • This technology greatly simplifies the system mechanically, since there is no need for precise mechanical locking and pre-separation of objects. This fact makes the system cheaper, since standardized 3D sensors and software components are used. Adjustments to new products or the reuse of components is possible with little effort.
  • the systems with the 3D sensors are calibrated manually or semi-automatically when the system is commissioned, for example.
  • the relationship between the robot and the 3D sensor is established using hand-eye calibration. This reference is required in order to convert positions detected by the 3D sensor into the robot's coordinate system.
  • a detection device is known from DE 10 2015 226 741 A1, which can have a calibration module that calibrates a component pick-up with a locating device.
  • the calibration can take place by comparing a resulting position of the component pick-up with a marker position of the marker determined by a measuring system.
  • the hand-eye calibration is based on algorithms that process a vector of data pairs as input parameters.
  • a pair of data consists of sensor data, such as a camera image, an image of the surroundings, a topology of the surroundings, a point cloud or the like, which have been determined using the data from the 3D sensor and which relate to a detection area in which a calibration mark mounted on a robot flange or Calibration plate is positioned, as well as the associated Cartesian position with translation and orientation of the robot flange.
  • sensor data such as a camera image, an image of the surroundings, a topology of the surroundings, a point cloud or the like, which have been determined using the data from the 3D sensor and which relate to a detection area in which a calibration mark mounted on a robot flange or Calibration plate is positioned, as well as the associated Cartesian position with translation and orientation of the robot flange.
  • the 3D sensor must also be configured correctly, for example, the exposure time and the aperture must be set for cameras.
  • the calibration engineer must ensure at all times that the kinematics travel without collision. If necessary, the calibration must be aborted and the calibration points must be redetermined to prevent a collision.
  • the calibration therefore requires well-founded specialist knowledge and can typically only be carried out successfully by an expert.
  • the invention described below addresses these issues.
  • the invention provides a method for determining a pose of a sensor device of an automation system and an automation system with the features of the independent patent claims.
  • the invention accordingly relates to a method for determining a pose of a sensor device of an automation system, the automation system also having a processing device with at least one movable component for processing workpieces.
  • a large number of calibration poses are specified, into which a calibration object is to be moved.
  • unsuitable calibration poses are recognized and discarded.
  • the detection of unsuitable calibration poses includes determining whether the calibration object in the calibration pose is at least partially outside a field of view of the sensor device and/or is at least partially covered by components of the automation system and/or is at least partially unrecognizable by the sensor device.
  • a collision-free path is calculated in order to move the calibration object into the calibration poses using the at least one movable component of the processing device.
  • the calibration object is moved along the calculated path into the calibration poses by means of the at least one movable component of the processing device, with the sensor device generating sensor data for each calibration pose.
  • the pose of the sensor device is determined based on the generated sensor data.
  • the pose of the sensor device represents the position and orientation of the sensor device in three-dimensional space.
  • the pose of the sensor device is described either in absolute coordinates, for example in world coordinates, and/or in relative coordinates, in particular in relation to the processing device.
  • the invention relates to an automation system with a sensor device, a processing device and a control device.
  • the sensor device is designed to generate sensor data.
  • the processing device has at least one movable Component, which is designed for processing workpieces.
  • the control device is designed to specify a large number of calibration poses into which a calibration object is to be moved, and is also designed to recognize and reject unsuitable calibration poses.
  • the detection of unsuitable calibration poses includes determining whether the calibration object in the calibration pose is at least partially outside a field of view of the sensor device and/or is at least partially covered by components of the automation system and/or is at least partially unrecognizable by the sensor device.
  • the control device is also designed to calculate a collision-free path in order to move the calibration object into the calibration poses using the at least one movable component of the processing device.
  • the control device is further designed to control the processing device in order to move the calibration object along the calculated path into the calibration poses using the at least one movable component of the processing device, and to control the sensor device to generate sensor data for each calibration pose.
  • the control device is designed to determine a pose of the sensor device based on the generated sensor data.
  • the processing device and/or optionally installed parts on the processing device for example a valve terminal, or other parts of the automation system at least partially cover the calibration object in the direct field of view of the sensor device.
  • the calibration object cannot be fully recognized.
  • the calibration poses are validated by a check, which can be carried out geometrically in particular.
  • This geometric field of view coverage check includes determining whether the calibration object in the calibration pose is at least partially outside a field of view of the sensor device and/or is at least partially covered by components of the automation system and/or is at least partially unrecognizable by the sensor device.
  • an algorithm thus checks whether the field of view between the sensor device and the calibration object is free of overlaps. Unlike manual hand-eye calibrations this has the advantage that the user himself does not have to check a visual field overlap between the sensor visual field and the calibration object in the calibration poses approached or to be approached by the processing device. Especially in the case of the automatically generated calibration poses, this field of view overlap check contributes in a particularly advantageous manner to the automation of the entire calibration process. This has the particular advantage that invalid calibration poses can be recognized and sorted out quickly. It is particularly advantageous that the geometric field of view overlap check is carried out using a 3D simulation with collision detection.
  • the geometry of the calibration pose in particular each calibration pose, is determined dynamically in relation to the calibration object and the sensor device and compared to the processing device, in particular the kinematics, and/or the automation system and/or the optional interference contours, such as valve terminals, is checked for collision. If there is no collision, the field of view of the sensor device is free and the calibration pose can be used to determine the pose of the sensor device.
  • the invention enables the pose of the sensor device (calibration pose or hand-eye calibration pose) to be determined semi-automatically or fully automatically, without special expert knowledge being required for the operation.
  • the sensor device and processing device can be calibrated.
  • the calibration process can be largely automated.
  • the necessary calibration poses are preferably generated and adjusted automatically. Unsuitable calibration poses are automatically discarded.
  • the invention thus provides an integrated path planner that makes it possible to determine collision-free movements between the calibration poses.
  • the invention enables a preferably fully automatic calibration and optimization of the calibration with minimal user interaction.
  • the sensor device is a 3D sensor, which thus generates three-dimensional sensor data.
  • the simple automatic calibration can ensure that 3D sensors can be better established in plant construction.
  • the at least one processing device is a robot.
  • the robot can be a Cartesian robot, a SCARA robot and/or an articulated robot.
  • a user can control the control device via a user interface.
  • the user interface is preferably kept simple and can manage with just a few easily understandable parameter specifications.
  • the processing device is a machine tool, special machine, an industrial robot or a universal, programmable machine for handling, assembling or processing workpieces and/or for handling tasks in logistics and intralogistics.
  • the moving component of the processing device may be a manipulator (such as a robotic arm) or an effector (such as a tool or gripper).
  • the initially specified calibration poses are at least partially specified by experts and determined sensor-specifically.
  • the initially predetermined calibration poses generated at least partially automatically from the sensor-specific field of view of the sensor.
  • the field of view coverage check i.e. determining whether the calibration object in the calibration pose is at least partially covered by components of the automation system
  • the field of view coverage check is carried out using a three-dimensional geometric model of at least part of the processing device.
  • the method for determining the pose of the sensor device of the automation system it is determined whether the calibration object in the calibration pose is at least partially not recognizable by the sensor device, taking into account an alignment of the calibration object relative to the sensor device and/or taking into account lighting conditions.
  • the movable component arranges the calibration object within the field of view of the sensor device. It is then determined whether the calibration object can be recognized.
  • the collision-free path is calculated using a three-dimensional geometric model of at least part of the processing device. This means that collisions can be safely avoided without complex tests. In particular, possible inherent collisions of the at least one moving component and collisions of the at least one moving component with other components of the automation system can be taken into account.
  • the sensor device generates at least one sensor data record for generating the sensor data for each calibration pose in a multiplicity of at least partially different configurations. This allows the determination of the pose of the sensor device to be further improved.
  • the pose of the sensor device is determined for each configuration, and a quality of determination of the pose of the sensor device (i.e. a quality of the calibration corresponding to an error) is determined for each configuration, where that pose of the sensor device is selected in which the quality of the calibration is highest.
  • the quality of the sensor data and/or the quality of the environmental conditions and/or statistical fluctuations can be calculated and taken into account.
  • an initial approximate pose of the sensor device is specified, unsuitable calibration poses being recognized and rejected and the collision-free path being calculated as a function of the initial approximate pose of the sensor device.
  • the pose of the sensor device is determined iteratively, with each iteration step detecting and rejecting unsuitable calibration poses and calculating the collision-free path depending on the pose of the sensor device determined in the previous iteration step he follows.
  • the sensor device is preferably controlled multiple times with different sets of parameters in order to achieve the best possible calibration.
  • the pose of the sensor device is determined using a hand-eye calibration method.
  • the automation system is a versatile manufacturing system.
  • FIG. 1 shows a schematic block diagram of an automation system according to an embodiment of the invention
  • FIG. 2 shows a schematic oblique view of an automation system according to an embodiment of the invention
  • FIG. 3 shows a schematic plan view of the automation system illustrated in FIG. 2 for explaining the detection of an obstruction of the field of vision
  • FIG. 4 shows a schematic oblique view of the automation system illustrated in FIG. 3 for explaining the detection of an obstruction of the field of view;
  • FIG. 5 shows a schematic oblique view of the automation system illustrated in FIG. 2 with a large number of calibration poses
  • FIG. 6 shows a schematic view of the sensor device of the automation system illustrated in FIG. 2 for explaining the automatic determination of the calibration poses
  • FIG. 7 schematic views of automatically generated calibration poses
  • FIG. 8 shows a schematic view of the sensor device of the automation system illustrated in FIG. 2 for explaining the determination of whether the calibration object is in a calibration pose at least partially outside the field of view of the sensor device;
  • FIG. 9 shows a schematic oblique view of the automation system illustrated in FIG. 2 with a calculated collision-free path
  • FIG. 10 shows a flow chart of a method for determining a pose of a sensor device of an automation system according to an embodiment of the invention.
  • FIG. 1 shows a schematic block diagram of an automation system 1 with a sensor device 2, a processing device 3 and a control device 4.
  • the sensor device 2 is, for example, a 3D camera which generates sensor data.
  • the processing device 3 can be a robot, for example, and has at least one movable component that is designed to process workpieces.
  • the movable component can be a gripper arm of the robot, for example.
  • the control device 4 is designed to specify a large number of calibration poses into which a calibration object is to be moved.
  • the calibration object can be, for example, a calibration plate with a pattern (such as a grid) on it.
  • a calibration pose is understood to mean the combination of position and orientation of the calibration object.
  • the orientation can be specified by specifying angles, such as gimbal angles, Euler angles or roll-pitch-yaw angles.
  • the initially specified calibration poses can be specified relative to the coordinate system of the sensor device 2 and thus independently of the processing device 3 .
  • the calibration poses are converted into a coordinate system of the processing device 3 in order to approach it with the movable component.
  • an initial approximate pose of the sensor device 2 can be specified, for example by the user or derived from a CAD construction of the automation system 1.
  • the specified calibration poses can be arranged in a uniformly distributed manner within the field of view (scanning volume) of the sensor device 2 .
  • the control device 4 can also identify and discard unsuitable calibration poses.
  • the detection of unsuitable calibration poses includes three separate checks, which are carried out in a predetermined order or at least partially in parallel.
  • the control device 4 determines whether the calibration object is at least partially outside a field of view of the sensor device in the calibration pose. Accordingly, it is determined whether the calibration object is at least partially outside a field of view of the sensor device in the calibration pose.
  • the control device 4 thus discards all calibration poses that are not located geometrically completely within the field of view of the sensor device.
  • the components can be parts of the processing device 3, for example.
  • a computer-aided design (CAD) modeled image of at least part of the processing device 3 and/or other components of the automation system 1 can be used here.
  • This detection can be based on environmental conditions, such as lighting conditions. Additionally or alternatively, this detection can be carried out using the calibration pose, the orientation of the calibration object relative to the sensor device being taken into account. For example, it can be determined whether a pattern located on the calibration object is in the calibration pose Sensor device can be seen. If the calibration object is a calibration plate, for example, calibration poses are discarded in which the orientation of the plate runs essentially parallel to the optical axis of the sensor device 2, so that a pattern on the calibration plate cannot be recognized by the sensor device 2.
  • control device 4 is designed to calculate a collision-free path in order to move the calibration object into the calibration poses using the at least one movable component of the processing device 3 .
  • control device 4 can use a CAD-modeled image of at least part of the processing device 3 and/or other components of the automation system 1 .
  • the control device 4 is further designed to control the processing device 3 in order to move the calibration object by means of the at least one movable component of the processing device 3 along the calculated path into the calibration poses.
  • the control device 4 also controls the sensor device 2 so that it generates sensor data for each calibration pose.
  • the sensor data can be present as a data pair list, with the calibration poses being assigned the associated 3D sensor data.
  • Several data sets with different parameters, i.e. settings of the sensor device 2 can be recorded.
  • control device 4 is designed to determine a pose of the sensor device 2 based on the generated sensor data. Based on the determined pose of the sensor device 2, the control device 4 calibrates the sensor device 2 of the automation system 1.
  • the settings of the sensor device (such as the exposure time) can optionally differ at least in part.
  • the sensor data are thus generated for at least partially different configurations of the sensor device 2 .
  • the controller can perform a calibration and calculate an error (e.g. a statistical error or an error calculated on the basis of environmental conditions), the sensor data set with the smallest error being selected for determining the pose of the sensor device 2 .
  • the method can be iterated, with unsuitable calibration poses being recognized and discarded in each iteration step and the collision-free path 10 being calculated as a function of the pose of the sensor device 2 determined in the previous iteration step.
  • FIG. 2 shows a schematic oblique view of an automation system 1 .
  • the sensor device 2 has a field of view 5 in which the calibration object 6 can be moved by the movable component 31 of the processing device 3 .
  • FIG. 3 shows a schematic plan view of the automation system 1 illustrated in FIG. 2, and FIG. 4 shows a schematic oblique view of the automation system 1 to explain the detection of an obstruction of the field of vision.
  • the field of view 5 of the sensor device 2 and a calibration object 6 which is located within the field of view 5 are shown.
  • a three-dimensional partial area 61 of the field of view 5 is assigned to the calibration object 6, which corresponds to the spatial area which must not be covered so that the calibration object 6 can be recognized completely.
  • a region 7 of the calibration object 6 is covered by a component of the processing device 3 in the illustrated calibration pose. The component of the processing device 3 is thus located in the partial area 61 of the field of view 5, so that the calibration object 6 cannot be fully recognized.
  • FIG. 5 shows a schematic oblique view of the automation system 1 with a large number of calibration poses p1 to p4. While four calibration poses p1 to p4 are illustrated in FIG. 5, the invention is not limited to a specific number of calibration poses p1 to p4.
  • Several poses are illustrated, including a pose u, with an associated vector running from a predetermined reference point of the processing device 3 to a reference point of the sensor device 2 . This is the determined pose of the sensor device 2.
  • Poses Wi are also illustrated, with the associated vectors in each case from the reference point of the processing device 3 to the respective calibration poses p1 to p4.
  • Further poses Vi are drawn in, with the associated vectors pointing from the reference point of the sensor device 2 to the respective calibration poses p1 to p4.
  • the poses Wi can be calculated from the poses Vi and u.
  • the poses can be described by 4x4 matrices describing translation and orientation.
  • the poses are given with respect to a coordinate system of the sensor device 2 with axes x, y and z. By determining the pose of the sensor device, the poses can also be specified with respect to a coordinate system of the processing device 3 .
  • FIG. 6 shows a schematic view of the sensor device 2 of the automation system 1 illustrated in FIG. 2 to explain the automatic determination of the calibration poses.
  • raster levels 8 can be provided relative to the coordinate system of the sensor device 2 , which have a first raster level 81 , a second raster level 82 and a third raster level 83 in the illustrated embodiment.
  • the invention is not limited to a specific number of grid levels 8 .
  • the grid planes 8 run parallel to one another at a distance h.
  • the raster planes consist of raster elements with width w and length I.
  • the invention is not limited to the use of grids. Other sampling methods can also be used to generate calibration poses.
  • FIG. 7 shows schematic views of automatically generated calibration poses, which are characterized by different positions and orientations x'-y'-z' relative to the coordinate system of the sensor device 2.
  • FIG. 8 shows a schematic view of the sensor device of the automation system 1 illustrated in FIG.
  • the calibration object 6 is located in the edge area outside the field of view 5 of the sensor device 2.
  • the calibration pose shown is therefore discarded.
  • FIG. 9 shows a schematic oblique view of the automation system 1 illustrated in FIG. 2 with a calculated collision-free path 10 on which the calibration poses p1 to p4 lie.
  • FIG. 10 shows a flow chart of a method for determining a pose of a sensor device 2 of an automation system 1.
  • the method can be carried out with an automation system 1 described above.
  • the automation system 1 includes a processing device 3 with at least one movable component 31 for processing workpieces.
  • a first method step S1 an initial approximate pose of the sensor device 2 is specified.
  • a large number of calibration poses p1 to p4 are specified, into which a calibration object 6 is to be moved.
  • unsuitable calibration poses p1 to p4 are identified and discarded.
  • the detection of unsuitable calibration poses includes determining whether the calibration object 6 in the calibration pose p1 to p4 is at least partially outside a field of view of the sensor device 2 and/or is at least partially covered by components of the automation system 1 and/or is at least partially not covered by the sensor device 2 is recognizable.
  • a three-dimensional geometric model of at least part of the processing device can be used to determine whether the calibration object 6 is at least partially covered by components of the automation system 1 in the calibration pose p1 to p4.
  • the orientation of the calibration object 6 and/or lighting conditions can be taken into account when determining whether the calibration object 6 cannot be recognized at least partially by the sensor device in the calibration pose p1 to p4.
  • a collision-free path 10 is calculated in order to move the calibration object 6 into the calibration poses p1 to p4 by means of the at least one movable component 31 of the processing device 3.
  • the collision-free trajectory 10 can be calculated using a three-dimensional geometric model of at least a part of the processing device 3 .
  • step S5 the calibration object 6 is moved along the calculated path into the calibration poses p1 to p4 using the at least one movable component 31 of the processing device 3, with the sensor device 2 generating sensor data for each calibration pose p1 to p4
  • the pose of the sensor device 2 is determined in a method step S6 based on the generated sensor data in order to thereby calibrate the sensor device 2 .
  • the pose of the sensor device 2 can be determined using a known hand-eye calibration method.
  • step S2 to S6 The determination of the pose of the sensor device 2 (steps S2 to S6) can be carried out iteratively.
  • the detection and rejection of unsuitable calibration poses and the calculation of the collision-free path initially take place as a function of the initial approximate pose of the sensor device.
  • unsuitable calibration poses p1 to p4 are recognized and discarded and the collision-free path 10 is calculated as a function of the pose of the sensor device 2 determined in the previous iteration step.

Abstract

The invention relates to a method for determining a pose of a sensor device of an automation system, wherein the automation system further comprises a processing device having at least one moveable component for processing workpieces. A plurality of calibration poses into which a calibration object is to be moved is predefined. Furthermore, unsuitable calibration poses are detected and discarded. Detecting unsuitable calibration poses comprises determining whether the calibration object in the calibration pose is at least partially situated outside a field of view of the sensor device and/or is at least partially concealed by components of the automation system and/or is at least partially undetectable by the sensor device. A collision-free path is calculated in order to move the calibration object into the calibration poses by means of the at least one moveable component of the processing device. The calibration object is moved along the calculated calibration path into the calibration poses by means of the at least one moveable component of the processing device, the sensor device generating sensor data for each calibration pose. The pose of the sensor device is determined using the generated sensor data.

Description

Beschreibung Description
Titel title
Automatisierungssystem und Verfahren zum Ermitteln einer Pose einer Sensorvorrichtung eines Automatisierungssystems Automation system and method for determining a pose of a sensor device of an automation system
Die vorliegende Erfindung betrifft ein Verfahren zum Ermitteln einer Pose einer Sensorvorrichtung eines Automatisierungssystems sowie ein Automatisierungssystem. The present invention relates to a method for determining a pose of a sensor device of an automation system and an automation system.
Stand der Technik State of the art
Produktionsprozesse werden zunehmend automatisiert durchgeführt. Aus der DE 10 2016 204 174 A1 ist eine Automatisierungsanlage bekannt, die Teile eines Produktionsprozesses von Werkstücken automatisieren kann. Die Automatisierungsanlage umfasst ein Funktionsmodul mit einer Sensoreinheit zum Aufnehmen von Umgebungsdaten und eine Auswerteeinheit zum Bestimmen einer absoluten Position des Funktionsmoduls in dem Anlagenbereich auf Basis der Umgebungsdaten. Production processes are increasingly automated. An automation system is known from DE 10 2016 204 174 A1, which can automate parts of a production process for workpieces. The automation system includes a functional module with a sensor unit for recording environmental data and an evaluation unit for determining an absolute position of the functional module in the system area on the basis of the environmental data.
Offenbarung der Erfindung Disclosure of Invention
Ständige Innovationen führen dazu, dass die Abläufe bei Produktionsprozessen häufig geändert werden müssen. Des Weiteren weisen die Abläufe bei Produktionsprozessen dynamische Faktoren auf, welche mittels Sensorik erkannt werden und auf die durch entsprechende Adaption reagiert werden muss. Constant innovations mean that the workflows in production processes often have to be changed. Furthermore, the sequences of production processes have dynamic factors, which are recognized by sensors and which must be reacted to by appropriate adaptation.
In Produktionsanlagen, in der Logistik und in anderen Anlagen kommen häufig Roboter mit komplexer Kinematik zum Einsatz, um beispielsweise Teile zu transportieren oder zu montieren. Typischerweise handelt es sich bei den Robotern um einen kartesischen Roboter, einen SCARA-Roboter oder auch um einen Knickarmroboter. Die Bewegungen bzw. Aufgaben, die der Roboter abarbeiten soll, programmiert typischerweise ein Applikateur, d.h. ein Techniker oder Ingenieur. Alle Positionen, die der Roboter in der Applikation anfahren soll, müssen von dem Programmierer vorgegeben werden. Dabei wird unterschieden zwischen statischen Punkten (d.h. dreidimensionalen Orten), welche sich zur Laufzeit der Applikation nicht ändern, sowie dynamischen Punkten, welche sich zur Laufzeit der Applikation ändern können. In production plants, in logistics and in other plants, robots with complex kinematics are often used, for example to transport or assemble parts. The robots are typically a Cartesian robot, a SCARA robot or an articulated robot. The movements or tasks that the robot is to process are typically programmed by an application engineer, ie a technician or engineer. All positions that the robot should move to in the application must be specified by the programmer. A distinction is made between static points (ie three-dimensional locations), which do not change during the application's runtime, and dynamic points, which can change during the application's runtime.
Statische Punkte können vom Applikateur mittels Handbediengerät präzise mit dem Roboter angefahren und im Programm übernommen werden. Dynamische Punkte können beispielsweise unter Verwendung von 3D-Sensoren bestimmt werden, insbesondere mittels optischer Sensoren. Dynamische Punkte sind beispielsweise Greifpunkte an beweglichen Objekten. Der 3D-Sensor erfasst dabei die Umgebung beispielsweise als Punktwolke, eine Softwarekomponente wertet diese Daten aus und lokalisiert daraufhin das Objekt im dreidimensionalen Raum mit seiner Position und Orientierung. Static points can be approached precisely with the robot by the applicator using the manual control device and accepted in the program. Dynamic points can be determined, for example, using 3D sensors, in particular by means of optical sensors. Dynamic points are, for example, gripping points on moving objects. The 3D sensor records the environment, for example as a point cloud, a software component evaluates this data and then localizes the object in three-dimensional space with its position and orientation.
Auch der Einsatz von 3D-Sensoren ist denkbar, um Teile aus Kisten oder von Paletten zu greifen oder von Bandstrecken zu heben. Diese Technologie vereinfacht die Anlage mechanisch erheblich, da eine präzise mechanische Arretierung und Vorvereinzelung von Objekten entfallen kann. Diese Gegebenheit vergünstigt die Anlage, da standardisierte 3D-Sensoren und Softwarekomponenten zum Einsatz kommen. Anpassungen an neue Produkte oder die Wiederverwendung der Komponenten ist mit geringem Aufwand möglich. The use of 3D sensors is also conceivable to grab parts from boxes or pallets or to lift them from belt sections. This technology greatly simplifies the system mechanically, since there is no need for precise mechanical locking and pre-separation of objects. This fact makes the system cheaper, since standardized 3D sensors and software components are used. Adjustments to new products or the reuse of components is possible with little effort.
Die Kalibrierung der Anlagen mit den 3D-Sensoren erfolgt beispielsweise bei der Inbetriebnahme des Systems manuell oder halbautomatisch. Mittels Hand-Auge- Kalibrierung wird dabei der Bezug zwischen Roboter und 3D-Sensor hergestellt. Dieser Bezug ist erforderlich, um mittels des 3D-Sensors erfasste Positionen in das Koordinatensystem des Roboters umzurechnen. The systems with the 3D sensors are calibrated manually or semi-automatically when the system is commissioned, for example. The relationship between the robot and the 3D sensor is established using hand-eye calibration. This reference is required in order to convert positions detected by the 3D sensor into the robot's coordinate system.
Beispielhaft ist eine Erkennungsvorrichtung aus der DE 10 2015 226 741 A1 bekannt, welche ein Kalibriermodul aufweisen kann, welches einen Bauteilaufnehmer mit einer Ortungseinrichtung kalibriert. Die Kalibrierung kann durch Abgleich einer resultierenden Position des Bauteilaufnehmers mit einer von einem Messsystem ermittelten Markerlage des Markers erfolgen. Die Hand-Auge-Kalibrierung beruht auf Algorithmen, die als Eingangsparameter einen Vektor von Datenpaaren verarbeitet. Hierbei besteht jeweils ein Datenpaar aus Sensordaten, etwa einem Kamerabild, einem Umgebungsbild, einer Umgebungstopologie, einer Punktwolke oder dergleichen, welche anhand der Daten des 3D-Sensors ermittelt worden sind, und welche einen Erfassungsbereich betreffen, in dem eine an einem Roboterflansch montierte Kalibiermarke oder Kalibierplatte positioniert ist, sowie die zugehörige kartesische Position mit Translation und Orientierung des Roboterflanschs. For example, a detection device is known from DE 10 2015 226 741 A1, which can have a calibration module that calibrates a component pick-up with a locating device. The calibration can take place by comparing a resulting position of the component pick-up with a marker position of the marker determined by a measuring system. The hand-eye calibration is based on algorithms that process a vector of data pairs as input parameters. In each case, a pair of data consists of sensor data, such as a camera image, an image of the surroundings, a topology of the surroundings, a point cloud or the like, which have been determined using the data from the 3D sensor and which relate to a detection area in which a calibration mark mounted on a robot flange or Calibration plate is positioned, as well as the associated Cartesian position with translation and orientation of the robot flange.
Für ein möglichst gutes Kalibrierergebnis sind mehrere Datenpaare mit möglichst unterschiedlichen Positionen und Orientierungen der Kalibiermarke nötig, die möglichst im gesamten Erfassungsraum des 3D-Sensors verteilt sind. Dabei stellt es eine Herausforderung dar, den 3D-Sensor gegenüber dem Roboter richtig zu positionieren. Hierbei ist darauf zu achten, dass der Roboter die Kalibriermarke möglichst im gesamten Erfassungsbereich präsentieren kann, dass es also eine möglichst große Schnittmenge mit dem Erfassungsbereich (Scan-Volumen) gibt. For a calibration result that is as good as possible, several pairs of data with positions and orientations of the calibration mark that are as different as possible are required, which are distributed as far as possible over the entire detection space of the 3D sensor. It is a challenge to correctly position the 3D sensor in relation to the robot. It is important to ensure that the robot can present the calibration mark over the entire detection area, i.e. that there is as large an intersection as possible with the detection area (scan volume).
Um eine gute Kalibrierung zu erreichen, ist die Anzahl der Datenpaare von großer Bedeutung, zu wenige oder auch zu viele Datenpaare haben negativen Einfluss. Auch die Unterschiedlichkeit der Positionen der Kalibriermarken beeinflussen das Ergebnis maßgeblich. In order to achieve a good calibration, the number of data pairs is of great importance; too few or too many data pairs have a negative impact. The difference in the positions of the calibration marks also has a significant influence on the result.
Ebenfalls muss der 3D-Sensor korrekt konfiguriert sein, beispielsweise ist bei Kameras die Belichtungszeit und die Blende einzustellen. The 3D sensor must also be configured correctly, for example, the exposure time and the aperture must be set for cameras.
Es ist auch darauf zu achten, dass der Roboter nicht mit der Zelle kollidiert, und nicht selbst die Kalibiermarke das Sichtfeld bzw. Scan-Volumen des 3D-Sensors verdeckt. Der Applikateur muss zu jeder Zeit sicherstellen, dass die Kinematik kollisionsfrei fährt. Gegebenenfalls muss dabei die Kalibrierung abgebrochen werden und die Kalibrierpunkte müssen neu bestimmt werden, um eine Kollision zu verhindern. It is also important to ensure that the robot does not collide with the cell and that the calibration mark itself does not cover the field of view or scan volume of the 3D sensor. The calibration engineer must ensure at all times that the kinematics travel without collision. If necessary, the calibration must be aborted and the calibration points must be redetermined to prevent a collision.
Die Kalibrierung erfordert somit fundierte Fachkenntnisse und kann typischerweise nur von einem Experten erfolgversprechend durchgeführt werden. Die nachfolgend beschriebene Erfindung adressiert diese Punkte. Die Erfindung stellt ein Verfahren zum Ermitteln einer Pose einer Sensorvorrichtung eines Automatisierungssystems sowie ein Automatisierungssystem mit den Merkmalen der unabhängigen Patentansprüche bereit. The calibration therefore requires well-founded specialist knowledge and can typically only be carried out successfully by an expert. The invention described below addresses these issues. The invention provides a method for determining a pose of a sensor device of an automation system and an automation system with the features of the independent patent claims.
Bevorzugte Ausführungsformen sind Gegenstand der jeweiligen Unteransprüche. Preferred embodiments are the subject of the respective dependent claims.
Gemäß einem ersten Aspekt betrifft die Erfindung demnach ein Verfahren zum Ermitteln einer Pose einer Sensorvorrichtung eines Automatisierungssystems, wobei das Automatisierungssystem weiter eine Verarbeitungsvorrichtung mit mindestens einer beweglichen Komponente zum Verarbeiten von Werkstücken aufweist. Eine Vielzahl von Kalibrierposen wird vorgegeben, in welche ein Kalibrierobjekt bewegt werden soll. Weiter werden ungeeignete Kalibrierposen erkannt und verworfen. Das Erkennen ungeeigneter Kalibrierposen umfasst das Ermitteln, ob das Kalibrierobjekt in der Kalibrierpose sich zumindest teilweise außerhalb eines Sichtfeldes der Sensorvorrichtung befindet und/oder zumindest teilweise von Komponenten des Automatisierungssystems verdeckt wird und/oder zumindest teilweise durch die Sensorvorrichtung nicht erkennbar ist. Eine kollisionsfreie Bahn wird berechnet, um das Kalibrierobjekt mittels der mindestens einen beweglichen Komponente der Verarbeitungsvorrichtung in die Kalibrierposen zu bewegen. Das Kalibrierobjekt wird entlang der berechneten Bahn in die Kalibrierposen mittels der mindestens einen beweglichen Komponente der Verarbeitungsvorrichtung bewegt, wobei die Sensorvorrichtung für jede Kalibrierpose Sensordaten erzeugt. Die Pose der Sensorvorrichtung wird anhand der erzeugten Sensordaten ermittelt. Dabei stellt die Pose der Sensorvorrichtung die Position und Orientierung der Sensorvorrichtung im dreidimensionalen Raum dar. Die Pose der Sensorvorrichtung wird dabei entweder in absoluten Koordinaten, beispielsweise in Weltkoordinaten, und/oder in relativen Koordinaten, insbesondere in Bezug auf die Verarbeitungsvorrichtung, beschrieben. According to a first aspect, the invention accordingly relates to a method for determining a pose of a sensor device of an automation system, the automation system also having a processing device with at least one movable component for processing workpieces. A large number of calibration poses are specified, into which a calibration object is to be moved. Furthermore, unsuitable calibration poses are recognized and discarded. The detection of unsuitable calibration poses includes determining whether the calibration object in the calibration pose is at least partially outside a field of view of the sensor device and/or is at least partially covered by components of the automation system and/or is at least partially unrecognizable by the sensor device. A collision-free path is calculated in order to move the calibration object into the calibration poses using the at least one movable component of the processing device. The calibration object is moved along the calculated path into the calibration poses by means of the at least one movable component of the processing device, with the sensor device generating sensor data for each calibration pose. The pose of the sensor device is determined based on the generated sensor data. The pose of the sensor device represents the position and orientation of the sensor device in three-dimensional space. The pose of the sensor device is described either in absolute coordinates, for example in world coordinates, and/or in relative coordinates, in particular in relation to the processing device.
Gemäß einem zweiten Aspekt betrifft die Erfindung ein Automatisierungssystem, mit einer Sensorvorrichtung, einer Verarbeitungsvorrichtung und einer Steuereinrichtung. Die Sensorvorrichtung ist dazu ausgebildet, Sensordaten zu erzeugen. Die Verarbeitungsvorrichtung weist mindestens eine bewegliche Komponente auf, welche zum Verarbeiten von Werkstücken ausgebildet ist. Die Steuereinrichtung ist dazu ausgebildet, eine Vielzahl von Kalibrierposen vorzugeben, in welche ein Kalibrierobjekt bewegt werden soll, und ist weiter dazu ausgebildet, ungeeignete Kalibrierposen zu erkennen und zu verwerfen. Das Erkennen ungeeigneter Kalibrierposen umfasst das Ermitteln, ob das Kalibrierobjekt in der Kalibrierpose sich zumindest teilweise außerhalb eines Sichtfeldes der Sensorvorrichtung befindet und/oder zumindest teilweise von Komponenten des Automatisierungssystems verdeckt wird und/oder zumindest teilweise durch die Sensorvorrichtung nicht erkennbar ist. Weiter ist die Steuereinrichtung dazu ausgebildet, eine kollisionsfreie Bahn zu berechnen, um das Kalibrierobjekt mittels der mindestens einen beweglichen Komponente der Verarbeitungsvorrichtung in die Kalibrierposen zu bewegen. Die Steuereinrichtung ist weiter dazu ausgebildet, die Verarbeitungsvorrichtung anzusteuern, um das Kalibrierobjekt mittels der mindestens einen beweglichen Komponente der Verarbeitungsvorrichtung entlang der berechneten Bahn in die Kalibrierposen zu bewegen, und die Sensorvorrichtung anzusteuern, für jede Kalibrierpose Sensordaten zu erzeugen. Weiter ist die Steuereinrichtung dazu ausgebildet, eine Pose der Sensorvorrichtung anhand der erzeugten Sensordaten zu ermitteln. According to a second aspect, the invention relates to an automation system with a sensor device, a processing device and a control device. The sensor device is designed to generate sensor data. The processing device has at least one movable Component, which is designed for processing workpieces. The control device is designed to specify a large number of calibration poses into which a calibration object is to be moved, and is also designed to recognize and reject unsuitable calibration poses. The detection of unsuitable calibration poses includes determining whether the calibration object in the calibration pose is at least partially outside a field of view of the sensor device and/or is at least partially covered by components of the automation system and/or is at least partially unrecognizable by the sensor device. The control device is also designed to calculate a collision-free path in order to move the calibration object into the calibration poses using the at least one movable component of the processing device. The control device is further designed to control the processing device in order to move the calibration object along the calculated path into the calibration poses using the at least one movable component of the processing device, and to control the sensor device to generate sensor data for each calibration pose. Furthermore, the control device is designed to determine a pose of the sensor device based on the generated sensor data.
Bei der Präsentation des Kalibrierobjektes innerhalb des Sichtfelds der Sensorvorrichtung kann es in speziellen Konstellationen vorkommen, dass die Verarbeitungsvorrichtung und/oder optional installierte Teile an der Verarbeitungsvorrichtung, beispielsweise eine Ventilinsel, oder andere Teile des Automatisierungssystems das Kalibrierobjekt im direkten Sichtfeld der Sensorvorrichtung zumindest teilweise verdeckt. Dadurch kann das Kalibrierobjekt nicht vollständig erkannt werden. Durch eine Überprüfung, welche insbesondere geometrisch erfolgen kann, werden die Kalibrierposen validiert. Diese geometrische Sichtfeldüberdeckungsprüfung umfasst das Ermitteln, ob das Kalibrierobjekt in der Kalibrierpose sich zumindest teilweise außerhalb eines Sichtfeldes der Sensorvorrichtung befindet und/oder zumindest teilweise von Komponenten des Automatisierungssystems verdeckt wird und/oder zumindest teilweise durch die Sensorvorrichtung nicht erkennbar ist. Bei der geometrischen Sichtfeldüberdeckungsprüfung überprüft somit ein Algorithmus, ob das Sichtfeld zwischen der Sensorvorrichtung und des Kalibrierobjektes frei von Überdeckungen ist. Im Gegensatz zu manuellen Hand-Auge-Kalibrierungen hat dies den Vorteil, dass der Anwender selbst keine Prüfung einer Sichtfeldüberdeckung zwischen Sensorsichtfeld und Kalibrierobjekt in den von der Verarbeitungsvorrichtung angefahrenen oder anzufahrenden Kalibrierposen durchführen muss. Gerade bei den automatisch generierten Kalibierposen trägt diese Sichtfeldüberdeckungsprüfung in besonders vorteilhafter Weise zur Automatisierung des gesamten Kalibrierprozesses bei. Dies hat insbesondere den Vorteil, dass ungültige Kalibrierposen schnell erkannt und aussortiert werden können. Besonders vorteilhaft ist, dass die geometrische Sichtfeldüberdeckungsprüfung mittels einer 3D Simulation mit Kollisionserkennung durchgeführt wird. Vorteilhaft ist ferner, dass bei der geometrischen Sichtfeldüberdeckungsprüfung, die Geometrie der Kalibrierpose, insbesondere jede Kalibrierpose, dynamisch in Bezug auf das Kalibierobjekt und die Sensorvorrichtung bestimmt und gegenüber der Verarbeitungsvorrichtung, insbesondere der Kinematik, und/oder dem Automatisierungssystems und/oder den optionalen Störkonturen, wie Ventilinseln, auf Kollision geprüft wird. Herrscht Kollisionsfreiheit ist das Sichtfeld der Sensorvorrichtung frei und die Kalibrierpose kann für die Ermittlung der Pose der Sensorvorrichtung genutzt werden. When the calibration object is presented within the field of view of the sensor device, it can happen in special constellations that the processing device and/or optionally installed parts on the processing device, for example a valve terminal, or other parts of the automation system at least partially cover the calibration object in the direct field of view of the sensor device. As a result, the calibration object cannot be fully recognized. The calibration poses are validated by a check, which can be carried out geometrically in particular. This geometric field of view coverage check includes determining whether the calibration object in the calibration pose is at least partially outside a field of view of the sensor device and/or is at least partially covered by components of the automation system and/or is at least partially unrecognizable by the sensor device. In the geometric field of view overlap check, an algorithm thus checks whether the field of view between the sensor device and the calibration object is free of overlaps. Unlike manual hand-eye calibrations this has the advantage that the user himself does not have to check a visual field overlap between the sensor visual field and the calibration object in the calibration poses approached or to be approached by the processing device. Especially in the case of the automatically generated calibration poses, this field of view overlap check contributes in a particularly advantageous manner to the automation of the entire calibration process. This has the particular advantage that invalid calibration poses can be recognized and sorted out quickly. It is particularly advantageous that the geometric field of view overlap check is carried out using a 3D simulation with collision detection. It is also advantageous that during the geometric field of view overlap check, the geometry of the calibration pose, in particular each calibration pose, is determined dynamically in relation to the calibration object and the sensor device and compared to the processing device, in particular the kinematics, and/or the automation system and/or the optional interference contours, such as valve terminals, is checked for collision. If there is no collision, the field of view of the sensor device is free and the calibration pose can be used to determine the pose of the sensor device.
Vorteile der Erfindung Advantages of the Invention
Die Erfindung ermöglicht die halb- oder vollautomatische Ermittlung der Pose der Sensorvorrichtung (Kalibrierpose bzw. Hand-Auge-Kalibrierungspose), ohne dass besonderes Expertenwissen für die Bedienung erforderlich ist. Durch Ermitteln der Pose der Sensorvorrichtung können Sensorvorrichtung und Verarbeitungsvorrichtung kalibriert werden. Indem der komplexe Kalibriervorgang signifikant vereinfacht wird, können auch Anwender ohne fundierte Vorkenntnisse in der 3D-Bildverarbeitung das Automatisierungssystem erfolgreich kalibrieren. Der Kalibriervorgang kann weitestgehend automatisiert ablaufen. The invention enables the pose of the sensor device (calibration pose or hand-eye calibration pose) to be determined semi-automatically or fully automatically, without special expert knowledge being required for the operation. By determining the pose of the sensor device, the sensor device and processing device can be calibrated. By significantly simplifying the complex calibration process, even users without in-depth knowledge of 3D image processing can successfully calibrate the automation system. The calibration process can be largely automated.
Die notwendigen Kalibierposen werden bevorzugt automatisch generiert und angepasst. Ungeeignete Kalibrierposen werden automatisch verworfen. Die Erfindung stellt somit einen integrierten Bahnplaner bereit, welcher es ermöglicht, kollisionsfreie Bewegungen zwischen den Kalibrierposen zu ermitteln. Die Erfindung ermöglicht eine bevorzugt vollautomatische Kalibrierung und Optimierung der Kalibrierung mit minimaler Nutzerinteraktion. Gemäß einer Ausführungsform des Verfahrens zum Ermitteln der Pose der Sensorvorrichtung des Automatisierungssystems handelt es sich bei der Sensorvorrichtung um einen 3D-Sensor, welcher somit dreidimensionale Sensordaten generiert Durch die einfache automatische Kalibrierung kann erreicht werden, dass sich 3D-Sensorik im Anlagenbau besser etablieren kann. The necessary calibration poses are preferably generated and adjusted automatically. Unsuitable calibration poses are automatically discarded. The invention thus provides an integrated path planner that makes it possible to determine collision-free movements between the calibration poses. The invention enables a preferably fully automatic calibration and optimization of the calibration with minimal user interaction. According to one embodiment of the method for determining the pose of the sensor device of the automation system, the sensor device is a 3D sensor, which thus generates three-dimensional sensor data. The simple automatic calibration can ensure that 3D sensors can be better established in plant construction.
Gemäß einer Ausführungsform des Verfahrens zum Ermitteln der Pose der Sensorvorrichtung des Automatisierungssystems handelt es sich bei der mindestens einen Verarbeitungsvorrichtung um einen Roboter. Bei dem Roboter kann es sich um einen kartesischen Roboter, einen SCARA-Roboter und/oder einen Knickarmroboter handeln. According to one embodiment of the method for determining the pose of the sensor device of the automation system, the at least one processing device is a robot. The robot can be a Cartesian robot, a SCARA robot and/or an articulated robot.
Gemäß einer Ausführungsform des Verfahrens zum Ermitteln der Pose der Sensorvorrichtung des Automatisierungssystems kann ein Nutzer die Steuereinrichtung über ein Nutzerinterface steuern. Bevorzugt wird das Benutzerinterface einfach gehalten und kann mit nur wenigen einfach verständlichen Parameterangaben auskommen. According to one embodiment of the method for determining the pose of the sensor device of the automation system, a user can control the control device via a user interface. The user interface is preferably kept simple and can manage with just a few easily understandable parameter specifications.
Gemäß einer Ausführungsform des Verfahrens zum Ermitteln der Pose der Sensorvorrichtung des Automatisierungssystems handelt es sich bei der Verarbeitungsvorrichtung um eine Werkzeugmaschine, Spezialmaschine, einen Industrieroboter oder eine universelle, programmierbare Maschine zur Handhabung, Montage oder Bearbeitung von Werkstücken und/oder zu Handhabungsaufgaben in der Logistik und Intralogistik. Bei der beweglichen Komponente der Verarbeitungsvorrichtung kann es sich um einen Manipulator (etwa einen Roboterarm) oder einen Effektor (etwa ein Werkzeug oder einen Greifer) handeln. According to one embodiment of the method for determining the pose of the sensor device of the automation system, the processing device is a machine tool, special machine, an industrial robot or a universal, programmable machine for handling, assembling or processing workpieces and/or for handling tasks in logistics and intralogistics. The moving component of the processing device may be a manipulator (such as a robotic arm) or an effector (such as a tool or gripper).
Gemäß einer Ausführungsform des Verfahrens zum Ermitteln der Pose der Sensorvorrichtung des Automatisierungssystems werden die anfänglich vorgegebenen Kalibrierposen zumindest teilweise von Experten vorgegeben und sensorspezifisch ermittelt. According to one embodiment of the method for determining the pose of the sensor device of the automation system, the initially specified calibration poses are at least partially specified by experts and determined sensor-specifically.
Gemäß einer Ausführungsform des Verfahrens zum Ermitteln der Pose der Sensorvorrichtung des Automatisierungssystems werden die anfänglich vorgegebenen Kalibrierposen zumindest teilweise automatisch aus dem sensorspezifischen Sichtfeld des Sensors erzeugt. According to one embodiment of the method for determining the pose of the sensor device of the automation system, the initially predetermined calibration poses generated at least partially automatically from the sensor-specific field of view of the sensor.
Gemäß einer Ausführungsform des Verfahrens zum Ermitteln der Pose der Sensorvorrichtung des Automatisierungssystems erfolgt die Sichtfeldüberdeckungsprüfung (also das Ermitteln, ob das Kalibrierobjekt in der Kalibrierpose zumindest teilweise von Komponenten des Automatisierungssystems verdeckt wird) anhand eines dreidimensionalen geometrischen Modells zumindest eines Teils der Verarbeitungsvorrichtung. According to one embodiment of the method for determining the pose of the sensor device of the automation system, the field of view coverage check (i.e. determining whether the calibration object in the calibration pose is at least partially covered by components of the automation system) is carried out using a three-dimensional geometric model of at least part of the processing device.
Gemäß einer Ausführungsform des Verfahrens zum Ermitteln der Pose der Sensorvorrichtung des Automatisierungssystems erfolgt das Ermitteln, ob das Kalibrierobjekt in der Kalibrierpose zumindest teilweise durch die Sensorvorrichtung nicht erkennbar ist, unter Berücksichtigung einer Ausrichtung des Kalibrierobjekts relativ zur Sensorvorrichtung und/oder unter Berücksichtigung von Lichtverhältnissen. Optional kann weiter vorgesehen sein, dass die beweglichen Komponente das Kalibrierobjekt innerhalb des Sichtfeldes der Sensorvorrichtung anordnet. Es wird dann festgestellt, ob das Kalibrierobjekt erkannt werden kann. According to one embodiment of the method for determining the pose of the sensor device of the automation system, it is determined whether the calibration object in the calibration pose is at least partially not recognizable by the sensor device, taking into account an alignment of the calibration object relative to the sensor device and/or taking into account lighting conditions. Optionally, it can further be provided that the movable component arranges the calibration object within the field of view of the sensor device. It is then determined whether the calibration object can be recognized.
Gemäß einer Ausführungsform des Verfahrens zum Ermitteln der Pose der Sensorvorrichtung des Automatisierungssystems erfolgt das Berechnen der kollisionsfreien Bahn unter Verwendung eines dreidimensionalen geometrischen Modells zumindest eines Teils der Verarbeitungsvorrichtung. Dadurch können Kollisionen ohne aufwändige Tests sicher vermieden werden. Insbesondere können mögliche Eigenkollisionen der mindestens einen beweglichen Komponente sowie Kollisionen der mindestens einen beweglichen Komponente mit weiteren Komponenten des Automatisierungssystems berücksichtigt werden. According to one embodiment of the method for determining the pose of the sensor device of the automation system, the collision-free path is calculated using a three-dimensional geometric model of at least part of the processing device. This means that collisions can be safely avoided without complex tests. In particular, possible inherent collisions of the at least one moving component and collisions of the at least one moving component with other components of the automation system can be taken into account.
Gemäß einer Ausführungsform des Verfahrens zum Ermitteln der Pose der Sensorvorrichtung des Automatisierungssystems erzeugt die Sensorvorrichtung zum Erzeugen der Sensordaten für jede Kalibrierpose in einer Vielzahl von zumindest teilweise unterschiedlichen Konfigurationen jeweils mindestens einen Sensordatensatz. Dadurch lässt sich die Bestimmung der Pose der Sensorvorrichtung weiter verbessern. Gemäß einer Ausführungsform des Verfahrens zum Ermitteln der Pose der Sensorvorrichtung des Automatisierungssystems wird für jede Konfiguration die Pose der Sensorvorrichtung ermittelt, und es wird für jede Konfiguration eine Güte der Ermittlung der Pose der Sensorvorrichtung (also eine Güte der Kalibrierung entsprechend einem Fehler) ermittelt, wobei diejenige Pose der Sensorvorrichtung ausgewählt wird, bei der die Güte der Kalibrierung am höchsten ist. Zur Bestimmung der Güte der Kalibrierung können die Güte der Sensordaten und/oder die Güte der Umgebungsbedingungen und/oder statistische Schwankungen berechnet und berücksichtigt werden. According to one embodiment of the method for determining the pose of the sensor device of the automation system, the sensor device generates at least one sensor data record for generating the sensor data for each calibration pose in a multiplicity of at least partially different configurations. This allows the determination of the pose of the sensor device to be further improved. According to one embodiment of the method for determining the pose of the sensor device of the automation system, the pose of the sensor device is determined for each configuration, and a quality of determination of the pose of the sensor device (i.e. a quality of the calibration corresponding to an error) is determined for each configuration, where that pose of the sensor device is selected in which the quality of the calibration is highest. To determine the quality of the calibration, the quality of the sensor data and/or the quality of the environmental conditions and/or statistical fluctuations can be calculated and taken into account.
Gemäß einer Ausführungsform des Verfahrens zum Ermitteln der Pose der Sensorvorrichtung des Automatisierungssystems wird eine anfängliche näherungsweise Pose der Sensorvorrichtung vorgegeben, wobei das Erkennen und Verwerfen ungeeigneter Kalibrierposen und das Berechnen der kollisionsfreien Bahn in Abhängigkeit von der anfänglichen näherungsweisen Pose der Sensorvorrichtung erfolgen. According to one embodiment of the method for determining the pose of the sensor device of the automation system, an initial approximate pose of the sensor device is specified, unsuitable calibration poses being recognized and rejected and the collision-free path being calculated as a function of the initial approximate pose of the sensor device.
Gemäß einer Ausführungsform des Verfahrens zum Ermitteln der Pose der Sensorvorrichtung des Automatisierungssystems wird das Ermitteln der Pose der Sensorvorrichtung iterativ durchgeführt, wobei bei jedem Iterationsschritt das Erkennen und Verwerfen ungeeigneter Kalibrierposen und das Berechnen der kollisionsfreien Bahn in Abhängigkeit von der im vorherigen Iterationsschritt ermittelten Pose der Sensorvorrichtung erfolgt. Die Sensorvorrichtung wird bevorzugt mit verschiedenen Parametersätzen mehrfach angesteuert, um so eine möglichst gute Kalibrierung zu erzielen. According to one embodiment of the method for determining the pose of the sensor device of the automation system, the pose of the sensor device is determined iteratively, with each iteration step detecting and rejecting unsuitable calibration poses and calculating the collision-free path depending on the pose of the sensor device determined in the previous iteration step he follows. The sensor device is preferably controlled multiple times with different sets of parameters in order to achieve the best possible calibration.
Gemäß einer Ausführungsform des Verfahrens zum Ermitteln der Pose der Sensorvorrichtung des Automatisierungssystems erfolgt das Ermitteln der Pose der Sensorvorrichtung anhand eines Hand-Auge- Kalibrierverfahrens. According to one embodiment of the method for determining the pose of the sensor device of the automation system, the pose of the sensor device is determined using a hand-eye calibration method.
Gemäß einer Ausführungsform des Verfahrens zum Ermitteln der Pose der Sensorvorrichtung des Automatisierungssystems handelt es sich bei dem Automatisierungssystem um ein wandlungsfähiges Fertigungssystem. According to one embodiment of the method for determining the pose of the sensor device of the automation system, the automation system is a versatile manufacturing system.
Kurze Beschreibung der Zeichnungen Es zeigen: Brief description of the drawings Show it:
Figur 1 ein schematisches Blockdiagramm eines Automatisierungssystems gemäß einer Ausführungsform der Erfindung; FIG. 1 shows a schematic block diagram of an automation system according to an embodiment of the invention;
Figur 2 eine schematische Schrägansicht eines Automatisierungssystems gemäß einer Ausführungsform der Erfindung; FIG. 2 shows a schematic oblique view of an automation system according to an embodiment of the invention;
Figur 3 eine schematische Draufsicht auf das in Figur 2 illustrierte Automatisierungssystem zur Erläuterung der Erkennung einer Sichtfeldverdeckung; FIG. 3 shows a schematic plan view of the automation system illustrated in FIG. 2 for explaining the detection of an obstruction of the field of vision;
Figur 4 eine schematische Schrägansicht des in Figur 3 illustrierten Automatisierungssystems zur Erläuterung der Erkennung einer Sichtfeldverdeckung; FIG. 4 shows a schematic oblique view of the automation system illustrated in FIG. 3 for explaining the detection of an obstruction of the field of view;
Figur 5 eine schematische Schrägansicht des in Figur 2 illustrierten Automatisierungssystems mit einer Vielzahl an Kalibrierposen; FIG. 5 shows a schematic oblique view of the automation system illustrated in FIG. 2 with a large number of calibration poses;
Figur 6 eine schematische Ansicht der Sensorvorrichtung des in Figur 2 illustrierten Automatisierungssystems zur Erläuterung der automatischen Bestimmung der Kalibrierposen; FIG. 6 shows a schematic view of the sensor device of the automation system illustrated in FIG. 2 for explaining the automatic determination of the calibration poses;
Figur 7 schematische Ansichten von automatisch erzeugten Kalibrierposen; FIG. 7 schematic views of automatically generated calibration poses;
Figur 8 eine schematische Ansicht der Sensorvorrichtung des in Figur 2 illustrierten Automatisierungssystems zur Erläuterung der Ermittlung, ob sich das Kalibrierobjekt in einer Kalibrierpose zumindest teilweise außerhalb des Sichtfeldes der Sensorvorrichtung befindet; FIG. 8 shows a schematic view of the sensor device of the automation system illustrated in FIG. 2 for explaining the determination of whether the calibration object is in a calibration pose at least partially outside the field of view of the sensor device;
Figur 9 eine schematische Schrägansicht des in Figur 2 illustrierten Automatisierungssystems mit einer berechneten kollisionsfreien Bahn; und Figur 10 ein Flussdiagramm eines Verfahrens zum Ermitteln einer Pose einer Sensorvorrichtung eines Automatisierungssystems gemäß einer Ausführungsform der Erfindung. FIG. 9 shows a schematic oblique view of the automation system illustrated in FIG. 2 with a calculated collision-free path; and FIG. 10 shows a flow chart of a method for determining a pose of a sensor device of an automation system according to an embodiment of the invention.
In allen Figuren sind gleiche bzw. funktionsgleiche Elemente und Vorrichtungen mit denselben Bezugszeichen versehen. Die Nummerierung von Verfahrensschritten dient der Übersichtlichkeit und soll im Allgemeinen keine bestimmte zeitliche Reihenfolge implizieren. Insbesondere können auch mehrere Verfahrensschritte gleichzeitig durchgeführt werden. Elements and devices that are the same or have the same function are provided with the same reference symbols in all figures. The numbering of method steps is for the sake of clarity and is generally not intended to imply a specific chronological order. In particular, several method steps can also be carried out simultaneously.
Beschreibung der Ausführungsbeispiele Description of the exemplary embodiments
Figur 1 zeigt ein schematisches Blockdiagramm eines Automatisierungssystems 1 mit einer Sensorvorrichtung 2, einer Verarbeitungsvorrichtung 3 und einer Steuereinrichtung 4. Die Sensorvorrichtung 2 ist beispielsweise eine 3D-Kamera, welche Sensordaten erzeugt. Die Verarbeitungsvorrichtung 3 kann beispielsweise ein Roboter sein und weist mindestens eine bewegliche Komponente auf, welche zum Verarbeiten von Werkstücken ausgebildet ist. Bei der beweglichen Komponente kann sich etwa um einen Greifarm des Roboters handeln. FIG. 1 shows a schematic block diagram of an automation system 1 with a sensor device 2, a processing device 3 and a control device 4. The sensor device 2 is, for example, a 3D camera which generates sensor data. The processing device 3 can be a robot, for example, and has at least one movable component that is designed to process workpieces. The movable component can be a gripper arm of the robot, for example.
Die Steuereinrichtung 4 ist dazu ausgebildet, eine Vielzahl von Kalibrierposen vorzugeben, in welche ein Kalibrierobjekt bewegt werden soll. Bei dem Kalibrierobjekt kann sich beispielweise um eine Kalibrierplatte mit einem darauf befindlichen Muster (etwa einem Gitter) handeln. Unter einer Kalibrierpose wird die Kombination aus Position sowie Orientierung des Kalibrierobjekts verstanden. Die Angabe der Orientierung kann durch Angabe von Winkeln erfolgen, etwa Kardanwinkel, Eulerwinkel oder Roll-Nick-Gier-Winkel. The control device 4 is designed to specify a large number of calibration poses into which a calibration object is to be moved. The calibration object can be, for example, a calibration plate with a pattern (such as a grid) on it. A calibration pose is understood to mean the combination of position and orientation of the calibration object. The orientation can be specified by specifying angles, such as gimbal angles, Euler angles or roll-pitch-yaw angles.
Die anfänglich vorgegebenen Kalibrierposen können relativ zum Koordinatensystem der Sensorvorrichtung 2 und damit unabhängig von der Verarbeitungsvorrichtung 3 angegeben sein. Die Kalibrierposen werden in ein Koordinatensystem der Verarbeitungsvorrichtung 3 umgerechnet, um diese mit der beweglichen Komponente anzufahren. Dazu kann eine anfängliche näherungsweise Pose der Sensorvorrichtung 2 vorgegeben werden, etwa durch den Benutzer oder abgeleitet aus einer CAD- Konstruktion des Automatisierungssystems 1. The initially specified calibration poses can be specified relative to the coordinate system of the sensor device 2 and thus independently of the processing device 3 . The calibration poses are converted into a coordinate system of the processing device 3 in order to approach it with the movable component. For this purpose, an initial approximate pose of the sensor device 2 can be specified, for example by the user or derived from a CAD construction of the automation system 1.
Es können nur solche Kalibrierposen vorgegeben werden, welche auch mittels der beweglichen Komponente erreichbar sind. Optional kann dem Benutzer auch eine alternative Montageposition oder ein Bereich vorgeschlagen werden, in dem alle Kalibrierposen erreichbar sind. Only calibration poses that can also be reached by means of the movable component can be specified. Optionally, an alternative mounting position or an area in which all calibration poses can be reached can also be suggested to the user.
Die vorgegebenen Kalibrierposen können gleichverteilt innerhalb des Sichtfeldes (Scanvolumens) der Sensorvorrichtung 2 angeordnet sein. The specified calibration poses can be arranged in a uniformly distributed manner within the field of view (scanning volume) of the sensor device 2 .
Die Steuereinrichtung 4 kann weiter ungeeignete Kalibrierposen erkennen und verwerfen. Das Erkennen ungeeigneter Kalibrierposen umfasst drei separate Überprüfungen, welche in einer vorgegebenen Reihenfolge oder zumindest teilweise parallel durchgeführt werden. The control device 4 can also identify and discard unsuitable calibration poses. The detection of unsuitable calibration poses includes three separate checks, which are carried out in a predetermined order or at least partially in parallel.
Demnach wird ermittelt, ob das Kalibrierobjekt in der Kalibrierpose sich zumindest teilweise außerhalb eines Sichtfeldes der Sensorvorrichtung befindet. Die Steuereinrichtung 4 verwirft somit alle Kalibrierposen, welche sich nicht geometrisch vollständig innerhalb des Sichtfeldes der Sensorvorrichtung befinden. Accordingly, it is determined whether the calibration object is at least partially outside a field of view of the sensor device in the calibration pose. The control device 4 thus discards all calibration poses that are not located geometrically completely within the field of view of the sensor device.
Weiter wird ermittelt, ob das Kalibrierobjekt in der Kalibrierpose zumindest teilweise von Komponenten des Automatisierungssystems verdeckt wird. Bei den Komponenten kann es sich etwa um Teile der Verarbeitungsvorrichtung 3 handeln. Hierbei kann ein computer-aided-design (CAD)-modelliertes Abbild zumindest eines Teils der Verarbeitungsvorrichtung 3 und/oder weiterer Komponenten des Automatisierungssystems 1 verwendet werden. It is also determined whether the calibration object is at least partially covered by components of the automation system in the calibration pose. The components can be parts of the processing device 3, for example. A computer-aided design (CAD) modeled image of at least part of the processing device 3 and/or other components of the automation system 1 can be used here.
Weiter wird ermittelt, ob das Kalibrierobjekt in der Kalibrierpose zumindest teilweise durch die Sensorvorrichtung 2 nicht erkennbar ist. Diese Erkennung kann anhand von Umgebungsbedingungen erfolgen, etwa anhand von Lichtverhältnissen. Zusätzlich oder alternativ kann diese Erkennung anhand der Kalibrierpose durchgeführt werden, wobei die Orientierung des Kalibrierobjekts relativ zu der Sensorvorrichtung berücksichtigt wird. Etwa kann ermittelt werden, ob in der Kalibrierpose ein auf dem Kalibrierobjekt befindliches Muster von der Sensorvorrichtung erkennbar ist. Handelt es sich bei dem Kalibrierobjekt beispielsweise um eine Kalibrierplatte, so werden Kalibrierposen verworfen, bei welchen die Orientierung der Platte im Wesentlichen parallel zur optischen Achse der Sensorvorrichtung 2 verläuft, sodass ein auf der Kalibrierplatte befindliches Muster von der Sensorvorrichtung 2 nicht erkannt werden kann. It is also determined whether the calibration object in the calibration pose cannot be recognized at least partially by the sensor device 2 . This detection can be based on environmental conditions, such as lighting conditions. Additionally or alternatively, this detection can be carried out using the calibration pose, the orientation of the calibration object relative to the sensor device being taken into account. For example, it can be determined whether a pattern located on the calibration object is in the calibration pose Sensor device can be seen. If the calibration object is a calibration plate, for example, calibration poses are discarded in which the orientation of the plate runs essentially parallel to the optical axis of the sensor device 2, so that a pattern on the calibration plate cannot be recognized by the sensor device 2.
Weiter ist die Steuereinrichtung 4 dazu ausgebildet, eine kollisionsfreie Bahn zu berechnen, um das Kalibrierobjekt mittels der mindestens einen beweglichen Komponente der Verarbeitungsvorrichtung 3 in die Kalibrierposen zu bewegen. Dabei kann die Steuereinrichtung 4 ein CAD-modelliertes Abbild zumindest eines Teils der Verarbeitungsvorrichtung 3 und/oder weiterer Komponenten des Automatisierungssystems 1 verwenden. Furthermore, the control device 4 is designed to calculate a collision-free path in order to move the calibration object into the calibration poses using the at least one movable component of the processing device 3 . In this case, the control device 4 can use a CAD-modeled image of at least part of the processing device 3 and/or other components of the automation system 1 .
Die Steuereinrichtung 4 ist weiter dazu ausgebildet, die Verarbeitungsvorrichtung 3 anzusteuern, um das Kalibrierobjekt mittels der mindestens einen beweglichen Komponente der Verarbeitungsvorrichtung 3 entlang der berechneten Bahn in die Kalibrierposen zu bewegen. The control device 4 is further designed to control the processing device 3 in order to move the calibration object by means of the at least one movable component of the processing device 3 along the calculated path into the calibration poses.
Die Steuereinrichtung 4 steuert weiter die Sensorvorrichtung 2 an, sodass diese für jede Kalibrierpose Sensordaten erzeugt. Die Sensordaten können als Datenpaarliste vorliegen, wobei den Kalibrierposen die zugehörigen 3D- Sensordaten zugeordnet sind. Es können dabei mehrere Datensätze mit unterschiedlichen Parametern, d.h. Einstellungen der Sensorvorrichtung 2, aufgenommen werden. The control device 4 also controls the sensor device 2 so that it generates sensor data for each calibration pose. The sensor data can be present as a data pair list, with the calibration poses being assigned the associated 3D sensor data. Several data sets with different parameters, i.e. settings of the sensor device 2, can be recorded.
Weiter ist die Steuereinrichtung 4 dazu ausgebildet, eine Pose der Sensorvorrichtung 2 anhand der erzeugten Sensordaten zu ermitteln. Anhand der ermittelten Pose der Sensorvorrichtung 2 kalibriert die Steuereinrichtung 4 die Sensorvorrichtung 2 des Automatisierungssystems 1. Furthermore, the control device 4 is designed to determine a pose of the sensor device 2 based on the generated sensor data. Based on the determined pose of the sensor device 2, the control device 4 calibrates the sensor device 2 of the automation system 1.
Es kann vorgesehen sein, für jede Kalibrierpose eine Vielzahl von Sensordaten zu erzeugen. Dabei können sich optional die Einstellungen der Sensorvorrichtung (etwa die Belichtungszeit) jeweils zumindest teilweise unterscheiden. Die Sensordaten werden somit für zumindest teilweise unterschiedlichen Konfigurationen der Sensorvorrichtung 2 generiert. Für jede Konfiguration kann die Steuereinrichtung eine Kalibrierung durchführen und einen Fehler berechnen (etwa einen statistischen Fehler oder einen anhand von Umgebungsbedingungen berechneten Fehler), wobei derjenige Sensordatensatz mit dem geringsten Fehler zum Ermitteln der Pose der Sensorvorrichtung 2 ausgewählt wird. Provision can be made for generating a large number of sensor data for each calibration pose. In this case, the settings of the sensor device (such as the exposure time) can optionally differ at least in part. The sensor data are thus generated for at least partially different configurations of the sensor device 2 . For each configuration, the controller can perform a calibration and calculate an error (e.g. a statistical error or an error calculated on the basis of environmental conditions), the sensor data set with the smallest error being selected for determining the pose of the sensor device 2 .
Das Verfahren kann iteriert werden, wobei bei jedem Iterationsschritt das Erkennen und Verwerfen ungeeigneter Kalibrierposen und das Berechnen der kollisionsfreien Bahn 10 in Abhängigkeit von der im vorherigen Iterationsschritt ermittelten Pose der Sensorvorrichtung 2 erfolgt. The method can be iterated, with unsuitable calibration poses being recognized and discarded in each iteration step and the collision-free path 10 being calculated as a function of the pose of the sensor device 2 determined in the previous iteration step.
Figur 2 zeigt eine schematische Schrägansicht eines Automatisierungssystems 1 . Die Sensorvorrichtung 2 weist ein Sichtfeld 5 auf, in welchem das Kalibrierobjekt 6 durch die bewegliche Komponente 31 der Verarbeitungsvorrichtung 3 bewegt werden kann. FIG. 2 shows a schematic oblique view of an automation system 1 . The sensor device 2 has a field of view 5 in which the calibration object 6 can be moved by the movable component 31 of the processing device 3 .
Figur 3 zeigt eine schematische Draufsicht auf das in Figur 2 illustrierte Automatisierungssystem 1 und Figur 4 eine schematische Schrägansicht des Automatisierungssystems 1 zur Erläuterung der Erkennung einer Sichtfeldverdeckung. Gezeigt ist das Sichtfeld 5 der Sensorvorrichtung 2 sowie ein Kalibrierobjekt 6, welches sich innerhalb des Sichtfeld 5 befindet. Dem Kalibrierobjekt 6 wird ein dreidimensionaler Teilbereich 61 des Sichtfelds 5 zugeordnet, welcher dem Raumbereich entspricht, welcher nicht verdeckt werden darf, damit das Kalibrierobjekt 6 vollständig erkennbar ist. Ein Bereich 7 des Kalibrierobjekts 6 wird durch eine Komponente der Verarbeitungsvorrichtung 3 in der illustrierten Kalibrierpose verdeckt. Die Komponente der Verarbeitungsvorrichtung 3 befindet sich somit in dem Teilbereich 61 des Sichtfelds 5, sodass das Kalibrierobjekt 6 nicht vollständig erkennbar ist. FIG. 3 shows a schematic plan view of the automation system 1 illustrated in FIG. 2, and FIG. 4 shows a schematic oblique view of the automation system 1 to explain the detection of an obstruction of the field of vision. The field of view 5 of the sensor device 2 and a calibration object 6 which is located within the field of view 5 are shown. A three-dimensional partial area 61 of the field of view 5 is assigned to the calibration object 6, which corresponds to the spatial area which must not be covered so that the calibration object 6 can be recognized completely. A region 7 of the calibration object 6 is covered by a component of the processing device 3 in the illustrated calibration pose. The component of the processing device 3 is thus located in the partial area 61 of the field of view 5, so that the calibration object 6 cannot be fully recognized.
Figur 5 zeigt eine schematische Schrägansicht des Automatisierungssystems 1 mit einer Vielzahl an Kalibrierposen p1 bis p4. Während in Figur 5 vier Kalibrierposen p1 bis p4 illustriert sind, ist die Erfindung nicht auf eine bestimmte Anzahl an Kalibrierposen p1 bis p4 beschränkt. Illustriert sind mehrere Posen, darunter eine Pose u, wobei ein zugehöriger Vektor von einem vorgegebenen Referenzpunkt der Verarbeitungsvorrichtung 3 zu einem Referenzpunkt der Sensorvorrichtung 2 verläuft. Dabei handelt es sich um die ermittelte Pose der Sensorvorrichtung 2. Weiter sind Posen Wi illustriert, wobei die zugehörigen Vektoren jeweils von dem Referenzpunkt der Verarbeitungsvorrichtung 3 zu den jeweiligen Kalibrierposen p1 bis p4 zeigen. Weitere Posen Vi sind eingezeichnet, wobei die zugehörigen Vektoren von dem Referenzpunkt der Sensorvorrichtung 2 zu den jeweiligen Kalibrierposen p1 bis p4 zeigen. Die Posen Wi können anhand der Posen Vi und u berechnet werden. Die Posen können durch 4x4- Matrizen beschrieben werden, welche Translation und Orientierung beschreiben. FIG. 5 shows a schematic oblique view of the automation system 1 with a large number of calibration poses p1 to p4. While four calibration poses p1 to p4 are illustrated in FIG. 5, the invention is not limited to a specific number of calibration poses p1 to p4. Several poses are illustrated, including a pose u, with an associated vector running from a predetermined reference point of the processing device 3 to a reference point of the sensor device 2 . This is the determined pose of the sensor device 2. Poses Wi are also illustrated, with the associated vectors in each case from the reference point of the processing device 3 to the respective calibration poses p1 to p4. Further poses Vi are drawn in, with the associated vectors pointing from the reference point of the sensor device 2 to the respective calibration poses p1 to p4. The poses Wi can be calculated from the poses Vi and u. The poses can be described by 4x4 matrices describing translation and orientation.
Die Posen werden bezüglich eines Koordinatensystems der Sensorvorrichtung 2 mit Achsen x, y und z angegeben. Durch Ermitteln der Pose der Sensorvorrichtung können die Posen auch bezüglich eines Koordinatensystems der Verarbeitungsvorrichtung 3 angegeben werden. The poses are given with respect to a coordinate system of the sensor device 2 with axes x, y and z. By determining the pose of the sensor device, the poses can also be specified with respect to a coordinate system of the processing device 3 .
Figur 6 zeigt eine schematische Ansicht der Sensorvorrichtung 2 des in Figur 2 illustrierten Automatisierungssystems 1 zur Erläuterung der automatischen Bestimmung der Kalibrierposen. Dabei können Rasterebenen 8 relativ zum Koordinatensystem der Sensorvorrichtung 2 vorgesehen sein, welche in der illustrierten Ausführungsform eine erste Rasterebene 81 , eine zweite Rasterebene 82 und eine dritte Rasterebene 83 aufweisen. Die Erfindung ist jedoch nicht auf eine bestimmte Anzahl an Rasterebenen 8 beschränkt. Die Rasterebenen 8 verlaufen parallel zueinander in einem Abstand h. Die Rasterebenen bestehen aus Rasterelementen mit Breite w und Länge I. FIG. 6 shows a schematic view of the sensor device 2 of the automation system 1 illustrated in FIG. 2 to explain the automatic determination of the calibration poses. In this case, raster levels 8 can be provided relative to the coordinate system of the sensor device 2 , which have a first raster level 81 , a second raster level 82 and a third raster level 83 in the illustrated embodiment. However, the invention is not limited to a specific number of grid levels 8 . The grid planes 8 run parallel to one another at a distance h. The raster planes consist of raster elements with width w and length I.
Die Erfindung ist nicht auf die Verwendung von Rastern beschränkt. So können auch andere Sampling-Verfahren verwendet werden, um Kalibrierposen zu generieren. The invention is not limited to the use of grids. Other sampling methods can also be used to generate calibration poses.
Figur 7 zeigt schematische Ansichten von automatisch erzeugten Kalibrierposen, welche sich jeweils durch unterschiedliche Positionen und Orientierungen x‘-y‘-z‘ relativ zum Koordinatensystem der Sensorvorrichtung 2 auszeichnen. FIG. 7 shows schematic views of automatically generated calibration poses, which are characterized by different positions and orientations x'-y'-z' relative to the coordinate system of the sensor device 2.
Figur 8 zeigt eine schematische Ansicht der Sensorvorrichtung des in Figur 2 illustrierten Automatisierungssystems 1 zur Erläuterung der Ermittlung, ob sich das Kalibrierobjekt 6 in einer Kalibrierpose zumindest teilweise außerhalb des Sichtfeldes 5 der Sensorvorrichtung 2 befindet. In der gezeigten Kalibrierpose befindet sich das Kalibrierobjekt 6 im Randbereich außerhalb des Sichtfeldes 5 der Sensorvorrichtung 2. Die gezeigte Kalibrierpose wird daher verworfen. Figur 9 zeigt eine schematische Schrägansicht des in Figur 2 illustrierten Automatisierungssystems 1 mit einer berechneten kollisionsfreien Bahn 10, auf welcher die Kalibrierposen p1 bis p4 liegen. FIG. 8 shows a schematic view of the sensor device of the automation system 1 illustrated in FIG. In the calibration pose shown, the calibration object 6 is located in the edge area outside the field of view 5 of the sensor device 2. The calibration pose shown is therefore discarded. FIG. 9 shows a schematic oblique view of the automation system 1 illustrated in FIG. 2 with a calculated collision-free path 10 on which the calibration poses p1 to p4 lie.
Figur 10 zeigt ein Flussdiagramm eines Verfahrens zum Ermitteln einer Pose einer Sensorvorrichtung 2 eines Automatisierungssystems 1. Das Verfahren kann mit einem oben beschriebenen Automatisierungssystem 1 durchgeführt werden. Das Automatisierungssystem 1 umfasst eine Verarbeitungsvorrichtung 3 mit mindestens einer beweglichen Komponente 31 zum Verarbeiten von Werkstücken. FIG. 10 shows a flow chart of a method for determining a pose of a sensor device 2 of an automation system 1. The method can be carried out with an automation system 1 described above. The automation system 1 includes a processing device 3 with at least one movable component 31 for processing workpieces.
In einem ersten Verfahrensschritt S1 wird eine anfängliche näherungsweise Pose der Sensorvorrichtung 2 vorgegeben. In a first method step S1, an initial approximate pose of the sensor device 2 is specified.
In einem zweiten Verfahrensschritt S2 wird eine Vielzahl von Kalibrierposen p1 bis p4 vorgegeben, in welche ein Kalibrierobjekt 6 bewegt werden soll. In a second method step S2, a large number of calibration poses p1 to p4 are specified, into which a calibration object 6 is to be moved.
In einem Verfahrensschritt S3 werden ungeeignete Kalibrierposen p1 bis p4 erkannt und verworfen. Das Erkennen ungeeigneter Kalibrierposen umfasst das Ermitteln, ob sich das Kalibrierobjekt 6 in der Kalibrierpose p1 bis p4 zumindest teilweise außerhalb eines Sichtfeldes der Sensorvorrichtung 2 befindet und/oder zumindest teilweise von Komponenten des Automatisierungssystems 1 verdeckt wird und/oder zumindest teilweise durch die Sensorvorrichtung 2 nicht erkennbar ist. In a method step S3, unsuitable calibration poses p1 to p4 are identified and discarded. The detection of unsuitable calibration poses includes determining whether the calibration object 6 in the calibration pose p1 to p4 is at least partially outside a field of view of the sensor device 2 and/or is at least partially covered by components of the automation system 1 and/or is at least partially not covered by the sensor device 2 is recognizable.
Das Ermitteln, ob das Kalibrierobjekt 6 in der Kalibrierpose p1 bis p4 zumindest teilweise von Komponenten des Automatisierungssystems 1 verdeckt wird, kann anhand eines dreidimensionalen geometrischen Modells zumindest eines Teils der Verarbeitungsvorrichtung erfolgen. Beim Ermitteln, ob das Kalibrierobjekt 6 in der Kalibrierpose p1 bis p4 durch die Sensorvorrichtung zumindest teilweise nicht erkennbar ist, können die Ausrichtung des Kalibrierobjekts 6 und/oder Lichtverhältnisse berücksichtigt werden. A three-dimensional geometric model of at least part of the processing device can be used to determine whether the calibration object 6 is at least partially covered by components of the automation system 1 in the calibration pose p1 to p4. The orientation of the calibration object 6 and/or lighting conditions can be taken into account when determining whether the calibration object 6 cannot be recognized at least partially by the sensor device in the calibration pose p1 to p4.
In einem Verfahrensschritt S4 wird eine kollisionsfreie Bahn 10 berechnet, um das Kalibrierobjekt 6 mittels der mindestens einen beweglichen Komponente 31 der Verarbeitungsvorrichtung 3 in die Kalibrierposen p1 bis p4 zu bewegen. Die Berechnung der kollisionsfreien Bahn 10 kann unter Verwendung eines dreidimensionalen geometrischen Modells zumindest eines Teils der Verarbeitungsvorrichtung 3 erfolgen. In a method step S4, a collision-free path 10 is calculated in order to move the calibration object 6 into the calibration poses p1 to p4 by means of the at least one movable component 31 of the processing device 3. The The collision-free trajectory 10 can be calculated using a three-dimensional geometric model of at least a part of the processing device 3 .
Das Kalibrierobjekt 6 wird in einem Verfahrensschritt S5 entlang der berechneten Bahn in die Kalibrierposen p1 bis p4 mittels der mindestens einen beweglichen Komponente 31 der Verarbeitungsvorrichtung 3 bewegt, wobei die Sensorvorrichtung 2 für jede Kalibrierpose p1 bis p4 Sensordaten erzeugt In a method step S5, the calibration object 6 is moved along the calculated path into the calibration poses p1 to p4 using the at least one movable component 31 of the processing device 3, with the sensor device 2 generating sensor data for each calibration pose p1 to p4
Die Pose der Sensorvorrichtung 2 wird in einem Verfahrensschritt S6 anhand der erzeugten Sensordaten ermittelt, um die Sensorvorrichtung 2 dadurch zu kalibrieren. Das Ermitteln der Pose der Sensorvorrichtung 2 kann anhand eines bekannten Hand-Auge-Kalibrierverfahrens erfolgen. The pose of the sensor device 2 is determined in a method step S6 based on the generated sensor data in order to thereby calibrate the sensor device 2 . The pose of the sensor device 2 can be determined using a known hand-eye calibration method.
Das Ermitteln der Pose der Sensorvorrichtung 2 (Schritte S2 bis S6) kann iterativ durchgeführt wird. Das Erkennen und Verwerfen ungeeigneter Kalibrierposen und das Berechnen der kollisionsfreien Bahn erfolgen zunächst in Abhängigkeit von der anfänglichen näherungsweisen Pose der Sensorvorrichtung. Bei jedem Iterationsschritt erfolgt das Erkennen und Verwerfen ungeeigneter Kalibrierposen p1 bis p4 und das Berechnen der kollisionsfreien Bahn 10 in Abhängigkeit von der im vorherigen Iterationsschritt ermittelten Pose der Sensorvorrichtung 2. The determination of the pose of the sensor device 2 (steps S2 to S6) can be carried out iteratively. The detection and rejection of unsuitable calibration poses and the calculation of the collision-free path initially take place as a function of the initial approximate pose of the sensor device. In each iteration step, unsuitable calibration poses p1 to p4 are recognized and discarded and the collision-free path 10 is calculated as a function of the pose of the sensor device 2 determined in the previous iteration step.

Claims

Ansprüche Expectations
1. Verfahren zum Ermitteln einer Pose einer Sensorvorrichtung (2) eines Automatisierungssystems (1), wobei das Automatisierungssystem (1) weiter eine Verarbeitungsvorrichtung (3) mit mindestens einer beweglichen Komponente (31) zum Verarbeiten von Werkstücken aufweist, mit den Schritten: 1. A method for determining a pose of a sensor device (2) of an automation system (1), the automation system (1) further having a processing device (3) with at least one movable component (31) for processing workpieces, with the steps:
Vorgeben (S2) einer Vielzahl von Kalibrierposen (p1 -p4), in welche ein Kalibrierobjekt (6) bewegt werden soll; specification (S2) of a multiplicity of calibration poses (p1-p4) into which a calibration object (6) is to be moved;
Erkennen und Verwerfen (S3) ungeeigneter Kalibrierposen (p1 -p4), wobei das Erkennen ungeeigneter Kalibrierposen (p1 -p4) das Ermitteln umfasst, ob das Kalibrierobjekt (6) in der Kalibrierpose (p1 -p4): a. sich zumindest teilweise außerhalb eines Sichtfeldes (5) der Sensorvorrichtung (2) befindet, und/oder b. zumindest teilweise von Komponenten des Automatisierungssystems (1) verdeckt wird, und/oder c. zumindest teilweise durch die Sensorvorrichtung (2) nicht erkennbar ist; Recognizing and discarding (S3) unsuitable calibration poses (p1-p4), the recognizing unsuitable calibration poses (p1-p4) comprising determining whether the calibration object (6) is in the calibration pose (p1-p4): a. is at least partially outside a field of view (5) of the sensor device (2), and/or b. is at least partially covered by components of the automation system (1), and/or c. is at least partially not recognizable by the sensor device (2);
Berechnen (S4) einer kollisionsfreien Bahn (10), um das Kalibrierobjekt (6) mittels der mindestens einen beweglichen Komponente (31) der Verarbeitungsvorrichtung (3) in die Kalibrierposen (p1 -p4) zu bewegen; calculating (S4) a collision-free path (10) in order to move the calibration object (6) into the calibration poses (p1-p4) by means of the at least one movable component (31) of the processing device (3);
Bewegen (S5) des Kalibrierobjekts (6) entlang der berechneten Bahn (10) in die Kalibrierposen (p1 -p4) mittels der mindestens einen beweglichen Komponente (31) der Verarbeitungsvorrichtung (3), wobei die Sensorvorrichtung (2) für jede Kalibrierpose (p1 -p4) Sensordaten erzeugt; und Moving (S5) the calibration object (6) along the calculated path (10) into the calibration poses (p1 - p4) by means of the at least one movable component (31) of the processing device (3), the sensor device (2) for each calibration pose (p1 -p4) sensor data generated; and
Ermitteln (S6) der Pose der Sensorvorrichtung (2) anhand der erzeugten Sensordaten. Verfahren nach Anspruch 1 , wobei das Ermitteln, ob das Kalibrierobjekt (6) in der Kalibrierpose (p1 -p4) zumindest teilweise von Komponenten des Automatisierungssystems (1) verdeckt wird, anhand eines dreidimensionalen geometrischen Modells zumindest eines Teils der Verarbeitungsvorrichtung (3) erfolgt. Verfahren nach Anspruch 1 oder 2, wobei das Ermitteln, ob das Kalibrierobjekt (6) in der Kalibrierpose (p1 -p4) zumindest teilweise durch die Sensorvorrichtung (2) nicht erkennbar ist, unter Berücksichtigung einer Ausrichtung des Kalibrierobjekts (6) relativ zur Sensorvorrichtung (2) und/oder unter Berücksichtigung von Lichtverhältnissen erfolgt. Verfahren nach einem der vorangehenden Ansprüche, wobei das Berechnen der kollisionsfreien Bahn (10) unter Verwendung eines dreidimensionalen geometrischen Modells zumindest eines Teils der Verarbeitungsvorrichtung (3) erfolgt. Verfahren nach einem der vorangehenden Ansprüche, wobei die Sensorvorrichtung (2) zum Erzeugen der Sensordaten für jede Kalibrierpose (p1 -p4) in einer Vielzahl von zumindest teilweise unterschiedlichen Konfigurationen jeweils mindestens einen Sensordatensatz erzeugt. Verfahren nach Anspruch 5, wobei für jede Konfiguration die Pose der Sensorvorrichtung (2) ermittelt wird, und wobei eine Güte der Ermittlung der Pose der Sensorvorrichtung (2) berechnet wird, wobei diejenige Pose der Sensorvorrichtung ausgewählt wird, bei der die Güte am höchsten ist. Verfahren nach einem der vorangehenden Ansprüche, wobei eine anfängliche näherungsweise Pose der Sensorvorrichtung (2) vorgegeben wird (S1), und wobei das Erkennen und Verwerfen ungeeigneter Kalibrierposen (p1 -p4) und das Berechnen der kollisionsfreien Bahn (10) in Abhängigkeit von der anfänglichen näherungsweisen Pose der Sensorvorrichtung (2) erfolgt. Verfahren nach einem der vorangehenden Ansprüche, wobei das Ermitteln der Pose der Sensorvorrichtung (2) iterativ durchgeführt wird, und wobei bei jedem Iterationsschritt das Erkennen und Verwerfen ungeeigneter Kalibrierposen (p1 -p4) und das Berechnen der kollisionsfreien Bahn (10) in Abhängigkeit von der im vorherigen Iterationsschritt ermittelten Pose der Sensorvorrichtung (2) erfolgt. Verfahren nach einem der vorangehenden Ansprüche, wobei das Ermitteln der Pose der Sensorvorrichtung (2) anhand eines Hand-Auge- Kalibrierverfahrens erfolgt. Automatisierungssystem (1), mit: einer Sensorvorrichtung (2), welche dazu ausgebildet ist, Sensordaten zu erzeugen; einer Verarbeitungsvorrichtung (3) mit mindestens einer beweglichen Komponente (31), welche zum Verarbeiten von Werkstücken ausgebildet ist; und einer Steuereinrichtung (4), welche dazu ausgebildet ist: eine Vielzahl von Kalibrierposen (p1 -p4) vorzugeben, in welche ein Kalibrierobjekt (6) bewegt werden soll, ungeeignete Kalibrierposen (p1 -p4) zu erkennen und zu verwerfen, wobei das Erkennen ungeeigneter Kalibrierposen (p1 -p4) das Ermitteln umfasst, ob das Kalibrierobjekt (6) in der Kalibrierpose: a. sich zumindest teilweise außerhalb eines Sichtfeldes (5) der Sensorvorrichtung (2) befindet, und/oder b. zumindest teilweise von Komponenten des Automatisierungssystems (1) verdeckt wird, und/oder c. zumindest teilweise durch die Sensorvorrichtung (2) nicht erkennbar ist; eine kollisionsfreie Bahn (10) zu berechnen, um das Kalibrierobjekt (6) mittels der mindestens einen beweglichen Komponente (31) der Verarbeitungsvorrichtung (3) in die Kalibrierposen (p1 -p4) zu bewegen, die Verarbeitungsvorrichtung (3) anzusteuern, um das Kalibrierobjekt (6) mittels der mindestens einen beweglichen Komponente (31) der Verarbeitungsvorrichtung (3) entlang der berechneten Bahn (10) in die Kalibrierposen (p1 -p4) zu bewegen, und die Sensorvorrichtung (2) anzusteuern, für jede Kalibrierpose (p1 -p4) Sensordaten zu erzeugen; und eine Pose der Sensorvorrichtung (2) anhand der erzeugten Sensordaten zu ermitteln. Determining (S6) the pose of the sensor device (2) based on the generated sensor data. Method according to claim 1, wherein the determination of whether the calibration object (6) in the calibration pose (p1 -p4) is at least partially covered by components of the automation system (1) is based on a three-dimensional geometric model of at least part of the processing device (3). Method according to claim 1 or 2, wherein the determination of whether the calibration object (6) in the calibration pose (p1-p4) is at least partially not recognizable by the sensor device (2), taking into account an orientation of the calibration object (6) relative to the sensor device ( 2) and/or taking into account lighting conditions. Method according to one of the preceding claims, in which the calculation of the collision-free path (10) is carried out using a three-dimensional geometric model of at least part of the processing device (3). Method according to one of the preceding claims, wherein the sensor device (2) for generating the sensor data for each calibration pose (p1 -p4) generates at least one sensor data set in a plurality of at least partially different configurations. Method according to Claim 5, the pose of the sensor device (2) being determined for each configuration, and a quality of the determination of the pose of the sensor device (2) being calculated, with that pose of the sensor device being selected for which the quality is highest . Method according to one of the preceding claims, wherein an initial approximate pose of the sensor device (2) is specified (S1), and wherein the detection and rejection of unsuitable calibration poses (p1 - p4) and the calculation of the collision-free path (10) depending on the initial approximate pose of the sensor device (2). Method according to one of the preceding claims, wherein the determination of the pose of the sensor device (2) is carried out iteratively, and wherein in each iteration step the detection and discarding of unsuitable calibration poses (p1 - p4) and the calculation of the collision-free path (10) depending on the pose of the sensor device (2) determined in the previous iteration step. Method according to one of the preceding claims, in which the pose of the sensor device (2) is determined using a hand-eye calibration method. Automation system (1), having: a sensor device (2), which is designed to generate sensor data; a processing device (3) with at least one movable component (31) which is designed for processing workpieces; and a control device (4) which is designed to: specify a large number of calibration poses (p1 - p4) into which a calibration object (6) is to be moved, identify and discard unsuitable calibration poses (p1 - p4), the identification unsuitable calibration poses (p1-p4) comprises determining whether the calibration object (6) in the calibration pose: a. is at least partially outside a field of view (5) of the sensor device (2), and/or b. is at least partially covered by components of the automation system (1), and/or c. is at least partially not recognizable by the sensor device (2); calculate a collision-free path (10) in order to move the calibration object (6) into the calibration poses (p1 - p4) using the at least one movable component (31) of the processing device (3), control the processing device (3) in order to move the calibration object (6) using the at least one movable component (31) to move the processing device (3) along the calculated path (10) into the calibration poses (p1 - p4) and to control the sensor device (2) for each calibration pose (p1 - p4 ) to generate sensor data; and to determine a pose of the sensor device (2) based on the generated sensor data.
PCT/EP2023/050431 2022-03-03 2023-01-10 Automation system and method for determining a pose of a sensor device of an automation system WO2023165746A1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102022202152.5 2022-03-03
DE102022202152.5A DE102022202152A1 (en) 2022-03-03 2022-03-03 Automation system and method for determining a pose of a sensor device of an automation system

Publications (1)

Publication Number Publication Date
WO2023165746A1 true WO2023165746A1 (en) 2023-09-07

Family

ID=84981013

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2023/050431 WO2023165746A1 (en) 2022-03-03 2023-01-10 Automation system and method for determining a pose of a sensor device of an automation system

Country Status (2)

Country Link
DE (1) DE102022202152A1 (en)
WO (1) WO2023165746A1 (en)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102015226741A1 (en) 2015-12-28 2017-06-29 Robert Bosch Gmbh Recognition device and delivery device
DE102016204174A1 (en) 2016-03-14 2017-09-14 Robert Bosch Gmbh Automation system with at least one function module
WO2021211420A1 (en) * 2020-04-14 2021-10-21 Realtime Robotics, Inc. Configuration of robot operational environment including layout of sensors

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102015226741A1 (en) 2015-12-28 2017-06-29 Robert Bosch Gmbh Recognition device and delivery device
DE102016204174A1 (en) 2016-03-14 2017-09-14 Robert Bosch Gmbh Automation system with at least one function module
WO2021211420A1 (en) * 2020-04-14 2021-10-21 Realtime Robotics, Inc. Configuration of robot operational environment including layout of sensors

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
JUSTINAS MISEIKIS ET AL: "Automatic Calibration of a Robot Manipulator and Multi 3D Camera System", ARXIV.ORG, CORNELL UNIVERSITY LIBRARY, 201 OLIN LIBRARY CORNELL UNIVERSITY ITHACA, NY 14853, 7 January 2016 (2016-01-07), XP081152121, DOI: 10.1109/SII.2016.7844087 *

Also Published As

Publication number Publication date
DE102022202152A1 (en) 2023-09-07

Similar Documents

Publication Publication Date Title
DE102017128652B4 (en) ROBOT SYSTEM WITH MULTIPLE ROBOTS, ROBOT CONTROL AND ROBOT CONTROL METHOD
EP2216144B1 (en) System and method to check components and/or functional devices with a testing device
DE102009034529A1 (en) Automatic guidance and detection system and method for this
DE102015107436B4 (en) Trainable path control
DE102018202322B4 (en) Robot system, robot control device and robot control method
DE102011082800B4 (en) System and method for the automated creation of robot programs
DE102010032840A1 (en) Apparatus and method for measuring the position of a tool center of a robot
DE112010000794T5 (en) Method for controlling a robot tool
DE102018001026A1 (en) ROBOTIC SYSTEM WITH A LEARNING CONTROL FUNCTION AND LEARNING CONTROL PROCEDURE
EP3374134B1 (en) Calibrating a system with a conveying means and at least one robot
EP3037905B1 (en) Device and method for holding workpieces
EP2500148B1 (en) Method and apparatus for controlling a robot using a virtual model of the robot
DE102017128543A1 (en) INTERFERENCE ADJUSTMENT DEVICE FOR A MOBILE ROBOT
DE102018125841B4 (en) Robot, robot system and method for setting a coordinate system of a robot
DE102020130520A1 (en) METHOD OF CONTROLLING A ROBOT IN THE PRESENCE OF HUMAN OPERATORS
DE112019005484T5 (en) Automatic calibration for a camera-robot system with tool offsets
DE102018124595B4 (en) Device for detecting a position and attitude of an end effector of a robot
EP3907754B1 (en) Method for processing substrates, in particular wafers, masks or flat panel displays, with a semiconductor industry machine
DE102017010718A1 (en) Method and means for operating a robot arrangement
DE112021001173T5 (en) Deburring device and control system
WO2023165746A1 (en) Automation system and method for determining a pose of a sensor device of an automation system
DE102018103474A1 (en) A SYSTEM AND METHOD FOR OBJECT DISTANCE DETECTION AND POSITIONING
DE102019131401B3 (en) Calibration of an impedance control of a robot manipulator
EP0977101A1 (en) Flexible manufacturing system and control method
DE102017107593B4 (en) Method for determining unknown transformations

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23700192

Country of ref document: EP

Kind code of ref document: A1