WO2003033219A2 - Korrektur der relativbewegung zwischen greif- oder bearbeitungswerkzeugen und werkstücken - Google Patents

Korrektur der relativbewegung zwischen greif- oder bearbeitungswerkzeugen und werkstücken Download PDF

Info

Publication number
WO2003033219A2
WO2003033219A2 PCT/EP2002/011414 EP0211414W WO03033219A2 WO 2003033219 A2 WO2003033219 A2 WO 2003033219A2 EP 0211414 W EP0211414 W EP 0211414W WO 03033219 A2 WO03033219 A2 WO 03033219A2
Authority
WO
WIPO (PCT)
Prior art keywords
workpiece
cameras
image
images
camera
Prior art date
Application number
PCT/EP2002/011414
Other languages
English (en)
French (fr)
Other versions
WO2003033219A3 (de
Inventor
Hermann Tropf
Alexander Tropf
Original Assignee
Hermann Tropf
Alexander Tropf
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from DE10159574A external-priority patent/DE10159574B9/de
Application filed by Hermann Tropf, Alexander Tropf filed Critical Hermann Tropf
Priority to EP02785199A priority Critical patent/EP1436126A2/de
Publication of WO2003033219A2 publication Critical patent/WO2003033219A2/de
Publication of WO2003033219A3 publication Critical patent/WO2003033219A3/de

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • B25J9/1692—Calibration of manipulator

Definitions

  • the invention relates to a method and devices for correcting the movement of gripping or processing tools relative to objects in an unknown or inaccurate position, in particular by means of robots.
  • gripping or processing by means of robots can be done without modifying a movement that has already been programmed. Is the position of the objects unsafe, e.g. Due to the uncertainties of the parts holder, the movement of the gripping or machining tool and thus that of the robot must be corrected for gripping or machining.
  • gripping are the removal from shaped foils, shelves or mesh boxes.
  • processing are grinding or applying adhesive;
  • the assembly and insertion and joining are also to be counted for processing, such as the mounting of add-on parts such as disks or wheels on automobile bodies or the insertion or welding of bolts.
  • tool is to be understood generally as either the gripper or the machining tool.
  • position the three-dimensional position and orientation in space (English “position and attitude") is referred to as position.
  • the position of a workpiece is described by at least 6 parameters, usually by three translational and three rotary, with which a coordinate system that is fixed to the workpiece is related to fixed spatial coordinates.
  • the multidimensional finite space of the positional deviations that are possible in this task (usually a 6-dimensional hyperguader) is referred to below as the work area.
  • robot is to be understood generally here in the sense of a mechanical or virtual system with programmable or algorithmically controllable or controllable movement.
  • the relative position of the tool and the workpiece is changed by the movement, either tool against workpiece or vice versa or both.
  • setup mode (offline mode) of a system - usually under human supervision or leadership - the system parameterized for the application, including e.g. Teaching a robot path, teaching an image analysis system and calibration, if necessary.
  • the standard position of a workpiece as a random or specially selected position for which the robot is taught.
  • the task is to grasp or process the workpiece correctly even in a position deviating from this standard position.
  • the standard position need not be in any known relation to the spatial coordinates. To put it bluntly, you could throw the workpiece on a table and use the random and geometrically unspecified position that emerged as the standard position for teaching.
  • the starting point is a position of system components that is generally determined during teaching, in which the first image recordings are made in automatic mode.
  • Fixed features are those features of a workpiece that are fixed on the workpieces, such as "naturally" existing shapes such as edges, corners, holes, beads, but also artificial brands (workpiece-specific, stationary imprints, Embossing, glue dots or workpiece-specific fixed projections such as laser dots or laser patterns).
  • Fixed features are also those that create a pattern with the help of structured light that is stationary in relation to the workpiece. This can be useful to increase interference immunity: for example, in order to represent workpiece edges more reliably, a thin line pattern can be projected onto the surface and the regions can be highlighted with a striped pattern using an adapted software filter in order to obtain a reliable figure-background separation (on the background there is no stripe pattern with matching line spacing).
  • Such excellent features are defined as those fixed features that are represented by points, for example the center of a circle or a corner point of a contour, given as the intersection of two straight pieces.
  • non-stationary, lighting-technically generated features can be used. These are referred to as flex features in the following (specifically introduced term).
  • Examples of flex features a) Bulges: When the camera moves relative to the workpiece and the lighting is directed, the reflection edges on the bulge move relative to the workpiece and also deform. They are not specific to the workpiece, but they are reproducible and suitable for obtaining the location information. b) Projection of light patterns (usually realized by laser): the resulting ones
  • shapes can be used for three-dimensional evaluation; Since the lighting is normally not moved in parallel with the workpiece, the shapes are not specific to the workpiece.
  • Characteristics are fixed characteristics or flex characteristics.
  • a characteristic is generally in three dimensions;
  • the mapping of a workpiece area comprising a feature into a two-dimensional coordinate system over a beam, also called an imaging beam path, is referred to as a feature image.
  • the components of the image description vector are measures that capture properties of the mapping of features in feature images.
  • the simplest example, with t 2, is the measurement of the centroid of the image of a hole, which is described by the two centroid image coordinates.
  • masses are also suitable for the image description vector, such as changes in size, changes in brightness and color, changes in spatial frequency - that is to say values which do not describe any displacement or rotation in image coordinates.
  • the trivial way to determine a feature vector from a gray value feature image with the size nx by ny pixels is to simply convert all pixel gray values directly into an image description vector with nx by ny components.
  • a correction of the robot movement can be derived from the deviation, -, the current position from the standard position.
  • This deviation is determined according to the conventional procedure, by defining a workpiece-specific coordinate system and by determining the absolute position of the workpiece, both for the standard position and for the current position.
  • a) model-based methods b) three-dimensional measuring systems.
  • Model-based systems use the familiar geometry of fixed features in the workpiece coordinate system. Features are modeled three-dimensionally.
  • Model-based methods include, for example, [GMR], [Fan], [Isr].
  • [GMR] uses dots or dots and lines, one or more cameras.
  • [Isr] only uses lines, three or more cameras.
  • [Fan] uses points, three or more cameras, as well as a calibration body that has to be positioned in front of each camera for calibration.
  • the part geometry does not need to be known; They are used, for example, to scan hand-made models to generate CAD data for series production.
  • ⁇ Another example is the path control using the light section method.
  • the measuring methods for three-dimensional measuring systems are: bl) point-by-point distance measurement via pulsed or modulated light, together with measurement of the light propagation time or phase shift, b2) triangulation via at least one camera and structured light, b3) triangulation via at least 2 cameras (stereo) ,
  • the method bl) is associated with a very high expenditure on equipment and requires complex, stable measurement technology.
  • the method b2) is associated with a high outlay on equipment and moreover requires a very high outlay in the calibration of the systems; Camera and lighting geometry must be known and very stable.
  • the senor can be moved in a defined manner in order to expand the measuring range of such systems in connection with a known mechanical movement for large workpieces:
  • the senor is either moved according to a previously known ideal shape and the (b2-) sensor measures deviations from it, or the sensor serves as a zero indicator to produce a controlled movement at a constant distance from the surface, this movement serves as the measurement result.
  • This is a model-based, measuring system.
  • a robot is used to guide a (b2) sensor, the generally insufficient accuracy of the robot being achieved by an additional device that is independent of the robot and sensor and is not described in detail (for example, an additional "photogrammetry” system or “kinematic correction module” ”) elevated .
  • the same features are recorded by at least two cameras each; the three-dimensional position of the features is calculated from the disparity of the mapping of the features in the images and from the known data of the camera geometry by means of triangulation.
  • the workpiece geometry and the position of the features in the workpiece coordinate system generally need not be known, but is assumed to be known in most approaches.
  • a disadvantage of the stereo method is that different cameras have to record the same features. This results in a problem with large workpieces: the required To achieve rotational accuracy, several features that are as far apart as possible must be recorded. This leads to the fact that
  • a serious disadvantage of the triangulating measurement methods (b2 and b3) is the need for exact calibration, camera (s) and possibly structured lighting;
  • the structure must be very stable in order to be able to maintain the required measuring accuracy even in rough industrial operation.
  • the calibration of a camera describes the imaging geometry; one usually differentiates between external and internal parameters.
  • the outer parameters describe the position of the projection center and the optical axis in space, as well as the (scalar) distance between the projection center and the imaging plane.
  • the inner parameters describe the oblique position of the imaging plane to the optical axis and the position of the intersection point • of the optical axis through the image plane relative to the image frame
  • [Axi] is model-based 3-D matching of stereo features (including movement parallax) or 3D features obtained using special distance sensors, with 3-D models.
  • model-based methods that are based on triangulation or other three-dimensional measuring systems
  • any (model) feature comparisons have to take place in the three-dimensional; however, these comparisons already presuppose a reliable 2D to 3D transition, and thus a reliable measurement technique.
  • Case 1 hand-eye coordination.
  • the tool is moved relative to the camera (s).
  • the camera captures the tool or parts thereof or markings or mechanical parts that are geometrically related to the tool.
  • Case la The tool is moved and the camera is stationary.
  • Case lb The tool is stationary and the camera is moved.
  • Case lc The tool and the camera are both moved, for example, different degrees of freedom can be distributed between the tool and the camera.
  • Case lx The camera captures the workpiece and the tool (standard case).
  • Case ly The camera captures the workpiece and not the tool.
  • Case lz The camera does not capture the workpiece and captures the tool.
  • the robot position can be controlled or regulated in relation to the current workpiece position.
  • the robot position can be controlled in relation to the current workpiece position.
  • the camera (s) is (are) moved in parallel with the tool relative to the workpiece. Differentiation according to movement:
  • Case 2a Tools and cameras are moved and the workpiece is stationary.
  • Case 2b Tool and cameras are fixed and the workpiece is moved.
  • Case 2c Tool and cameras are moved together, and the workpiece is moved, for example, different degrees of freedom can be distributed between the tool and camera on the one hand and the workpiece on the other.
  • Case 2y The camera captures the workpiece and does not capture the tool.
  • the robot position can be controlled or regulated in relation to the current workpiece position, the situation roughly corresponds to case lx.
  • the robot position can be controlled or regulated in relation to the current workpiece position.
  • Predecessors of the servo process are simple, controlling systems that each consider one of the following cases: • - Stereo,
  • Servo procedures can work in case lx or case 2x without calibration or with very inaccurate calibration.
  • case 2y included here we need an exact calibration for the purpose of workpiece handling or workpiece processing.
  • the movement of the position of the features is determined depending on the camera movement a) analytically [Mar]: this in turn requires knowledge of the camera geometry, b) through online estimation ;
  • the problem is the estimation of the distance dependency of the parameters in the Jacobi matrix ([Hut] p. 26) .; for tracking you can get a very rough estimate of these parameters by moving the target positions close to the optical axis. Without reliable distance information, however, tasks of workpiece handling or workpiece processing cannot be solved.
  • Servo methods rely on the explicit derivation of position information from the images, as can be achieved, for example, when using excellent points. Without such explicit position information, no visual servoing can be implemented.
  • This invention treats self-monitoring as a secondary problem.
  • the object of the invention is to provide a movement correction, depending on the implementation variant while at the same time observing as many of the following boundary conditions as possible:
  • Claim 11 relates to the limitation of the work area in the facility.
  • the 1 shows an arrangement with three cameras 10, 11, 12 and one beam (see below) or imaging beam path 20, 21, 22 per camera.
  • the features are fixed features (holes, contour) 30, 31, 32 on the workpiece 2.
  • the cameras 10, 11, 12 are attached to the tool 1. Either the tool 1 is moved with the cameras or the workpiece 2 is moved.
  • the fixed features 30, 31, 32 can be represented here as points, but no point coordinates have to be calculated; simple image comparison methods are sufficient to determine the workpiece position. Without leaving the characteristics according to the invention, coordinate values for position description vectors (definition see above) can of course also be used.
  • FIG. 2 shows the same arrangement in principle, but only two cameras 10, 11 are provided. Two bundles of rays 20a, 20b are realized with a single camera 10.
  • FIG. 3 shows the use of a reflection from a light source 40 on a smooth, convex surface, as an example for a flex feature 34.
  • the reflection appears on the surface as a spot that moves relative to the workpiece when the workpiece 2 moves, but it is suitable from the material grade ⁇ stuecklage derive.
  • FIG. 4 shows the use of structured light from light sources 50, 51, 52 to generate flex features.
  • Flex features 60, 61, 62 are projected light patterns with any structure that need not be specified; neither the geometric shape nor any dimensions need to be known.
  • a "wild" dot pattern, an annulus and a rectangle were arbitrarily used for the example.
  • Such flex features are significant for the location of the workpiece 2.
  • Fig. 5 shows the same arrangement as Fig. 4, but the projecting device 50, 51, 52 is not oblique, but oriented tangentially.
  • the projecting device 50, 51, 52 is wide-angled, so that when the workpiece 2 is moved INSIDE the viewing beam bundle there is a distortion of the projection pattern, which is basically sufficient to comply with the significance condition (see below), but is less recommendable in terms of stability and accuracy than strict compliance with the tangent ban (see below).
  • Fig. 6 shows an arrangement with camera groups, advantageous with linear features.
  • Fig. 7 shows an arrangement of such a camera group, advantageously with twisted parts.
  • Fig. 8 explains the limitation of the work area in the setup mode by skillful selection of the pivot point.
  • the correction of the robot movement is a geometric transformation of an i.a. three-dimensional movement a) for gripping: the modification of a pre-taught movement from a mostly fixed starting position to the gripping position for the current workpiece, a) for machining: the modification of a pre-taught machining path.
  • the modification is typically a rigid correction (displacement, twisting) to the pre-taught Gripping movement or the pre-taught machining path realized. In special cases, it can be useful to derive a distortion of the movement from this.
  • step e6 (claim 1) is typically, but not necessarily, implemented by the robot.
  • step e6 the relative position to the standard position is varied if the workpiece is only moving, the relative position to the starting position if the image recording device is only moving.
  • the method described here can also be used to pre-correct the movement in order to enable a more precise fine correction in connection with other methods, in particular additional sensors, e.g. for welding track correction.
  • the image recordings can take place both at a standstill and during the movement at times when the system components are in the relevant positions.
  • the method according to the invention can be used in both cases without restriction.
  • the practice of industrial image processing offers many tried and tested options for capturing images in motion, e.g. the problem of motion blur is prevented (e.g. flash lighting, shutter technology, CMOS sensors).
  • the relationship between the starting position and the further positions can be measured in any units that describe this relationship, preferably in the number of steps of travel axes or in space coordinate increments.
  • step e6 The storage of relative positions (step e6) can be done explicitly by saving the values, but also implicitly, for example, by only specifying corresponding step sizes and end values in a program loop.
  • a defined movement of the robot can lie between image recordings a) in order to achieve the uniqueness of the assignment with fewer cameras and / or b) to obtain redundancies and thereby increase the accuracy and interference immunity.
  • both a control and a regulation can be implemented.
  • the method according to the invention can also preferably be used to implement a multi-stage, hierarchical determination of the position: in a first step, a rough determination of the position is carried out, based on a database with coarse scanning, whereupon the robot accordingly corrects the position roughly first.
  • a database with coarse scanning whereupon the robot accordingly corrects the position roughly first.
  • databases with increasingly smaller work areas and increasingly smaller scanning distances are used.
  • step a2 the positional deviation is determined via an explicitly or implicitly implemented comparison of the current images / data with the previously stored images / data.
  • the method preferably amounts to searching a larger database of location description vectors.
  • Preliminary remark The storage and comparison of any data takes place here exclusively in two dimensions, in contrast to model-based systems (irrespective of whether database methods are used or not).
  • the positional deviation can be taken directly from the relative positions assigned to the stored images if you scan the work area in all degrees of freedom with sufficiently small steps and carry out image recordings, save the feature images and search for the position with the most similar set of images in automatic mode.
  • a large, high-dimensional database may be required, especially if you work without interpolation and with long vectors. Methods from the field of database systems are available for the efficient search of such databases.
  • the interpolation with pure image data can be realized under certain conditions: the image content must be structured - if possible in different directions - there should be coarse and if possible also fine structures).
  • step e6 In extreme cases, you can work in small work areas with interpolation and only one change of position per degree of freedom in step e6) (claim 1).
  • Adherence to the significance condition means that reproducibly different image contents that can be clearly assigned to the position information result in different positions within the work area.
  • a technical implementation of the compliance with the significance condition is given by the conditions sl and s2 of claim 1 and is derived via the concept of the beam bundle (also called imaging beam path).
  • An image via one or more cameras is mentally divided into at least three bundles of rays.
  • the two-dimensional coordinate systems assigned to the bundles of rays are normally (but not necessarily) flat; they can also be coplanar.
  • Different bundles of rays are either realized by different cameras (FIG. 1) or realized by the same camera (FIG. 2, where camera 11 comprises bundle 31 and camera 10 bundles 20a and 20b).
  • An area of the workpiece or the tool is viewed over a beam. Two areas are not identical. The areas may fundamentally overlap, but are viewed as disjoint to simplify the observation.
  • the image sections (feature images) corresponding to the areas or data derived therefrom are stored in set-up mode or processed further in automatic mode.
  • Different bundles of rays can also be realized in succession with the same camera in different positions and possibly in different settings (e.g. zoom).
  • the method can also work with alternatively "switchable" workpiece areas.
  • the areas are selected so that, regardless of the rotational position of the wheel hub in at least one of the sets of image areas, a screw hole is always visible in each of the three areas.
  • the sets of areas assigned to the sets do not in principle need to be disjoint.
  • the significance condition can be met with 3 excellent points and one camera.
  • the solutions should be so far apart that there can only be one solution in the work area.
  • the condition for excellent points is that when rotating, the excellent points do not intersect the rays of the bundle of rays tangentially, but rather at a larger angle (e.g.> 20 degrees).
  • This condition is called the tangent ban in the following. It is easy to maintain in a variety of ways and is fulfilled, for example, when the bundles of rays represent a tripod and the center of rotation is in the center of the base of the tripod and the axes of rotation do not go through the features.
  • the tangent prohibition can also be fulfilled for flex features if the LICHT bundles of rays where they meet the flex features are tangent to the circle around the axes of rotation.
  • the tangent ban is an example of the achievement of the significance condition.
  • the ban on tangents is therefore a sufficient but not necessary condition for the (necessary) significance condition to be met. See example Fig. 5: here the significance condition is met even without compliance with the tangent ban.
  • the working areas are usually sufficiently small, for example, to be able to ensure that no axis of rotation passes through a feature.
  • the significance condition can be fulfilled the more reliably the tangent ban is fulfilled; this in turn is easier to achieve when using a single camera, the wider the lens is.
  • an object field angle of more than approx. 20 degrees is sufficient in this case; preferably at least 45 degrees;
  • the tangent ban is best met at an object field angle of approx. 90 degrees: then workpiece areas lying in one plane can all be cut at approx. 45 degrees to the tangent.
  • an area can also encompass the entire part of the workpiece surface that is visible from the point of view of the camera in question.
  • the bundles of rays do not necessarily correspond to a central projection, as shown in FIG. 1; for example, they can also be parallel, such as when using multiple telecentric lenses (parallel projection).
  • the limitation of the beam is not necessarily circular, as shown in Fig. 1; the evaluated areas can be delimited as desired.
  • This general case can be traced back to the case with excellent points by imagining that when the workpiece is moved in space, the image structures and associated value tuples tend to change in a monotonous context in the same way as when measuring the image coordinates of excellent ones Points would be the case.
  • a limited checkerboard pattern for example, whose grid size and orientation changes with the robot movement in the illustration, can be assigned to one of several previously saved checkerboard patterns by image comparison without directly calculating the respective grid size and orientation (a checkerboard is for direct image comparison cheaper than, for example, a grid with fine lines).
  • a telecentric beam path is excluded when using a single camera, since not all beams may be parallel (no "field angle").
  • a large, high-dimensional database may be required, especially if you work without interpolation.
  • Methods from the field of database systems are available for efficiently searching such large databases. Even if you work without interpolation, the very large size of the database according to the current state of the art is not a problem.
  • the invention now also relates specifically to the calculation of interpolated images or data sets, according to approach 2, in setup mode.
  • Interpolated images are not so much a gray value or color interpolation, but rather a motion interpolation of the image content (although the first aspect also plays a certain role).
  • the basic task of motion interpolation is motion estimation; There is extensive literature on this in the area of dynamic scene analysis. There, a distinction is made between pixel-based and feature-based (edge-corner-related, etc.) methods for deriving motion vector fields from image sequences. On the basis of such motion vector fields, one could now generate motion-interpolated images (a similar task can be found in the area of data compression for image sequences).
  • a side object of the invention is therefore to provide a robust method for image or data interpolation without having to resort to workpiece model information.
  • Claim 9 also applies generally to the two-dimensional case. The same mark can be captured by multiple cameras.
  • the stamps are usually specially realized (eg specially assembled parts protruding into the image field with holes or clean edges), but they can also be random features of the environment, for example the contours of the for the workpiece holder realized in the set-up mode.
  • the latter is particularly practical because the exact relative position is not important.
  • the brands can even be applied in the form of stickers that can be differentiated analytically (via shape, color, rough position, etc.) directly to the workpiece used in the set-up shop. The exact position of the brands on the workpiece is irrelevant.
  • the interpolation now takes place, for example, by appropriately interpolating the transformation parameters obtained from the mapping of the marks and transforming one of the images accordingly.
  • a statement about whether the level transformation is valid can be obtained automatically by transforming both images accordingly and comparing the results (transformation parameters from brand images MA and MB; transformation MA to Interpol. Image IA, also MB to IB; comparison IA with IB). If the results are similar, the level transformation is sufficient. Otherwise, the interpolation intervals must be reduced by adding further real images. On the other hand, if the results are sufficiently similar, it makes sense to think about the results.
  • FIG. 6 shows a preferred solution with three pairs of cameras 10, each of which captures an edge section of a workpiece 2 which is delimited in a straight line.
  • FIG. 7 shows a preferred implementation of a camera pair, with one lighting per camera. 7 the lighting 40 for the camera 10 and the lighting 41 for the camera 11 are responsible. Cameras and lights are in the immediate vicinity of gripper 70.
  • the workpiece 2 shown in the standard position can move within the frame 100 due to inaccurate mounting, for example in the position 102 shown.
  • the gripper 1 is shown in the starting position.
  • the view of the workpiece in position 102 from the initial position is to be simulated in the setup process by changing the position of the gripper for the workpiece in the standard position. This is the case in the gripper position 101. If this view occurs in automatic mode, the gripper must take the inverted position 201.
  • the change in orientation of the gripper required in this example need not be combined with all possible translations.
  • a pure change in orientation around the center of the gripper, without translation (gripper position 301) leads to a workpiece view that is geometrically not possible due to the frame 100.
  • the task of teaching only feasible views as possible is easiest accomplished by a suitable choice of the fulcrum, preferably by moving the fulcrum approximately in the middle of the frame 100 in the set-up mode.
  • the starting position for gripping or joining tasks is preferably chosen so that a workpiece can be approached in a standard position with a single linear movement, see Fig. 8.
  • a workpiece can be approached in a standard position with a single linear movement, see Fig. 8.
  • Complicated approaches are required, these have to be transformed via displacement and rotation about the pivot point (which is basically arbitrary, but advantageously in the center of the frame 100).
  • the method presented here does not rely on the use of pulsed, modulated or structured light.
  • the method presented here can basically work with any light, e.g. the daylight. If special lighting is used, it can certainly be pulsed or modulated, or limited or structured to a certain spectral range, to increase the susceptibility to external light. However, this is not fundamentally necessary; the method therefore does not fall under bl) or b2) and is - even with the additional use of structured or pulsed or modulated light - not associated with the measurement problems of methods bl) and b2).
  • the cameras In contrast to stereo methods, in the invention presented here the cameras generally consider different features, with the advantage, among other things, that large workpieces are easier and more precisely to detect. The further the characteristics are apart, the more precise the movement correction is possible. Basically, on the other hand, in contrast to stereo systems, a single camera is sufficient.
  • the camera geometry does not need to be known.
  • the position of the plane coordinate systems in space need not be known.
  • a calculation of the inner or outer camera coordinates is not necessary.
  • Adhesive dots It is not necessary to add artificial features such as Adhesive dots.
  • the procedure allows a controlling or regulating procedure.
  • the method can be used without it being necessary for features which can be determined in terms of position to be available in the images.
  • the transition from fixed features to flexible features can basically be achieved solely by changing the lighting device, without changing anything on the remaining components such as robots, controls, in particular image evaluation methods.
  • the workpiece position only needs to be constant and does not need to correspond to the standard position or any known position.
  • Standardized, miniaturized gripper-integrated solutions can be implemented, since workpieces such as e.g. Sheet metal parts always look similar. This makes it possible to implement standardized solutions including lighting (for general characteristics, the lighting usually has to be optimally designed for the specific case).
  • the arrangement according to FIG. 6 --- requires a total of six cameras, as in the known stereo arrangement.
  • the arrangement, in comparison with stereo, in conjunction with claim 1 of the main application, has the advantage that, in contrast to, for example, [Axi] or [Isr], neither the edge geometry has to be known, nor does calibration of the cameras using a calibration plate or the like be necessary. be made. Accordingly, replacing a camera is very easy: The cameras only need to be roughly aligned with the edges and focused before setting up. When designing the system, only the characteristics of the features can be represented and the significance condition must be observed; deeper modeling or geometry considerations are unnecessary. This massive simplification compared to previous approaches is bought through the resulting amount of data; On the one hand, this is manageable in terms of database technology, and a solution is offered for the time required in set-up operation using the position interpolation method described.
  • Consensus A Paradigm for model Fitting with Applications to Image Analysis and Automated Cartography. Communications of the A.C.M. June 1981, Vol. 24, No. 6, pp. 381-395.

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Manipulator (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

Die Erfindung betrifft ein Verfahren und eine Vorrichtung zur dreidimensionalen Korrektur der Relativbewegung mit mehreren Freiheitsgraden zwischen Werkstücken einerseits, und Greifer oder Werkzeugen andererseits, mit einem Roboter, einer Bildaufnahmeeinrichtung aus einer oder mehreren Kameras, wobei die Bildaufnahmeeinrichtung und/oder das Werkstück reproduzierbar beweglich ist, mit einem Einrichtbetrieb und/oder Automatikbetrieb.

Description

Korrektur der Relativbewegung zwischen Greif- oder
Bearbeitungswerkzeugen und Werkstuecken.
Die Erfindung betrifft ein Verfahren und Vorrichtungen zur Korrektur der Bewegung von Greif- oder Bearbeitungswerkzeugen relativ zu Gegenstaenden in unbekannter oder ungenauer Lage, insbesondere mittels Robotern.
Wenn die Gegenstaende in fester Position und Orientierung praesentiert werden, kann das Greifen oder Bearbeiten mittels Roboter ohne Modifikation einer einmal einprogrammierten Bewegung geschehen. Ist die Lage der Gegenstaende unsicher, z.B. aufgrund von Unsicherheiten der Teileaufnahme, so muss fuer das Greifen oder Bearbeiten die Bewegung des Greif- bzw. Bearbeitungswerkzeugs und damit die des Roboters korrigiert werden.
Beispiele fuer das Greifen sind die Entnahme aus Formfolien, Regalen oder Gitterboxen. Beispiele fuer das Bearbeiten sind das Schleifen oder der Klebemittelauftrag; zur Bearbeitung sind ebenso zu zaehlen das Montieren und Einlegen und das Fuegen, wie beispielsweise das Montieren von Anbauteilen wie Scheiben oder Raedern an Automobil-Karossen oder das Einsetzen oder Anschweissen von Bolzen.
Begriffe
Zum besseren Verstaendnis- der Erfindung werden im folgenden hier verwendete (teilweise neue) Begriffe naeher erlaeutert.
Da es sich bei den Gegenstaenden meist um Werkstuecke handelt, wird im folgenden von Werkstuecken gesprochen, im verall- gemeindernden Sinn irgend eines, bezueglich der Genauigkeitsforderungen der Anwendung hinreichend starren Gegenstandes .
Unter Werkzeug ist im folgenden je nach Aufgabenstellung verallgemeinernd entweder der Greifer oder das Bearbeitungswerkzeug zu verstehen. Als Lage wird im folgenden die dreidimensionale Position und Orientierung im Raum (englisch "position and attitude") bezeichnet. Die Lage eines Werkstuecks wird durch mindestens 6 Parameter beschrieben, i.d.R. durch drei translatorische und drei rotatorische, mit denen ein werkstuecksfestes Koordinatensystem in Bezug zu festen Raumkoordinaten steht.
Der mehrdimensionale endliche Raum der in der vorliegenden Aufgabenstellung moeglichen Lageabweichungen (i.d.R. ein 6-dimensionaler Hyperguader) wird im folgenden als Arbeitsbereich bezeichnet. Je genauer die Halterung der Werkstuecke, desto kleiner darf der Arbeitsbereich sein.
Der Begriff Roboter ist hier allgemein zu verstehen im Sinne eines mechanischen oder virtuellen Systems mit programmierbarer oder per Algorithmus steuerbarer oder regelbarer Bewegung. Durch die Bewegung wird die Relativlage von Werkzeug und Werkstueck veraendert, wahlweise Werkzeug gegen Werkstueck oder umgekehrt oder beides.
Im Einrichtbetrieb (Offline-Betrieb) eines Systems wird - i.d.R. unter menschlicher Ueberwachung oder Fuehrung - das System fuer die Anwendung parametriert, einschliesslich z.B. Teachen einer Roboterbahn, Teachen eines Bildanalysesystems und Kalibrierung, sofern erforderlich.
Im Automatikbetrieb (Online-Betrieb) arbeitet das System selbsttaetig oder halbautomatisch entsprechend der vorliegenden Aufgabenstellung.
Unter der Standardlage eiaes Werkstuecks verstehen wir im folgenden eine zufaellig oder speziell gewaehlte Lage, fuer die der Roboter eingeteacht wird. Aufgabe ist es, das Werkstueck auch in einer von dieser Standardlage abweichenden Lage korrekt zu greifen oder zu bearbeiten. Die Standardlage braucht nicht in irgendeiner bekannten Beziehung zu den Raumkoordinaten zu stehen. Salopp gesprochen koennte man das Werkstueck auf einen Tisch werfen, und die so entstandene zufaellige und geometrisch unspezifizierte Lage als Standardlage zum Teachen verwenden.
In Sonderfaellen, in denen ein Werkzeug unsicher und ein Werkstueck sicher positioniert ist, kann natuerlich ein Rollentausch zwischen Werkstueck und Werkzeug stattfinden. Beim Montieren, Einlegen, Fuegen oder sonstigen dazu aehnlichen Aufgaben spielt der Gegenstand, wo das Werkstueck ein/angebracht wird, normalerweise die Rolle des Werkzeugs .
Ausgangslage ist eine im allgemeinen beim Teachen festgelegte Lage von Systemkomponenten, in der im Automatikbetrieb die jeweils ersten Bildaufnahmen durchgefuehrt werden.
Als Fixmerkmale (hier speziell eingefuehrter Begriff) werden solche Merkmale eines Werkstuecks bezeichnet, die ortsfest auf den Werkstuecken vorhanden sind, wie "von Natur aus" vorhandene Formen wie Kanten, Ecken, Loecher, Sicken, aber auch kuenstliche Marken (werkstueckbezogen ortsfest angebrachte Aufdrucke, Praegungen, Klebepunkte oder werkstueckbezogen ortsfeste Projizierungen wie Laserpunkte oder Lasermuster) .
Fixmerkmale sind auch solche, die unter Zuhilfenahme von strukturiertem Licht ein Muster erzeugen, das werkstueckbezogen ortsfest ist. Dies kann zur Erhoehung der Stoersicherheit sinnvoll sein: beispielsweise kann man, um Werkstueckkanten zuverlaessiger darzustellen, ein duennes Linienmuster auf die Oberflaeche projizieren und mittels eines angepassten Softwarefilters die Regionen mit Streifenmuster hervorheben, um eine sichere Figur-Hintergrund-Trennung zu erhalten (auf dem Hintergrund befindet sich kein Streifenmuster mit passenden Linienabstaenden) .
Als ausgezeichnete Punkte.- erden, solche Fixmerkmale bezeichnet, die durch Punkte repraesentiert werden, z.B. die Mitte eines Kreises oder ein Eckpunkt einer Kontur, gegeben als Schnittpunkt von zwei Geradenstuecken.
Zusaetzlich zu den werkstueckbezogen ortsfesten Merkmalen koennen nicht ortsfeste, beleuchtungstechnisch erzeugte Merkmale verwendet werden. Diese werden in folgenden als Flexmerkmale bezeichnet (hier speziell eingefuehrter Begriff) .
Beispiele fuer Flexmerkmale: a) Woelbungen: Bei Bewegung der Kamera gegenueber dem Werkstueck und gerichteter Beleuchtung wandern die Reflexionskanten auf der Woelbung relativ zum Werkstueck und verformen sich ausserdem. Sie sind nicht werk- stuecksbezogen fest, aber reproduzierbar und zur Gewinnung der Lageinformation geeignet. b) Projektion von Lichtmustern (i.d.R. mittels Laser realisiert) : die sich hierbei ergebenden
Formen koennen grundsaetzlich zur dreidimensionalen Auswertung herangezogen werden; da normalerweise die Beleuchtung nicht parallel mit dem Werkstueck bewegt wird, sind die Formen nicht werkstuecksbezogen fest.
Merkmale sind Fixmerkmale oder Flexmerkmale.
Ein Merkmal ist i.a. dreidimensional; die Abbildung eines ein Merkmal umfassenden Werkstueckbereiches in ein zweidimensionales Koordinatensystem ueber ein Strahlenbuendel, auch Abbildungsstrahlengang genannt, wird als Merkmalsbild bezeichnet.
Ein solches Merkmalsbild kann weiter ueberfuehrt -werden in eine kompaktere.-. Beschreibung in Form eines t-dimensLonalen Bildbeschreibungsvektors von Werten, wl, w2, ... wt, mit t>=l. In der Regel gilt t>=2.
Die Komponenten des Bildbeschreibungsvektors sind Masszahlen, die Eigenschaften der Abbildung von Merkmalen in Merkmalsbildern erfassen. Einfachstes Beispiel, mit t=2, ist die Messung des Schwerpunktes der Abbildung eines Lochs, der durch die beiden Schwerpunkts-Bildkoordinaten beschrieben wird. Ein weiteres Beispiel ist die Berechnung von Verschiebung und Verdrehung eines beliebig struk- turierten Bildmusters ueber Korrelationsverfahren (t=3) . Wie weiter unten anhand der Ausfuehrungs- beispiele zu der Erfindung erlaeutert wird, sind fuer den Bildbeschreibungsvektor auch Masse geeignet wie Groessenveraenderung, Helligkeits- und Farb- veraenderung, Ortsfrequenzveraenderungen - also Werte, die keine Verschiebung oder Verdrehung in Bildkoordinaten beschreiben.
Die triviale Art, einen Merkmalsvektor aus einem Grauwert-Merkmalsbild mit der Groesse nx mal ny Pixel zu bestimmen, besteht darin, einfach alle Pixelgrauwerte direkt in einen Bildbeschreibungsvektor mit nx mal ny Komponenten zu ueberfuehren.
Durch die Zusammenfassung mehrerer Bildbeschreibungsvektoren, die derselben (i.a. unbekannten) mechanischen Werkstueckaufnahmesituation (z.B. der Ausgangslage) zuzuordnen sind, entsteht ein Vektor, der im folgenden als Lagebeschreibungsvektor bezeichnet wird.
Wohlgemerkt beschreibt der Lagebeschreibungsvektor die zu bestimmende Lageabweichung nicht direkt, sondern implizit !
Stand der Technik
Eine Korrektur der Roboterbewegung kann abgeleitet werden aus der Abweichung,-, der aktuellen Lage von der Standardlage .
Diese Abweichung wird nach der konventionellen Vorgehensweise ermittelt, indem ein werkstueckeigenes Koordinatensystem definiert wird, und indem die absolute Lage des Werkstuecks sowohl fuer die Standardlage als auch fuer die aktuelle Lage bestimmt wird. Fuer die Bestimmung einer absoluten Lage mittels optischer Sensoren, speziell Bildverarbeitungssystemen, werden in der Literatur zweierlei Methoden angegeben: a) modellbasierte Methoden, b) dreidimensional messende Systeme. Modellbasierte und 3D-Mess-Systeme
Modellbasierte Systeme verwenden die bekannte Geometrie von Fixmerkmalen im werkstueckeigenen Koordinatensystem. Merkmale werden dreidimensional modelliert.
Zu modellbasierten Verfahren zaehlen zum Beispiel [GMR] , [Fan] , [Isr] . Bei allen drei Beispielen muss der Bezug der Merkmale zu einem koerpereigenen Koordinatensystem bekannt sein. [GMR] verwendet Punkte oder Punkte und Linien, eine oder mehrere Kameras. [Isr] verwendet nur Linien, drei oder mehr Kameras. [Fan] verwendet Punkte, drei oder mehr Kameras, ausserdem einen Eichkoerper, der fuer die Kalibrierung vor jede Kamera zu positionieren ist .
Weitere Beispiele sind [Axi] , [Jan] (Diskussion siehe weiter unten) .
Nachteile der modellbasierten Methoden sind:
- die Lage der Merkmale im werkstueckseigenen Koordinatensystem muss bekannt sein,
- die Kamera muss aufwendig kalibriert werden,
- sie koennen grundsaetzlich keine Flexmerkmale handhaben.
Bei dreidimensional messenden Systemen braucht die Teilegeometrie nicht bekannt zu sein; mit ihnen werden beispielsweise handgefertigte Modelle abgetastet zur Generierung von CAD-Daten fuer die Serienproduktion. ■ Ein anderes Beispiel ist die Bahnregelung mittels Lichtschnittverfahren.
Die Messmethoden fuer dreidimensional messende Systeme sind: bl) punktweise Abstandsmessung ueber gepulstes oder moduliertes Licht, zusammen mit Messung der Licht-Laufzeit bzw. Phasenverschiebung, b2) Triangulation ueber mindestens eine Kamera und strukturiertes Licht, b3) Triangulation ueber mindestens 2 Kameras (Stereo) .
Nachteilig ist die Methode bl) mit einem sehr hohen apparativen Aufwand verbunden und erfordert eine aufwendige, stabile Messtechnik. Nachteilig ist die Methode b2) mit hohem apparativem Aufwand verbunden und erfordert ueberdies einen sehr hohen Aufwand bei der Kalibrierung der Systeme; Kamera- und Beleuchtungsgeometrie muessen bekannt und sehr stabil sein.
Bei messenden Systemen zur Abtastung von Oberflaechen nach Methode b2) kann der Sensor definiert bewegt werden, um fuer grossflaechige Werkstuecke den Messbereich solcher Systeme in Verbindung mit einer bekannten mechanischen Bewegung zu erweitern:
Nach [Dif] wird der Sensor entweder entsprechend einer vorher bekannten Idealform bewegt und der (b2-) Sensor vermisst Abweichungen davon, oder der Sensor dient als Null-Indikator, um eine geregelte Bewegung in konstantem Abstand von der Oberflaeche zu erzeugen, wobei diese Bewegung als Messergebnis dient. Hier handelt es sich um ein modellbasiertes, messendes System.
Nach [Per] dient ein Roboter zur Fuehrung eines (b2-) Sensors, wobei die im allgemeinen nicht ausreichende Genauigkeit des Roboters durch eine von Roboter und Sensor unabhaengige, nicht naeher beschriebene Zusatzeinrichtung (z.B. zusaetzliches "Photogrammetrie"-System oder "Kinematic correction module") erhoeht .
Bei Stereoverfahren (b3) werden die selben Merkmale von jeweils mindestens 2 Kameras erfasst; aus der Dispari- taet der Abbildung der Merkmale in den Bildern und aus den bekannten Daten der Kamera-Geometrie wird mittels Trian- gunation die dreidimensionale Lage der Merkmale berechnet. Die Werkstueckgeometrie und die Lage der Merkmale im Werkstuackkoordinatensystem braucht im allgemeinen nicht bekannt zu sein, wird jedoch bei den meisten Ansaetzen als bekannt vorausgesetzt.
Ein Nachteil der Stereoverfahren ist, dass verschiedene Kameras gleiche Merkmale erfassen muessen. Daraus ergibt sich ein Problem bei grossen Werkstuecken: Um die erforderliche Rotationsgenauigkeit zu erzielen, muessen mehrere moeglichst weit auseinander liegende Merkmale erfasst werden. Das fuehrt dazu, dass
- entweder die Bildfelder sehr gross werden, was nun doch wiederum zu Genauigkeitsproblemen wegen geringer Bildpunktaufloesung fuehrt,
- oder dass fuer weit auseinanderliegende Merkmale je zwei Kameras erforderlich sind, fuer drei weit auseinander liegende Merkmale also insgesamt mindestens 6 Kameras (s. z.B. [Lee] ) .
Ausserdem duerfen sich die Merkmale bei veraenderter Be- leuchtungs- und Betrachtungsgeometrie nicht aendern. Flexmerkmale verbieten sich daher vielfach.
Stereoverfahren sind ausfuehrlich in [Kle] beschrieben.
Ein gravierender Nachteil der triangulierenden Messverfahren (b2 und b3) ist die Notwendigkeit der genauen Kalibrierung, Kamera (s) und ggf. strukturierte Beleuchtung betreffend; ausserdem muss der Aufbau sehr stabil sein, um die geforderte Messgenauigkeit auch im rauen Industriebetrieb aufrechterhalten zu koennen.
Anmerkung: Die Kalibrierung einer Kamera beschreibt die Abbildungsgeometrie; man unterscheidet ueblicherwei- se aeussere und innere Parameter. Die aeusseren Parameter beschreiben die Lage des ProjektionsZentrums und der optischen Achse im Raum, sowie den (skalaren) Abstand zwischen ProjektionsZentrum und Abbildungsebene. Die inneren Parameter beschreiben die Schraeglage der Abbildungsebene zur optischen Achse und die Lage des Durchstosspunktes •der optischen Achse durch- die Bildebene relativ zum Bildrahmen
Weitere Beispiele des Einsatzes von Stereoverfahren sind [Axi] , [Jan] .
Bei [Axi] handelt es sich um modellbasiertes 3-D-Matchen von Stereo-gewonnenen (incl. Bewegungsparallaxe) oder ueber spezielle Abstandssensoren gewonnenen 3D-Merkmalen, mit 3-D-Modellen.
So werden Merkmale im 3-Dimensionalen ermittelt, diese dann mit 3-dimensionalen Daten einer "knowledge base" verglichen und aus diesem Vergleich wird eine aktuelle 3-D- Lagebeschreibung von Koerpern abgeleitet. Diesem Ansatz sind daher die o.g. Nachteile von Stereoverfahren gemein; ausserdem muss bei modellbasierten Verfahren die Werk- stueckgeometrie bekannt sein.
Bei [Jan] handelt es sich ebenso um einen Vergleich von gemessenen Mustern im Dreidimensionalen.
Ein Nachteil der Modellbasierten Methoden, die auf Triangulation oder sonstigen dreidimensional messenden Systemen aufsetzen ist, dass irgendwelche (Modell-) Merkmalsvergleiche im Dreidimensionalen stattfinden muessen; diese Vergleiche setzen jedoch bereits einen zuverlaessigen 2D-zu- 3D-Uebergang voraus, und damit eine zuverlaessige Messtechnik.
Visual Servoing
In juengerer Zeit entstand das Arbeitsgebiet "Visual Servoing", im folgenden kurz Servoverfahren genannt [Hut] . Hier wird versucht, mit unkalibrierten oder ungeau • kalibrierten Systemen ueber optische Rueckkopplung eine Regelung-.von Robotern zu realisieren. Waehrend der Roboterbewegung wird versucht, die Position der Merkmalsbilder moeglichst genau auf Soll zu bringen. Dies impliziert die Moeglichkeit der Berechnung der Position von Merkmalsbildbern.
Anmerkung: bei einer Regelung wird im Gegensatz zu einer Steuerung durch die Rueckfuehrung einer Messgroesse (hier der Position der Merkmalsbilder) auf eine Stellgroesse (hier der Roboterstellung) eingewirkt. Bei Servoverfahren sind daher laufende Bildaufnahmen waehrend der Bewegung erforderlich, um die Abweichung der Messgroessen von den Sollwerten durch die Bewegung zu minimieren. Bei Servoverfahren kann die folgende Fallunterscheidung getroffen werden:
Fall 1: Hand-Auge-Koordination ( "hand-eye-coordination" ) .
Bei Hand-Auge-Koordination wird das Werkzeug relativ zu den(r) Kamera (s) bewegt.
Die Kamera erfasst das Werkzeug oder Teile davon oder Markierungen oder mechanische Teile, die in geometrischer Beziehung zum Werkzeug stehen.
Unterscheidung nach Bewegung:
Fall la: Das Werkzeug wird bewegt und die Kamera steht fest.
Fall lb: Das Werkzeug steht fest und die Kamera wird bewegt .
Fall lc: Das Werkzeug und die Kamera werden beide bewegt, beispielsweise koennen verschiedene Freiheitsgrade verteilt werden auf Werkzeug und Kamera.
Unterscheidung nach Bilderfassung:
Fall lx: Die Kamera erfasst das Werkstueck und das Werkzeug (Standardfall) .
Fall ly: Die Kamera erfasst das Werkstueck und nicht das Werkzeug.
Fall lz: Die Kamera erfasst nicht das Werkstueck und erfasst das Werkzeug.
Im Fall lx kann die Roboterposition in Bezug auf die aktueLle Werkstuecklage gesteuert oder geregelt werden.
Im Fall ly kann die Roboterposition in Bezug auf die aktuelle Werkstuecklage gesteuert werden.
Im Fall lz kann nur eine Regelung der Roboterbewegung an sich realisiert werden, nicht aber im Bezug auf die aktuelle Werkstueckposition.
Fall 2: Auge-in-Hand ( "eye-in-hand") :
Bei Auge-in-Hand wird (werden) die Kamera (s) parallel mit dem Werkzeug relativ zum Werkstueck bewegt. Unterscheidung nach Bewegung:
Fall 2a: Werkzeug und Kameras werden bewegt und das Werkstueck steht still.
Fall 2b: Werkzeug und Kameras stehen fest und das Werkstueck wird bewegt.
Fall 2c: Werkzeug und Kameras werden gemeinsam bewegt, und das Werkstueck wird bewegt, beispielsweise koennen verschiedene Freiheitsgrade verteilt werden auf Werkzeug und Kamera einerseits und Werkstueck andererseits .
Unterscheidung nach Bilderfassung:
Fall 2x: Die Kamera erfasst das Werkstueck und das
Werkzeug. Fall 2y: Die Kamera erfasst das Werkstueck und erfasst nicht das Werkzeug.
Im Fall 2x kann die Roboterposition in Bezug auf die aktuelle Werkstuecklage gesteuert oder geregelt werden, die Situation entspricht ungefaehr dem Fall lx.
Im Fall 2y kann die Roboterposition in Bezug auf die aktuelle Werkstuecklage gesteuert oder geregelt werden.
Vorgaenger der Servoverfahren sind einfache, steuernd arbeitende Systeme, die jeweils einen der folgenden Faelle betrachten: • - Stereo,
- Fall lx,
- Tracking ohne exakte Tiefenschaetzung, mit den dementsprechenden Einschraenkungen.
Um bei Servoverfahren die Regelung zu optimieren, wird versucht, den Zusammenhang zwischen Bewegung der Roboterachsen und der oertlichen Verschiebung der Abbildung von Fixmerkmalen zu modellieren. Die Lineare Approximation dieses Zusammenhangs um einen Arbeitspunkt wird durch die sog. visuelle Jakobi-Matrix beschrieben. Fuer die Hand-Auge-Koordination wurde zur Gewinnung der Jakobi-Matrix vorgeschlagen, dass im Einrichtbetrieb ein Satz von orthogonalen Roboterbewegungen durchgefuehrt wird, bei gleichzeitiger Beobachtung der Bewegung der Position der Abbildung der Merkmale [Jal] .
Verschiedene bekannte Verfahren der Funktionsapproximation wurden vorgeschlagen: stueckweise lineare Naeherung, stueckweise mit Splines [JaO] , "Quasi-Newton"-Verfahren [Pie] .
Bei all diesen Annaeherungen wird waehrend der Regelung einer Hand-zu-Auge-Koordinationsaufgabe versucht, durch die Naeherung eine Schaetzung fuer die optimale Bewegung abzuleiten, um mit der naechsten Bildaufnahme eine weitere, erhofft genauere, Schaetzung durchfuehren zu koennen.
Die Themen der Veroeffentlichungen zu Visual Servo sind regelungstechnischer Art, bezogen auf Positionen von Merkmalsbildern, wobei die Berechnung/Schaetzung der Jakobimatrix eine zentrale Rolle spielt. Regelungen mit 3D-Zielsetzung sind bei Visual Servo modellbasiert, z.B. [Sta] .
Servoverfahren haben die folgenden Nachteile:
Bei Servoverfahren ist aufgrund der regelnden Vorgehensweise im Automatikbetrieb die laufende Aufnahme und Auswertung von Bildern erforderlich, und damit insbesondere eine sehr schnelle Auswertung. Damit ist der Ansatz auch auf relativ einfache oder hardwaremaessig unter- stuetzte Bildauswertungsmethoden begrenzt.
Servoverfahren koennen in Fall lx oder Fall 2x ohne Kalibrierung oder mit sehr ungenauer Kalibrierung arbeiten. Im hier eingeschlossenen Fall 2y jedoch benoe- tigen wir fuer Zwecke der Werkstueckhandhabung oder Werkstueckbearbeitung eine genaue Kalibrierung. Fuer Zwecke der Zielverfolgung (Tracking) durch Auge- in-Hand Systeme mit Servoverfahren wird die Bewegung der Position der Abbildung von Merkmalen abhaengig von der Kamerabewegung bestimmt a) analytisch [Mar] : das wiederum setzt Kenntnis der Kamerageometrie voraus, b) durch online Schaetzung; Problem ist die Schaetzung der Entfernungsabhaengigkeit der Parameter in der Jakobimatrix ([Hut] S. 26).; fuer das Tracking kommt man mit einer sehr groben Schaetzung dieser Parameter aus, indem man die Zielpositionen in die Naehe der optischen Achse verlegt. Ohne zuverlaessige Abstands- information sind jedoch Aufgaben der Werkstueckhand- habung oder Werkstueckbearbeitung nicht loesbar.
Servoverfahren sind auf die explizite Ableitung von Positionsinformation aus den Bildern angewiesen, wie dies beispielsweise bei Verwendung von ausgezeichneten Punkten realisierbar ist. Ohne solche explizite Positionsinformation kann kein Visual Servoing realisiert werden.
Selbstueberwachung
Diese Erfindung behandelt als ein Nebenproblem die Aufgabe einer Selbstueberwachung.
Selbstueberwachungsverfahren fuer die hier vorliegende Aufgabe werden beschrieben in [Arne] und [Gra] .
Nach [Arne] werden am Roboter kuenstliche Passpunkte angebracht, .-deren Lage im Robotersystem ermittelbar sein muss. Die Kameras werden kalibriert. Das Grundverfahren wird - intermittierend - direkt wiederholt.
Nach [Gra] wird fuer Zwecke der Temperatur ompensation eine Vielzahl von kuenstlichen Messpunkten an speziell bestimmten Stellen im Raum angebracht. Diese Messpunkte, die im Normalbetrieb nicht gebraucht werden, werden zur Fehlerue- berwachtung bzw. Fehlerkompensation extra angefahren und mit verschiedenen Methoden vermessen, u.a. ueber optische Merkmale und Bilderfassungseinrichtungen, die die raeum- liche Lage der Merkmale erfassen. Aufgabe
Grundaufgabe Aufgabe der Erfindung ist es, eine Bewegungskorrektur bereitzustellen, je nach Realisierungsvariante unter gleichzeitiger Einhaltung moeglichst vieler der folgenden Randbedingungen:
- ohne Merkmale auf den Werkstuecken explizit definieren zu muessen,
- ohne die Werkstueck- oder Merkmalsgeometrie modellieren (kennen) zu muessen,
- ohne Verwendung mechanischer Kalibrier-Hilfsmittel wie Kalibriertafeln, Theodoliten oder dergleichen,
- im Blickbereich einer Kamera befindet sich nur das Werkstueck bzw. das Werkzeug (im Gegensatz zu Visual Servoverfahren, Fall lx) ,
- unter Vermeidung des oben angegebenen Nachteils von Stereosystemen, dass grosse Werkstuecke nur ungenau oder mit sehr vielen Kameras gehandhabt werden koennen.
- ohne dass ausgezeichneten Punkte erforderlich sind (bei zufaelliger Verfuegbarkeit wird man sie natuerlich verwenden) ,
- ohne Positionsinformation aus den Bildern ableiten zu muessen, wie dies bei Visual Servo Verfahren grund- saetzlich der Fall ist.
Ausserdem werden die folgenden Nebenaufgaben behandelt:
- Beherrschung von verwundenen Teilen, • - Selbstueberwachung,
- Adapti-on an schleichende Geometrieveraenderungen,
- Aufwandsverringerung im Einrichtbetrieb durch Interpolation von Bildern und Bilddaten, ohne Rueckgriff auf Werkstueck- oder Merkmalsgeometrie.
Loesung
Die Grundaufgabe wird nach den unabhaengigen Anspruechen 1 und 3 und den davon abhaengigen Anspruechen geloest, wobei die Ansprueche 3, 4 und 5 speziell der Beherrschung (geringfuegig) verwundener Teile gewidmet sind. Die Nebenaufgabe "Selbstueberwachung" wird nach Unteranspruch 6 und unabhaengigem Anspruch 7 geloest.
Die Nebenaufgabe "Adaption" wird nach Unteranspruch 8 geloest .
Die Nebenaufgabe "Interpolation" wird nach Anspruch 9 und Unteranspruch 10 geloest.
Anspruch 11 betrifft die Eingrenzung des Arbeitsbereichs im Einrichtbetrieb.
Abgesehen davon, dass Anspruch 4 die letzte Randbedingung nicht erfuellt, werden sonst alle Randbedingungen von allen Anspruechen erfuellt .
Erlaeuterung der Loesung
Die folgende genauere Erlaeuterung der Erfindung geschieht unter Zuhilfenahme der Figuren 1 bis 8.
Die Erlaeuterung ist wie folgt gegliedert:
- Kurzbeschreibung der Figuren
- Allgemeines
- Speichern und Suchen in einer Datenbank
- Die Signifikanzbedingung
- Betrachtung von Strahlenbuendeln
- Vorbetrachtung: Strahlenbuendel und Tangentenverbot
- Einhaltung der Signifikanzbedingung
- Technische Realisierung der Einhaltung der Signi- fikanzbedingung
- Bild/Daten-Interpolation im Einrichtbetrieb
- Beherrschung von verwundenen Teilen
- Eingrenzung des Arbeitsbereichs im Einrichtbetrieb Kurzbeschreibung der Figuren
Fig. 1 zeigt eine Anordnung mit drei Kameras 10,11,12 und einem Strahlenbuendel (s.u.) oder Abbildungsstrahlengang 20,21,22 pro Kamera. Die Merkmale sind Fixmerkmale (Loecher, Kontur) 30,31,32 am Werkstueck 2. Die Kameras 10,11,12 sind am Werkzeug 1 befestigt. Entweder wird das Werkzeug 1 mit den Kameras bewegt oder das Werkstueck 2 wird bewegt.
Die Fixmerkmale 30,31,32 sind hier zwar als Punkte repraesentierbar, es muessen jedoch keine Punktkoordinaten berechnet werden, es genuegen einfache Bildvergleichsmethoden, um die Werkstuecklage zu bestimmen. Ohne die erfindungsgemaessen Kennzeichen zu verlassen, koennen natuerlich auch Koordinatenwerte fuer Lagebeschreibungsvektoren (Definition siehe oben) herangezogen werden.
Fig. 2 zeigt die prinzipiell gleiche Anordnung, jedoch sind nur zwei Kameras 10,11 vorgesehen. Dabei sind zwei Strahlenbuendel 20a, 20b mit einer einzigen Kamera 10 realisiert.
Fig. 3 zeigt die Verwendung eines Reflexes von einer Lichtquelle 40 auf glatter, konvexer Oberflaeche, als Beispiel fuer ein Flexmerkmal 34. Der Reflex stellt sich auf der Oberflaeche als Fleck dar, der bei Bewegung des Werkstueckes 2 relativ zum Werkstueck wandert, dennoch ist er geeignet, daraus die Werk- ■ stuecklage abzuleiten.
Es braucht weder die Position noch die Groesse noch die Form des Flecks bekannt zu sein; es genuegt die Tatsache, dass der Fleck sich bei Bewegung des Werkstuecks aus Sicht der Kamera 10 reproduzierbar aendert . Fig. 4 zeigt die Verwendung von strukturiertem Licht von Lichtquellen 50,51,52, zur Erzeugung von Flex- merkmalen. Die Flexmerkmale 60,61,62 sind projizierte Lichtmuster mit irgendeiner Struktur, die nicht weiter spezifiziert zu werden braucht; weder die geometrische Form noch irgendwelche Abmessungen brauchen bekannt zu sein. Willkuerlich wurde fuer das Beispiel ein "wildes" Punktemuster, ein Kreisring und ein Rechteck verwendet. Solcherart Flexmerkmale sind fuer die Lage des Werkstueckes 2 signifikant .
Fig. 5 zeigt die gleiche Anordnung wie Fig. 4, jedoch ist die projizierende Einrichtung 50, 51, 52 nicht schraeg, sondern tangential ausgerichtet. Die Projizierende Einrichtung 50, 51, 52 ist weitwinklig, so dass sich bei Bewegung des Werkstuecks 2 INNERHALB der Betrachtungs-Strahlenbuendel eine Verzerrung der Projektionsmuster ergibt, was zur Einhaltung der Signifikanzbedingung (s.u.) zwar grundsaetzlich ausreicht, aber bezueglich Stabilitaet und Genauigkeit weniger empfehlenswert ist als die strenge Einhaltung des Tangentenverbots (s.u.).
Fig. 6 zeigt eine Anordnung mit Kameragruppen, vorteilhaft bei linear ausgepraegten Merkmalen.
Fig. 7 zeigt eine Anordnung einer solchen Kameragruppe, vorteilhaft bei verwundenen Teilen.
Fig. 8 erlaeutert die Eingrenzung des Arbeitsbereichs im Einrichtbetrieb durch geschickte Wahl des Drehpunkts.
Allgemeines
Die Korrektur der Roboterbewegung ist eine geometrische Transformation einer i.a. dreidimensionalen Bewegung a) zum Greifen: die Modifikation einer vorgeteachten Bewegung von einer meist festen Ausgangslage bis zur Greifposition fuer das aktuelle Werkstueck, a) zum Bearbeiten: die Modifikation einer vorgeteachten Bearbeitungsbahn .
Die Modifikation ist typischerweise als starre Korrektur (Verschiebung, Verdrehung) auf die vorgeteachte Greifbewegung bzw. die vorgeteachte Bearbeitungsbahn realisiert. In Sonderfaellen kann es sinnvoll sein, daraus eine Verzerrung der Bewegung abzuleiten.
Die Lageveraenderung in Schritt e6 (Anspruch 1) wird typischerweise, aber nicht notwendigerweise durch den Roboter realisiert.
In Schritt e6 (Anspruch 1) wird bei nur bewegtem Werkstueck die Relativlage zur Standardlage variiert, bei nur bewegter Bildaufnahmeeinrichtung die Relativlage zur Ausgangslage.
Das hier beschriebene Verfahren kann auch zur Vorkorrektur der Bewegung eingesetzt werden, um in Verbindung mit weiteren Verfahren, insbesondere zusaetzlichen Sensoren, eine genauere Feinkorrektur zu ermoeglichen, z.B. fuer die Schweissbahnkorrektur .
Im Rahmen der vorliegenden Erfindung koennen die Bildaufnahmen sowohl im Stillstand als auch waehrend der Bewegung erfolgen zu Zeitpunkten, wenn sich die Systemkomponenten in den betreffenden Lagen befinden.
Das erfindungsgemaesse Verfahren ist in beiden Faellen dabei ohne Einschraenkung einsetzbar. Die Praxis der industriellen Bildverarbeitung bietet viele bewaehrte Moeglichkeiten der Bildaufnahme in der Bewegung, durch die z.B. das Problem der Bewegungsunschaerfe unterbunden wird (z.B. Blitzbeleuchtung, Shuttertechnik, CMOS-Sensoren) .
Die Beziehung zwischen der Ausgangslage und den weiteren Lagen kann in beliebigen Einheiten gemessen sein, die diese Beziehung beschreiben, vorzugsweise in der Anzahl der Schritte von Verfahrachsen oder in Raumkoordinaten- Inkrementen.
Das Speichern von Relativlagen (Schritt e6) kann explizit geschehen durch Abspeichern der Werte, aber auch implizit, indem man beispielsweise in einer Programmschleife lediglich entsprechende Schrittweiten und Endwerte angibt .
Im Automatikbetrieb kann zwischen Bildaufnahmen eine definierte Bewegung des Roboters liegen a) um die Eindeutigkeit der Zuordnung mit weniger Kameras zu erreichen und/oder b) zur Gewinnung von Redundanzen und dadurch Erhoehung der Genauigkeit und Stoersicherheit .
Unabhaengig davon koennen auch mehrere Bildaufnahmen in gleicher Roboterposition zur Erhoehung der Genauigkeit und Stoersicherheit sinnvoll sein.
Mit dem erfindungsgemaessen Verfahren kann sowohl eine Steuerung als auch eine Regelung (aehnlich visual Servoing, mit mehreren Bildaufnahmen pro Kamera) realisiert werden.
Mit dem erfindungsgemaessen Verfahren kann vorzugsweise auch eine mehrstufige, hierarchische Bestimmung der Lage realisiert werden: Im einem ersten Schritt wird eine grobe Lagebesti mung realisiert, auf Basis einer Datenbasis mit grober Abtastung, worauf der Roboter die Lage dementsprechend zunaechst grob korrigiert. In den folgenden Schritten werden Datenbasen mit zunehmend kleineren Arbeitsbereichen und zunehmend kleineren Abtastweiten verwendet .
In Schritt a2 (Anspruch 1) wird die Lageabweichung ermittelt ueber einen explizit oder implizit realisierten Vergleich der aktuellen Bilder/Daten mit den zuvor gespeicherten Bildern/Daten.
Speichern und Suchen in einer Datenbank
Das Verfahren laeuft vorzugsweise auf das Durchsuchen einer groesseren Datenbank von Lagebeschreibungsvektoren hinaus . Vorbemerkung: Das Speichern und Vergleichen von irgendwelchen Daten findet hier ausschliesslich im Zweidimen- sionalen statt, im Gegensatz zu modellbasierten Systemen (gleichgueltig, ob Datenbankmethoden zum Einsatz kommen oder nicht) .
Die Lageabweichung kann direkt aus den den abgespeicherten Bildern zugeordneten Relativlagen entnommen werden, wenn man im Einrichtbetrieb den Arbeitsbereich in allen Freiheitsgraden mit ausreichend kleinen Schritten abtastet und Bildaufnahmen durchfuehrt, die Merkmalsbilder speichert und im Automatikbetrieb nach der Lage mit dem aehnlichsten Satz von Abbildungen sucht.
Diese Brute-Force-Methode setzt lediglich die Einhaltung der Signifikanzbedingung (siehe unten) voraus. Die Einhaltung der Signifikanzbedingung ist eine allgemein notwendige Voraussetzung der Erfindung und wird weiter unten diskutiert.
Es kann eine grosse, hochdimensionale Datenbank erforderlich sein, insbesondere wenn man ohne Interpolation und mit langen Vektoren arbeitet. Fuer das effiziente Durchsuchen solcher Datenbanken stehen Methoden aus dem Arbeitsgebiet der Datenbanksysteme bereit.
Bezueglich Arbeitsweise im Automatikbetrieb kann man unterscheiden :
- Nach Abtastweite:
- Suche in einer Datenbank von Lagebeschreibungsvektoren, die--durch feine Abtastung des Arbeitsbereiches entsteht.
- interpolierendes Arbeiten mit einer Datenbank, die durch grobe Abtastung des Arbeitsbereiches entsteht.
Im letzten Fall ist die Datenbank wesentlich kleiner, da der Arbeitsbereich nur grob abgetastet wurde. An- schliessend wird aus mehreren benachbarten Lagekandidaten, ueber Interpolieren der Aehnlichkeitswerte, die Lage bestimmt. - Nach Datenbankinhalt:
- Arbeiten mit grossen Lagebeschreibungsvektoren in Form von Merkmalsbildern
- Arbeiten mit kompakteren Lagebeschreibungsvektoren
(grundsaetzlich sind nur 6 Vektorkomponenten erforderlich, um bei 6 Freiheitsgraden eine Lagekorrektur mit nur einer Bildaufnahme pro Buendel oder Abbildungsstrahlengang zu realisieren) .
Diese Methoden koennen auch miteinander kombiniert werden.
Die Interpolation mit reinen Bilddaten ist unter bestimmten Voraussetzungen realisierbar: die Bildinhalte muessen - moeglichst in verschiedenen Richtungen - strukturiert sein, es sollten grobe und moeglichst auch feine Strukturen vorhanden sein) .
Im Extremfall kann man bei kleinen Arbeitsbereichen mit Interpolation und nur einer Lageveränderung pro Freiheitsgrad im Schritt e6) (Anspruch 1) arbeiten.
Die Loesung der Interpolationsaufgabe wird weiter unten ausfuehrlich erlaeutert.
Die Signifikanzbedingung
Unter Einhaltung der Signifikanzbedingung wird verstanden, dass sich in verschiedenen Lagen innerhalb des Arbeitsbereiches reproduzierbar unterschiedliche, der Lageinformation eindeutig zuordenbare Bildinhalte ergeben.
Die Einhaltung der Signifikanzbedingung ist eine allgemein notwendige Voraussetzung der Erfindung.
Eine technische Realisierung der Einhaltung der Signifikanzbedingung ist durch die Bedingungen sl und s2 des Anspruchs 1 gegeben und wird abgeleitet ueber das Konzept der Strahlenbuendel (auch Abbildungsstrahlengang genannt) .
Betrachtung von Strahlenbuendeln
Eine Abbildung ueber eine oder mehrere Kameras wird gedanklich aufgeteilt in mindestens drei Strahlenbuendel. Die den Strahlenbuendeln zugeordneten zweidimensionalen Koordinatensysteme sind normalerweise (aber nicht notwendigerweise) eben; sie koennen auch koplanar sein. Verschiedenen Strahlenbuendel werden entweder durch verschiedene Kameras realisiert (Fig. 1) oder durch dieselbe Kamera realisiert (Fig. 2, dort umfasst Kamera 11 das Buendel 31 und Kamera 10 die Buendel 20a und 20b) .
Ueber je ein Strahlenbuendel wird ein Bereich des Werkstuecks bzw. des Werkzeugs betrachtet. Zwei Bereiche sind nicht identisch. Die Bereiche duerfen sich grundsaetzlich ueberlappen, werden jedoch zur Vereinfachung der Betrachtung als disjunkt gesehen.
Die den Bereichen entsprechenden Bildausschnitte (Merkmalsbilder) bzw. davon abgeleitete Daten werden im Einrichtbetrieb gespeichert bzw. im Automatikbetrieb weiterverarbeitet .
Verschiedene Strahlenbuendel koennen auch mit der selben Kamera in verschiedener Position und ggf. in verschiedener Einstellung (z.B. Zoom), zeitlich nacheinander realisiert werden.
Das Verfahren kann auch mit alternativ "umschaltbaren" Werkstueckbereichen arbeiten. Beispiel: zur Lagekorrektur eines Schraubers fuer die Montage eines PKW-Rades mit 6 Schrauben, seien zwei alternative Saetze von je drei Werkstueckbereichen in einer einzigen, (kurzbrennweitigen, um das weiter unten erlaeuterte Tangentenverbot gut einzuhalten) Kamera definiert.
•Die Bereiche sind so gewaehlt, dass unabhaengig von der Drehlage-.der Radnabe in mindestens einem der Saetze von Bildbereichen in jedem der drei Bereiche immer ein Schraubenloch sichtbar ist. Die den Saetzen zugeordneten Mengen von Bereichen brauchen grundsaetzlich nicht disjunkt zu sein.
Vorbetrachtung: Strahlenbuendel und Tangentenverbot
Zur Ableitung der Einhaltung der Signifikanzbedingung eine abstrakte Vorbetrachtung, die aus didaktischen Gruenden zunaechst gedanklich von 3 ausgezeichneten Punkten ausgeht (Anmerkung: die Erfindung ist NICHT auf ausgezeichnete Punkte angewiesen) .
In [Fis] wird gezeigt, dass aus der zweidimensionalen Abbildung von 3 ausgezeichneten Punkten mit bekanntem Abstand, ueber eine einzelne Kamera mit bekannten inneren Parametern, die aeusseren Kameraparameter berechnet werden koennen. Dies entpricht umgekehrt der Bestimmung der Lage des 3-D-Punktetripels bei bekannten Kameraparametern. Umformung der die Aufgabe beschreibenden geometrischen Gleichungen [Fis] fuehren zu einer Gleichung vierten Grades mit bis zu 4 diskreten, reellen positiven Loesungen. Diese Loesungen koennen jedoch grundsaetzlich nahe beisammen liegen.
Wenn es gelingt, durch Wahl der Geometrie der Strahlenbuendel zu garantieren, dass maximal eine Loesung im Arbeitsbereich liegen kann, ist bei 3 ausgezeichneten Punkten und einer Kamera die Signifikanzbedingung einhaltbar. Die Loesungen sollten also soweit auseinanderliegen, dass sich im Arbeitsbereich nur eine Loesung befinden kann.
Wenn bei Rotationen die ausgezeichneten Punkte die Strahlen der Strahlenbuendel tangential schneiden, fallen 2 diskrete Loesungen zusammen. Entsprechende anschauliche Betrachtungen werden in [Wil] durchge- fuehrt fuer den 1-Kamera-Fall; sie sind fuer den hier vorliegenden Fall mit im allgemeinenen mehreren Kameras topologisch aequivalen : Wenn die rotierenden ausgezeichneten Punkte die Strahlenbuendel beinahe tangential schneiden, liegen die Schnittpunkte nah beisammen. Wenn sie sie in einem groesseren Winkel (z.B. > 20 Grad) schneiden, liegen sie weit auseinander . Bei nicht zu grossem Arbeitsbereich kann also sichergestellt werden, dass im Arbeitsbereich nur eine Loesung liegt.
Bedingung ist bei ausgezeichneten Punkten also, dass bei Rotationen die ausgezeichneten Punkte die Strahlen der Strahlenbuendel nicht tangential, sondern moeglichst in einem groesseren Winkel (z.B. > 20 Grad) schneiden. Diese Bedingung wird im folgenden Tangentenverbot genannt. Sie ist leicht und auf vielfaeltige Weise einzuhalten und beispielsweise dann erfuellt, wenn die Strahlenbuendel ein Dreibein darstellen und sich der Drehpunkt in der Mitte der Grundflaeche des Dreibeins befindet und die Drehachsen nicht durch die Merkmale gehen.
Das Tangentenverbot kann bei Flexmerkmalen auch dann erfuellt sein, wenn die LICHT-Strahlenbuendel dort, wo sie die Flexmerkmale treffen, tangential zum Kreis um die Rotationsachsen sind.
Das Tangentenverbot ist ein Beispiel fuer die Erreichung der Signifikanzbedingung. Das Tangentenverbot ist also eine hinreichende, aber nicht notwendige Bedingung fuer die Erreichung der (notwendigen) Signifikanzbedingung. Siehe Beispiel Fig. 5: hier ist die Signifikanzbedingung auch ohne Einhaltung des Tangentenverbots erfuellt.
Andererseits ist die Einhaltung des Tangentenverbots vorteilhaft, wie man aus Vergleich von Fig. 4 und Fig. 5 entnehmen kann: in Fig. 5 verzerren sich bei Koerper-Rotation die abgebildeten Muster nur geringfuegig, ' aehrend sie sich in Fig.-~4 deutlich veraendern.
Da es sich bei dieser Erfindung um die KORREKTUR einer Bewegung handelt, sind die Arbeitsbereiche in der Regel ausreichend klein, um z.B. sicherstellen zu koennen, dass keine Rotationsachse durch ein Merkmal hindurchgeht.
Fuer die geometrischen Betrachtungen setzen [Fis] und [Wil] die Kenntnis der Punkteabstaende im Raum voraus; fuer die vorliegende Erfindung ist diese Kenntnis nicht unbedingt erforderlich. Die Ueberlegungen von [Fis] und [Wil] sind hilfreich, um zu erkennen, unter welchen geometrischen Voraussetzungen die Signifikanzbedingung erzielbar ist. Die Loesbarkeits- und Eindeutigkeits- und Stabilitaetsbetrach- tungen sind abstrakt-geometrische Ueberlegungen und von den konkreten Abstandsmassen unabhaengig. Die fuer die Bestimmung der Lageabweichung erforderliche Zusatzinformation stammt aus den im Einrichtbetrieb gespeicherten Daten. Lageinformation wird nur implizit bestimmt.
Einhaltung der Signifikanzbedingung
Bei Zentralprojektion ist die Signifikanzbedingung umso sicherer erfuellbar, je besser das Tangentenverbot erfuellt ist; dies wiederum ist bei Verwenden einer einzelnen Kamera umso besser erfuellbar, je weitwinkliger das Objektiv ist. In der Praxis reicht in diesem Fall ein Objektfeldwinkel von mehr als ca. 20 Grad; bevorzugt mindestens 45 Grad; bei ca. 90 Grad Objektfeldwinkel ist das Tangentenverbot am besten erfuellbar: dann koennen in einer Ebene liegende Werkstueck- bereiche alle mit ca. 45 Grad zur Tangente geschnitten werden.
Entsprechendes gilt fuer die Verwendung von insgesamt zwei Kameras, wobei zwei Strahlenbuendel durch eine von diesen zwei Kameras realisiert sind: das Tangen- tenverbαt ist umso sicherer erfuellbar, je weitwinkliger das Objektiv dieser Kamera ist.
Falls mehrere Strahlenbuendel durch dieselbe Kamera realisiert werden, ist es auch ausreichend, das Herausgreifen der Werkstueckbereiche dieser Kamera nicht tatsaechlich, sondern indirekt durchzufuehren: Der Bildvergleich zweier Werkstueckbereiche mit den entsprechenden Bereichen aus dem Einrichtbetrieb kann zusammenfassend in einem einzigen Schritt mit je einem Bild aus Einrichtbetrieb und Automatikbetrieb realisiert werden. In diesen Vergleich koennen schadlos durchaus andere Partien des Bildes ausserhalb der Bereiche einbezogen sein (man kann dann z.B. auch mit Gesamtbildern arbeiten) , denn wenn die Bildpartien, die nicht die Tangentenbedingung erfuellen, sich bei Bewegung der Bildaufnahmeeinrichtung gegen das Werkstueck nicht veraendern, liefern diese Bildpartien zur Bildauswertung zwar keinen Beitrag, es ist aber auch nicht schaedlich.
Ein Bereich kann im Sonderfall auch den ganzen aus dem Blickwinkel der betreffenden Kamera sichtbaren Teil der Werkstueckoberflaeche umfassen.
Die Strahlenbuendel entsprechen nicht notwendigerweise einer Zentralprojektion, wie in Fig. 1 dargestellt; sie koennen beispielsweise auch parallel sein, wie bei der Verwendung von mehreren telezentrischen Objektiven (Parallelprojektion).
Die Begrenzung der Strahlenbuendel ist nicht notwendigerweise kreisfoermig, wie in Fig. 1 dargestellt; die ausgewerteten Bereiche koennen beliebig abgegrenzt sein.
Bleibt noch der Uebergang von der Vermessung der Abbildung von ausgezeichneten Punkten zum Abspeichern und Vergleichen von allgemeinen Lagebeschreibungsvektoren, die im Extremfall direkt als Merkmalsbilder gegeben sein koennen:
Ueber Korrelationsverfahren kann man bekanntermassen ohne ausgezeichnete Punkte die Verschiebung und Verdrehung eines Bildes gegenueber einem Referenzbild berechnen, vorausgesetzt die Bilder besitzen gewisse naeherungsweise reproduzierbare Strukturen, die in mindestens zwei Richtungen ausgepraegt sind. Solche Verfahren gestatten eine Veaschiebungsberechnung auch beim Vorhandensein von Stoerungen.
Im allgemeineren Fall verfuegt man ueber keinerlei posi- tionsmaessig erfassbare Merkmale, also entweder nur direkt ueber Bilder oder Bildbeschreibungsvektoren mit Massen, die keine Positionen in Bildern angeben. Solche Masse sind z.B. Groessenveraenderung, Verdrehung, Verzerrung, Helligkeits- und Farbveraenderung, Ortsfrequenzveraen- derungen. Diese Aenderungen koennen auch durch geeignete Beleuchtungsmassnahmen gezielt herbeigefuehrt werden, beispielsweise durch strukturiertes Licht oder Moire-Muster auf dem Werkstueck.
Dieser allgemeine Fall kann auf den Fall mit ausgezeichneten Punkten zurueckgefuehrt werden, indem man sich vorstellt, dass bei Bewegung des Werkstuecks im Raum sich Bildstrukturen und damit verbundene Wertetupel mit in einem monotonen Zusammenhang tendenziell so veraen- dern, wie dies bei Vermessung der Bildkoordinaten von ausgezeichneten Punkten der Fall waere .
- Wertevergleich: Zur eindeutigen Zuordnung kann zum Beispiel ein auf dem Werkstueck festes Gittermuster verwendet werden, dessen Gitterweite und Orientierung sich bei der Roboterbewegung in der Abbildung ver- aendert; es genuegt die Berechnung der Gitterweite und der Orientierung, ohne Positionsdaten zu berechnen.
- Bildvergleich: Ein begrenztes Schachbrettmuster zum Beispiel, dessen Rastergroesse und Orientierung sich bei der Roboterbewegung in der Abbildung veraen- dert, kann durch Bildvergleich einem von mehreren vorher gespeicherten Schachbrettmustern zugeordnet werden, ohne die jeweilige Rastergroesse und die Orientierung direkt zu berechnen (ein Schachbrett ist fuer direkten Bildvergleich guenstiger als beispielsweise ein Gitter mit feinen Linien) .
Damit ist plausibel gemacht, dass mit der angegebenen Anordnung auch bei direktem Bildvergleich, ohne ueber irgendwelche von den Bildern abgeleitete Positionswerte zu verfuegen, die Signifikanzbedingung eingehalten werden kann.
Bleibt noch der Uebergang von Fixmerkmalen auf Flexmerkmale. Hier gilt eine aehnliche Ueberlegung: Auch hier sind Anordnungen realisierbar, mit denen Bildstrukturen entstehen, aufgrund derer skalare Wertetupel sich tendenziell so monoton veraendern, wie dies bei Vermessung der Bildkoordinaten von ausgezeichneten Punkten der Fall ist. Beispiel eines Flexmerkmals : Die Erzeugung eines Gittermusters oder eines Schachbrettmusters mittels strukturierter Beleuchtung fuehrt bei geeigneter Beleuchtungsgeometrie auf den gleichen oben geschilderten Effekt, ohne dass solche Muster auf dem Werkstueck vorhanden sein muessen. Siehe Beispiele Fig. 4 und 5.
Zu Flex erkmalen siehe auch das Beispiel Fig. 3.
Technische Realisierung der Einhaltung der Signifi- kanzbedingung
Die technische Realisierung der Einhaltung der Signifikanzbedingung geschieht erfindungsgemaess durch Einhaltung der Bedingungen sl oder s2 (Anspruch 1) oder nach Anspruch 3, also dadurch, dass mindestens drei Kameragruppen mit je mindestens zwei Kameras existieren, wobei mindestens zwei Kameras einer Kameragruppe schraeg oder senkrecht zueinander stehen, wobei das Blickfeld der Kameras jeder Kameragruppe Werkstueckmerkmale erfasst, die im wesentlichen linear in eine Richtung ausgedehnt sind, insbesondere gerade oder naeherungsweise gerade Werkstueckkanten .
Anmerkung: Ein telezentrischer Strahlengang ist bei Verwendung einer einzelnen Kamera ausgeschlossen, da nicht alle Strahlen parallel sein duerfen (kein "Bildfeldwinkel") .
Bild/Daten-Interpolation im Einrichtbetrieb:
Es kann eine grosse, hochimensionale Datenbank erforderlich sein, insbesondere wenn man ohne Interpolation arbeitet. Fuer das effiziente Durchsuchen solch grosser Datenbanken stehen Methoden aus dem Arbeitsgebiet der Datenbanksysteme bereit. Auch wenn man ohne Interpolation arbeitet, stellt der sehr grosse Umfang der Datenbank nach dem heutigen Stand der Technik kein Problem dar.
Problematisch ist jedoch die Zeit, die im Einrichtbetrieb zur Erfassung erforderlich ist, denn mit jeder Bildaufnahme (fuer alle Kameras zusammengenommen) ist eine mechanische Bewegung verbunden. Um die Zeit in ertraeglichen Grenzen zu halten, empfiehlt es sich, interpolierend zu arbeiten.
Zur Durchfuehrung einer Interpolation gibt es nun grundsaetzlich zwei verschiedene Ansaetze:
1) Im Einrichtbetrieb: Mechanische Grobabtastung; Speichern der zugehoerigen Bilder oder Daten nur fuer diese groben Abtastungen.
Im Automatikbetrieb: Suche von mehreren aehnlich- sten Nachbardatensaetzen und Interpolation darueber (entweder durch Interpolation der zugehoerigen Lageabweichungen, abhaengig von den Aehnlichkeitsmassen, oder durch nachtraegliches Berechnen von interpolierten Bildern oder Daten) .
2) Im Einrichtbetrieb: Mechanische Grobabtastung; Berechnen von interpolierten Bildern oder Daten; Speichern der aufgenommenen und der interpolierten Bilder oder Daten.
Im Automatikbetrieb: Suche des aehnlichsten gespeicherten Bildes oder Datensatzes.
Es sind auch Mischformen der beiden Ansaetze moeglich.
Die Erfindung betrifft nun speziell auch die Berechnung von interpolierten Bildern oder Datensaetzen, nach Ansatz 2, im Einrichtbetrieb. Bei interpolierten Bildern handelt es sich hier weniger um eine Grauwert- oder Farb-Interpolation, sondern eher um eine Bewegungsinterpolation der Bildinhalte (obwohl der erstgenannte Aspekt auch eine gewisse Rolle spielt). Grundaufgabe einer Bewegungsinterpolation ist eine Bewegungsschaetzung; hierzu gibt es im Bereich der Analyse dynamischer Szenen eine ausfuehrliche Literatur. Dort unterscheidet man zwischen pixelbasierten und merkmalsbezogenen (kanten- eckenbezogen etc.) Methoden, um Bewegungsvektorfelder aus Bildfolgen abzuleiten. Auf Basis solcher Bewegungsvektorfelder koennte man nun bewegungsinterpolierte Bilder erzeugen (eine aehnliche Aufgabenstellung findet sich im Bereich der Datenkompression bei Bildfolgen) . Die aus der Literatur bekannten Methoden sind jedoch fehleranfaeilige Bild-Vorverarbeitungsmethoden, die erst nach einer modellbasierten Nachverarbeitung die fuer industrielle Anwendungen ausreichende Robustheit aufweisen. Werkstueck-Mo- dellinformation einzubringen ist hier jedoch sehr schwierig und fallabhaengig, ausserdem ist es von Vorteil, im Einrichtbetrieb nicht auf Werkstueckinfor- mation angewiesen zu sein.
Eine Nebenaufgabe der Erfindung ist es daher, ein robustes Verfahren zur Bild- oder Dateninterpolation bereitzustellen, ohne auf Werkstueck-Modellinfor ation zurueckgreifen zu muessen.
Diese Aufgabe wird nach den Anspruechen 9 und 10 geloest.
Anmerkung: Anspruch 9 gilt verallgemeinernd auch fuer den zweidimensionalen Fall. Dieselbe Marke kann von mehreren Kameras erfasst sein.
Wesentlich ist, dass die Relativlage der Marken zum Werkstueck nicht bekannt zu sein braucht. Die Marken muessen lediglich im Einrichtbetrieb ihre Relativlage beibehalten. Die Marken muessen voneinander bildanalyse- technisch unterscheidbar sein, beispielsweise ueber Form und/oder Farbe und/oder Grobposition im Bild.
Die Marken werden normalerweise speziell realisiert (z.B. speziell montierte, ins Bildfeld hineinragende Teile mit Loechern oder sauberen Kanten) , es koennen aber auch ohnehin und zufaellig vorhandene Merkmale der Umgebung sein, beispielsweise die Konturen der fuer den Einrichtbetrieb realisierten Werkstueckhalterung. Letzteres ist insbesondere deshalb sehr praktikabel, weil es auf die genaue Relativlage nicht ankommt. Die Marken koennen sogar in Form von bildanalytisch (ueber Form, Farbe, Grobposition etc.) unterscheidbaren Aufklebern direkt auf das im Einrichtbetrieb verwendete Werkstueck aufgebracht werden. Die genaue Position der Marken auf dem Werkstueck ist dabei gleichgueltig.
Vorzugsweise wird mit vier Marken gearbeitet. Anhand von je vier Marken in zwei Bildern, die einander zuordenbar sind, kann man die einer Zentralprojektion zugrundeliegende Transformation von einer Objektebene in eine andere berechnen. Diese "Ebenen-Transformation" ist ausreichend fuer Werkstuecke, deren Merkmale sich naeherungsweise in einer Ebene befinden, insbesondere fuer alle naeherungsweise flachen Werkstuecke, bei entsprechend kleinen Interpolationsintervallen aber auch bei dreidimensional ausgepraegten Werkstuecken.
Die Interpolation geschieht nun beispielsweise, indem man die aus der Abbildung der Marken gewonnennen Transformationsparameter geeignet interpoliert und eines der Bilder entsprechend transformiert.
Eine Aussage darueber, ob die Ebenen-Transformation gueltig ist, kann automatisch darueber gewonnen werden, dass man beide Bilder entsprechend transformiert und die Ergebnisse vergleicht (Transformationsparameter aus Markenbildern MA und MB; Transformation MA zu Interpol. Bild IA, ebenso MB zu IB; Vergleich IA mit IB) . Sind die Ergebnisse aehnlich, so ist die Ebenen-Transformation ausreichend. Andernfalls muessen die Interpolationsintervalle verkleinert werden durch Hinzunahme von weiteren realen Bildaufnahmen. Sind andererseits die Ergebnisse ausreichend aehnlich, so liegt es nahe, ueber die Ergebnisse zu mittein.
Anmerkung: Bei dreidimensional ausgepraegten Werkstuecken und groesseren Interpolationsintervallen veraendert sich der Aspekt so stark, dass sich nicht nur die Bilder gegeneinander homografisch verzerren, sondern dass sich die Bildinhalte veraendern, dass sich Bildinhalte unterschiedlich gegeneinander bewegen oder dass gar neue Merkmale auftauchen und andere verschwinden, sich also deutlich unterschiedliche Merkmale in den Bildern befinden. Dann ist die Ebenen-Transformation nicht auseichend und die Interpolationsintervalle muessen verkleinert werden.
Mit weniger als vier Marken kommt man bei weniger Freiheitsgraden des Werkstuecks aus.
Mit mehr als vier Marken kann man, auch bei Ebenen- Transformation, arbeiten, um die erreichbare Genauigkeit zu erhoehen.
Beherrschung von verwundenen Teilen:
Bei nicht ganz starren Werkstuecken tritt ist ein moeg- liches Problem dadurch auf, dass ein ausreichend genaues Zugreifen mit Spreizgreifern (beschraenkter Hub) oder Zangengreifern (beschraenkte Maulweite) nicht mehr sichergestellt werden kann.
Tiefere Ursache dafuer ist, dass die Greifpunkte sich normalerweise nicht mit den ausgewerteten Bereichen decken und daher das Werkstueck an den Greifpunkten trotz der an sich korrekt berechneten Lagekorrektur nicht mehr gegriffen werden kann. Die naheliegende Loesung, einfach die Regionen in unmittelbare ' Greifernaehe zu verlegen,-- z. B. fuer drei Greifer drei Kameras--einzusetzen, die jeweils in die Naehe eines einzelnen Greifers blicken, ist meist nicht handhabbar, da sich in Greifernaehe nur in Ausnahmefaellen Regionen mit genuegend Struktur befinden: Dort liegen oft nur gerade oder fast gerade Kanten, deren Abbildung bei Bewegung der Kameras bzw. des Werkstuecks signifikante Strukturaenderung nur quer zu den Kanten-Abbildungen enthalten. Bei kleiner Drehung einer Kamera veraendern sich zwar i.a. auch die Steigungen der so abgebildeten Geraden, doch isd diese Strukturaenderung, insbesondere bei kleinen Bildausschnitten relativ zur Werkstueckgroesse, zu empfindlich gegen kleine Stoerungen der Bildauswertung. Diese Betrach- tung ist unabhaengig von der Art der Bildauswertung und insbesondere unabhaengig davon, ob man direkt Bilddaten vergleicht oder daraus abgeleitete Daten.
Es besteht also die Nebenaufgabe, Greifen zu er- moeglichen bei Werkstuecken, die in nicht ausreichendem Masse als starre Koerper betrachtet werden koennen, speziell wenn sie etwas verwunden in der Werkstueck- aufnahme liegen, und wenn Werkstueckregionen in Greifernaehe nicht ausreichend Struktur abgeben, um daraus ausreichend Information abzuleiten, die einer Einschraenkung um zwei Freiheitsgrade entspricht.
Diese Aufgabe wird nach Anspruch 3 bis 5 geloest.
Fig. 6 zeigt eine bevorzugte Loesung mit drei Paaren von Kameras 10, die je einen Kantenabschnitt eines geradlinig begrenzten Werkstuecks 2 erfassen.
Fig. 7 zeigt eine bevorzugte Realisierung eines Kamerapaars, mit je einer Beleuchtung pro Kamera. In Fig. 7 ist die Beleuchtung 40 fuer die Kamera 10 und die Beleuchtung 41 fuer die Kamera 11 zustaendig. Kameras und Beleuchtungen befinden sich in unmittelbarer Naehe des Greifers 70.
Eine besondere Ausgestaltung besteht in einer integrierten Loesung mit zwei Kameras und je einer dazuge- hoerigen Beleuchtung, wobei jede Beleuchtung gegenueber "ihrer" Kamera in V-foermiger Anordnung steht, so dass exakt oder naeherungsweise die Reflexionsbedingung (Einfallswinkel = Ausfallswinkel) gilt. Dann lassen s-ich die Kanten besonders kontrastreich darstellen.
Eingrenzung des Arbeitsbereichs im Einrichtbetrieb:
Falls im Einrichtbetrieb der Greifer mit am Greifer montierten Kameras gegen das Werkstueck bewegt wird, braucht bei der Variation der 6 Freiheitsgrade nicht der komplette 6-dimensionale Hyperquader der moeglichen Veraenderungen bearbeitet zu werden. Dies soll anhand Fig. 8 erlaeutert werden: Das Werkstueck 2, abgebildet in Standardlage, kann sich aufgrund ungenauer Halterung innerhalb des Rahmens 100 bewegen, beispielsweise in die eingezeichnete Lage 102. Der Greifer 1 ist in Ausgangslage gezeichnet. Die Ansicht des Werkstuecks in Lage 102 aus Ausgangslage soll im Einrichtvorgang simuliert werden durch eine Lage- veraenderung des Greifers bei Werkstueck in Standardlage. Dies ist der Fall in Greiferlage 101. Tritt im Automatikbetrieb diese Ansicht auf, so muss der Greifer die dazu invertierte Lage 201 einnehmen. Die in diesem Beispiel erforderliche Orientierungsaenderung des Greifers braucht nicht mit allen moeglichen Translationen kombiniert zu werden. Beispielsweise fuehrt eine reine Orientierungsaenderung um den Greifermittelpunkt, ohne Translation (Greiferlage 301) , zu einer Werkstueckansicht, die aufgrund des Rahmens 100 geometrisch nicht moeglich ist. Die Aufgabe, moegichst nur realisierbare Ansichten einzulernen, wird am einfachsten durch geeignete Wahl des Drehpunktes geloest, vorzugsweise indem man im Einrichtbetrieb den Drehpunkt etwa in die Mitte des Rahmens 100 verlegt .
Die Ausgangslage wird bei Greif- oder Fuegeaufgaben vorzugsweise so gewaehlt, dass mit einer einzigen linearen Bewegung- ein Werkstueck in Standardlage angefahren werden kann, siehe Fig. 8. Bei speziellen Werkstueck/Greifer- geometrien sind natuerlich u.U. komplizerte Anfahrwege erforderlich, diese muessen ueber Verschiebung und Drehung um den (grundsaetzlich willkuerlich, aber vorteilhaft im Mittelpunkt des Rahmens 100) gewaehlten Drehpunkt transformiert werden.
Vorteile:
Abgesehen davon, dass Anspruch 4 die letzte Randbedingung nicht erfuellt, werden sonst alle Randbedingungen von al- len Anspruechen erfuellt, mit den entsprechenden Vorteilen gegenueber bisher bekannten Systemen. Auch die Nebenaufgaben, teilweise bisher voellig ungeloest, werden ueber die betreffenden Anprueche geloest.
Im folgenden werden einige weitere vorteilhafte Aspekte erlaeutert .
Im Gegensatz zu konventionellen Systemen, die ein Gegenstandseigenes Koordinatensystem definieren, und mit diesem die absolute Lage des Gegenstandes sowohl fuer die Standardlage als auch fuer die aktuelle Lage bestimmen, wird hier direkt die LageABWEICHUNG bestimmt, ohne ueber eine absolute Lage zu gehen, weshalb sich die Definition von globalen Koordinatensystemen eruebrigt .
Im Gegensatz zu beispielsweise [Axi] oder [Jan] wird hier ein Vergleich mit irgendwelchen Daten nicht im Dreidimensionalen, sondern im Zweidimensionalen realisiert; dann erst erfolgt der Uebergang in die dreidimensionale Lage; Merkmale selbst brauchen nicht im Dreidimensionalen gehandhabt zu werden.
Es muessen nicht unbedingt konventionelle geometrische Merkmale wie Kanten, Ecken, Loecher aufgenommen werden. Es genuegen grundsaetzlich Abbildungen, aus denen sich irgendwelche reproduzierbare Bildstrukturen ergeben, die sich in irgendeiner Weise bei Veraenderung der Aufnahmegeometrie aendern und in ihrer Gesamtheit eine eindeutige Zuordnung zur Lage ermoeglichen. Dazu gibt es vielerlei Moeglichkeiten.
Merkmale im oben angegebenen Sinn erfuellen diese Forderung bei Einhalten des oben geschilderten Tangentenverbots. Solche Merkmale koennen verwendet werden, ihre Geometrie braucht jedoch nicht bekannt zu sein.
Auch geeignet zur Auswahl der zu erfassenden Bereiche sind beispielsweise
- Oberflaechenformen wie Sicken, Woelbungen,
- kuenstlich erzeugte Flexmerkmale (s.o.),
- inhomogene Strukturen wie reproduzierbare Uebergaenge von Oberflaechenstrukturen; beliebige metrisch Undefinierte, aber in der optischen Abbildung reproduzierbare Merkmale. Eine analytisch oder experimentelle Bestimmung der visuellen Jakobimatrix oder eines funktioneilen (z.B. stueckweise linear approximierenden) Zusammenhangs zwischen Roboterbewegung und der Bewegung konventioneller (d.h. mit Positionsdaten verknuepfbarer) Bildmerkmale ist grundsaetzlich nicht erforderlich. Im allgemeinen Fall des Arbeitens mit einer grossen Bild-Datenbasis werden von den Bildern ueberhaupt keine Daten abgeleitet. Eine Darstellung irgendeines funktioneilen Zusammenhangs eruebrigt sich. (Themen der Veroeffentlichungen zu Visual Servo sind regelungstechnischer Art, bezogen auf Positionen von Merkmalsbildern, wobei die Berechnung/Schaetzung der Jakobimatrix eine zentrale Rolle spielt. Regelungen mit 3D-Zielsetzung sind bei Visual Servo modellbasiert, z.B. [Sta] ) .
Das hier vorgestellte Verfahren ist nicht darauf angewiesen, dass gepulstes, moduliertes oder strukturiertes Licht eingesetzt wird. Das hier vorgestellte Verfahren kann grundsaetzlich mit beliebigem Licht arbeiten, z.B. dem Tageslicht. Wird eine spezielle Beleuchtung verwendet, so kann diese durchaus zur Erhoehung der Stoeranfaelligkeit gegen Fremdlicht zusaetzlich gepulst oder moduliert oder auf einen bestimmten Spektralbereich begrenzt oder strukturiert werden. Dies ist jedoch nicht grundsaetzlich erfoderlich; das Verfahren faellt also weder unter bl) noch unter b2) und ist - auch bei zusaetz- licher Verwendung von strukturiertem oder gepulstem oder moduliertem Licht - nicht mit den messtechnischen Problemen der Verfahren bl) und b2) verbunden.
Bei der hier vorgestellten Erfindung betrachten im Gegensatz zu Stereo-Verfahren die Kameras im allgemeinen unterschiedliche Merkmale, u.a. mit dem Vorteil, dass grosse Werkstuecke leichter und genauer zu erfassen sind. Je weiter die Merkmale auseinander liegen, desto genauer ist die Bewegungskorrektur moeglich. Grundsaetzlich reicht andererseits jedoch, im Gegensatz zu Stereosystemen, eine einzige Kamera aus.
Im Gegensatz zu modellbasierten Systemen (z.B. [Axi], [GMR], [Fan] , [Isr] ) braucht weder Werkstueckgeometrie noch die Lage der Merkmale in einem Werkstueck-Koordinatensystem nicht bekannt zu sein, ja sogar ein Werkstueckkoordinaten- system braucht nicht definiert zu sein. Die Aufgabe ist geloest, indem die Abweichung der Werkstuecklage gegenueber der Standardlage implizit bestimmt wird, ohne dass die geometrischen Verhaeltnisse bei Standardlage bekannt zu sein brauchen. Die wirkliche Lage des Werkstuecks im Raum braucht prinzipiell weder in der Standardlage noch in der im Automatikbetrieb angetroffenen Lage bekannt zu sein und auch nicht berechnet zu werden.
Ein Kalibrieren des Robotersystems auf Weltkoordinaten, wie es beispielsweise in [Ben] mittels Bewegung von Kameras mit Blick auf eine Kalibrierplatte realisiert wird, entfaellt.
Im Gegensatz zu konventionellen Stereosystemen braucht die Kamerageometrie nicht bekannt zu sein. Die Lage der ebenen Koordinatensysteme im Raum braucht nicht bekannt zu sein. Eine Berechnung der inneren oder aeusseren Kamerakoordinaten entfaellt damit.
Es ist nicht erforderlich, kuenstliche Merkmale anzubringen, wie z.B. Klebepunkte.
Das Verfahren gestattet eine steuernde oder regelnde Vorgehen-sweise .
Das Verfahren ist einsetzbar, ohne dass positionsmaessig erfassbare Merkmale in den Bildern verfuegbar sein muessen.
In einem konkreten System ist der Uebergang von Fixmerkmalen zu Flexmerkmalen grundsaetzlich realisierbar allein durch Aendern der Beleuchtungseinrichtung, ohne an den restlichen Komponenten wie Roboter, Steuerung, insbesondere Bildauswertungsverfahren, etwas zu aendern. Bei der Selbstueberwachung braucht die Werkstuecklage nur konstant zu sein und braucht nicht der Standardlage oder irgendeiner bekannten Lage zu entsprechen.
Fuer die Selbstueberwachung sind keine besonderen Hilfsmittel erforderlich (Im Gegensatz zu [Arne] , wo am Roboter kuenstliche Passpunkte angebracht werden, oder zu [Gra] , wo im Raum Messpunkte angebracht werden) . Die Selbstueberwachung funktioniert auch ohne eine Kamerakalibrierung.
Vorteile der Anordnung nach Anspruch 3 und dessen Unteranspruechen :
Auch nicht starre, speziell verwundene Werkstuecke, nach Aufgabenstellung, koennen sicher gegriffen werden.
Es koennen kleine Maulweiten bei Zangengreifern eingesetzt werden.
Es sind standardisierte, miniaturisierte greiferintegrierte Loesungen realisierbar, da in Greifernaehe Werkstuecke wie z.B. Blechteile immer aehnlich aussehen. Damit sind standardisierte Loesungen ein- schliesslich Beleuchtung realisierbar (fuer allgemeine Merkmale muss normalerweise die Beleuchtung jeweils fuer den speziell vorliegenden Fall optimal gestaltet werden) .
Die Anordnung nach Fig. 6--- erfordert zwar insgesamt sechs Kameras, wie bei der bekannten Stereo-Anordnung. Jedoch hat die Anordnung, gegenueber Stereo, in Verbindung mit Anspruch 1 der Hauptanmeldung, den Vorteil, dass im Gegensatz zu z.B. [Axi] oder [Isr] weder die Kantengeometrie bekannt sein muss, noch muss eine Kalibrierung der Kameras mittels Kalibrierplatte o.ae. vorgenommen werden. Dementsprechend gestaltet sich beispielsweise der Austausch einer Kamera sehr einfach: Die Kameras brauchen nur vor dem Einrichtbetrieb grob auf die Kanten ausgerichtet und scharf eingestellt zu werden. Beim Systementwurf braucht nur auf die Darstellbarkeit der Merkmale und auf die Einhaltung der Signifikanzbedingung geachtet zu werden; tiefergehende Modellierungen oder Geometriebetrachtungen eruebrigen sich. Diese massive Vereinfachung gegenueber bisherigen Ansaetzen wird erkauft ueber die entstehende Datenmenge; diese ist zum einen datenbanktechnisch heute beherrschbar, be- zueglich Zeitaufwand im Einrichtbetrieb wird ueber die geschilderten Positions-Interpolationsverfahren eine Loesung angeboten.
Quellen:
[Arne] DE 41 15 846 AI
[Axi] US 5 579 444
[Ben] Luis Manuel Conde Bento, Duarte Miguel
Horta Mendoca: Computer Vision and Kinametic Sensing in Robotics . Thesis Department of Automatic Control, Lund Institute of Technology, Juni 2001
[Dif] US 6 211 506 Bl
[Fan] US 4 639 878
[Fis] M.A. Fischler, R.C. Bolles: Random Sample
Consensus: A Paradigm for model Fitting with Applications to Image Analysis and Automated Cartography. Communications of the A.C.M. June 1981, Vol. 24, No. 6, pp. 381-395.
[GMR] US 4 942 539
[Gra] DE 198 21 873 AI
[Hut] S. Hutchinson, G. Hager, P. Corke: A Tutorial on Visual Servo Control. IEEE Trans, on Robotics and Automation. Vol. 12 No. 5, S. 651-670, Oct. 1996.
[Isr] EU--0911 603 Bl
[JaO] www.es . rochester. edu/u/jag/PercAct/dvfb.html Stand 23.09.2001
[Jal] M. Jaegersand, O. Fuentes, R. Nelson: Experimental Evaluation of Uncalibrated Visual Servoing for Precision Manipulation. Proc. Int. Conf. on Robotics an Automation, 1997
[Jan] DE 44 21 699 AI [Kle] R. Klette, A. Koschan, K. Schluens: Computer Vision; raeumliche Information aus digitalen Bildern. Vieweg Verlag Braunschweig, 1996.
[Lee] D.E.B. Lees, P. Trepagnier: Guiding Robots with
Stereo Vision. Robotics Today, April 1984, S. 79-81.
[Mar] E. Marchand: VISP: a Software Environment for
Eye-in-Hand Visual Servoing. IEEE Int. Conf. on Robotics and Automation, ICRA, Vol. 4, pp 3224-3230, Detroit, Michigan, 1999.
[Per] EP 1 076 221 A2
[Pie] J.A. Piepmeier, G.V. McMurray, H. Lipkin: Dynamic quasi-Newton Method for Uncalibrated Visual Servoing. 1999 IEEE Int. Conf. on Robotics & Automation, Minneapolis, May 1999.
[Sta] J. Stavnitzky, D. Capson: Multiple Camera Model-Based 3-D Visual Servo. IEEE Trans, on Robotics and Automation, Vol. 16. No. 6, Dec. 2000, pp 732-739
[Wil] J. William, D.E.Wolfe: The Perspective View of
Three Points. IEEE Trans, on Pattern Analysis and Machine Intelligence. Vol. 13, No. 1 Jan. 1991, pp 66-73.

Claims

Patentansprueche :
Verfahren zur dreidimensionalen Korrektur der Relativbewegung mit mehreren Freiheitsgraden zwischen Werkstuecken einerseits, und Greifer oder Werkzeugen andererseits, mit einem Roboter und einer Bildaufnahmeeinrichtung aus einer oder mehreren Kameras, wobei die Bildaufnahmeeinrichtung und/oder das Werkstueck reproduzierbar beweglich ist,
- wobei die Kameras unter Einhaltung der Signifikanzbedingung angeordnet sind, die erfuellt ist, indem mindestens eine der Bedingungen sl, s2 erfuellt ist: sl) es werden eine oder mehrere Kameras verwendet, davon mindestens eine, Signifikanzkamera genannt, mit Zentralprojektion und einem Objektfeldwinkel von mindestens 20 Grad, vorzugsweise mindestens 45 Grad, s2) es werden mindestens drei Kameras verwendet, von denen mindestens drei, Signifikanzkameras genannt, mit mindestens 20 Grad schraeg, in Sonderheit rechtwinklig, zueinander stehen,
- mit einem Einrichtbetrieb mit den folgenden Schritten: el) Abbilden des Werkstuecks oder Teilen davon ueber die Signifikanzkameras, so dass sich in jeder Signifikanzkamera mindestens ein Fixmerkmal und/oder Flexmerkmal darstellt, e2) Anordnen eines Werkstuecks in einer systematisch oder zufaellig gewaehlten Standardlage, e3) Anordnen der Bildaufnahmeeinrichtung in einer Aus- g-angslage, e4) Aufnehmen mindestens eines Bildes durch die Signifikanzkameras, e5) Speichern der Bilder aus Schritt e4) und/oder davon abgeleiteter Daten,
e6) Anordnen der Bildaufnahmeeinrichtung in bekannten Relativlagen zur Ausgangslage und/oder Anordnen des Werkstücks in bekannten Relativlagen zur Standardlage, wobei jeder Freiheitsgrad mindestens einmal gegenueber der Ausgangslage bzw. Standardlage variiert wird, wobei fuer jede Relativlage
- die Relativlage selbst explizit oder implizit gespeichert wird,
- die Schritte e4) und e5) wiederholt werden, mit einem Automatikbetrieb mit den folgenden Schritten: al) Aufnehmen aktueller Bilder durch die Signifikanzkameras in Ausgangslage bzw. Standardlage oder einer dazu bekannt abweichenden Lage, optional Berechnen von aktuellen Daten zu den aktuellen Bildern, a2) Bestimmung der Lageabweichung aus den aktuellen
Bildern und/oder Daten, und den in den Schritten e5) und e6) gespeicherten Bildern und/oder Daten, a3) Korrigieren der Relativbewegung abhaengig von der Lageabweichung .
2. Verfahren nach Anspruch 1, mit mehrstufiger Arbeitsweise, wobei im Einrichtbetrieb Schritt e6) die Variation der Relativlage mit grober und zunehmend feiner Schrittweite realisiert wird, mit mindestens zwei Aufloesungsstufen, vorzugsweise bei feineren Aufloesungen mit kleineren Arbeitsbereichen, wobei im Automatikbetrieb aufgrund einer ersten Berechnung einer groben Lageabweichung eine grobe Lagekorrektur durchgefuehrt wird, und danach in mindestens einer weiteren Stufe mit weiteren Bildaufnahmen eine zunehmend feiner aufgeloeste Lageabweichung berechnet wird, die mindestens bis auf die letzte berechnete Lageabweichung zu entsprechenden Lagekorrekturen fuehren, wobei die zuletzt berechnete Lageabweichung entweder direkt oder ueber eine zuvor realisierte letzte Lagekorrektur zur Korrektur der Relativbewegung dient .
3. Vorrichtung zur dreidimensionalen Korrektur der Relativbewegung mit mehreren Freiheitsgraden zwischen Werkstuecken einerseits, und Greifer oder Werkzeugen andererseits, mit einem Roboter und einer Bildaufnahmeeinrichtung aus einer oder mehreren Kameras, mit mindestens drei Kameragruppen mit je mindestens zwei Kameras, wobei mindestens zwei Kameras einer Kameragruppe schraeg oder senkrecht zueinander stehen, wobei das Blickfeld der Kameras jeder Kameragruppe Merkmale erfasst, die im wesentlichen linear in eine Richtung ausgedehnt sind, insbesondere gerade oder naeherungsweise gerade Werkstueckkanten.
4. Verfahren nach Anspruch 1 oder 2, mit einer Vorrichtung nach Anspruch 3, wobei in den aufgenommenen Bildern Daten abgeleitet werden in Form der Steigung und/oder der Position der Abbildung der im wesentlichen linerar ausgedehnten Merkmale.
5. Vorrichtung nach Anspruch 3, wobei sich die Kameragruppen unmittelbar in der Naehe von Greifern oder direkt im Greifer befinden, wobei vorzugsweise mit den Kameras der Bereich des Werkstuecks erfasst wird, der dem Bereich entpricht oder benachbart ist, an dem der Greifer das Werkstueck greift.
6. Selbstueberwachungsverfahren nach Anspruch 2 oder 4, dadurch gekennzeichnet, dass die Konvergenz der schrittweisen Naeherung ueberprueft wird.
7. Selbstueberwachungsverfahren fuer ein System zur dreidimensionalen Korrektur der Relativbewegung mit mehreren Freiheitsgraden zwischen Werkstuecken einerseits, und Greifer oder Werkzeugen andererseits, dadurch gekennzeichnet, dass die Berechnung der erforderlichen Korrekturwerte mehrmals realisiert wird, mit mehreren verschiedenen Ausgangslagen und/oder Standardlagen, die sich bekannt vonein- ander unterscheiden, wobei ueberprueft wird, ob die Unterschiede der berechneten Korrekturwerte den bekannten Unterschieden der Ausgangslagen bzw. Standardlagen genau genug entsprechen.
8. Adaptionsverfahren mit einer Selbstueberwachung nach Anspruch 6 oder 7, wobei die Selbstueberwachung ein Pruefergebnis ueber eine Abweichung der erzielten Korrektur liefert, mit der eine automatische Adaption an langsam und/oder geringfuegig veraenderliche geometrische Gegebenheiten realisiert wird, vorzugsweise eine Aenderung von Befestigungen und/oder eine Temperaturdrift der Kinematik des Roboters.
9. Anordnung zur Positions-Interpolation von Werkstueck- bildern und/oder davon abgeleiteten Daten, die gewonnen werden in einem Einrichtbetrieb, mit einer Bildaufnahmeeinrichtung mit einer oder mehreren Kameras, wobei die Bildaufnahmeeinrichtung verschiedene bekannte Relativlagen zur einer Ausgangslage oder Standardlage einnehmen kann, wobei die Bilder bzw. Daten mit ihren Relativlagen gespeichert werden koennen, dadurch gekennzeichnet, dass sich im Einrichtbetrieb im Bildfeld aller Kameras mindestens zwei, vorzugsweise vier Marken in fester Lage relativ zum abgebildeten Teil befinden.
10. Verfahren zur Positions-Interpolation von Werkstueck- bildern und/oder davon abgeleiteten Daten, die in einem Einrichtbetrieb mit den Schritten el) bis e6) in Anspruch 1 gewonnen werden, mit 'einer Anordnung nach Anspruch 9, dadurch gekennzeichnet, dass anhand der Markenpositionen in mindestens zwei Bildern, die verschiedenen Relativlagen zugeordnet sind, fuer eine Zwischen-Relativlage zwischen diesen Relativlagen, ein positionsinterpo- liertes Bild und/oder ein positionsinterpolierter Datensatz berechnet wird.
11. Verfahren nach einem der Ansprueche 1,2,4,6,8 oder 10, wobei in Schritt e6) bei Variation der Lage, der Mittelpunkt von Drehbewegungen genau oder ungefaehr in die Mitte des dreidimensionalen Raumes gelegt wird, in dem sich die Merkmale befinden koennen.
12. Verfahren nach einem der Ansprueche 1,2,4,6,8,10 oder 11, wobei das Tangentenverbot eingehalten wird, d.h. dass in mindestens drei Strahlenbuendeln der Signifikanzkameras, bei Drehlagenveraenderungen in Schritt e6) , die Strahlenbuendel mit mindestens 20 Grad schraeg gegen die Tangenten an die Raumkreise liegen, auf denen sich die mit den betreffenden Strahlenbuendeln erfassten Merkmalspunkte drehen.
13. Verfahren nach einem der Ansprueche 1,2,4,6,8,10,11 oder 12, mit einer Vielzahl von Relativlagen in Schritt e6) , für jeden Freiheitsgrad, vorzugsweise 2 bis 20 Relativlagen für jeden Freiheitsgrad, wobei besonders bevorzugt die Anzahl der Relativlagen für mindestens zwei Freiheitsgrade gleich ist.
14. Verfahren nach einem der Ansprueche 1,2,4,6,8,10,11,12 oder 13, mit Schritt a2) realisiert durch Durchsuchen einer Datenbank von
- Bilddaten und/oder davon abgeleiteten Daten und
- daraus positionsinterpolierten Bildern bzw. Daten, mit der jeweils zugeordneten Relativlage, die als Lageabweichung ausgegeben wird, vorzugsweise in invertierter Form.
PCT/EP2002/011414 2001-10-15 2002-10-11 Korrektur der relativbewegung zwischen greif- oder bearbeitungswerkzeugen und werkstücken WO2003033219A2 (de)

Priority Applications (1)

Application Number Priority Date Filing Date Title
EP02785199A EP1436126A2 (de) 2001-10-15 2002-10-11 Korrektur der relativbewegung zwischen greif- oder bearbeitungswerkzeugen und werkstücken

Applications Claiming Priority (10)

Application Number Priority Date Filing Date Title
DE10150851 2001-10-15
DE10150851.4 2001-10-15
DE10152571 2001-10-24
DE10152571.0 2001-10-24
DE10159574.3 2001-12-05
DE10159574A DE10159574B9 (de) 2001-10-15 2001-12-05 Vorrichtung und Verfahren zur Korrektur der Bewegung von Greif- und Bearbeitungswerkzeugen
DE10206411.3 2002-02-15
DE10206411 2002-02-15
DE10246856 2002-10-08
DE10246856.7 2002-10-08

Publications (2)

Publication Number Publication Date
WO2003033219A2 true WO2003033219A2 (de) 2003-04-24
WO2003033219A3 WO2003033219A3 (de) 2004-01-15

Family

ID=27512431

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2002/011414 WO2003033219A2 (de) 2001-10-15 2002-10-11 Korrektur der relativbewegung zwischen greif- oder bearbeitungswerkzeugen und werkstücken

Country Status (2)

Country Link
EP (1) EP1436126A2 (de)
WO (1) WO2003033219A2 (de)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102006011124B4 (de) * 2005-03-09 2007-05-10 Tropf, Hermann Anordnung und Verfahren zum dreidimensionalen Lokalisieren eines Körpers
DE102015121807A1 (de) * 2015-12-15 2017-06-22 Endress+Hauser Conducta Gmbh+Co. Kg Verfahren zum automatisierten Herstellen eines mindestens ein Diaphragma aufweisenden Werkstücks
US10926414B2 (en) 2017-09-29 2021-02-23 Industrial Technology Research Institute System and method for calibrating tool center point of robot

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0152594A2 (de) * 1984-02-18 1985-08-28 Telefunken Systemtechnik Gmbh Vorrichtung zur Erfassung, messtechnischen Analyse und/oder Regelung von technischen Verfahrensabläufen
US4942539A (en) * 1988-12-21 1990-07-17 Gmf Robotics Corporation Method and system for automatically determining the position and orientation of an object in 3-D space
EP0812662A1 (de) * 1995-12-27 1997-12-17 Fanuc Ltd Kompositdetektionssystem für roboter
US5784282A (en) * 1993-06-11 1998-07-21 Bertin & Cie Method and apparatus for identifying the position in three dimensions of a movable object such as a sensor or a tool carried by a robot
EP0899058A2 (de) * 1997-09-01 1999-03-03 Robert Bosch Gmbh Verfahren und Vorrichtung zur Positionierung eines Werkzeugs
US6044183A (en) * 1982-02-16 2000-03-28 Laser Measurement International Inc. Robot vision using target holes, corners and other object features

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6044183A (en) * 1982-02-16 2000-03-28 Laser Measurement International Inc. Robot vision using target holes, corners and other object features
EP0152594A2 (de) * 1984-02-18 1985-08-28 Telefunken Systemtechnik Gmbh Vorrichtung zur Erfassung, messtechnischen Analyse und/oder Regelung von technischen Verfahrensabläufen
US4942539A (en) * 1988-12-21 1990-07-17 Gmf Robotics Corporation Method and system for automatically determining the position and orientation of an object in 3-D space
US5784282A (en) * 1993-06-11 1998-07-21 Bertin & Cie Method and apparatus for identifying the position in three dimensions of a movable object such as a sensor or a tool carried by a robot
EP0812662A1 (de) * 1995-12-27 1997-12-17 Fanuc Ltd Kompositdetektionssystem für roboter
EP0899058A2 (de) * 1997-09-01 1999-03-03 Robert Bosch Gmbh Verfahren und Vorrichtung zur Positionierung eines Werkzeugs

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102006011124B4 (de) * 2005-03-09 2007-05-10 Tropf, Hermann Anordnung und Verfahren zum dreidimensionalen Lokalisieren eines Körpers
DE102015121807A1 (de) * 2015-12-15 2017-06-22 Endress+Hauser Conducta Gmbh+Co. Kg Verfahren zum automatisierten Herstellen eines mindestens ein Diaphragma aufweisenden Werkstücks
US10723086B2 (en) 2015-12-15 2020-07-28 Endress+Hauser Conducta Gmbh+Co. Kg Method for automated production of a workpiece having a diaphragm
US10926414B2 (en) 2017-09-29 2021-02-23 Industrial Technology Research Institute System and method for calibrating tool center point of robot

Also Published As

Publication number Publication date
EP1436126A2 (de) 2004-07-14
WO2003033219A3 (de) 2004-01-15

Similar Documents

Publication Publication Date Title
EP2227356B1 (de) Verfahren und system zum hochpräzisen positionieren mindestens eines objekts in eine endlage im raum
EP2435217B1 (de) Verfahren und system zum hochpräzisen positionieren mindestens eines objekts in eine endlage im raum
EP2071279B1 (de) Verfahren und Vorrichtung zur Erfassung von Körpermaßdaten und Konturdaten eines Festkörpers
DE112011101730B4 (de) System und Verfahren zur robusten Kalibrierung zwischen einem Bildverarbeitungssystem und einem Roboter
DE112010005008B4 (de) System und Verfahren zur Bestimmung von Kamerafehlkalibrierung im Laufzeitbetrieb
DE102016116404B4 (de) Objektstellungsberechnungssystem
DE102015011914A1 (de) Konturlinienmessvorrichtung und Robotersystem
DE102016212695A1 (de) Industrieroboter
EP1497613A1 (de) Verfahren und vorrichtung zur bestimmung der räumlichen koordinaten eines gegenstandes
DE3618480A1 (de) Verfahren und vorrichtung zur automatischen bestimmung des ortes und der lage eines gegenstandes
DE102008042261B4 (de) Verfahren zur flexiblen Handhabung von Objekten mit einem Handhabungsgerät und eine Anordnung für ein Handhabungsgerät
DE19618283A1 (de) Bildaufnahmevorrichtung und Verfahren für die dreidimensionale berührungsfreie Messung
DE3635076C2 (de)
DE102008042260B4 (de) Verfahren zur flexiblen Handhabung von Objekten mit einem Handhabungsgerät und eine Anordnung für ein Handhabungsgerät
DE19525561C2 (de) 3D-Meßvorrichtung
DE102021209178A1 (de) Verfahren und Vorrichtung zum Bestimmen von Relativposen und zur Kalibrierung bei einem Koordinatenmessgerät oder Roboter
DE10164944B4 (de) Vorrichtung und Verfahren zur Korrektur der Bewegung von Greif- und Bearbeitungswerkzeugen
EP1468792A2 (de) Verfahren zum Kalibrieren eines Roboters
WO2003033219A2 (de) Korrektur der relativbewegung zwischen greif- oder bearbeitungswerkzeugen und werkstücken
EP1471401B1 (de) Verfahren zur Einmessung des Koordinatensystems einer Kamera eines Roboters gegenüber dem Koordinatensystem des Roboters oder umgekehrt
DE10118514B4 (de) Verfahren zur Arbeitspunktstabilisierung bei berührungsloser 3D- Positionserkennung eines zu vermessenden Objektes mittels Digitalkameras
WO2007090557A2 (de) Verfahren zum erzeugen eines umgebungsbildes
DE10233372B4 (de) Messsystem und Verfahren zur Erfassung geometrischer Größen
DE102005043070B4 (de) Verfahren zur hochgenauen dreidimensionalen Vermessung und/oder Rekonstruktion von Objekten mit Hilfe digitaler Bildaufnahmen, beispielsweise zur Bildauswertung von Verkehrsstrecken
DE10327479A1 (de) Einrichtung zur Bestimmung der Position eines Werkstücks und Verfahren dafür unter Verwendung von mindestens einer elektronischen Kamera

Legal Events

Date Code Title Description
AK Designated states

Kind code of ref document: A2

Designated state(s): AE AG AL AM AT AU AZ BA BB BG BY BZ CA CH CN CO CR CU CZ DE DM DZ EC EE ES FI GB GD GE GH HR HU ID IL IN IS JP KE KG KP KR LC LK LR LS LT LU LV MA MD MG MN MW MX MZ NO NZ OM PH PL PT RU SD SE SG SI SK SL TJ TM TN TR TZ UA UG US UZ VN YU ZA ZM

AL Designated countries for regional patents

Kind code of ref document: A2

Designated state(s): GH GM KE LS MW MZ SD SL SZ UG ZM ZW AM AZ BY KG KZ RU TJ TM AT BE BG CH CY CZ DK EE ES FI FR GB GR IE IT LU MC PT SE SK TR BF BJ CF CG CI GA GN GQ GW ML MR NE SN TD TG

121 Ep: the epo has been informed by wipo that ep was designated in this application
DFPE Request for preliminary examination filed prior to expiration of 19th month from priority date (pct application filed before 20040101)
WWE Wipo information: entry into national phase

Ref document number: 2002785199

Country of ref document: EP

WWP Wipo information: published in national office

Ref document number: 2002785199

Country of ref document: EP

REG Reference to national code

Ref country code: DE

Ref legal event code: 8642

NENP Non-entry into the national phase

Ref country code: JP

WWW Wipo information: withdrawn in national office

Country of ref document: JP