WO2008014961A2 - Verfahren zur lagebestimmung von objekten im dreidimensionalen raum - Google Patents

Verfahren zur lagebestimmung von objekten im dreidimensionalen raum Download PDF

Info

Publication number
WO2008014961A2
WO2008014961A2 PCT/EP2007/006730 EP2007006730W WO2008014961A2 WO 2008014961 A2 WO2008014961 A2 WO 2008014961A2 EP 2007006730 W EP2007006730 W EP 2007006730W WO 2008014961 A2 WO2008014961 A2 WO 2008014961A2
Authority
WO
WIPO (PCT)
Prior art keywords
dimensional data
segments
data
determined
objects
Prior art date
Application number
PCT/EP2007/006730
Other languages
English (en)
French (fr)
Other versions
WO2008014961A3 (de
Inventor
Martin Stotz
Ira Effenberger
Markus HÜTTEL
Thomas Dunker
Original Assignee
Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. filed Critical Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V.
Priority to EP07786431A priority Critical patent/EP2059905A2/de
Publication of WO2008014961A2 publication Critical patent/WO2008014961A2/de
Publication of WO2008014961A3 publication Critical patent/WO2008014961A3/de

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G06V10/243—Aligning, centring, orientation detection or correction of the image by compensating for image skew or non-uniform image deformations
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40564—Recognize shape, contour of object, extract position and orientation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component

Definitions

  • the present invention relates to a method for determining the position of objects that can be written by regular geometric bodies and to a device which can treat the corresponding objects on the basis of the data determined by the method.
  • the task is to determine the spatial position of arbitrarily oriented objects (workpieces, components, ).
  • the location of the objects in space is unknown and must be determined in position and orientation to provide suitable gripping positions for gripping.
  • the problem is always the requirement for the shortest possible time for the recognition.
  • An aggravation of the problem arises from other objects in the vicinity of the objects to be gripped.
  • a common practice in practice are, for example, workpieces stored in boxes, which are present as completely disordered bulk material. Each individual object is surrounded by a multitude of other objects.
  • the object of interest must be segmented from the background, i. all points of the point cloud that do not belong to the object must be separated from the points that belong to the object.
  • Another approach according to the prior art consists of determining from a CAD model a large number of views of the object to be manipulated, and using this to select the object.
  • 4000 to 12000 images are necessary for this, which makes the process time-consuming and computationally intensive.
  • Object of the present invention is therefore to provide a method by which objects that are at least partially writable by rule geometric elements can be detected as quickly as possible against a complex background without detailed knowledge of the form or attached to the object markers.
  • the invention relates to objects characterized by control geometric elements, such as e.g. Cylinder or cone can be described. Such objects may be pipes, for example. Furthermore, the invention relates to objects that are constructed from regular geometric elements or contain regular geometric elements.
  • the expression "regular geometric” here means that the corresponding shape or geometry can be described by closed formulas and / or parametric formulas and / or implicit formulas.
  • the method according to the invention uses a combination of image processing and 3D data processing.
  • the basis for the image processing are pixel values arranged in a rectangular matrix, wherein a single pixel may contain depth information (which is then a depth image) or intensity information (which is then a gray value or color image). More generally, the 3D and intensity values may be located on any other than a rectangular, regular 2D grid.
  • “regular” refers to a lattice formed by central projection (model for camera imaging) of an equidistant orthogonal lattice on a plane that is not parallel to it, although in this plane the distances between the lattice points are no longer equal Triangular meshes or their dual - hexagonal meshes - are also possible.
  • the crucial factor is a regular neighborhood structure. These data are referred to below as the image.
  • Data processing are points in space that are assigned to each individual 3D coordinate (x, y, z). Such data is supplied by 2.5D and 3D sensors. The depth images are always available or calculable according to the prerequisite in the problem. Some sensors for 2, 5D / 3D data acquisition additionally provide grayscale images, in which each grayscale pixel is then assigned a 3D coordinate, which can improve the evaluation.
  • the inventive method is used to detect and treat at least one in a limited
  • An element or rule-geometric element may also comprise or consist of two, three, four, five or more regular geometric elements.
  • the limited area here is essentially given by the action area of the treatment device. However, the area can also be limited, for example, by the walls of a packaging or box in which the objects are accommodated.
  • the treatment of an object may e.g. gripping, sucking, changing but also measuring and checking the corresponding object.
  • the object to be manipulated must first be selected.
  • the process of selecting includes the determination of one object from several, but the selection also includes the determination of properties of the object, such as its position and / or properties of its shape.
  • a data base must be created.
  • the necessary combined data, ie 3D data and a depth image or 3D data and a gray value image are obtained with the aid of a corresponding sensor and possible conversion.
  • a sensor for recording the three-dimensional data are, for example, light section, fringe projection or Time of Flight (ToF) sensors.
  • the sensor picks up parts from a view and makes the data available in digital form.
  • the depth image or the gray value image can be determined by a separate sensor, but it can also be calculated from the three-dimensional data as described above.
  • a depth image is understood to mean an arrangement of data in a matrix in which each pixel, ie each data point, contains a spacing.
  • This distance is the distance of the surface of the detected arrangement of objects to a certain level, which may be defined by the sensor, for example. Accordingly, the gray value image on the individual pixels contains the brightness or the gray value of the surface of the object at the corresponding location.
  • this arrangement of pixels need not necessarily be rectangular, but in general, any regular 2D grid in the above sense is suitable.
  • the two-dimensional image is now based on the gray values, the color, the distance and / or the values derived from the three-dimensional coordinates, such as the curvature or the distance to a plane, a point or an axis Regions decomposed.
  • contiguous segments with a similar property are determined in the two-dimensional data. This is what matters that the values of the considered property within a segment are related to each other. The relationship may be, for example, that the values are the same or are constantly changing.
  • the creation of segments can be achieved, for example, by means of the region-wide method, in which pixels with similar properties are combined to form regions. Similar pixel values here mean that the values of adjacent pixels do not differ by more than a predetermined value.
  • the segments determined in the second step are assigned to at least one element as a function of at least one predetermined property of the segments.
  • the term "region” is used below.
  • the resulting regions are used to calculate properties that are determined from the contour (edge) of the region as well as from the region as a planar element. These may be properties such as area, circumference, moments, minimum and maximum width, arrangement, etc.
  • the properties are mainly determined from the 3D coordinates of all points of a region, eg minima, maxima, averages, variance, etc. of a coordinate or the local curvatures.
  • criteria are set up according to which the objects to be found are roughly selected such that these properties of the selected regions roughly correspond to those of the sought objects or parts thereof. Criteria can be, for example, an exposed as possible position, a relative position to already found partial geometries or a specific surface type. If, for example, the searched object contains a cylinder, a region is created in the image that describes this cylinder. This region For example, it can be assigned to the cylinder based on its length and width.
  • one or more segments are selected according to predetermined criteria from the segments or regions which are assigned to geometric elements. This is particularly necessary if the selection of the segments according to the criteria results in output data for several objects.
  • the objects can then be e.g. still be sorted according to aspects for better tangibility. For example, with more parts in boxes, an object that is as high as possible is better suited than a lower one.
  • the three-dimensional data associated with the selected segments are determined.
  • the two-dimensional data selected after the fourth step which contain at least part of an object to be found, are searched for the corresponding 3D data.
  • the selected segments are assigned those three-dimensional data recorded in the first step, which fall into the corresponding segments during the projection which was carried out for the acquisition of the two-dimensional data.
  • the pixel indices of the image i. the two-dimensional data
  • the values of the other coordinates added. The result of this, in relation to the entire scene with respect to the number of points, are small point clouds which contain at least part of an object to be found.
  • the starting area is transformed into the three-dimensional data determined in the first step
  • Data at least one element fit.
  • the fitting in this case is to adapt as closely as possible to the recorded three-dimensional data the geometry of the element to be fitted in shape and position in a certain sense.
  • the adaptation can be iterative, for example in a best-fit procedure or according to the Chebyshev method. However, other, not iterative, methods can also be used.
  • Part of the fitting in is also to select from the recorded three-dimensional data those data which, together with the data assigned in the fifth step, describe the data associated with the corresponding segment. When fitting, those points that do not belong to the object are separated into a separate point cloud.
  • the element suitable for the criteria is fitted in as starting region.
  • the shape and / or the position of the element is determined, whereby at least the position and / or shape of the object is determined at least in part.
  • the delivered starting areas contain only a fraction of the number of points of the input data in relation to the entire scene, which makes the fitting faster.
  • the position of the object to be selected is then determined in the seventh step from the position of the at least one regular geometric element determined in this way. For this purpose, those three-dimensional data are selected which, together with the data representing the at least one control-geometric element, are the data to be selected
  • a treatment device can now be controlled on the basis of the data describing the selected object.
  • the treatment may involve gripping, deforming, printing, altering, aspirating, manipulating, measuring, and / or checking.
  • data can be selected in the entire scene at the corresponding candidate areas.
  • the selection of the data can be done either in the image or in the 3D data, and presumably the selection in the image will be faster in practical use. For the selection in the picture two variants are suggested.
  • the first variant is the selection of a region adjacent to the previous start region from the second step, which did not fulfill the specified criteria in the third step or for which the criteria for selection are redefined in the third step. For several found regions, a selection can be made based on a priori information about the object to be found.
  • targeted searches are made for areas based on a priori information.
  • a depth or gray value image may possibly be generated and used by the searched object.
  • the regions can be searched.
  • the pixel values are not used for the segmentation, but quantities previously calculated from the pixel values. In the case of depth images, this may e.g. to be the bends.
  • the criteria in the third step, can be determined automatically from a single digitized object from which the variables of interest are automatically extracted.
  • a CAD model if present, can be converted in the computer into a correspondingly scaled depth or gray value image.
  • the image resulting from the digitization reflects the scene distorted due to the unequal spatial resolution of the matrix in both directions.
  • the image can be unilambled and / or sampled in one direction in a third preferred embodiment of the method.
  • the criteria can also be scaled according to the location of the regions in the image.
  • Certain objects will create characteristic patterns in the image. These can, in a fourth preferred embodiment, be combined with a method commonly used in image processing, e.g. of Pattern Matching can be found in the result of the second step.
  • the pattern to be found is generated from a single digitized object and / or a CAD model similarly as described above.
  • the third step of the process can thus be replaced in certain cases. With this, several start areas for the sixth step can be generated at once, which may even make an iteration unnecessary for complete bedding determination.
  • FIG. 1 shows a flowchart of the invention
  • FIG. 2 shows a device for implementing the method according to the invention.
  • FIG. 1 shows a flowchart of the invention Procedure.
  • 3D data is first recorded on a regular grid.
  • a depth image is obtained.
  • the depth image it is also possible, for example, to obtain a gray value image or a color image.
  • the corresponding two-dimensional image can be obtained from the three-dimensional image or taken by a separate sensor.
  • a segmentation is now carried out by "region growing" in a second step 2.
  • a third step 3 regions or segments are determined according to criteria such as surface area, length These regions are assigned to at least one rule-geometric element, followed by a check 4 as to whether a region has ever been assigned to a rule-geometric element in the third step 3. If this is not the case, then in a step 5 the criteria for the If the criteria are changed in step 5, the third step 3 must be executed again until the check 4 shows that in the third step 3 a region has been assigned to a rule-geometric element ,
  • the fourth step 6 selects the region which, for example, is best at hand. For this purpose, certain criteria are used which describe the tangibility of a regular geometric element.
  • a check 8 is made, whether in the fourth step 6 a regular geometric element has been selected as the most suitable. If this check 8 shows that in the fourth step 6 no element was selected as the best to be taken, then in a step 7 the criteria for the selection in the fourth step 6 must be changed or an error message issued. If the criteria are changed in step 7, the region selection is performed again in the fourth step 6. The criteria are changed in step 7 until the check 8 shows that a regular geometric element has been selected as the most suitable one.
  • a best fit of the regular geometric elements is then carried out.
  • a decision 10 it can now be decided whether additional regions should be assigned to rule-geometric elements or not. This is particularly interesting for objects whose shape can be described by several regular geometric elements. If additional segments are to be assigned to rule geometric elements, the method is carried out again from the third step 3. If the decision 10 indicates that no further regions are to be investigated, then in the sixth step 11 the regular geometric elements are fitted into the three-dimensional data, whereby those data which describe the regular geometric elements are selected from the three-dimensional data.
  • FIG. 2 shows an arrangement with a robot which is suitable for carrying out the method according to the invention.
  • the task here is to grasp objects arranged in boxes 4 by means of a robot arm 3.
  • the control of the robot as well as the recording and processing of the data takes place here by means of a Computer 2.
  • the three-dimensional data is recorded via a scanning system 1.
  • the scanning system 1 is in this case aligned so that it can detect the arrangement of objects in the boxes 4.
  • the scanning system 1 can be designed so that it over the
  • Boxes 4 is movable.
  • the robot arm 3 is movable at a plurality of joints and can reach into the boxes 4.
  • the scanning system 1 now takes three-dimensional data from the arrangement of the objects in the boxes 4.
  • This data is first stored in the computer system 2.
  • the scanning system 1 may be designed to additionally provide two-dimensional data, such as data. takes a depth image or a grayscale image. These data are then also stored in the computer 2.
  • the computer 2 calculates two-dimensional data from the three-dimensional data determined by the scanning system 1.
  • the computing system 2 can now make the fitting of the regular geometric elements into the data transmitted by the scanning system 1. This results in information such as the location and shape of the objects arranged in the boxes 4. Based on this information, the computer system 2 can now control the robot arm 3 in such a way that it can grasp or otherwise manipulate the objects arranged in the boxes 4.
  • a system which determines the position of disordered parts, which consist only of a regular geometric element can and which can determine for this possible collision-free grip points.
  • Such parts may be pipes, for example.
  • the following evaluation procedure is implemented.
  • a region-growing process segments the depth image into regions.
  • the criteria for the selection of the regions are e.g. the area that corresponds to a fully captured pipe plus / minus a tolerance. If several suitable regions are found, then these are sorted according to tangibility, that is, as exposed as possible, i. above first.
  • a cylinder is fitted, whereby non-cylinder dots are segmented by the fitting process. This also makes it easy to perform a collision check by going back to the depth image and comparing the location and the number of non-cylinder points with the cylinder-associated points. If e.g. many points that do not belong to the cylinder fall to the calculated gripping point, there is a risk of collision.
  • the next example describes the evaluation of more complex parts with more than one rule-geometric element.
  • the object to be found here is a cylinder with a plate exposed at one end.
  • the evaluation procedure is implemented as follows: First of all, the segmentation takes place by region growing. The criteria in the third step are set so that regions that largely describe visible cylinder and plate regions are found. In the following, depending on whether a cyclic or plate region has been found, a cylinder must be included in the 3D data belonging to the pixel values of the image. the one or a plane are fitted as a regular geometric element. Thereafter, in the case of a found cylinder, the depth image is searched for an adjacent plate, which may then be smaller due to perspective than the criteria.
  • the following can be carried out.
  • the first variant of the search in the axial direction at both ends of the cylinder at the distance of the plate 3D data over the detour of the pixel coordinates start areas determined. If startup areas are found on both sides, they will each be fitted with one level. Based on the a priori information about the objects to be found, the correct plane can be selected, namely, that which has the same relative position to the cylinder as on the model object. If only one start area is found, a layer must be fitted in it and the position of the object determined.
  • the starting region is generated according to the method described and then proceeded as in the first variant.
  • the object cylinder with plate
  • the model cylinder is equipped with plates at both ends and around the
  • Cylinder axis rotates.
  • the swept points are further processed as in the first variant when searching in the depth image. If the first found regular geometric element is a plate, the cylinder is fitted in reverse order mutatis mutandis as a second element.
  • crankshafts are horizontal in
  • crankshafts In a training step, a copy of the crankshafts is digitized in several almost horizontal positions. After each segmentation, the pattern matching procedure is taught-in with the results of the segmentation.
  • the areas to be found are the regions which are created by the connections of the individual cylindrical shaft parts.
  • the recognition process looks for the pattern after segmentation in the resulting regions. Thus, the intermediate regions describing cylinders can be found. If the cylinders are fitted in these, the position of the object is fixed.
  • One advantage of the combination of image processing and 3D data evaluation is the speed increase that can be achieved compared to pure 3D data analysis.
  • By way of the described method of fitting in a first rule-geometrical element and subsequent, thereby restricted search there is an advantage, e.g. compared to view-based methods, the reduction of the views to be checked, which significantly shortens the computation time.
  • the main advantage is that the position of arbitrary objects can be determined if the objects contain only regular geometric elements.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Optics & Photonics (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)

Abstract

Die Erfindung betrifft ein Verfahren und eine Vorrichtung zur Bestimmung der Lage von durch regelgeometrische Körper beschreibbaren Objekten und zur Behandlung derselben. Das Verfahren ist dadurch gekennzeichnet, dass zunächst ein Objekt ausgewählt wird, indem dreidimensionale Daten der Objekte aufgenommen werden und zweidimensionale Daten gewonnen werden. In den zweidimensionalen Daten werden dann zusammenhängende Segmente gebildet und anschließend diese Segmente zumindest teilweise einem oder mehreren regelgeometrischen Objekten zugeordnet. Aus diesen werden einige ausgewählt, für welche dann die entsprechenden dreidimensionalen Daten hinzugezogen werden. Diese dienen nun als Startbereich, um in die dreidimensionalen Daten zumindest ein regelgeometrisches Element einzupassen, aus dessen Lage anschließend die Lage des Objektes bestimmt wird. Anhand dieser LageInf ormationen wird eine Behandlungsvorrichtung gesteuert.

Description

Verfahren zur Lagebestimmung von Objekten im dreidimensionalen Raum
Die vorliegende Erfindung betrifft ein Verfahren zur Bestimmung der Lage von durch regelgeometrische Körper beschreibbaren Objekten sowie eine Vorrichtung, welche anhand der durch das Verfahren bestimmten Daten die entsprechenden Objekte behandeln kann.
In vielen Bereichen der Technik, wie zum Beispiel der Automatisierungstechnik oder bei Servicerobotern welche Objekte aufnehmen oder greifen sollen, besteht die Aufgabe, die räumliche Lage von beliebig orientierten Objekten (Werkstücken, Bauteilen, ...) zu bestimmen. Die Lage der Objekte im Raum ist unbekannt und muss in Position und Orientierung bestimmt werden, um geeignete Greifpositionen zum Greifen zu liefern. In der Problemstellung ist immer die Forderung nach einer möglichst kurzen Zeitspanne für die Erken- nung enthalten. Eine Erschwerung des Problems entsteht durch weitere Objekte in der Umgebung der zu greifenden Objekte. Ein in der Praxis häufiger Fall sind zum Beispiel in Kisten aufbewahrte Werkstücke, die als vollkommen ungeordnetes Schüttgut vorliegen. Hierbei ist jedes einzelne Objekt von einer Vielzahl anderer Objekte umgeben .
Das zugrunde liegende technische Problem der Erfindung gliedert sich in folgende Teilaspekte:
• Das interessierende Objekt muss vom Hintergrund absegmentiert werden, d.h. alle Punkte der Punktwolke, die nicht zum Objekt gehören, müssen von den Punkten, die zum Objekt gehören, getrennt werden. Im Beispiel von ungeordneten Teilen in Kisten muss unter den vielen (gleichen) Teilen erst ein überhaupt zum Greifen in Frage kommendes, d.h. voraussichtlich frei zugängliches, Objekt gefunden werden.
• Die exakte Lage des Objektes im Raum muss mit Ihren Parametern wie Position und Richtung bestimmt werden. Im Fall von zu greifenden Teilen kann daraus dann die Greifposition bestimmt werden.
Nach dem Stand der Technik erfolgt eine solche Bestimmung der Lage von Objekten zum Beispiel unter Verwendung photogrammetrischer Methoden, wie der „3D ROBOT VISION" von ISRA VISION SYSTEMS AG. Der Nachteil ist hier, dass auf den Objekten Merkmale vorhanden sein müssen, die es erlauben, photogrammetrisehe Verfahren anzuwenden.
Eine andere Vorgehensweise nach dem Stand der Technik besteht darin, aus einem CAD-Modell eine große Zahl von Ansichten des zu manipulierenden Objektes zu Bestimmen und anhand dieser das Objekt auszuwählen. Hierzu sind jedoch 4000 bis 12000 Bilder notwendig, was das Verfahren Zeit- und Rechenintensiv macht.
Aufgabe der vorliegenden Erfindung ist es daher, ein Verfahren anzugeben, mit welchem Objekte, die zumindest teilweise durch regelgeometrische Elemente be- schreibbar sind, vor einem komplexen Hintergrund ohne detaillierte Kenntnis der Form oder auf dem Objekt angebrachter Markierungen möglichst schnell erkannt werden können.
Die Aufgabe wird gelöst durch das Verfahren nach Anspruch 1 sowie durch die Behandlungsvorrichtung nach Anspruch 31. Vorteilhafte Weiterbildungen des erfindungsgemäßen Verfahrens und der erfindungsgemäßen Vorrichtung werden durch die jeweiligen abhängigen Ansprüche gegeben.
Detaillierte Beschreibung der Erfindung
Die Erfindung bezieht sich auf Objekte, die durch re- gelgeometrische Elemente, wie z.B. Zylinder oder Kegel beschrieben werden können. Solche Objekte können zum Beispiel Rohre sein. Weiter bezieht sich die Erfindung auf Objekte, die aus regelgeometrischen Elementen aufgebaut sind oder regelgeometrische Elemente enthalten.
Der Ausdruck „regelgeometrisch" bedeutet hierbei, dass die entsprechende Form oder Geometrie durch geschlossenen Formeln und/oder parametrische Formeln und/oder implizite Formeln beschreibbar ist. Das erfindungsgemäße Verfahren nutzt eine Kombination aus Bildverarbeitung und 3D-Datenverarbeitung. Die Grundlage für die Bildverarbeitung sind in einer rechteckigen Matrix angeordnete Pixelwerte, wobei ein einzelnes Pixel eine Tiefeninformation (das ist dann ein Tiefenbild) oder eine Intensitätsinformation (das ist dann ein Grauwert oder Farbbild) enthalten kann. Allgemeiner können die 3D- und Intensitätswerte auf einem beliebigen anderen als einem rechteckigen re- gelmäßigen 2D-Gitter angeordnet sein. Unter „regelmäßig" wird z.B. auch ein Gitter, das durch Zentralprojektion (Modell für Kameraabbildung) eines äquidis- tanten, orthogonalen Gitters auf eine dazu nicht parallele Ebene entsteht, verstanden, obwohl in dieser Ebene die Abstände zwischen den Gitterpunkten nicht mehr gleich sind. Regelmäßige Dreiecksgitter oder deren Duale — Hexagonalgitter — sind auch möglich. Das entscheidende ist eine regelmäßige Nachbarschafts- struktur. Diese Daten werden im Folgenden als Bild bezeichnet. Die Grundlage für die 3D-
Datenverarbeitung sind Punkte im Raum, denen jedem einzelnen 3D-Koordinaten (x,y,z) zugeordnet sind. Solche Daten werden von 2,5D- und 3D-Sensoren geliefert. Die Tiefenbilder sind nach der Voraussetzung in der Problemstellung immer vorhanden bzw. errechenbar. Manche Sensoren zur 2, 5D-/3D-Datenerfassung liefern zusätzlich noch Grauwertbilder, bei welchen dann jedem Grauwertpixel eine 3D-Koordinate zugeordnet ist, was die Auswertung verbessern kann.
Im Folgenden wird das erfindungsgemäße Verfahren beschrieben, das aus mehreren Schritten besteht. Die einzelnen Schritte sind nicht in allen Varianten des Verfahrens notwendig und es werden Varianten genannt, in denen einzelne Schritte unterschiedlich ausgeprägt sein können. Zuerst wird das allgemeine Verfahren be- schrieben, das für Objekte, die regelgeometrische E- lemente enthalten, vorgesehen ist.
Das erfindungsgemäße Verfahren dient zum Erkennen und Behandeln von mindestens einem in einem begrenzten
Bereich in einer Anordnung vorliegenden Objekt, dessen Form durch ein oder mehrere in bekannter Beziehung zueinander stehende Elemente, welche jeweils zumindest ein regelgeometrisches Element aufweisen, be- schreibbar ist. Dabei wird im folgenden überall, wo der Begriff des regelgeometrischen Elementes verwendet wird, auch gemeint, dass das entsprechende regelgeometrische Element bzw. Element mehrere regelgeometrische Elemente aufweisen kann oder daraus beste- hen kann.
Ein Element oder regelgeometrisches Element kann auch zwei, drei, vier, fünf oder mehr regelgeometrische Elemente aufweisen oder daraus bestehen. Der begrenzte Bereich ist hierbei im Wesentlichen durch den Aktionsbereich der Behandlungsvorrichtung gegeben. Der Bereich kann aber auch zum Beispiel durch die Wände einer Verpackung oder Kiste, in welcher die Objekte untergebracht sind, begrenzt sein. Die Behandlung eines Objektes kann z.B. das Greifen, das Ansaugen, das Verändern aber auch das Vermessen und Überprüfen des entsprechenden Objektes sein.
Erfindungsgemäß muss das zu manipulierende Objekt zunächst ausgewählt werden. Der Prozess des Auswählens beinhaltet hier einerseits die Bestimmung eines Objektes aus mehreren, das Auswählen beinhaltet aber auch die Bestimmung von Eigenschaften des Objektes, wie beispielsweise seiner Lage und/oder Eigenschaften seiner Form.
Um ein Objekt in diesem Sinne auswählen zu können, muss zunächst eine Datengrundlage geschaffen werden. Hierzu werden mit Hilfe eines entsprechenden Sensors und eventueller Umrechnung die nötigen kombinierten Daten, d.h. 3D-Daten und ein Tiefenbild oder 3D-Daten und ein Grauwertbild gewonnen. Als Sensor zur Aufnahme der dreidimensionalen Daten eignen sich z.B. Lichtschnitt, Streifenprojektion oder Time of Flight (ToF) -Sensoren. Der Sensor nimmt Teile aus einer Ansicht auf und stellt die so erhaltenen Daten digital zur Verfügung. Das Tiefebild bzw. das Grauwertbild kann durch einen gesonderten Sensor bestimmt werden, es kann aber auch aus den wie oben beschriebenen dreidimensionalen Daten berechnet werden. Unter einem Tiefenbild wird hier eine Anordnung von Daten in ei- ner Matrix verstanden, in welcher jeder Pixel, d.h. jeder Datenpunkt, einen Abstand enthält. Dieser Abstand ist die Entfernung der Oberfläche der erfassten Anordnung von Objekten zu einer bestimmten Ebene, welche z.B. durch den Sensor definiert sein kann. Entsprechend enthält das Grauwertbild an den einzelnen Pixeln die Helligkeit oder den Grauwert der Oberfläche des Objektes an der entsprechenden Stelle. Wie oben beschrieben, muss diese Anordnung von Pixeln nicht notwendigerweise rechteckig sein, infrage kommt im allgemeinen jedes regelmäßige 2D-Gitter im obigen Sinne .
In einem zweiten Schritt wird nun das zweidimensionale Bild auf Basis der Grauwerte, der Farbe, des Ab- Standes und/oder den aus den dreidimensionalen Koordinaten abgeleiteten Werten, wie z.B. der Krümmung oder dem Abstand zu einer Ebene, einem Punkt oder einer Achse in einzelne Regionen zerlegt. Es werden also in diesem zweiten Schritt in den zweidimensionalen Daten zusammenhängende Segmente mit einer ähnlichen Eigenschaft bestimmt. Hierbei kommt es darauf an, dass die Werte der betrachteten Eigenschaft innerhalb eines Segmentes miteinander in Zusammenhang stehen. Der Zusammenhang kann z.B. darin bestehen, dass die Werte gleich sind oder sich stetig ändern. Die BiI- düng von Segmenten kann z.B. mittels des Regiongro- wing-Verfahrens erreicht werden, bei dem Bildpunkte mit ähnlichen Eigenschaften zu Regionen zusammenge- fasst werden. Ähnliche Pixelwerte bedeutet hier, dass sich die Werte benachbarter Pixel um nicht mehr als einen vorgegebenen Wert unterscheiden.
Im dritten Schritt werden die im zweiten Schritt bestimmten Segmente in Abhängigkeit von zumindest einer vorbestimmten Eigenschaft der Segmente zumindest ei- nem Element zugeordnet. Synonym zum Begriff „Segment" wird im Folgenden auch der Begriff „Region" verwendet. Von den entstandenen Regionen werden Eigenschaften berechnet, die sowohl aus der Kontur (dem Rand) der Region als auch aus der Region als flächiges EIe- ment bestimmt werden. Dies können Eigenschaften, wie Fläche, Umfang, Momente, kleinste und größte Breite, Anordnung etc. sein. Bei der Auswahl auf der Basis des Inhaltes der Region werden die Eigenschaften vor allem aus den 3D-Koordinaten aller Punkte einer Regi- on ermittelt, z.B. Minima, Maxima, Mittelwerte, Varianz, etc. einer Koordinate oder der lokalen Krümmungen. Nach diesen Eigenschaften werden Kriterien aufgestellt, nach denen die zu findenden Objekte grob so ausgewählt werden, dass diese Eigenschaften der aus- gewählten Regionen denen der gesuchten Objekte oder Teilen davon grob entsprechen. Kriterien können z.B. eine möglichst exponierte Lage, eine relative Lage zu bereits gefundenen Teilgeometrien oder ein bestimmter Flächentyp sein. Enthält also z.B. das gesuchte Ob- jekt einen Zylinder, so entsteht in dem Bild eine Region, die diesen Zylinder beschreibt. Diese Region kann z.B. aufgrund ihrer Länge und Breite dem Zylinder zugeordnet werden.
Im vierten Schritt werden nun aus den Segmenten oder Regionen, welche regelgeometrischen Elementen zugeordnet sind, ein oder mehrere Segmente nach vorbestimmten Kriterien ausgewählt. Dies ist insbesondere notwendig, wenn bei der Auswahl der Segmente nach den Kriterien Ausgangsdaten für mehrere Objekte gefunden werden. Im vierten Schritt können die Objekte dann z.B. noch nach Gesichtspunkten für bessere Greifbarkeit sortiert werden. So ist bei mehreren Teilen in Kisten ein möglichst weit oben liegendes Objekt besser geeignet als ein weiter unten liegendes .
Im fünften Schritt werden nun die den ausgewählten Segmenten zugeordneten dreidimensionalen Daten bestimmt. Es werden also zu den nach dem vierten Schritt ausgewählten zweidimensionalen Daten, die zu- mindest einen Teil eines zu findenden Objektes enthalten, die entsprechenden 3D-Daten gesucht. Hierbei werden den ausgewählten Segmenten jene im ersten Schritt aufgenommenen dreidimensionalen Daten zugeordnet, welche bei der Projektion, welche zur Erlan- gung der zweidimensionalen Daten durchgeführt wurde, in die entsprechenden Segmente fallen. Es wird also entsprechend den Pixelindices des Bildes, d.h. den zweidimensionalen Daten, die Werte der anderen Koordinaten hinzugenommen. Das Ergebnis hiervon sind im Verhältnis zur gesamten Szene in Bezug auf die Anzahl der Punkte kleine Punktwolken, die mindestens einen Teil eines zu findenden Objektes enthalten.
Im sechsten Schritt wird nun ausgehend von so ermit- telten dreidimensionalen Daten als Startbereich in die im ersten Schritt ermittelten dreidimensionalen Daten zumindest ein Element eingepasst. Das Einpassen besteht hierbei darin, an die aufgenommenen dreidimensionalen Daten die Geometrie des einzupassenden Elements in Form und Lage in einem gewissen Sinne möglichst gut anzupassen. Die Anpassung kann iterativ erfolgen, beispielsweise in einem Best-Fit-Verfahren oder nach dem Tschebyscheff-Verfahren. Es können aber auch andere, auch nicht iterative Verfahren Verwendung finden. Bestandteil des Einpassens ist auch, aus den aufgenommenen dreidimensionalen Daten jene Daten auszuwählen, welche zusammen mit den im fünften Schritt ausgewählten Segmenten zugeordneten Daten das dem entsprechenden Segment zugeordnete Element beschreiben. Dazu werden beim Einpassen jene Punkte, die nicht zum Objekt gehören, in eine separate Punkt- wölke absepariert. Es wird also in die Ergebnispunkt- wölke aus dem fünften Schritt als Startbereich das nach den Kriterien geeignete Element eingepasst. Durch die Einpassung wird die Form und/oder die Lage des Elementes bestimmt, wodurch zumindest die Lage und/oder Form des Objektes zumindest zum Teil bestimmt wird. Dabei ist von Vorteil, dass die gelieferten Startbereiche dank der vorangegangenen Schritte im Verhältnis zur gesamten Szene nur einen Bruch- teil der Anzahl der Punkte der Eingangsdaten enthält, was die Einpassung schneller macht.
Wichtig ist dabei, neben der Robustheit der Einpassung gegen Störungen und Rauschen, eine in die Best- einpassung integrierte Elimination von Punkten, die nicht zu dem Element gehören. Das geschieht durch eine Iteration von Einpassung einer Regelgeometrie, Entfernen von Punkten aus der Punktwolke und wieder Hinzufügen von Punkten. Dies ist wichtig, da in den Bilddaten die Auswahl nur grob erfolgt ist und unter Umständen sogar Teile fremder Objekte in der Auswahl mit enthalten sein können. Ist die Einpassung erfolgreich, so ist das Ergebnis die Lage und Form der Regelgeometrie, eine zugehörige Punktmenge und eine Restpunktemenge. Bei Objekten, die durch genau ein Element beschrieben werden, ist damit die Lagebestimmung vollendet. Zum Beispiel reicht für die Lagebestimmung eines Rohres die Einpassung eines Zylinders. Für komplexere Objekte, die mehrere Elemente enthalten, ist normalerweise die Lage durch das Kennen der Lage eines einzelnen Elements noch nicht eindeutig festgelegt. In dem Fall werden solange iterativ weitere Objekte eingepasst, bis die Lage des Objektes bis auf Symmetrie eindeutig festgelegt ist.
Es wird nun im siebten Schritt aus der so ermittelten Lage des zumindest einen regelgeometrischen Elementes die Lage des auszuwählenden Objektes bestimmt. Hierzu werden jene dreidimensionalen Daten ausgewählt, welche zusammen mit den das zumindest eine regelgeomet- rische Element abbildenden Daten das auszuwählende
Objekt beschreiben.
Ist ein Objekt ausgewählt und durch das obige Verfahren ausreichend bestimmt, so kann nun eine Behand- lungsvorrichtung anhand der das ausgewählte Objekt beschreibenden Daten gesteuert werden. Die Behandlung kann beispielsweise in einem Greifen, Verformen, Bedrucken, Verändern, Ansaugen, Manipulieren, Vermessen und/oder Überprüfen bestehen.
Im Fall von komplexen Objekten, die nicht durch genau ein regelgeometrisches Element beschrieben werden können, sind für die iterative Einpassung weiterer Elemente auch weitere Bereiche aus der Punktwolke der gesamten Szene notwendig, um dort die Einpassungen vornehmen zu können. Es müssen also ähnlich zum drit- ten bis sechsten Schritt für die zweite bis zur maximal notwendigen Iteration Startbereiche zur Verfügung gestellt werden. Die Anzahl der nötigen Iterationen richtet sich dabei nach den Freiheitsgraden von Ob- jektrotationen und Translationen. Dabei wird folgendermaßen vorgegangen.
Da von dem zu findenden Objekt bekannt ist, wo weitere regelgeometrische Elemente vorhanden sind und wie diese zu dem bereits gefundenen in räumlicher Beziehung stehen, können in der gesamten Szene an den entsprechenden infrage kommenden Bereichen Daten ausgewählt werden. Die Auswahl der Daten kann entweder im Bild oder in den 3D-Daten erfolgen, wobei vermutlich die Auswahl im Bild in der praktischen Anwendung schneller sein wird. Für die Auswahl im Bild werden zwei Varianten vorgeschlagen.
Die erste Variante ist die Auswahl von einer an den vorhergehenden Startbereich angrenzenden Region aus dem zweiten Schritt, die die festgelegten Kriterien im dritten Schritt nicht erfüllt hat oder für die im dritten Schritt die Kriterien zur Auswahl neu definiert werden. Bei mehreren gefundenen Regionen kann anhand von a priori Informationen über das zu findende Objekt eine Auswahl getroffen werden.
Bei der zweiten Variante wird auf der Basis von a priori Informationen gezielt nach Bereichen gesucht. Dazu kann eventuell von dem gesuchten Objekt ein Tiefen- oder Grauwertbild erzeugt und verwendet werden. Anhand der bereits festgelegten regelgeometrischen Elemente und damit eingeschränkten Freiheitsgraden können die Regionen gesucht werden.
Daran müssen sich noch die Schritte zur Festlegung der Startbereiche aus dem Gesamtverfahren anschließen.
Die direkte Auswahl der Startbereiche in den 3D-Daten ist ähnlich der zweiten Variante denkbar. Dazu können in diesem Fall Punkte, die beim Bewegen der Objekte um die verbliebenen Freiheitsgrade überstrichen werden, als Startbereiche für die nächste Iteration dienen.
Im Folgenden werden einige weitere Ausführungsformen des erfindungsgemäßen Verfahrens beschrieben.
In einer ersten bevorzugten Ausführungsform werden im zweiten Schritt nicht die Pixelwerte für die Segmentierung herangezogen, sondern vorher aus den Pixelwerten berechnete Größen. Im Fall von Tiefenbildern können dies z.B. die Krümmungen sein.
Damit kann auch die Auswahl der Startsegmente für die beschriebene iterative Einpassung weiterer regelgeometrischer Elemente abgewandelt werden. Jetzt wird von dem gesuchten Objekt die Krümmungsverteilung berechnet und im Krümmungsbild der Szene werden die entsprechenden Segmente bzw. Regionen gesucht.
In zweiten bevorzugten Ausführungsform des erfin- dungsgemäßen Verfahrens können im dritten Schritt die Kriterien automatisiert bestimmt werden aus einem einzeln digitalisierten Objekt, von dem automatisch die interessierenden Größen extrahiert werden. Anstatt das Objekt zu digitalisieren, kann, falls vorhanden, ein CAD-Modell im Rechner in ein entsprechend skaliertes Tiefen- oder Grauwertbild umgewandelt wer- den. Das nach der Digitalisierung entstehende Bild gibt aufgrund der ungleichen örtlichen Auflösung der Matrix in den beiden Richtungen die Szene verzerrt wieder. Damit die Kriterien im dritten Schritt und ande- ren Schritten in beiden Richtungen der Matrix die gleiche Bedeutung haben, kann das Bild in einer dritten bevorzugten Ausführungsform des Verfahrens in einer Richtung gesubsampelt und/oder geresampelt werden. Es können aber auch die Kriterien je nach der Lage der Regionen im Bild entsprechend skaliert werden.
Bestimmte Objekte werden im Bild charakteristische Muster erzeugen. Diese können in einer vierten bevor- zugten Ausführungsform mit einer in der Bildverarbeitung gängigen Methode z.B. des Pattern Matching im Ergebnis vom zweiten Schritt gefunden werden. Das zu findende Muster wird dazu ähnlich wie oben beschrieben aus einem einzelnen digitalisierten Objekt und/oder einem CAD-Modell erzeugt. Der dritte Schritt des Verfahrens kann so in gewissen Fällen ersetzt werden. Damit können auf einmal mehrere Startbereiche für den sechsten Schritt erzeugt werden, was unter Umständen sogar eine Iteration zur vollständigen La- gebestimmung erübrigt.
Im Folgenden soll das erfindungsgemäße Verfahren anhand einiger Beispiele veranschaulicht werden.
Figur 1 zeigt ein Flussdiagramm des erfindungsgemäßen
Verfahrens .
Figur 2 zeigt eine Vorrichtung zur Implementierung des erfindungsgemäßen Verfahrens .
Figur 1 zeigt ein Flussdiagramm des erfindungsgemäßen Verfahrens . Hierbei werden zunächst in einem ersten Schritt 1 3D-Daten auf einem regelmäßigen Gitter aufgenommen. Darüber hinaus wird im ersten Schritt 1 ein Tiefenbild gewonnen. Wie oben beschrieben, kann an- stelle des Tiefenbildes beispielsweise auch ein Grauwertbild oder ein Farbbild gewonnen werden. Das entsprechende zweidimensionale Bild kann aus dem dreidimensionalen Bild gewonnen werden oder durch einen gesonderten Sensor aufgenommen werden. In dem Tiefen- bild wird nun in einem zweiten Schritt 2 eine Segmentierung durch „Region-Growing" durchgeführt. Hierbei werden zusammenhängende Segmente mit ähnlichen Eigenschaften bestimmt . Es werden nun in einem dritten Schritt 3 Regionen bzw. Segmente nach Kriterien, wie Flächeninhalt, Länge oder Breite ausgewählt. Diese Regionen werden zumindest einem regelgeometrischen Element zugeordnet. Es folgt ein Überprüfung 4, ob im dritten Schritt 3 überhaupt eine Region einem regel- geometrischen Element zugeordnet wurde. Ist dies nicht der Fall, so müssen in einem Schritt 5 die Kriterien zur Regionsauswahl geändert werden oder eine Fehlermeldung ausgegeben werden. Werden im Schritt 5 die Kriterien geändert, so muss der dritte Schritt 3 erneut ausgeführt werden. Dies geschieht so lange, bis die Überprüfung 4 ergibt, dass im dritten Schritt 3 eine Region einem regelgeometrischen Element zugeordnet wurde .
Für den Fall, dass im dritten Schritt 3 mehrere Regi- onen unterschiedlichen regelgeometrischen Elementen zugeordnet wurden, kann nun im vierten Schritt 6 die Region ausgewählt werden, welche beispielsweise am Besten greifbar ist. Hierzu werden bestimmte Kriterien angewandt, welche die Greifbarkeit eines regel- geometrischen Elementes beschreiben. Auf den vierten Schritt folgend wird ein Überprüfung 8 durchgeführt, ob im vierten Schritt 6 ein regelgeometrisches Element als das am besten geeignete ausgewählt wurde. Ergibt diese Prüfung 8, dass im vierten Schritt 6 kein Element als das am besten zu greifende ausge- wählt wurde, so müssen in einem Schritt 7 die Kriterien für die Auswahl im vierten Schritt 6 geändert werden oder eine Fehlermeldung ausgegeben werden. Werden im Schritt 7 die Kriterien geändert, so erfolgt im vierten Schritt 6 die Regionsauswahl erneut . Die Kriterien werden im Schritt 7 so lange geändert, bis die Überprüfung 8 ergibt, dass ein regelgeometrisches Element als das am Besten geeignete ausgewählt wurde. Es wird dann im sechsten Schritt 9 eine Best- einpassung der regelgeometrischen Elemente vorgenom- men. In einer Entscheidung 10 kann jetzt noch entschieden werden, ob weitere Regionen regelgeometrischen Elementen zugeordnet werden sollen oder nicht. Dies ist insbesondere interessant für Objekte, deren Form sich durch mehrere regelgeometrische Elemente beschreiben lässt. Für den Fall, dass weitere Segmente regelgeometrischen Elementen zugeordnet werden sollen, wird das Verfahren ab dem dritten Schritt 3 erneut durchgeführt. Ergibt die Entscheidung 10, dass keine weiteren Regionen untersucht werden sollen, so werden im sechsten Schritt 11 die regelgeometrischen Elemente in die dreidimensionalen Daten eingepasst, wobei aus den dreidimensionalen Daten solche Daten ausgewählt werden, welche die regelgeometrischen Elemente beschreiben.
Figur 2 zeigt eine Anordnung mit einem Roboter, welche geeignet ist, das erfindungsgemäße Verfahren auszuführen. Die Aufgabe ist hierbei, mittels eines Roboterarms 3 in Kisten 4 angeordnete Objekte zu grei- fen. Die Steuerung des Roboters sowie die Aufnahme und Verarbeitung der Daten erfolgt hier mittels eines Rechners 2. Die dreidimensionalen Daten werden über ein Scannsystem 1 aufgenommen. Das Scannsystem 1 ist hierbei so ausgerichtet, dass es die Anordnung von Objekten in den Kisten 4 erfassen kann. Das Scann- System 1 kann so ausgebildet sein, dass es über den
Kisten 4 bewegbar ist. Der Roboterarm 3 ist an mehreren Gelenken bewegbar und kann in die Kisten 4 hineingreifen.
Es nimmt nun im ersten Schritt das Scannsystem 1 dreidimensionale Daten von der Anordnung der Objekte in den Kisten 4 auf . Diese Daten werden zunächst im Rechnersystem 2 gespeichert. Das Scannsystem 1 kann so ausgebildet sein, dass es zusätzlich zweidimensio- nale Daten, wie z.B. ein Tiefebild oder ein Grauwert- bild aufnimmt. Diese Daten werden dann ebenfalls im Rechner 2 gespeichert. Es ist aber auch möglich, dass der Rechner 2 aus den vom Scannsystem 1 ermittelten dreidimensionalen Daten zweidimensionale Daten er- rechnet. Das Rechensystem 2 kann nun die Einpassung der regelgeometrischen Elemente in die vom Scannsystem 1 übermittelten Daten vornehmen. Daraus ergeben sich Informationen wie z.B. die Lage und die Form der in den Kisten 4 angeordneten Objekte. Das Rech- nersystem 2 kann anhand dieser Informationen nun den Roboterarm 3 so steuern, dass er die in den Kisten 4 angeordneten Objekte greifen oder anders manipulieren kann.
Im Folgenden werden nun noch einige Ausführungsbeispiele für eine Umsetzung des erfindungsgemäßen Verfahrens beschrieben.
Im ersten Beispiel wird ein System beschrieben, wel- ches ungeordnete Teile, die nur aus einem regelgeometrischen Element bestehen, in ihrer Lage bestimmen kann und welches für diese möglichst Kollisionsfreie Greifpunkte bestimmen kann. Solche Teile können z.B. Rohre sein. Es wird dabei folgendes Auswerteverfahren umgesetzt .
Durch ein Regiongrowing-Verfahren wird das Tiefenbild in Regionen segmentiert. Die Kriterien für die Auswahl der Regionen sind z.B. der Flächeninhalt, der einem vollständig erfassten Rohr entspricht plus/minus einer Toleranz. Werden mehrere geeignete Regionen gefunden, dann werden diese nach Greifbarkeit sortiert, also möglichst freiliegende, d.h. o- benliegende zuerst. In die den Pixelwerten entsprechenden 3D-Daten wird ein Zylinder eingepasst, wobei nicht zum Zylinder gehörende Punkte durch das Einpassverfahren segmentiert werden. Damit kann auch leicht eine Kollisionsprüfung durchgeführt werden, indem wieder ins Tiefenbild gegangen wird und der Ort und die Anzahl der nicht zum Zylinder gehörenden Punkte mit den zum Zylinder gehörenden Punkten verglichen wird. Wenn z.B. viele Punkte, die nicht zum Zylinder gehören, auf den errechneten Greifpunkt fallen, besteht Kollisionsgefahr.
Im nächsten Beispiel wird die Auswertung für komplexere Teile mit mehr als einem regelgeometrischen Element beschrieben. Das zu findende Objekt ist hier ein Zylinder mit einem an einem Ende ausgesetzten Teller. Das Auswerteverfahren ist folgendermaßen umgesetzt: Zunächst findet die Segmentierung durch Regiongrowing statt. Die Kriterien im dritten Schritt sind so festgelegt, dass Regionen, die zum großen Teil sichtbare Zylinder- und Teller-Regionen beschreiben, gefunden werden. Im Folgenden muss je nachdem, ob eine ZyIin- der- oder Teller-Region gefunden wurde, in die zu den Pixelwerten des Bildes gehörenden 3D-Daten ein Zylin- der bzw. eine Ebene als regelgeometrisches Element eingepasst werden. Danach wird im Tiefenbild im Fall eines gefundenen Zylinders nach einem benachbarten Teller gesucht, der dann aufgrund von Perspektive kleiner sein kann als nach den Kriterien. Je nach Variante der Suche kann folgendes durchgeführt werden. Für die erste Variante der Suche werden in Achsenrichtung an beiden Enden des Zylinders im Abstand des Tellers 3D-Daten über den Umweg der Pixelkoordinaten Startbereiche bestimmt. Wenn auf beiden Seiten Startbereiche gefunden werden, werden in diese je eine Ebene eingepasst. Aufgrund der a priori Informationen über die zu findenden Objekte kann die richtige Ebene ausgewählt werden, nämlich die, welche die gleiche relative Lage zum Zylinder hat, wie am Modellobjekt. Wenn nur ein Startbereich gefunden wird, muss in diesen eine Ebene eingepasst werden und damit die Lage des Objektes festlegt werden. Für die zweite Variante wird entsprechend dem beschriebenen Verfahren der Startbereich erzeugt und dann wie in der ersten Variante vorgegangen. Bei der Variante der Suche in den 3D-Daten wird das Objekt (Zylinder mit Teller) um die Zylinderachse rotiert. Die Richtung des Objektes ist noch nicht festgelegt, deshalb wird der Modellzylin- der mit Tellern an beiden Enden versehen und um die
Zylinderachse rotiert. Die überstrichenen Punkte werden in wie in der ersten Variante bei der Suche im Tiefenbild weiterverarbeitet. Wenn das erste gefundene regelgeometrische Element ein Teller ist, wird in umgekehrter Reihenfolge sinngemäß der Zylinder als zweites Element eingepasst.
Des weiteren kann in der ersten bevorzugten Ausführungsform des Gesamtverfahrens anstatt mit Tiefenwer- ten mit den Krümmungen im Regiongrowing-Verfahren gearbeitet werden, wobei die weitere Verarbeitung wie im obigen Beispiel beschrieben erfolgt.
Als Beispiel für die vierte bevorzugte Ausführungsform wird im Folgenden das Finden von Kurbelwellen beschrieben. Die Kurbelwellen liegen waagrecht in
Kisten. In einem Einlernschritt wird ein Exemplar der Kurbelwellen in mehreren fast waagrechten Lagen digitalisiert. Jeweils nach der Segmentierung wird das Pattern Matching-Verfahren mit den Ergebnissen der Segmentierung eingelernt.
Als Bereiche, die wiedergefunden werden sollen, werden die Regionen ausgewählt, die durch die Verbindungen der einzelnen zylindrischen Wellenteile entste- hen. In dem Erkennungsprozess wird nach der Segmentierung in den entstandenen Regionen nach dem Muster gesucht. Damit können die dazwischen liegenden Regionen, die Zylinder beschreiben, gefunden werden. Wenn in diese die Zylinder eingepasst werden, ist die Lage des Objektes festgelegt.
Ein Vorteil der Kombination aus Bildverarbeitung und 3D-Datenauswertung ist die Geschwindigkeitssteigerung, die gegenüber der reinen 3D-Datenauswertung er- reicht werden kann. Über das beschriebene Verfahren der Einpassung eines ersten regelgeometrischen Elementes und nachfolgender, dadurch eingeschränkter Suche, besteht als Vorteil z.B. gegenüber ansichtsba- sierter Verfahren die Reduktion der zu überprüfenden Ansichten, was die Rechenzeit deutlich verkürzt. Der Hauptvorteil ist, dass die Lage von beliebigen Objekten bestimmt werden kann, wenn die Objekte nur regel- geometrische Elemente enthalten.
Bei Abwesenheit von mehreren punktförmigen Merkmalen (Schnittpunkte von Kanten, Bohrungen, Passmarken) in einer Ansicht (z.B. sind beide Stirnseiten eines Zylinders nicht in einer Ansicht verfügbar) zur Lagebestimmung ist mit dem flächigen Ansatz der Besteinpassung eine genauere Lagebestimmung möglich, als z.B. auf Basis der Elliptizität der Ansicht einer Stirnfläche eines Zylinders.

Claims

Patentansprüche
1. Verfahren zum Behandeln von mindestens einem in einem begrenzten Bereich in einer Anordnung vorliegenden Objekt, dessen Form durch ein oder mehrere in Beziehung zueinander stehende Elemen- te, welche jeweils zumindest ein regelgeometrisches Element aufweisen, beschreibbar ist,
dadurch gekennzeichnet, dass
zunächst ein Objekt ausgewählt wird, indem zumindest die folgenden sieben Schritte ausgeführt werden, wobei
im ersten Schritt dreidimensionale Daten der Ob- j ekte aufgenommen werden und zweidimensionale
Daten einer Eigenschaft der Oberfläche der Anordnung der Objekte gewonnen werden,
im zweiten Schritt in den zweidimensionalen Da- ten zusammenhängende Segmente mit einer ähnlichen Eigenschaft bestimmt werden,
im dritten Schritt diese Segmente in Abhängigkeit von zumindest einer vorbestimmten Eigen- schaft der Segmente zumindest einem Element zugeordnet werden,
im vierten Schritt aus den Segmenten, welche E- lementen zugeordnet wurden, ein oder mehrere Segmente nach vorbestimmten Kriterien ausgewählt werden,
im fünften Schritt die den ausgewählten Segmenten zugeordneten dreidimensionalen Daten be- stimmt werden,
im sechsten Schritt ausgehend von den so ermittelten dreidimensionalen Daten als Startbereich in die im ersten Schritt ermittelten dreidimen- sionalen Daten zumindest ein Element eingepasst wird,
im siebten Schritt aus der so ermittelten Lage des zumindest einen Elementes die Lage des aus- zuwählenden Objektes bestimmt wird,
und im Anschluss an die Auswahl des Objektes eine Behandlungsvorrichtung anhand der das ausgewählte Objekt beschreibenden Daten gesteuert wird.
2. Verfahren nach dem vorhergehenden Anspruch zum
Behandeln von mindestens einem in einem begrenzten Bereich in einer Anordnung vorliegenden Objekt, dessen Form durch ein oder mehrere in be- kannter Beziehung zueinander stehende Elemente, welche jeweils zumindest ein regelgeometrisches Element aufweisen, beschreibbar ist,
dadurch gekennzeichnet, dass
zur Auswahl des Objekts
im ersten Schritt dreidimensionale Daten, welche die Anordnung der Objekte abbilden, aufgenommen werden und eine zweidimensionale Projektion ei- ner Eigenschaft der Oberfläche der Anordnung der Objekte gewonnen wird,
im zweiten Schritt die zweidimensionale Projek- tion in zusammenhängende Segmente miteinander in
Zusammenhang stehender Werte der Eigenschaft zerlegt wird,
im dritten Schritt vorbestimmte Eigenschaften der Segmente bestimmt werden und anhand dieser
Eigenschaften ein oder mehrere der Segmente einem oder mehreren Elementen welche Bestandteil der Form des auszuwählenden Objektes sind, zugeordnet werden,
im vierten Schritt aus den Segmenten, welche E- lementen zugeordnet sind, ein oder mehrere Segmente nach vorbestimmten Kriterien ausgewählt werden,
im einem fünften Schritt den im vierten Schritt ausgewählten Segmenten jene im ersten Schritt aufgenommenen dreidimensionalen Daten zugeordnet werden, welche bei der Projektion in die ent- sprechenden Segmente fallen,
im sechsten Schritt aus den im ersten Schritt aufgenommenen dreidimensionalen Daten jene Daten ausgewählt werden, welche zusammen mit den im fünften Schritt den ausgewählten Segmenten zugeordneten Daten das dem entsprechenden Segment zugeordnete Element abbilden,
im siebten Schritt jene dreidimensionalen Daten ausgewählt werden, welche zusammen mit den das zumindest eine Element abbildenden Daten das auszuwählende Objekt beschreiben,
und im Anschluss an die Auswahl des Objektes eine Behandlungsvorrichtung anhand der das ausge- wählte Objekt beschreibenden Daten gesteuert wird.
3. Verfahren nach einem der vorhergehenden Ansprüche, dass das Element genau ein regelgeometrisches Element enthält oder daraus besteht oder ein regelgeometrisches Element ist oder zumindest zwei regelgeometrische Elemente enthält o- der daraus besteht.
4. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass nach dem sechsten Schritt und vor dem siebten Schritt der dritte Schritt bis zum sechsten Schritt für ein oder mehrere weitere Elemente, durch welche die Form des auszuwählenden Objekts beschrieben wird, durchgeführt werden, vorzugsweise bis die Lage des auszuwählenden Objekts eindeutig festgelegt ist.
5. Verfahren nach dem vorhergehenden Anspruch, dadurch gekennzeichnet, dass im dritten Schritt zumindest eines der einen oder mehreren weiteren Elemente zumindest einem Segment zugeordnet wird, welchem vorher kein Element zugeordnet wurde .
6. Verfahren nach einem der beiden vorhergehenden Ansprüche, dadurch gekennzeichnet, dass im drit- ten Schritt die Eigenschaften für zumindest eines der weiteren Elemente neu bestimmt werden.
7. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass nach dem sechsten Schritt zusätzlich dreidimensionale Daten ausgewählt werden, welche zumindest ein weiteres Element abbilden, welches die Form des auszuwählenden Objekt beschreibt, oder dass zumindest ein weiteres Element, welches die Form des auszuwählenden Objektes beschreibt, in die dreidimensionalen Daten einge- passt wird.
8. Verfahren nach einem der vorhergehenden Ansprü- che, dadurch gekennzeichnet, dass im sechsten
Schritt als Startbereich dreidimensionale Daten ausgewählt werden, die das auszuwählende Objekt abbilden, wenn es um einen Freiheitsgrad bewegt wird, der nicht durch ein vorher eingepasstes Element eingeschränkt ist.
9. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die im ersten Schritt aufgenommenen dreidimensionalen und/oder zweidimensionalen Daten Bild-Daten sind.
10. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass im ersten Schritt die dreidimensionalen Daten über ein Lichtschnittverfahren, über Streifenprojektion und/oder mit Hilfe eines Time-Of-Flight-Sensors gewonnen werden.
11. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass im ersten Schritt die zweidimensionalen Daten durch ein Kamerasystem gewonnen werden.
12. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass im ersten Schritt die zweidimensionalen Daten aus den dreidimensionalen Daten berechnet werden.
13. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass im ersten Schritt die zweidimensionalen Daten in ein regelmäßiges zweidimensionales Gitter geschrieben werden.
14. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass im ersten Schritt die zweidimensionalen Daten in ein Hexa- gonalgitter oder ein Dreiecksgitter geschrieben werden.
15. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass im ersten Schritt die zweidimensionalen Daten in ein Gitter geschrieben werden, das durch Zentralprojek- tion eines äquidistanten, orthogonalen Gitters auf eine dazu nicht parallele Ebene gewonnen wurde .
16. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass im ersten Schritt die zweidimensionalen Daten skaliert werden .
17. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Eigenschaft im zweiten Schritt die Tiefeninformation, die Intensitätsinformation, der Grauwert, die
Farbe, der Abstand von einem Punkt, der Abstand von einer Achse und/oder der Abstand von einer Ebene ist.
18. Verfahren nach einem der vorhergehenden Ansprü- che, dadurch gekennzeichnet, dass im zweiten
Schritt zusammenhängende Bereiche anhand von aus der Eigenschaft berechneten Werten und/oder an- hand von Krümmungen der Oberfläche der Anordnung bestimmt werden.
19. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass im zweiten Schritt zusammenhängende Segmente mit der Methode des Region-Growings bestimmt werden.
20. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass im dritten Schritt Segmente anhand von Informationen über das auszuwählende Objekt Elementen, die das auszuwählenden Objekts beschreiben, zugeordnet werden.
21. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass im dritten Schritt die zumindest eine Eigenschaft zur Zuordnung von Segmenten zu Elementen automatisch vorbestimmt wird.
22. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass im dritten Schritt die zumindest eine Eigenschaft zur Zuordnung anhand eines CAD-Mode11s des auszuwählenden Objekts bestimmt wird.
23. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass im dritten Schritt die Zuordnung mit Hilfe von Pattern-
Matching erfolgt .
24. Verfahren nach einem der vorhergehenden Ansprüche , dadurch gekennzeichnet, dass die Eigenschaften zur Zuordnung im dritten Schritt die Fläche, der Umfang, die Momente, die kleinste und/oder größte Breite, die Anordnung, Minima, Maxima, der Mittelwert, die Varianz, der Flä- chentyp, die lokale Krümmung und/oder die relative Lage zu bereits gefundenen Teilgeometrien ist.
25. Verfahren nach einem der vorhergehenden Ansprü- che, dadurch gekennzeichnet, dass im vierten
Schritt das vorbestimmte Kriterium die bessere Greifbarkeit ist.
26. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass im sechsten Schritt die Einpassung bzw. die Datenauswahl anhand einer Best-Fit-Einpassung erfolgt.
27. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass vor dem siebten Schritt überprüft wird, ob an das auszuwäh- lende Objekt Teile von Objekten angrenzen, die nicht zum auszuwählenden Objekt gehören und dass im siebten Schritt die Behandlungsvorrichtung unter Berücksichtigung des Ergebnisses dieser Überprüfung gesteuert wird.
28. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Behandlungsvorrichtung das ausgewählte Objekt greift, manipuliert, bedruckt, verformt, vermisst, prüft und/oder seine Lage bestimmt.
29. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass der Behandlungsvorrichtung der Greifarm eines Roboters ist.
30. Verfahren nach einem der vorhergehenden Ansprü- che, dadurch gekennzeichnet, dass der Greifarm mit einer Ansaugvorrichtung ausgestattet ist.
31. Verfahren nach dem vorhergehenden Anspruch, dadurch gekennzeichnet, dass der Greifarm das auszuwählende Objekt im Anschluss an die Auswahl greift und/oder ansaugt.
32. Vorrichtung, geeignet zum Behandeln von mindestens einem in einem begrenzten Bereich in einer Anordnung vorliegenden Objekt, dessen Form durch ein oder mehrere in Beziehung zueinander stehende Elemente, die jeweils zumindest ein regelgeo- metrisches Element aufweisen, beschreibbar ist,
gekennzeichnet durch
ein Auswahlmittel zum Auswählen eines Objektes, wobei das Auswahlmittel aufweist:
1) eine Aufnahmevorrichtung, geeignet zur Aufnahme dreidimensionaler Daten der Objekte und zur Gewinnung zweidimensionaler Daten einer Ei- genschaft der Oberfläche der Anordnung der Objekte,
2) eine Bestimmungsvorrichtung, geeignet zur Bestimmung zusammenhängender Segmente mit einer ähnlichen Eigenschaft in den zweidimensionalen
Daten,
3) eine Zuordnungsvorrichtung, geeignet zur Zuordnung von zumindest einem Element zu diesen Segmenten in Abhängigkeit von zumindest einer vorbestimmten Eigenschaft der Segmente,
4) eine Auswahlvorrichtung, geeignet um aus den Segmenten, welche Elementen zugeordnet wurden, ein oder mehrere Segmente nach vorbestimmten Kriterien auszuwählen,
5) eine zweite Bestimmungsvorrichtung, geeignet zur Bestimmung der den ausgewählten Segmenten zugeordneten dreidimensionalen Daten,
6) eine Einpassungsvorrichtung, geeignet um ausgehend von den so ermittelten dreidimensionalen Daten als Startbereich in die im ersten Schritt ermittelten dreidimensionalen Daten zumindest ein Element einzupassen,
7) eine dritte Bestimmungsvorrichtung, geeignet zur Bestimmung der Lage des auszuwählenden Ob- jektes aus der so ermittelten Lage des zumindest einen Elementes,
und einer aufgrund der das ausgewählte Objekt beschreibenden Daten steuerbaren Behandlungsvor- richtung.
33. Vorrichtung nach dem vorhergehenden Anspruch, dadurch gekennzeichnet, dass sie zur Durchführung eines Verfahrens nach einem der Ansprüche 1 bis 31 geeignet ist.
PCT/EP2007/006730 2006-08-03 2007-07-30 Verfahren zur lagebestimmung von objekten im dreidimensionalen raum WO2008014961A2 (de)

Priority Applications (1)

Application Number Priority Date Filing Date Title
EP07786431A EP2059905A2 (de) 2006-08-03 2007-07-30 Verfahren zur lagebestimmung von objeckten im dreidimensionalen raum

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102006036345.0 2006-08-03
DE102006036345A DE102006036345B4 (de) 2006-08-03 2006-08-03 Verfahren und Vorrichtung zur Lagebestimmung von Objekten im dreidimensionalen Raum

Publications (2)

Publication Number Publication Date
WO2008014961A2 true WO2008014961A2 (de) 2008-02-07
WO2008014961A3 WO2008014961A3 (de) 2008-09-18

Family

ID=38884915

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2007/006730 WO2008014961A2 (de) 2006-08-03 2007-07-30 Verfahren zur lagebestimmung von objekten im dreidimensionalen raum

Country Status (3)

Country Link
EP (1) EP2059905A2 (de)
DE (1) DE102006036345B4 (de)
WO (1) WO2008014961A2 (de)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102009036838B4 (de) * 2009-08-10 2014-12-11 Dürr Systems GmbH Verfahren zum Glätten einer Oberfläche eines Bauteils, insbesondere von Großstrukturen
DE102011009998A1 (de) * 2011-02-01 2012-08-02 Airbus Operations Gmbh Verfahren zur Herstellung eines Strömungskörpers mit einer Soll-Oberflächentexturierung und Laser-Materialabtragsvorrichtung
DE102014005181A1 (de) 2014-04-03 2015-10-08 Astrium Gmbh Positions- und Lagebestimmung von Objekten
CN113284179B (zh) * 2021-05-26 2022-09-13 吉林大学 一种基于深度学习的机器人多物体分拣方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
IT1242628B (it) * 1989-11-02 1994-05-16 Sincon Spa Sistemi Imformativi Dispositivo elettronico di visione riconoscimento e localizzazione di oggetti e relativo procedimento operativo.
US6201543B1 (en) * 1997-12-17 2001-03-13 Siemens Corporate Research, Inc. Framework for segmentation of cylindrical structures using two dimensional hybrid models

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
AHN S J ET AL: "Automatic segmentation and model identification in unordered 3D-point cloud" PROCEEDINGS OF THE SPIE - THE INTERNATIONAL SOCIETY FOR OPTICAL ENGINEERING SPIE-INT. SOC. OPT. ENG USA, Bd. 4902, 2002, Seiten 723-733, XP002488293 ISSN: 0277-786X *
HORN B K P: "Extended Gaussian images" PROCEEDINGS OF THE IEEE USA, Bd. 72, Nr. 12, Dezember 1984 (1984-12), Seiten 1671-1686, XP002488294 ISSN: 0018-9219 *
UMEDA K ET AL: "Industrial vision system by fusing range image and intensity image" MULTISENSOR FUSION AND INTEGRATION FOR INTELLIGENT SYSTEMS, 1994. IEEE INTERNATIONAL CONFERENCE ON MFI '94. LAS VEGAS, NV, USA 2-5 OCT. 1994, NEW YORK, NY, USA,IEEE, 2. Oktober 1994 (1994-10-02), Seiten 337-344, XP010137979 ISBN: 978-0-7803-2072-7 *
WESTKÄMPER E ET AL: "Automatische Segmentierung von Messpunktwolken in regelgeometrische Elemente- Automatic Segmentation of Measurement Point CLouds to Geometric Primitives" TECHNISCHES MESSEN TM, R.OLDENBOURG VERLAG. MUNCHEN, DE, Bd. 73, 18. Dezember 2005 (2005-12-18), Seiten 60-67, XP002456882 ISSN: 0171-8096 *

Also Published As

Publication number Publication date
DE102006036345B4 (de) 2008-07-03
WO2008014961A3 (de) 2008-09-18
DE102006036345A1 (de) 2008-02-07
EP2059905A2 (de) 2009-05-20

Similar Documents

Publication Publication Date Title
DE112011103794B4 (de) Aufnehmervorrichtung für Werkstücke
DE102014102943B4 (de) Robotersystem mit Funktionalität zur Ortsbestimmung einer 3D- Kiste
DE102017116952A1 (de) System und verfahren für verbessertes scoring von 3d-lagen und entfernen von störpunkten in 3d-bilddaten
DE102020120526A1 (de) Verfahren und computersystem zur objektidentifizierung
DE102012102915A1 (de) Verfahren und Vorrichtung zur optischen Bestimmung einer Position und/oder Orientierung eines Objekts im Raum
DE102017108727A1 (de) Verfahren zur Erstellung einer Datenbank mit Greiferposen, Verfahren zum Steuern eines Roboters, computerlesbares Speichermedium und Handhabungssystem
DE102016001174A1 (de) Robotersystem zum Entnehmen von Werkstücken mit Umrechenfunktion von Position und Orientierung und Verfahren zum Entnehmen von Werkstücken
DE102021103726B4 (de) Messparameter-Optimierungsverfahren und -vorrichtung sowie Computersteuerprogramm
DE112013004103T5 (de) Verfahren und Vorrichtung zum Erzeugen einer Disparitätskarte
DE102021107333A1 (de) 3d-stellungsabschätzung mit einer 2d-kamera
DE102015212932A1 (de) Verfahren zum Steuern eines Roboters und/oder eines autonomen fahrerlosen Transportsystems
EP2047403A1 (de) Verfahren zur automatisierten 3d-objekterkennung und lagebestimmung
DE102006036345B4 (de) Verfahren und Vorrichtung zur Lagebestimmung von Objekten im dreidimensionalen Raum
DE102021107351A1 (de) System zur eigenschaftserkennung durch deep-learning und vektorfeldschätzung
EP1098268A2 (de) Verfahren zur dreidimensionalen optischen Vermessung von Objektoberflächen
DE102021109036A1 (de) Vorrichtung und verfahren zum lokalisieren von stellen von objekten aus kamerabildern der objekte
DE102020126610A1 (de) Mikroskopiesystem und verfahren zum erzeugen von trainingsdaten
EP1425709A2 (de) Modellbasierte objektklassifikation und zielerkennung
WO2009101030A1 (de) Verfahren zur rechnergestützten berechnung der bewegung eines objekts aus sensordaten
DE102018126310B3 (de) Verfahren zum Erstellen eines Objektmodells zum Greifen eines Objekts, computerlesbares Speichermedium und Robotersystem
DE102009009569B4 (de) Verfahren zum Ermitteln einer Teilfläche eines Bauteils
EP3385910A1 (de) Verfahren zur identifikation von korrespondierenden bildbereichen in einer folge von bildern
DE102022106765B3 (de) Verfahren zum Bestimmen einer Lage eines Objekts relativ zu einer Erfassungseinrichtung, Computerprogramm und Datenträger
DE102018102691A1 (de) Parallaxenberechnungsvorrichtung
DE102012211734A1 (de) Verfahren und Vorrichtung zum Erfassen der Lage eines Objekts in einer Werkzeugmaschine

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 07786431

Country of ref document: EP

Kind code of ref document: A2

DPE1 Request for preliminary examination filed after expiration of 19th month from priority date (pct application filed from 20040101)
NENP Non-entry into the national phase

Ref country code: DE

NENP Non-entry into the national phase

Ref country code: RU

WWE Wipo information: entry into national phase

Ref document number: 2007786431

Country of ref document: EP