WO2016023672A1 - Vorrichtung und verfahren zur kamerabasierten konturenkontrolle - Google Patents

Vorrichtung und verfahren zur kamerabasierten konturenkontrolle Download PDF

Info

Publication number
WO2016023672A1
WO2016023672A1 PCT/EP2015/064918 EP2015064918W WO2016023672A1 WO 2016023672 A1 WO2016023672 A1 WO 2016023672A1 EP 2015064918 W EP2015064918 W EP 2015064918W WO 2016023672 A1 WO2016023672 A1 WO 2016023672A1
Authority
WO
WIPO (PCT)
Prior art keywords
calibration
camera
image
point cloud
cameras
Prior art date
Application number
PCT/EP2015/064918
Other languages
English (en)
French (fr)
Inventor
Urs Gerber
Konrad Eberle
Matthias HEDDINGA
Mario Gerber
Hendrik THAMER
Original Assignee
Ltw Intralogistics Gmbh
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ltw Intralogistics Gmbh filed Critical Ltw Intralogistics Gmbh
Publication of WO2016023672A1 publication Critical patent/WO2016023672A1/de

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/245Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures using a plurality of fixed, simultaneously operating transducers
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B21/00Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant
    • G01B21/02Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant for measuring length, width, or thickness
    • G01B21/04Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant for measuring length, width, or thickness by measuring coordinates of points
    • G01B21/042Calibration or calibration artifacts
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds

Definitions

  • the invention relates to a device for camera-based contour control of objects with a measuring range. Moreover, the invention relates to a method for camera-based contour control of at least one object.
  • Such devices are known, wherein the contour control is realized via a scan by means of light barriers.
  • the light barrier can be used to check the height, width and length of an object and, if necessary, eject the object if its dimensions exceed previously defined values.
  • Photocells is that the speed of the process is dependent on the speed of the conveyor on which the object to be measured is located. In addition, the procedure can only be with you
  • Infrared camera which is directed to a measuring table with a limited measuring range. Although this system can determine the height, width, and length of the product, again, no 3D image of the object is detected and stored.
  • the device is for the
  • Integrate conveyor belt The infrared camera takes the object from a single recording direction, whereby the information about the object to be measured can only be detected from one direction and consequently also a complete 3D image of the object can not be created.
  • This system also needs to be manually adjusted and calibrated.
  • Another prior art camera-based contour control method involves a system that can be used with either one
  • Infrared camera or with three infrared cameras is delivered.
  • the system does not require a separate measuring table on which the object is arranged, but there is also in the embodiment with a camera of
  • the disadvantage is that only a partial view of the object in the form of a 3D image and thus no complete 3D image of the object can be created.
  • all previous camera-based contour control systems have in common that the adjustment and the calibration of the cameras must be done manually and the calibration is therefore very expensive. If the orientation or the position of the cameras relative to one another or of the individual camera with respect to the measuring table changes, again a complex calibration of the camera or of the cameras is necessary. In addition, the measurement method is comparatively slow, which is also perceived as disadvantageous.
  • the invention is therefore based on the object to design a device and a method for camera-based contour control of objects to the effect that a fast mapping, storage and
  • This object is achieved according to the invention in a device of the type mentioned above in that a first camera for recording a arranged in the measuring range first point cloud with a first coordinate system and a second camera for recording a arranged in the measuring range second point cloud with a second
  • Coordinate system are provided. These communicate with one Control computer for aligning at least one of the coordinate systems in at least one other and with at least three in the measuring range fixedly arranged calibration elements.
  • the device comes with few components, namely two cameras, three calibration elements and a control computer, ie the device can be integrated into a pre-existing conveyor system without much effort. In this case, the conveyor system or the conveyor belts must not be dismantled.
  • the device is not limited only to conveyor systems with conveyor belt.
  • the measuring range can be on the floor, on a table or on a conveyor system.
  • the cameras can be in the room eg at one
  • the cameras are aligned so that they map the measuring range from different directions.
  • the optical axis of the first camera and the optical axis of the second camera are not aligned parallel to one another.
  • the control computer causes a
  • control computer integrated by one in each of the cameras
  • Microcontroller and is formed by a motherboard with PLC control. This further increases the flexibility of the device towards a mobile measurement setup.
  • a further advantage consists in the higher reproducibility of the measurement at several deposit locations by the device according to the invention and the method according to the invention, e.g. in comparison to the measuring device with the light barrier, since the measuring range over the
  • the accuracy of the measuring system with the light barriers depends very much on where the pallet to be measured is located on the conveyor belt.
  • the use of the cameras increases the adjustable measuring range.
  • the cameras are arranged diametrically opposite one another.
  • the cameras are optimally aligned with the object and the calibration elements from both sides in order to be able to produce a complete 3D image (or an image of the object with the information of all pages except for the most irrelevant information of the underside).
  • the calibration elements can be designed in the form of three-dimensional objects or else by surfaces differing in color from the environment; It is only important that the calibration elements always maintain their relative position to each other and preferably their
  • the cameras are arranged diametrically opposite one another.
  • the cameras are optimally aligned with the object and the calibration elements from both sides in order to produce a complete 3D image.
  • the cameras are formed as an optical system for generating three-dimensional point clouds.
  • the device can be camera systems of
  • Use motion control eg Microsoft® Kinect® or Asus® Xtion pro
  • TOF Time of Flight
  • TOF cameras an intensity measurement and a transit time measurement are performed. It is recommended that each pixel of the image sensor contains an intensity and the corresponding depth information (photon mixing device) for the detection of the signal.
  • the principle of determining the surface and depth information of an object by means of structured light is based on a known
  • Light pattern is projected into the room.
  • the distortion or deviation of the light pattern which by the impact of the light pattern on the
  • Dot pattern is formed. It is particularly preferred if the light pattern is formed from infrared speckle, the speckle size and the
  • Speckleform depending on the distance and the orientation of the sensor are. These speckles are created by scattering the infrared light of an infrared light source on an uneven surface, in this case on a grid.
  • the uneven surface is considered a scattering center, from which spherical waves emanate with different phases that interfere in the far field. This creates spatial structures with different intensity minima and maxima.
  • the grid which is oriented at a defined distance from the light source, a reproducible speckle pattern is generated. It is particularly preferred if three
  • a calibration speckle pattern is stored in the memory of the camera.
  • the two cameras are laterally, e.g. perpendicular to the conveying direction of the object on a conveyor belt, and once from the front, i. parallel to the conveying direction of the object on a conveyor belt, are directed to the object and in each case a two-dimensional image, the points are assigned, is created.
  • the cameras which in this case do not need to be 3D-capable, each create a 2D image from different directions of the object and assign to each of these images a point cloud created from the projections. This would make a statement about the depth, height and width of the object.
  • the cameras are arranged diametrically opposite one another. As a result, the cameras are optimally aligned with the object and the calibration elements from both sides in order to produce a complete 3D image.
  • the cameras generate images of the object with color information.
  • the camera additionally has an RGB sensor for the assignment of a
  • each of the cameras is formed by an infrared camera for the TOF measurement or the structured light measurement and by an RGB camera. It is particularly advantageous if a further sketchkalibrierelement is provided, which is arranged stationary with respect to the other calibration elements.
  • the additional sketchkalibrierelement has the advantage that if any of the calibration due to damage or
  • the sketchkalibrierelement can be used.
  • the test calibration element can validate that the three other calibration elements are misaligned by checking that the test calibration element is in the same spatial plane as the other three calibration elements.
  • a contour frame and a conveyor belt are provided. The conveyor belt allows an automated
  • the contour frame can be square, round or have a shape adapted to the object. It is particularly advantageous if the cameras can be attached to the contour frame via telescopic rods and if the calibration elements are arranged on a vertical part of the contour frame. By mounting the cameras on the contour frame, the assembly of the device is greatly facilitated. It can be placed anywhere, requires little space,
  • Conveyor systems do not need to be rebuilt, i. Each conveyor system is easily convertible and the time for installation and commissioning is extremely low.
  • the attachment via telescopic rods also increases the flexibility in positioning the cameras relative to the object or relative to the conveyor belt. This allows the alignment of each
  • the telescopic rods can be moved automatically. This also facilitates remote maintenance of the system.
  • the cameras can record both the measuring range with the object, as well as the calibration elements in a figure. This allows manual calibration to be replaced with calibration-based calibration.
  • the contour frame is formed in several parts in order to enable rapid assembly and disassembly and space-saving stowage of the contour frame. It is particularly advantageous in this context if the contour frame is formed from a plurality of interconnected telescopic rods.
  • the cameras can be moved by means of a motor control unit, whereby the cameras can be adjusted easily and quickly. This also facilitates the remote maintenance of the device.
  • the control computer has a program for automatic adjustment and calibration of the device.
  • the conveyor belt has at least one branch. This allows the sorting or sorting of objects after the contour control.
  • the object relating to the method is achieved in a method of the type mentioned at the outset by the following steps:
  • Object points formed 3D image Object points formed 3D image.
  • the advantage of creating two point clouds is that a complete three-dimensional image of the object can be created.
  • the method has the advantage that it is a very fast method compared to the method with the light barrier, since the images are recorded and then further processed, while in a measurement via a light barrier, the speed of the measurement depends on the speed of the light barrier Conveyor belt is and the measurement of the length of the product is calculated on the conveying speed.
  • step B and step C may be performed in combination by the respective camera itself, i. the camera already provides the respective 3D point cloud itself.
  • the height, the width, the depth and the volume of the to be measured Determine object.
  • creating a 3D image of the object such as when the object is on a pallet, will determine if the entire pallet is occupied or if there is still space on the pallet. In a further step, this would enable another object to be positioned on the pallet in order to optimally utilize the often limited storage space.
  • the cameras can be either opposite or diametrically opposed
  • Cameras can be generated a complete 3D image of the object to be measured. It is useful that an alignment device (e.g., alignment rails) is provided to align the pallet. This will twist the pallet to the desired position, i. e.g. oriented in the conveying direction, and it is ensured that exactly two - diametrically
  • an alignment device e.g., alignment rails
  • first image and second image of the measuring area generated by the first camera and the second camera in step B also image three calibration elements, preferably with known dimensions, in addition to the object, their relative position to one another is and that the
  • Transformation matrix from step D is first determined by the calibration elements are detected within the first point cloud, the calibration elements are assigned calibration points within the first point cloud and that the calibration points are set in relation to the previously known relative position of the calibration elements to each other.
  • the first and the second camera are arranged such that the calibration elements and possibly the scholarkalibrierelement is in their field of view. This is the case in every embodiment of the present invention.
  • the viewing area is the area that the cameras can scan in total (measuring range). This means that in one embodiment of the cameras with a wide-angle lens, a much larger measuring range is created than would be the case with a normal or with a zoom lens. It will be the generation of a
  • Calibration is automatic. By detecting the calibration elements on the image, it is possible to determine whether the cameras are misaligned. It is checked via a scholarkalibrierelement whether this is in the same plane as the other three calibration elements, i. whether there has been an adjustment of the calibration elements (for example, by touching a calibration element through an object). If due to a particularly bulky object (general cargo) one of the three calibration elements can not be imaged by the camera, then the strigkalibrierelement can be used instead.
  • the transformation matrix is determined, at least by the following steps:
  • Calibration elements are arranged, whose relative position is known to each other, Assignment of a calibration point cloud with a
  • Transformation matrix is determined, at least by the following
  • Steps Generation of a calibration image of the measuring range by means of one of the two cameras, wherein at least three calibration elements are arranged in the measuring range, their relative position to each other is known, extraction of a calibration depth image from the generated
  • Transformation matrix less computing power and can thus be performed faster than when determining the transformation matrix over a 3D calibration point cloud. Due to the faster determination of the transformation matrix, it is possible to determine these more frequently, even before each measurement, so as to improve the accuracy of the measurement setup and the method. In this way, each time the method is performed, the device can be checked whether the field of view of the cameras is optimal for the object to be measured, whether the calibration elements are mapped correctly, etc.
  • Transformation matrix is formed in the form of a 4 x 4 matrix with three angles for rotation and three elements for translation. This makes possible an optimal transformation of one coordinate system into the other by the choice of six degrees of freedom.
  • each of the cameras is formed from a camera for depth measurement and from an RGB sensor for the color information.
  • color information may cause possible overhangs, damages or the like by means of a
  • the method further comprises the following steps:
  • the method comprises the following steps:
  • 3D models are deposited, with which the measures achieved by the 3D image dimensions are compared.
  • quality control can be used to determine whether objects are damaged, since objects with the same content should have the same dimensions and thus correspond to the same 3D model. This will allow the detection and visualization of damaged objects, ie a packing pattern analysis or a
  • the advantage of the invention is to have created a device and a method that can create fully automated 3D images of objects and further process.
  • the full automation is not limited to the measuring and
  • Fig. 1 is a perspective view of the invention
  • Device with an object to be measured 2 is a perspective view of the inventive device without object
  • FIG. 1 is a front view of Fig. 1,
  • Fig. 1 shows the inventive device 1 with a conveyor belt 9, on which an object 2 with a pallet 12 is located.
  • the conveyor belt 9 and the object 2 are widely surrounded by a rectangular contoured frame 8, on the upper strut via a three-part telescopic rod 10, a first camera 4 is mounted and diametrically opposite via a further three-part telescopic rod 10, a second camera 5 is mounted.
  • Fig. 2 shows that each two
  • Calibration elements 6 are mounted in the form of Kalibrierkugeln on the inside of the vertical part 1 1 of the contour frame 8. In this case, one of the calibration elements 6 serves as an additional fürkalibrierelement 7. In addition to balls and calibration elements 6 come with a different shape in question; e.g. Cuboid, cubes, triangles or pyramids, etc.
  • FIG. 1 shows that the cameras 4, 5 are directed both to the object 2 to be measured and to the calibration elements 6, 7.
  • the telescopic rods 10 can optionally be moved via a control unit analogous to the cameras 4, 5.
  • Fig. 3 additionally shows that the calibration elements 6, 7 are attached via rods to the vertical parts 1 1 of the contour frame 8 and in a
  • the conveyor belt laterally has in each case an alignment rail or a rail 13, which serves for the optimal positioning of the object 2 in the measuring area 3, or which aligns the pallet 12 with the object during further transport in the longitudinal direction.
  • a contour control of at least one object 2 can take place by means of the method described below:
  • the object 2 is first positioned in a measuring area 3 via the conveyor belt 9.
  • the first camera 4 records a first image of the object 2, the second camera 5 being instantaneously, i. simultaneously with the first camera 4, receives a second image from the diametrically opposite direction.
  • a first point cloud is generated with a first coordinate system, wherein from the second image, which was generated by the second camera 5, a second point cloud is generated with a second coordinate system.
  • the images of the object 2 produced by the cameras 4, 5 also have color information. This color information is also stored in the respective three-dimensional point cloud and optionally in a memory of the (not shown in the figures)
  • Control computer stored. On the second point cloud, the control computer applies a predetermined transformation matrix formed as a 4x4 matrix with three angles for rotation and three elements for translation. This will be the second
  • Coordinate system transformed into the first coordinate system.
  • the transformed second point cloud and the first point cloud are then assembled into a total point cloud.
  • the total point cloud Contains a 3D image of the measuring range 3. To see the background of the
  • the object points assigned to object 2 within the total point cloud are recognized either on the basis of the color information or with the aid of edge detection. This then separates the image from the background and leaves only the total point cloud, which was reduced by the background and therefore only the object points of the
  • measuring object 2 includes. Based on these object points, the dimensions of the object 2 such as the length, the height, the width, the
  • Depth information, the volume, etc. are determined by creating a 3D image of the object 2 based on the object points.
  • This 3D image and the specific dimensions can be stored in a database of the control computer and stored.
  • the objects 2 measured in this way can then be preset
  • Sorting can be either via a branch of the
  • Conveyor belt 9 or by e.g. an acoustic signal takes place.
  • the measurements achieved by the 3D image can also be compared with predefined limit values in order to sort objects 2 within the limit values based thereon. This allows for automated sorting by size, in order to make optimum use of the available space in a storage room or around the objects 2 of their sizes
  • Damaged packets are detected and also visualized by means of the color information and the control computer. Likewise, by generating a 3D image of the object 2, it is possible to operate a packet recognition, or to read out labels located on the objects 2 by means of the cameras 4, 5.
  • the transformation matrix can be determined in two different ways and enables the fully automated calibration of the device 1 required for remote maintenance on the basis of the calibration elements 6 instead of a manual camera calibration.
  • the device can be recalibrated during each measurement process by redetermining the transformation matrix for each measurement process: since the cameras 4, 5 are directed both to the object 2 and to at least three calibration elements 7 whose relative position is fixed relative to each other , the transformation matrix can be determined by the fact that the calibration elements 6 are recognized within the first point cloud and that the calibration elements 6
  • Calibration points are assigned within the first point cloud.
  • the calibration points are compared with the previously known relative position of the three calibration elements 6 to each other and from there the
  • the calibration elements 6 are distinguished from the background within the calibration point cloud (eg, based on the color information or with the aid of edge detection) and the
  • Calibration elements 6 calibration points assigned.
  • the calibration points are in turn compared with the previously known relative position of the calibration elements 6 and calculated directly from the transformation matrix. This determination of the transformation matrix or this type of calibration of the device 1 is preferred, since it is particularly difficult with bulky piece goods, both the object 2 and the three calibration elements 6 in one
  • a measurement can be carried out in which the measuring range is recorded by the first camera 4 and the second camera 5, wherein the first camera 4 and the second camera 5 to all four calibration elements. 6 , 7, ie directed to the three calibration elements 6 and the fourth exckalibrierelement 7. Since the three calibration elements 6 span one plane, it can be determined from the position of the fourth test calibration element 7 whether the fourth test calibration element 7 is in the same
  • theticianelement 7 can be used as a regular calibration element 6, should one of remaining Kalimnerelennente 6 damaged. Then again three calibration elements 6 are present.
  • the device can also detect the pallet 12 in order to check whether it is damaged.

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

Die Erfindung betrifft eine Vorrichtung (1) zur kamerabasierten Konturenkontrolle von Objekten (2) mit einem Messbereich (3). Dabei ist eine erste Kamera (4) zur Aufzeichnung einer im Messbereich (3) angeordneten ersten Punktwolke mit einem ersten Koordinatensystem und eine zweite Kamera (5) zur Aufzeichnung von einer im Messbereich (3) angeordneten zweiten Punktwolke mit einem zweiten Koordinatensystem vorgesehen. Weiterhin umfasst die Vorrichtung (1) einen Steuerrechner zur Angleichung zumindest eines der Koordinatensysteme in mindestens ein anderes und mindestens drei im Messbereich (3) zueinander ortsfest angeordneten Kalibrierelementen (6). Darüber hinaus betrifft die Erfindung ein Verfahren zur kamerabasierten Konturenkontrolle.

Description

LTW Intralogistics GmbH
Achstr. 53
6922 Wolfurt
Austria
89073 Ulm, 30.06.2015 Akte PCT/15889 ak/rt/tk
Vorrichtung und Verfahren zur kamerabasierten Konturenkontrolle
Die Erfindung betrifft eine Vorrichtung zur kamerabasierten Konturenkontrolle von Objekten mit einem Messbereich. Darüber hinaus betrifft die Erfindung ein Verfahren zur kamerabasierten Konturenkontrolle mindestens eines Objekts.
Derartige Vorrichtungen sind bekannt, wobei die Konturenkontrolle über eine Abtastung mittels Lichtschranken verwirklicht wird. Mit der Lichtschranke können die Höhe, die Breite und die Länge eines Objekts geprüft werden und das Objekt ggf. ausgeschleust werden, wenn dessen Maße vorher festgelegte Werte überschreitet. Nachteilig bei einem System mit
Lichtschranken ist, dass die Geschwindigkeit des Verfahrens abhängig von der Geschwindigkeit des Förderbands ist, auf dem sich das zu vermessende Objekt befindet. Darüber hinaus kann das Verfahren nur bei sich
bewegenden Objekten, nicht aber bei ruhenden Objekten angewendet werden. Das heißt Aufbauten, die über kein Förderband verfügen, können dieses Verfahren nicht anwenden. Dieses System hat den Nachteil, dass es keine Rückmeldung über die Abmessung geben kann, sondern nur die Information darüber bereitstellt, ob die Abmessung unterhalb („in Ordnung") oder oberhalb („nicht in Ordnung") des Grenzwertes liegt. Darüber hinaus können keine dreidimensionalen Abbilder, d.h. dreidimensionale Abbildungen des Objekts erstellt werden. Weil es an einem dreidimensionalen Abbild des Objekts fehlt, kann dieses auch nicht mit 3D-Modellen, d.h. mit
vorbestimmten oder vorbekannten dreidimensionalen Formgebungen verglichen bzw. anderweitig weiter prozessiert werden. Die Justage und Kalibrierung der Lichtschranken müssen manuell erfolgen und können nicht automatisiert oder mit Hilfe einer Fernwartung erfolgen. Ein Nachteil an der Konturenkontrolle mit einer Lichtschranke wird darüber hinaus darin gesehen, dass diese von einem Bediener von Hand verstellt werden können, wodurch sich die Messgrenzen der Lichtschrankenmessung beeinflussen lassen. Damit könnte in unzulässiger Weise eine Einlagerung von - aufgrund ihrer Größe eigentlich - unzulässigen Objekten in das Lagerregal erfolgen. Weiterhin ist aus dem Stand der Technik eine Vorrichtung mit einer
Infrarotkamera bekannt, die auf einen Messtisch mit einem eingegrenzten Messbereich gerichtet ist. Dieses System kann zwar die Höhe, die Breite und die Länge des Produkts bestimmen, jedoch wird wiederum kein 3D-Abbild des Objekts ermittelt und abgespeichert. Die Vorrichtung ist für die
Abmessung von kleineren Objekten und nicht von Paletten vorgesehen. Darüber hinaus muss bei der Installation des Systems in ein bereits bestehendes Fördersystem mit einem Förderband, aufwendig das
Förderband zerlegt werden, um den Messtisch in das bestehende
Förderband zu integrieren. Die Infrarotkamera nimmt dabei das Objekt aus einer einzigen Aufnahmerichtung auf, wodurch die Informationen über das zu messende Objekt nur aus einer Richtung erfasst werden können und folglich auch kein vollständiges 3D-Abbild des Objekts erstellt werden kann. Auch dieses System muss manuell justiert und kalibriert werden. Ein weiteres aus dem Stand der Technik kamerabasiertes Verfahren zur Konturenkontrolle beinhaltet ein System, das entweder mit einer
Infrarotkamera oder mit drei Infrarotkameras ausgeliefert wird. Das System benötigt keinen gesonderten Messtisch auf dem das Objekt angeordnet wird, allerdings besteht auch bei der Ausführungsform mit einer Kamera der
Nachteil, dass nur eine Teilansicht des Objekts in Form eines 3D Abbilds und damit kein vollständiges 3D-Abbild vom Objekt erstellt werden kann. Im Falle der Ausführungsform mit den drei Kameras kann zwar ein vollständiges SD- Abbild erzeugt werden, allerdings haben alle bisherigen kamerabasierten Konturenkontrollsysteme gemein, dass die Justage und die Kalibrierung der Kameras manuell erfolgen muss und die Kalibrierung damit sehr aufwendig ist. Ändert sich die Orientierung oder die Lage der Kameras zueinander bzw. der einzelnen Kamera bezüglich des Messtisches, so ist wiederum eine aufwendige Kalibrierung der Kamera bzw. der Kameras vonnöten. Darüber hinaus ist das Messverfahren vergleichsweise langsam, was ebenfalls als nachteilig empfunden wird.
Der Erfindung liegt daher die Aufgabe zugrunde, eine Vorrichtung und ein Verfahren zur kamerabasierten Konturenkontrolle von Objekten dahingehend zu konzipieren, dass eine schnelle Abbildung, Speicherung und
Weiterprozessierung von Objekten ermöglicht ist, bei gleichzeitig einfacher Montage, Inbetriebnahme und Wartung.
Diese Aufgabe wird nach der Erfindung bei einer Vorrichtung der eingangs genannten Art dadurch gelöst, dass eine erste Kamera zur Aufzeichnung einer im Messbereich angeordneten ersten Punktwolke mit einem ersten Koordinatensystem und eine zweite Kamera zur Aufzeichnung von einer im Messbereich angeordneten zweiten Punktwolke mit einem zweiten
Koordinatensystem vorgesehen sind. Diese kommunizieren mit einem Steuerrechner zur Angleichung zumindest eines der Koordinatensysteme in mindestens ein anderes und mit mindestens drei im Messbereich zueinander ortsfest angeordneten Kalibrierelementen. Die Vorrichtung kommt mit wenigen Bauteilen, nämlich zwei Kameras, drei Kalibrierelementen und einem Steuerrechner aus, d.h. die Vorrichtung kann ohne großen Aufwand in ein bereits bestehendes Fördersystem integriert werden. Dabei muss das Fördersystem bzw. die Förderbänder nicht demontiert werden. Darüber hinaus ist die Vorrichtung nicht nur auf Fördersysteme mit Förderband beschränkt. Der Messbereich kann auf dem Boden, auf einem Tisch oder auf einer Förderanlage liegen. Die Kameras können im Raum z.B. an einer
Decke befestigt werden, wodurch nur ein geringer Platzbedarf zur Montage vonnöten ist und die Montage rasch erfolgen kann. Die Kameras werden dabei so ausgerichtet, dass sie den Messbereich aus unterschiedlichen Richtungen abbilden. Insbesondere ist es vorgesehen, dass die optische Achse der ersten Kamera und die optischen Achse der zweiten Kamera nicht parallel zueinander ausgerichtet sind. In einer alternativen Ausführungsform ist es auch möglich, die optische Achse der ersten Kamera und die optische Achse der zweiten Kamera parallel zueinander auszurichten. Durch die Kalibrierelemente, z.B. in Form von Kalibrierkugeln, wird die zeitaufwendige, manuelle Kalibrierung durch eine automatisierte kamerabasierte Kalibrierung, auch in Echtzeit, anhand der Kalibrierelemente ersetzt. Dies ermöglicht zusätzlich die Fernwartung des Systems, d.h. sollte sich an der Orientierung der Kalibrierelemente, des Objekts oder der Kameras etwas ändern, so muss kein Techniker von extern anreisen. Es erfolgt eine automatische
(systemeigene) Wartung, wenn sich die relative Lage der eingesetzten
Kameras zueinander derart verändert, dass sich die Kalibrierelemente noch im jeweiligen Sichtbereich der Kameras befinden. Sollten die Sichtbereiche der Kameras nicht mehr die Kalibrierelemente erfassen, so kann eine
Fernwartung dahingehend vorgenommen werden, dass der entsprechende Sichtbereich die Kalibrierelemente wieder erfasst und eine automatische Kalibrierung des Systems erfolgt. Der Steuerrechner bewirkt eine
Automatisierung des Verfahrens zur Erzeugung eines 3D-Abbilds, d.h. einer dreidimensional Abbildung des Objekts und ermöglicht auch eine
vollautomatisierte Weiterprozessierung anhand der erstellten Daten. Darüber hinaus können über den Steuerrechner Daten gespeichert, abgeglichen und weiterverarbeitet werden. Alternativ hat es sich als vorteilhaft erwiesen, wenn der Steuerrechner durch einen in jede der Kameras integrierten
Microcontroller und durch eine Hauptplatine mit SPS-Steuerung gebildet ist. Dies erhöht weiterhin die Flexibilität der Vorrichtung hin zu einem mobilen Messaufbau. Ein weiterer Vorteil besteht in der höheren Reproduzierbarkeit der Messung bei mehreren Einlagerstellen durch die erfindungsgemäße Vorrichtung und das erfindungsmäße Verfahren z.B. im Vergleich zur Messvorrichtung mit der Lichtschranke, da der Messbereich über die
Software und nicht über die Hardware (d.h. über die Einstellung der
Lichtschranken) festgelegt wird. Bisher ist es im Stand der Technik nicht möglich an verschiedenen Orten des Fördersystems, oder auch bei verschiedenen Fördersystemen miteinander vergleichbare, d.h.
reproduzierbare Konturenkontrollen durchzuführen. Ebenso hängt die Genauigkeit des Messsystems mit den Lichtschranken sehr stark davon ab, wo sich die zu vermessende Palette auf dem Förderband befindet. Durch den Einsatz der Kameras vergrößert sich der einstellbare Messbereich.
Im Rahmen der Erfindung hat es sich als besonders vorteilhaft erwiesen, wenn die Kameras diametral gegenüberliegend angeordnet sind. Dadurch sind die Kameras optimal auf das Objekt und die Kalibrierelemente von beiden Seiten ausgerichtet, um ein vollständiges 3D-Abbild (bzw. ein Abbild des Objekts mit den Informationen aller Seiten mit Ausnahme der meist nicht-relevanten Information der Unterseite) erzeugen zu können. Die Kalibrierelemente können in Form von dreidimensionalen Objekten ausgebildet sein oder auch durch sich farblich von der Umgebung unterscheidende Flächen; wichtig ist nur, dass die Kalibrierelemente ihre relative Lage zueinander stets beibehalten und vorzugsweise ihre
Dimensionen bekannt sind.
Im Rahmen der Erfindung hat es sich als besonders vorteilhaft erwiesen, wenn die Kameras diametral gegenüberliegend angeordnet sind. Dadurch sind die Kameras optimal auf das Objekt und die Kalibrierelemente von beiden Seiten ausgerichtet, um ein vollständiges 3D-Abbild erzeugen zu können.
Weiterhin ist es vorteilhaft, dass die Kameras als optisches System zur Erzeugung von dreidimensionalen Punktwolken gebildet sind. Durch Erzeugung und Kombination von dreidimensionalen Punktwolken aus unterschiedlichen Aufnahmepositionen ist es möglich, ein vollständiges dreidimensionales Abbild des Objekts zu erstellen, im Speziellen auch eine Information über die Tiefe des Objekts von dessen Rückseite aus zu erhalten. Die Vorrichtung kann dabei Kamerasysteme der
Bewegungssteuerung (z.B. Microsoft® Kinect® oder Asus® Xtion pro) basierend auf dem Messprinzip des strukturierten Lichts oder Time of Flight (TOF) verwenden oder alternativ optische Systeme zur Interferometrie oder plenoptische Kameras verwenden. Dabei ist es besonders bevorzugt die Kameras als TOF-Kameras oder als Kameras auf dem Messprinzip des strukturierten Lichts basierend zu bilden. Bei TOF-Kameras werden eine Intensitätsmessung und eine Laufzeitmessung durchgeführt. Dabei ist es empfehlenswert, dass zur Detektion des Signals jeder Pixel des Bildsensors eine Intensitäts- und die dazugehörige Tiefen Information enthält (Photon Mixing Device). Durch Verwendung von TOF-Kameras wird somit eine 3D- Punktwolke direkt bei der Messung und nicht im Anschluss an die Messung durch die Anwendung aufwendiger und zeitintensiver Rechenalgorithmen erzeugt.
Das Prinzip die Oberflächen- und Tiefen Information eines Objektes mittels strukturiertem Licht zu bestimmen, basiert darauf, dass ein bekanntes
Lichtmuster in den Raum projiziert wird. Die Distorsion bzw. Abweichung des Lichtmusters, welche durch das Auftreffen des Lichtmusters auf die
Oberfläche eines Objekts entsteht, wird dann durch einen Sensor gemessen. In diesem Zusammenhang ist es vorgesehen, dass die Kamera eine
Infrarotkamera aufweist und dass das Lichtmuster als pseudo-zufälliges
Punktmuster gebildet ist. Besonders bevorzugt ist es, wenn das Lichtmuster aus Infrarot Speckle gebildet ist, wobei die Specklegröße und die
Speckleform abhängig von der Distanz und der Orientierung des Sensors sind. Diese Speckle entstehen, indem das Infrarotlicht einer Infrarotlichtquelle an einer unebenen Oberfläche - in diesem Fall an einem Gitter - gestreut werden. Die unebene Oberfläche wird als Streuzentrum betrachtet, von wo aus Kugelwellen mit unterschiedlichen Phasen ausgehen, die im Fernfeld interferieren. Dadurch entstehen räumliche Strukturen mit unterschiedlichen Intensitätsminima und -maxima. Durch das Gitter, welches in einem definierten Abstand zur Lichtquelle orientiert ist, wird ein reproduzierbares Speckle-Muster erzeugt. Besonders bevorzugt ist es, wenn drei
verschiedene Specklegrößen für drei verschiedene Distanzregionen des Sensors vorgesehen sind. Weiterhin ist vorgesehen, dass im Speicher der Kamera ein Kalibrationsspeckle Muster hinterlegt ist. Auch hier ist es möglich durch nur eine Messung bzw. eine Abbildung eine 3D Punktwolke zu erzeugen, indem das gemessene projizierte Lichtmuster mit dem in der Kamera abgespeicherten Kalibrationsspeckle Muster verglichen wird. Man ermittelt dabei die Position mit der größten Ähnlichkeit. Dies liefert einen Offset zwischen der für den Punkt erwarteten Position und der durch die Kamera aufgenommenen Position. Anhand der Tiefe des betrachteten Punktes auf einer Ebene in bekannter Distanz und dem wahrgenommenem Offset kann die kartesische Distanz des Pixels zur Kameraebene berechnet werden, da die relative Distanz zwischen Projektor und Kamera bekannt ist.
Bei einem sehr vereinfachten System kann alternativ vorgesehen sein, wenn keine Notwendigkeit der Erstellung eines dreidimensionalen Abbilds besteht, dass die beiden Kameras einmal seitlich, z.B. senkrecht zur Förderrichtung des Objekts auf einem Förderband, und einmal von vorne, d.h. parallel zur Förderrichtung des Objekts auf einem Förderband, auf das Objekt gerichtet sind und jeweils ein zweidimensionales Abbild, dem Punkte zugeordnet werden, erstellt wird. Mit anderen Worten erstellen die Kameras, die in diesem Fall nicht 3D-fähig sein müssen, je ein 2D Bild aus unterschiedlichen Richtungen des Objekts und ordnen diesen Bildern jeweils eine - aus den Projektionen erstellte - Punktwolke zu. Dadurch ließe sich eine Aussage über die Tiefe, die Höhe und die Breite des Objekts treffen. Im Rahmen der Erfindung hat es sich als besonders vorteilhaft erwiesen, wenn die Kameras diametral gegenüberliegend angeordnet sind. Dadurch sind die Kameras optimal auf das Objekt und die Kalibrierelemente von beiden Seiten ausgerichtet, um ein vollständiges 3D-Abbild erzeugen zu können.
Im Rahmen der Erfindung ist es weiterhin vorgesehen, dass die Kameras Abbildungen des Objekts mit Farbinformation erzeugen. In diesem
Zusammenhang hat es sich insbesondere als vorteilhaft erwiesen, wenn die Kamera zusätzlich einen RGB-Sensor aufweist zur Zuordnung eines
Farbwertes zu jedem Punkt der 3D-Punktwolke. Ganz besonders bevorzugt ist es wenn jede der Kameras durch eine Infrarotkamera für die TOF- Messung oder die strukturiertes Licht-Messung und durch eine RGB-Kamera gebildet ist. Ganz besonders vorteilhaft ist es, wenn ein weiteres Prüfkalibrierelement vorgesehen ist, das ortsfest bezüglich der anderen Kalibrierelemente angeordnet ist. Das zusätzliche Prüfkalibrierelement hat den Vorteil, dass wenn eines der Kalibrierelemente aufgrund von Beschädigung oder
Dejustage für den Kalibrierungsprozess nicht mehr zur Verfügung steht, das Prüfkalibrierelement zum Einsatz kommen kann. Gleichzeitig kann das Prüfkalibrierelement validieren, ob die drei anderen Kalibrierelemente dejustiert sind, indem überprüft wird, ob sich das Prüfkalibrierelement in derselben räumlichen Ebene wie die anderen drei Kalibrierelemente befindet. Insbesondere ist es vorteilhaft, dass ein Konturrahmen und ein Förderband vorgesehen sind. Das Förderband ermöglicht eine automatisierte
Positionierung der Objekte und eine automatisierte Untersuchung und
Weiterprozessierung mehrerer Objekte hintereinander. Der Konturrahmen kann eckig, rund oder eine an das Objekt angepasste Form aufweisen. Ganz besonders vorteilhaft ist es, wenn die Kameras am Konturrahmen über Teleskopstäbe befestigbar sind und wenn die Kalibrierelemente an einem vertikalen Teil des Konturrahmens angeordnet sind. Durch die Befestigung der Kameras am Konturrahmen wird die Montage der Vorrichtung enorm erleichtert. Sie kann überall aufgestellt werden, benötigt wenig Platz,
Fördersysteme müssen nicht umgebaut werden, d.h. jedes Fördersystem ist leicht umrüstbar und die Zeit für die Montage und die Inbetriebnahme ist äußerst gering. Die Befestigung über Teleskopstäbe erhöht darüber hinaus die Flexibilität bei der Positionierung der Kameras relativ zum Objekt bzw. relativ zum Förderband. Dadurch kann die Ausrichtung der jeweiligen
Kamera auf das Förderband und das Objekt optimal gewählt werden.
Insbesondere ist es vorteilhaft, wenn sich die Teleskopstäbe automatisiert bewegen lassen. Dies erleichtert ebenfalls eine Fernwartung des Systems. Durch die Positionierung der Kalibrierelemente am vertikalen Teil des Konturrahmens können die Kameras sowohl den Messbereich mit dem Objekt, als auch die Kalibrierelemente in einer Abbildung aufnehmen. Dies ermöglicht die manuelle Kalibration durch eine auf Kalibrierelementen basierende Kalibration zu ersetzen. Im Hinblick auf die Ausbildung eines mobilen Messaufbaus ist es günstig, wenn der Konturrahmen mehrteilig gebildet ist um ein schnelles auf- und abbauen sowie ein platzsparendes Verstauen des Konturrahmens zu ermöglichen. Besonders vorteilhaft ist es in diesem Zusammenhang, wenn der Konturrahmen aus mehreren miteinander verbindbaren Teleskopstäben gebildet ist. Bei einer alternativen Ausführungsform ist es vorgesehen, dass mehr als zwei Kameras vorgesehen sind. Dies erweist sich als sinnvoll, wenn die zu untersuchenden Objekte besonders groß sind, es sich bei den Objekten beispielsweise um Luftfahrtpaletten handelt. Auf diese Weise kann das Sichtfeld der Kameras vergrößert werden und damit eine kamerabasierte Konturenkontrolle auch bei sehr großen Objekten durchgeführt werden.
Ganz besonders bevorzugt ist es weiterhin, wenn die Kameras mittels einer Steuereinheit motorisch bewegbar sind, wodurch sich die Kameras einfach und schnell justieren lassen. Dies erleichtert ebenfalls die Fernwartung der Vorrichtung. In diesem Zusammenhang ist es gemäß einer alternativen Ausführungsform auch möglich, dass der Steuerrechner über ein Programm zur automatischen Justage und Kalibration der Vorrichtung verfügt.
Im Rahmen der Erfindung ist weiterhin vorgesehen, dass das Förderband mindestens eine Abzweigung aufweist. Dies ermöglicht die Sortierung oder Aussortierung von Objekten nach der Konturenkontrolle. Die das Verfahren betreffende Aufgabe wird bei einem Verfahren der eingangs genannten Art durch die folgenden Schritte gelöst:
A) Positionieren des Objekts in einem Messbereich,
B) Erzeugung von einer ersten Abbildung durch eine erste Kamera und von einer zweiten Abbildung durch eine zweite Kamera des
Messbereichs aus unterschiedlichen Richtungen,
C) Zuordnung von jeweils einer ersten Punktwolke mit einem ersten
Koordinatensystem zu der von der ersten Kamera erzeugten
Abbildung und von einer zweiten Punktwolke mit einem zweiten Koordinatensystem zu der von der zweiten Kamera erzeugten zweiten
Abbildung,
D) Anwendung einer vorher festgelegten Transformationsmatrix auf die zweite Punktwolke und Transformation aller Punkte der zweiten Punktwolke in das erste Koordinatensystem der ersten Punktwolke, E) Zusammensetzung der transformierten zweiten Punktwolke und der ersten Punktwolke zu einer Gesamtpunktwolke,
F) Erkennung von dem Objekt zugeordneten Objektpunkten innerhalb der Gesamtpunktwolke,
G) Bestimmung der Maße des Objekts anhand eines durch die
Objektpunkte gebildeten 3D-Abbilds. Der Vorteil der Erzeugung von zwei Punktwolken liegt darin, dass ein vollständiges dreidimensionales Abbild des Objekts erstellt werden kann. Das Verfahren hat darüber hinaus den Vorteil, dass es im Vergleich zu dem Verfahren mit der Lichtschranke ein sehr schnelles Verfahren ist, da die Abbildungen aufgenommen und dann weiter verarbeitet werden, während bei einer Vermessung über eine Lichtschranke die Geschwindigkeit der Messung abhängig von der Geschwindigkeit des Förderbands ist und die Messung der Länge der Ware über die Fördergeschwindigkeit berechnet wird. Das
Verfahren lässt sich sowohl bei sich bewegenden als auch bei ruhenden Körpern anwenden. Je nach Vorrichtung können der Schritt B und der Schritt C zusammengefasst von der jeweiligen Kamera selbst durchgeführt werden, d.h. die Kamera liefert die jeweilige 3D-Punktwolke bereits selbst. Durch die Transformation der zweiten Abbildung mit dem zweiten Koordinatensystem in das erste Koordinatensystem der ersten Abbildung kann ein vollständiges 3D-Abbild (bzw. ein Abbild des Objekts mit den Informationen aller Seiten mit Ausnahme der meist nicht-relevanten Information der Unterseite)
zusammengesetzt werden. Es ist selbstverständlich auch möglich anstelle einer Transformation des zweiten Koordinatensystems in das erste, das erste Koordinatensystem in das zweite zu transformieren. Durch die Erkennung der Objektpunkte kann der Hintergrund entfernt werden. Alternativ zu einer Transformation ist es auch möglich, sowohl die erste als auch die zweite Punktwolke über eine vorher bekannte Transformationsmatrix in ein drittes neutrales Koordinatensystem, d.h. z.B. in ein Weltkoordinatensystem, zu transformieren. Im Rahmen der Erfindung hat es sich als vorteilhaft erwiesen, wenn das Verfahren durch einen Steuerrechner automatisiert gesteuert wird. Dadurch können in einer Speichereinheit des Steuerrechners Daten hinterlegt werden und Messdaten gespeichert werden. Bei entsprechenden Kameras können dabei sowohl dreidimensionale, als auch zweidimensionale Bilddaten je nach Messung gespeichert werden. Durch das Verfahren lassen sich die Höhe, die Breite, die Tiefe und das Volumen des zu vermessenden Objekts bestimmen. Darüber hinaus lässt sich durch die Erstellung eines 3D- Abbilds des Objekts, wenn sich das Objekt z.B. auf einer Palette befindet, feststellen, ob die gesamte Palette besetzt ist oder ob noch Freiraum auf der Palette vorhanden ist. Dies würde in einem weiteren Schritt ermöglichen, ein weiteres Objekt auf der Palette zu positionieren, um den oft begrenzten Lagerraum optimal auszunutzen. Im einfachsten Fall können die Kameras, die entweder gegenüberliegend oder diametral gegenüberliegend
angeordnet sind, zwei 3D Teilansichten erzeugen, denen Punkte zugeordnet werden, um die Breite und die Höhe und die Tiefe des Objekts zu
bestimmen. Durch eine diametral gegenüberliegende Anordnung der
Kameras kann ein vollständiges 3D-Abbild des zu vermessenden Objekts erzeugt werden. Dabei ist es sinnvoll, dass eine Ausrichtvorrichtung (z.B. Ausrichtschienen) zur Ausrichtung der Palette vorgesehen ist. Dadurch wird die Palette in die gewünschte Lage verdreht, d.h. z.B. in Förderlängsrichtung orientiert, und es ist sichergestellt, dass genau zwei - diametral
gegenüberliegende - Kameras ausreichen, um ein vollständiges 3D-Abbild des Objekts und/oder der Palette zu erzeugen. Alternativ ist es möglich für einen mobilen Messaufbau, dass das Verfahren durch die Microcontroller in den Kameras und durch eine Hauptplatine gesteuert wird. Im Rahmen der Erfindung hat es sich als vorteilhaft erwiesen, dass die bei Schritt B durch die erste Kamera und die zweite Kamera erzeugte erste Abbildung und zweite Abbildung des Messbereichs zusätzlich zum Objekt auch drei Kalibrierelemente, vorzugsweise mit bekannten Dimensionen abbilden, deren relative Lage zueinander festgelegt ist und dass die
Transformationsmatrix aus Schritt D zunächst dadurch bestimmt wird, dass die Kalibrierelemente innerhalb der ersten Punktwolke erkannt werden, dass den Kalibrierelementen Kalibrierpunkte innerhalb der ersten Punktwolke zugeordnet werden und dass die Kalibrierpunkte in Relation zu der zuvor bekannten relativen Lage der Kalibrierelemente zueinander gesetzt werden. Mit anderen Worten sind die erste und die zweite Kamera derart angeordnet, dass sich in ihrem Sichtfeld die Kalibrierelemente und gegebenenfalls das Prüfkalibrierelement befindet. Dies ist in jeder Ausführungsform der vorliegenden Erfindung der Fall. Der Sichtbereich ist dabei der Bereich, den die Kameras insgesamt ablichten können (Messbereich). Dies bedeutet, dass in einer Ausführungsform der Kameras mit einem Weitwinkelobjektiv ein sehr viel größerer Messbereich entsteht, als dies mit einem normalen oder mit einem Zoomobjektiv der Fall wäre. Es wird die Erzeugung einer
Transformationsmatrix mit jeder Messung bewirkt und die manuelle
Kalibration durch eine Kalibration mit externen Kalibrierelementen ersetzt. Die Ausrichtung der Kamera auf das Objekt kann dabei geändert werden, ohne dass die Kamera manuell neu kalibriert werden muss und die
Kalibration erfolgt automatisch. Über die Erkennung der Kalibrierelemente auf der Abbildung lässt sich feststellen, ob die Kameras dejustiert sind. Dabei wird über ein Prüfkalibrierelement überprüft, ob sich dieses in derselben Ebene wie die anderen drei Kalibrierelemente befindet, d.h. ob es zu einer Verstellung der Kalibrierelemente gekommen ist (z.B. durch das Touchieren eines Kalibrierelements durch ein Objekt). Sollte aufgrund eines besonders sperrigen Objekts (Stückgut) eines der drei Kalibrierelemente nicht durch die Kamera abbildbar sein, so kann das Prüfkalibrierelement stattdessen zum Einsatz kommen.
Alternativ ist es vorgesehen, dass die Transformationsmatrix bestimmt wird, zumindest durch die folgenden Schritte:
- Erzeugung von einer Kalibrierabbildung durch eine der beiden
Kameras des Messbereichs, in dem mindestens drei
Kalibrierelemente angeordnet sind, deren relative Lage zueinander bekannt ist, Zuordnung von einer Kalibrierpunktwolke mit einem
Kalibrierkoordinatensystem zu der von einer der Kameras erzeugten Kalibrierabbildung,
- Erkennung der Kalibrierelemente innerhalb der Kalibrierpunktwolke, - Zuordnung von Kalibrierpunkten zu den Kalibrierelementen innerhalb der Kalibrierpunktwolke,
- Kalibrierpunkte werden in Relation zu der zuvor bekannten relativen Lage der Kalibrierelemente zueinander gesetzt.
Hierdurch wird eine separate Bestimmung der Transformationsmatrix unabhängig vom Messvorgang ermöglicht, d.h. die Kalibration erfolgt in regelmäßigen Abständen, aber nicht bei jeder Messung. Dies verringert die benötigte Rechenleistung des Steuerrechners und ermöglicht deshalb eine schnelle Messung der Objekte. Besonders vorteilhaft ist diese Art der
Bestimmung der Transformationsmatrix bei besonders sperrigen Objekten, bei denen auf der Abbildung die Kalibrierelemente durch das Objekt verdeckt werden.
Weiterhin ist es vorteilhaft, wenn für die Datenverarbeitung im Rahmen des Verfahrens eine Kombination aus 2D und 3D Algorithmen verwendet werden. Dies verringert die benötigte Rechenleistung und beschleunigt die benötigte Rechenzeit im Vergleich zu reinen 3D Algorithmen.
In diesem Zusammenhang ist alternativ vorgesehen, dass die
Transformationsmatrix bestimmt wird, zumindest durch die folgenden
Schritte: - Erzeugung von einer Kalibrierabbildung des Messbereichs mittels einer der beiden Kameras, wobei im Messbereich mindestens drei Kalibrierelemente angeordnet sind, deren relative Lage zueinander bekannt ist, - Extraktion eines Kalibriertiefenbildes aus der erzeugten
Kalibrierabbildung und Zuordnung eines Kalibrierkoordinatensystems zum Kalibriertiefenbild,
- Erkennung der Kalibrierelemente innerhalb des Kalibriertiefenbildes,
- Zuordnung von Kalibrierpunkten zu den Kalibrierelementen innerhalb des Kalibriertiefenbildes,
- Kalibrierpunkte werden in Relation zu der zuvor bekannten relativen Lage der Kalibrierelemente zueinander gesetzt.
Durch die Ermittlung der Transformationsmatrix über ein Kalibriertiefenbild, d.h. aus einer 2D-lnformation benötigt die Bestimmung der
Transformationsmatrix weniger Rechenleistung und kann somit schneller durchgeführt werden, als bei Bestimmung der Transformationsmatrix über eine 3D Kalibrierpunktwolke. Aufgrund der rascheren Bestimmung der Transformationsmatrix ist es möglich, diese häufiger, sogar vor jedem Messvorgang zu bestimmen, um so die Genauigkeit des Messaufbaus und des Verfahrens zu verbessern. Auf diese Weise kann jedes Mal, wenn das Verfahren durchgeführt wird, die Vorrichtung überprüft werden, ob der Sichtbereich der Kameras auf das zu vermessende Objekt optimal ist, ob die Kalibrierelemente richtig abgebildet werden etc.
Im Rahmen der Erfindung ist es weiterhin bevorzugt, dass die
Transformationsmatrix in Form einer 4 x 4 Matrix mit drei Winkeln für die Rotation und drei Elementen für die Translation gebildet ist. Dies ermöglicht eine optimale Transformation des einen Koordinatensystems in das andere durch die Wahl von sechs Freiheitsgraden.
Ganz besonders bevorzugt ist es weiterhin, wenn die Kameras Abbildungen mit Farbinformation erzeugen. Besonders vorteilhaft ist dabei, dass jede der Kameras aus einer Kamera für die Tiefenmessung und aus einem RGB- Sensor für die Farbinformation gebildet ist. Durch die zusätzliche
Farbinformation können bei einem erstellten 3D-Abbild des Objekts eventuelle Überhänge, Beschädigungen oder ähnliches mittels einer
Software sichtbar gemacht werden. Gleichzeitig kann freier Raum auf einer Palette von bereits besetztem Raum farblich unterschieden werden. Ebenso können Kanten von Objekten, beispielsweise über Texturanalyse, erkennbar gemacht werden und somit einzelne Objekte voneinander getrennt bzw. unterschieden werden. Dies erleichtert zusätzlich eine Zuordnung, welches Objekt sich wo befindet und ermöglicht eine automatische Erfassung, Zuordnung, Aufbewahrung und Katalogisierung von Objekten in einem Lager.
Im Rahmen der Erfindung ist weiterhin vorgesehen, wenn das Verfahren ferner folgende Schritte umfasst:
H) Vergleich der durch das 3D-Abbild erzielten Maße des Objekts mit zuvor festgelegten Maximalwerten oder zuvor festgelegten
Minimalwerten,
I) Aussortierung des Objekts, wenn eines der durch das 3D-Abbild
erzielten Maße den dafür festgelegten Maximalwert überschreitet oder den dafür festgelegten Minimalwert unterschreitet. Dadurch können Objekte mit Überhängen, zu große Objekte oder auch zu kleine Objekte automatisch aussortiert werden, d.h. bei Vorhandensein eines Förderbandes über eine Abzweigung des Förderbands ausgeschleust werden. Alternativ kann die Beförderung des Stückgutes auch gestoppt werden. Wenn kein Förderband eingesetzt werden sollte, ist es möglich, über z.B. ein akustisches Signal auf eine nötige Aussortierung aufmerksam zu machen; damit also ein Alarmsignal auszugeben.
Alternativ ist es vorgesehen, dass das Verfahren folgende Schritte umfasst:
J) Vergleich der durch das 3D-Abbild erzielten Maße des Objekts mit vorher festgelegten Grenzwerten,
K) Sortierung des Objekts danach, innerhalb welcher Grenzwerte die durch das 3D-Abbild erzielten Maße sich befinden.
Dadurch wird eine automatisierte Sortierung nach Größe ermöglicht, um Platz im Lagerraum optimal ausnutzen zu können. Alternativ können Objekte anhand ihrer Größe erkannt, sortiert und unterschiedlich weiterprozessiert werden. Dies ermöglicht z.B. die Kontrolle der Kennzeichnung von Objekten.
Im Rahmen der Erfindung ist in einer alternativen Ausführungsform
vorgesehen, dass in einer mit einem Steuerrechner verbundenen Datenbank, d.h. in einer Speichereinheit, 3D-Modelle hinterlegt sind, mit denen die durch das 3D-Abbild erzielten Maße verglichen werden. Durch den Vergleich mit einem 3D-Modell wird erreicht, dass man feststellen kann, ob die Palette vollständig beladen ist oder ob noch Platz für weitere Objekte zur Verfügung steht. Gleichzeitig kann im Rahmen der Qualitätskontrolle festgestellt werden, ob Objekte beschädigt sind, da Objekte mit demselben Inhalt dieselben Maße vorweisen sollten und damit demselben 3D-Modell entsprechen sollten. Dadurch wird die Detektion und Visualisierung von beschädigten Objekten, d.h. eine Packmusteranalyse oder ein
Packmusterabgleich ermöglicht. Zusammenfassend liegt der Vorteil der Erfindung darin, eine Vorrichtung und ein Verfahren erstellt zu haben, welches vollautomatisiert 3D-Abbilder von Objekten erstellen und weiterprozessieren kann. Dabei beschränkt sich die Vollautomatisierung nicht nur auf den Mess- und
Weiterverarbeitungsprozess, sondern ist auch auf die Wartung im Hinblick auf die Kalibrierung des Systems und die Justage der Kameras erweitert. Dadurch kann eine automatisierte Fernwartung des Systems erreicht werden. Aufgrund der geringen Anzahl an Bauteilen ist nur eine geringe Montage- und Inbetriebnahmezeit bei geringem Platzbedarf vonnöten, und es tritt eine Erleichterung der Wartung und des Ersatzes von Teilen ein. Gleichzeitig kann ein bestehendes Fördersystem ohne großen Aufwand umgerüstet werden. Darüber hinaus besteht eine hohe Flexibilität in der Anwendbarkeit des Systems: Beispielsweise zur Detektion und
Visualisierung von beschädigten Paketen oder Überhängen, zur Detektion von Volumina zur optimalen Ausnutzung des vorhandenen Lagerraums oder zur Paketerkennung.
Im Folgenden wird die Erfindung an einem in der Zeichnungen dargestellten Ausführungsbeispielen näher erläutert; es zeigen:
Fig. 1 eine perspektivische Darstellung der erfindungsgemäßen
Vorrichtung mit einem zu vermessenden Objekt, Fig. 2 eine perspektivische Darstellung der erfindungsgemäßem Vorrichtung ohne Objekt,
Fig. 3 eine Frontansicht von Fig. 1 ,
Fig. 1 zeigt die erfindungsgemaße Vorrichtung 1 mit einem Förderband 9, auf dem sich ein Objekt 2 mit einer Palette 12 befindet. Das Förderband 9 und das Objekt 2 sind weitläufig umgeben von einem rechteckig ausgebildeten Konturrahmen 8, an dessen oberer Strebe über einen dreiteilig ausgebildeten Teleskopstab 10 eine erste Kamera 4 angebracht ist und diametral gegenüberliegend über einen weiteren dreiteiligen Teleskopstab 10 eine zweite Kamera 5 angebracht ist. Fig. 2 zeigt, dass jeweils zwei
Kalibrierelemente 6 in Form von Kalibrierkugeln an der Innenseite des vertikalen Teils 1 1 des Konturrahmens 8 angebracht sind. Dabei dient eines der Kalibrierelemente 6 als zusätzliches Prüfkalibrierelement 7. Neben Kugeln kommen auch Kalibrierelemente 6 mit anderer Formgebung infrage; so z.B. Quader, Würfel, Dreiecke bzw. Pyramiden, etc. . Fig. 1 zeigt, dass die Kameras 4, 5 sowohl auf das zu vermessende Objekt 2, als auch auf die Kalibrierelemente 6,7 gerichtet sind. Die Teleskopstäbe 10 können optional über eine Steuereinheit analog zu den Kameras 4, 5 bewegt werden.
Dadurch wird eine fernsteuerbare bzw. automatisierbare Justage der
Kameras 4, 5 zur optimalen Ausrichtung der Kameras 4, 5 auf das Objekt und die Kalibrierelemente 6, 7 ermöglicht. Darüber hinaus wird durch die Teleskopstäbe 10 bewirkt, dass der für eine vollständige Abbildung des Objekts 2 vom Objektiv benötigte Abstand generiert wird. Fig. 3 zeigt zusätzlich, dass die Kalibrierelemente 6, 7 über Stäbe an den vertikalen Teilen 1 1 des Konturrahmens 8 angebracht sind und sich in einem
Sicherheitsabstand zum Objekt 2 befinden, so dass bei der Durchschleusung des Objekts 2 auf dem Förderband 9 die Kalibrierelemente 6, 7 nicht beschädigt oder dejustiert werden können. Darüber hinaus verfügt das Förderband seitlich über jeweils eine Ausrichtschiene bzw. eine Schiene 13, die der optimalen Positionierung des Objekts 2 im Messbereich 3 dient, bzw. die die Palette 12 mit dem Objekt beim Weitertransport in Längsrichtung ausrichtet.
Mit der Vorrichtung aus Fig. 1 kann mittels des im Folgenden beschriebenen Verfahrens eine Konturenkontrolle von mindestens einem Objekt 2 erfolgen: Dazu wird das Objekt 2 zuerst über das Förderband 9 in einem Messbereich 3 positioniert. Während das Objekt 2 mittels des Förderbandes 9 durch die durch den Konturrahmen 8 gebildete Schleuse transportiert wird, nimmt die erste Kamera 4 eine erste Abbildung des Objekts 2 auf, wobei die zweite Kamera 5 instantan, d.h. gleichzeitig mit der ersten Kamera 4, eine zweite Abbildung aus der diametral gegenüberliegenden Richtung aufnimmt. Aus der ersten Abbildung durch die erste Kamera 4 wird eine erste Punktwolke mit einem ersten Koordinatensystem erzeugt, wobei aus der der zweiten Abbildung, die durch die zweite Kamera 5 erzeugt wurde, eine zweite Punktwolke mit einem zweiten Koordinatensystem erzeugt wird. Darüber hinaus besitzen die durch die Kameras 4, 5 erzeugten Abbildungen des Objekts 2 auch eine Farbinformation. Diese Farbinformation wird ebenfalls in der jeweiligen dreidimensionalen Punktwolke hinterlegt und gegebenenfalls in einem Speicher des (in den Figuren nicht näher dargestellten)
Steuerrechners gespeichert. Auf die zweite Punktwolke wird durch den Steuerrechner eine vorher festgelegte Transformationsmatrix angewendet, die in Form einer 4x4-Matrix mit drei Winkeln für die Rotation und drei Elementen für die Translation gebildet ist. Dadurch wird das zweite
Koordinatensystem in das erste Koordinatensystem transformiert. Die transformierte zweite Punktwolke und die erste Punktwolke werden daraufhin zu einer Gesamtpunktwolke zusammengesetzt. Die Gesamtpunktwolke enthält ein 3D-Abbild des Messbereichs 3. Um den Hintergrund des
Messbereichs 3 vom eigentlich zu vermessenden Objekt 2 unterscheiden zu können, wird entweder anhand der Farbinformation oder mit Hilfe einer Rändererkennung die dem Objekt 2 zugeordneten Objektpunkte innerhalb der Gesamtpunktwolke erkannt. Damit wird dann das Bild vom Hintergrund getrennt und es verbleibt nur die Gesamtpunktwolke, die um den Hintergrund reduziert wurde und deshalb nur noch die Objektpunkte des zu
vermessenden Objekts 2 umfasst. Anhand dieser Objektpunkte können nun die Maße des Objekts 2 wie die Länge, die Höhe, die Breite, die
Tiefen Information, das Volumen etc. bestimmt werden, indem ein 3D-Abbild des Objekts 2 anhand der Objektpunkte erstellt wird. Dieses 3D-Abbild und die bestimmten Maße können in einer Datenbank des Steuerrechners hinterlegt und abgespeichert werden.
Die so vermessenen Objekte 2 können dann mit zuvor festgelegten
Maximalwerten oder zuvor festgelegten Minimalwerten verglichen werden, um zu große oder zu kleine Objekte 2 aussortieren zu können. Die
Aussortierung kann dabei entweder über eine Abzweigung des
Förderbandes 9 oder durch z.B. ein akustisches Signal erfolgen. Alternativ können die durch das 3D-Abbild erzielten Maße auch mit vorher festgelegten Grenzwerten verglichen werden, um darauf aufbauend die Objekte 2 innerhalb der Grenzwerte zu sortieren. Dies ermöglicht eine automatisierte Sortierung nach Größen, um den verfügbaren Platz in einem Lagerraum optimal ausnutzen zu können oder um die Objekte 2 ihren Größen
entsprechend weiterprozessieren zu können. Alternativ können in der Datenbank des Steuerrechners 3D-Modelle hinterlegt sein, die einen
Abgleich mit den Maßen des 3D-Abbilds erlauben (Modellanpassung). Durch den Vergleich mit dem 3D-Modell kann bei einer beladenen Palette 12 darüber hinaus festgestellt werden, ob diese vollständig belegt ist oder ob noch Raum zur weiteren Beladung zur Verfügung steht. Darüber hinaus können im Rahmen einer Qualitätskontrolle Überhänge oder auch
beschädigte Pakete detektiert und mittels der Farbinformation und dem Steuerrechner auch visualisiert werden. Ebenso ist es durch die Erzeugung eines 3D-Abbilds des Objekts 2 möglich, eine Paketerkennung zu betreiben, oder auch sich auf den Objekten 2 befindliche Etiketten mittels der Kameras 4, 5 auszulesen.
Die Transformationsmatrix kann auf zwei verschiedene Arten bestimmt werden und ermöglicht die für eine Fernwartung nötige vollautomatisierte Kalibrierung der Vorrichtung 1 anhand der Kalibrierelemente 6 anstelle einer manuellen Kamerakalibrierung. Zum einen kann die Vorrichtung bei jedem Messvorgang neu kalibriert werden, indem die Transformationsmatrix für jeden Messvorgang neu bestimmt wird: Da die Kameras 4, 5 sowohl auf das Objekt 2, als auch auf mindestens drei Kalibrierelemente 7 gerichtet sind, deren relative Lage zueinander festgelegt ist, kann die Transformationsmatrix dadurch bestimmt werden, dass die Kalibrierelemente 6 innerhalb der ersten Punktwolke erkannt werden und dass den Kalibrierelementen 6
Kalibrierpunkte innerhalb der ersten Punktwolke zugeordnet werden. Die Kalibrierpunkte werden mit der vorher bekannten relativen Lage der drei Kalibrierelemente 6 zueinander verglichen und daraus die
Transformationsmatrix berechnet.
Alternativ und bevorzugt ist es dagegen, die Vorrichtung 1 nicht bei jedem Messvorgang neu zu kalibrieren, sondern in regelmäßigen Abständen einen separaten Kalibriervorgang zur Bestimmung der Transformationsmatrix durchzuführen. Dazu wird mittels einer der beiden Kameras 4, 5 der
Messbereich 3 mit mindestens drei Kalibrierelementen 6, deren relative Lage zueinander bekannt ist, aufgenommen und dieser Kalibrierabbildung eine dreidimensionale Kalibrierpunktwolke mit einem Kalibrierkoordinatensystem zugeordnet. Mittels des Steuerrechners werden die Kalibrierelemente 6 vom Hintergrund innerhalb der Kalibrierpunktwolke unterschieden (z.B. anhand der Farbinformation oder mit Hilfe einer Rändererkennung) und den
Kalibrierelementen 6 Kalibrierpunkte zugeordnet. Die Kalibrierpunkte werden wiederum mit der zuvor bekannten relativen Lage der Kalibrierelemente 6 verglichen und daraus direkt die Transformationsmatrix berechnet. Diese Bestimmung der Transformationsmatrix bzw. diese Art der Kalibrierung der Vorrichtung 1 ist bevorzugt, da es speziell bei sperrigen Stückgut schwierig ist, sowohl das Objekt 2 als auch die drei Kalibrierelemente 6 in einer
Abbildung aufzunehmen.
Um regelmäßig überprüfen zu können, ob die Kalibrierelemente 6
unbeschädigt sind bzw. dass die Kalibrierelemente 6 nicht dejustiert sind, kann eine Messung durchgeführt werden, in der der Messbereich durch die erste Kamera 4 und die zweite Kamera 5 aufgenommen wird, wobei die erste Kamera 4 und die zweite Kamera 5 auf alle vier Kalibrierelemente 6, 7, d.h. auf die drei Kalibrierelemente 6 und das vierte Prüfkalibrierelement 7 gerichtet ist. Da die drei Kalibrierelemente 6 eine Ebene miteinander aufspannen, kann anhand der Position des vierten Prüfkalibrierelements 7 bestimmt werden, ob sich das vierte Prüfkalibrierelement 7 in derselben
Ebene wie die anderen drei Kalibrierelemente 6 befindet. Sollte dies nicht der Fall sein, kann eine Fehlermeldung an den Steuerrechner weitergegeben werden, dass die Kalibrierelemente 6 dejustiert sind. Alternativ kann darüber hinaus auch überprüft werden, ob das Prüfkalibrierelement 7 mit zweien von den drei Kalibrierelementen 6 eine Ebene aufspannt, so dass das
Prüfkalibrierelement 7 das dejustierte Kalibrierelement 14 bei der
Kalibrationsmessung ersetzen kann. Weiterhin kann das Prüfkalibrierelement 7 als reguläres Kalibrierelement 6 Verwendung finden, sollte eines der übrigen Kalibnerelennente 6 beschädigt sein. Dann sind wiederum drei Kalibrierelemente 6 vorhanden.
Ergänzend oder alternativ kann durch die Vorrichtung auch eine Erkennung der Palette 12 erfolgen, um zu überprüfen, ob diese beschädigt ist.
Bezugszeichenliste
1 Vorrichtung
2 Objekt
3 Messbereich
4 erste Kamera
5 zweite Kamera
6 Kalibrierelemente
7 Prüfkalibherelemente
8 Konturrahmen
9 Förderband
10 Teleskopstäbe
11 vertikaler Teil
12 Palette
13 Schiene

Claims

Patentansprüche:
Vorrichtung (1) zur kamerabasierten Konturenkontrolle von Objekten (2) mit einem essbereich (3), dadurch gekennzeichnet, dass eine erste Kamera (4) zur Aufzeichnung einer im Messbereich (3) angeordneten ersten Punktwolke mit einem ersten Koordinatensystem und eine zweite Kamera (5) zur Aufzeichnung von einer im
Messbereich (3) angeordneten zweiten Punktwolke mit einem zweiten Koordinatensystem vorgesehen sind, weiterhin mit einem
Steuerrechner zur Angleichung zumindest eines der
Koordinatensysteme in mindestens ein anderes und mit mindestens drei im Messbereich (3) zueinander ortsfest angeordneten
Kalibrierelementen (6).
Vorrichtung (1) nach Anspruch 1 , dadurch gekennzeichnet, dass die Kameras (4, 5) als optisches System zur Erzeugung von drei dimensionalen Punktwolken gebildet sind.
Vorrichtung (1) nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass die Kameras (4, 5) diametral gegenüberliegend angeordnet sind.
Vorrichtung (1) nach einem der Ansprüche 1 bis 3, dadurch
gekennzeichnet, dass ein weiteres Prüfkalibrierelement (7)
vorgesehen ist, das ortsfest bezüglich der anderen Kalibrierelementen (6) angeordnet ist.
BERICHTIGTES BLATT (REGEL 91) ISA/EP
5. Vorrichtung nach Anspruch 1 bis 4, dadurch gekennzeichnet, dass ein Konturrahmen (8) und ein Förderband (9) vorgesehen sind.
6. Vorrichtung nach Anspruch 5, dadurch gekennzeichnet, dass die
Kameras(4, 5) am Konturrahmen (8) über Teleskopstäbe (10) befestigbar sind und dass die Kalibrierelemente (6) an einem vertikalen Teil (11) des Konturrahmens (8) angeordnet sind,
7. Vorrichtung nach einem der Ansprüche 1 bis 6, dadurch
gekennzeichnet, dass die Kameras (4, 5) mittels einer Steuereinheit motorisch bewegbar sind. 8. Vorrichtung nach einem der Ansprüche 5 bis 7, dadurch
gekennzeichnet, dass das Förderband (9) mindestens eine
Abzweigung aufweist.
9. Verfahren zur kamerabasierten Konturenkontrolle mindestens eines Objekts (2) umfassend die Schritte:
A) Positionieren des Objekts (2) in einem Messbereich (3),
B) Erzeugung von einer ersten Abbildung durch eine erste Kamera (4) und von einer zweiten Abbildung durch eine zweite Kamera (5) des Messbereichs (3) aus unterschiedlichen Richtungen,
C) Zuordnung von jeweils einer ersten Punktwolke mit einem ersten Koordinatensystem zu der von der ersten Kamera (4) erzeugten
Abbildung und von einer zweiten Punktwolke mit einem zweiten Koordinatensystem zu der von der zweiten Kamera (5) erzeugten zweiten Abbildung,
BERICHTIGTES BLATT (REGEL 91) ISA/EP D) Anwendung einer vorher festgelegten Transformationsmatrix auf die zweite Punktwolke und Transformation aller Punkte der zweiten Punktwolke in das erste Koordinatensystem der ersten
Punktwolke,
E) Zusammensetzung der transformierten zweiten Punktwolke und der ersten Punktwolke zu einer Gesamtpunktwolke,
F) Erkennung von dem Objekt (2) zugeordneten Objektpunkten
innerhalb der Gesamtpunktwolke,
G) Bestimmung der Maße des Objekts (2) anhand eines durch die Objektpunkte gebildeten 3D-Abbilds. lO.Verfahren nach Anspruch 9, dadurch gekennzeichnet, dass die bei Schritt B durch die erste Kamera (4) und die zweite Kamera (5) erzeugte erste Abbildung und zweite Abbildung des Messbereichs zusätzlich zum Objekt (2) auch drei Kalibrierelemente (6) abbilden, deren relative Lage zueinander festgelegt ist und dass die
Transformationsmatrix aus Schritt D zunächst dadurch bestimmt wird, dass die Kalibrierelemente (6) innerhalb der ersten Punktwolke erkannt werden, dass den Kalibrierelementen (6) Kalibrierpunkte innerhalb der ersten Punktwolke zugeordnet werden und dass die Kalibrierpunkte in Relation zu der zuvor bekannten relativen Lage der
Kalibrierelemente (6) zueinander gesetzt werden.
11.Verfahren nach Anspruch 9, dadurch gekennzeichnet, dass die Transformationsmatrix bestimmt wird zumindest durch die folgenden Schritte:
- Erzeugung von einer Kalibrierabbildung durch eine der beiden Kameras (4, 5) des Messbereichs (3), in dem mindestens drei
BERICHTIGTES BLATT (REGEL 91) ISA/EP Kalibrierelemente (6) angeordnet sind, deren relative Lage zueinander bekannt ist,
- Zuordnung von einer Kalibrierpunktwolke mit einem
Kalibrierkoordinatensystem zu der von einer der Kameras (4, 5) erzeugten Kalibrierabbildung,
- Erkennung der Kalibrierelemente (6) innerhalb der
Kalibrierpunktwolke,
- Zuordnung von Kalibrierpunkten zu den Kalibrierelementen (6) innerhalb der Kalibrierpunktwolke,
- Kalibrierpunkte werden in Relation zu der zuvor bekannten
relativen Lage der Kalibrierelemente (6) zueinander gesetzt.
12, Verfahren nach einem der Ansprüche 9 bis 11 , dadurch
gekennzeichnet, dass die Transformationsmatrix in Form einer 4 x 4 Matrix mit drei Winkeln für die Rotation und drei Elementen für die Translation gebildet ist. 3. Verfahren nach einem der Ansprüche 9 bis 12, dadurch
gekennzeichnet, dass die Kameras (4, 5) Abbildungen mit
Farbinformation erzeugen.
14 Verfahren nach einem der Ansprüche 9 bis 13, wobei dieses ferner folgende Schritte umfasst:
H) Vergleich der durch das 3D-Abbild erzielten Maße des Objekts (2) mit zuvor festgelegten Maximalwerten oder zuvor festgelegten Minimalwerten,
BERICHTIGTES BLATT (REGEL 91) ISA/EP I) Aussortierung des Objekts (2), wenn eines der durch das SD- Abbild erzielten Maße den dafür festgelegten Maximalwert überschreitet oder den dafür festgelegten Minimalwert
unterschreitet.
15. erfahren nach einem der Ansprüche 9 bis 13, wobei dieses folgende Schritte umfasst:
J) Vergleich der durch das 3D-Abbild erzielten Maße des Objekts (2) mit orher festgelegten Grenzwerten,
K) Sortierung des Objekts (2) danach, innerhalb welcher Grenzwerte, die durch das 3D-Abbild erzielten Maße sich befinden.
16. Verfahren nach einem der Ansprüche 9 bis 13, dadurch
gekennzeichnet, dass in einer mit einem Steuerrechner verbundenen Datenbank 3D-Modelle hinterlegt sind, mit denen die durch das 3D- Abbild erzielten Maße verglichen werden.
BERICHTIGTES BLATT (REGEL 91) ISA/EP
PCT/EP2015/064918 2014-08-14 2015-07-01 Vorrichtung und verfahren zur kamerabasierten konturenkontrolle WO2016023672A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102014111656.9A DE102014111656A1 (de) 2014-08-14 2014-08-14 Vorrichtung und Verfahren zur kamerabasierten Konturenkontrolle
DE102014111656.9 2014-08-14

Publications (1)

Publication Number Publication Date
WO2016023672A1 true WO2016023672A1 (de) 2016-02-18

Family

ID=53510859

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2015/064918 WO2016023672A1 (de) 2014-08-14 2015-07-01 Vorrichtung und verfahren zur kamerabasierten konturenkontrolle

Country Status (2)

Country Link
DE (1) DE102014111656A1 (de)
WO (1) WO2016023672A1 (de)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106370663A (zh) * 2016-09-21 2017-02-01 南京恒创磁电有限责任公司 一种检验机构
CN107607058A (zh) * 2017-09-26 2018-01-19 中铁第四勘察设计院集团有限公司 一种余煤自动检测系统及检测方法
CN110411500A (zh) * 2019-08-07 2019-11-05 河南省计量科学研究院 恒温恒湿试验箱校准用传感器布置装置及布置方法

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11551287B2 (en) 2013-10-17 2023-01-10 Mashgin Inc. Automated object recognition kiosk for retail checkouts
US10366445B2 (en) 2013-10-17 2019-07-30 Mashgin Inc. Automated object recognition kiosk for retail checkouts
DE102016208995B4 (de) 2016-05-24 2022-07-14 Jungheinrich Aktiengesellschaft Regalsystem umfassend eine Anordnung zur Konturenkontrolle von in ein Regalsystem einzulagernden Paletten
US10803292B2 (en) 2017-04-26 2020-10-13 Mashgin Inc. Separation of objects in images from three-dimensional cameras
US11281888B2 (en) 2017-04-26 2022-03-22 Mashgin Inc. Separation of objects in images from three-dimensional cameras
US10628695B2 (en) 2017-04-26 2020-04-21 Mashgin Inc. Fast item identification for checkout counter
US10467454B2 (en) 2017-04-26 2019-11-05 Mashgin Inc. Synchronization of image data from multiple three-dimensional cameras for image recognition
US20190236360A1 (en) 2018-01-30 2019-08-01 Mashgin Inc. Feedback loop for image-based recognition
JP7322905B2 (ja) * 2021-01-29 2023-08-08 株式会社ダイフク パレット検査装置
EP4286299A1 (de) * 2022-06-02 2023-12-06 Jungheinrich Aktiengesellschaft Vorrichtung und verfahren zum kontrollieren einer kontur einer auf einem flurförderzeug aufgenommenen last

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2001088471A1 (de) * 2000-05-16 2001-11-22 Steinbichler Optotechnik Gmbh Verfahren und vorrichtung zum bestimmen der 3d-form eines objektes
US20050078304A1 (en) * 2003-10-09 2005-04-14 Dorrance Daniel R. Common reference target machine vision wheel alignment system
EP1862760A1 (de) * 2006-06-02 2007-12-05 Benteler Automobiltechnik GmbH Vorrichtung zur optischen Vermessung und/oder Überprüfung von Schweißbaugruppen

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2785382B1 (fr) * 1998-11-03 2001-01-12 Aerospatiale Systeme et procede de mesure des caracteristiques d'un objet en mouvement
US7206080B2 (en) * 2001-07-30 2007-04-17 Topcon Corporation Surface shape measurement apparatus, surface shape measurement method, surface state graphic apparatus

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2001088471A1 (de) * 2000-05-16 2001-11-22 Steinbichler Optotechnik Gmbh Verfahren und vorrichtung zum bestimmen der 3d-form eines objektes
US20050078304A1 (en) * 2003-10-09 2005-04-14 Dorrance Daniel R. Common reference target machine vision wheel alignment system
EP1862760A1 (de) * 2006-06-02 2007-12-05 Benteler Automobiltechnik GmbH Vorrichtung zur optischen Vermessung und/oder Überprüfung von Schweißbaugruppen

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
REICH C: "PHOTOGRAMMETRIC MATCHING OF POINT CLOUDS FOR 3D-MEASUREMENT OF COMPLEX OBJECTS", PROCEEDINGS OF SPIE, S P I E - INTERNATIONAL SOCIETY FOR OPTICAL ENGINEERING, US, vol. 3520, 1 November 1998 (1998-11-01), pages 100 - 110, XP000901843, ISSN: 0277-786X, DOI: 10.1117/12.334324 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106370663A (zh) * 2016-09-21 2017-02-01 南京恒创磁电有限责任公司 一种检验机构
CN107607058A (zh) * 2017-09-26 2018-01-19 中铁第四勘察设计院集团有限公司 一种余煤自动检测系统及检测方法
CN107607058B (zh) * 2017-09-26 2023-09-26 中铁第四勘察设计院集团有限公司 一种余煤自动检测系统及检测方法
CN110411500A (zh) * 2019-08-07 2019-11-05 河南省计量科学研究院 恒温恒湿试验箱校准用传感器布置装置及布置方法
CN110411500B (zh) * 2019-08-07 2024-05-03 河南省计量测试科学研究院 恒温恒湿试验箱校准用传感器布置装置及布置方法

Also Published As

Publication number Publication date
DE102014111656A1 (de) 2016-02-18

Similar Documents

Publication Publication Date Title
WO2016023672A1 (de) Vorrichtung und verfahren zur kamerabasierten konturenkontrolle
EP1711777B2 (de) Verfahren zur bestimmung der lage und der relativverschiebung eines objekts im raum
EP3454298B1 (de) Kameravorrichtung und verfahren zur erfassung eines stromes aus objekten
DE102014102943B4 (de) Robotersystem mit Funktionalität zur Ortsbestimmung einer 3D- Kiste
AT507339B1 (de) Verfahren und anlage zum aufnehmen und/oder bearbeiten von objekten
DE102015015194A1 (de) Bildverarbeitungsvorrichtung und -verfahren und Programm
WO2012101166A1 (de) Kalibrierung von laser-lichtschnittsensoren bei gleichzeitiger messung
WO2018233780A1 (de) Verfahren und vorrichtung zur vermessung von karosserieschäden
DE112010002174T5 (de) Verfahren und vorrichtung für ein praktisches 3d-sehsystem
EP2439487A1 (de) Volumenmessvorrichtung für bewegte Objekte
DE102012112322A1 (de) Verfahren zum optischen Abtasten und Vermessen einer Umgebung
DE102013018222A1 (de) Objektaufnahmevorrichtung und Verfahren zum Aufnehmen eines Objekts
DE202012104890U1 (de) Vorrichtung zum optischen Abtasten und Vermessen einer Umgebung
WO2013149916A2 (de) Verfahren und vorrichtung zur optischen bestimmung einer position und/oder orientierung eines objekts im raum
EP3098563A2 (de) System und verfahren zur erfassung von bilddaten einer oberfläche eines objekts
DE202020100320U1 (de) Vorrichtung zur abschattungsfreien Vermessung und/oder Abbildung des Inneren eines nach oben offenen Behälters mittels eines Sensors
DE102015121673A1 (de) Formermittlungsverfahren
DE102006036346A1 (de) Verfahren zur automatisierten 3-D-Objekterkennung und Lagebestimmung
DE10260201A1 (de) Verfahren und Vorrichtung zur Erfassung von auf einem Fördermittel bewegten Objekten mittels eines optoelektronischen Sensors
DE10040981A1 (de) Verfahren und Vorrichtung zur Ermittlung der Lage eines Flächen und Kanten aufweisenden Gegenstandes sowie Positioniereinrichtung
EP3640582B1 (de) System und verfahren zum prüfen der form eines prüfobjekts
EP2531962A1 (de) Lagersystem zum lagern und kommissionieren von artikeln, insbesondere von apothekenartikeln
WO2012146392A1 (de) Verfahren und vorrichtung zur charakterisierung von physikalischen eigenschaften granularer materialien
EP2795288B1 (de) Verfahren zum ermitteln einer partikeleigenschaft und zum klassifizieren einer partikelcharge sowie vorrichtung zum durchführen der verfahren
EP2722641B1 (de) Vorrichtung zum Erfassen der Umrisse von Gegenständen und Bauteilen

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15734119

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 15734119

Country of ref document: EP

Kind code of ref document: A1