WO2017220600A2 - Verfahren zur kalibrierung eines bilderfassenden sensors aus mindestens einer sensorkamera unter verwendung eines zeitlich kodierten mustertargets - Google Patents

Verfahren zur kalibrierung eines bilderfassenden sensors aus mindestens einer sensorkamera unter verwendung eines zeitlich kodierten mustertargets Download PDF

Info

Publication number
WO2017220600A2
WO2017220600A2 PCT/EP2017/065120 EP2017065120W WO2017220600A2 WO 2017220600 A2 WO2017220600 A2 WO 2017220600A2 EP 2017065120 W EP2017065120 W EP 2017065120W WO 2017220600 A2 WO2017220600 A2 WO 2017220600A2
Authority
WO
WIPO (PCT)
Prior art keywords
flat
sensor
display
camera
image
Prior art date
Application number
PCT/EP2017/065120
Other languages
English (en)
French (fr)
Other versions
WO2017220600A3 (de
Inventor
Marcus Große
Bastian HARENDT
Original Assignee
Cognex Corporation
EnShape GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Cognex Corporation, EnShape GmbH filed Critical Cognex Corporation
Priority to KR1020197001700A priority Critical patent/KR102255017B1/ko
Priority to CN201780046944.4A priority patent/CN109496265B/zh
Publication of WO2017220600A2 publication Critical patent/WO2017220600A2/de
Publication of WO2017220600A3 publication Critical patent/WO2017220600A3/de
Priority to US16/225,662 priority patent/US11388375B2/en

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141—Constructional details thereof
    • H04N9/3147—Multi-projection systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C25/00—Manufacturing, calibrating, cleaning, or repairing instruments or devices referred to in the other groups of this subclass
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras

Definitions

  • the invention relates to a method for calibrating an image-capturing sensor from at least one sensor camera using a time-coded pattern target having the features of claim 1.
  • the invention relates to the calibration of cameras themselves, the calibration of multiple cameras to each other and the calibration of a sensor from multiple cameras with respect to external coordinate systems.
  • a calibration task is for example the determination of the internal / intrinsic parameters of a camera.
  • the important parameters here are the distance of the image plane from the projection center
  • Machine coordinate system or as a tool attached to the machine (ie rigid with respect to the tool coordinate system of the machine).
  • Multi-camera system (3D sensor).
  • the background here is a turntable for 3D all-round measurement of objects with the 3D sensor.
  • Another application example is the determination of the direction of movement of a conveyor belt in the coordinate system of a multi-camera system (3D sensor).
  • Background is a measurement of moving objects on an assembly line.
  • temporal coding in application to a calibration target.
  • the patterns for temporal coding are not projected by a projector, but displayed by a screen. The screen is therefore the calibration target.
  • the temporally coded pattern target is on a
  • a flat screen is displayed, with a sample sequence displayed on the flat panel display and viewed by the at least one sensor camera as a result of
  • Camera images is recorded.
  • a gamma correction is performed, in which prior to the display of the time-coded pattern target in advance in any position of the flat-panel display and / or in addition to recording the pattern sequence in Each position of the flat panel display is recorded and corrected by the at least one sensor camera, a gamma curve of the flat panel display.
  • a temporal sequence of homogeneous gray images is displayed on the flat panel display and recorded by the at least one sensor camera, wherein a gamma curve of the flat panel display is determined and then a corrective gamma curve is generated, which on the flat-panel display displayed components of the pattern sequence corresponding to the corrective gamma curve are displayed.
  • a temporal sequence of gray value images is displayed in addition to the pattern sequence, wherein a corrective gamma curve for the entire image (more precisely: the entire display area of the flat screen display) or for each pixel within the sensor camera is generated from the sequence of gray scale images , followed by a gamma correction of the images within the pattern sequence.
  • Gamma Correction can be used to correct the images of the pattern sequence taken with the sensor camera or the images of the pattern sequence previously displayed on the flat screen display.
  • Exposure time for each sensor camera where a homogeneous white image is displayed on the flat screen and recorded by the sensor camera, with the exposure time of the sensor camera being adjusted so that the brightest point on the flat screen with a predefined intensity value is captured by the sensor camera at its final value.
  • the percentage of pixels for which the intensity value detected in the sensor camera exceeds a predefined intensity value should be at most a predefined value (ie, for a maximum of 10% of the pixels Gray value over 250).
  • a predefined value ie, for a maximum of 10% of the pixels Gray value over 250.
  • the association between the pixels of the temporally coded template target and the captured pixels and the generation of the data set takes place within a predefined grid.
  • the background here too is, in particular, the shortening of the computation time during the assignment
  • a tablet computer with a program running on the tablet computer and / or with a communicating on an external wireless with the tablet computer as a flat screen display
  • Control unit running program used to generate and display the time-coded pattern target.
  • the pattern sequence of the temporally encoded pattern target consists of a sequence of statistically generated patterns.
  • the pattern sequence of the temporally encoded pattern target consists of a sequence of regular patterns, in particular stripe patterns or checkerboard patterns.
  • the stripe patterns can be a binary or
  • the flat-panel display is arranged on a linearly moving conveyor, wherein by means of a displacement of the
  • the flat panel display is on a rotating
  • Flat-panel displays are determined by a rotation of the rotating device, the position and orientation of the axis of rotation of the rotating device with respect to the image-sensing sensor.
  • the flat panel display is moving
  • Components of a robot device arranged, wherein by a rotation and / or a translation of one or more of the moving
  • Components of the robot device the location and orientation of the robot
  • image-capturing sensor is determined.
  • the image capturing sensor is with a
  • Tool point of a robot device connected and the flat display statically arranged with respect to the robot device, wherein by rotation and / or translation of the tool point of the robot device (and thus also the image-capturing sensor) the position and orientation of the
  • image-capturing sensor is determined.
  • the flat display is recorded in different relative positions and / or orientations to the image-capturing sensor and inner imaging parameters of each individual sensor camera and / or the position and / or orientations of the sensor cameras relative to one another are determined. It is within the meaning of the basic idea according to the invention that a tablet computer is used to carry out the method described and claimed here.
  • the method will be explained in greater detail below by way of example.
  • the special feature of the method is therefore not the calibration itself, but the calibration target.
  • Compared to spatial markers has a target with temporal marker, among others. the following advantages:
  • the markers can completely fill the field of view of the cameras if the screen is large enough. Therefore, markers can also be registered at the edge of the camera images. This is relevant for the determination of distortion parameters in internal calibration. ⁇ The unique registration of the markers is very reliable, precise and simple due to the time coding.
  • one camera or several cameras are used in combination, which are controlled by a PC.
  • a tablet that is connected to the PC via WLAN is used as the calibration target.
  • the patterns to be displayed on the tablet will be pre-screened
  • Step 1 (Rough gamma correction)
  • the gamma curve of the tablet is recorded in advance and roughly corrected.
  • a camera captures the tablet, while a sequence of homogeneous gray images is displayed on the tablet. From the recorded gray images then the gamma curve of the tablet is determined.
  • Gray value Kaa mera m ⁇ gray scaleTabiet Y + n
  • the pattern images to be displayed on the tablet are corrected according to the determined gamma value:
  • this step is only a rough correction.
  • a fine correction is performed separately for each measurement. Theoretically, such a fine correction would suffice. In practice, however, this would be associated with large inaccuracies due to noise, which is noticeable in particular by sensor noise and quantization noise.
  • the rough correction ensures that the gray scale range of the cameras is better utilized already during image acquisition. The subsequent fine correction thus changes the recorded images only slightly.
  • Step 2 (Recording the flat screen, gamma correction and
  • an automatic adjustment of the exposure time for each camera is carried out separately with the following steps:
  • a display of a homogeneous white image with maximum brightness on the tablet takes place.
  • a step b then takes a picture with the camera.
  • the exposure time of the camera is adjusted until the display area of the tablet is just not overdriven. This corresponds to a search for the optimal one
  • Exposure time for example, when the brightest point of the display area of the tablet z. B. reaches 95% of the maximum intensity value of the camera.
  • Exposure time for example, when the brightest point of the display area of the tablet z. B. reaches 95% of the maximum intensity value of the camera.
  • This can be, for example, a so-called bisection.
  • an image from the greyscale sequence is successively displayed on the tablet one after the other and taken by the camera (s).
  • Grayscale is a fine gamma correction or generally the correction of a nonlinear relationship between the gray scale of the tablet and the camera.
  • Pattern types conceivable, for example stripe patterns.
  • the order of the patterns described here, i. only the gray value images, then the pattern images, a reversed order between the two, or even an interleaved sequence, does not matter to the principle of calibration. It is only important that during the subsequent evaluation it is known which recorded image corresponds to which displayed image. Thereafter, an evaluation of the recorded images for each camera is carried out separately with the following steps:
  • a determination of the display area of the display is first carried out.
  • the position of the display area of the display in the camera images is determined from the recorded pattern images and / or gray value images.
  • the temporal variation of the intensity eg the temporal standard deviation of the intensity values
  • the temporal intensity variation lies above a predefined threshold value, the corresponding pixel is added to the display area of the display.
  • other (statistical) values such as the temporal mean of the intensity, can be used as an alternative / supplementary criterion.
  • the subsequent steps for determining and correcting the gamma curve as well as for assigning corresponding pixels can be limited to the pixels of the thus determined display area of the display.
  • Gray value K amera (u, v) m (u, v) gray value Ta b (u, v) Y (u ' v ) + n (u, v)
  • Grayscale camera '(u, v) [(gray value K amera (u, v) -n (u, v)) / m (u, v)] "Y (u ' v)
  • the gamma curve can also be determined individually for the entire image and not for each pixel (u, v):
  • Gray value K amera (u, v) m gray value T abiet (u, v) Y + n
  • the recorded pattern images are then corrected according to the parameters n, m and ⁇ :
  • Gray value camera '(u, v) [(gray value K amera (u, v) -n) / m] Y
  • Each pixel of the tablet is assigned subpixelgenau in a first step, the corresponding pixel in the camera, which images this tablet pixel.
  • the similarity of the intensity values displayed at these points in succession on the tabiet or recorded by the camera is the
  • Sample image sequence determined. As a measure of similarity z. For example, a normalized cross-correlation or a sum of absolute differences can be used. This is done depending on which type of pattern is used, other similarity measures are conceivable. With sinusoidal stripe patterns, for example, a so-called phase evaluation can take place. Both the normalized cross-correlation and the phase evaluation can be linear correlations between the displayed and recorded intensity values
  • Non-linear relationships such as a gamma curve
  • a so-called homography between the Tabiet and the image plane of the camera are determined, with which the search range can be limited for further point assignments.
  • These optional measures to reduce the load have the following background:
  • the projection of the points of a plane (here a flat display) in another plane (here the image plane of a camera) can be described by a so-called homography. If the homography for a certain position and orientation of the flat displays to the camera is known, the corresponding pixel in the camera can be calculated directly for each point of the flat display. This can be exploited by first using only a few pixels of the tablet in a first relatively coarse point assignment without restricting the search range (eg from a predefined grid)
  • a corresponding pixel in the camera assigned.
  • an initial pixel in the camera is computed and the search of the corresponding pixel for that pixel for an area in the image plane of the camera, e.g. As a circle or a rectangle with a predetermined size, limited to those initial pixel.
  • a change of the position of the tablet is carried out. Where the tablet is located and how the position of the tablet is changed, depends on the respective calibration task.
  • the tablet when calibrating a production line, the tablet is on the assembly line and is moved off the assembly line by any amount that does not need to be known.
  • the tablet When calibrating a turntable, the tablet lies on the turntable and is twisted by it by any amount that does not need to be known.
  • the tablet When calibrating a robot, the tablet is rigidly attached to a tool point on the robot and rotated and / or translated by any amount.
  • the current transformation between the base coordinate system of the robot and the tool coordinate system of the robot must be known. In principle, however, it is no problem to determine this information from the software of the robot and its controller.
  • Claim 1 it is always meant that changes the position and / or orientation of the flat panel display with respect to the imaging sensor.
  • steps 2 and 3 are repeated several times.
  • the tablet will be recorded in different positions. The number of
  • Positions depend on the calibration task.
  • multiple application of steps 2 and 3 to each position of the tablet and to each of the at least one camera of the imaging sensor yields a list of point correspondences, that is, a list of pixels of the tablet to which the corresponding pixel in the respective camera has been assigned ,
  • the tablet is placed on the turntable.
  • the tablet must be rigidly connected to the turntable, so it must not when turning the plate
  • the tablet is then captured with a sensor from two cameras as described in step 2. The sensor must have been previously calibrated separately.
  • the turntable is now rotated by any variable amount together with the tablet after each shot. Then the tablet is recorded again. Overall, the tablet z. B. recorded at ten different angular positions of the turntable. For each angular position of the turntable thus two lists with
  • step 4 If the above-mentioned step 4 is repeated for each angular position of the turntable and each pixel of the tablet, one obtains for each pixel of the tablet a particular circular trajectory which describes this pixel in the rotation of the turntable. For each trajectory, a plane fit can be used to determine a plane in which this trajectory lies. Similarly, the center of the circle can be determined by a circle fit.
  • Normal vector defining the direction of the rotation axis of the turntable. From the centers of the circular trajectories, its position can be determined in addition to the direction of the axis of rotation.
  • the tablet In a hand-eye calibration, the tablet is rigidly connected to the tool point of the robot and the sensor, consisting of two cameras, is fixed rigidly in relation to the base of the robot. The tablet is now picked up by the sensor, whereby the sensor should have been previously calibrated separately (in principle, it is possible during the hand-eye calibration also the
  • the current pose of the robot i. its location and orientation of the tool point relative to the base coordinate system of the robot stored.
  • the position and / or orientation of the tablet is now changed by changing the pose of the robot, ie the position and orientation of the tool point.
  • the pose of the robot ie the position and orientation of the tool point.
  • the two corresponding pixels in both cameras are filtered out for each pixel of the tablet.
  • the spatial position of the corresponding tablet pixel can be reconstructed in the usual way by triangulation, because the sensor itself was previously calibrated separately.
  • the position and orientation of the tablet relative to the sensor coordinate system can be calculated in a known manner for each pose of the robot
  • the preceding steps provide for each pose of the robot, on the one hand, the position and orientation of the tool point with respect to the base coordinate system of the robot and also the position and orientation of the table with respect to the sensor coordinate system. From these corresponding positions and orientations, the position and orientation of the sensor with respect to the basic coordinate system of the robot can be calculated in a known manner.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Manufacturing & Machinery (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

Die Erfindung betrifft ein Verfahren zur Kalibrierung eines bilderfassenden Sensors aus mindestens einer Sensorkamera unter Verwendung eines zeitlich kodierten Mustertargets, wobei das zeitlich kodierte Mustertarget auf einem Flachbilddisplay angezeigt wird, wobei auf dem Flachbilddisplay eine Mustersequenz angezeigt und von der mindestens einen Sensorkamera als eine Folge von Kamerabildern aufgenommen wird, wobei bei einer festen Position des Flachbilddisplays im Raum oder jeweils für mindestens zwei sich unterscheidende Positionen des Flachbilddisplays im Raum eine Zuordnung zwischen Pixeln des zeitlich kodierten Mustertargets und erfassten Bildpunkten der Kamerabilder ausgeführt wird, wobei über einander korrespondierende Punkte die Kalibrierung erfolgt, wobei eine Gamma-Korrektur ausgeführt wird, bei der vor der Anzeige des zeitlich kodierten Mustertargets in einer beliebigen Position und/oder in jeder Position des Flachbilddisplays gemeinsam mit dem Aufnehmen der Mustersequenz durch die mindestens eine Sensorkamera eine Gamma-Kurve des Flachbilddisplays aufgenommen und korrigiert wird.

Description

Verfahren zur Kalibrierung eines bilderfassenden Sensors aus mindestens einer Sensorkamera unter Verwendung eines zeitlich kodierten Mustertargets
Beschreibung
Die Erfindung betrifft ein Verfahren zur Kalibrierung eines bilderfassenden Sensors aus mindestens einer Sensorkamera unter Verwendung eines zeitlich kodierten Mustertargets mit den Merkmalen des Anspruchs 1.
Die Erfindung betrifft die Kalibrierung von Kameras selbst, die Kalibrierung mehrerer Kameras zueinander sowie die Kalibrierung eines Sensors aus mehreren Kameras in Bezug auf externe Koordinatensysteme.
Derartige Verfahren sind für verschiedene Kalibrieraufgaben von besonderer Bedeutung :
Eine Kalibrieraufgabe ist beispielsweise die Bestimmung der inneren/intrinsischen Parameter einer Kamera. Die wichtigen Parameter sind hierbei der Abstand der Bildebene zum Projektionszentrum
(Brennweite/Bildweite/Kammerkonstante/Kamerakonstante), der Schnittpunkt von Bildebene und optischer Achse (Hauptpunkt) sowie Verzeichungsparameter. Ein anderes Beispiel ist die Bestimmung der Orientierung von zwei (oder mehr) Kameras zueinander über äußere/extrinsische Parameter. Bestimmt werden dabei Rotationsmatrizen und Translationsvektoren zwischen den Koordinatensystemen der Kameras. Darüber hinaus kann die Bestimmung der Orientierung eines Mehrkamerasystems in Bezug auf ein externes Maschinenkoordinatensystem ausgeführt werden. Bestimmt wird das Koordinatensystem des Kamerasystems (Sensor) in Bezug auf das eines Roboters oder einer Koordinatenmessmaschine. Der Sensor ist entweder unbeweglich befestigt (also starr in Bezug auf das
Maschinenkoordinatensystem) oder als Werkzeug an der Maschine befestigt (also starr in Bezug auf Werkzeugkoordinatensystem der Maschine). Diese
Problemstellung ist auch unter dem Begriff „Hand-Eye-Calibration" bekannt. Eine weitere Anwendung ist die Bestimmung der Drehachse eines Drehtellers, also Position und Richtung der Drehachse im Koordinatensystem eines
Mehrkamerasystems (3D-Sensor).
Hintergrund ist hier ein Drehteller zur 3D-Rundumvermessung von Objekten mit dem 3DSensor.
Ein anderes Anwendungsbeispiel ist die Bestimmung der Bewegungsrichtung eines Fließbandes im Koordinatensystem eines Mehrkamerasystems (3D-Sensor). Hintergrund ist eine Vermessung bewegter Objekte auf einem Fließband .
Üblicherweise verwendet man zur Kalibrierung Targets mit räumlichen Marken, beispielsweise Schachbrettmuster oder kodierte Kreismarken. Unabhängig davon existiert in der 3D-Vermessung das Konzept der zeitlichen Kodierung . Dabei werden Muster auf die zu vermessenden Objekte projiziert. Dadurch erhält jeder Objektpunkt eine eindeutige zeitliche Kodierung.
Möglich ist auch eine zeitliche Kodierung in Anwendung auf ein Kalibriertarget. Dabei werden die Muster zur zeitlichen Kodierung nicht von einem Projektor projiziert, sondern von einem Bildschirm dargestellt. Der Bildschirm ist also das Kalibriertarget.
Bei dem erfindungsgemäßen Verfahren zur Kalibrierung eines bilderfassenden Sensors aus mindestens einer Sensorkamera unter Verwendung eines zeitlich kodierten Mustertargets, wird das zeitlich kodierte Mustertarget auf einem
Flachbilddisplay angezeigt, wobei auf dem Flachbilddisplay eine Mustersequenz angezeigt und von der mindestens eine Sensorkamera als eine Folge von
Kamerabildern aufgenommen wird. Dabei wird bei einer festen Position des Flachbilddisplays im Raum oder jeweils für mindestens zwei sich unterscheidende Positionen des Flachbilddisplays im Raum eine Zuordnung zwischen Pixeln des zeitlich kodierten Mustertargets und erfassten Bildpunkten der Kamerabilder ausgeführt, wobei über einander korrespondierende Punkte die Kalibrierung erfolgt. Hierbei wird eine Gamma-Korrektur ausgeführt, bei der vor der Anzeige des zeitlich kodierten Mustertargets vorab in einer beliebigen Position des Flachbilddisplays und/oder zusätzlich zu dem Aufnehmen der Mustersequenz in jeder Position des Flachbilddisplays durch die mindestens eine Sensorkamera eine Gamma-Kurve des Flachbilddisplays aufgenommen und korrigiert wird.
Bei einer Ausführungsform wird bei der Gamma-Korrektur eine zeitliche Folge aus homogenen Graubildern auf dem Flachbilddisplay angezeigt und von der mindestens eine Sensorkamera aufgenommen, wobei eine Gamma-Kurve des Flachbilddisplays ermittelt und anschließend eine korrigierende Gamma-Kurve erzeugt wird, wobei die auf dem Flachbilddisplay darzustellenden Bestandteile der Mustersequenz entsprechend der korrigierenden Gamma-Kurve angezeigt werden.
Bei einer Ausführungsform wird für jede Relativposition zwischen dem
Flachbilddisplay und dem bilderfassenden Sensor zusätzlich zu der Mustersequenz eine zeitliche Folge aus Grauwertbildern angezeigt, wobei aus der Folge der Grauwertbilder eine korrigierende Gamma-Kurve für das gesamte Bild (genauer gesagt: den gesamten Anzeigebereich des Flachbilddisplays) oder für jeden Bildpunkt innerhalb der Sensorkamera erzeugt wird, wobei anschließend eine Gamma-Korrektur der Bilder innerhalb der Mustersequenz erfolgt. Bei der
Gamma-Korrektur können die mit der Sensorkamera aufgenommenen Bilder der Mustersequenz oder die zuvor auf dem Flachbilddisplay angezeigten Bilder der Mustersequenz korrigiert werden.
Bei einer Ausführungsform erfolgt bei der Aufnahme des Flachbilddisplays in einer festen Position im Raum eine zusätzliche automatische Anpassung der
Belichtungszeit für jede Sensorkamera, wobei ein homogen weißes Bild auf dem Flachbilddisplay angezeigt und von der Sensorkamera aufgenommen wird, wobei die Belichtungszeit der Sensorkamera so nachreguliert wird, dass bei deren Endwert ein hellster Punkt auf dem Flachbilddisplay mit einem vordefinierten Intensitätswert durch die Sensorkamera erfasst wird.
Auch andere alternative Optimierungskriterien sind möglich, beispielsweise, dass der prozentuale Anteil an Bildpunkten, für die der in der Sensorkamera erfasste Intensitätswert einen vordefinierten Intensitätswert überschreitet, maximal einen vordefinierten Wert betragen soll (also z. B. : für maximal 10% der Bildpunkte soll der Grauwert über 250 liegen). Bei einer Ausführungsform wird bei der Zuordnung zwischen den Pixeln des zeitlich kodierten Mustertargets und den erfassten Bildpunkten und der
Erzeugung der Datenmenge der Punktkorrespondenzen für jede relative Position des Flachbilddisplays in Bezug auf den bilderfassenden Sensor in einem ersten Schritt lediglich eine Teilmenge von Pixeln und erfassten Bildpunkten einander zugeordnet, wobei aus den dabei erhaltenen Zuordnungen eine Homographie zwischen den angezeigten und den aufgenommenen Musterbildern berechnet wird, mit der relevante Suchbereiche für weitere Zuordnungen zwischen den angezeigten und aufgenommenen Musterbildern eingegrenzt wird. Hintergrund ist die Verkürzung der Rechenzeit bei der Zuordnung korrespondierender Punkte.
Bei einer Ausführungsform erfolgt die Zuordnung zwischen den Pixeln des zeitlich kodierten Mustertargets und den erfassten Bildpunkten und der Erzeugung der Datenmenge innerhalb eines vordefinierten Rasters. Hintergrund ist auch hier insbesondere die Verkürzung der Rechenzeit bei der Zuordnung
korrespondierender Punkte.
Bei einer Ausführungsform wird als Flachbilddisplay ein Tablet-Computer mit einem auf dem Tablet-Computer ablaufenden Programm und/oder mit einem auf einer externen drahtlos mit dem Tablet-Computer kommunizierenden
Steuereinheit ablaufenden Programm zum Erzeugen und Anzeigen des zeitlich kodierten Mustertargets verwendet.
Bei einer Ausführungsform besteht die Mustersequenz des zeitlich kodierten Mustertargets aus einer Folge statistisch erzeugter Muster.
Bei einer Ausführungsform besteht die Mustersequenz des zeitlich kodierten Mustertargets aus einer Folge regulärer Muster, insbesondere Streifenmuster oder Schachbrettmuster. Die Streifenmuster können einen binären oder
kontinuierlichen Intensitätsverlauf aufweisen. Besonders relevant sind
sinusförmige (l+cos)-Streifenmuster, mit denen auch bei geringer Musteranzahl eine hohe Genauigkeit bei der Punktzuordnung erzielt werden kann.
Bei einer Ausführungsform ist das Flachbilddisplay auf einer linear bewegten Fördereinrichtung angeordnet, wobei mittels einer Verschiebung des
Flachbilddisplays durch eine lineare Bewegung der Fördereinrichtung die Bewegungsrichtung der Fördereinrichtung in Bezug auf den bilderfassenden Sensor ermittelt wird.
Bei einer Ausführungsform ist das Flachbilddisplay auf einer rotierenden
Einrichtung angeordnet, wobei mittels einer Winkelbewegung des
Flachbilddisplays durch eine Rotation der rotierenden Einrichtung die Lage und Orientierung der Rotationsachse der rotierenden Einrichtung in Bezug auf den bilderfassenden Sensor ermittelt werden.
Bei einer Ausführungsform ist das Flachbilddisplay auf sich bewegenden
Komponenten einer Robotereinrichtung angeordnet, wobei durch eine Rotation und/oder eine Translation von einer oder mehreren der sich bewegenden
Komponenten der Robotereinrichtung die Lage und Orientierung des
Basiskoordinatensystems der Robotereinrichtung in Bezug auf den
bilderfassenden Sensor ermittelt wird.
Bei einer Ausführungsform ist der bilderfassende Sensor mit einem
Werkzeugpunkt einer Robotereinrichtung verbunden und das Flachdisplay statisch in Bezug auf die Robotereinrichtung angeordnet, wobei durch eine Rotation und/oder Translation des Werkzeugpunktes der Robotereinrichtung (und damit auch des bilderfassenden Sensors) die Lage und Orientierung des
Werkzeugkoordinatensystems der Robotereinrichtung in Bezug auf den
bilderfassenden Sensor ermittelt wird.
Bei einer Ausführungsform wird das Flachdisplay in unterschiedlichen relativen Lagen und/oder Orientierungen zum bilderfassenden Sensor aufgenommen und es werden innere Abbildungsparameter jeder einzelnen Sensorkamera und/oder die Lage und/oder Orientierungen der Sensorkameras zueinander ermittelt. Es liegt im Sinne des erfindungsgemäßen Grundgedankens, dass zum Ausführen des hier beschriebenen und beanspruchten Verfahrens ein Tablet-Computer zur Anwendung kommt.
Nachfolgend soll das Verfahren beispielhaft näher erläutert werden. Das Besondere an dem Verfahren ist also nicht die Kalibrierung selbst, sondern das Kalibriertarget. Gegenüber räumlichen Markern hat ein Target mit zeitlichem Marker u.a . folgende Vorteile:
• Durch die zeitliche Kodierung erhält man sehr viele Marker. Jeder Pixel des Bildschirms wird dabei zu einem Marker.
• Die Marker können den Sichtbereich der Kameras vollständig ausfüllen, sofern der Bildschirm groß genug ist. Deshalb können auch noch am Rand der Kamerabilder Marker registriert werden. Das ist für die Bestimmung von Verzeichnungsparametern bei der inneren Kalibrierung relevant. · Die eindeutige Registrierung der Marker ist durch die zeitliche Kodierung sehr zuverlässig, präzise und einfach.
• Eine nicht vollständige Sichtbarkeit des Kalibriertargets (beispielsweise durch Verdeckung) beeinflusst das Prinzip der Kalibrierung nicht.
Bei der Kalibrierung kommen eine Kamera oder mehrere Kameras im Verbund zum Einsatz, die von einem PC gesteuert werden. Als Kalibriertarget wird beispielsweise ein Tablet verwendet, das über WLAN mit dem PC verbunden ist. Die Muster, die auf dem Tablet angezeigt werden sollen, werden vorab
bereitgestellt. Verwendet werden statistisch erzeugte Muster, also eine zufällige zeitliche Kodierung. Aber auch andere zeitliche Kodierungstechniken
(beispielsweise Streifenprojektion) sind denkbar.
Es werden folgende Schritte ausgeführt:
Schritt 1 : (Grobe Gamma-Korrektur)
Zunächst wird Gamma-Kurve des Tablets vorab aufgenommen und grob korrigiert. Eine Kamera nimmt hierzu das Tablet auf, während eine Sequenz von homogenen Graubildern auf dem Tablet angezeigt wird . Aus den aufgenommenen Graubildern wird danach die Gamma-Kurve des Tablets bestimmt. Dabei gilt folgender Zusammenhang : GrauwertKa mera = m · GrauwertTabietY+n
Prinzipiell könnten auch andere nicht-lineare Zusammenhänge korrigiert werden. Die Gamma-Kurve ist jedoch in der Praxis am wichtigsten. Die Musterbilder, die auf dem Tablet angezeigt werden sollen, werden entsprechend des ermittelten Gamma-Wertes korrigiert:
GrauwertTabiet
Figure imgf000008_0001
Damit bleibt zwischen den Grauwerten des Tablets und den Grauwerten der Kamera(s) ein linearer Zusammenhang übrig. Tatsächlich handelt es sich bei diesem Schritt aber nur um eine grobe Korrektur. Eine feine Korrektur wird bei jeder Vermessung separat durchgeführt. Theoretisch würde eine solche feine Korrektur ausreichen. Praktisch wäre das jedoch mit großen Ungenauigkeiten durch Rauschen verbunden, das sich insbesondere durch ein Sensorrauschen und ein Quantisierungsrauschen bemerkbar macht. Die grobe Korrektur sorgt dafür, dass der Grauwertbereich der Kameras bereits bei der Bildaufnahme besser ausgenutzt wird. Die anschließende feine Korrektur ändert die aufgenommenen Bilder folglich nur noch geringfügig.
Schritt 2: (Aufnahme des Flachbilddisplays, Gamma-Korrektur und
Punktzuordnung)
Es erfolgt dann eine Aufnahme des Tablets in fester Position. Die Wahl der Position des Tablets in Bezug auf den Sensor hängt von der Kalibrieraufgabe ab.
Optional erfolgt zunächst eine automatische Anpassung der Belichtungszeit für jede Kamera separat mit folgenden Schritten :
In einem Schritt a erfolgt eine Anzeige eines homogen weißen Bildes mit maximaler Helligkeit auf dem Tablet. In einem Schritt b erfolgt dann eine Aufnahme mit der Kamera. Schließlich erfolgt mit einem Schritt c eine Anpassung der Belichtungszeit der Kamera, bis der Anzeigebereich des Tablets gerade so nicht übersteuert ist. Dies entspricht einer Suche nach der optimalen
Belichtungszeit, bei der beispielsweise der hellste Punkt des Anzeigebereichs des Tablets z. B. 95% des maximalen Intensitätswerts der Kamera erreicht. Es sind auch andere Optimierungskriterien möglich, wobei verschiedene Algorithmen für dieses automatische Vorgehen dabei denkbar sind. Dies kann beispielsweise eine so genannte Bisektion sein.
Danach kann eine Aufnahme einer Sequenz von homogenen Graubildern zur Gamma-Korrektur erfolgen :
Hierzu wird nacheinander jeweils ein Bild aus der Graubildsequenz auf dem Tablet angezeigt und von der bzw. den Kameras aufgenommen. Der Zweck der
Graubilder ist eine feine Gamma-Korrektur bzw. allgemein die Korrektur eines nichtlinearen Zusammenhangs zwischen den Grauwerten des Tablets und der Kamera.
Die Aufnahme einer Mustersequenz schließt sich daran wie folgt an. Nacheinander wird nun ein Bild aus der Sequenz statistischer Muster auf dem Tablet angezeigt und von der bzw. den Kameras aufgenommen. Dabei sind auch andere
Mustertypen denkbar, beispielsweise Streifenmuster. Die hier beschriebene Reihenfolge der Muster, d.h. erst die Grauwertbilder, dann die Musterbilder, eine vertauschte Reihenfolge zwischen beiden oder sogar eine miteinander verschachtelte Reihenfolge, spielt für das Prinzip der Kalibrierung keine Rolle. Wichtig ist lediglich, dass bei der anschließenden Auswertung bekannt ist, welches aufgenommene Bild welchem angezeigten Bild entspricht. Danach erfolgt eine Auswertung der aufgenommenen Bilder für jede Kamera separat mit folgenden Schritten:
Optional wird zunächst eine Bestimmung des Anzeigebereichs des Displays ausgeführt.
Aus den aufgenommenen Musterbildern und/oder Grauwertbildern wird die Lage des Anzeigebereichs des Displays in den Kamerabildern bestimmt. Dazu wird die zeitliche Variation der Intensität (z. B. die zeitliche Standardabweichung der Intensitätswerte) für jeden Bildpunkt und jede Kamera herangezogen. Liegt die zeitliche Intensitätsvariation über einem vordefinierten Schwellwert, wird der entsprechende Bildpunkt dem Anzeigebereich des Displays zugerechnet. Auch weitere (statistische) Werte, wie der zeitliche Mittelwert der Intensität können als alternatives/ergänzendes Kriterium herangezogen werden. Die nachfolgenden Schritte zur Bestimmung und Korrektur der Gamma-Kurve sowie zur Zuordnung korrespondierender Bildpunkte können auf die Bildpunkte des so bestimmten Anzeigebereichs des Displays eingeschränkt werden.
Die Bestimung und Korrektur der Gamma-Kurve muss nicht zwingend ausgeführt werden. Sie erfolgt mit folgenden Schritten :
Aus den aufgenommenen homogenen Graubildern wird für jeden Pixel (u, v) der Kamera der folgende Zusammenhang bestimmt: Grauwert Kamera(u , v)=m(u , v)-GrauwertTabiet (u , v)Y(u 'v )+n(u , v)
Die aufgenommenen Musterbilder werden nun entsprechend n(u, v) , m(u, v ) und y(u, V) korrigiert:
Grauwert Kamera' (u, v) = [(Grauwert Kamera(u, v)-n(u, v))/m(u, v) ]"Y (u' v)
Dabei können prinzipiell auch andere nichtlineare Zusammenhänge korrigiert werden.
Alternativ kann die Gamma-Kurve auch für das gesamte Bild und nicht für jeden Pixel (u, v) einzeln bestimmt werden:
Grauwert Kamera(u, v) = m-GrauwertTabiet (u, v)Y+n
Die aufgenommenen Musterbilder werden dann entsprechend der Parameter n, m und γ korrigiert:
Grauwert Kamera ' (u, v)= [(Grauwert Kamera(u, v)-n)/m ] Y
Alternativ können in in einem solchen Fall, bei dem die Gamma-Kurve nicht für jeden Bildpunkt einzeln, sondern für den gesamten Anzeigebereich des Displays bestimmt wird, auch die zuvor auf dem Flachdisplay angezeigten Musterbilder wie folgt korrigiert werden: Grauwert Tabiet' (u, v) = m-GrauwertTabiet (u, v)Y+n
Die notwendige Zuordnung korrespondierender Bildpunkte wird nun wie folgt ausgeführt.
Jedem Pixel des Tablets wird in einem ersten Schritt der entsprechende Bildpunkt in der Kamera, der diesen Tablet-Pixel abbildet, subpixelgenau zugeordnet. Dazu wird die Ähnlichkeit der an diesen Punkten zeitlich nacheinander auf dem Tabiet angezeigten bzw. von der Kamera aufgenommenen Intensitätswerte der
Musterbildsequenz bestimmt. Als Ähnlichkeitsmaß kann z. B. eine normierte Kreuzkorrelation oder eine Summe absoluter Differenzen verwendet werden. Das erfolgt je nachdem, welche Art von Mustern verwendet wird, es sind durchaus auch andere Ähnlichkeitsmaße denkbar. Bei sinusförmigen Streifenmustern kann beispielsweise eine sogenannte Phasenauswertung erfolgen. Sowohl die normierte Kreuzkorrelation als auch die Phasenauswertung können lineare Zusammenhänge zwischen den angezeigten und aufgenommenen Intensitätswerten
berücksichtigen.
Nicht-lineare Zusammenhänge, wie eine Gamma-Kurve, können nicht
berücksichtigt werden. Ohne eine Gamma-Korrektur, die in diesem Verfahren zu Anwendung kommt, ist die Präzision der zugeordneten Punktkorrespondenzen deshalb vergleichsweise schlecht.
Als Ergebnis liegt somit eine erzeugte Liste mit Punktkorrespondenzen vor, die anschließend weiterverarbeitet wird.
Um die hierbei erforderliche Rechenlast zu verringern, sind verschiedene
Maßnahmen möglich, die zusätzlich erfolgen können :
Zunächst können nur wenige Punkte zugeordnet werden und aus den
zugeordneten Punkten eine so genannte Homographie zwischen dem Tabiet und der Bildebene der Kamera bestimmt werden, mit der der Suchbereich für weitere Punktzuordnungen eingeschränkt werden kann. Weiterhin ist es auch möglich, dass generell nicht jedem Punkt des Tablets ein Bildpunkt zugeordnet wird, sondern nur wenigen Punkten aus einem vorgegebenen Raster. Diese optionalen Maßnahmen zur Reduzierung der Rechenlast haben folgenden Hintergrund : Die Projektion der Punkte einer Ebene (hier ein Flachdisplay) in eine andere Ebene (hier die Bildebene einer Kamera) kann durch eine sogenannte Homographie beschrieben werden. Ist die Homographie für eine bestimmte Lage und Orientierung das Flachdisplays zur Kamera bekannt, so kann für jeden Punkt des Flachdisplays der korrespondierende Bildpunkt in der Kamera unmittelbar berechnet werden. Dies kann man ausnutzen, indem man zunächst in einer ersten relativ groben Punktzuordnung ohne Einschränkung des Suchbereichs nur wenigen Pixeln des Tablets (z.B. aus einem vorgegebenem Raster) einen
Bildpunkt in der Kamera zuordnet und aus diesen Korrespondenzen die grobe Homographie berechnet, die die entsprechende Projektion beschreibt.
In einer zweiten nun feineren Punktzuordnung wird einer erheblich größeren Menge von Pixeln des Flachdisplays, z. B. in einem vorgegebenen feineren Raster oder wahlweise allen Pixeln, ein korrespondierender Bildpunkt in der Kamera zugeordnet. Nun wird jedoch für jeden Pixel des Tablets durch Anwendung der groben Homographie ein initialer Bildpunkt in der Kamera berechnet und die Suche des korrespondierenden Bildpunkts für diesen Pixel auf einen Bereich in der Bildebene der Kamera, z. B. einen Kreis oder ein Rechteck mit vorgegebener Größe, um jenen initialen Bildpunkt eingeschränkt. Als nächstes wird in einem Schritt 3 eine Änderung der Lage des Tablets ausgeführt. Wo sich das Tablet befindet und wie die Lage des Tablets verändert wird, hängt von der jeweiligen Kalibrieraufgabe ab. Bei einer Kalibrierung eines Fließbands liegt das Tablet beispielsweise auf dem Fließband und wird von dem Fließband um einen beliebigen Betrag, der nicht bekannt sein muss, verschoben. Bei der Kalibrierung eines Drehtellers liegt das Tablet auf dem Drehteller und wird von diesem um einen beliebigen Betrag, der nicht bekannt sein muss, verdreht.
Bei der Kalibrierung eines Roboters wird das Tablet an einem Werkzeugpunkt des Roboters starr befestigt und um einen beliebigen Betrag verdreht und/oder verschoben. Die aktuelle Transformation zwischen dem Basiskoordinatensystem des Roboters und dem Werkzeugkoordinatensystem des Roboters muss jedoch bekannt sein. Prinzipiell ist es jedoch kein Problem, diese Information aus der Software des Roboters und seiner Steuerung zu ermitteln.
Ob die Lage des Tablets und/oder die Lage der Kameras verändert wird, hängt von der Kalibrieraufgabe ab. Entscheidend ist dabei, dass sich die relative Lage und/oder Orientierung der Kameras zum Display ändert. Dort wo von sich unterscheidenden Positionen des Flachbilddisplays die Rede ist (insbes. in
Anspruch 1), ist stets gemeint, dass sich die Lage und/oder Orientierung des Flachbilddisplays in Bezug auf den bildgebenden Sensor ändert.
In einem nächsten Schritt 4 werden die Schritte 2 und 3 mehrmals wiederholt. Das Tablet wird dabei an verschiedenen Positionen aufgenommen. Die Anzahl der
Positionen hängt dabei von der Kalibrieraufgabe ab. Im Ergebnis erhält man nach mehrmaliger Anwendung von Schritt 2 und 3 zu jeder Position des Tablets und zu jeder der mindestens eine Kamera des bildgebenden Sensors eine Liste mit Punktkorrespondenzen, also eine Liste mit Pixeln des Tablets, denen der entsprechende Bildpunkt in der jeweiligen Kamera zugeordnet wurde.
Bei einem nächsten Schritt 5 kann dann unter Verwendung der Listen von
Punktkorrespondenzen, die in Schritt 4 unter Anwendung der Schritte 2 und 3 ermittelt worden sind, die eigentliche Kalibrieraufgabe gelöst werden. Das konkrete Vorgehen hängt von der Kalibrieraufgabe ab, wie die folgenden
Beispiele verdeutlichen :
Bei der Kalibrierung eines Drehtellers wird beispielsweise wie folgt verfahren :
Das Tablet wird auf den Drehteller gelegt. Das Tablet muss dabei starr mit dem Drehteller verbunden sein, darf also bei der Drehung des Tellers nicht
verrutschen. Das Tablet wird anschließend mit einem Sensor aus zwei Kameras wie in Schritt 2 beschrieben aufgenommen. Der Sensor muss zuvor separat kalibriert worden sein. Der Drehteller wird nun nach jeder Aufnahme zusammen mit dem Tablet um einen beliebigen, variablen Betrag verdreht. Anschließend wird das Tablet erneut aufgenommenen. Insgesamt wird das Tablet z. B. an zehn verschiedenen Winkelpositionen des Drehtellers aufgenommen. Zu jeder Winkelposition des Drehtellers werden somit zwei Listen mit
Punktkorrespondenzen, d.h. für jede Kamera eine Liste, erzeugt. Nun werden in diesen Listen zu jedem Pixel des Tablets die beiden korrespondierenden
Bildpunkte in beiden Kameras herausgefiltert. Aus diesen Koordinaten der beiden korrespondierenden Bildpunkte kann die räumliche Lage des entsprechenden Tablet-Pixels in gewohnter Weise durch Triangulation rekonstruiert werden, denn der Sensor selbst wurde zuvor separat kalibriert.
Wird der oben erwähnte Schritt 4 für jede Winkelposition des Drehtellers und jeden Pixel des Tablets wiederholt, so erhält man zu jedem Pixel des Tablets eine insbesondere kreisförmige Trajektorie, die dieser Pixel bei der Drehung des Drehtellers beschreibt. Zu jeder Trajektorie kann durch einen Ebenenfit eine Ebene bestimmt werden, in der diese Trajektorie liegt. Ebenso kann durch einen Kreisfit das Zentrum des Kreises bestimmt werden.
Die Ebenen der Trajektorien haben stets den im Wesentlichen gleichen
Normalenvektor, der die Richtung der Rotationsachse des Drehtellers definiert. Aus den Zentren der kreisförmigen Trajektorien kann zusätzlich zur Richtung der Drehachse auch dessen Lage bestimmt werden.
Bei einer Hand-Eye-Calibration wird das Tablet starr mit dem Werkzeugpunkt des Roboters verbunden und der Sensor, bestehend aus zwei Kameras, wird starr in Bezug auf die Basis des Roboters befestigt. Das Tablet wird nun von dem Sensor aufgenommen, wobei der Sensor zuvor separat kalibriert worden sein sollte (prinzipiell ist es möglich, während der Hand-Eye-Calibration auch die
intrinsischen und extrinsischen Parameter des Kamerasystems selbst zu bestimmen). Gleichzeitig wird die aktuelle Pose des Roboters, d.h. dessen Lage und Orientierung des Werkzeugpunktes relativ zum Basis-Koordinatensystem des Roboters, gespeichert.
Die Lage und/oder die Orientierung des Tablets wird nun verändert, indem die Pose des Roboters, d.h. die Lage und Orientierung des Werkzeugpunktes, verändert wird. Zu jeder Pose des Roboters erhält man nun zwei Listen mit Punktkorrespondenzen, d.h. für jede Kamera eine Liste. Nun werden in diesen Listen zu jedem Pixel des Tablets die beiden korrespondierenden Bildpunkte in beiden Kameras herausgefiltert. Aus diesen Koordinaten der beiden korrespondierenden Bildpunkte kann die räumliche Lage des entsprechenden Tablet-Pixels in gewohnter Weise durch Triangulation rekonstruiert werden, denn der Sensor selbst wurde zuvor separat kalibriert. Aus den 2D-Koordinaten der Tablet-Pixel und den zugehörigen rekonstruierten 3D-Koordinaten kann zu jeder Pose des Roboters die Lage und Orientierung des Tablets relativ zum Sensor- Koordinatensystem in bekannter Weise berechnet werden
Die vorhergehenden Schritte liefern zu jeder Pose des Roboters zum einen die Lage und Orientierung des Werkzeugpunktes in Bezug auf das Basiskoordinatensystem des Roboters sowie außerdem die Lage und Orientierung des Tabets in Bezug auf das Sensor-Koordinatensystem. Aus diesen korrespondierenden Lagen und Orientierungen kann die Lage und Orientierung des Sensors in Bezug auf das Basis-Koordinatensystem des Roboters in bekannter Weise berechnet werden.
Das erfindungsgemäße Verfahren wurde anhand von Ausführungsbeispielen erläutert im Rahmen fachmännischen Handelns sind weitere Abwandlungen möglich. Diese ergeben sich auch aus den Unteransprüchen.

Claims

Ansprüche
1. Verfahren zur Kalibrierung eines bilderfassenden Sensors aus mindestens einer Sensorkamera unter Verwendung eines zeitlich kodierten
Mustertargets,
wobei das zeitlich kodierte Mustertarget auf einem Flachbilddisplay angezeigt wird, wobei auf dem Flachbilddisplay eine Mustersequenz angezeigt und von der mindestens einen Sensorkamera als eine Folge von Kamerabildern aufgenommen wird,
wobei bei einer festen Position des Flachbilddisplays im Raum oder jeweils für mindestens zwei sich unterscheidende Positionen des Flachbilddisplays im Raum eine Zuordnung zwischen Pixeln des zeitlich kodierten
Mustertargets und erfassten Bildpunkten der Kamerabilder ausgeführt wird, wobei über einander korrespondierende Punkte die Kalibrierung erfolgt, wobei eine Gamma-Korrektur ausgeführt wird, bei der vor der Anzeige des zeitlich kodierten Mustertargets vorab in einer beliebigen Position des Flachbilddisplays und/oder zusätzlich zu dem Aufnehmen der
Mustersequenz in jeder Position des Flachbilddisplays durch die mindestens eine Sensorkamera eine Gamma-Kurve des Flachbilddisplays aufgenommen und korrigiert wird.
2. Verfahren nach Anspruch 1,
dadurch gekennzeichnet, dass
bei der Gamma-Korrektur eine zeitliche Folge aus homogenen Graubildern auf dem Flachbilddisplay angezeigt und von der mindestens eine
Sensorkamera aufgenommen wird, wobei eine Gamma-Kurve des
Flachbilddisplays ermittelt und anschließend eine korrigierende Gamma- Kurve erzeugt wird,
wobei die auf dem Flachbilddisplay darzustellenden Bestandteile der Mustersequenz entsprechend der korrigierenden Gamma-Kurve angezeigt werden.
3. Verfahren nach Anspruch 1 oder 2,
dadurch gekennzeichnet, dass
für jede Relativposition zwischen dem Flachbilddisplay und dem
bilderfassenden Sensor zusätzlich zu der Mustersequenz eine zeitliche Folge aus insbesondere homogenen Grauwertbildern angezeigt wird, wobei aus der Folge der Grauwertbilder eine korrigierende Gamma-Kurve für das gesamte Bild oder für jeden Bildpunkt innerhalb der Sensorkamera erzeugt wird, wobei anschließend eine Gamma-Korrektur der Bilder innerhalb der Mustersequenz erfolgt.
4. Verfahren nach einem der Ansprüche 1 bis 3,
dadurch gekennzeichnet, dass
bei der Aufnahme des Flachbilddisplays in einer festen Position im Raum eine zusätzliche automatische Anpassung der Belichtungszeit für jede Sensorkamera erfolgt,
wobei ein homogen weißes Bild auf dem Flachbilddisplay angezeigt und von der Sensorkamera aufgenommen wird,
wobei die Belichtungszeit der Sensorkamera so nachreguliert wird, dass bei deren Endwert die Intensitätswerte der Bildpunkte des Flachbilddisplays, die durch die Sensorkamera erfasst werden, ein vorab definiertes
Optimierungskriterium erfüllen.
5. Verfahren nach Anspruch 1,
dadurch gekennzeichnet, dass
bei der Zuordnung zwischen den Pixeln des zeitlich kodierten Mustertargets und den erfassten Bildpunkten und der Erzeugung der Datenmenge der Punktkorrespondenzen für jede relative Position des Flachbilddisplays in Bezug auf den bilderfassenden Sensor in einem ersten Schritt lediglich eine Teilmenge von Pixeln und erfassten Bildpunkten einander zugeordnet werden, wobei aus den dabei erhaltenen Zuordnungen eine Homographie zwischen den angezeigten und den aufgenommenen Musterbildern berechnet wird, mit der der relevante Suchbereich für weitere
Zuordnungen zwischen den angezeigten und aufgenommenen
Musterbildern eingegrenzt wird.
6. Verfahren nach einem der vorhergehenden Ansprüche,
dadurch gekennzeichnet, dass
die Zuordnung zwischen den Pixeln des zeitlich kodierten Mustertargets und den erfassten Bildpunkten und der Erzeugung der Datenmenge innerhalb eines vordefinierten Rasters erfolgt.
7. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass
als Flachbilddisplay ein Tablet-Computer mit einem auf dem Tablet- Computer ablaufenden Programm und/oder mit einem auf einer externen drahtlos mit dem Tablet-Computer kommunizierenden Steuereinheit ablaufenden Programm zum Erzeugen und Anzeigen des zeitlich kodierten Mustertargets verwendet wird.
8. Verfahren nach einem der vorhergehenden Ansprüche,
dadurch gekennzeichnet, dass
die Mustersequenz des zeitlich kodierten Mustertargets aus einer Folge statistisch erzeugter Muster besteht.
9. Verfahren nach einem der Ansprüche 1 bis 7,
dadurch gekennzeichnet, dass
die Mustersequenz des zeitlich kodierten Mustertargets aus einer Folge regulärer Muster, insbesondere Streifenmuster oder Schachbrettmuster, besteht.
10. Verfahren nach einem der vorhergehenden Ansprüche,
dadurch gekennzeichnet, dass
das Flachbilddisplay auf einer linear bewegten Fördereinrichtung angeordnet ist, wobei mittels einer Verschiebung des Flachbilddisplays durch eine lineare Bewegung der Fördereinrichtung die Bewegungsrichtung der Fördereinrichtung in Bezug auf den bilderfassenden Sensor ermittelt wird.
11. Verfahren nach einem der Ansprüche 1 bis 9,
dadurch gekennzeichnet, dass
das Flachbilddisplay auf einer rotierenden Einrichtung angeordnet ist, wobei mittels einer Winkelbewegung des Flachbilddisplays durch eine Rotation der rotierenden Einrichtung die Lage und Orientierung der Rotationsachse der rotierenden Einrichtung in Bezug auf den
bilderfassenden Sensor ermittelt werden.
12. Verfahren nach einem der Ansprüche 1 bis 9,
dadurch gekennzeichnet, dass
das Flachbilddisplay auf sich bewegenden Komponenten einer
Robotereinrichtung angeordnet ist, wobei durch eine Rotation und/oder eine Translation einer oder mehrerer der sich bewegenden Komponenten der Robotereinrichtung die Lage und Orientierung des
Basiskoordinatensystems der Robotereinrichtung in Bezug auf den bilderfassenden Sensor ermittelt wird.
13. Verfahren nach einem der Ansprüche 1 bis 9,
dadurch gekennzeichnet, dass
der bilderfassende Sensor mit einem Werkzeugpunkt einer
Robotereinrichtung verbunden ist und das Flachdisplay statisch in Bezug auf die Robotereinrichtung angeordnet ist, wobei durch eine Rotation und/oder Translation des Werkzeugpunktes der Robotereinrichtung (und damit auch des bilderfassenden Sensors) die Lage und Orientierung des Werkzeugkoordinatensystems der Robotereinrichtung in Bezug auf den bilderfassenden Sensor ermittelt wird.
14. Verfahren nach einem der Ansprüche 1 bis 9,
dadurch gekennzeichnet, dass
das Flachdisplay in unterschiedlichen relativen Lagen und Orientierungen zum bilderfassenden Sensor aufgenommen wird und innere
Abbildungsparameter jeder einzelnen Sensorkamera und/oder die Lage und Orientierung der Sensorkameras zueinander ermittelt werden.
15. Verwendung eines Tablet-Computers für ein Verfahren zur Kalibrierung eines bilderfassenden Sensors aus mindestens einer Sensorkamera unter Verwendung eines zeitlich kodierten Mustertargets,
wobei das zeitlich kodierte Mustertarget auf dem Display des Tablet-
Computers angezeigt wird, wobei auf dem Display eine Mustersequenz angezeigt und von der mindestens einen Sensorkamera als eine Folge von Kamerabildern aufgenommen wird,
wobei bei einer festen Position des Displays im Raum oder jeweils für mindestens zwei sich unterscheidende Positionen des Flachbilddisplays im
Raum eine Zuordnung zwischen Pixeln des zeitlich kodierten Mustertargets und erfassten Bildpunkten der Kamerabilder ausgeführt wird, wobei über einander korrespondierende Punkte die Kalibrierung erfolgt.
16. Verwendung eines Tablet-Computers für ein Verfahren zur Kalibrierung eines bilderfassenden Sensors aus mindestens einer Sensorkamera unter Verwendung eines zeitlich kodierten Mustertargets,
wobei das zeitlich kodierte Mustertarget auf dem Display des Tablet- Computers angezeigt wird, wobei auf dem Display eine Mustersequenz angezeigt und von der mindestens einen Sensorkamera als eine Folge von Kamerabildern aufgenommen wird,
wobei bei einer festen Position des Displays im Raum oder jeweils für mindestens zwei sich unterscheidende Positionen des Flachbilddisplays im Raum eine Zuordnung zwischen Pixeln des zeitlich kodierten Mustertargets und erfassten Bildpunkten der Kamerabilder ausgeführt wird, wobei über einander korrespondierende Punkte die Kalibrierung erfolgt.
Wobei eine Gamma-Korrektur ausgeführt wird, bei der vor der Anzeige des zeitlich kodierten Mustertargets vorab in einer beliebigen Position des Flachbilddisplays und/oder zusätzlich zu dem Aufnehmen der
Mustersequenz in jeder Position des Flachbilddisplays durch die mindestens eine Sensorkamera eine Gamma-Kurve des Flachbilddisplays aufgenommen und korrigiert wird.
PCT/EP2017/065120 2016-06-20 2017-06-20 Verfahren zur kalibrierung eines bilderfassenden sensors aus mindestens einer sensorkamera unter verwendung eines zeitlich kodierten mustertargets WO2017220600A2 (de)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020197001700A KR102255017B1 (ko) 2016-06-20 2017-06-20 시간 코딩된 패턴 타겟을 사용하여 적어도 하나의 센서 카메라를 포함하는 이미지 캡처 센서를 캘리브레이션하는 방법
CN201780046944.4A CN109496265B (zh) 2016-06-20 2017-06-20 用于在使用时间编码的图案目标的情况下校准由至少一个传感器相机构成的图像采集传感器的方法
US16/225,662 US11388375B2 (en) 2016-06-20 2018-12-19 Method for calibrating image capturing sensor consisting of at least one sensor camera, using time coded patterned target

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102016111226 2016-06-20
DE102016111226.7 2016-06-20

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US16/225,662 Continuation US11388375B2 (en) 2016-06-20 2018-12-19 Method for calibrating image capturing sensor consisting of at least one sensor camera, using time coded patterned target

Publications (2)

Publication Number Publication Date
WO2017220600A2 true WO2017220600A2 (de) 2017-12-28
WO2017220600A3 WO2017220600A3 (de) 2018-03-01

Family

ID=60481333

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2017/065120 WO2017220600A2 (de) 2016-06-20 2017-06-20 Verfahren zur kalibrierung eines bilderfassenden sensors aus mindestens einer sensorkamera unter verwendung eines zeitlich kodierten mustertargets

Country Status (5)

Country Link
US (1) US11388375B2 (de)
KR (1) KR102255017B1 (de)
CN (1) CN109496265B (de)
DE (1) DE102017113471A1 (de)
WO (1) WO2017220600A2 (de)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111141311A (zh) * 2019-12-31 2020-05-12 武汉中海庭数据技术有限公司 一种高精度地图定位模块的评估方法及系统

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110809786B (zh) * 2017-06-20 2023-10-27 索尼互动娱乐股份有限公司 校准装置、校准图表、图表图案生成装置和校准方法
US11637973B2 (en) * 2019-08-23 2023-04-25 Ignis Innovation Inc. Pixel location calibration image capture and processing
EP4120669B1 (de) * 2021-07-14 2023-12-13 Stereyo BV Verfahren zur verbesserten kamerasicht in studioanwendungen
KR102621599B1 (ko) * 2021-10-01 2024-01-05 주식회사 앤트랩 다중 센서 장치를 위한 캘리브레이션 방법 및 캘리브레이션 시스템
CN116839509A (zh) * 2023-09-01 2023-10-03 南京信息工程大学 一种二值编码结合误差扩散算法的三维测量方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8406562B2 (en) * 2006-08-11 2013-03-26 Geo Semiconductor Inc. System and method for automated calibration and correction of display geometry and color
US7986356B2 (en) * 2007-07-25 2011-07-26 Hewlett-Packard Development Company, L.P. System and method for determining a gamma curve of a display device
US8225863B2 (en) 2009-07-31 2012-07-24 Baker Hughes Incorporated Multi-zone screen isolation system with selective control
US9393694B2 (en) * 2010-05-14 2016-07-19 Cognex Corporation System and method for robust calibration between a machine vision system and a robot
EP2400261A1 (de) * 2010-06-21 2011-12-28 Leica Geosystems AG Optisches Messverfahren und Messsystem zum Bestimmen von 3D-Koordinaten auf einer Messobjekt-Oberfläche
US9066087B2 (en) * 2010-11-19 2015-06-23 Apple Inc. Depth mapping using time-coded illumination
US8743214B2 (en) * 2011-05-11 2014-06-03 Intel Corporation Display screen for camera calibration
US8619144B1 (en) * 2012-03-14 2013-12-31 Rawles Llc Automatic camera calibration
US9008352B2 (en) * 2012-12-27 2015-04-14 Panasonic Intellectual Property Corporation Of America Video display method
CN105491315B (zh) * 2016-02-29 2018-05-18 河北工业大学 一种投影仪伽马校正方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
None

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111141311A (zh) * 2019-12-31 2020-05-12 武汉中海庭数据技术有限公司 一种高精度地图定位模块的评估方法及系统
CN111141311B (zh) * 2019-12-31 2022-04-08 武汉中海庭数据技术有限公司 一种高精度地图定位模块的评估方法及系统

Also Published As

Publication number Publication date
CN109496265B (zh) 2023-04-28
US20190132560A1 (en) 2019-05-02
DE102017113471A1 (de) 2017-12-21
CN109496265A (zh) 2019-03-19
KR20190020086A (ko) 2019-02-27
KR102255017B1 (ko) 2021-05-24
US11388375B2 (en) 2022-07-12
WO2017220600A3 (de) 2018-03-01

Similar Documents

Publication Publication Date Title
WO2017220600A2 (de) Verfahren zur kalibrierung eines bilderfassenden sensors aus mindestens einer sensorkamera unter verwendung eines zeitlich kodierten mustertargets
DE102012112321B4 (de) Vorrichtung zum optischen Abtasten und Vermessen einer Umgebung
EP2710794B1 (de) Verfahren zur erzeugung und auswertung eines bilds
EP1197935B1 (de) Vorrichtung und Verfahren zur Erfassung von Objekten
EP2104904B1 (de) Verfahren und vorrichtung zur überwachung eines raumvolumens sowie kalibrierverfahren
WO2006024254A1 (de) Verfahren und vorrichtung zur darstellung eines digitalen bildes auf einer geometrisch und photometrisch nicht-trivialen oberfläche
DE102014208664A1 (de) Verfahren und vorrichtung zum verzerrungsfreien anzeigen einer fahrzeugumgebung eines fahrzeuges
DE112016001150T5 (de) Schätzung extrinsischer kameraparameter anhand von bildlinien
DE102008058279A1 (de) Verfahren und Vorrichtung zur Kompensation eines Rollwinkels
DE102015202863A1 (de) Verfahren und Vorrichtung zum verzerrungsfreien Anzeigen einer Fahrzeugumgebung eines Fahrzeuges
EP1946896B1 (de) Verfahren und Vorrichtung zum Justieren wenigstens einer Achse
DE102016124747A1 (de) Erkennen eines erhabenen Objekts anhand perspektivischer Bilder
DE102014219423B4 (de) Dynamisches Modell zur Kompensation von Verzeichnungen einer Windschutzscheibe
DE19848243A1 (de) Biegewinkelerfassungssystem
DE102014219428B4 (de) Selbstkalibrierung eines Stereokamerasystems im Auto
EP3073446A1 (de) Verfahren zum darstellen einer fahrzeugumgebung eines fahrzeuges
WO2018210672A1 (de) Verfahren zum kalibrieren eines optischen messaufbaus
DE102013226101A1 (de) Überwachungskameravorrichtung mit Tiefeninformationsbestimmung
EP3644280A1 (de) Verfahren zur ausrichtung einer kamera nach ihren extrinsischen parametern
EP3049757A1 (de) Fahrwerksvermessung bei umgebungslicht
DE102018209366B4 (de) Verfahren zur Bestimmung einer Position und/oder Orientierung einer Einrichtung
EP3728995A1 (de) Verfahren zum bestimmen von entfernungsinformation aus einer abbildung eines raumbereichs
DE102014013578A1 (de) Verfahren zum Vermessen wenigstens einer Person, insbesondere deren Körperhaltung und/oder Bewegung
WO2023222493A1 (de) Verfahren, computerprogramm und vorrichtung zur ausrichtung von kameras
EP3798969A1 (de) Verfahren zur verarbeitung von tiefenbildern, bildverarbeitungsvorrichtung und tiefenkamera

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17737491

Country of ref document: EP

Kind code of ref document: A2

ENP Entry into the national phase

Ref document number: 20197001700

Country of ref document: KR

Kind code of ref document: A

122 Ep: pct application non-entry in european phase

Ref document number: 17737491

Country of ref document: EP

Kind code of ref document: A2