WO2017157643A1 - Vorrichtung und verfahren zur kalibrierung einer lichtlaufzeitkamera - Google Patents

Vorrichtung und verfahren zur kalibrierung einer lichtlaufzeitkamera Download PDF

Info

Publication number
WO2017157643A1
WO2017157643A1 PCT/EP2017/054461 EP2017054461W WO2017157643A1 WO 2017157643 A1 WO2017157643 A1 WO 2017157643A1 EP 2017054461 W EP2017054461 W EP 2017054461W WO 2017157643 A1 WO2017157643 A1 WO 2017157643A1
Authority
WO
WIPO (PCT)
Prior art keywords
camera
light
distance
transit time
reference surface
Prior art date
Application number
PCT/EP2017/054461
Other languages
English (en)
French (fr)
Inventor
Stefan Becker
Original Assignee
pmdtechnologies ag
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by pmdtechnologies ag filed Critical pmdtechnologies ag
Priority to US16/080,550 priority Critical patent/US10488501B2/en
Priority to CN201780015532.4A priority patent/CN108700650B/zh
Publication of WO2017157643A1 publication Critical patent/WO2017157643A1/de

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/32—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated
    • G01S17/36—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated with phase comparison between the received signal and the contemporaneously transmitted signal
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G01S7/4811—Constructional features, e.g. arrangements of optical elements common to transmitter and receiver
    • G01S7/4813—Housing arrangements

Definitions

  • the invention relates to an apparatus and a method for calibrating a
  • a time of flight camera or a time of flight camera system according to the preamble of the independent claims.
  • Time-of-flight or 3D TOF camera systems may be included, which acquire a transit time information from the phase shift of an emitted and received radiation.
  • Light transit time or 3D TOF cameras are in particular PMD cameras with
  • PMD Photonic mixer
  • the PMD camera allows a flexible arrangement of the light source and the detector, which can be arranged both in a housing and separately.
  • the object of the invention is the accuracy of the distance measurement of a
  • a method for calibrating or / and evaluating a light transit time camera is provided by means of a reference surface, wherein the light transit time camera has a
  • Light transit time sensor consisting of an array of light transit time pixels, in which for the calibration or / and evaluation of the light transit time camera by translational
  • Distance changes are set different distances between the light runtime camera and the reference surface, with the steps:
  • This procedure has the advantage that for a calibration the time of flight camera does not have to be aligned with high precision in relation to the reference surface.
  • a point of reference on the light transit time sensor is calculated at the position of which the distance differences have a minimum.
  • An orientation of the light transit time sensor (22) or the time of flight camera (1, 20) is determined in relation to the reference surface (45) and based on the determined orientation of the light transit time sensor (22) calibration and / or evaluation of the light-time camera (1 , 20).
  • FPPN fixed pattern phase noise
  • FIG. 1 is a schematic view of a time-of-flight camera system
  • FIG. 2 shows a modulated integration of generated charge carriers
  • FIG. 3 shows a calibration device according to the invention
  • FIG. 1 shows a measurement situation for an optical distance measurement with a
  • Photocell camera as known for example from DE 197 04 496 AI.
  • the light transit time camera system 1 comprises a transmission unit or an illumination module 10 with an illumination 12 and an associated beam-shaping optical unit 15 as well as a reception unit or time-of-flight camera 20 with a reception optics 25 and a
  • the light transit time sensor 22 has at least one transit time pixel, preferably also a pixel array, and is designed in particular as a PMD sensor.
  • the receiving optic 25 typically consists of improving the imaging characteristics of a plurality of optical elements.
  • the beam-shaping optical system 15 of the transmitting unit 10 can be used, for example, as - -
  • Reflector or lens optics may be formed.
  • optical elements can also be dispensed with both on the receiving side and on the transmitting side.
  • the measurement principle of this arrangement is essentially based on the fact that, based on the phase shift of the emitted and received light, the transit time and thus the distance covered by the received light can be determined.
  • a phase shifter 35 is further provided between the modulator 30 and the light source 12, with which the base phase ⁇ of
  • Modulation signal Mo of the light source 12 can be shifted by defined phase positions (p va r.)
  • the light source 12 transmits
  • the modulation signal M 0 is mixed with the received signal S p2 , wherein from the
  • illumination source or light source 12 are preferably infrared light emitting diodes.
  • illumination source or light source 12 are preferably infrared light emitting diodes.
  • other radiation sources in other frequency ranges are conceivable, in particular, light sources in the visible frequency range are also considered.
  • the basic principle of the phase measurement is shown schematically in FIG.
  • the upper curve shows the time profile of the modulation signal Mo with which the illumination 12 and the light transit time sensor 22 are activated.
  • the light reflected by the object 40 as a received signal S p2 , is phase-shifted ⁇ ( ⁇ ) to the light transit time sensor 22 in accordance with its light transit time t L.
  • the light transit time sensor 22 collects the photonically generated signals
  • Gate Ga, Gb collected charges qa, qb can be the phase shift ⁇ ( ⁇ ) and thus determine a distance d of the object.
  • a comparable arrangement can basically also for evaluation and / or
  • Calibration of a distance sensor can be used.
  • a linear displacement unit which is normal, i. is oriented perpendicular to a planar reference surface known reflectivity in a low-scatter environment.
  • Stray light means here that the material or the color of the
  • Measurement structure non-reflective in the relevant light spectrum, usually near infrared, is.
  • the 3D camera to be measured is arranged on the moving part and moving the moving part together with the camera collects and evaluates data (raw data) of the camera at different intervals.
  • Track or measuring rail usually means a precise mechanical alignment of the camera to the reference surface / target.
  • the prerequisite is that the track is precisely aligned perpendicular to a planar reference surface or the target. This mechanical alignment is complicated and error-prone.
  • the core idea of the invention is to reduce the effort for a calibration / evaluation of a camera.
  • the invention is based on the following considerations: If a time-of-flight camera is moved a certain distance, e.g. 1000 mm, then the distance data of the camera should be able to determine exactly this difference. In principle, however, this only applies to the pixel whose viewing angle is normally aligned with the reference surface by the lens of the camera.
  • Such a pixel with an orthogonal viewing angle to the reference surface is characterized by having the smallest distance to the reference surface. Because every pixel has one - - has individual offset (fixed pattern phase noise (FPPN)), it is initially impossible without calibration to determine the pixel with the shortest distance to the reference surface by a direct measurement.
  • FPPN fixed pattern phase noise
  • Measuring errors such as the wiggling, at any intervals, set by the track, are used.
  • the method described above requires no particular precision in the mounting of the camera and is therefore very robust and provides a very high data quality.
  • the above-described method also makes it possible to improve the calibration of the FPPN of a light-time sensor with the aid of a lens calibration of the camera lens.
  • a lens calibration By means of a lens calibration, the actual distances of the individual image pixels to their respective target point on the reference surface can then be determined.
  • the FPPN is the difference between actual and measured distance. An alignment error in a conventional calibration thus leads to errors in the FPPN calibration.
  • the pixel position in the image has already been precisely determined, which is oriented orthogonally to the surface.
  • the data of the lens calibration it is possible to determine therefrom any rotation or orientation of the camera relative to the reference surface and, in turn, to correspondingly correct the actual distances to the FPPN determination.
  • the method according to the invention can be used identically if, instead of the camera, the reference surface is mounted on a linear moving unit.
  • the method enables very high precision of calibration data such as Wiggling and FPPN, without the need for a precise, complex mechanical alignment of a single camera. It only takes advantage of the fact that the linear displacement unit is precisely aligned with the planar measuring surface. - -
  • FIG. 3 shows schematically the procedure according to the invention.
  • the light runtime camera 20 is not arranged plane-parallel to the object or reference surface 45.
  • there is an orthogonal view vector OV which is aligned parallel to the normal of the reference surface.
  • This orthogonal view vector OV corresponds to an observation point on the light transit time sensor.
  • the Auftician has basically the minimum (optical) distance to the reference surface.
  • a calibration to determine distance data and differences for at least two distances d1, d2, (ij denotes the pixel ij in FIG
  • Over all pixels ij can then be a depth image or in this case determine a difference depth image.
  • a point / reference point on the light transit time sensor 22 is determined at which the distance difference di 2 or the difference depth image has a minimum.
  • the position of the pixel which has the minimum distance difference is determined as a reference point.
  • This procedure has the advantage that the position of the point of view, detached from the sensor resolution, can be determined more accurately and thus the orientation of the light transit time sensor and, as a result, the FPPN correction can be calculated more precisely.

Abstract

Verfahren zum Kalibrieren oder/und Evaluieren einer Lichtlaufzeitkamera (1, 20) mit Hilfe einer Referenzfläche (45), wobei die Lichtlaufzeitkamera (1, 20) einen Lichtlaufzeitsensor (22) bestehend aus einem Array von Lichtlaufzeitpixeln aufweist, bei dem zur Kalibrierung oder/und Evaluierung der Lichtlaufzeitkamera (1, 20) durch translatorische Abstandsänderungen verschiedene Abstände zwischen der Lichtlaufzeitkamera (1, 20) und der Referenzfläche (45) eingestellt werden, mit den Schritten: - Ermittlung von ersten Entfernungsdaten für einen ersten Abstand - Ermittlung von zweiten Entfernungsdaten für einen zweiten Abstand, - Berechnung von Entfernungsdifferenzen aus den ersten und zweiten Entfernungsdaten - Ermittlung einer Orientierung der Lichtlaufzeitkamera (1, 20) zur Referenzfläche (45) ausgehend von den berechneten Entfernungsdifferenzen.

Description

Vorrichtung und Verfahren zur Kalibrierung einer Lichtlaufzeitkamera
Die Erfindung betrifft eine Vorrichtung und ein Verfahren zur Kalibrierung einer
Lichtlaufzeitkamera oder eines Lichtlaufzeitkamerasystems nach Gattung der unabhängigen Ansprüche.
Mit Lichtlaufzeitkamera bzw. Lichtlaufzeitkamerasystem sollen insbesondere alle
Lichtlaufzeit- bzw. 3D-TOF-Kamerasysteme umfasst sein, die eine Laufzeitinformation aus der Phasenverschiebung einer emittierten und empfangenen Strahlung gewinnen. Als
Lichtlaufzeit bzw. 3D-TOF-Kameras sind insbesondere PMD-Kameras mit
Photomischdetektoren (PMD) geeignet, wie sie u.a. in der DE 197 04 496 AI beschrieben und beispielsweise von der Firma 'ifm electronic GmbH' oder 'PMD-Technologies GmbH' als 03D-Kamera bzw. als CamCube zu beziehen sind. Die PMD-Kamera erlaubt insbesondere eine flexible Anordnung der Lichtquelle und des Detektors, die sowohl in einem Gehäuse als auch separat angeordnet werden können.
Aufgabe der Erfindung ist es, die Genauigkeit der Entfernungsmessung eines
Lichtlaufzeitkamerasystems zu verbessern.
Die Aufgabe wird durch die erfindungsgemäße Vorrichtung und das erfindungsgemäße Verfahren gemäß der unabhängigen Ansprüche gelöst.
Vorteilhaft ist ein Verfahren zum Kalibrieren oder/und Evaluieren einer Lichtlaufzeitkamera mit Hilfe einer Referenzfiäche vorgesehen, wobei die Lichtlaufzeitkamera einen
Lichtlaufzeitsensor bestehend aus einem Array von Lichtlaufzeitpixeln aufweist, bei dem zur Kalibrierung oder/und Evaluierung der Lichtlaufzeitkamera durch translatorische
Abstandsänderungen verschiedene Abstände zwischen der Lichtlaufzeitkamera und der Referenzfläche eingestellt werden, mit den Schritten:
- Ermittlung von ersten Entfernungsdaten für einen ersten Abstand
- Ermittlung von zweiten Entfernungsdaten für einen zweiten Abstand,
- Berechnung von Entfernungsdifferenzen aus den ersten und zweiten Entfernungsdaten
- Ermittlung einer Orientierung der Lichtlaufzeitkamera (1, 20) zur Referenzfiäche (45) ausgehend von den berechneten Entfernungsdifferenzen.
Dieses Vorgehen hat den Vorteil, dass zu einer Kalibrierung die Lichtlaufzeitkamera nicht mit hoher Präzision in Relation zur Referenzfläche ausgerichtet werden braucht. - -
Es ist ferner vorgesehen, das ausgehend von den Entfernungsdifferenzen ein Aufpunkt auf dem Lichtlaufzeitsensor berechnet wird, an dessen Position die Entfernungsdifferenzen ein Minimum aufweisen.
Wobei ausgehend von der Position des bestimmten Aufpunkts oder/und eines um den
Aufpunkt liegenden Pixelbereichs eine Orientierung des Lichtlaufzeitsensors (22) bzw. der Lichtlaufzeitkamera (1, 20) in Relation zur Referenzfläche (45) ermittelt wird, und anhand der ermittelten Orientierung des Lichtlaufzeitsensors (22) eine Kalibrierung oder/und Evaluation der Licht laufzeitkamera (1, 20) erfolgt.
Besonders vorteilhaft ist es, wenn ausgehend von den erfassten Entfernungsdaten und der ermittelten Orientierung ein ,fixed pattern phase noise' (FPPN) ermittelt wird.
Ebenso vorteilhaft ist eine Vorrichtung zur Durchführung eines der vorgenannten Verfahren vorgesehen.
Nachfolgend wird die Erfindung anhand von Ausführungsbeispielen unter Bezugnahme auf die Zeichnungen näher erläutert.
Es zeigen:
Figur 1 schematisch ein Lichtlaufzeitkamerasystem,
Figur 2 eine modulierte Integration erzeugter Ladungsträger,
Figur 3 eine erfindungsgemäße Kalibriervorrichtung
Bei der nachfolgenden Beschreibung der bevorzugten Ausführungsformen bezeichnen gleiche Bezugszeichen gleiche oder vergleichbare Komponenten.
Figur 1 zeigt eine Messsituation für eine optische Entfernungsmessung mit einer
Lichtlaufzeitkamera, wie sie beispielsweise aus der DE 197 04 496 AI bekannt ist.
Das Lichtlaufzeitkamerasystem 1 umfasst eine Sendeeinheit bzw. ein Beleuchtungsmodul 10 mit einer Beleuchtung 12 und einer dazugehörigen Strahlformungsoptik 15 sowie eine Empfangseinheit bzw. Lichtlaufzeitkamera 20 mit einer Empfangsoptik 25 und einem
Lichtlaufzeitsensor 22.
Der Lichtlaufzeitsensor 22 weist mindestens ein Laufzeitpixel, vorzugsweise auch ein Pixel- Array auf und ist insbesondere als PMD-Sensor ausgebildet. Die Empfangsoptik 25 besteht typischerweise zur Verbesserung der Abbildungseigenschaften aus mehreren optischen Elementen. Die Strahlformungsoptik 15 der Sendeeinheit 10 kann beispielsweise als - -
Reflektor oder Linsenoptik ausgebildet sein. In einer sehr einfachen Ausgestaltung kann ggf. auch auf optische Elemente sowohl empfangs- als auch sendeseitig verzichtet werden.
Das Messprinzip dieser Anordnung basiert im Wesentlichen darauf, dass ausgehend von der Phasenverschiebung des emittierten und empfangenen Lichts die Laufzeit und somit die zurückgelegte Wegstrecke des empfangenen Lichts ermittelt werden kann. Zu diesem Zwecke werden die Lichtquelle 12 und der Licht laufzeitsensor 22 über einen Modulator 30
gemeinsam mit einem bestimmten Modulationssignal M0 mit einer Basisphasenlage φο beaufschlagt. Im dargestellten Beispiel ist ferner zwischen dem Modulator 30 und der Lichtquelle 12 ein Phasenschieber 35 vorgesehen, mit dem die Basisphase φο des
Modulationssignals Mo der Lichtquelle 12 um definierte Phasenlagen (pvar verschoben werden kann. Für typische Phasenmessungen werden vorzugsweise Phasenlagen von (p var = 0°, 90°, 180°, 270° verwendet.
Entsprechend des eingestellten Modulationssignals sendet die Lichtquelle 12 ein
intensitätsmoduliertes Signal Spl mit der ersten Phasenlage pl bzw. pl = φο + ( var aus. Dieses Signal Spl bzw. die elektromagnetische Strahlung wird im dargestellten Fall von einem Objekt 40 reflektiert und trifft aufgrund der zurückgelegten Wegstrecke entsprechend phasenverschoben Δφ(^) mit einer zweiten Phasenlage p2 = φο + (pvar + Δφ(^) als
Empfangssignal Sp2 auf den Licht laufzeitsensor 22. Im Lichtlaufzeitsensor 22 wird das Modulationssignal M0 mit dem empfangenen Signal Sp2 gemischt, wobei aus dem
resultierenden Signal die Phasenverschiebung bzw. die Objektentfernung d ermittelt wird.
Als Beleuchtungsquelle bzw. Lichtquelle 12 eignen sich vorzugsweise Infrarot-Leuchtdioden. Selbstverständlich sind auch andere Strahlungsquellen in anderen Frequenzbereichen denkbar, insbesondere kommen auch Lichtquellen im sichtbaren Frequenzbereich in Betracht.
Das Grundprinzip der Phasenmessung ist schematisch in Figur 2 dargestellt. Die obere Kurve zeigt den zeitlichen Verlauf des Modulationssignals Mo mit der die Beleuchtung 12 und der Lichtlaufzeitsensor 22 angesteuert werden. Das vom Objekt 40 reflektierte Licht trifft als Empfangssignal Sp2 entsprechend seiner Lichtlaufzeit tL phasenverschoben Δφ(ΐ^ auf den Lichtlaufzeitsensor 22. Der Lichtlaufzeitsensor 22 sammelt die photonisch erzeugten
Ladungen q über mehrere Modulationsperioden in der Phasenlage des Modulationssignals Mo in einem ersten Akkumulationsgate Ga und in einer um 180° verschobenen Phasenlage Mo + 180° in einem zweiten Akkumulationsgate Gb. Aus dem Verhältnis der im ersten und zweiten - -
Gate Ga, Gb gesammelten Ladungen qa, qb lässt sich die Phasenverschiebung Δφ(^) und somit eine Entfernung d des Objekts bestimmen.
Zur Charakterisierung von 2D-Kamera-Systemen ist es üblich eine solche Kamera und/oder ein Target auf einer linearen Verfahreinheit anzuordnen und gegeneinander zu verschieben. Üblicherweise ist es vorgesehen, das Target, beispielsweise ein geeignetes Test-Chart, gut zu beleuchten und die Kamera gegenüber dem Target zu verschieben. So wird vermieden, dass auch die Targetbeleuchtung mit verschoben werden muss.
Eine vergleichbare Anordnung kann grundsätzlich auch zur Evaluierung und/oder
Kalibrierung eines Abstandssensors herangezogen werden. Zur Vermessung von 3D-Kameras wird vorzugsweise eine Linear- Verfahreinheit verwendet, die normal, d.h. senkrecht, zu einer planaren Referenzfläche bekannter Reflektivität in einer streulichtarmen Umgebung ausgerichtet ist. Streulichtarm bedeutet hier, dass das Material oder die Farbe des
Messaufbaus nicht-reflektierend im relevanten Lichtspektrum, üblicherweise nahes Infrarot, ist. Die auszumessende 3D-Kamera ist auf der Verfahreinheit angeordnet und durch verschieben der Verfahreinheit mitsamt der Kamera werden Daten (Rohdaten) der Kamera in verschiedenen Abständen aufgenommen und ausgewertet.
Für eine präzise Evaluation von Restfehlern der Distanzmessung und/oder zur Kalibration von systematischen Messfehlern, die beispielsweise als so genanntes„Wiggling" bekannt sind, ist es erforderlich, präzise Referenzwerte zu messen. Bei einer oben genannten
Verfahreinheit bzw. Messschiene bedeutet das in der Regel, eine präzise mechanische Ausrichtung der Kamera gegenüber der Referenzfläche/Target. Voraussetzung ist, dass die Verfahreinheit präzise senkrecht gegenüber einer planaren Referenzfläche bzw. demTarget ausgerichtet ist. Diese mechanische Ausrichtung ist aufwendig und fehleranfällig.
Kernüberlegung der Erfindung ist es, den Aufwand für eine Kalibrierung/Evaluation einer Kamera zu verringern.
Die Erfindung geht aus von folgenden Überlegungen: Wird eine Lichtlaufzeitkamera um eine bestimmte Distanz verfahren, z.B. 1000 mm, dann sollte sich aus den Entfernungsdaten der Kamera exakt diese Differenz ermitteln können. Das gilt grundsätzlich allerdings nur für den Pixel, dessen Blickwinkel durch das Objektiv der Kamera normal auf die Referenzfläche ausgerichtet ist.
Ein solcher Pixel mit einem orthogonalen Blickwinkel auf die Referenzfläche zeichnet sich dadurch aus, der er den kleinsten Abstand zu Referenzfläche aufweist. Da jedes Pixel einen - - individuellen Offset besitzt (,fixed pattern phase noise' (FPPN)), ist es zunächst ohne Kalibration nicht möglich, den Pixel mit dem geringsten Abstand zur Referenzfläche durch eine direkte Messung zu ermitteln.
Erfindungsgemäß wird vorgeschlagen, dass die Differenzwerte zweier (oder mehrerer) Messungen in unterschiedlichen Distanzen ausgewertet werden. In einem solchen
Differenzbild ist das FPPN nicht mehr vorhanden. Durch die gegebene Präzision in der Ausrichtung der Verfahreinheit gegenüber der Referenzfläche ist gewährleistet, dass der Minimalwert im Differenzbild die Pixelposition definiert, die orthogonal auf die
Referenzfläche blickt. Diese Pixelposition kann zur Auswertung der systematischen
Messfehlern, beispielsweise des Wigglings, bei beliebigen Abständen, eingestellt durch die Verfahreinheit, herangezogen werden.
Die oben beschriebene Methode erfordert ausdrücklich keine besondere Präzision in der Montage der Kamera und ist daher sehr robust und liefert eine sehr hohe Datenqualität.
Die oben beschriebene Methode erlaubt es ferner, unter Zuhilfenahme einer Linsenkalibration des Kameraobjektivs die Kalibration des FPPNs eines Licht laufzeitsensors zu verbessern. Mittels einer Linsenkalibration lassen sich dann die tatsächlichen Abstände der einzelnen Bildpixel zu ihren jeweiligem Zielpunkt auf der Referenzfläche bestimmen.
Das FPPN ergibt sich als Differenz von tatsächlichem und gemessenem Abstand. Ein Ausrichtungsfehler bei einer herkömmlichen Kalibration führt somit zu Fehlern in der FPPN- Kalibration.
Durch die erfindungsgemäße Methode ist allerdings bereits die Pixelposition im Bild präzise bestimmt worden, die orthogonal auf die Fläche ausgerichtet ist. Mittels der Daten der Linsenkalibration lässt sich daraus eine eventuell vorhandene Rotation bzw. Orientierung der Kamera gegenüber der Referenzfläche bestimmen und daraus wiederum die tatsächlichen Abstände zur FPPN-Bestimmung entsprechend korrigieren.
Die erfindungsgemäße Methode ist identisch anwendbar, wenn an Stelle der Kamera die Referenzfläche auf einer linearen Verfahreinheit montiert ist.
Das Verfahren ermöglicht eine sehr hohe Präzision von Kalibrationsdaten wie Wiggling und FPPN, ohne dass eine präzise, aufwendige mechanische Ausrichtung einer einzelnen Kamera notwendig ist. Es wird lediglich ausgenutzt, dass die lineare Verfahreinheit präzise gegenüber der planaren Messfläche ausgerichtet ist. - -
Figur 3 zeigt schematisch das erfindungsgemäße Vorgehen. Im dargestellten Beispiel ist die Lichtlaufzeitkamera 20 nicht planparallel zum Objekt bzw. Referenzfläche 45 angeordnet. Im Bereich des Blickfeldes FOV (field of view) existiert jedoch ein orthogonaler Sichtvektor OV der parallel zur Normalen der Referenzfläche ausgerichtet ist. Dieser orthogonale Sichtvektor OV entspricht einem Aufpunkt auf dem Lichtlaufzeitsensor. Bei einer rein translatorischen Bewegung der Kamera 20 bleibt die parallele Ausrichtung des orthogonalen Sichtvektors OV zur Normalen der Referenzfläche 45 erhalten und auch die Position des Aufpunkts AP auf dem Lichtlaufzeitsensor ändert sich nicht. Der Aufpunkt weist grundsätzlich den minimalsten (optischen) Abstand zur Referenzfläche auf.
Erfindungsgemäß ist es für eine Kalibrierung vorgesehen, für mindestens zwei Abstände dl, d2 Entfernungsdaten und Differenzen zu ermitteln, (ij kennzeichnet das Pixel ij im
Sensorarray) d 12 ij — + FPPN) - (dUj + FFPN)
Figure imgf000008_0001
In bekannter Weise hebt sich durch die Differenzbildung das fixed pattern noise auf. Über alle Pixel ij lässt sich dann ein Tiefenbild bzw. in diesem Fall ein Differenztiefenbild ermitteln.
Zur Bestimmung der Orientierung des Lichtlaufzeitsensors 22 in Relation zur Referenzfläche 45 wird zunächst ein Punkt/ Aufpunkt auf dem Lichtlaufzeitsensor 22 bestimmt, an dem die Entfernungsdifferenz di2 bzw. das Differenztiefenbild ein Minimum aufweist.
In einer möglichen Ausgestaltung wird als Aufpunkt die Position des Pixels bestimmt, das die minimalste Entfernungsdifferenz aufweist.
Besonders vorteilhaft ist es jedoch vorgesehen, anhand der pixelindividuellen
Entfernungsdifferenzen einen Aufpunkt zu extrapolieren. Beispielsweise könnte das
Entfernungs-Minimum in einem hochskalierten und geglätteten Differenztiefenbild bestimmt werden. Dieses Vorgehen hat den Vorteil, dass die Position des Aufpunkts losgelöst von der Sensorauflösung genauer bestimmt und somit auch die Orientierung des Lichtlaufzeitsensors und im Ergebnis die FPPN-Korrektur präziser berechnen werden kann.
In Figur 3 ist der Einfachheit halber nur die Lichtlaufzeitkamera 20 gezeigt, grundsätzlich funktioniert das erfindungsgemäße Vorgehen auch, indem das vollständige
Lichtlaufzeitkamerasystem 1, mit Kamera 20 und Beleuchtung 10 gemeinsam translatorisch bewegt werden. . .
Bezugszeichen
1 Lichtlaufzeitkamerasystem
10 Beleuchtungsmodul
12 Beleuchtung
20 Empfänger, Lichtlaufzeitkamera
22 Lichtlaufzeitsensor
30 Modulator
35 Phasenschieber, Beleuchtungsphasenschieber
40 Objekt
45 Referenzfläche, Target
φ, A( (tL> laufzeitbedingte Phasenverschiebung
( Var Phasenlage
φο Basisphase
Mo Modulationssignal
pl erste Phase
p2 zweite Phase
Sp 1 Sendesignal mit erster Phase
Sp2 Empfangssignal mit zweiter Phase
Ga, Gb Integrationsknoten
d Objektdistanz
q Ladung
FOV field of view, Blickfeld
OV Orthogonaler Vektor

Claims

1. Verfahren zum Kalibrieren oder/und Evaluieren einer Licht laufzeitkamera (1 , 20) mit Hilfe einer Referenzfläche (45), wobei die Lichtlaufzeitkamera (1, 20) einen
Lichtlaufzeitsensor (22) bestehend aus einem Array von Lichtlaufzeitpixeln aufweist, bei dem zur Kalibrierung oder/und Evaluierung der Licht laufzeitkamera (1, 20) durch translatorische Abstandsänderungen verschiedene Abstände zwischen der
Lichtlaufzeitkamera (1, 20) und der Referenzfläche (45) eingestellt werden, mit den Schritten:
- Ermittlung von ersten Entfernungsdaten für einen ersten Abstand
- Ermittlung von zweiten Entfernungsdaten für einen zweiten Abstand,
- Berechnung von Entfernungsdifferenzen aus den ersten und zweiten
Entfernungsdaten
- Ermittlung einer Orientierung der Lichtlaufzeitkamera (1, 20) zur Referenzfläche (45) ausgehend von den berechneten Entfernungsdifferenzen.
2. Verfahren nach Anspruch 1 ,
bei dem ausgehend von den Entfernungsdifferenzen ein Aufpunkt (AP) auf dem Lichtlaufzeitsensor (22) berechnet wird, an dessen Position die
Entfernungsdifferenzen ein Minimum aufweisen.
3. Verfahren nach Anspruch 2,
bei dem ausgehend von der Position des bestimmten Aufpunkts oder/und eines um den Aufpunkt liegenden Pixelbereichs eine Orientierung des Lichtlaufzeitsensors (22) bzw. der Lichtlaufzeitkamera (1, 20) in Relation zur Referenzfläche (45) ermittelt wird.
4. Verfahren nach einem der vorhergehenden Ansprüche, bei dem ausgehend von den erfassten Entfernungsdaten und der ermittelten Orientierung des Lichtlaufzeitsensors (22) eine Kalibrierung oder/und Evaluation der Lichtlaufzeitkamera (1, 20) erfolgt.
5. Verfahren nach Anspruch 4, bei dem ausgehend von den erfassten Entfernungsdaten und der ermittelten Orientierung ein ,fixed pattern phase noise' (FPPN) ermittelt wird.
6. Vorrichtung zur Kalibrierung einer Licht laufzeitkamera (20) oder eines
Lichtlaufzeitkamerasystems (1) die zur Durchführung eines Verfahrens gemäß einem der Ansprüche 1 bis 5 ausgebildet ist,
mit einer Verfahreinheit zur Einstellung eines Abstandes zwischen der
Lichtlaufzeitkamera (1, 20) und einer Referenzfläche (45), mit einer Auswerteeinheit zur Kalibrierung der Lichtlaufzeitkamera (1, 20), die derart ausgebildet ist, dass ausgehend von Entfernungsdaten, die in unterschiedlichen Abständen ermittelt wurden,
eine Orientierung der Lichtlaufzeitkamera (1, 20) zur Referenzfläche (45) bestimmt wird.
PCT/EP2017/054461 2016-03-14 2017-02-27 Vorrichtung und verfahren zur kalibrierung einer lichtlaufzeitkamera WO2017157643A1 (de)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US16/080,550 US10488501B2 (en) 2016-03-14 2017-02-27 Device and method for calibrating a light propagation time camera
CN201780015532.4A CN108700650B (zh) 2016-03-14 2017-02-27 用于校准光传播时间摄像机的装置和方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102016204140.1A DE102016204140B3 (de) 2016-03-14 2016-03-14 Vorrichtung und Verfahren zur Kalibrierung einer Lichtlaufzeitkamera
DE102016204140.1 2016-03-14

Publications (1)

Publication Number Publication Date
WO2017157643A1 true WO2017157643A1 (de) 2017-09-21

Family

ID=58162616

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2017/054461 WO2017157643A1 (de) 2016-03-14 2017-02-27 Vorrichtung und verfahren zur kalibrierung einer lichtlaufzeitkamera

Country Status (4)

Country Link
US (1) US10488501B2 (de)
CN (1) CN108700650B (de)
DE (1) DE102016204140B3 (de)
WO (1) WO2017157643A1 (de)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110709722B (zh) * 2017-04-04 2023-11-24 Pmd技术股份公司 飞行时间摄像机
DE102018105877B3 (de) 2018-03-14 2019-02-28 Precitec Gmbh & Co. Kg Vorrichtung für die Bestimmung einer Ausrichtung einer optischen Vorrichtung eines Kohärenztomographen, Kohärenztomograph und Laserbearbeitungssystem
CN111090085B (zh) * 2018-10-24 2022-04-12 光宝电子(广州)有限公司 基于飞行时间测距的校正系统及其方法
CN111147142B (zh) * 2018-11-02 2021-02-26 光宝电子(广州)有限公司 误差校正系统及其方法
DE102018222796A1 (de) * 2018-12-21 2020-06-25 Conti Temic Microelectronic Gmbh Aufbau und Vermessung des Aufbaus zur Kalibrierung einer Kamera
CN109903241B (zh) * 2019-01-31 2021-06-15 武汉市聚芯微电子有限责任公司 一种tof相机系统的深度图像校准方法及系统
US11467270B2 (en) * 2019-03-27 2022-10-11 Asmpt Singapore Pte. Ltd. Apparatus and method for calibrating or testing an imaging device
KR20210032669A (ko) 2019-09-17 2021-03-25 삼성전자주식회사 비행 시간 센서 및 비행 시간 센서의 에러 보정 방법
EP4014066A4 (de) * 2019-12-11 2023-01-25 Samsung Electronics Co., Ltd. Elektronische vorrichtung und verfahren zur steuerung davon

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19704496A1 (de) 1996-09-05 1998-03-12 Rudolf Prof Dr Ing Schwarte Verfahren und Vorrichtung zur Bestimmung der Phasen- und/oder Amplitudeninformation einer elektromagnetischen Welle
US20150302570A1 (en) * 2014-04-22 2015-10-22 Microsoft Corporation Depth sensor calibration and per-pixel correction

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6108916A (en) * 1998-08-14 2000-08-29 Milwaukee Electric Tool Corporation Movable handle for a power tool
TW561241B (en) * 2002-08-22 2003-11-11 Ind Tech Res Inst Method and apparatus for calibrating laser three-dimensional digitizing sensor
US8970690B2 (en) * 2009-02-13 2015-03-03 Metaio Gmbh Methods and systems for determining the pose of a camera with respect to at least one object of a real environment
DE102009046124A1 (de) * 2009-10-28 2011-05-05 Ifm Electronic Gmbh Verfahren und Vorrichtung zur Kalibrierung eines 3D-TOF-Kamerasystems
GB2506685A (en) * 2012-10-08 2014-04-09 Melexis Technologies Nv Determining and/or Compensating Range Offset of a Range Sensor
WO2015000772A1 (en) * 2013-07-04 2015-01-08 Koninklijke Philips N.V. Determining orientation
EP2827099A1 (de) * 2013-07-16 2015-01-21 Leica Geosystems AG Lasertracker mit Zielsuchfunktionalität
US9864048B2 (en) * 2015-05-17 2018-01-09 Microsoft Technology Licensing, Llc. Gated time of flight camera

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19704496A1 (de) 1996-09-05 1998-03-12 Rudolf Prof Dr Ing Schwarte Verfahren und Vorrichtung zur Bestimmung der Phasen- und/oder Amplitudeninformation einer elektromagnetischen Welle
US20150302570A1 (en) * 2014-04-22 2015-10-22 Microsoft Corporation Depth sensor calibration and per-pixel correction

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
FILIBERTO CHIABRANDO ET AL: "Sensors for 3D Imaging: Metric Evaluation and Calibration of a CCD/CMOS Time-of-Flight Camera", SENSORS, vol. 9, no. 12, 11 December 2009 (2009-12-11), pages 10080 - 10096, XP055372288, DOI: 10.3390/s91210080 *
INGO SCHILLER: "Calibration of a PMD-camera using planar calibration pattern together with a multi-camera setup", 28 April 2008 (2008-04-28), XP055032500, Retrieved from the Internet <URL:http://www.mip.informatik.uni-kiel.de/tiki-download_file.php?fileId=943> [retrieved on 20120712] *
MARVIN LINDNER ET AL: "Lateral and Depth Calibration of PMD-Distance Sensors", 1 January 2006, ADVANCES IN VISUAL COMPUTING LECTURE NOTES IN COMPUTER SCIENCE;;LNCS, SPRINGER, BERLIN, DE, PAGE(S) 524 - 533, ISBN: 978-3-540-48626-8, XP019050872 *

Also Published As

Publication number Publication date
CN108700650B (zh) 2019-11-08
CN108700650A (zh) 2018-10-23
US10488501B2 (en) 2019-11-26
US20190072654A1 (en) 2019-03-07
DE102016204140B3 (de) 2017-04-06

Similar Documents

Publication Publication Date Title
WO2017157643A1 (de) Vorrichtung und verfahren zur kalibrierung einer lichtlaufzeitkamera
DE19800354A1 (de) Vorrichtung und Verfahren zur Entfernungsmessung
DE102013207649A1 (de) Lichtlaufzeitkamerasystem
DE102013207651A1 (de) Lichtlaufzeitkamerasystem
DE102013007886B3 (de) Time-of-Flight-System mit räumlich voneinander getrennten Time-of-Flight-Empfangseinrichtungen und Verfahren zur Abstandsmessung von einem Objekt
DE102010043723B4 (de) Lichtlaufzeitkamerasystem
DE102010038566A1 (de) Lichtlaufzeitkamera mit Funktionsüberwachung
DE102015217912A1 (de) Verfahren zur Laufzeitkalibrierung eines Lidarsensors
DE102016221184A1 (de) Kalibriervorrichtung und Kalibrierverfahren für ein Kamerasystem
DE102018108154A1 (de) Kalibriervorrichtung und Kalibrierverfahren für ein Kamerasystem
DE102015205927B4 (de) Entfernungsmesssystem mit Lichtlaufzeitmessung und Triangulation
DE102014204423B4 (de) Lichtlaufzeitkamerasystem
DE102014205585B4 (de) Verfahren zum Betreiben einer Lichtlaufzeitkamera und Lichtlaufzeitkamerasystem
DE102010003411A1 (de) Lichtlaufzeit-Kamera
DE102017116595A1 (de) Lidareinheit mit Montageelement zur Anbringung von Sendermodul und Empfängermodul
DE102016221186B4 (de) Kalibriervorrichtung für ein Lichtlaufzeitkamerasystem
DE102016222334B4 (de) Verfahren zur Ermittlung von Systemparametern eines Lichtlaufzeitkamerasystems
DE102013207652B4 (de) Lichtlaufzeitkamerasystem
DE102016219510A1 (de) Lichtlaufzeitkamerasystem
DE102013208248A1 (de) Verfahren zur Charakterisierung eines optischen Systems mit Hilfe eines 3D-Sensors
DE102020004989A1 (de) Verfahren zur Kalibrierung einer Beleuchtungseinrichtung und eines optischen Sensors, Steuereinrichtung zur Durchführung eines solchen Verfahrens, Kalibrierungsvorrichtung mit einer solchen Steuereinrichtung und Kraftfahrzeug mit einer solchen Kalibrierungsvorrichtung
DE102016214455A1 (de) Lichtschnittsensor
DE102016221183A1 (de) Kalibriervorrichtung für ein Lichtlaufzeitkamerasystem
DE102013214677B3 (de) Lichtlaufzeitkamerasystem
DE102015221326A1 (de) Lichtlaufzeitkamerasystem

Legal Events

Date Code Title Description
NENP Non-entry into the national phase

Ref country code: DE

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17707321

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 17707321

Country of ref document: EP

Kind code of ref document: A1