WO2021151572A1 - Verfahren zur kalibrierung einer kamera und/oder eines lidarsensors eines fahrzeugs oder eines roboters - Google Patents

Verfahren zur kalibrierung einer kamera und/oder eines lidarsensors eines fahrzeugs oder eines roboters Download PDF

Info

Publication number
WO2021151572A1
WO2021151572A1 PCT/EP2020/085898 EP2020085898W WO2021151572A1 WO 2021151572 A1 WO2021151572 A1 WO 2021151572A1 EP 2020085898 W EP2020085898 W EP 2020085898W WO 2021151572 A1 WO2021151572 A1 WO 2021151572A1
Authority
WO
WIPO (PCT)
Prior art keywords
camera
lidar sensor
pattern
virtual
real
Prior art date
Application number
PCT/EP2020/085898
Other languages
English (en)
French (fr)
Inventor
Phillipp SCHINDLER
Alexander Braun
Original Assignee
Daimler Ag
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Daimler Ag filed Critical Daimler Ag
Priority to US17/796,319 priority Critical patent/US12061295B2/en
Priority to KR1020227025367A priority patent/KR20220114648A/ko
Priority to JP2022542293A priority patent/JP7437513B2/ja
Priority to CN202080094579.6A priority patent/CN115023626A/zh
Publication of WO2021151572A1 publication Critical patent/WO2021151572A1/de

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2504—Calibration devices
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G01S7/4817—Constructional features, e.g. arrangements of optical elements relating to scanning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Definitions

  • the invention relates to a method for calibrating a camera and / or a lidar sensor of a vehicle or a robot according to the preamble of claim 1.
  • a method for calibrating a camera of a vehicle is known from DE 102016009327 A1, images of a vehicle environment being recorded by means of the camera.
  • a defined pattern is transmitted into the vehicle environment in at least one section of a detection area of the camera, which is detected by the camera.
  • an evaluation unit coupled to or integrated into the camera, distance values are determined for the pattern contained in the images captured by means of the camera, and the calibration of the camera is carried out on the basis of the distance values.
  • the lidar sensor is designed to be self-calibrating, the self-calibration being based on object tracking.
  • the invention is based on the object of specifying a method for calibrating a camera and / or a lidar sensor of a vehicle or a robot which is improved over the prior art.
  • images of a vehicle environment or robot environment are recorded by means of the camera.
  • a real pattern is emitted into the vehicle environment or robot environment in at least one section of a detection area of the camera, the real pattern being detected by means of the camera.
  • a virtual pattern generated in a coordinate system of the lidar sensor is projected onto a virtual plane in the vehicle environment or the robot environment by means of the lidar sensor.
  • the laser radiation emitted by the lidar sensor penetrates the virtual plane and the real pattern correlating with the virtual pattern is generated on a real projection surface.
  • the real pattern captured by the camera is calculated back to the virtual plane based on a surface profile of the real projection surface.
  • a rectified virtual pattern is generated therefrom in a coordinate system of the camera and the camera and / or the lidar sensor is or is calibrated on the basis of a comparison of the virtual pattern and the rectified virtual pattern.
  • optical distortions can arise due to a lens system and due to potential obscurations of the camera.
  • a camera is usually calibrated in vehicle production or robot production, for example using a checkerboard pattern. Correction values determined in the process are saved. However, aging of components, different temperature ranges and external mechanical influences can impair the correctness of these correction values.
  • the method enables the camera to be calibrated on almost any target, so that the calibration in the production process of the vehicle or robot, for example at the end of the production process, can be simplified.
  • the calibration can also be carried out while the vehicle or robot is in operation, for example during short breaks in operation.
  • a calibration option is thus also made possible over an operating period of the camera in order to also record aging effects.
  • a calibration can thus also be carried out and made up for when one of the camera and the lidar sensor is in operation, which is also advantageous in particular in the case of vehicles that are operated in an automated, in particular highly automated, autonomous or semi-autonomous manner.
  • Several calibrations can also be combined in one step. The result of taking the calibration into account is that the camera and the lidar sensor see the same object at the same location.
  • the robots mentioned are also designed, for example, as a vehicle, for example as a highly or fully automated passenger car, as a highly or fully automated transport vehicle or as a highly or fully automated truck.
  • the robots can also be industrial robots, automated lawn mowers, vacuum robots, mopping robots or automated watercraft.
  • the surface profile of the real projection surface is determined on the basis of distances to image points of the real pattern determined by means of the lidar sensor.
  • This enables the camera and / or the lidar sensor to be calibrated, in particular in what is known as a cross calibration, in which reflections from the lidar sensor are registered in the camera and used for a relative calibration of the camera to the lidar sensor, i.e. an error between the camera and the lidar sensor.
  • a virtual pattern can be specified on any object in the vicinity of the vehicle or robot, which is measured three-dimensionally by the lidar sensor, so that a so-called ground truth can be generated.
  • the calibration of the camera and the lidar sensor relative to one another enables objects recognized by means of the camera and the lidar sensor to be better assigned to one another and an increase in accuracy. If the camera and the lidar sensor are calibrated directly to one another, a relative error between them is reduced. By a direct calibration of the camera to the lidar sensor and vice versa, a direct fusion of raw data from the camera and the lidar sensor can be carried out. In addition, the fusion of independent data from the camera and the lidar sensor is also improved.
  • At least one transformation equation for converting the virtual pattern into the rectified virtual pattern and / or the rectified virtual pattern into the virtual pattern is determined in the comparison of the virtual pattern and the rectified virtual pattern. That is to say, transformation parameters for transforming one virtual pattern into the other are calculated on the basis of the two virtual patterns.
  • the transformation parameters can be used to transform environmental data determined by one of the sensor arrangements, that is to say the camera or the lidar sensor, into the coordinate system of the other sensor arrangement.
  • an azimuth error and / or elevation error of the camera and / or the lidar sensor is or is determined in the calibration. The camera can thus be calibrated relative to the lidar sensor in such a way that any differences between the optical axes of the camera and the lidar sensor, that is to say azimuth and elevation errors, can be compensated for.
  • a shift and rotation of the coordinate system of the lidar sensor with respect to the coordinate system of the camera, which result from the azimuth and elevation errors, can thus be determined.
  • This shift and rotation are taken into account when comparing the two virtual patterns, which are also shifted and rotated with respect to one another.
  • a particularly precise calibration can thus be carried out.
  • the laser radiation emitted by the lidar sensor is deflected to generate the virtual pattern by means of a rotating mirror of the lidar sensor.
  • the virtual pattern in the virtual plane and the real pattern can thus be generated particularly easily and reliably.
  • an integration is carried out over a plurality of images recorded one after the other by the camera.
  • This integration increases the resolution of the camera in the infrared range, which is advantageous because a camera designed as a conventional color camera has its highest sensitivity in the visible light range and, on the other hand, has a rather low sensitivity in the infrared range.
  • fluctuations in the synchronism of the rotating mirror can lead to the distances between lines of the virtual pattern and consequently the distances between lines of the real pattern varying.
  • the integration of several successively captured images of the camera enables these errors to be compensated.
  • the camera is switched to a calibration mode for calibration.
  • the virtual pattern is generated by means of infrared laser radiation, so that detection by means of the camera is possible.
  • images captured by means of the camera are generated by means of a camera's own infrared light filter on the camera filtered light radiation.
  • the infrared light filter reduces interference and increases color quality.
  • an infrared light filter is used which is permeable to infrared laser radiation emitted by the lidar sensor and reflected by the real projection surface, so that the real pattern can be detected.
  • the infrared light filter in a calibration mode of the camera, is switched to be transparent to infrared laser radiation emitted by the lidar sensor and reflected by the real projection surface.
  • the infrared light filter can be used during normal operation of the camera to reduce the interference and to increase the color quality and can be deactivated in the calibration mode for optimized detection of the infrared laser radiation emitted by the lidar sensor and reflected by the projection surface.
  • FIG. 1 schematically shows a perspective illustration of a vehicle, a virtual model and a real model.
  • FIG. 2 schematically shows a block diagram of a device for calibrating a camera and / or a lidar sensor of a vehicle.
  • FIG. 1 shows a perspective illustration of a vehicle 1, a virtual pattern M v and a real pattern M r .
  • FIG. 2 shows a block diagram of a possible exemplary embodiment of a device 4 for calibrating a camera 3 and / or a lidar sensor 2.1 of the vehicle 1.
  • the following explanations can also be applied analogously to robots which include at least one camera 3 and / or at least one lidar sensor 2.1.
  • Such robots are also designed, for example, as a vehicle, for example as a highly or fully automated passenger car, as a highly or fully automated transport vehicle or as a highly or fully automated truck.
  • the robots can also be industrial robots, automated lawn mowers, vacuum robots, mopping robots or automated watercraft.
  • the vehicle 1 comprises a lidar 2 with at least one lidar sensor 2.1 and a camera 3, the lidar 2 and the camera 3 being designed to detect the surroundings of the vehicle.
  • the device 4 comprises the lidar 2, the camera 3 and a processing unit 5.
  • the aim of the calibration is to calibrate the camera 3 relative to the lidar sensor 2.1 in such a way that any differences between the optical axes of the camera 3 and the lidar sensor 2.1, i.e. azimuth and elevation errors, are compensated, so that the camera 3 and the lidar sensor 2.1 see the same object in the same place.
  • a virtual plane E v is defined in front of the vehicle 1, which is in the detection range of the camera 3 and the lidar sensor 2.1.
  • Infrared laser radiation is emitted by means of the lidar sensor 2.1 and the virtual pattern M v is thus generated on the virtual plane E v.
  • the virtual pattern M v is, for example, a checkerboard pattern.
  • the virtual pattern M v is generated in a coordinate system of the lidar sensor 2.1.
  • the infrared laser radiation penetrates the virtual plane E v , so that a real pattern M r correlating with the virtual pattern M v is projected onto a projection area A in the vehicle environment, for example onto a road surface. This projected real pattern M r is distorted compared to the virtual pattern M v , since the projection surface A on which the real pattern M r is created is not plane-parallel to the virtual plane E v .
  • the lidar 2 or the lidar sensor 2.1 has a rotating mirror with which the infrared laser radiation is deflected over a scene to be scanned.
  • a distance d to individual image points of the projected real pattern M r is determined by means of the lidar sensor 2.1.
  • the processing unit 5 a The surface course of the projection area A is determined three-dimensionally and a so-called ground truth is generated.
  • At least one image B of the real pattern M r is captured by means of the camera 3.
  • the recorded real pattern M v is rectified by means of the processing unit 5 by back-calculating how it would look on the virtual plane E v.
  • the result of this back calculation is a rectified virtual pattern M ev calculated back in the coordinate system of the camera 3.
  • the camera 3 is switched to a calibration mode for calibration. It is also possible for the camera 3 to have an infrared light filter in order to reduce interference and / or to increase a color quality.
  • This infrared light filter is designed, for example, in such a way that it is either transparent to the reflected IR laser pulses or that it can be switched into a state that is transparent to the infrared laser radiation of the lidar sensor 2.1 in the calibration mode of the camera 3.
  • the coordinate system of the lidar sensor 2.1 is shifted and rotated with respect to the coordinate system of the camera 3.
  • the two virtual patterns M v , M ev are therefore also shifted and rotated relative to one another.
  • Transformation equations for converting the one virtual pattern M v , M ev into the other virtual pattern M ev , M v are determined from the two virtual patterns M v , M ev. That is to say, transformation parameters P of a coordinate transformation are determined with which the data captured by the camera 3 are converted into the The coordinate system of the lidar sensor 2.1 can be transformed or with which the data recorded by the lidar sensor 2.1 can be transformed into the coordinate system of the camera 3.
  • the environmental data determined by the lidar sensor 2.1 or the camera 3 are then transformed into the coordinate system of the respective other sensor during regular operation.
  • the lidar sensor 2.1 and the camera 3 then see the same object at the same location.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

Die Erfindung betrifft ein Verfahren zur Kalibrierung einer Kamera (3) und/oder eines Lidarsensors (2.1) eines Fahrzeugs (1) oder Roboters, wobei mittels der Kamera (3) Bilder (B) einer Fahrzeugumgebung oder Roboterumgebung erfasst werden, mittels zumindest eines Lidarsensors (2.1) ein reales Muster (Mr) in die Fahrzeugumgebung oder Roboterumgebung in zumindest einen Abschnitt eines Erfassungsbereichs der Kamera (3) ausgesendet wird und das reale Muster (Mr) mittels der Kamera (3) erfasst wird. Erfindungsgemäß wird mittels des Lidarsensors (2.1) ein in einem Koordinatensystem des Lidarsensors (2.1) erzeugtes virtuelles Muster (Mv) auf eine virtuelle Ebene (Ev) in der Fahrzeugumgebung oder Roboterumgebung projiziert, mittels des Lidarsensors (2.1) ausgesendete Laserstrahlung die virtuelle Ebene (Ev) durchdringt und auf einer realen Projektionsfläche (A) das mit dem virtuellen Muster (Mv) korrelierende reale Muster (Mr) erzeugt wird, das mittels der Kamera (3) erfasste reale Muster (Mr) basierend auf einem Oberflächenverlauf der realen Projektionsfläche (A) auf die virtuelle Ebene (Ev) rückgerechnet wird und daraus in einem Koordinatensystem der Kamera (3) ein entzerrtes virtuelles Muster (Mev) erzeugt wird und anhand eines Vergleichs des virtuellen Musters (Mv) und des entzerrten virtuellen Musters (Mev) die Kamera (3) und/oder der Lidarsensor (2.1) kalibriert werden bzw. wird.

Description

Verfahren zur Kalibrierung einer Kamera und/oder eines Lidarsensors eines Fahrzeugs oder eines Roboters
Die Erfindung betrifft ein Verfahren zur Kalibrierung einer Kamera und/oder eines Lidarsensors eines Fahrzeugs oder eines Roboters gemäß dem Oberbegriff des Anspruchs 1.
Aus der DE 102016009327 A1 sind ist ein Verfahren zur Kalibrierung einer Kamera eines Fahrzeugs bekannt, wobei mittels der Kamera Bilder einer Fahrzeugumgebung erfasst werden. Mittels zumindest eines Lidarsensors wird ein definiertes Muster in die Fahrzeugumgebung in zumindest einen Abschnitt eines Erfassungsbereichs der Kamera ausgesendet, welches mittels der Kamera erfasst wird. Mittels einer mit der Kamera gekoppelten oder in diese integrierten Auswerteeinheit werden zu dem in mittels der Kamera erfassten Bildern enthaltenen Muster Entfernungswerte ermittelt und anhand der Entfernungswerte wird die Kalibrierung der Kamera durchgeführt. Der Lidarsensor ist selbstkalibrierend ausgebildet, wobei die Selbstkalibrierung auf einer Objektverfolgung basiert.
Der Erfindung liegt die Aufgabe zu Grunde, ein gegenüber dem Stand der Technik verbessertes Verfahren zur Kalibrierung einer Kamera und/oder eines Lidarsensors eines Fahrzeugs oder eines Roboters anzugeben.
Die Aufgabe wird erfindungsgemäß gelöst durch ein Verfahren, welches die im Anspruch 1 angegebenen Merkmale aufweist.
Vorteilhafte Ausgestaltungen der Erfindung sind Gegenstand der Unteransprüche.
In einem Verfahren zur Kalibrierung einer Kamera und/oder eines Lidarsensors eines Fahrzeugs oder eines Roboters werden mittels der Kamera Bilder einer Fahrzeugumgebung oder Roboterumgebung erfasst. Mittels zumindest eines Lidarsensors wird ein reales Muster in die Fahrzeugumgebung oder Roboterumgebung in zumindest einen Abschnitt eines Erfassungsbereichs der Kamera ausgesendet, wobei das reale Muster mittels der Kamera erfasst wird.
Erfindungsgemäß wird mittels des Lidarsensors ein in einem Koordinatensystem des Lidarsensors erzeugtes virtuelles Muster auf eine virtuelle Ebene in der Fahrzeugumgebung oder Roboterumgebung projiziert. Dabei durchdringt mittels des Lidarsensors ausgesendete Laserstrahlung die virtuelle Ebene und auf einer realen Projektionsfläche wird das mit dem virtuellen Muster korrelierende reale Muster erzeugt. Das mittels der Kamera erfasste reale Muster wird basierend auf einem Oberflächenverlauf der realen Projektionsfläche auf die virtuelle Ebene rückgerechnet. Daraus wird in einem Koordinatensystem der Kamera ein entzerrtes virtuelles Muster erzeugt und anhand eines Vergleichs des virtuellen Musters und des entzerrten virtuellen Musters werden bzw. wird die Kamera und/oder der Lidarsensor kalibriert.
Bei mittels Kameras erfassten Bildern können optische Verzerrungen aufgrund eines Linsensystems und aufgrund potenzieller Abdeckungen der Kamera entstehen. Um die Entstehung solcher optischen Verzerrungen zu vermeiden, erfolgt üblicherweise in einer Fahrzeugproduktion oder Roboterproduktion eine Kalibrierung einer Kamera, beispielsweise anhand eines Schachbrettmusters. Dabei ermittelte Korrekturwerte werden gespeichert. Diese Korrekturwerte können jedoch durch Alterung von Komponenten, verschiedene Temperaturbereiche sowie äußere mechanische Einflüsse in ihrer Korrektheit beeinträchtigt werden.
Das Verfahren ermöglicht eine Kalibrierung der Kamera auf nahezu beliebigen Zielen, so dass die Kalibrierung im Produktionsprozess des Fahrzeugs oder Roboters, beispielsweise am Ende des Produktionsprozesses, vereinfacht werden kann. Darüber hinaus kann die Kalibrierung auch während eines Betriebs des Fahrzeugs oder Roboters, beispielsweise in kurzen Betriebspausen, durchgeführt werden. Es wird somit auch eine Kalibriermöglichkeit über eine Betriebsdauer der Kamera ermöglicht, um auch Alterungseffekte zu erfassen. Somit kann auch im Betrieb eines der Kamera und des Lidarsensors eine Kalibrierung ausgeführt und nachgeholt werden, was insbesondere auch bei automatisiert, insbesondere hochautomatisiert, autonom oder teilautonom, betriebenen Fahrzeugen vorteilhaft ist. Auch können mehrere Kalibrierungen in einem Schritt kombiniert werden. Ergebnis einer Berücksichtigung der Kalibrierung ist, dass die Kamera und der Lidarsensor das gleiche Objekt am gleichen Ort sehen. Die genannten Roboter sind beispielsweise ebenfalls als Fahrzeug, beispielsweise als hoch- oder vollautomatisierter Personenkraftwagen, als hoch- oder vollautomatisiertes Transportfahrzeug oder als hoch- oder vollautomatisierter Lastkraftwagen ausgebildet. Auch können die Roboter Industrieroboter, automatisierte Rasenmäher, Saugroboter, Wischroboter oder automatisierte Wasserfahrzeuge sein.
In einer möglichen Ausgestaltung des Verfahrens wird der Oberflächenverlauf der realen Projektionsfläche anhand von mittels des Lidarsensors ermittelten Abständen zu Bildpunkten des realen Musters ermittelt. Dies ermöglicht eine Kalibrierung der Kamera und/oder des Lidarsensors insbesondere in einer so genannten Kreuzkalibrierung, bei welcher Reflexionen des Lidarsensors in der Kamera registriert und für eine relative Kalibrierung der Kamera zum Lidarsensor, das heißt einem Fehler zwischen Kamera und Lidarsensor, verwendet werden. Basierend auf den detektierten Lidar-Reflexen in der Kamera kann ein virtuelles Muster auf einem beliebigen Objekt in der Umgebung des Fahrzeugs oder Roboters vorgegeben werden, welches durch den Lidarsensor dreidimensional vermessen wird, so dass eine so genannte Ground Truth erzeugt werden kann. Die Kalibrierung der Kamera und des Lidarsensors relativ zueinander ermöglicht, dass mittels der Kamera und des Lidarsensors erkannte Objekte einander besser zugeordnet werden können und eine Genauigkeit steigt. Wenn die Kamera und der Lidarsensors direkt aufeinander kalibriert werden, reduziert sich ein relativer Fehler zwischen diesen. Durch eine somit erzeugte direkte Kalibrierung der Kamera auf den Lidarsensor und andersherum kann eine direkte Fusion von Rohdaten der Kamera und des Lidarsensors durchgeführt werden. Darüber hinaus wird auch die Fusion von unabhängigen Daten der Kamera und des Lidarsensors verbessert.
In einerweiteren möglichen Ausgestaltung des Verfahrens wird in dem Vergleich des virtuellen Musters und des entzerrten virtuellen Musters zumindest eine Transformationsgleichung zur Umrechnung des virtuellen Musters in das entzerrte virtuelle Muster und/oder des entzerrten virtuellen Musters in das virtuelle Muster ermittelt. Das heißt, es werden anhand der beiden virtuellen Muster Transformationsparameter zur Transformation des einen virtuellen Musters in das andere berechnet. Die Transformationsparameter können verwendet werden, um von einer der Sensoranordnungen, das heißt der Kamera oder des Lidarsensors, ermittelte Umgebungsdaten in das Koordinatensystem der anderen Sensoranordnung zu transformieren. In einerweiteren möglichen Ausgestaltung des Verfahrens werden bzw. wird in der Kalibrierung ein Azimutfehler und/oder Elevationsfehler der Kamera und/oder des Lidarsensors ermittelt. Somit kann die Kamera derart relativ zum Lidarsensor kalibriert werden, dass etwaige Unterschiede zwischen den optischen Achsen der Kamera und des Lidarsensors, das heißt Azimut- und Elevationsfehler, ausgeglichen werden können.
Somit können eine Verschiebung und Verdrehung des Koordinatensystems des Lidarsensors gegenüber dem Koordinatensystem der Kamera ermittelt werden, welche sich aus dem Azimut- und Elevationsfehler ergeben. Diese Verschiebung und Verdrehung werden bei dem Vergleich der beiden virtuellen Muster berücksichtigt, welche ebenfalls gegeneinander verschoben und verdreht sind. Somit kann eine besonders genaue Kalibrierung durchgeführt werden.
In einerweiteren möglichen Ausgestaltung des Verfahrens wird zur Erzeugung des virtuellen Musters mittels eines rotierenden Spiegels des Lidarsensors die mittels des Lidarsensors ausgesendete Laserstrahlung abgelenkt. Somit sind das virtuelle Muster in der virtuellen Ebene und das reale Muster besonders einfach und zuverlässig erzeugbar.
In einerweiteren möglichen Ausgestaltung des Verfahrens wird bei der Erfassung des realen Musters mittels der Kamera eine Integration über mehrere nacheinander erfasste Bilder der Kamera durchgeführt. Durch diese Integration wird eine Auflösung der Kamera im Infrarot-Bereich erhöht, was vorteilhaft ist, da eine Kamera herkömmliche Farbkamera ausgebildete Kamera ihre höchste Empfindlichkeit im sichtbaren Lichtbereich aufweist und im Infrarot-Bereich dagegen eine eher geringe Empfindlichkeit aufweist. Weiterhin können Gleichlaufschwankungen des rotierenden Spiegels dazu führen, dass Abstände zwischen Linien des virtuellen Musters und mithin die Abstände zwischen Linien des realen Musters variieren. Die Integration über mehrere nacheinander erfasste Bilder der Kamera ermöglicht eine Kompensation dieser Fehler.
In einerweiteren möglichen Ausgestaltung des Verfahrens wird die Kamera zur Kalibrierung in einen Kalibriermodus geschaltet.
In einerweiteren möglichen Ausgestaltung des Verfahrens wird das virtuelle Muster mittels Infrarot-Laserstrahlung erzeugt, so dass eine Erfassung mittels der Kamera möglich ist.
In einerweiteren möglichen Ausgestaltung des Verfahrens wird zur Erzeugung mittels der Kamera erfasster Bilder mittels eines kameraeigenen Infrarotlichtfilters auf die Kamera treffende Lichtstrahlung gefiltert. Mittels des Infrarotlichtfilters werden Interferenzen verringert und eine Farbqualität erhöht.
In einer weiteren möglichen Ausgestaltung des Verfahrens wird ein Infrarotlichtfilter verwendet, welcher durchlässig für eine von dem Lidarsensor ausgesendete und von der realen Projektionsfläche reflektierte Infrarot-Laserstrahlung ist, so dass eine Erfassung des realen Musters möglich ist.
In einer weiteren möglichen Ausgestaltung des Verfahrens wird der Infrarotlichtfilter in einem Kalibriermodus der Kamera durchlässig für eine von dem Lidarsensor ausgesendete und von der realen Projektionsfläche reflektierte Infrarot-Laserstrahlung geschaltet. Somit kann der Infrarotlichtfilter während eines normalen Betriebs der Kamera zur Verringerung der Interferenzen und zur Erhöhung der Farbqualität verwendet werden und im Kalibriermodus zur optimierten Erfassung der mittels des Lidarsensors ausgesendeten und von der Projektionsfläche reflektierten Infrarot-Laserstrahlung deaktiviert werden.
Ausführungsbeispiele der Erfindung werden im Folgenden anhand von Zeichnungen näher erläutert.
Dabei zeigt:
Fig. 1 schematisch eine perspektivische Darstellung eines Fahrzeugs, eines virtuellen Musters und eines realen Musters.
Fig. 2 schematisch ein Blockschaltbild einer Vorrichtung zur Kalibrierung einer Kamera und/oder eines Lidarsensors eines Fahrzeugs.
Einander entsprechende Teile sind in allen Figuren mit den gleichen Bezugszeichen versehen.
In Figur 1 ist eine perspektivische Darstellung eines Fahrzeugs 1 , eines virtuellen Musters Mv und eines realen Musters Mr dargestellt. Figur 2 zeigt ein Blockschaltbild eines möglichen Ausführungsbeispiels einer Vorrichtung 4 zur Kalibrierung einer Kamera 3 und/oder eines Lidarsensors 2.1 des Fahrzeugs 1. Die folgenden Ausführungen sind analog auch auf Roboter, welche zumindest eine Kamera 3 und/oder zumindest einen Lidarsensor2.1 umfassen, übertragbar. Solche Roboter sind beispielsweise ebenfalls als Fahrzeug, beispielsweise als hoch- oder vollautomatisierter Personenkraftwagen, als hoch- oder vollautomatisiertes Transportfahrzeug oder als hoch- oder vollautomatisierter Lastkraftwagen ausgebildet. Auch können die Roboter Industrieroboter, automatisierte Rasenmäher, Saugroboter, Wischroboter oder automatisierte Wasserfahrzeuge sein.
Das Fahrzeug 1 umfasst ein Lidar 2 mit zumindest einem Lidarsensor 2.1 und eine Kamera 3, wobei das Lidar2 und die Kamera 3 zur Erfassung einer Fahrzeugumgebung ausgebildet sind.
Die Vorrichtung 4 umfasst das Lidar 2, die Kamera 3 und eine Verarbeitungseinheit 5.
Ziel der Kalibrierung ist es, die Kamera 3 derart relativ zum Lidarsensor 2.1 zu kalibrieren, dass etwaige Unterschiede zwischen optischen Achsen der Kamera 3 und des Lidarsensors 2.1, das heißt Azimut- und Elevationsfehler, ausgeglichen werden, so dass die Kamera 3 und der Lidarsensor 2.1 das gleiche Objekt am gleichen Ort sehen.
Hierzu wird eine virtuelle Ebene Ev vor dem Fahrzeug 1 definiert, die im Erfassungsbereich der Kamera 3 und des Lidar-Sensors 2.1 liegt. Mittels des Lidarsensors 2.1 wird Infrarot-Laserstrahlung emittiert und so das virtuelle Muster Mv auf der virtuellen Ebene Ev erzeugt. Das virtuelle Muster Mv ist beispielsweise ein Schachbrettmuster. Das virtuelle Muster Mvwird dabei in einem Koordinatensystem des Lidarsensors 2.1 generiert. Die Infrarot-Laserstrahlung durchdringt die virtuelle Ebene Ev, so dass ein mit dem virtuellen Muster Mv korrelierendes reales Muster Mr auf eine Projektionsfläche A in der Fahrzeugumgebung, beispielsweise auf ein Straßenoberfläche, projiziert wird. Dieses projizierte reale Muster Mr ist gegenüber dem virtuellen Muster Mv verzerrt, da die Projektionsfläche A, auf der das reale Muster Mr entsteht, nicht planparallel zur virtuellen Ebene Ev ist.
In einer möglichen Ausgestaltung weist das Lidar 2 bzw. der Lidarsensor 2.1 einen rotierenden Spiegel auf, mit dem die Infrarotlaserstrahlung über eine abzutastende Szene abgelenkt wird.
Mittels des Lidarsensors 2.1 wird ein Abstand d zu einzelnen Bildpunkten des projizierten realen Musters Mr ermittelt. Damit wird mittels der Verarbeitungseinheit 5 ein Oberflächenverlauf der Projektionsfläche A dreidimensional ermittelt und ein so genannter Ground Truth erzeugt.
Mittels der Kamera 3 wird zumindest ein Bild B des realen Musters Mr erfasst. Basierend auf dem ermittelten Oberflächenverlauf der Projektionsfläche A wird das erfasste reale Muster Mv mittels der Verarbeitungseinheit 5 entzerrt, indem rückgerechnet wird, wie dieses auf der virtuellen Ebene Ev aussehen würde. Das Ergebnis dieser Rückrechnung ist ein im Koordinatensystem der Kamera 3 rückgerechnetes entzerrtes virtuelles Muster Mev.
Da Gleichlaufschwankungen des rotierenden Spiegels des Lidars 2 dazu führen können, dass Abstände zwischen den Linien des virtuellen Musters Mv und somit Abstände zwischen Linien des realen Musters Mr variieren, wird zur Kompensation dieser Fehler bei der Erfassung des realen Musters Mr in einer möglichen Ausgestaltung eine Integration über mehrere Bilder B der Kamera 3 vorgenommen. Durch diese Integration wird auch die Auflösung der Kamera 3 im Infrarotbereich erhöht, was vorteilhaft ist, da eine als herkömmliche Farbkamera ausgebildete Kamera 3 ihre höchste Empfindlichkeit im sichtbaren Lichtbereich aufweist und im Infrarotbereich eine eher geringe Empfindlichkeit aufweist.
In einer weiteren möglichen Ausgestaltung wird die Kamera 3 zur Kalibrierung in einen Kalibriermodus geschaltet. Weiterhin ist es möglich, dass die Kamera 3 einen Infrarotlichtfilter aufweist, um Interferenzen zu verringern und/oder eine Farbqualität zu erhöhen. Dieser Infrarotlichtfilter ist beispielsweise derart ausgelegt, dass er entweder durchlässig für die reflektierten IR-Laserimpulse ist oder dass er im Kalibriermodus der Kamera 3 in einen für die Infrarot-Laserstrahlung des Lidarsensors 2.1 durchlässigen Zustand schaltbar ist.
Aufgrund eines Azimut- und Elevationsfehlers ist das Koordinatensystem des Lidarsensors 2.1 gegenüber dem Koordinatensystem der Kamera 3 verschoben und verdreht. Daher sind auch die beiden virtuellen Muster Mv, Mev gegeneinander verschoben und verdreht.
Aus den beiden virtuellen Mustern Mv, Mev werden Transformationsgleichungen zur Umrechnung des einen virtuellen Musters Mv, Mev in das andere virtuelle Mustern Mev, Mv ermittelt. Das heißt, es werden Transformationsparameter P einer Koordinatentransformation ermittelt, mit der die von der Kamera 3 erfassten Daten in das Koordinatensystem des Lidarsensors 2.1 transformiert werden können oder mit der die vom Lidarsensor 2.1 erfassten Daten in das Koordinatensystem der Kamera 3 transformiert werden können.
Mit den ermittelten Transformationsparametern P werden dann während eines regulären Betriebs die vom Lidarsensor 2.1 oder der Kamera 3 ermittelten Umgebungsdaten in das Koordinatensystem des jeweils anderen Sensors transformiert. Der Lidarsensor 2.1 und die Kamera 3 sehen dann am gleichen Ort das gleiche Objekt.

Claims

Patentansprüche
1. Verfahren zur Kalibrierung einer Kamera (3) und/oder eines Lidarsensors (2.1) eines Fahrzeugs (1) oder Roboters, wobei
- mittels der Kamera (3) Bilder (B) einer Fahrzeugumgebung oder Roboterumgebung erfasst werden,
- mittels zumindest eines Lidarsensors (2.1) ein reales Muster (Mr) in die Fahrzeugumgebung oder Roboterumgebung in zumindest einen Abschnitt eines Erfassungsbereichs der Kamera (3) ausgesendet wird und
- das reale Muster (Mr) mittels der Kamera (3) erfasst wird, dadurch gekennzeichnet, dass
- mittels des Lidarsensors (2.1) ein in einem Koordinatensystem des Lidarsensors (2.1) erzeugtes virtuelles Muster (Mv) auf eine virtuelle Ebene (Ev) in der Fahrzeugumgebung oder Roboterumgebung projiziert wird,
- mittels des Lidarsensors (2.1) ausgesendete Laserstrahlung die virtuelle Ebene (Ev) durchdringt und auf einer realen Projektionsfläche (A) das mit dem virtuellen Muster (Mv) korrelierende reale Muster (Mr) erzeugt wird,
- das mittels der Kamera (3) erfasste reale Muster (Mr) basierend auf einem Oberflächenverlauf der realen Projektionsfläche (A) auf die virtuelle Ebene (Ev) rückgerechnet wird und daraus in einem Koordinatensystem der Kamera (3) ein entzerrtes virtuelles Muster (Mev) erzeugt wird und
- anhand eines Vergleichs des virtuellen Musters (Mv) und des entzerrten virtuellen Musters (Mev) die Kamera (3) und/oder der Lidarsensor (2.1) kalibriert werden bzw. wird.
2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass der Oberflächenverlauf der realen Projektionsfläche (A) anhand von mittels des Lidarsensors (2.1) ermittelten Abständen zu Bildpunkten des realen Musters (Mr) ermittelt wird.
3. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass in dem Vergleich des virtuellen Musters (Mv) und des entzerrten virtuellen Musters (Mev) zumindest eine Transformationsgleichung zur Umrechnung des virtuellen Musters (Mv) in das entzerrte virtuelle Muster (Mev) und/oder des entzerrten virtuellen Musters (Mev) in das virtuelle Muster (Mv) ermittelt wird.
4. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass in der Kalibrierung ein Azimutfehler und/oder Elevationsfehler der Kamera (3) und/oder des Lidarsensors (2.1) ermittelt werden bzw. wird.
5. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass zur Erzeugung des virtuellen Musters (Mv) mittels eines rotierenden Spiegels des Lidarsensors (2.1) die mittels des Lidarsensors (2.1) ausgesendete Laserstrahlung abgelenkt wird.
6. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass bei der Erfassung des realen Musters (Mr) mittels der Kamera (3) eine Integration über mehrere nacheinander erfasste Bilder (B) der Kamera (3) durchgeführt wird.
7. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Kamera (3) zur Kalibrierung in einen Kalibriermodus geschaltet wird.
8. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das virtuelle Muster (Mv) mittels Infrarot- Laserstrahlung erzeugt wird.
9. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass zur Erzeugung mittels der Kamera (3) erfasster Bilder (B) mittels eines kameraeigenen Infrarotlichtfilters auf die Kamera (3) treffende Lichtstrahlung gefiltert wird.
10. Verfahren nach Anspruch 9, dadurch gekennzeichnet, dass
- ein Infrarotlichtfilter verwendet wird, welcher durchlässig für eine von dem Lidarsensor (2.1) ausgesendete und von der realen Projektionsfläche (A) reflektierte Infrarot-Laserstrahlung ist und/oder
- der Infrarotlichtfilter in einem Kalibriermodus der Kamera (3) durchlässig für eine von dem Lidarsensor (2.1) ausgesendete und von der realen Projektionsfläche (A) reflektierte Infrarot-Laserstrahlung geschaltet wird.
PCT/EP2020/085898 2020-01-31 2020-12-14 Verfahren zur kalibrierung einer kamera und/oder eines lidarsensors eines fahrzeugs oder eines roboters WO2021151572A1 (de)

Priority Applications (4)

Application Number Priority Date Filing Date Title
US17/796,319 US12061295B2 (en) 2020-01-31 2020-12-14 Method for calibrating a camera and/or a lidar sensor of a vehicle or a robot
KR1020227025367A KR20220114648A (ko) 2020-01-31 2020-12-14 차량이나 로봇의 카메라 및/또는 라이다 센서의 캘리브레이션 방법
JP2022542293A JP7437513B2 (ja) 2020-01-31 2020-12-14 車両又はロボットのカメラ及び／又はｌｉｄａｒセンサを較正するための方法
CN202080094579.6A CN115023626A (zh) 2020-01-31 2020-12-14 用于校准车辆或机器人的摄像头和/或激光雷达传感器的方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102020102466.5 2020-01-31
DE102020102466.5A DE102020102466A1 (de) 2020-01-31 2020-01-31 Verfahren zur Kalibrierung einer Kamera und/oder eines Lidarsensors eines Fahrzeugs oder eines Roboters

Publications (1)

Publication Number Publication Date
WO2021151572A1 true WO2021151572A1 (de) 2021-08-05

Family

ID=74095798

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2020/085898 WO2021151572A1 (de) 2020-01-31 2020-12-14 Verfahren zur kalibrierung einer kamera und/oder eines lidarsensors eines fahrzeugs oder eines roboters

Country Status (6)

Country Link
US (1) US12061295B2 (de)
JP (1) JP7437513B2 (de)
KR (1) KR20220114648A (de)
CN (1) CN115023626A (de)
DE (1) DE102020102466A1 (de)
WO (1) WO2021151572A1 (de)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20240068814A (ko) 2022-11-04 2024-05-20 주식회사 테크웨이즈 자율주행차의 라이다 센서 평가 시스템 및 방법

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090059011A1 (en) * 2007-09-05 2009-03-05 Junhua Sun Calibration method for structure parameters of structured-light vision sensor
DE102015008551A1 (de) * 2015-07-07 2016-01-14 Daimler Ag Kalibrierung einer Kameraeinheit eines Kraftwagens
DE102016009327A1 (de) 2016-07-30 2017-02-02 Daimler Ag Vorrichtung und Verfahren zur Kalibrierung einer Kamera
DE102019000438A1 (de) * 2019-01-22 2019-06-06 Daimler Ag Verfahren zu einer Kalibrierung einer fahrzeugeigenen Kamera

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4861034B2 (ja) 2006-03-29 2012-01-25 クラリオン株式会社 車載カメラのキャリブレーションシステム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090059011A1 (en) * 2007-09-05 2009-03-05 Junhua Sun Calibration method for structure parameters of structured-light vision sensor
DE102015008551A1 (de) * 2015-07-07 2016-01-14 Daimler Ag Kalibrierung einer Kameraeinheit eines Kraftwagens
DE102016009327A1 (de) 2016-07-30 2017-02-02 Daimler Ag Vorrichtung und Verfahren zur Kalibrierung einer Kamera
DE102019000438A1 (de) * 2019-01-22 2019-06-06 Daimler Ag Verfahren zu einer Kalibrierung einer fahrzeugeigenen Kamera

Also Published As

Publication number Publication date
JP7437513B2 (ja) 2024-02-22
CN115023626A (zh) 2022-09-06
JP2023510331A (ja) 2023-03-13
KR20220114648A (ko) 2022-08-17
US20230082700A1 (en) 2023-03-16
US12061295B2 (en) 2024-08-13
DE102020102466A1 (de) 2021-08-05

Similar Documents

Publication Publication Date Title
EP1520184B1 (de) Verfahren und vorrichtung zur kalibrierung von sensoren im kraftfahrzeug
EP1376051B1 (de) Kalibrierung eines Bildsensorsystems an einem Kraftfahrzeug mit Kalibrierobjekt und Lagebezugssensor
EP1797534B1 (de) Verfahren für die erfassung einer optischen struktur
DE10246067B4 (de) Verfahren und Vorrichtung zur Kalibrierung eines Bildsensorsystems in einem Kraftfahrzeug
DE102004050149A1 (de) Verfahren zur Bestimmung von Deichsel- und Trailerwinkel
DE102010018088B4 (de) Verfahren zum Überprüfen einer Kalibrierung sowie Kraftfahrzeug
DE102015118874A1 (de) Verfahren zum Betreiben eines Sensorsystems eines Kraftfahrzeugs, Fahrerassistenzsystem und System zum Kalibrieren eines Sensorsystems eines Kraftfahrzeugs
DE102011075702A1 (de) Verfahren und Vorrichtung zur Ausrichtung einer Projektion einer Projektionseinrichtung eines Fahrzeugs
WO2021160444A1 (de) Verfahren zur kalibrierung eines lidarsensors
DE102017003634A1 (de) Vorrichtung und Verfahren zur Kalibrierung optischer Sensoren
DE102008045618A1 (de) Verfahren und Vorrichtung zur Kalibrierung von Sensoren eines Fahrzeuges
DE102016009327A1 (de) Vorrichtung und Verfahren zur Kalibrierung einer Kamera
EP1766431A1 (de) Verfahren und vorrichtung zur kompensation von einbautoleranzen eines abstandssensors
WO2021151572A1 (de) Verfahren zur kalibrierung einer kamera und/oder eines lidarsensors eines fahrzeugs oder eines roboters
EP2736017A2 (de) Verfahren zur Ermittlung der Bewegung eines Kraftfahrzeugs
WO2019063393A1 (de) Verfahren und system zur bestimmung zumindest einer bewegungskomponente einer absolutbewegung eines objektes im ruhenden bezugssystem
DE102020211879A1 (de) Verfahren zum Ermitteln eines Betriebsparameters zum Betreiben eines Umfelderfassungssystems für ein Fahrzeug und Umfelderfassungssystem
EP3032517B1 (de) Vorrichtung und verfahren zur unterstützung eines fahrers eines fahrzeugs, insbesondere eines nutzfahrzeugs
DE102017003629A1 (de) Vorrichtung und Verfahren zur Kalibrierung optischer Sensoren eines Fahrzeugs
DE102019219386A1 (de) Verfahren zum Kalibrieren von Bilddaten eines bildgebenden Systems für ein Fahrzeuggespann
WO2021073907A1 (de) Kalibrierung eines aktiven optischen sensorsystems
DE102014016342A1 (de) Verfahren zur Kalibrierung eines Schielwinkels von Einzelbildkameras einer Stereokamera
DE102019209849B4 (de) Verfahren und Steuergerät zur abstandsmessenden Bildverarbeitung für eine Stereokameraeinrichtung für ein Fahrzeug und Stereokamerasystem mit einer Stereokameraeinrichtung und einem Steuergerät
DE102022131480A1 (de) Verfahren zur Kalibrierung einer Sensorik, entsprechende Sensorik und Kraftfahrzeug
WO2023186428A1 (de) Kalibrierung und justierung einer kamera eines fahrzeugs

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20829837

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022542293

Country of ref document: JP

Kind code of ref document: A

ENP Entry into the national phase

Ref document number: 20227025367

Country of ref document: KR

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20829837

Country of ref document: EP

Kind code of ref document: A1