WO2022218795A1 - Verfahren zur kalibrierung von sensorinformationen eines fahrzeugs sowie fahrassistenzsystem - Google Patents

Verfahren zur kalibrierung von sensorinformationen eines fahrzeugs sowie fahrassistenzsystem Download PDF

Info

Publication number
WO2022218795A1
WO2022218795A1 PCT/EP2022/059207 EP2022059207W WO2022218795A1 WO 2022218795 A1 WO2022218795 A1 WO 2022218795A1 EP 2022059207 W EP2022059207 W EP 2022059207W WO 2022218795 A1 WO2022218795 A1 WO 2022218795A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
sensor
vehicle
environmental information
dimensional
Prior art date
Application number
PCT/EP2022/059207
Other languages
English (en)
French (fr)
Inventor
Axel Roth
Heiko Gustav Kurz
Dominik Vock
Thorsten Bagdonat
Original Assignee
Conti Temic Microelectronic Gmbh
Volkswagen Ag
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from DE102021113111.1A external-priority patent/DE102021113111A1/de
Application filed by Conti Temic Microelectronic Gmbh, Volkswagen Ag filed Critical Conti Temic Microelectronic Gmbh
Priority to CN202280037066.0A priority Critical patent/CN117377888A/zh
Priority to JP2024505490A priority patent/JP2024514715A/ja
Publication of WO2022218795A1 publication Critical patent/WO2022218795A1/de

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/06—Systems determining position data of a target
    • G01S13/42—Simultaneous measurement of distance and other co-ordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/40—Means for monitoring or calibrating
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/865—Combination of radar systems with lidar systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9323—Alternative operation using light waves

Definitions

  • the invention relates to a method for online calibration of sensor information from a vehicle and a driver assistance system.
  • the safest possible perception of the environment is essential for autonomous driving.
  • the surroundings are recorded with the help of sensors of different sensor types, such as at least one radar sensor, one or more cameras and preferably also at least one LIDAR sensor.
  • sensors of different sensor types such as at least one radar sensor, one or more cameras and preferably also at least one LIDAR sensor.
  • a holistic 360° 3D detection of the environment is preferred, so that all static and dynamic objects in the vehicle environment can be detected.
  • sensors are individually calibrated relative to a fixed point of the vehicle, but the entire set of sensors is not calibrated relative to one another. This has the disadvantage that the precision required for automatic driving functions often cannot be achieved.
  • the invention relates to a method for calibrating sensor information of a vehicle.
  • the vehicle has at least one sensor of a first sensor type and at least one sensor of a second sensor type that differs from the first sensor type.
  • “different sensor type” means that the sensors use different methods or technologies for detecting the environment, for example detecting the environment based on different types of electromagnetic waves (radar, lidar, ultrasound, visible light, etc.).
  • the procedure includes the following steps:
  • the surroundings are recorded by at least one sensor of the first sensor type while the vehicle is driving.
  • first sensor information is provided by this sensor of the first sensor type.
  • the surroundings are recorded by at least one sensor of the second sensor type while the vehicle is driving.
  • second sensor information is provided by this sensor of the second sensor type.
  • the acquisition of the first and second sensor information can take place at the same time or at least temporarily with a time overlap.
  • the first and second pieces of sensor information relate at least partially to the same surrounding area and therefore at least partially have the same detection area.
  • a first three-dimensional representation of environmental information is then generated from the first sensor information.
  • the first three-dimensional representation of environmental information is, in particular, a 3D point cloud that reflects the vehicle environment based on a large number of points in three-dimensional space.
  • a second three-dimensional representation of environmental information is generated from the second sensor information.
  • the second three-dimensional representation of information about the surroundings is in turn in particular a 3D point cloud, which reproduces the vehicle surroundings based on a large number of points in three-dimensional space.
  • first and second three-dimensional representations of environmental information or information derived therefrom are then compared.
  • “Compare” within the meaning of the present disclosure is understood in particular to mean that the first and second three-dimensional representation are related to one another in order to be able to check the congruence of the first and second three-dimensional representation of environmental information. In particular, this can mean determining areas that correspond to one another in the first and second three-dimensional representation of environmental information.
  • Information derived therefrom means any information that can be obtained from the first and second three-dimensional representation by any type of data processing, for example by data reduction, filtering, etc.
  • discrepancies between the first and second three-dimensional representation of environmental information or information derived therefrom can be checked whether there is an overall deviation between the plurality of corresponding areas in the first and second three-dimensional representation, which can be attributed to incorrect calibration of the sensors. For example, an offset of corresponding areas in the first and second three-dimensional representation, which increases with the distance from the vehicle, can result from incorrect calibration of the roll, pitch and/or yaw angle of a sensor
  • correction information for calibration parameters of at least one sensor is calculated based on the determined deviations.
  • the correction information can provide an indication of how the calibration of one or more sensors must be changed in order to achieve improved congruence of the first and second three-dimensional representation of environmental information.
  • the vehicle's sensors are calibrated relative to one another based on the calculated correction information.
  • the calibration of the sensors includes in particular a software-based calibration, i.e. the sensor information provided by one or more sensors is adjusted on the basis of the correction information in such a way that an improved coverage of the first and second three-dimensional representation of environmental information is achieved.
  • the technical advantage of the proposed method is that by converting several different sensor information items into a three-dimensional representation of environmental information, the sensor information can be compared with one another and online calibration of the sensors based on environmental information obtained while the vehicle is in motion is possible . This allows the sensors to be calibrated with high precision, which is necessary for safe and precise environmental detection for autonomous driving functions of the vehicle.
  • the first and second three-dimensional representations of environmental information are time-discrete information.
  • the sensors do not provide time-continuous information, but deliver
  • Information about the environment at discrete points in time for example with a specific clock rate.
  • the information is synchronized in terms of time with respect to one another. It can thereby be achieved that congruence inaccuracies between the first and second three-dimensional representation of environmental information, which arise due to a time offset of the environmental information by the various sensors, for example due to different clock rates or different acquisition times, are reduced.
  • first and second three-dimensional representations of environmental information that reflect the vehicle environment at the same point in time are compared with one another and deviations between these first and second three-dimensional representations of environmental information are used to calculate the correction information.
  • the correction information for calibration parameters is calculated iteratively, in such a way that at least a first and second three-dimensional representation of environmental information that reflects the vehicle environment at the same time are compared with one another in several iteration steps, correction information is calculated and after application of the correction information on the calibration parameters of at least one sensor information about the congruence of the first and second three-dimensional representations of Environmental information is determined. This allows the calibration of the sensors to be improved iteratively.
  • the correction information is iteratively changed in the successive iteration steps in such a way that the congruence error between the first and second three-dimensional representation of environmental information is reduced.
  • the correction information is applied and the sensor calibration is thus changed. This preferably results in a modified first and/or second three-dimensional representation of environmental information, which is checked for congruence. This cycle is run through several times until a termination criterion is reached. This allows the sensor calibration to be improved iteratively.
  • a minimization method or an optimization method is used to reduce the misregistration error.
  • An example of this is the Iterative Closest Point Algorithm.
  • an attempt is made, for example, to bring the first and second three-dimensional representations of environmental information into congruence as well as possible by means of rotation and translation. For example, corresponding points of the first and second three-dimensional representation of
  • Surrounding information is determined and then, for example, the sum of the squares of the distances over all these pairs of points is formed.
  • a quality criterion with regard to the correspondence between the three-dimensional representations of environmental information and the 3D point clouds is thus obtained.
  • the goal of the algorithm is to improve this quality criterion by changing the transformation parameters (ie parameters for rotation and translation) to minimize. As a result, the congruence of the three-dimensional representations of environmental information determined by different sensors can be successively improved.
  • correction information for calibration parameters is calculated using a plurality of first and second three-dimensional representations of environmental information that were determined at different points in time, in such a way that a plurality of pairs of first and second three-dimensional representations of environmental information, the environmental information of a pair each containing the Represent vehicle environment at the same time, are compared with each other and correction information is calculated.
  • the senor of the first sensor type is a camera.
  • the camera can be designed to generate two-dimensional images.
  • a plurality of sensors of the first sensor type can also be provided in order to cover a larger area of the surroundings of the vehicle.
  • the sensors of the first sensor type can be used to generate a 360° representation of the environment, i.e. an all-round view representation in a horizontal plane.
  • the camera is a monocular camera and three-dimensional representations of environmental information from individual images or a sequence of temporally consecutive two-dimensional images are calculated from the image information provided by the camera.
  • a structure-from-motion method, a shape-from-focus method or a shape-from-shading method can be used here, for example.
  • a depth estimation can also be carried out using neural networks. As a result, depth information on the two-dimensional image information from the camera can be obtained, which is used to generate three-dimensional representations of environmental information.
  • Structure-from-motion methods usually assume a static environment.
  • one or more stereo cameras can be used to obtain depth information for the two-dimensional image information.
  • segmentation and structure information can be determined with a high degree of accuracy, even in dynamic environments.
  • the determined information on the relative movements of the environment and the moving objects can advantageously flow into the synchronization of the three-dimensional representations of all objects, or interpolation between two time steps, which leads to greater accuracy when determining the correction information for the calibration parameters.
  • the sensor of the second sensor type is a radar sensor or a LIDAR sensor.
  • moving objects are filtered out of the first and second three-dimensional representations of environmental information, so that the correction information is calculated exclusively on the basis of stationary objects.
  • the accuracy of the sensor calibration can be increased by filtering out the moving objects, since in the case of stationary objects the calibration inaccuracies between the sensors can be directly inferred from the deviation between the first and second three-dimensional representations of environmental information.
  • the correction information is calculated based on a comparison of first and second three-dimensional representations of information about the environment that only contain stationary objects and based on a comparison of first and second three-dimensional representations of information about the environment that only contain moving objects.
  • moving objects can also be used to calculate correction information for sensor calibration.
  • information about the movement of the moving objects for example the trajectory or the speed, should preferably be known in order to be able to compensate for the movement of the objects when calculating the correction information.
  • the invention relates to a driver assistance system for a vehicle.
  • the driver assistance system has a sensor of a first sensor type and at least one sensor of a second sensor type that is different from the first sensor type.
  • the driver assistance system is designed to carry out the following steps: - Detecting the environment while driving the vehicle by at least one sensor of the first sensor type and providing first sensor information by this sensor of the first sensor type;
  • Three-dimensional representation of environmental information is understood to mean any representation of environmental information in a three-dimensional coordinate system, for example a discrete spatial representation of object areas in three-dimensional space.
  • 3D point cloud in the sense of the present disclosure is a set of points in three-dimensional space understood, where each point indicates that there is an object region at the point where the point is located in three-dimensional space.
  • sensor type within the meaning of the present disclosure is understood to mean a type of sensor that determines environmental information using a predetermined detection principle.
  • Sensor types can be cameras, radar sensors, LIDAR sensors, ultrasonic sensors, etc., for example.
  • 1 shows an example of a schematic representation of a vehicle with a driver assistance system that has a large number of sensors of different sensor types for detecting the surroundings of the vehicle; 2 shows an example of a flowchart to illustrate method steps for calibrating sensor information from a camera and sensor information from a radar and/or LIDARS; and
  • FIG 3 shows an example of a schematic representation of the method steps for the online calibration of sensor information from different sensor types.
  • FIG. 1 shows, by way of example and diagrammatically, a vehicle 1 with a driver assistance system that enables surroundings to be detected by means of a large number of sensors 2, 3, 4 of different sensor types. At least some of the sensors 2, 3, 4 enable all-round detection of the surroundings (360° surroundings detection).
  • the vehicle 1 includes in particular at least one sensor 2 of a first sensor type, which is a radar sensor.
  • the first type of sensor is therefore based on the radar principle.
  • the sensor 2 can be provided, for example, in the front area of the vehicle. It goes without saying that several sensors 2 of the first sensor type can be distributed around vehicle 1, for example in the front area, in the patch area and/or in the side areas of vehicle 1.
  • the at least one sensor 2 of the first sensor type generates first sensor information. This is, for example, the raw information provided by a radar sensor. A first three-dimensional representation of environmental information is generated from this first sensor information. In particular, this can be a 3D point cloud.
  • the vehicle 1 also includes at least one sensor 3 of a second sensor type, which is a camera.
  • the second type of sensor is therefore of the “camera” type, ie an image-recording sensor.
  • the sensor 3 can be provided in the windshield area of the vehicle 1, for example. It goes without saying that several sensors 3 of the second sensor type can be distributed around vehicle 1, for example in the front area, in the patch area and/or in the side areas of vehicle 1.
  • the at least one sensor 3 of the second sensor type generates second sensor information. This is, for example, the image information provided by a camera.
  • the camera can provide two-dimensional image information of the surroundings, ie the image information does not contain any depth information.
  • the second sensor information can be further processed in such a way that depth information on the image information is obtained from the change in the image information in successive images of an image sequence.
  • methods known to those skilled in the art can be used, which generate spatial relationships from two-dimensional image sequences. Examples of this are the structure-from-motion method, the shape-from-focus method or the shape-from-shading method.
  • a depth estimation by means of neural networks is also conceivable in principle.
  • the second sensor information can also be directly three-dimensional information, ie it can also have depth information for a part of the pixel or for each pixel of the image.
  • a second three-dimensional representation of environmental information is generated from this second sensor information.
  • this can be a 3D point cloud.
  • the second three-dimensional representation of environmental information can be generated based on sensor information from multiple or all of these sensors 3 .
  • the vehicle 1 preferably also comprises at least one sensor 4 of a third sensor type, which is a LIDAR sensor.
  • the third sensor type is based on the LIDAR principle.
  • the sensor 4 can be provided in the roof area of the vehicle 1, for example. It goes without saying that a plurality of sensors 4 of the third sensor type can be distributed on the vehicle 1 .
  • the at least one sensor 4 of the third sensor type generates third sensor information. For example, this is the raw information provided by a LIDAR sensor.
  • a third three-dimensional representation of environmental information is generated from this third sensor information if the third sensor information does not already provide such.
  • this can be a 3D point cloud. If multiple sensors 4 of the third sensor type are used, the third three-dimensional representation of environmental information can be generated based on sensor information from multiple or all of these sensors 4 .
  • the vehicle also includes a computing unit 5, which is designed to further process the data provided by the sensors 2, 3, 4.
  • the processing unit can be a central processing unit or a number of decentralized processing units can be provided, so that subtasks of the method described below can be distributed over a number of processing units.
  • FIG. 2 shows a flowchart that illustrates the method steps of the method for calibrating sensor information from different sensors 2, 3, 4 relative to one another.
  • step S10 sensor information from at least one radar sensor and/or at least one LIDAR sensor is received. If radar and LIDAR sensors are available, the sensor information is first provided separately for each sensor type.
  • a three-dimensional representation of environmental information in particular a 3D point cloud
  • a three-dimensional representation of environmental information is provided separately for each sensor type.
  • the 3D point clouds can be formed by sensor information from a single sensor or by merging sensor information from multiple sensors of the same sensor type.
  • step S11 the 3D point cloud obtained from the sensor information of the radar sensor and—if present—from the 3D point cloud obtained from the sensor information of the LIDAR sensor are preferably separated according to static and dynamic content.
  • second sensor information is received from a camera in step S12.
  • a 3D point cloud is generated from second sensor information in step S13.
  • a three-dimensional reconstruction of the surroundings of the vehicle 1 takes place by evaluating the temporally consecutive images of an image sequence of one or more Cameras, for example using a structure-from-motion reconstruction method.
  • both a 3D reconstruction of the surroundings or the output of a 3D point cloud and a segmentation of moving objects are preferably carried out.
  • moving and stationary objects can be separated in the image information provided by the at least one camera (S14).
  • the method can be used to determine trajectories of the moving objects, as well as the trajectory of the camera system in relation to the stationary environment.
  • 3D point clouds from different sensor types that contain moving objects can also be correlated with one another and correction information for the calibration can be derived as a result.
  • the synchronization and interpolation steps are simplified here, which then also deliver more precise results.
  • Process steps are carried out only based on 3D point clouds containing static objects, or separate 3D point clouds are generated with static or dynamic objects and the further process sequences are carried out separately for static and dynamic objects, i.e. both 3D point clouds with static objects as well as 3D point clouds compared with dynamic objects and to generate the correction information for the Sensor calibration used.
  • steps described below can be carried out in parallel for 3D point clouds with dynamic objects and 3D point clouds with static objects.
  • Steps S10/S11 and S12/S13/S14 i.e. the processing of the sensor information provided by the radar sensor or the LIDAR sensor and the sensor information provided by the camera, can be carried out at least partially in parallel.
  • the 3D point clouds are preferably synchronized with one another in such a way that they can be checked for congruence.
  • this can be a temporal synchronization.
  • the 3D point clouds of the respective sensor types can be generated at different points in time, so that the environmental information in the 3D point clouds is offset from one another due to the movement of the vehicle. This offset can be corrected by temporal synchronization of the 3D point clouds.
  • the 3D point clouds are then compared with one another in step S16 and the deviations between the 3D point clouds are determined.
  • the points that correspond to one another in the point clouds to be compared ie points that represent the same areas of a scene in the vicinity, can be compared with one another and the distances between these points or their spatial offset relative to one another can be determined.
  • This can be determined in step S18, which calibration inaccuracy between the sensors of the driver assistance system and which calibration parameters need to be changed (e.g. linear offset or deviation due to a twisted sensor).
  • the correction information is applied, ie the 3D point clouds are checked again for congruence after a modification of the calibration parameters based on the correction information, and this congruence is assessed
  • step S19 A decision is then made in step S19 as to whether sufficient congruence has been achieved. If not, steps S16 to S19 are run through again.
  • a minimization method with linear gradient descent for example an iterative closest point method (ICP method), can be carried out here.
  • step S20 the correction information for the calibration parameters of the sensors is output and/or the same is used for sensor calibration.
  • FIG. 3 shows a flow chart that illustrates the steps of a method for online calibration of sensor information from sensors of a vehicle.
  • the surroundings are recorded by at least one sensor of the first sensor type while the vehicle is driving.
  • first sensor information is provided by this sensor of the first sensor type (S30).
  • the surroundings are recorded by at least one sensor of the second sensor type while the vehicle is driving.
  • Steps S31 and S32 are carried out at the same time or at least temporarily with a time overlap.
  • a first three-dimensional representation of environmental information is then created from the first sensor information (S32).
  • a second three-dimensional representation of environmental information is generated from the second sensor information (S33).
  • the first and second three-dimensional representations of environmental information or information derived therefrom are then compared with one another (S34).
  • “Derived information” is understood to mean any information that can be obtained from the first or second three-dimensional representation by modification, for example by filtering, restriction to stationary or non-stationary objects, etc.
  • Correction information for the calibration parameters of at least one sensor is calculated on the basis of the deviations determined (S36).
  • the sensors of the vehicle are calibrated relative to one another based on the calculated correction information (S37). This means in particular that it is not the position or orientation of the sensors on the vehicle that is modified, but an indirect one Calibration done by modifying the 3D point clouds based on the correction information.

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Image Analysis (AREA)
  • Radar Systems Or Details Thereof (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Traffic Control Systems (AREA)

Abstract

Die Erfindung betrifft ein Verfahren zur Online-Kalibrierung von Sensorinformationen eines Fahrzeugs (1), wobei das Fahrzeug (1) zumindest einen Sensor (2) eines ersten Sensortyps und zumindest einen Sensor (3) eines zweiten, vom ersten Sensortyp unterschiedlichen Sensortyps aufweist.

Description

Verfahren zur Kalibrierung von Sensorinformationen eines Fahrzeugs sowie Fahrassistenzsystem
Die Erfindung betrifft ein Verfahren zur Online-Kalibrierung von Sensorinformationen eines Fahrzeugs sowie ein Fahrassistenzsystem.
Für das autonome Fahren ist eine möglichst sichere Umfeldwahrnehmung unabdinglich. Dabei wird das Umfeld mit Hilfe von Sensoren unterschiedlicher Sensortypen, wie beispielsweise zumindest einem Radarsensor, einer oder mehrerer Kameras und vorzugsweise auch zumindest einem LIDAR-Sensor erfasst. Bevorzugt ist eine ganzheitliche 360°-3D-Erfassung der Umwelt, so dass alle statischen und dynamischen Objekte im Fahrzeugumfeld erfasst werden können.
Um die sichere Umfelderfassung zu gewährleisten, ist insbesondere eine präzise Kalibrierung der Sensoren untereinander erforderlich. Dabei ist eine permanente Überwachung des Kalibrierzustands der Sensorsysteme, sowie eine - falls notwendig - Neukalibrierung während der Fahrt für hochautomatisierte Fahrfunktionen unabdingbar, da sonst ein Ausfall der autonomen Fahrfunktion resultieren würde.
In bekannten Verfahren werden Sensoren einzeln relativ zu einem Fixpunkt des Fahrzeugs kalibriert, jedoch wird nicht das gesamte Set von Sensoren relativ zueinander kalibriert. Dies hat den Nachteil, dass häufig die für automatische Fahrfunktionen erforderliche Präzision nicht erreicht werden kann.
Ausgehend hiervon ist es Aufgabe der Erfindung, ein Verfahren zur Kalibrierung von Sensorinformationen eines Fahrzeugs anzugeben, das eine zuverlässige und hochgenaue Online-Sensorkalibrierung, d.h. eine Kalibrierung von Sensorinformationen unterschiedlicher Sensortypen relativ zueinander während der Fahrt des Fahrzeugs ermöglicht. Die Aufgabe wird durch ein Verfahren mit den Merkmalen des unabhängigen Patentanspruchs 1 gelöst. Bevorzugte Ausführungsformen sind Gegenstand der Unteransprüche. Ein Fahrassistenzsystem ist Gegenstand des nebengeordneten Patentanspruchs 15.
Gemäß einem ersten Aspekt bezieht sich die Erfindung auf ein Verfahren zur Kalibrierung von Sensorinformationen eines Fahrzeugs. Das Fahrzeug weist zumindest einen Sensor eines ersten Sensortyps und zumindest einen Sensor eines zweiten, vom ersten Sensortyp unterschiedlichen Sensortyps auf. Hierbei bedeutet „unterschiedlicher Sensortyp“, dass die Sensoren unterschiedliche Verfahren bzw. Technologien zur Umfelderfassung nutzen, beispielsweise Erfassung des Umfelds basierend auf unterschiedlichen Arten von elektromagnetischen Wellen (Radar, Lidar, Ultraschall, sichtbares Licht etc.).
Das Verfahren umfasst die folgenden Schritte:
Zunächst wird die Umgebung während der Fahrt des Fahrzeugs durch zumindest einen Sensor des ersten Sensortyps erfasst. Dabei werden erste Sensorinformationen durch diesen Sensor des ersten Sensortyps bereitgestellt.
Ebenso wird die Umgebung während der Fahrt des Fahrzeugs durch zumindest einen Sensor des zweiten Sensortyps erfasst. Dabei werden zweite Sensorinformationen durch diesen Sensor des zweiten Sensortyps bereitgestellt. Die Erfassung der ersten und zweiten Sensorinformationen kann zeitgleich oder zumindest zeitweise mit einem zeitlichen Überlapp erfolgen. Es versteht sich, dass sich die ersten und zweiten Sensorinformationen zumindest teilweise auf den gleichen Umgebungsbereich beziehen und damit zumindest teilweise den gleichen Erfassungsbereich haben. Anschließend wird eine erste dreidimensionale Repräsentation von Umgebungsinformationen aus den ersten Sensorinformationen erzeugt. Die erste dreidimensionale Repräsentation von Umgebungsinformationen ist insbesondere eine 3D-Punktwolke, die die Fahrzeugumgebung basierend auf einer Vielzahl von Punkten im dreidimensionalen Raum wiedergibt.
Zudem wird eine zweite dreidimensionale Repräsentation von Umgebungsinformationen aus den zweiten Sensorinformationen erzeugt. Die zweite dreidimensionale Repräsentation von Umgebungsinformationen ist wiederum insbesondere eine 3D- Punktwolke, die die Fahrzeugumgebung basierend auf einer Vielzahl von Punkten im dreidimensionalen Raum wiedergibt.
Anschließend wird die erste und zweite dreidimensionale Repräsentation von Umgebungsinformationen oder daraus abgeleitete Informationen verglichen. Unter „Vergleichen“ im Sinne der vorliegenden Offenbarung wird insbesondere verstanden, dass die erste und zweite dreidimensionale Repräsentation zueinander in Bezug gesetzt wird, um die Deckungsgleichheit der ersten und zweiten dreidimensionalen Repräsentation von Umgebungsinformationen prüfen zu können. Dies kann insbesondere ein Ermitteln von miteinander korrespondierenden Bereichen in der ersten und zweiten dreidimensionalen Repräsentation von Umgebungsinformationen bedeuten. Unter „daraus abgeleiteter Informationen“ werden jegliche Informationen verstanden, die aus der ersten und zweiten dreidimensionalen Repräsentation durch jegliche Art von Datenverarbeitung erhalten werden können, beispielsweise durch Datenreduktion, Filterung etc.
Daraufhin werden Abweichungen zwischen der ersten und zweiten dreidimensionalen Repräsentation von Umgebungsinformationen oder daraus abgeleiteter Informationen bestimmt. Insbesondere kann geprüft werden, ob es zwischen der Vielzahl von korrespondierenden Bereichen in der ersten und zweiten dreidimensionalen Repräsentation insgesamt eine Abweichung gibt, die sich auf eine nicht korrekte Kalibrierung der Sensoren zurückführen lässt. So kann beispielsweise ein Versatz von korrespondierenden Bereichen in der ersten und zweiten dreidimensionalen Repräsentation, der mit der Entfernung zum Fahrzeug wächst, aus einer nicht korrekten Kalibrierung im Roll-, Nick- und/oder Gier-Winkel eines Sensors resultieren
Nach der Bestimmung der Abweichungen werden Korrekturinformationen zu Kalibrierparametern zumindest eines Sensors basierend auf den ermittelten Abweichungen berechnet. Die Korrekturinformationen können insbesondere einen Hinweis darauf geben, wie die Kalibrierung eines oder mehrerer Sensoren verändert werden müssen, um eine verbesserte Deckungsgenauigkeit der ersten und zweiten dreidimensionalen Repräsentation von Umgebungsinformationen zu erreichen.
Zuletzt erfolgt ein Kalibrieren der Sensoren des Fahrzeugs relativ zueinander basierend auf den berechneten Korrekturinformationen. Das Kalibrieren der Sensoren umfasst insbesondere eine softwareseitige Kalibrierung, d.h. die von einem oder mehreren Sensoren bereitgestellten Sensorinformationen werden derart auf Basis der Korrekturinformationen angepasst, dass eine verbesserte Überdeckung der ersten und zweiten dreidimensionalen Repräsentation von Umgebungsinformationen erreicht wird.
Es versteht sich, dass auch die Kalibrierung von Sensoren von mehr als zwei unterschiedlichen Sensortypen basierend auf dem vorgeschlagenen Verfahren möglich ist. Der technische Vorteil des vorgeschlagenen Verfahrens besteht darin, dass durch die Überführung von mehreren unterschiedlichen Sensorinformationen in eine dreidimensionale Repräsentation von Umgebungsinformationen die Sensorinformationen untereinander vergleichbar werden und dabei eine Online-Kalibrierung der Sensoren basierend auf Umgebungsinformationen möglich wird, die während der Fahrt des Fahrzeugs gewonnen werden. Dadurch lässt sich eine hochgenaue Kalibrierung der Sensoren erreichen, die für eine sichere und präzise Umgebungserfassung für autonome Fahrfunktionen des Fahrzeugs nötig ist.
Gemäß einem Ausführungsbeispiel sind die erste und zweite dreidimensionale Repräsentation von Umgebungsinformationen zeitdiskrete Informationen. In anderen Worten stellen die Sensoren keine zeitkontinuierlichen Informationen bereit, sondern liefern
Umgebungsinformationen zu diskreten Zeitpunkten, beispielsweise mit einer bestimmten Taktrate. Vor dem Vergleichen der ersten und zweiten dreidimensionalen Repräsentation von Umgebungsinformationen oder daraus abgeleiteter Informationen erfolgt eine zeitliche Synchronisierung der Informationen zueinander. Dadurch kann erreicht werden, dass Deckungsungenauigkeiten zwischen der ersten und zweiten dreidimensionalen Repräsentation von Umgebungsinformationen, die aufgrund eines zeitlichen Versatzes der Umgebungsinformationen durch die verschiedenen Sensoren beispielsweise durch unterschiedliche Taktrate bzw. unterschiedliche Erfassungszeitpunkte entstehen, reduziert werden.
Für den Fall, dass keine zeitliche Synchronisierung der ersten und zweiten dreidimensionalen Repräsentation von Umgebungsinformationen möglich ist, kann vor dem Vergleichen der ersten und zweiten dreidimensionalen Repräsentation von Umgebungsinformationen oder daraus abgeleiteter Informationen eine Interpolation von Informationen zwischen zwei Zeitschritten der zeitdiskreten Informationen erfolgen. Dadurch können Zwischenwerte von Sensorinformationen bzw. dreidimensionalen Repräsentationen von Umgebungsinformationen zwischen zwei aufeinanderfolgenden Zeitschriften erhalten werden, mittels denen eine verbesserte Deckungsgenauigkeit erreicht werden kann.
Gemäß einem Ausführungsbeispiel werden jeweils erste und zweite dreidimensionale Repräsentationen von Umgebungsinformationen, die die Fahrzeugumgebung zum gleichen Zeitpunkt wiedergeben, miteinander verglichen und Abweichungen zwischen diesen ersten und zweiten dreidimensionalen Repräsentationen von Umgebungsinformationen zur Berechnung der Korrekturinformationen verwendet. Insbesondere wird geprüft, ob es bei der Vielzahl von Abweichungen, die zwischen korrespondierenden Informationen in den ersten und zweiten dreidimensionalen Repräsentationen von Umgebungsinformationen bestehen, solche Abweichungen ermittelt werden können, die auf einen Kalibrierungsfehler eines oder mehrerer Sensoren zurückzuführen sind. Wenn solche Abweichungen festgestellt werden, kann versucht werden, die Kalibrierung eines oder mehrerer Sensoren derart anzupassen, dass die Abweichungen reduziert werden, d.h. die Deckungsgenauigkeit der ersten und zweiten dreidimensionalen Repräsentationen von Umgebungsinformationen erhöht wird.
Gemäß einem Ausführungsbeispiel erfolgt die Berechnung der Korrekturinformationen zu Kalibrierparametern iterativ, und zwar derart, dass in mehreren Iterationsschritten jeweils zumindest eine erste und zweite dreidimensionale Repräsentation von Umgebungsinformationen, die die Fahrzeugumgebung zum gleichen Zeitpunkt wiedergeben, miteinander verglichen werden, Korrekturinformationen berechnet und nach Anwendung der Korrekturinformationen auf die Kalibrierparameter zumindest eines Sensors Informationen über die Deckungsgleichheit der ersten und zweiten dreidimensionalen Repräsentationen von Umgebungsinformationen ermittelt werden. Dadurch kann iterativ die Kalibrierung der Sensoren verbessert werden.
Gemäß einem Ausführungsbeispiel werden in den aufeinander folgenden Iterationsschritten die Korrekturinformationen derart iterativ verändert, dass der Deckungsgleichheitsfehler zwischen der ersten und zweiten dreidimensionalen Repräsentation von Umgebungsinformationen reduziert wird. Beispielsweise werden nach der Ermittlung von Korrekturinformationen in einem Iterationsschritt die Korrekturinformationen angewendet und damit die Sensorkalibrierung geändert. Daraus entsteht vorzugsweise eine modifizierte erste und/oder zweite dreidimensionale Repräsentation von Umgebungsinformationen, die hinsichtlich Deckungsgleichheit geprüft wird. Dieser Zyklus wird mehrmals durchlaufen, bis ein Abbruchkriterium erreicht ist. Dadurch lässt sich iterativ die Sensorkalibrierung verbessern.
Gemäß einem Ausführungsbeispiel wird zur Reduzierung des Deckungsgleichheitsfehlers ein Minimierungsverfahren oder ein Optimierungsverfahren angewandt wird. Ein Beispiel hierfür ist der Iterative Closest Point-Algorithmus. Bei der Durchführung des Algorithmus wird beispielsweise versucht, die erste und zweite dreidimensionale Repräsentation von Umgebungsinformationen mittels Rotation und Translation möglichst gut miteinander in Deckung zu bringen. Beispielsweise werden miteinander korrespondierende Punkte der ersten und zweiten dreidimensionalen Repräsentation von
Umgebungsinformationen bestimmt und anschließend wird beispielsweise die Summe der Quadrate der Abstände über alle diese Punktepaare gebildet. Damit wird ein Gütekriterium bzgl. der Übereinstimmung zwischen den dreidimensionalen Repräsentationen von Umgebungsinformationen bzw. den 3D-Punktwolken erhalten. Das Ziel des Algorithmus ist es, dieses Gütekriterium durch die Veränderung der Transformationsparameter (d.h. Parameter zur Rotation und Translation) zu minimieren. Dadurch kann die Deckungsgleichheit der durch unterschiedliche Sensoren ermittelten dreidimensionalen Repräsentationen von Umgebungsinformationen sukzessive verbessert werden.
Gemäß einem Ausführungsbeispiel erfolgt die Berechnung von Korrekturinformationen zu Kalibrierparametern mittels mehrerer erster und zweiter dreidimensionaler Repräsentationen von Umgebungsinformationen, die zu unterschiedlichen Zeitpunkten ermittelt wurden, und zwar derart, dass mehrere Paare von ersten und zweiten dreidimensionalen Repräsentationen von Umgebungsinformationen, wobei die Umgebungsinformationen eines Paares jeweils die Fahrzeugumgebung zum gleichen Zeitpunkt wiedergeben, miteinander verglichen werden und Korrekturinformationen berechnet werden. Durch den Vergleich von ersten und zweiten dreidimensionalen
Repräsentationen von Umgebungsinformationen über mehrere Zeitpunkte hinweg lässt sich die Genauigkeit der Sensorkalibrierung weiter erhöhen.
Gemäß einem Ausführungsbeispiel ist der Sensor des ersten Sensortyps eine Kamera. Die Kamera kann insbesondere dazu ausgebildet sein, zweidimensionale Bilder zu erzeugen. Es können auch mehrere Sensoren des ersten Sensortyps vorgesehen sein, um einen größeren Bereich der Umgebung des Fahrzeugs zu erfassen. Insbesondere kann mittels der Sensoren des ersten Sensortyps eine 360°-Darstellung der Umgebung, d.h. eine Rundumsichtdarstellung in einer horizontalen Ebene erzeugt werden.
Gemäß einem Ausführungsbeispiel ist die Kamera eine monokulare Kamera und aus den Bildinformationen, die durch die Kamera bereitgestellt werden, werden dreidimensionale Repräsentationen von Umgebungsinformationen aus Einzelbildern oder einer Sequenz von zeitlich aufeinanderfolgenden zweidimensionalen Bildern berechnet. Hierbei kann beispielsweise ein structure-from-motion-Verfahren, ein shape-from-focus-Verfahren oder ein shape-from-shading-Verfahren verwendet werden. Alternativ kann auch eine Tiefenschätzung mittels neuronaler Netze erfolgen. Dadurch können Tiefeninformationen zu den zweidimensionalen Bildinformationen der Kamera gewonnen werden, die für die Erzeugung dreidimensionaler Repräsentationen von Umgebungsinformationen herangezogen werden. Structure-from-motion- Verfahren gehen hierbei in der Regel von einer statischen Umgebung aus.
Alternativ können eine oder mehrere Stereokameras verwendet werden, um Tiefeninformationen zu den zweidimensionalen Bildinformationen zu erhalten.
Gemäß einem Ausführungsbeispiel erfolgt basierend auf einer Sequenz von zeitlich aufeinanderfolgenden Bildinformationen mindestens einer Kamera, insbesondere zweidimensionalen Bildinformationen, eine Segmentierung von in den Bildinformationen enthaltenen bewegten Objekten und eine Schätzung von dreidimensionaler Struktur und Relativbewegungen der segmentierten Objekte und der stationären Umgebung, etwa unter Verwendung des Verfahrens aus Patentanmeldung DE 102019208216 A1. Dadurch können Segmentierungs- und Strukturinformationen auch in dynamischen Umgebungen mit hoher Genauigkeit ermittelt werden. Die ermittelten Informationen zu den Relativbewegungen der Umgebung und der bewegten Objekte können vorteilhaft einfließen in die Synchronisation der dreidimensionalen Repräsentationen aller Objekte, bzw. Interpolation zwischen zwei Zeitschritten, was zu einer höheren Genauigkeit bei der Ermittlung der Korrekturinformationen für die Kalibrierparameter führt.
Gemäß einem Ausführungsbeispiel ist der Sensor des zweiten Sensortyps ein Radarsensor oder ein LIDAR-Sensor. Gemäß einem Ausführungsbeispiel werden aus den ersten und zweiten dreidimensionalen Repräsentationen von Umgebungsinformationen bewegte Objekte ausgefiltert, so dass die Berechnung der Korrekturinformationen ausschließlich basierend auf stationären Objekten erfolgt. Durch die Ausfilterung der bewegten Objekte kann die Genauigkeit der Sensorkalibrierung erhöht werden, da bei stationären Objekten aus der Abweichung zwischen den ersten und zweiten dreidimensionalen Repräsentationen von Umgebungsinformationen direkt auf die Kalibrierungenauigkeiten zwischen den Sensoren geschlossen werden kann.
Gemäß einem anderen Ausführungsbeispiel werden die Korrekturinformationen basierend auf einem Vergleich von ersten und zweiten dreidimensionalen Repräsentationen von Umgebungsinformationen, die lediglich stationäre Objekte enthalten und basierend auf einem Vergleich von ersten und zweiten dreidimensionalen Repräsentationen von Umgebungsinformationen, die lediglich bewegte Objekte enthalten, berechnet. Dadurch können neben den stationären Objekten auch bewegte Objekte für die Berechnung von Korrekturinformationen zur Sensorkalibrierung verwendet werden. Zu den bewegten Objekten sollten vorzugsweise jedoch Bewegungsinformationen, beispielsweise die Trajektorie bzw. die Geschwindigkeit bekannt sein, um die Bewegung der Objekte bei der Berechnung der Korrekturinformationen kompensieren zu können.
Gemäß einem weiteren Aspekt betrifft die Erfindung ein Fahrassistenzsystem für ein Fahrzeug. Das Fahrassistenzsystem weist einen Sensor eines ersten Sensortyps und zumindest einen Sensor eines zweiten, vom ersten Sensortyp unterschiedlichen Sensortyps auf. Das Fahrassistenzsystem ist dazu ausgebildet, die folgenden Schritte zu vollziehen: - Erfassen der Umgebung während der Fahrt des Fahrzeugs durch zumindest einen Sensor des ersten Sensortyps und Bereitstellen von ersten Sensorinformationen durch diesen Sensor des ersten Sensortyps;
- Erfassen der Umgebung während der Fahrt des Fahrzeugs durch zumindest einen Sensor des zweiten Sensortyps und Bereitstellen von zweiten Sensorinformationen durch diesen Sensor des zweiten Sensortyps;
- Erstellen einer ersten dreidimensionalen Repräsentation von Umgebungsinformationen aus den ersten Sensorinformationen;
- Erstellen einer zweiten dreidimensionalen Repräsentation von Umgebungsinformationen aus den zweiten Sensorinformationen;
- Vergleichen der ersten und zweiten dreidimensionalen Repräsentation von Umgebungsinformationen oder daraus abgeleiteter Informationen;
- Bestimmen von Abweichungen zwischen der ersten und zweiten dreidimensionalen Repräsentation von Umgebungsinformationen oder daraus abgeleiteter Informationen;
- Berechnen von Korrekturinformationen zu Kalibrierparametern zumindest eines Sensors basierend auf den ermittelten Abweichungen;
- Kalibrieren der Sensoren des Fahrzeugs relativ zueinander basierend auf den berechneten Korrekturinformationen.
Unter „dreidimensionale Repräsentation von Umgebungsinformationen“ wird jegliche Darstellung von Umgebungsinformationen in einem dreidimensionalen Koordinatensystem verstanden, beispielsweise eine diskrete räumliche Darstellung von Objektbereichen im dreidimensionalen Raum.
Unter dem Begriff „3D-Punktwolke“ im Sinne der vorliegenden Offenbarung wird eine Menge von Punkten im dreidimensionalen Raum verstanden, wobei jeder Punkt angibt, dass sich an der Stelle, an der sich der Punkt im dreidimensionalen Raum befindet, ein Objektbereich befindet.
Unter dem Begriff „Sensortyp“ im Sinne der vorliegenden Offenbarung wird eine Sensorgattung verstanden, die Umgebungsinformationen mittels auf einem vorgegebenen Erfassungsprinzip ermittelt. Sensortypen können beispielsweise Kameras, Radarsensoren, LIDAR-Sensoren, Ultraschallsensoren etc. sein.
Die Ausdrücke „näherungsweise“, „im Wesentlichen“ oder „etwa“ bedeuten im Sinne der Erfindung Abweichungen vom jeweils exakten Wert um +/- 10%, bevorzugt um +/- 5% und/oder Abweichungen in Form von für die Funktion unbedeutenden Änderungen.
Weiterbildungen, Vorteile und Anwendungsmöglichkeiten der Erfindung ergeben sich auch aus der nachfolgenden Beschreibung von Ausführungsbeispielen und aus den Figuren. Dabei sind alle beschriebenen und/oder bildlich dargestellten Merkmale für sich oder in beliebiger Kombination grundsätzlich Gegenstand der Erfindung, unabhängig von ihrer Zusammenfassung in den Ansprüchen oder deren Rückbeziehung. Auch wird der Inhalt der Ansprüche zu einem Bestandteil der Beschreibung gemacht.
Die Erfindung wird im Folgenden anhand der Figuren an Ausführungsbeispielen näher erläutert. Es zeigen:
Fig. 1 beispielhaft eine schematische Darstellung eines Fahrzeugs mit einem Fahrassistenzsystem, das eine Vielzahl von Sensoren unterschiedlicher Sensortypen zum Erfassung der Umgebung des Fahrzeugs aufweist; Fig. 2 beispielhaft ein Ablaufdiagramm zur Veranschaulichung von Verfahrensschritten zur Kalibrierung von Sensorinformationen einer Kamera und Sensorinformationen eines Radars und/oder LIDARS; und
Fig. 3 beispielhaft eine schematische Darstellung der Verfahrensschritte zur Online-Kalibrierung von Sensorinformationen unterschiedlicher Sensortypen.
Figur 1 zeigt beispielhaft und schematisch ein Fahrzeug 1 mit einem Fahrassistenzsystem, das eine Umfelderfassung mittels einer Vielzahl von Sensoren 2, 3, 4 unterschiedlicher Sensortypen ermöglicht. Zumindest ein Teil der Sensoren 2, 3, 4 ermöglicht eine Rundum-Umfelderfassung (360°- Umfelderfassung).
Das Fahrzeug 1 umfasst insbesondere zumindest einen Sensor 2 eines ersten Sensortyps, der ein Radarsensor ist. Der erste Sensortyp basiert damit auf dem Radarprinzip. Der Sensor 2 kann beispielsweise im Frontbereich des Fahrzeugs vorgesehen sein. Es versteht sich, dass mehrere Sensoren 2 des ersten Sensortyps um das Fahrzeug 1 herum verteilt vorgesehen sein können, beispielsweise im Frontbereich, im Fleckbereich und/oder in den Seitenbereichen des Fahrzeugs 1. Der zumindest eine Sensor 2 des ersten Sensortyps erzeugt erste Sensorinformationen. Dies sind beispielsweise die von einem Radarsensor bereitgestellten Rohinformationen. Aus diesen ersten Sensorinformationen wird eine erste dreidimensionale Repräsentation von Umgebungsinformationen erzeugt. Dies kann insbesondere eine 3D- Punktwolke sein. Für den Fall, dass mehrere Sensoren 2 des ersten Sensortyps verwendet werden, kann die erste dreidimensionale Repräsentation von Umgebungsinformationen basierend auf Sensorinformationen von mehreren oder allen dieser Sensoren 2 erzeugt werden. Das Fahrzeug 1 umfasst des Weiteren zumindest einen Sensor 3 eines zweiten Sensortyps, der eine Kamera ist. Der zweite Sensortyp ist damit vom Typ „Kamera“, d.h. ein bildaufnehmender Sensor. Der Sensor 3 kann beispielsweise im Windschutzscheibenbereich des Fahrzeugs 1 vorgesehen sein. Es versteht sich, dass mehrere Sensoren 3 des zweiten Sensortyps um das Fahrzeug 1 herum verteilt vorgesehen sein können, beispielsweise im Frontbereich, im Fleckbereich und/oder in den Seitenbereichen des Fahrzeugs 1. Der zumindest eine Sensor 3 des zweiten Sensortyps erzeugt zweite Sensorinformationen. Dies sind beispielsweise die von einer Kamera bereitgestellten Bildinformation. Die Kamera kann zweidimensionale Bildinformationen der Umgebung bereitstellen, d.h. die Bildinformationen enthalten keine Tiefeninformation. In diesem Falle können die zweiten Sensorinformationen weiterverarbeitet werden, und zwar derart, dass aus der Änderung der Bildinformationen in aufeinanderfolgenden Bildern einer Bildsequenz Tiefeninformationen zu den Bildinformationen erhalten werden. Flierzu können dem Fachmann bekannte Verfahren verwendet werden, die räumliche Zusammenhänge aus zweidimensionalen Bildsequenzen erzeugen. Beispiele hierfür sind das structure-from-motion-Verfahren, das shape-from -focus-Verfahren oder das shape-from-shading-Verfahren. Auch eine Tiefenschätzung mittels neuronaler Netze ist grundsätzlich denkbar. Für den Fall, dass die Kamera eine Stereokamera ist, können die zweiten Sensorinformationen auch direkt dreidimensionale Informationen sein, d.h. zu einem Teil der Pixel oder zu jedem Pixel des Bildes auch Tiefeninformationen aufweisen. Aus diesen zweiten Sensorinformationen wird eine zweite dreidimensionale Repräsentation von Umgebungsinformationen erzeugt. Dies kann insbesondere eine 3D-Punktwolke sein. Für den Fall, dass mehrere Sensoren 3 des zweiten Sensortyps verwendet werden, kann die zweite dreidimensionale Repräsentation von Umgebungsinformationen basierend auf Sensorinformationen von mehreren oder allen dieser Sensoren 3 erzeugt werden. Das Fahrzeug 1 umfasst vorzugsweise auch zumindest einen Sensor 4 eines dritten Sensortyps, der ein LIDAR-Sensor ist. Der dritte Sensortyp basiert damit auf dem LIDAR-Prinzip. Der Sensor 4 kann beispielsweise im Dachbereich des Fahrzeugs 1 vorgesehen sein. Es versteht sich, dass mehrere Sensoren 4 des dritten Sensortyps am Fahrzeug 1 verteilt vorgesehen sein können. Der zumindest eine Sensor 4 des dritten Sensortyps erzeugt dritte Sensorinformationen. Dies sind beispielsweise die von einem LIDAR-Sensor bereitgestellten Rohinformationen. Aus diesen dritten Sensorinformationen wird eine dritte dreidimensionale Repräsentation von Umgebungsinformationen erzeugt, sofern die dritte Sensorinformation nicht schon eine solche bereitstellt. Dies kann insbesondere eine 3D-Punktwolke sein. Für den Fall, dass mehrere Sensoren 4 des dritten Sensortyps verwendet werden, kann die dritte dreidimensionale Repräsentation von Umgebungsinformationen basierend auf Sensorinformationen von mehreren oder allen dieser Sensoren 4 erzeugt werden.
Das Fahrzeug umfasst des Weiteren eine Recheneinheit 5, die dazu ausgebildet ist, die von den Sensoren 2, 3, 4 bereitgestellten Daten weiterzuverarbeiten. Die Recheneinheit kann, wie in Fig. 1 dargestellt, eine zentrale Recheneinheit sein oder es können mehrere dezentrale Recheneinheiten vorgesehen sein, so dass Teilaufgaben des nachfolgend beschriebenen Verfahrens verteilt auf mehreren Rechnereinheiten durchgeführt werden.
Fig. 2 zeigt ein Ablaufdiagramm, das die Verfahrensschritte des Verfahrens zur Kalibrierung von Sensorinformationen unterschiedlicher Sensoren 2, 3, 4 relativ zueinander veranschaulicht.
In Schritt S10 werden Sensorinformationen zumindest eines Radarsensors und/oder zumindest eines LIDAR-Sensors empfangen. Wenn Radar- und LIDAR-Sensoren vorhanden sind, werden für jeden Sensortyp getrennt zunächst die Sensorinformationen bereitgestellt.
Falls diese Sensoren nicht bereits eine dreidimensionale Repräsentation von Umgebungsinformationen, insbesondere eine 3D-Punktwolke bereitstellen, wird aus den Sensorinformationen eine solche gebildet. Wenn Radar- und LIDAR-Sensoren vorhanden sind, wird für jeden Sensortyp getrennt eine dreidimensionale Repräsentation von Umgebungsinformationen, insbesondere eine 3D-Punktwolke bereitgestellt. Die 3D-Punktwolken können durch Sensorinformationen eines einzigen Sensors oder durch Zusammenführen von Sensorinformationen mehrerer Sensoren gleichen Sensortyps gebildet werden.
Vorzugsweise erfolgt in Schritt S11 bei der 3D-Punktwolke, die aus den Sensorinformationen des Radarsensors gewonnen wurde, und -falls vorhanden- aus der 3D-Punktwolke, die aus den Sensorinformationen des LIDAR-Sensors gewonnen wurde, eine Trennung nach statischen und dynamischen Inhalten. Dies bedeutet insbesondere, dass für jeden Sensortyp jeweils eine erste 3D-Punktwolke, die lediglich statische Objekte enthält, und eine zweite 3D-Punktwolke, die lediglich bewegte Objekte enthält, erstellt werden. Dadurch ist es möglich, getrennte Korrekturinformationen zu den Kalibrierungsparametern aus statischen Objekten und bewegten Objekten zu erzeugen.
Zudem werden in Schritt S12 zweite Sensorinformationen von einer Kamera empfangen. Aus zweiten Sensorinformationen wird in Schritt S13 eine 3D-Punktwolke erzeugt.
Beispielsweise erfolgt eine dreidimensionale Rekonstruktion der Umgebung des Fahrzeugs 1 durch Auswertung der zeitlich aufeinanderfolgenden Bilder einer Bildsequenz einer oder mehrerer Kameras, beispielsweise mittels eines structure-from-motion Rekonstruktionsverfahrens.
Vorzugsweise wird ein Verfahren verwendet, das in der deutschen Patentanmeldung DE 102019208216 A1 offenbart ist. Die Offenbarung dieser Patentanmeldung wird vollständig zum Gegenstand der vorliegenden Offenbarung gemacht. Vorzugsweise wird gemäß dem Verfahren sowohl eine 3D-Rekonstruktion der Umgebung bzw. Ausgabe einer 3D-Punktwolke, als auch eine Segmentierung von bewegten Objekten vollzogen. Dadurch kann eine Trennung zwischen bewegten und stationären Objekten in den von der zumindest einen Kamera bereitgestellten Bildinformationen vorgenommen werden (S14). Zudem können mittels des Verfahrens Trajektorien der bewegten Objekte ermittelt werden, wie auch die Trajektorie des Kamerasystems gegenüber der stationären Umgebung. Durch die Kenntnis der Bewegung der Objekte können auch 3D-Punktwolken unterschiedlicher Sensortypen, die bewegte Objekte enthalten, zueinander korreliert werden und dadurch Korrekturinformationen für die Kalibrierung abgeleitet werden. Hierbei vereinfachen sich unter anderem die Schritte Synchronisation und Interpolation, welche dann auch genauere Ergebnisse liefern.
Nachdem eine Trennung von statischen und dynamischen Inhalten in den 3D-Punktwolken, die von Sensorinformationen eines Radar-Sensor und/oder eines LIDAR-Sensor sowie von Sensorinformationen einer Kamera erzeugt wurden, erfolgt ist, können entweder die weiteren
Verfahrensschritte lediglich basierend auf 3D-Punktwolken, die statische Objekte enthalten, durchgeführt werden oder es werden getrennte 3D- Punktwolken mit jeweils statischen oder dynamischen Objekten erzeugt und die weiteren Verfahrensverläufe werden getrennt für statische und dynamische Objekte durchgeführt, d.h. es werden sowohl 3D-Punktwolken mit statischen Objekten als auch 3D-Punktwolken mit dynamischen Objekten verglichen und zur Erzeugung der Korrekturinformationen für die Sensorkalibrierung herangezogen. Somit können die nachfolgend beschriebenen Schritte parallel für 3D-Punktwolken mit dynamischen Objekten und 3D-Punktwolken mit statischen Objekten durchgeführt werden.
Die Schritte S10/S11 und S12/S13/S14, d.h. die Verarbeitung der von dem Radarsensor bzw. dem LIDAR-Sensor bereitgestellten Sensorinformationen und der von der Kamera bereitgestellten Sensorinformationen können zumindest teilweise parallel vollzogen werden.
In Schritt S15 werden die 3D-Punktwolken vorzugsweise zueinander synchronisiert, und zwar derart, dass diese auf Deckungsgleichheit überprüfbar werden. Dies kann zum einen eine zeitliche Synchronisation sein. Die 3D-Punktwolken der jeweiligen Sensortypen können zu unterschiedlichen Zeitpunkten generiert werden, so dass die Umgebungsinformationen in den 3D-Punktwolken aufgrund der Bewegung des Fahrzeugs zueinander örtlich versetzt sind. Dieser Versatz kann durch eine zeitliche Synchronisation der 3D-Punktwolken behoben werden. Zudem ist es möglich, dass aus mehreren zeitlich aufeinanderfolgenden 3D-Punktwolken Zwischeninformationen berechnet werden, etwa mittels Interpolation, um den zeitlichen Versatz zwischen den 3D-Punktwolken der jeweiligen Sensortypen zu kompensieren. Anschließend werden in Schritt S16 die 3D-Punktwolken miteinander verglichen und die Abweichungen zwischen den 3D-Punktwolken bestimmt. Beispielsweise können die in den zu vergleichenden Punktwolken miteinander korrespondierende Punkte, d.h. Punkte, die gleiche Bereiche einer Szene der Umgebung repräsentieren, miteinander verglichen und die Abstände zwischen diesen Punkten bzw. deren örtlicher Versatz zueinander bestimmt werden. Dadurch kann in Schritt S18 ermittelt werden, welche Kalibrierungenauigkeit zwischen den Sensoren des Fahrassistenzsystems besteht und welche Kalibrierparameter geändert werden müssen (z.B. linearer Versatz oder Abweichung durch einen verdrehten Sensor). Anschließend werden in Schritt S18 die Korrekturinformationen angewendet, d.h. die 3D-Punktwolken werden nach einer Modifizierung der Kalibrierparameter basierend auf den Korrekturinformationen erneut auf Deckungsgleichheit hin überprüft und diese Deckungsgleichheit beurteilt
Daraufhin wird in Schritt S19 entschieden, ob eine ausreichende Deckungsgleichheit erreicht wurde. Falls nein, werden die Schritte S16 bis S19 erneut durchlaufen. Dabei kann ein Minimierungsverfahren mit linearem Gradientenabstieg, beispielsweise ein Iterative-Closest-Point- Verfahren (ICP-Verfahren) vollzogen werden.
Nachdem eine hinreichende Deckung zwischen den 3D-Punktwolken erzielt wurde, erfolgt in Schritt S20 die Ausgabe der Korrekturinformationen zu den Kalibrierparametern der Sensoren und/ oder eine Anwendung derselben zur Sensorkalibrierung.
Fig. 3 zeigt ein Ablaufdiagramm, das die Schritte eines Verfahrens zur Online-Kalibrierung von Sensorinformationen von Sensoren eines Fahrzeugs verdeutlicht.
Zunächst wird die Umgebung während der Fahrt des Fahrzeugs durch zumindest einen Sensor des ersten Sensortyps erfasst. Zudem werden erste Sensorinformationen durch diesen Sensor des ersten Sensortyps bereitgestellt (S30).
Zudem wird die Umgebung während der Fahrt des Fahrzeugs durch zumindest einen Sensor des zweiten Sensortyps erfasst. Dabei werden zweite Sensorinformationen durch diesen Sensor des zweiten Sensortyps bereitgestellt (S31). Die Schritte S31 und S32 werden zeitgleich oder zumindest zeitweise zeitlich überlappend ausgeführt. Anschließend wird eine erste dreidimensionale Repräsentation von Umgebungsinformationen aus den ersten Sensorinformationen erstellt (S32).
Zeitgleich zu Schritt S32 oder zumindest in zeitlichem Überlapp wird eine zweite dreidimensionale Repräsentation von Umgebungsinformationen aus den zweiten Sensorinformationen erzeugt (S33).
Daraufhin wird die erste und zweite dreidimensionale Repräsentation von Umgebungsinformationen oder daraus abgeleiteter Informationen miteinander verglichen (S34). Unter „abgeleitete Informationen“ wird hierbei jegliche Information verstanden, die durch Modifikation aus der ersten bzw. zweiten dreidimensionalen Repräsentation gewonnen werden kann, beispielsweise durch Filterung, Beschränkung auf stationäre oder nichtstationäre Objekte etc.
Basierend auf dem Vergleichsergebnis werden Abweichungen zwischen der ersten und zweiten dreidimensionalen Repräsentation von Umgebungsinformationen oder daraus abgeleiteter Informationen bestimmt (S35).
Auf Basis der ermittelten Abweichungen werden Korrekturinformationen zu Kalibrierparametern zumindest eines Sensors berechnet (S36).
Zuletzt erfolgt ein Kalibrieren der Sensoren des Fahrzeugs relativ zueinander basierend auf den berechneten Korrekturinformationen (S37). Dies bedeutet insbesondere, dass nicht die Lage bzw. Ausrichtung der Sensoren am Fahrzeug modifiziert wird, sondern eine indirekte Kalibrierung durch Modifizierung der 3D-Punktwolken basierend auf den Korrekturinformationen erfolgt.
Die Erfindung wurde voranstehend an Ausführungsbeispielen beschrieben. Es versteht sich, dass zahlreiche Änderungen sowie Abwandlungen möglich sind, ohne dass dadurch der durch die Patentansprüche definierte Schutzbereich verlassen wird.
Bezugszeichenliste 1 Fahrzeug
2 Sensor
3 Sensor
4 Sensor
5 Recheneinheit

Claims

Patentansprüche
1 ) Verfahren zur Kalibrierung von Sensorinformationen eines Fahrzeugs (1), wobei das Fahrzeug (1) zumindest einen Sensor (2) eines ersten Sensortyps und zumindest einen Sensor (3) eines zweiten, vom ersten Sensortyp unterschiedlichen Sensortyps aufweist, wobei das Verfahren die folgenden Schritte umfasst:
- Erfassen der Umgebung während der Fahrt des Fahrzeugs (1 ) durch zumindest einen Sensor (2) des ersten Sensortyps und Bereitstellen von ersten Sensorinformationen durch diesen Sensor (2) des ersten Sensortyps (S10);
- Erfassen der Umgebung während der Fahrt des Fahrzeugs (1 ) durch zumindest einen Sensor (3) des zweiten Sensortyps und Bereitstellen von zweiten Sensorinformationen durch diesen Sensor (3) des zweiten Sensortyps (S11 );
- Erstellen einer ersten dreidimensionalen Repräsentation von Umgebungsinformationen aus den ersten Sensorinformationen (S12);
- Erstellen einer zweiten dreidimensionalen Repräsentation von Umgebungsinformationen aus den zweiten Sensorinformationen (S13);
- Vergleichen der ersten und zweiten dreidimensionalen Repräsentation von Umgebungsinformationen oder daraus abgeleiteter Informationen (S14);
- Bestimmen von Abweichungen zwischen der ersten und zweiten dreidimensionalen Repräsentation von Umgebungsinformationen oder daraus abgeleiteter Informationen (S15);
- Berechnen von Korrekturinformationen zu Kalibrierparametern zumindest eines Sensors basierend auf den ermittelten Abweichungen (S16); - Kalibrieren der Sensoren (2, 3) des Fahrzeugs (1) relativ zueinander basierend auf den berechneten Korrekturinformationen (S17). 2) Verfahren nach Anspruch 1 , dadurch gekennzeichnet, dass die erste und zweite dreidimensionale Repräsentation von Umgebungsinformationen zeitdiskrete Informationen sind und dass vor dem Vergleichen der ersten und zweiten dreidimensionalen Repräsentation von Umgebungsinformationen oder daraus abgeleiteter Informationen eine zeitliche Synchronisierung der Informationen zueinander erfolgt.
3) Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass die erste und zweite dreidimensionale Repräsentation von Umgebungsinformationen zeitdiskrete Informationen sind und dass vor dem Vergleichen der ersten und zweiten dreidimensionalen Repräsentation von Umgebungsinformationen oder daraus abgeleiteter Informationen eine Interpolation von Informationen zwischen zwei Zeitschritten der zeitdiskreten Informationen erfolgt.
4) Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass jeweils erste und zweite dreidimensionale Repräsentationen von Umgebungsinformationen, die die Fahrzeugumgebung zum gleichen Zeitpunkt wiedergeben, miteinander verglichen werden und Abweichungen zwischen diesen ersten und zweiten dreidimensionalen Repräsentationen von Umgebungsinformationen zur Berechnung der Korrekturinformationen verwendet werden. 5) Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Berechnung von Korrekturinformationen zu Kalibrierparametern iterativ erfolgt, und zwar derart, dass in mehreren Iterationsschritten jeweils zumindest eine erste und zweite dreidimensionale Repräsentation von Umgebungsinformationen, die die Fahrzeugumgebung zum gleichen Zeitpunkt wiedergeben, miteinander verglichen werden, Korrekturinformationen berechnet und nach Anwendung der Korrekturinformationen auf die
Kalibrierparameter zumindest eines Sensors Informationen über die Deckungsgleichheit der ersten und zweiten dreidimensionalen Repräsentationen von Umgebungsinformationen ermittelt werden. 6) Verfahren nach Anspruch 5, dadurch gekennzeichnet, dass in den aufeinanderfolgenden Iterationsschritten die Korrekturinformationen derart iterativ verändert werden, dass der Deckungsgleichheitsfehler zwischen der ersten und zweiten dreidimensionalen Repräsentation von Umgebungsinformationen reduziert wird.
7) Verfahren nach Anspruch 6, dadurch gekennzeichnet, dass zur Reduzierung des Deckungsgleichheitsfehlers ein Minimierungsverfahren oder ein Optimierungsverfahren angewandt wird.
8) Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Berechnung der Korrekturinformationen zu Kalibrierparametern mittels mehrerer erster und zweiter dreidimensionaler Repräsentationen von Umgebungsinformationen erfolgt, die zu unterschiedlichen Zeitpunkten ermittelt wurden, und zwar derart, dass mehrere Paare von ersten und zweiten dreidimensionalen Repräsentationen von Umgebungsinformationen, wobei die Umgebungsinformationen eines Paares jeweils die Fahrzeugumgebung zum gleichen Zeitpunkt wiedergeben, miteinander verglichen werden und Korrekturinformationen berechnet werden. 9) Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass der Sensor (2) des ersten Sensortyps eine Kamera ist.
10) Verfahren nach Anspruch 9, dadurch gekennzeichnet, dass die Kamera eine monokulare Kamera ist und dass aus den Bildinformationen, die durch die Kamera bereitgestellt werden, dreidimensionale Repräsentationen von Umgebungsinformationen aus Einzelbildern oder einer Sequenz von zeitlich aufeinanderfolgenden zweidimensionalen Bildern berechnet werden.
11) Verfahren nach Anspruch 9 oder 10, dadurch gekennzeichnet, dass basierend auf einer Sequenz von zeitlich aufeinanderfolgenden Bildinformationen mindestens einer Kamera eine Segmentierung von in den Bildinformationen enthaltenen bewegten Objekten und eine Schätzung von dreidimensionaler Struktur und Relativbewegungen der segmentierten Objekte und der stationären Umgebung erfolgt.
12) Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass der Sensor (3) des zweiten Sensortyps ein Radarsensor oder ein LIDAR-Sensor ist.
13) Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass aus den ersten und zweiten dreidimensionalen Repräsentationen von Umgebungsinformationen bewegte Objekte ausgefiltert werden, so dass die Berechnung der Korrekturinformationen ausschließlich basierend auf stationären Objekten erfolgt.
14) Verfahren nach einem der Ansprüche 1 bis 12, dadurch gekennzeichnet, dass die Korrekturinformationen basierend auf einem Vergleich von ersten und zweiten dreidimensionalen Repräsentationen von Umgebungsinformationen, die lediglich stationäre Objekte enthalten und basierend auf einem Vergleich von ersten und zweiten dreidimensionalen Repräsentationen von Umgebungsinformationen, die lediglich bewegte Objekte enthalten, berechnet werden.
15) Fahrassistenzsystem für ein Fahrzeug (1) mit einem Sensor (2) eines ersten Sensortyps und zumindest einem Sensor (3) eines zweiten, vom ersten Sensortyp unterschiedlichen Sensortyps, wobei das Fahrassistenzsystem dazu ausgebildet ist, die folgenden Schritte zu vollziehen:
- Erfassen der Umgebung während der Fahrt des Fahrzeugs (1 ) durch zumindest einen Sensor (2) des ersten Sensortyps und Bereitstellen von ersten Sensorinformationen durch diesen Sensor (2) des ersten Sensortyps;
- Erfassen der Umgebung während der Fahrt des Fahrzeugs (1 ) durch zumindest einen Sensor (3) des zweiten Sensortyps und Bereitstellen von zweiten Sensorinformationen durch diesen Sensor (3) des zweiten Sensortyps; - Erstellen einer ersten dreidimensionalen Repräsentation von
Umgebungsinformationen aus den ersten Sensorinformationen;
- Erstellen einer zweiten dreidimensionalen Repräsentation von Umgebungsinformationen aus den zweiten Sensorinformationen; Vergleichen der ersten und zweiten dreidimensionalen
Repräsentation von Umgebungsinformationen oder daraus abgeleiteter Informationen;
- Bestimmen von Abweichungen zwischen der ersten und zweiten dreidimensionalen Repräsentation von Umgebungsinformationen oder daraus abgeleiteter
Informationen; - Berechnen von Korrekturinformationen zu Kalibrierparametern zumindest eines Sensors (2, 3) basierend auf den ermittelten Abweichungen;
- Kalibrieren der Sensoren (2, 3) des Fahrzeugs (1) relativ zueinander basierend auf den berechneten
Korrekturinformationen.
PCT/EP2022/059207 2021-04-12 2022-04-07 Verfahren zur kalibrierung von sensorinformationen eines fahrzeugs sowie fahrassistenzsystem WO2022218795A1 (de)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202280037066.0A CN117377888A (zh) 2021-04-12 2022-04-07 用于校准车辆的传感器信息的方法以及驾驶辅助系统
JP2024505490A JP2024514715A (ja) 2021-04-12 2022-04-07 車両からのセンサ情報を較正する方法及び運転者支援システム

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
DE102021109010 2021-04-12
DE102021109010.5 2021-04-12
DE102021113111.1A DE102021113111A1 (de) 2021-04-12 2021-05-20 Verfahren zur Kalibrierung von Sensorinformationen eines Fahrzeugs sowie Fahrassistenzsystem
DE102021113111.1 2021-05-20

Publications (1)

Publication Number Publication Date
WO2022218795A1 true WO2022218795A1 (de) 2022-10-20

Family

ID=81585760

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2022/059207 WO2022218795A1 (de) 2021-04-12 2022-04-07 Verfahren zur kalibrierung von sensorinformationen eines fahrzeugs sowie fahrassistenzsystem

Country Status (2)

Country Link
JP (1) JP2024514715A (de)
WO (1) WO2022218795A1 (de)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180261095A1 (en) * 2017-03-08 2018-09-13 GM Global Technology Operations LLC Method and apparatus of networked scene rendering and augmentation in vehicular environments in autonomous driving systems
WO2019032588A1 (en) * 2017-08-11 2019-02-14 Zoox, Inc. CALIBRATION AND LOCATION OF VEHICLE SENSOR
DE102019208216A1 (de) 2019-06-05 2020-12-10 Conti Temic Microelectronic Gmbh Detektion, 3D-Rekonstruktion und Nachverfolgung von mehreren relativ zueinander bewegten starren Objekten

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180261095A1 (en) * 2017-03-08 2018-09-13 GM Global Technology Operations LLC Method and apparatus of networked scene rendering and augmentation in vehicular environments in autonomous driving systems
WO2019032588A1 (en) * 2017-08-11 2019-02-14 Zoox, Inc. CALIBRATION AND LOCATION OF VEHICLE SENSOR
DE102019208216A1 (de) 2019-06-05 2020-12-10 Conti Temic Microelectronic Gmbh Detektion, 3D-Rekonstruktion und Nachverfolgung von mehreren relativ zueinander bewegten starren Objekten

Also Published As

Publication number Publication date
JP2024514715A (ja) 2024-04-02

Similar Documents

Publication Publication Date Title
DE602004003811T2 (de) Objektdetektionssystem und verfahren zum erkennen eines objekts
WO2018069405A1 (de) Kraftfahrzeug und verfahren zur 360°-umfelderfassung
EP1531343B1 (de) Verfahren zur Verfolgung von Objekten
DE102005035746A1 (de) Verfahren zur Bestimmung einer Relativposition einer mobilen Einheit durch Vergleich von Scans einer Umgebung und mobile Einheit
WO2003001241A1 (de) Korrekturverfahren für daten mehrerer optoelektronischer sensoren
DE112009001686T5 (de) Objekterfassungsvorrichtung
DE102017101476B3 (de) Lokalisieren eines Objekts in einer Umgebung eines Kraftfahrzeugs durch ein Ultraschallsensorsystem
DE102014201271A1 (de) Verfahren und Steuergerät zum Erkennen einer Veränderung eines relativen Gierwinkels innerhalb eines Stereo-Video-Systems für ein Fahrzeug
DE10133962A1 (de) Verfahren zur Synchronisation und Vorrichtung
WO2019201565A1 (de) Verfahren, vorrichtung und computerlesbares speichermedium mit instruktionen zur verarbeitung von sensordaten
DE102009057996A1 (de) Verfahren zur Bestimmung einer Position einer Kamera mit einem zugehörigen Kamera-Koordinatensystem relativ zu einer Position eines Fahrzeuges oder Fahrzeuggespannes mit einem zugehörigen Fahrzeug-Koordinatensystem
DE102012009577A1 (de) Verfahren zur Kalibrierung und Verfahren zur Justierung von Einzelbildkameras einer Kameraanordnung
DE102015003666A1 (de) Verfahren zur Verarbeitung von erfassten Messdaten eines Sensors
EP2562681A1 (de) Objektverfolgungsverfahren für ein Kamerabasiertes Fahrerassistenzsystem
WO2021170321A1 (de) Verfahren zum detektieren bewegter objekte in einer fahrzeugumgebung und kraftfahrzeug
EP3663881B1 (de) Verfahren zur steuerung eines autonomen fahrzeugs auf der grundlage von geschätzten bewegungsvektoren
WO2022218795A1 (de) Verfahren zur kalibrierung von sensorinformationen eines fahrzeugs sowie fahrassistenzsystem
WO2013091626A1 (de) Verfahren zur kalibrierung einer verkehrsüberwachungskamera zu einem lagesensor
DE102021113111A1 (de) Verfahren zur Kalibrierung von Sensorinformationen eines Fahrzeugs sowie Fahrassistenzsystem
DE102021101593B3 (de) Verfahren zum Betrieb von Umfeldsensoren in einem Kraftfahrzeug und Kraftfahrzeug
WO2008154989A1 (de) Verfahren zur optimierung eines stereoskopischen bildes
DE102019008369B4 (de) Verfahren zur Kalibrierung eines distanzmessenden Sensors eines Fahrzeugs
EP3663800B1 (de) Verfahren zur objekterfassung mit einer 3d-kamera
DE102017205782A1 (de) Steuervorrichtung und Verfahren
EP3518180B1 (de) Verfahren zur erstellung einer bildstapel-datenstruktur

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22721663

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 18554930

Country of ref document: US

Ref document number: 2024505490

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 202280037066.0

Country of ref document: CN

122 Ep: pct application non-entry in european phase

Ref document number: 22721663

Country of ref document: EP

Kind code of ref document: A1