WO2021073907A1 - Kalibrierung eines aktiven optischen sensorsystems - Google Patents

Kalibrierung eines aktiven optischen sensorsystems Download PDF

Info

Publication number
WO2021073907A1
WO2021073907A1 PCT/EP2020/077768 EP2020077768W WO2021073907A1 WO 2021073907 A1 WO2021073907 A1 WO 2021073907A1 EP 2020077768 W EP2020077768 W EP 2020077768W WO 2021073907 A1 WO2021073907 A1 WO 2021073907A1
Authority
WO
WIPO (PCT)
Prior art keywords
point
objective function
point cloud
coordinate transformation
sensor system
Prior art date
Application number
PCT/EP2020/077768
Other languages
English (en)
French (fr)
Inventor
Marco Heinen
Kai Fischer
Patrick REICHEL
Original Assignee
Valeo Schalter Und Sensoren Gmbh
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Valeo Schalter Und Sensoren Gmbh filed Critical Valeo Schalter Und Sensoren Gmbh
Publication of WO2021073907A1 publication Critical patent/WO2021073907A1/de

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Definitions

  • the present invention relates to a method for calibrating an active optical sensor system, a first point cloud generated by means of the sensor system at a first point in time and a second point cloud generated by means of the sensor system at a second point in time being provided.
  • the invention also relates to a sensor device for a motor vehicle and a computer program.
  • Active optical sensor systems for example lidar systems
  • lidar systems can be mounted on or in motor vehicles in order to implement various functions of electronic vehicle guidance systems or driver assistance systems. These functions include partially or fully automated functions for parking or driving the motor vehicle, for vehicle localization and for monitoring the surroundings.
  • Deviations of an installation position or orientation of the sensor system from a nominal position or orientation influence the interpretation and evaluation of the measured values and thus the reliability and accuracy of those based on them
  • the document US 2018/0357773 A1 describes, among other things, the calibration of a lidar system using a calibration target with printed, checkerboard-like patterns. Calibration methods that use special calibration targets can on the one hand only be carried out when the motor vehicle is at a standstill and in specific calibration environments, that is to say "offline”. In other calibration methods, static objects in the vicinity of the motor vehicle are used as a reference for calibration.
  • the calibration can only be repeated with a limited frequency, so that, on the one hand, the accuracy is based on the number of available standing estimates is limited.
  • changes in the position or orientation of the sensor system during normal operation of the motor vehicle, that is to say “online”, cannot be taken into account, or only to a limited extent.
  • the approaches mentioned require knowledge of the specific structural design of the sensor system, for example about optical paths and path lengths within the sensor system. Accordingly, the calibration method cannot be universally applied to different types of active optical sensor systems or different embodiments.
  • an object of the present invention is to provide an improved concept for calibrating an active optical sensor system which is not or less dependent on the structural design of the active optical sensor system and which in particular enables higher accuracy.
  • the improved concept is based on the idea of recording at least two corresponding point clouds in successive periods of time and of performing a point set registration by applying at least one coordinate transformation to the second point cloud and optimizing parameters that define a possible vehicle trajectory as a function thereof.
  • a, in particular computer-implemented, method for calibrating an active optical sensor system is specified.
  • a first point cloud of scanning points generated by means of the sensor system at a first point in time and a second point cloud generated by means of the sensor system at a second point in time, in particular after the first point in time, are provided, in particular provided to a computing unit.
  • the arithmetic unit which is in particular a computing unit of the sensor system or of the motor vehicle, at least one coordinate transformation of the points of the second point cloud is carried out depending on at least one parameter that describes potential trajectories of the motor vehicle between the first and the second point in time.
  • a first predetermined objective function based on the first point cloud and a result of the at least one coordinate transformation is optimized by means of the computing unit by varying at least one parameter value of the at least one parameter.
  • At least one estimated value for a pose of the sensor system is obtained by means of the computing unit
  • Reference coordinate system determined based on a result of the optimization of the first objective function.
  • the at least one coordinate transformation is carried out, for example, in a parametric dependence on the at least one parameter.
  • the first and the second point in time can be discrete points in time or periods of time, in particular individual image periods or frames of the sensor system.
  • the active optical sensor system scans an environment of the sensor system and thus of the motor vehicle in periodically successive individual image periods and in each case generates a point cloud.
  • the motor vehicle is generally moving.
  • the potential trajectories of the motor vehicle represent, for example, time-dependent spatial coordinates of three defined points of the motor vehicle (a single point only defines the translation of the vehicle. To also capture the rotation, three points (not along a straight line) are required) or three with respect to the Motor vehicle three unmoved defined points between the first and the second point in time, which are described by the at least one parameter, in particular approximately.
  • the potential trajectories can correspond, for example, to circular arc sections with a constant radius of curvature and / or a constant speed.
  • the trajectory on which the motor vehicle actually moves between the first and the second point in time is generally not known or is not required for the method according to the improved concept.
  • the actual trajectory can be approximated in sufficiently small time segments by means of a circular arc.
  • different parameter values of the at least one parameter lead to different trajectories.
  • the parameter values correspond in particular to specific numerical values for the corresponding parameters of the at least one parameter.
  • the pose of the sensor system can in particular be understood to mean a combination of a position and an orientation of the sensor system, in particular with respect to the reference coordinate system.
  • the pose can have three position coordinates of the sensor system, for example coordinates of a coordinate origin of a sensor coordinate system rigidly connected to the sensor system, as well as three angles, in particular a roll angle, a pitch angle and a yaw angle, of the sensor coordinate system in the reference coordinate system.
  • an active optical sensor system can be defined as such in that it has a transmission unit with a light source, in particular for emitting light or light pulses.
  • the light source can in particular be designed as a laser.
  • an active optical sensor system has a receiving unit with at least one optical detector, in particular for detecting light or light pulses, in particular for detecting reflected components of the emitted light.
  • the active optical sensor system is set up in particular to generate, process and / or output one or more sensor signals based on the detected light.
  • the term “light” can be understood to include electromagnetic waves in the visible range, in the infrared range and / or in the ultraviolet range. Accordingly, the term “optical” can be understood to refer to light according to this understanding.
  • the light which is emitted by the active optical sensor system can in particular contain infrared light, for example with a wavelength of 905 nm, approximately 905 nm, 1200 nm or approximately 1200 nm. This wavelength information can each refer to a wavelength range with a correspondingly broader distribution, which is typical for the corresponding light source.
  • the light source can be, for example, a laser light source.
  • the mentioned wavelengths within the scope of customary tolerances, correspond, for example, to peak wavelengths of the laser spectrum.
  • the sensor system can for example contain a deflection device, for example with a movable or rotatably mounted mirror, by means of which light generated by the transmitter unit can be deflected in a controlled manner.
  • the deflection device can have a mirror element that can be tilted or pivoted about one or two axes for deflecting the light in the transmission plane.
  • the mirror element can be designed, for example, as a microelectromechanical system, MEMS.
  • a longitudinal axis of the sensor system which defines, for example, an x-axis of the sensor coordinate system, corresponds to an emission direction of the light beams at an emission angle of zero degrees, that is, for example, when the deflection device is in a neutral position.
  • the deflecting device can assume positions deviating from the neutral position in order to deflect the light so that it emerges from the sensor system within a transmission plane.
  • a transverse axis of the sensor system which, for example, defines a y-axis of the sensor coordinate system, lies within the transmission plane and is, for example, perpendicular to the longitudinal axis, which by design is also within the transmission plane.
  • a normal axis of the sensor system is perpendicular to the longitudinal axis and to the transverse axis of the sensor system.
  • the normal axis of the sensor system defines, for example, a z-axis of the sensor coordinate system.
  • a viewing direction or emission direction of the sensor system when the deflecting device is in the neutral position is equal to the x-axis of the sensor coordinate system.
  • the transmission plane is given by the xy plane of the sensor coordinate system.
  • the sensor system can emit light with different emission angles within the emission level. Depending on the type of sensor system, other definitions of the axes of the sensor coordinate system can also be useful.
  • a longitudinal axis of the motor vehicle which in particular defines an x-axis of a vehicle coordinate system, is given, for example, by a direction of travel of the motor vehicle when a steering system of the motor vehicle is in the neutral position or when a steering angle, in particular a wheel angle or a steering wheel angle, of the motor vehicle is zero degrees.
  • a transverse axis of the motor vehicle is perpendicular to the longitudinal axis of the motor vehicle and lies in a plane that is parallel to the roadway or parallel to a plane within which the points of contact of the wheels of the motor vehicle are on the roadway.
  • the transverse axis defines in particular a y-axis of the vehicle coordinate system.
  • a normal axis of the motor vehicle which in particular defines a z-axis of the vehicle coordinate system, is perpendicular to the longitudinal axis and to the transverse axis of the motor vehicle.
  • An overall angular position of the sensor system that is to say in particular the orientation of the sensor system, can be defined, for example, by the yaw angle, the pitch angle and the roll angle of the sensor system. These are defined as the rotation angle or Euler angle of the sensor coordinate system with respect to the reference coordinate system according to a predetermined convention.
  • the convention can be such that the sensor coordinate system results from the nominal coordinate system through the following three rotations, whereby it is assumed that the sensor coordinate system and the reference coordinate system are initially identical:
  • the sensor coordinate system is based on the yaw angle around the z-axis of the nominal Sensor coordinate system rotates.
  • the resulting sensor coordinate system is then rotated by the pitch angle around the resulting y-axis of the resulting sensor coordinate system.
  • the resulting sensor coordinate system is then rotated by the roll angle around the resulting x-axis of the resulting sensor coordinate system.
  • Other conventions are also possible.
  • the yaw angle corresponds in particular to an angle of rotation of the sensor coordinate system about the z-axis of the nominal sensor coordinate system. If the roll angle and the yaw angle are equal to zero, the pitch angle corresponds in particular to a rotation angle of Sensor coordinate system around the y-axis of the reference coordinate system. If the pitch angle and the yaw angle are equal to zero, the roll angle corresponds in particular to an angle of rotation of the sensor coordinate system about the x-axis of the reference coordinate system.
  • the reference coordinate system can be given or defined, for example, by the vehicle coordinate system.
  • the reference coordinate system can be given or defined by the longitudinal axis, the transverse axis and the normal axis of the motor vehicle.
  • each coordinate axis of the nominal sensor coordinate system can be parallel to the corresponding longitudinal axis, transverse axis or normal axis of the motor vehicle.
  • the coordinate axes of the reference coordinate system can each include predefined angles with the longitudinal axis, the transverse axis and / or the normal axis of the motor vehicle.
  • the at least one coordinate transformation together with the optimization of the first objective function can be understood, for example, as a point set registration of the first and second point clouds.
  • a deviation of the first point cloud from the transformed second point cloud can be understood as a measure of the quality of the point set registration.
  • the deviation of the first from the transformed second point cloud can depend, for example, on the deviations of the individual sampling points of the first point cloud from associated sampling points of the transformed second point cloud.
  • the deviation can be carried out, for example, using a grouping method (English: "Binning"), using an Iterative Closest Point Algorithm (English: “Iterative Closest Point Algorithm”) or using another method for point set registration.
  • the result of the at least one coordinate transformation can in particular be understood to mean the second point cloud transformed using the at least one coordinate transformation.
  • That trajectory of the potential trajectories is determined, in particular by determining the corresponding parameter values for the at least one parameter which achieves the smallest deviation, that is to say in particular the best point set registration.
  • the optimization can include, in particular, maximizing or minimizing the objective function. Because of the mathematical equivalence of minimization and maximization, minimization is assumed in the following.
  • the fact that the first objective function is optimized based on the first point cloud and the transformed second point cloud, i.e. the result of the at least one coordinate transformation, can be understood to mean that the objective function is in particular from the first point cloud and the transformed second point cloud, in particular from the deviation, depends.
  • the result of the optimization of the first objective function contains in particular a value or an expression of the first objective function that is parametrically dependent on the pose for those parameter values of the at least one parameter that lead to the optimization.
  • These parameters can also be referred to as optimal parameters.
  • the corresponding objective function at this point can be referred to as the optimum of the first objective function.
  • the estimated value for the pose of the sensor system can in particular be understood as the final result or intermediate result of the method for calibrating the active optical sensor system.
  • the determination of the at least one estimated value for the pose can be understood as calibrating the active optical sensor system.
  • the calibration of the active optical sensor system can take place exclusively on the basis of the point clouds generated by means of the sensor system.
  • no knowledge of external objects or an interpretation of the sampling points is required.
  • the method according to the improved concept is largely independent of an actual implementation of the sensor system, that is to say of hardware of the sensor system, as long as the sensor system is able to generate corresponding point clouds at different times.
  • the improved concept can lead to increased accuracy and increased reliability of the calibration.
  • the calibration process can be carried out online, that is, during normal driving of the motor vehicle. Since the method does not depend on certain external static objects in the vicinity of the motor vehicle, the method can in principle be carried out as often and at any time. Correspondingly, the estimated values obtained in this way for the pose can be averaged, which leads to a further increase in accuracy.
  • estimated values can be determined for all position coordinates and all orientation angles of the sensor system. However, if some of these coordinates or angles are known or can be assumed to be known, the method according to the improved concept can also only be applied to the remaining coordinates and / or angles. As a result, the computational effort can be reduced and the accuracy can be increased under certain circumstances.
  • the first and second point clouds are generated and provided by means of the active optical sensor system.
  • the at least one coordinate transformation is carried out by means of the computing unit based on predetermined initial values for the pose.
  • the initial values can contain initial, that is, estimated or assumed values for the pose, or, for example, results of a previous iteration of the method according to the improved concept, that is, estimated values that were determined as described above.
  • the at least one coordinate transformation contains, in particular, several, for example five, individual coordinate transformations that follow one another.
  • a second objective function is determined by means of the computing unit based on the result of the optimization of the first objective function, which, in particular parametrically, depends on the pose.
  • the second objective function is optimized by means of the computing unit in that at least one value of the pose is varied.
  • the computing unit is used to determine the at least one estimated value for the pose based on a result of the optimization of the second objective function.
  • the second objective function is therefore based in particular on the optimum of the first objective function, ie it does not depend on the at least one parameter.
  • the result of the optimization of the second objective function contains in particular an optimum of the second objective function and / or optimum pose values for the pose, that is to say those values for the pose which optimize the second objective function.
  • the second objective function is determined by means of the computing unit as a function of an optimum of the first objective function determined by the optimization of the first objective function.
  • the optimization of the first and the second objective function thus corresponds to a nested optimization.
  • the computing unit compares an optimum of the second objective function determined by the optimization of the second objective function with a predetermined limit value, and the initial values for the pose are adapted as a function of a result of the comparison.
  • the at least one coordinate transformation is repeated based on the adapted initial values, and the optimization of the first objective function is also repeated based on a result of the repeated at least one coordinate transformation.
  • the computing unit is used to determine a further estimated value for the pose of the sensor system based on a result of the repeated optimization of the first objective function.
  • the limit value can be a maximum value, for example.
  • the repetition of the steps described can, for example, be carried out precisely when the optimum of the second objective function is greater than the limit value. If, on the other hand, the optimum of the second objective function is less than or equal to the limit value, then the estimated value for the pose can be viewed as the final value for the pose.
  • the steps of adapting the initial values and repeating the coordinate transformation as well as optimizing the first objective function and optionally optimizing the second objective function can be repeated iteratively until the optimum of the second objective function is less than or equal to the limit value.
  • the at least one coordinate transformation contains a first, a second, a third, a fourth and / or a fifth coordinate transformation.
  • the first coordinate transformation of the points of the second point cloud from the sensor coordinate system of the sensor system into the vehicle coordinate system of the motor vehicle is carried out by means of the computing unit.
  • the first coordinate transformation takes place in particular from the sensor coordinate system into the vehicle coordinate system at the second point in time.
  • the computing unit performs the second coordinate transformation of the points of the second point cloud transformed using the first coordinate transformation from the vehicle coordinate system into a local coordinate system of the potential trajectories at the second point in time.
  • the second coordinate transformation is based in particular on the result of the first coordinate transformation, not on the second point cloud in the sensor coordinate system.
  • the local coordinate system depends parametrically on the at least one parameter, it is a local coordinate system of the potential trajectories.
  • the local coordinate system of the potential trajectories can be designed, for example, as a Frenet coordinate system (“accompanying tripod”).
  • the third coordinate transformation of the points of the second point cloud transformed by means of the first and second coordinate transformation is carried out by means of the computing unit from the local coordinate system of the potential trajectories at the second point in time into a local coordinate system of the potential trajectories at the first point in time.
  • the third coordinate transformation is based in particular on the result of the second coordinate transformation.
  • the local coordinate system of the potential trajectories at the first point in time can, for example, also be designed as a Frenet coordinate system.
  • the fourth coordinate transformation of the points of the second point cloud transformed using the first, second and third coordinate transformation from the local coordinate system of the potential trajectories at the second point in time into the vehicle coordinate system, in particular at the second point in time is carried out by means of the arithmetic unit.
  • the fourth coordinate transformation is based in particular on the result of the third coordinate transformation.
  • the fourth coordinate transformation can in particular be viewed as an inversion or reverse transformation of the second coordinate transformation.
  • the computing unit carries out the fifth coordinate transformation of the points of the second point cloud transformed using the first, second, third and fourth coordinate transformation from the vehicle coordinate system into the sensor coordinate system, in particular the sensor coordinate system at the first point in time.
  • the fifth coordinate transformation is based in particular on the result of the fourth coordinate transformation.
  • the fifth coordinate transformation can be understood as an inverse transformation or an inverse transformation of the first coordinate transformation.
  • P2 designates the second point cloud in the sensor coordinate system
  • K1 designates the first coordinate transformation
  • K2 the second coordinate transformation K3 the third coordinate transformation
  • K4 the fourth coordinate transformation K5 the fifth coordinate transformation.
  • a third point cloud generated by means of the sensor system at a third point in time is provided, and by means of the computing unit at least one further coordinate transformation of the third point cloud is carried out as a function of at least one parameter that describes potential further trajectories of the vehicle between the second and the third point in time.
  • a predetermined further first objective function is optimized based on a result of the at least one further coordinate transformation by varying a parameter value of the at least one further parameter, and the at least one estimated value for the pose is based on a result of the optimization of the first further objective function certainly.
  • the at least one further coordinate transformation corresponds to the at least one coordinate transformation, but applied to the third point cloud instead of the second point cloud.
  • corresponding method steps can be carried out for further point clouds of the sensor system in order to further increase the accuracy.
  • the at least one further coordinate transformation is carried out based on the predefined initial values for the pose.
  • the second objective function contains a sum of the optimum of the first objective function and an optimum of the first further objective function determined by the optimization of the first further objective function.
  • the at least one parameter contains a longitudinal speed of the motor vehicle between the first and the second point in time.
  • the longitudinal speed is assumed to be constant between the second and the second point in time in particular.
  • the at least one parameter contains a radius of curvature of the potential trajectories.
  • the radius of curvature is assumed to be constant between the second and the second point in time.
  • the at least one parameter contains an angle between the normal axis of the vehicle coordinate system and a binormal of the local coordinate system of the potential trajectories.
  • the angle can be assumed to be constant between the first and the second point in time, for example.
  • the longitudinal axis of the vehicle coordinate system between the first and the second point in time corresponds to a tangential axis of the local coordinate system of the potential trajectories.
  • the at least one parameter contains a turn or torsion of the potential trajectories, which can be assumed to be constant between the first and the second point in time, for example.
  • a sensor device for a motor vehicle has an active optical sensor system, which is mounted in particular on or in the motor vehicle and which is set up to generate a first point cloud that maps the surroundings of the motor vehicle at a first point in time and to generate a second point cloud that reflects the surroundings at a second point in time.
  • the sensor device has a computing unit which is coupled to the sensor system for obtaining the point clouds.
  • the computing unit is set up to carry out at least one coordinate transformation of the second point cloud as a function of at least one parameter that describes potential trajectories of the motor vehicle between the first and the second point in time.
  • the computing unit is set up to optimize a first predetermined objective function based on a result of the at least one coordinate transformation of the second point cloud by varying at least one parameter value of the at least one parameter and at least one estimated value for the pose of the sensor system based on a result of the optimization first determine objective function.
  • Further embodiments of the sensor device according to the improved concept follow directly from the various embodiments of the method according to the improved concept and vice versa.
  • a sensor device according to the improved concept can be set up or programmed to carry out a method according to the improved concept, or the sensor device carries out a method according to the improved concept.
  • a motor vehicle with a sensor device according to the improved concept is also specified.
  • a computer program with instructions is provided.
  • the computer program is executed by a computer system, in particular by a sensor device according to the improved concept, for example by the processing unit of the sensor device, the commands cause the computer system to carry out a method according to the improved concept.
  • a computer-readable storage medium is specified on which a computer program according to the improved concept is stored.
  • FIG. 1 shows a schematic representation of a motor vehicle with an exemplary embodiment of a sensor device according to the improved concept and various aspects of an exemplary embodiment of a method according to the improved concept
  • FIG. 2 shows a flow chart of a further exemplary embodiment of a
  • FIG. 3 shows a schematic illustration of point clouds according to a further exemplary embodiment of a method according to the improved concept.
  • FIG. 4 shows a schematic representation of point clouds of a further exemplary embodiment of a method according to the improved concept.
  • FIG. 1 shows a motor vehicle 1 with an exemplary embodiment of a sensor device 4 according to the improved concept.
  • a vehicle coordinate system with a longitudinal axis XF, a transverse axis F and a normal axis Z F is rigidly connected to the motor vehicle 1.
  • the origin of coordinates or the orientation of the vehicle coordinate system can be defined, for example, in accordance with IS08855.
  • the sensor device 4 has an active optical sensor system 2, for example a lidar system.
  • a sensor coordinate system rigidly connected to the sensor system 2 has a longitudinal axis xs, a transverse axis s and a normal axis z s .
  • a coordinate origin of the sensor coordinate system is shifted by a displacement vector d with respect to the coordinate origin of the vehicle coordinate system.
  • the sensor coordinate system and the sensor system 2 outside the motor vehicle 1 are shown by way of example. However, this is only for the sake of clarity.
  • the sensor system 2 is mounted on or in the motor vehicle 1 in various designs.
  • the sensor device 4 also has a computing unit 3 which is connected to the sensor system 2.
  • motor vehicle 1 can move along a potential trajectory 7, for example. If the time interval is small enough, the trajectory 7 can be approximated, for example, as a segment of a circular arc with a constant radius of curvature R and a center point M.
  • the motor vehicle 1 can move, for example, at an approximately constant speed along the potential trajectory 7.
  • the potential trajectory 7 can be described, for example, by a Frenet coordinate system, that is to say a local, possibly time-dependent, trajectory coordinate system. In Fig. 1, the Frenet coordinate system is shown at the beginning and at the end of the time interval. The beginning of the time interval can also be referred to as the first point in time and the end of the time interval as the second point in time.
  • the Frenet coordinate system is defined by a tangential direction t, a trajectory normal direction n and a binormal direction b.
  • the tangential direction t corresponds to a local tangent to the potential trajectory 7.
  • the trajectory normal direction n points, for example, to the center point M of the circular arc section.
  • the binormal direction b is, for example, perpendicular to the tangential direction t and the binormal direction b.
  • the Frenet coordinate system is given at the second point in time by the corresponding tangential direction, trajectory normal direction rV and binormal direction bl
  • the binormal direction b includes an angle d with the normal axis Z F of the vehicle coordinate system, which can change along the trajectory 7. It can be assumed here, for example, that the angle d is approximately constant along the potential trajectory 7.
  • the function of the sensor device 4 is explained in more detail below on the basis of exemplary embodiments of a method according to the improved concept and in particular with reference to FIGS. 2 to 4.
  • FIG. 2 shows a flow chart of an exemplary embodiment of a method according to the improved concept.
  • step S1 of the method by means of the sensor system 2, at least a first point cloud 5 (see FIGS. 3 and 4) of sampling points of an environment of the motor vehicle 1 at the first point in time and a second point cloud 6 (see FIGS. 3 and 4) generated by sampling points of the surroundings of the motor vehicle 1 at the second point in time.
  • the time difference between the second and the second point in time is in particular so small that the speed of the motor vehicle 1, the radius R and the angle d can be assumed to be constant.
  • the time difference can be on the order of one or a few tenths of a second.
  • step S2 initial values for a pose, that is for the displacement vector d, a pitch angle, a yaw angle and a roll angle of the sensor coordinate system with respect to the vehicle coordinate system are specified, for example estimated or specified on the basis of other plausible assumptions.
  • step S3 the arithmetic unit 3 carries out a five-stage coordinate transformation of the second point cloud 6 in order to map it approximately onto the first point cloud 5.
  • the second point cloud 6 is transformed from the sensor coordinate system into the vehicle coordinate system at the second point in time in a first coordinate transformation. Since the first coordinate transformation depends on the pose of the sensor system 2 with respect to the vehicle coordinate system, it is carried out based on the predetermined initial values for the pose. In a second coordinate transformation, the resulting transformed second point cloud 6 is transformed from the vehicle coordinate system into the Frenet coordinate system of the trajectory 7 at the second point in time. The second coordinate transformation depends in particular on the angle d.
  • the resulting transformed second point cloud is transformed from the Frenet coordinate system at the second point in time into the Frenet coordinate system at the second point in time, in particular as a function of the Speed of the motor vehicle 1, the radius R and, if applicable, the torsion of the trajectory 7.
  • the resulting second point cloud is transformed from the Frenet coordinate system at the first point in time back into the vehicle coordinate system at the first point in time. This corresponds to an inverse transformation of the second coordinate transformation.
  • the resulting second point cloud is transformed from the vehicle coordinate system into the sensor coordinate system at the first point in time, which corresponds to a reverse transformation of the first coordinate transformation.
  • the result of the fifth coordinate transformation and thus the entire five-stage coordinate transformation is a transformed second point cloud 6 '(see FIGS. 3 and 4).
  • step S4 the computing unit 3 determines an internal loss or cost function which quantifies a point set registration of the first point cloud 5 and the second point cloud 6, i.e. a deviation of the transformed second point cloud 6 'from the first point cloud 5.
  • the internal loss function is a measure represents the deviation of the second point cloud 6 ', transformed using the five-stage coordinate transformation, from the first point cloud 5.
  • step S4 the computing unit 3 also optimizes the point set registration of the first point cloud 5 and the second point cloud 6 by minimizing the internal loss function.
  • the parameters of the potential trajectory 7, that is to say the speed of the motor vehicle 1, the radius R, the torsion and / or the angle d are varied.
  • steps S3 and S4 can also be repeated for further time segments at which further point clouds are generated in each case.
  • step S5 the computing unit 3 determines an external loss function based on the optimum of the internal loss function and possibly further internal loss functions of the further point cloud registrations.
  • the external loss function can be determined as the sum of all internal loss functions.
  • step S5 the computing unit 3 optimizes the pose of the sensor system 2 by minimizing the external loss function by varying the assumed values for the pose of the sensor system 2.
  • step S6 the computing unit 3 compares the optimum value of the external loss function with a predetermined limit value. If the optimum value of the external loss function is greater than the limit value, the method continues with step S2, with adapted initial values now being used for the pose of the sensor system, namely those that optimized the external loss function in the previous iteration.
  • step S6 If it is determined in step S6 that the optimum value of the external loss function is less than or equal to the limit value, the method is ended in step S7.
  • the last determined values for the pose that optimize the external loss function can be viewed as final estimated values for the pose of the sensor system 2 and the result of the calibration.
  • deterministic methods such as downhill simplex (also referred to as Nelder Mead method), stochastic methods such as simulated annealing, regression methods, genetic algorithms or methods based on machine learning, such as artificial neural networks.
  • point clouds 5, 6, 6 ′ are shown schematically according to a method as was explained with reference to FIG. 2.
  • the first point cloud 5 is shown in a first hatching, the second point cloud 6 in a second hatching and the transformed second point cloud 6 'resulting from the five-stage coordinate transformation in a third hatching.
  • FIG. 4 further representations of the point clouds 5, 6, 6 ‘are shown.
  • the representation in FIG. 4 can for example correspond to a later iteration, such as that in FIG. 3.
  • the deviation between the second point cloud 5 and the transformed second point cloud 6 ' is significantly smaller than in FIG. 3 .
  • the value of the external loss function according to FIG. 4 can, for example, be less than or equal to the predetermined limit value.
  • the current estimated value for the pose of the sensor system 2 can be viewed as the result of the calibration.
  • the improved concept can be used to calibrate an active optical sensor system based exclusively on point clouds generated by means of the sensor system with high accuracy and independently of the specific implementation of the active optical sensor system.

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

Gemäß einem Verfahren zur Kalibrierung eines aktiven optischen Sensorsystems (2) werden eine erste Punktwolke (5) und eine zweite Punktwolke (6) des Sensorsystems (2) bereitgestellt. Eine Recheneinheit (3) führt, abhängig von wenigstens einem Parameter, der potenzielle Trajektorien (7) des Kraftfahrzeugs (1) beschreibt, wenigstens eine Koordinatentransformation der zweiten Punktwolke (6) durch. Die Recheneinheit (3) optimiert eine erste Zielfunktion basierend auf der ersten Punktwolke und einem Ergebnis der Koordinatentransformation, indem ein Parameterwert des wenigstens einen Parameters variiert wird. Wenigstens ein Schätzwert für eine Pose des Sensorsystems (2) wird basierend auf einem Ergebnis der Optimierung bestimmt.

Description

Kalibrierung eines aktiven optischen Sensorsystems
Die vorliegende Erfindung betrifft ein Verfahren zur Kalibrierung eines aktiven optischen Sensorsystems, wobei eine mittels des Sensorsystems zu einem ersten Zeitpunkt erzeugte erste Punktwolke und eine mittels des Sensorsystems zu einem zweiten Zeitpunkt erzeugte zweite Punktwolke bereitgestellt werden. Die Erfindung betrifft ferner eine Sensorvorrichtung für ein Kraftfahrzeug und ein Computerprogramm.
Aktive optische Sensorsysteme, beispielsweise Lidarsysteme, können an oder in Kraftfahrzeugen montiert werden, um vielfältige Funktionen elektronischer Fahrzeugführungssysteme oder Fahrerassistenzsysteme zu realisieren. Diese Funktionen beinhalten teilweise oder vollständig automatisierte Funktionen zum Parken oder Fahren des Kraftfahrzeugs, zur Fahrzeuglokalisierung und zur Umfeldüberwachung.
Abweichungen einer Einbauposition oder Orientierung des Sensorsystems von einer nominalen Position oder Orientierung beeinflussen die Interpretation und Auswertung der Messwerte und damit die Zuverlässigkeit und Genauigkeit der darauf basierenden
Funktionen. Insbesondere bei der Punktwolkenfusion, wenn also die Daten verschiedener Sensorsysteme in einer gemeinsamen Punktwolke kombiniert werden, ist die genaue Kenntnis der Relativposition und -Orientierung der Sensorsysteme bezüglich des Kraftfahrzeugs beziehungsweise zueinander erforderlich.
Im Dokument US 2018/0357773 A1 wird unter anderem die Kalibrierung eines Lidarsystems anhand eines Kalibriertargets mit aufgedruckten, schachbrettartigen Mustern beschrieben. Kalibrierungsverfahren, die auf spezielle Kalibriertargets zurückgreifen, können zum einen nur im Stillstand des Kraftfahrzeugs und in spezifischen Kalibrierumgebungen, also "offline" durchgeführt werden. In anderen Kalibrierungsverfahren werden statische Objekte in der Umgebung des Kraftfahrzeugs als Referenz zur Kalibrierung herangezogen.
In beiden Fällen kann die Kalibrierung nur mit eingeschränkter Häufigkeit wiederholt werden, sodass zum einen die Genauigkeit aufgrund der Anzahl der zur Verfügung stehenden Schätzwerte eingeschränkt ist. Zum anderen können Veränderungen der Position oder Orientierung des Sensorsystems während des Normalbetriebs des Kraftfahrzeugs, also "online", nicht oder nur eingeschränkt berücksichtigt werden.
Zudem erfordern die genannten Ansätze Kenntnis über den konkreten konstruktiven Aufbau des Sensorsystems, beispielsweise über optische Pfade und Weglängen innerhalb des Sensorsystems. Dementsprechend kann das Kalibrierungsverfahren nicht universell für verschiedene Arten von aktiven optischen Sensorsystemen oder verschiedene Ausführungsformen angewendet werden.
Kalibrierungsverfahren, die auf odometrischen Abschätzungen, beispielsweise basierend auf den Daten von Inertialsensoren, basieren, sind auf die Verfügbarkeit und Genauigkeit dieser zusätzlichen Sensoren angewiesen und daher potenziell ungenau und unzuverlässig.
Vor diesem Hintergrund ist eine Aufgabe der vorliegenden Erfindung, ein verbessertes Konzept zur Kalibrierung eines aktiven optischen Sensorsystems anzugeben, das nicht oder weniger abhängig vom konstruktiven Aufbau des aktiven optischen Sensorsystems ist und das insbesondere eine höhere Genauigkeit ermöglicht.
Erfindungsgemäß wird diese Aufgabe gelöst durch den Gegenstand der jeweiligen unabhängigen Ansprüche. Vorteilhafte Weiterbildungen und bevorzugte Ausführungsformen sind Gegenstand der abhängigen Ansprüche.
Das verbesserte Konzept beruht auf der Idee, in aufeinanderfolgenden Zeiträumen wenigstens zwei entsprechende Punktwolken aufzunehmen und eine Punktmengenregistrierung durchzuführen, indem wenigstens eine Koordinatentransformation auf die zweite Punktwolke angewendet wird und davon abhängig Parameter, die eine mögliche Fahrzeugtrajektorie definieren optimiert werden.
Gemäß dem verbesserten Konzept wird ein, insbesondere computerimplementiertes, Verfahren zur Kalibrierung eines aktiven optischen Sensorsystems, insbesondere eines an oder in einem Kraftfahrzeug montierten aktiven optischen Sensorsystems, angegeben. Eine mittels des Sensorsystems zu einem ersten Zeitpunkt erzeugte erste Punktwolke von Abtastpunkten und eine mittels des Sensorsystems zu einem zweiten Zeitpunkt, der insbesondere nach dem ersten Zeitpunkt liegt, erzeugte zweite Punktwolke werden bereitgestellt, insbesondere einer Recheneinheit bereitgestellt. Mittels der Recheneinheit, die insbesondere eine Recheneinheit des Sensorsystems oder des Kraftfahrzeugs ist, wird abhängig von wenigstens einem Parameter, der potenzielle Trajektorien des Kraftfahrzeugs zwischen dem ersten und dem zweiten Zeitpunkt beschreibt, wenigstens eine Koordinatentransformation der Punkte der zweiten Punktwolke durchgeführt. Mittels der Recheneinheit wird eine erste vorgegebene Zielfunktion basierend auf der ersten Punktwolke und einem Ergebnis der wenigstens einen Koordinatentransformation optimiert, indem wenigstens ein Parameterwert des wenigstens einen Parameters variiert wird. Mittels der Recheneinheit wird wenigstens ein Schätzwert für eine Pose des Sensorsystems, beispielsweise bezüglich eines vorgegebenen
Referenzkoordinatensystems, basierend auf einem Ergebnis der Optimierung der ersten Zielfunktion bestimmt.
Die wenigstens eine Koordinatentransformation wird beispielsweise in parametrischer Abhängigkeit von dem wenigstens einen Parameter durchgeführt.
Bei dem ersten und dem zweiten Zeitpunkt kann es sich um diskrete Zeitpunkte oder um Zeiträume, insbesondere Einzelbildzeiträume oder Frames des Sensorsystems, handeln.
Insbesondere tastet das aktive optische Sensorsystem eine Umgebung des Sensorsystems und damit des Kraftfahrzeugs in periodisch aufeinanderfolgenden Einzelbildzeiträumen ab und erzeugt dabei jeweils eine Punktwolke. Während des Erzeugens der Punktwolken zweier aufeinanderfolgender Einzelbildzeiträume bewegt sich das Kraftfahrzeug im Allgemeinen.
Die potenziellen Trajektorien des Kraftfahrzeugs stellen beispielsweise zeitabhängige Raumkoordinaten dreier definierter Punkte des Kraftfahrzeugs, (ein einzelner Punkt legt lediglich die Translation des Fahrzeuges fest. Um auch die Rotation zu erfassen, werden drei (nicht entlang einer gerade liegende) Punkte benötigt) oder dreier bezüglich des Kraftfahrzeugs dreier unbewegter definierter Punkte, zwischen dem ersten und dem zweiten Zeitpunkt dar, die durch den wenigstens einen Parameter, insbesondere näherungsweise, beschrieben werden. Die potenziellen Trajektorien können beispielsweise Kreisbogenabschnitten mit konstantem Krümmungsradius und/oder konstanter Geschwindigkeit entsprechen. Die Trajektorie, auf der sich das Kraftfahrzeug zwischen dem ersten und dem zweiten Zeitpunkt tatsächlich bewegt, ist im Allgemeinen nicht bekannt beziehungsweise für das Verfahren nach dem verbesserten Konzept nicht erforderlich. Es wird vielmehr ausgenutzt, dass sich die tatsächliche Trajektorie in ausreichend kleinen Zeitabschnitten durch einen Kreisbogen annähern lässt. Insbesondere führen unterschiedliche Parameterwerte des wenigstens einen Parameters zu unterschiedlichen Trajektorien. Die Parameterwerte entsprechen dabei insbesondere konkreten Zahlenwerten für die entsprechenden Parameter des wenigstens einen Parameters.
Unter der Pose des Sensorsystems kann insbesondere eine Kombination einer Position und einer Orientierung des Sensorsystems, insbesondere bezüglich des Referenzkoordinatensystems, verstanden werden. Insbesondere kann die Pose drei Positionskoordinaten des Sensorsystems, beispielsweise Koordinaten eines Koordinatenursprungs eines starr mit dem Sensorsystem verbundenen Sensorkoordinatensystems, sowie drei Winkel, insbesondere einen Rollwinkel, einen Nickwinkel und einen Gierwinkel, des Sensorkoordinatensystems in dem Referenzkoordinatensystem aufweisen.
Der wenigstens eine Schätzwert für die Pose enthält dann wenigstens einen Schätzwert für eine oder mehrere der Positionskoordinaten und/oder für einen oder mehrere der Winkel. Hier und im Folgenden kann ein aktives optisches Sensorsystem dadurch als solches definiert sein, dass es eine Sendeeinheit mit einer Lichtquelle aufweist, insbesondere zum Aussenden von Licht beziehungsweise Lichtimpulsen. Die Lichtquelle kann insbesondere als Laser ausgestaltet sein. Des Weiteren weist ein aktives optisches Sensorsystem eine Empfangseinheit mit wenigstens einem optischen Detektor auf, insbesondere zum Erfassen von Licht oder Lichtimpulsen, insbesondere zum Erfassen reflektierter Anteile des ausgesendeten Lichts. Das aktive optische Sensorsystem ist dabei insbesondere dazu eingerichtet, basierend auf dem detektierten Licht ein oder mehrere Sensorsignale zu erzeugen, zu verarbeiten und/oder auszugeben. Hier und im Folgenden kann der Begriff „Licht“ derart verstanden werden, dass damit elektromagnetische Wellen im sichtbaren Bereich, im Infrarotbereich und/oder im ultravioletten Bereich umfasst sind. Dementsprechend kann der Begriff „optisch“ derart verstanden werden, dass er sich auf Licht nach diesem Verständnis bezieht. Das Licht, welches von dem aktiven optischen Sensorsystem ausgesendet wird, kann insbesondere infrarotes Licht, beispielsweise mit einer Wellenlänge von 905 nm, ungefähr 905 nm, 1200 nm oder ungefähr 1200 nm beinhalten. Diese Wellenlängenangaben können sich dabei jeweils auf einen Wellenlängenbereich mit einer entsprechend breiteren Verteilung beziehen, welche für die entsprechende Lichtquelle typisch ist.
Im vorliegenden Fall des aktiven optischen Sensorsystems kann es sich bei der Lichtquelle beispielsweise um eine Laserlichtquelle handeln. Die genannten Wellenlängen, im Rahmen üblicher Toleranzen, beispielsweise Peak-Wellenlängen des Laserspektrums entsprechen.
Das Sensorsystem kann beispielsweise eine Ablenkvorrichtung, beispielsweise mit einem beweglichen oder drehbar gelagerten Spiegel, beinhalten, mittels der von der Sendeeinheit erzeugtes Licht kontrolliert abgelenkt werden kann. In alternativen Ausführungsformen kann die Ablenkvorrichtung ein um eine oder zwei Achsen kipp- oder schwenkbares Spiegelelement zum Ablenken des Lichts in der Sendeebene aufweisen. Das Spiegelelement kann beispielsweise als mikroelektromechanisches System, MEMS, ausgestaltet sein.
Insbesondere entspricht eine Längsachse des Sensorsystems, welche beispielsweise eine x-Achse des Sensorkoordinatensystems definiert, einer Aussenderichtung der Lichtstrahlen bei einem Aussendewinkel von Null Grad, also beispielsweise bei einer Neutralstellung der Ablenkvorrichtung. Die Ablenkvorrichtung kann von der Neutralstellung abweichende Stellungen annehmen, um das Licht abzulenken, so dass es innerhalb einer Sendeebene aus dem Sensorsystem austritt.
Eine Querachse des Sensorsystems, welche beispielsweise eine y-Achse des Sensorkoordinatensystems definiert, liegt innerhalb der Sendeebene und steht beispielsweise senkrecht auf der Längsachse, welche per Konstruktion ebenfalls innerhalb der Sendeebene liegt. Eine Normalachse des Sensorsystems steht senkrecht auf der Längsachse und auf der Querachse des Sensorsystems. Die Normalachse des Sensorsystems definiert beispielsweise eine z-Achse des Sensorkoordinatensystems.
Mit anderen Worten ist eine Blickrichtung oder Aussenderichtung des Sensorsystems bei Neutralstellung der Ablenkvorrichtung gleich der x-Achse des Sensorkoordinatensystems. Die Sendeebene ist durch die xy-Ebene des Sensorkoordinatensystems gegeben. Das Sensorsystem kann Licht mit unterschiedlichen Aussendewinkeln innerhalb der Sendeebene aussenden. Je nach Art des Sensorsystems können auch andere Definitionen der Achsen des Sensorkoordinatensystems sinnvoll sein.
Eine Längsachse des Kraftfahrzeugs, welche insbesondere eine x-Achse eines Fahrzeugkoordinatensystems definiert, ist beispielsweise gegeben durch eine Fahrtrichtung des Kraftfahrzeugs bei Neutralstellung eines Lenksystems des Kraftfahrzeugs oder bei einem Lenkwinkel, insbesondere einem Radwinkel oder einem Lenkradwinkel, des Kraftfahrzeugs von Null Grad. Eine Querachse des Kraftfahrzeugs steht senkrecht auf der Längsachse des Kraftfahrzeugs und liegt in einer Ebene, die parallel zur Fahrbahn ist beziehungsweise parallel zu einer Ebene, innerhalb der Auflagepunkte der Räder des Kraftfahrzeugs auf der Fahrbahn liegen. Die Querachse definiert insbesondere eine y-Achse des Fahrzeugkoordinatensystems. Eine Normalachse des Kraftfahrzeugs, welche insbesondere eine z-Achse des Fahrzeugkoordinatensystems definiert, steht senkrecht auf der Longitudinalachse und auf der Querachse des Kraftfahrzeugs.
Eine Gesamtwinkellage des Sensorsystems, also insbesondere die Orientierung des Sensorsystems, kann beispielsweise durch den Gierwinkel, den Nickwinkel und den Rollwinkel des Sensorsystems definiert sein. Diese sind dabei als Rotationswinkel oder Euler-Winkel des Sensorkoordinatensystems bezüglich des Referenzkoordinatensystems nach einer vorgegebenen Konvention definiert.
Die Konvention kann beispielsweise derart sein, dass sich das Sensorkoordinatensystem aus dem nominalen Koordinatensystem durch die folgenden drei Rotationen ergibt, wobei davon ausgegangen wird, dass das Sensorkoordinatensystem und das Referenzkoordinatensystem zunächst identisch sind: Das Sensorkoordinatensystem wird um den Gierwinkel um die z-Achse des nominalen Sensorkoordinatensystems rotiert. Danach wird das resultierende Sensorkoordinatensystem um den Nickwinkel um die resultierende y-Achse des resultierenden Sensorkoordinatensystems rotiert. Danach wird das resultierende Sensorkoordinatensystem um den Rollwinkel um die resultierende x- Achse des resultierenden Sensorkoordinatensystems rotiert. Andere Konventionen sind ebenfalls möglich.
Falls der Rollwinkel und der Nickwinkel gleich Null sind, entspricht der Gierwinkel insbesondere einem Rotationswinkel des Sensorkoordinatensystems um die z-Achse des nominalen Sensorkoordinatensystems. Falls der Rollwinkel und der Gierwinkel gleich Null sind, entspricht der Nickwinkel insbesondere einem Rotationswinkel des Sensorkoordinatensystems um die y-Achse des Referenzkoordinatensystems. Falls der Nickwinkel und der Gierwinkel gleich Null sind, entspricht der Rollwinkel insbesondere einem Rotationswinkel des Sensorkoordinatensystems um die x-Achse des Referenzkoordinatensystems.
Das Referenzkoordinatensystem kann beispielsweise durch das Fahrzeugkoordinatensystem gegeben oder definiert sein. Insbesondere kann das Referenzkoordinatensystem durch die Längsachse, die Querachse und die Normalachse des Kraftfahrzeugs gegeben oder definiert sein.
Dabei kann beispielsweise jede Koordinatenachse des nominalen Sensorkoordinatensystems parallel zu der entsprechenden Längsachse, Querachse oder Normalachse des Kraftfahrzeugs sein. Alternativ können die Koordinatenachsen des Referenzkoordinatensystems jeweils vordefinierte Winkel mit der Längsachse, der Querachse und/oder der Normalachse des Kraftfahrzeugs einschließen.
Die wenigstens eine Koordinatentransformation zusammen mit der Optimierung der ersten Zielfunktion kann beispielsweise als Punktmengenregistrierung der ersten und der zweiten Punktwolke verstanden werden.
Eine Abweichung der ersten Punktwolke von der transformierten zweiten Punktwolke kann als Maß für die Qualität der Punktmengenregistrierung verstanden werden. Die Abweichung der ersten von der transformierten zweiten Punktwolke kann beispielsweise von den Abweichungen der einzelnen Abtastpunkte der ersten Punktwolke von zugehörigen Abtastpunkten der transformierten zweiten Punktwolke abhängen. Die Abweichung kann beispielsweise anhand eines Gruppierungsverfahrens (englisch: "Binning"), anhand eines Iterativer-Nächstliegender-Punkt-Algorithmus (englisch: „Iterative Closest Point Algorithm“) oder anhand eines anderen Verfahrens zur Punktmengenregistrierung durchgeführt werden.
Unter dem Ergebnis der wenigstens einen Koordinatentransformation kann insbesondere die anhand der wenigstens einen Koordinatentransformation transformierte zweite Punktwolke verstanden werden.
Durch die Optimierung der Zielfunktion wird also diejenige Trajektorie der potenziellen Trajektorien ermittelt, insbesondere durch Ermitteln der entsprechenden Parameterwerte für den wenigstens einen Parameter, welche die kleinste Abweichung, also insbesondere die beste Punktmengenregistrierung, erzielt.
Das Optimieren kann dabei insbesondere ein Maximieren oder Minimieren der Zielfunktion beinhalten. Aufgrund der mathematischen Äquivalenz von Minimierung und Maximierung wird im Folgenden von einem Minimieren ausgegangen.
Dass die erste Zielfunktion basierend auf der ersten Punktwolke und der transformierten zweiten Punktwolke, also dem Ergebnis der wenigstens einen Koordinatentransformation, optimiert wird, kann derart verstanden werden, dass die Zielfunktion insbesondere von der ersten Punktwolke und der transformierten zweiten Punktwolke, insbesondere von der Abweichung, abhängt.
Das Ergebnis der Optimierung der ersten Zielfunktion beinhaltet insbesondere einen Wert oder einen parametrisch von der Pose abhängigen Ausdruck der ersten Zielfunktion bei denjenigen Parameterwerten des wenigstens einen Parameters, die zur Optimierung führen. Diese Parameter können auch als optimale Parameter bezeichnet werden. Die entsprechende Zielfunktion an dieser Stelle kann als Optimum der ersten Zielfunktion bezeichnet werden.
Der Schätzwert für die Pose des Sensorsystems kann insbesondere als Endergebnis oder Zwischenergebnis des Verfahrens zur Kalibrierung des aktiven optischen Sensorsystems verstanden werden.
Das Bestimmen des wenigstens einen Schätzwerts für die Pose kann als Kalibrieren des aktiven optischen Sensorsystems verstanden werden.
Gemäß dem verbesserten Konzept kann die Kalibrierung des aktiven optischen Sensorsystems ausschließlich basierend auf den mittels des Sensorsystems erzeugten Punktwolken erfolgen. Insbesondere ist keinerlei Kenntnis über externe Objekte oder eine Interpretation der Abtastpunkte erforderlich. Außerdem ist das Verfahren nach dem verbesserten Konzept weitgehend unabhängig von einer tatsächlichen Implementierung des Sensorsystems, also von einer Hardware des Sensorsystems, solange das Sensorsystem dazu in der Lage ist, entsprechende Punktwolken zu unterschiedlichen Zeitpunkten zu erzeugen. Dadurch kann das verbesserte Konzept zu einer erhöhten Genauigkeit und erhöhten Zuverlässigkeit der Kalibrierung führen. Zudem ist die Durchführung des Kalibrierungsverfahrens online möglich, also während der normalen Fahrt des Kraftfahrzeugs. Da das Verfahren nicht auf bestimmte externe statische Objekte in der Umgebung des Kraftfahrzeugs angewiesen ist, kann das Verfahren prinzipiell beliebig oft und zu jeder Zeit durchgeführt werden. Entsprechend kann eine Mittelung der dadurch erzielten Schätzwerte für die Pose durchgeführt werden, was zu einer weiteren Erhöhung der Genauigkeit führt.
Gemäß dem verbesserten Konzept können Schätzwerte für alle Positionskoordinaten und alle Orientierungswinkel des Sensorsystems bestimmt werden. Sind einzelne dieser Koordinaten oder Winkel jedoch bekannt oder können als bekannt angenommen werden, so kann das Verfahren nach dem verbesserten Konzept auch lediglich auf die verbleibenden Koordinaten und/oder Winkel angewendet werden. Dadurch kann der Rechenaufwand verringert und die Genauigkeit unter Umständen erhöht werden.
Gemäß zumindest einer Ausführungsform des Verfahrens nach dem verbesserten Konzept werden die erste und die zweite Punktwolke mittels des aktiven optischen Sensorsystems erzeugt und bereitgestellt.
Gemäß zumindest einer Ausführungsform wird die wenigstens eine Koordinatentransformation mittels der Recheneinheit basierend auf vorgegebenen Initialwerten für die Pose durchgeführt.
Die Initialwerte können initiale, also geschätzte oder angenommene Werte für die Pose beinhalten, oder beispielsweise Ergebnisse einer vorherigen Iteration des Verfahrens nach dem verbesserten Konzept, also Schätzwerte, die wie oben beschrieben bestimmt wurden.
Die wenigstens eine Koordinatentransformation enthält insbesondere mehrere, beispielsweise fünf, hintereinander folgende einzelne Koordinatentransformationen.
Gemäß zumindest einer Ausführungsform wird mittels der Recheneinheit basierend auf dem Ergebnis der Optimierung der ersten Zielfunktion eine zweite Zielfunktion bestimmt, die, insbesondere parametrisch, von der Pose abhängt. Die zweite Zielfunktion wird mittels der Recheneinheit optimiert, indem wenigstens ein Wert der Pose variiert wird. Mittels der Recheneinheit wird der wenigstens eine Schätzwert für die Pose basierend auf einem Ergebnis der Optimierung der zweiten Zielfunktion bestimmt. Die zweite Zielfunktion basiert also insbesondere auf dem Optimum der ersten Zielfunktion, hängt also nicht von dem wenigstens einen Parameter ab.
Das Ergebnis der Optimierung der zweiten Zielfunktion beinhaltet insbesondere ein Optimum der zweiten Zielfunktion und/oder optimale Posenwerte für die Pose, also diejenigen Werte für die Pose, welche die zweite Zielfunktion optimieren.
Gemäß zumindest einer Ausführungsform wird die zweite Zielfunktion mittels der Recheneinheit abhängig von einem durch die Optimierung der ersten Zielfunktion bestimmten Optimum der ersten Zielfunktion bestimmt. Die Optimierung der ersten und der zweiten Zielfunktion entspricht also einer verschachtelten Optimierung (englisch: „Nested Optimization“).
Gemäß zumindest einer Ausführungsform wird mittels der Recheneinheit ein durch die Optimierung der zweiten Zielfunktion bestimmtes Optimum der zweiten Zielfunktion mit einem vorgegebenen Grenzwert verglichen, und die Initialwerte für die Pose werden abhängig von einem Ergebnis des Vergleichs angepasst. Mittels der Recheneinheit wird die wenigstens eine Koordinatentransformation basierend auf den angepassten Initialwerten wiederholt, und die Optimierung der ersten Zielfunktion wird basierend auf einem Ergebnis der wiederholten wenigstens einen Koordinatentransformation ebenfalls wiederholt. Mittels der Recheneinheit wird ein weiterer Schätzwert für die Pose des Sensorsystems basierend auf einem Ergebnis der wiederholten Optimierung der ersten Zielfunktion bestimmt.
Der Grenzwert kann beispielsweise ein Maximalwert sein. Die Wiederholung der beschriebenen Schritte kann beispielsweise genau dann durchgeführt werden, wenn das Optimum der zweiten Zielfunktion größer ist als der Grenzwert. Ist das Optimum der zweiten Zielfunktion dagegen kleiner oder gleich dem Grenzwert, so kann der Schätzwert für die Pose als finaler Wert für die Pose angesehen werden.
Insbesondere können die Schritte des Anpassens der Initialwerte und des Wiederholens der Koordinatentransformation sowie der Optimierung der ersten Zielfunktion und gegebenenfalls die Optimierung der zweiten Zielfunktion solange iterativ wiederholt werden, bis das Optimum der zweiten Zielfunktion kleiner oder gleich dem Grenzwert ist. Gemäß zumindest einer Au sfüh rungsform enthält die wenigstens eine Koordinatentransformation eine erste, eine zweite, eine dritte, eine vierte und/oder eine fünfte Koordinatentransformation.
Gemäß zumindest einer Ausführungsform wird mittels der Recheneinheit die erste Koordinatentransformation der Punkte der zweiten Punktwolke von dem Sensorkoordinatensystem des Sensorsystems in das Fahrzeugkoordinatensystem des Kraftfahrzeugs durchgeführt.
Die erste Koordinatentransformation erfolgt insbesondere von dem Sensorkoordinatensystem in das Fahrzeugkoordinatensystem zu dem zweiten Zeitpunkt.
Gemäß zumindest einer Ausführungsform wird mittels der Recheneinheit die zweite Koordinatentransformation der Punkte der mittels der ersten Koordinatentransformation transformierten zweiten Punktwolke von dem Fahrzeug koordinatensystem in ein lokales Koordinatensystem der potenziellen Trajektorien zum zweiten Zeitpunkt durchgeführt.
Die zweite Koordinatentransformation geht insbesondere vom Ergebnis der ersten Koordinatentransformation aus, nicht von der zweiten Punktwolke in dem Sensorkoordinatensystem.
Da das lokale Koordinatensystem parametrisch von dem wenigstens einen Parameter abhängt, handelt es sich um ein lokales Koordinatensystem der potenziellen Trajektorien.
Das lokale Koordinatensystem der potenziellen Trajektorien kann beispielsweise als Frenet-Koordinatensystem („begleitendes Dreibein“) ausgestaltet sein.
Gemäß zumindest einer Ausführungsform wird mittels der Recheneinheit die dritte Koordinatentransformation der Punkte der mittels der ersten und der zweiten Koordinatentransformation transformierten zweiten Punktwolke von dem lokalen Koordinatensystem der potenziellen Trajektorien zum zweiten Zeitpunkt in ein lokales Koordinatensystem der potenziellen Trajektorien zum ersten Zeitpunkt durchgeführt.
Die dritte Koordinatentransformation geht insbesondere vom Ergebnis der zweiten Koordinatentransformation aus. Das lokale Koordinatensystem der potenziellen Trajektorien zum ersten Zeitpunkt kann beispielsweise ebenfalls als Frenet-Koordinatensystem ausgestaltet sein.
Gemäß zumindest einer Ausführungsform wird mittels der Recheneinheit die vierte Koordinatentransformation der Punkte der mittels der ersten, der zweiten und der dritten Koordinatentransformation transformierten zweiten Punktwolke von dem lokalen Koordinatensystem der potenziellen Trajektorien zum zweiten Zeitpunkt in das Fahrzeugkoordinatensystem, insbesondere zum zweiten Zeitpunkt, durchgeführt.
Die vierte Koordinatentransformation geht insbesondere vom Ergebnis der dritten Koordinatentransformation aus.
Die vierte Koordinatentransformation kann insbesondere als Inversion oder Rücktransformation der zweiten Koordinatentransformation angesehen werden.
Gemäß zumindest einer Ausführungsform wird mittels der Recheneinheit die fünfte Koordinatentransformation der Punkte der mittels der ersten, der zweiten, der dritten und der vierten Koordinatentransformation transformierten zweiten Punktwolke von dem Fahrzeugkoordinatensystem in das Sensorkoordinatensystem durchgeführt, insbesondere das Sensorkoordinatensystem zum ersten Zeitpunkt.
Die fünfte Koordinatentransformation geht dabei insbesondere vom Ergebnis der vierten Koordinatentransformation aus.
Die fünfte Koordinatentransformation kann dabei als Rücktransformation oder inverse Transformation der ersten Koordinatentransformation verstanden werden.
Insbesondere kann die wenigstens eine Koordinatentransformation wie folgt beschrieben werden: P2' = (K5 K4 K3 K2 K1) * P2.
Dabei bezeichnet P2 die zweite Punktwolke im Sensorkoordinatensystem, K1 bezeichnet die erste Koordinatentransformation, K2 die zweite Koordinatentransformation, K3 die dritte Koordinatentransformation, K4 die vierte Koordinatentransformation und K5 die fünfte Koordinatentransformation.
Gemäß zumindest einer Ausführungsform wird eine mittels des Sensorsystems zu einem dritten Zeitpunkt erzeugte dritte Punktwolke bereitgestellt, und mittels der Recheneinheit wird abhängig von wenigstens einem Parameter, der potenzielle weitere Trajektorien des Fahrzeugs zwischen dem zweiten und dem dritten Zeitpunkt beschreibt, wenigstens eine weitere Koordinatentransformation der dritten Punktwolke durchgeführt. Mittels der Recheneinheit wird eine vorgegebene weitere erste Zielfunktion basierend auf einem Ergebnis der wenigstens einen weiteren Koordinatentransformation optimiert, indem ein Parameterwert des wenigstens einen weiteren Parameters variiert wird, und der wenigstens eine Schätzwert für die Pose wird basierend auf einem Ergebnis der Optimierung der ersten weiteren Zielfunktion bestimmt.
Die wenigstens eine weitere Koordinatentransformation entspricht dabei der wenigstens einen Koordinatentransformation, jedoch angewendet auf die dritte Punktwolke anstelle der zweiten Punktwolke.
Dadurch kann eine höhere Genauigkeit der Kalibrierung erzielt werden.
Insbesondere können entsprechende Verfahrensschritte für weitere Punktwolken des Sensorsystems durchgeführt werden, um die Genauigkeit weiter zu erhöhen.
Gemäß zumindest einer Ausführungsform wird die wenigstens eine weitere Koordinatentransformation basierend auf den vorgegebenen Initialwerten für die Pose durchgeführt.
Gemäß zumindest einer Ausführungsform enthält die zweite Zielfunktion eine Summe des Optimums der ersten Zielfunktion und eines durch die Optimierung der ersten weiteren Zielfunktion bestimmten Optimums der ersten weiteren Zielfunktion.
Gemäß zumindest einer Ausführungsform enthält der wenigstens eine Parameter eine Längsgeschwindigkeit des Kraftfahrzeugs zwischen dem ersten und dem zweiten Zeitpunkt.
Die Längsgeschwindigkeit wird dabei zwischen dem zweiten und dem zweiten Zeitpunkt insbesondere als konstant angenommen.
Gemäß zumindest einer Ausführungsform enthält der wenigstens eine Parameter einen Krümmungsradius der potenziellen Trajektorien. Der Krümmungsradius wird dabei zwischen dem zweiten und dem zweiten Zeitpunkt insbesondere als konstant angenommen.
Gemäß zumindest einer Ausführungsform enthält der wenigstens eine Parameter einen Winkel zwischen der Normalachse des Fahrzeugkoordinatensystems und einer Binormalen des lokalen Koordinatensystems der potenziellen Trajektorien.
Der Winkel kann zwischen dem ersten und dem zweiten Zeitpunkt beispielsweise als konstant angenommen werden.
Beispielsweise kann auch angenommen werden, dass die Längsachse des Fahrzeugkoordinatensystems zwischen dem ersten und dem zweiten Zeitpunkt einer Tangentialachse des lokalen Koordinatensystems der potenziellen Trajektorien entspricht.
Gemäß zumindest einer Ausführungsform enthält der wenigstens eine Parameter eine Windung oder Torsion der potenziellen Trajektorien, die zwischen dem ersten und dem zweiten Zeitpunkt beispielsweise als konstant angenommen werden kann.
Gemäß dem verbesserten Konzept wird auch eine Sensorvorrichtung für ein Kraftfahrzeug angegeben. Die Sensorvorrichtung weist ein aktives optisches Sensorsystem auf, das insbesondere an oder in dem Kraftfahrzeug montiert ist und das dazu eingerichtet ist, eine erste Punktwolke zu erzeugen, die eine Umgebung des Kraftfahrzeugs zu einem ersten Zeitpunkt abbildet und eine zweite Punktwolke zu erzeugen, die die Umgebung zu einem zweiten Zeitpunkt abbildet. Die Sensorvorrichtung weist eine Recheneinheit auf, die mit dem Sensorsystem zum Erhalten der Punktwolken gekoppelt ist.
Die Recheneinheit ist dazu eingerichtet, abhängig von wenigstens einem Parameter, der potenzielle Trajektorien des Kraftfahrzeugs zwischen dem ersten und dem zweiten Zeitpunkt beschreibt, wenigstens eine Koordinatentransformation der zweiten Punktwolke durchzuführen. Die Recheneinheit ist dazu eingerichtet, eine erste vorgegebene Zielfunktion basierend auf einem Ergebnis der wenigstens einen Koordinatentransformation der zweiten Punktwolke zu optimieren, indem wenigstens ein Parameterwert des wenigstens einen Parameters variiert wird und wenigstens einen Schätzwert für die Pose des Sensorsystems basierend auf einem Ergebnis der Optimierung der ersten Zielfunktion zu bestimmen. Weitere Ausführungsformen der Sensorvorrichtung nach dem verbesserten Konzept folgen direkt aus den verschiedenen Ausführungsformen des Verfahrens nach dem verbesserten Konzept und umgekehrt. Insbesondere kann eine Sensorvorrichtung nach dem verbesserten Konzept dazu eingerichtet oder programmiert sein, ein Verfahren nach dem verbesserten Konzept durchzuführen oder die Sensorvorrichtung führt ein Verfahren nach dem verbesserten Konzept durch.
Gemäß dem verbesserten Konzept wird auch ein Kraftfahrzeug mit einer Sensorvorrichtung nach dem verbesserten Konzept angegeben.
Gemäß dem verbesserten Konzept wird ein Computerprogramm mit Befehlen angegeben. Die Befehle veranlassen bei Ausführung des Computerprogramms durch ein Computersystem, insbesondere durch eine Sensorvorrichtung nach dem verbesserten Konzept, beispielsweise durch die Recheneinheit der Sensorvorrichtung, das Computersystem dazu, ein Verfahren nach dem verbesserten Konzept durchzuführen.
Gemäß dem verbesserten Konzept wird ein computerlesbares Speichermedium angegeben, auf dem ein Computerprogramm nach dem verbesserten Konzept gespeichert ist.
Weitere Merkmale der Erfindung ergeben sich aus den Ansprüchen, den Figuren und der Figurenbeschreibung. Die vorstehend in der Beschreibung genannten Merkmale und Merkmalskombinationen sowie die nachfolgend in der Figurenbeschreibung genannten und/oder in den Figuren alleine gezeigten Merkmale und Merkmalskombinationen sind nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen verwendbar, ohne den Rahmen der Erfindung zu verlassen. Es sind somit auch Ausführungen von der Erfindung als erfasst und offenbart anzusehen, die in den Figuren nicht explizit gezeigt und erläutert sind, jedoch durch separierte Merkmalskombinationen aus den erläuterten Ausführungen hervorgehen und erzeugbar sind. Es sind auch Ausführungen und Merkmalskombinationen als offenbart anzusehen, die somit nicht alle Merkmale eines ursprünglich formulierten unabhängigen Anspruchs aufweisen. Es sind darüber hinaus Ausführungen und Merkmalskombinationen, insbesondere durch die oben dargelegten Ausführungen, als offenbart anzusehen, die über die in den Rückbezügen der Ansprüche dargelegten Merkmalskombinationen hinausgehen oder von denen abweichen.
In den Figuren zeigen: Fig. 1 eine schematische Darstellung eines Kraftfahrzeugs mit einer beispielhaften Ausführungsform einer Sensorvorrichtung nach dem verbesserten Konzept sowie verschiedene Aspekte einer beispielhaften Ausführungsform eines Verfahrens nach dem verbesserten Konzept,
Fig. 2 ein Ablaufdiagramm einer weiteren beispielhaften Ausführungsform eines
Verfahrens nach dem verbesserten Konzept, Fig. 3 eine schematische Darstellung von Punktwolken gemäß einer weiteren beispielhaften Ausführungsform eines Verfahrens nach dem verbesserten Konzept; und
Fig. 4 eine schematische Darstellung von Punktwolken einer weiteren beispielhaften Ausführungsform eines Verfahrens nach dem verbesserten Konzept.
In Fig. 1 ist ein Kraftfahrzeug 1 mit einer beispielhaften Ausführungsform einer Sensorvorrichtung 4 nach dem verbesserten Konzept dargestellt.
Ein Fahrzeugkoordinatensystem mit einer Längsachse XF, einer Querachse F und einer Normalachse ZF ist starr mit dem Kraftfahrzeug 1 verbunden. Der Koordinatenursprung beziehungsweise die Orientierung des Fahrzeugkoordinatensystems kann beispielsweise gemäß IS08855 definiert sein.
Die Sensorvorrichtung 4 weist ein aktives optisches Sensorsystem 2 auf, beispielsweise ein Lidarsystem. Ein starr mit dem Sensorsystem 2 verbundenes Sensorkoordinatensystem hat eine Längsachse xs, eine Querachse s und eine Normalachse zs. Ein Koordinatenursprung des Sensorkoordinatensystems ist bezüglich des Koordinatenursprungs des Fahrzeugkoordinatensystem um einen Verschiebungsvektor d verschoben.
Beispielhaft sind das Sensorkoordinatensystem und das Sensorsystem 2 außerhalb des Kraftfahrzeugs 1 dargestellt. Dies dient jedoch lediglich der Übersichtlichkeit. In verschiedenen Ausführungen ist das Sensorsystem 2 an oder in dem Kraftfahrzeug 1 montiert. Die Sensorvorrichtung 4 weist außerdem eine Recheneinheit 3 auf, die mit dem Sensorsystem 2 verbunden ist. Während eines gegebenen Zeitintervalls kann sich das Kraftfahrzeug 1 beispielsweise entlang einer potenziellen Trajektorie 7 bewegen. Ist das Zeitintervall klein genug, so kann die Trajektorie 7 beispielsweise als Kreisbogenabschnitt mit einem konstanten Krümmungsradius R und einem Mittelpunkt M genähert werden. Das Kraftfahrzeug 1 kann sich beispielsweise mit einer näherungsweise konstanten Geschwindigkeit entlang der potenziellen Trajektorie 7 bewegen. Die potenzielle Trajektorie 7 kann beispielsweise durch ein Frenet-Koordinatensystem, also ein lokales, gegebenenfalls zeitabhängiges, Trajektorienkoordinatensystem beschrieben werden. In Fig. 1 ist das Frenet-Koordinatensystem zu Beginn und zum Ende des Zeitintervalls dargestellt. Der Beginn des Zeitintervalls kann auch als erster Zeitpunkt und das Ende des Zeitintervalls als zweiter Zeitpunkt bezeichnet werden.
Zum ersten Zeitpunkt ist das Frenet-Koordinatensystem definiert durch eine Tangentialrichtung t, eine Trajektoriennormalrichtung n und eine Binormalrichtung b. Die Tangentialrichtung t entspricht dabei einer lokalen Tangente an die potenzielle Trajektorie 7. Die Trajektoriennormalrichtung n zeigt beispielsweise zum Mittelpunkt M des Kreisbogenabschnitts. Die Binormalrichtung b steht beispielsweise senkrecht auf der Tangentialrichtung t und der Binormalrichtung b.
Entsprechend ist das Frenet-Koordinatensystem zum zweiten Zeitpunkt gegeben durch die entsprechende Tangentialrichtung , Trajektoriennormalrichtung rV und Binormalrichtung bl
Im Allgemeinen schließt die Binormalrichtung b einen Winkel d mit der Normalachse ZF des Fahrzeugkoordinatensystems ein, der sich entlang der Trajektorie 7 verändern kann. Hier kann beispielsweise angenommen werden, dass der Winkel d entlang der potenziellen Trajektorie 7 näherungsweise konstant ist.
Die Funktion der Sensorvorrichtung 4 wird im Folgenden anhand beispielhafter Ausführungsformen eines Verfahrens nach dem verbesserten Konzept und insbesondere unter Bezug auf die Figuren Fig. 2 bis Fig. 4 näher erläutert.
In Fig. 2 ist ein Ablaufdiagramm einer beispielhaften Ausführungsform eines Verfahrens nach dem verbesserten Konzept dargestellt. In Schritt S1 des Verfahrens werden mittels des Sensorsystems 2 wenigstens eine erste Punktwolke 5 (siehe Fig. 3 und Fig. 4) von Abtastpunkten einer Umgebung des Kraftfahrzeugs 1 zum ersten Zeitpunkt und eine zweite Punktwolke 6 (siehe Fig. 3 und Fig. 4) von Abtastpunkten der Umgebung des Kraftfahrzeugs 1 zum zweiten Zeitpunkt erzeugt. Der Zeitunterschied zwischen dem zweiten und dem zweiten Zeitpunkt ist dabei insbesondere derart klein, dass die Geschwindigkeit des Kraftfahrzeugs 1 , der Radius R sowie der Winkel d als konstant angenommen werden können. Beispielsweise kann der Zeitunterschied in der Größenordnung von einer oder einigen Zehntelsekunden liegen.
Außerdem wird angenommen, dass sich Orientierung und Position des Sensorsystems 2 bezüglich des Kraftfahrzeugs 1 während des Zeitraums zwischen dem zweiten und dem zweiten Zeitpunkt nicht verändert. In Schritt S2 werden Initialwerte für eine Pose, also für den Verschiebungsvektor d, einen Nickwinkel, einen Gierwinkel und einen Rollwinkel des Sensorkoordinatensystems bezüglich des Fahrzeugkoordinatensystems vorgegeben, beispielsweise geschätzt oder anhand sonstiger plausibler Annahmen vorgegeben. In Schritt S3 führt die Recheneinheit 3 eine fünfstufige Koordinatentransformation der zweiten Punktwolke 6 durch, um diese näherungsweise auf die erste Punktwolke 5 abzubilden.
Dazu wird in einer ersten Koordinatentransformation die zweite Punktwolke 6 von dem Sensorkoordinatensystem in das Fahrzeugkoordinatensystem zum zweiten Zeitpunkt transformiert. Da die erste Koordinatentransformation von der Pose des Sensorsystems 2 bezüglich des Fahrzeugkoordinatensystems abhängt, wird diese basierend auf den vorgegebenen Initialwerten für die Pose durchgeführt. In einer zweiten Koordinatentransformation wird die resultierende transformierte zweite Punktwolke 6 von dem Fahrzeugkoordinatensystem in das Frenet-Koordinatensystem der Trajektorie 7 zum zweiten Zeitpunkt transformiert. Die zweite Koordinatentransformation hängt insbesondere von dem Winkel d ab. In einer dritten Koordinatentransformation wird die resultierende transformierte zweite Punktwolke von dem Frenet-Koordinatensystem zum zweiten Zeitpunkt in dem Frenet- Koordinatensystem zum zweiten Zeitpunkt transformiert, insbesondere abhängig von der Geschwindigkeit des Kraftfahrzeugs 1 , dem Radius R und gegebenenfalls der Torsion der Trajektorie 7.
In einer vierten Koordinatentransformation wird die resultierende zweite Punktwolke von dem Frenet-Koordinatensystem zum ersten Zeitpunkt zurück in das Fahrzeugkoordinatensystem zum ersten Zeitpunkt transformiert. Dies entspricht einer Rücktransformation der zweiten Koordinatentransformation.
In einer fünften Koordinatentransformation wird die resultierende zweite Punktwolke von dem Fahrzeugkoordinatensystem in das Sensorkoordinatensystem zum ersten Zeitpunkt transformiert, was einer Rücktransformation der ersten Koordinatentransformation entspricht.
Das Ergebnis der fünften Koordinatentransformation und damit der gesamten fünfstufigen Koordinatentransformation ist eine transformierte zweite Punktwolke 6' (siehe Fig. 3 und Fig. 4).
Im Schritt S4 bestimmt die Recheneinheit 3 eine innere Verlust- oder Kostenfunktion, welche eine Punktmengenregistrierung der ersten Punktwolke 5 und der zweiten Punktwolke 6 quantifiziert, also eine Abweichung der transformierten zweiten Punktwolke 6' von der ersten Punktwolke 5. Die innere Verlustfunktion stellt also ein Maß für die Abweichung der anhand der fünfstufigen Koordinatentransformation transformierten zweiten Punktwolke 6' von der ersten Punktwolke 5 dar.
Im Schritt S4 optimiert die Recheneinheit 3 außerdem die Punktmengenregistrierung der ersten Punktwolke 5 und der zweiten Punktwolke 6, indem die innere Verlustfunktion minimiert wird. Dazu werden insbesondere die Parameter der potenziellen Trajektorie 7, also die Geschwindigkeit des Kraftfahrzeugs 1 , der Radius R, die Torsion und/oder der Winkel d variiert.
Optional können die Schritte S3 und S4 auch für weitere Zeitabschnitte wiederholt werden, zu denen jeweils weitere Punktwolken erzeugt werden.
In Schritt S5 bestimmt die Recheneinheit 3 eine äußere Verlustfunktion basierend auf dem Optimum der inneren Verlustfunktion und gegebenenfalls weiterer innerer Verlustfunktionen der weiteren Punktwolkenregistrierungen. Insbesondere kann die äußere Verlustfunktion als Summe aller inneren Verlustfunktionen bestimmt werden.
In Schritt S5 optimiert die Recheneinheit 3 die Pose des Sensorsystems 2 durch Minimierung der äußeren Verlustfunktion, indem die angenommenen Werte für die Pose des Sensorsystems 2 variiert werden.
Im Schritt S6 vergleicht die Recheneinheit 3 den Optimalwert der äußeren Verlustfunktion mit einem vorgegebenen Grenzwert. Ist der Optimalwert der äußeren Verlustfunktion größer als der Grenzwert, so wird das Verfahren mit Schritt S2 fortgesetzt, wobei nun angepasste Initialwerte für die Pose des Sensorsystems verwendet werden, nämlich diejenigen, die in der vorhergehenden Iteration die äußere Verlustfunktion optimiert haben.
Wird in Schritt S6 festgestellt, dass der Optimalwert der äußeren Verlustfunktion kleiner oder gleich dem Grenzwert ist, so wird das Verfahren in Schritt S7 beendet. Die zuletzt bestimmten, die äußere Verlustfunktion optimierenden Werte für die Pose können als finale Schätzwerte für die Pose des Sensorsystems 2 und Ergebnis der Kalibrierung angesehen werden.
Zur Durchführung der Optimierungen können bekannte Verfahren eingesetzt werden, insbesondere deterministische Verfahren, wie beispielsweise Downhill-Simplex (auch als Nelder-Mead-Verfahren bezeichnet), stochastische Verfahren, wie beispielsweise Simulated-Annealing, Regressionsverfahren, genetische Algorithmen oder auf maschinellem Lernen basierende Verfahren, wie beispielsweise künstliche neuronale Netzwerke.
In Fig. 3 sind Punktwolken 5, 6, 6' gemäß einem Verfahren, wie es bezüglich Fig. 2 erläutert wurde, schematisch dargestellt.
In einer ersten Schraffur ist die erste Punktwolke 5 dargestellt, in einer zweiten Schraffur die zweite Punktwolke 6 und die aus der fünfstufigen Koordinatentransformation resultierende transformierte zweite Punktwolke 6‘ in einer dritten Schraffur.
Wie aus Fig. 3 ersichtlich, bestehen zwischen der ersten Punktwolke 5 und der transformierten zweiten Punktwolke 6‘ signifikante Abweichungen, und auch die potenzielle Trajektorie 7 beschreibt eine im vorliegenden Fall unrealistische Trajektorie. Dies bedeutet, dass die äußere Verlustfunktion in einer der Fig. 3 entsprechenden Iteration noch zu weit von dem Grenzwert entfernt ist, um die Kalibrierung als abgeschlossen anzusehen. Mit anderen Worten stellen die aktuellen Schätzwerte für die Pose des Sensorsystems 2 die tatsächliche Pose noch unzureichend gut dar.
In Fig. 4 sind weitere Darstellungen der Punktwolken 5, 6, 6‘ dargestellt. Die Darstellung der Fig. 4 kann beispielsweise einer späteren Iteration entsprechen, wie diejenige der Fig. 3. Wie aus Fig. 4 erkennbar ist, ist die Abweichung zwischen den zweiten Punktwolke 5 und der transformierten zweiten Punktwolke 6‘ deutlich geringer als in Fig. 3.
Dementsprechend kann der Wert der äußeren Verlustfunktion gemäß Fig. 4 beispielsweise kleiner oder gleich dem vorgegebenen Grenzwert sein. Mit anderen Worten kann der aktuelle Schätzwert für die Pose des Sensorsystems 2 als Ergebnis der Kalibrierung angesehen werden.
Wie beschrieben, kann anhand des verbesserten Konzepts eine Kalibrierung eines aktiven optischen Sensorsystems basierend ausschließlich auf mittels des Sensorsystems erzeugten Punktwolken mit hoher Genauigkeit und unabhängig von der konkreten Implementierung des aktiven optischen Sensorsystems erreicht werden.

Claims

Patentansprüche
1. Computerimplementiertes Verfahren zur Kalibrierung eines aktiven optischen Sensorsystems (2) eines Kraftfahrzeugs (1), wobei eine mittels des Sensorsystems (2) zu einem ersten Zeitpunkt erzeugte erste Punktwolke (5) und eine mittels des Sensorsystems (2) zu einem zweiten Zeitpunkt erzeugte zweite Punktwolke (6) bereitgestellt werden; dadurch gekennzeichnet, dass mittels einer Recheneinheit (3) abhängig von wenigstens einem Parameter, der potenzielle Trajektorien (7) des
Kraftfahrzeugs (1) zwischen dem ersten und dem zweiten Zeitpunkt beschreibt, wenigstens eine Koordinatentransformation der zweiten Punktwolke (6) durchgeführt wird; eine erste vorgegebene Zielfunktion basierend auf der ersten Punktwolke und einem Ergebnis der wenigstens einen Koordinatentransformation optimiert wird, indem wenigstens ein Parameterwert des wenigstens einen Parameters variiert wird; und wenigstens ein Schätzwert für eine Pose des Sensorsystems (2) basierend auf einem Ergebnis der Optimierung der ersten Zielfunktion bestimmt wird.
2. Verfahren nach Anspruch 1 , dadurch gekennzeichnet, dass die wenigstens eine Koordinatentransformation basierend auf vorgegebenen Initialwerten für die Pose durchgeführt wird.
3. Verfahren nach einem der Ansprüche 1 oder 2, dadurch gekennzeichnet, dass mittels der Recheneinheit (3) basierend auf dem Ergebnis der Optimierung der ersten Zielfunktion eine zweite Zielfunktion bestimmt wird, die parametrisch von der Pose abhängt; die zweite Zielfunktion optimiert wird, indem wenigstens ein Wert der Pose variiert wird; und der wenigstens eine Schätzwert für die Pose basierend auf einem Ergebnis der Optimierung der zweiten Zielfunktion bestimmt wird.
4. Verfahren nach Anspruch 3, dadurch gekennzeichnet, dass die zweite Zielfunktion abhängig von einem durch die Optimierung der ersten Zielfunktion bestimmten Optimum der ersten Zielfunktion bestimmt wird.
5. Verfahren nach Anspruch 2 und Anspruch 3 oder 4, dadurch gekennzeichnet, dass mittels der Recheneinheit (2) ein durch die Optimierung der zweiten Zielfunktion bestimmtes Optimum der zweiten Zielfunktion mit einem vorgegebenen Grenzwert verglichen wird; die Initialwerte für die Pose abhängig von einem Ergebnis des Vergleichs angepasst werden; - die wenigstens eine Koordinatentransformation basierend auf den angepassten
Initialwerten wiederholt wird; die Optimierung der ersten Zielfunktion basierend auf einem Ergebnis der wiederholten wenigstens einen Koordinatentransformation wiederholt wird; und ein weiterer Schätzwert für die Pose des Sensorsystems (2) basierend auf einem Ergebnis der wiederholten Optimierung der ersten Zielfunktion bestimmt wird.
6. Verfahren nach einem der Ansprüche 1 bis 5, dadurch gekennzeichnet, dass mittels der Recheneinheit (2) eine erste Koordinatentransformation der zweiten Punktwolke (6) von einem Sensorkoordinatensystem des Sensorsystems (2) in ein
Fahrzeugkoordinatensystem des Kraftfahrzeugs (1) durchgeführt wird.
7. Verfahren nach Anspruch 6, dadurch gekennzeichnet, dass mittels der Recheneinheit (2) eine zweite Koordinatentransformation der transformierten zweiten Punktwolke von dem Fahrzeug koordinatensystem in ein lokales Koordinatensystem der potenziellen Trajektorien (7) zum zweiten Zeitpunkt durchgeführt wird.
8. Verfahren nach Anspruch 7, dadurch gekennzeichnet, dass mittels der Recheneinheit (2) eine dritte Koordinatentransformation der transformierten zweiten Punktwolke von dem lokalen Koordinatensystem der potenziellen Trajektorien (7) zum zweiten Zeitpunkt in ein lokales Koordinatensystem der potenziellen Trajektorien (7) zum ersten Zeitpunkt durchgeführt wird.
9. Verfahren nach Anspruch 8, dadurch gekennzeichnet, dass mittels der Recheneinheit (2) eine vierte Koordinatentransformation der transformierten zweiten Punktwolke von dem lokalen Koordinatensystem der potenziellen Trajektorien (7) zum ersten Zeitpunkt in das Fahrzeugkoordinatensystem durchgeführt wird.
10. Verfahren nach Anspruch 9, dadurch gekennzeichnet, dass mittels der Recheneinheit (2) eine fünfte Koordinatentransformation der transformierten zweiten Punktwolke von dem Fahrzeugkoordinatensystem in das Sensorkoordinatensystem durchgeführt wird.
11. Verfahren nach einem der Ansprüche 1 bis 10, dadurch gekennzeichnet, dass eine mittels des Sensorsystems (2) zu einem dritten Zeitpunkt erzeugte dritte Punktwolke bereitgestellt wird und mittels der Recheneinheit (2) - abhängig von wenigstens einem weiteren Parameter, der potenzielle weitere
Trajektorien des Kraftfahrzeugs (1) zwischen dem zweiten und dem dritten Zeitpunkt beschreibt, wenigstens eine weitere Koordinatentransformation der dritten Punktwolke durchgeführt wird;
- eine weitere erste vorgegebene Zielfunktion basierend auf einem Ergebnis der wenigstens einen weiteren Koordinatentransformation optimiert wird, indem wenigstens ein Parameterwert des wenigstens einen weiteren Parameters variiert wird; und
- der wenigstens eine Schätzwert für die Pose basierend auf einem Ergebnis der Optimierung der ersten weiteren Zielfunktion bestimmt wird.
12. Verfahren nach Anspruch 11 und nach Anspruch 4, dadurch gekennzeichnet, dass die zweite Zielfunktion eine Summe des Optimums der ersten Zielfunktion und eines durch die Optimierung der ersten weiteren Zielfunktion bestimmten Optimums der ersten weiteren Zielfunktion enthält.
13. Verfahren nach einem der Ansprüche 1 bis 12, dadurch gekennzeichnet, dass der wenigstens eine Parameter eine Längsgeschwindigkeit des Kraftfahrzeugs (1), und/oder einen Krümmungsradius der potenziellen Trajektorien (7) enthält.
14. Sensorvorrichtung für ein Kraftfahrzeug (1), die Sensorvorrichtung (4) aufweisend ein aktives optisches Sensorsystem (2), das dazu eingerichtet ist, eine erste Punktwolke (5) zu erzeugen, die eine Umgebung des Kraftfahrzeugs (1) zu einem ersten Zeitpunkt abbildet und eine zweite Punktwolke (6) zu erzeugen, die die Umgebung zu einem zweiten Zeitpunkt abbildet; und eine Recheneinheit (3), die mit dem Sensorsystem (2) zum Erhalten der Punktwolken (5, 6) gekoppelt ist; dadurch gekennzeichnet, dass Recheneinheit (4) dazu eingerichtet ist, abhängig von wenigstens einem Parameter, der potenzielle Trajektorien (7) des Kraftfahrzeugs (1) zwischen dem ersten und dem zweiten Zeitpunkt beschreibt, wenigstens eine Koordinatentransformation der zweiten Punktwolke (6) durchzuführen; eine erste vorgegebene Zielfunktion basierend auf einem Ergebnis der wenigstens einen Koordinatentransformation der zweiten Punktwolke (6) zu optimieren, indem wenigstens ein Parameterwert des wenigstens einen Parameters variiert wird; und wenigstens einen Schätzwert für eine Pose des Sensorsystems (2) basierend auf einem Ergebnis der Optimierung der ersten Zielfunktion zu bestimmen.
15. Computerprogramm mit Befehlen, welche bei Ausführung des Computerprogramms durch ein Computersystem das Computersystem dazu veranlassen, ein Verfahren nach einem der Ansprüche 1 bis 13 durchzuführen.
PCT/EP2020/077768 2019-10-17 2020-10-05 Kalibrierung eines aktiven optischen sensorsystems WO2021073907A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102019128103.2A DE102019128103A1 (de) 2019-10-17 2019-10-17 Kalibrierung eines aktiven optischen Sensorsystems
DE102019128103.2 2019-10-17

Publications (1)

Publication Number Publication Date
WO2021073907A1 true WO2021073907A1 (de) 2021-04-22

Family

ID=72840504

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2020/077768 WO2021073907A1 (de) 2019-10-17 2020-10-05 Kalibrierung eines aktiven optischen sensorsystems

Country Status (2)

Country Link
DE (1) DE102019128103A1 (de)
WO (1) WO2021073907A1 (de)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113744341A (zh) * 2021-07-21 2021-12-03 北京旷视科技有限公司 机器人系统的相机位姿标定方法、装置和电子设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180313940A1 (en) * 2017-04-28 2018-11-01 SZ DJI Technology Co., Ltd. Calibration of laser and vision sensors
US20180357773A1 (en) 2017-06-13 2018-12-13 TuSimple Sparse image point correspondences generation and correspondences refinement system for ground truth static scene sparse flow generation

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3324210B1 (de) * 2016-11-18 2020-07-29 Outsight Selbstkalibrierendes sensorsystem für ein radfahrzeug

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180313940A1 (en) * 2017-04-28 2018-11-01 SZ DJI Technology Co., Ltd. Calibration of laser and vision sensors
US20180357773A1 (en) 2017-06-13 2018-12-13 TuSimple Sparse image point correspondences generation and correspondences refinement system for ground truth static scene sparse flow generation

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
PAPACHRISTOS CHRISTOS ET AL: "Localization uncertainty-aware autonomous exploration and mapping with aerial robots using receding horizon path-planning", AUTONOMOUS ROBOTS, KLUWER ACADEMIC PUBLISHERS, DORDRECHT, NL, vol. 43, no. 8, 30 May 2019 (2019-05-30), pages 2131 - 2161, XP036893505, ISSN: 0929-5593, [retrieved on 20190530], DOI: 10.1007/S10514-019-09864-1 *

Also Published As

Publication number Publication date
DE102019128103A1 (de) 2021-04-22

Similar Documents

Publication Publication Date Title
EP2166510B1 (de) Verfahren zum Ermitteln der Position und der Orientierung einer in einem Fahrzeug angeordneten Kamera
DE102015205244B3 (de) Verfahren zum Bereitstellen von Hinderniskarten für Fahrzeuge
EP1418444B1 (de) Verfahren zur Bestimmung einer Eigenbewegung eines Fahrzeugs
EP2423639B1 (de) Verfahren zur Ermittlung von Spaltmaß und/oder Bündigkeit von Karosserieteilen eines Kraftfahrzeugs und Steuerungsprogramm
DE102017129221A1 (de) Verfahren und Vorrichtung zur Bestimmung von geometrischen Merkmalen an Werkstücken
DE102018204451A1 (de) Verfahren und Vorrichtung zur Autokalibrierung eines Fahrzeugkamerasystems
WO2021001341A1 (de) Kalibrieren eines aktiven optischen sensorsystems anhand eines kalibriertargets
WO2019048111A1 (de) Verfahren und vorrichtung zur bestimmung der abweichung einer sensorachse eines umfeldsensors von der fahrachse eines fahrzeugs
WO2021073907A1 (de) Kalibrierung eines aktiven optischen sensorsystems
DE102008026876A1 (de) Stereokamerasystem und Verfahren zum Ermitteln mindestens eines Kalibrierfehlers eines Stereokamerasystems
DE102018103474A1 (de) Ein system und verfahren zur objektabstandserkennung und positionierung
EP3034984B1 (de) Verfahren und vorrichtung zur lokalen stabilisierung eines strahlungsflecks auf einem entfernten zielobjekt
DE102016009756A1 (de) Verfahren zum Kalibrieren eines Sensorsystems eines Kraftfahrzeugs sowie Sensorsystem
EP4145233A1 (de) Konturtreuebestimmung für eine laserschneidmaschine
DE102019125517A1 (de) Abschätzen einer Gierwinkellage eines aktiven optischen Sensorsystems
DE102019118481A1 (de) Kalibrieren eines aktiven optischen Sensorsystems
DE102019126074A1 (de) Analyse einer Umgebung eines aktiven optischen Sensorsystems
DE102018127860A1 (de) Verfahren und Messsystem zur Ermittlung der Größe der Schwingungsamplitude eines Mikro-Schwingspiegels einer Objekterfassungsvorrichtung
DE102018114390A1 (de) Umfelderfassungssystem, Kraftfahrzeug mit einem Umfelderfassungssystem und Verfahren zur Kalibrierung von zumindest zwei Sensoren an einem Kraftfahrzeug
DE102019214345B4 (de) Verfahren zur Dejustageerkennung wenigstens eines Sensors eines Kraftfahrzeugs
DE102018206181B4 (de) Verbessertes Autofokusverfahren für ein Koordinatenmessgerät und Koordinatenmessgerät
DE102023002181B3 (de) Adaptive Filterkette zum Anzeigen eines Umfeldmodells in einem Fahrzeug
EP3865981B1 (de) Verfahren und vorrichtung zum kalibrieren eines 3d-bildsensors
DE102019126979A1 (de) Abschätzen einer Gierwinkellage eines aktiven optischen Sensorsystems mittels einer statischen Referenzstruktur
DE102021101133A1 (de) Detektion eines lateralen Endes einer Fahrbahn

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20789891

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20789891

Country of ref document: EP

Kind code of ref document: A1