WO2022263081A1 - Verfahren und vorrichtung zum kalibrieren und/oder justieren einer lidarsensoreinheit eines fahrzeugs - Google Patents

Verfahren und vorrichtung zum kalibrieren und/oder justieren einer lidarsensoreinheit eines fahrzeugs Download PDF

Info

Publication number
WO2022263081A1
WO2022263081A1 PCT/EP2022/063254 EP2022063254W WO2022263081A1 WO 2022263081 A1 WO2022263081 A1 WO 2022263081A1 EP 2022063254 W EP2022063254 W EP 2022063254W WO 2022263081 A1 WO2022263081 A1 WO 2022263081A1
Authority
WO
WIPO (PCT)
Prior art keywords
sensor unit
lidar sensor
vehicle
plane
calibration
Prior art date
Application number
PCT/EP2022/063254
Other languages
English (en)
French (fr)
Inventor
Felix BEYER
Patrick Scheppe
Christian Kobetz
Goller ERICH
Martin Jonas
Original Assignee
Mercedes-Benz Group AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mercedes-Benz Group AG filed Critical Mercedes-Benz Group AG
Publication of WO2022263081A1 publication Critical patent/WO2022263081A1/de

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating
    • G01S7/4972—Alignment of sensor
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles

Definitions

  • the invention relates to a method for calibrating and/or adjusting a lidar sensor unit of a vehicle according to the features of the preamble of claim 1, a device for calibrating and/or adjusting a lidar sensor unit of a vehicle and a vehicle.
  • a method for in-service calibration of a Udar and a vehicle are known from the prior art.
  • a vehicle environment is scanned at least twice by means of the Udar to generate at least two point clouds
  • a relative position of at least some of the scanning points comprised by the point clouds is tracked with respect to the lidar
  • a direction of movement of the scanning points is determined by evaluating a relative position shift of the scanning points between the at least two Point clouds, determining an intersection of the directions of movement of a specified selection of sampling points to determine an instantaneous vanishing point, comparing a position of the instantaneous vanishing point with a known position of a reference vanishing point, and when determining a positional deviation between the instantaneous vanishing point and the reference vanishing point, shifting a reference coordinate system or an instantaneous coordinate system around the instantaneous vanishing point to coincide with the reference vanishing point.
  • the object of the invention is to provide a method for calibrating and/or adjusting a lidar sensor unit of a vehicle that is improved compared to the prior art, a device for calibrating and/or adjusting a lidar sensor unit of a vehicle that is improved compared to the prior art, and a method that is improved compared to the prior art indicate the vehicle improved by the technology.
  • the object is achieved according to the invention by a method for calibrating and/or adjusting a lidar sensor unit of a vehicle having the features of claim 1, a device for calibrating and/or adjusting a lidar sensor unit of a vehicle having the features of claim 8 and a vehicle having the features of claim 9
  • the lidar sensor unit In a method for calibrating and/or adjusting a lidar sensor unit of a vehicle, the lidar sensor unit generates a point cloud, in particular precisely one point cloud.
  • This point cloud is generated in particular by the lidar sensor unit scanning an area surrounding the vehicle using at least one light beam, in particular a laser beam.
  • the point cloud is created by a reflection of the at least one light beam, in particular a laser beam, detected by the lidar sensor unit in the environment, for example on surfaces and/or objects, in particular also on a roadway level on which the vehicle is located.
  • those points are identified from the cloud of points which originate from reflections on the roadway plane, in particular from reflections on the roadway plane on which the vehicle is located, ie. H. a ground level on which the vehicle is standing or moving.
  • a normal vector of the roadway plane is determined with these points and used as a reference for the calibration and/or adjustment of the lidar sensor unit.
  • a device according to the invention for calibrating and/or adjusting the lidar sensor unit of the vehicle is designed and set up to carry out this method.
  • the device is in particular a computing unit or includes such a computing unit that is designed and set up to carry out this method.
  • a vehicle according to the invention comprises such a device.
  • the solution according to the invention enables the lidar sensor unit to be calibrated and/or adjusted, in particular in two rotational degrees of freedom, ie with regard to a pitch angle and a roll angle, without using lidar calibration panels and thus in a particularly simple and efficient manner.
  • the roll angle is also referred to as the roll angle.
  • those points originating from reflections on the road surface are identified using a method for segmenting point clouds, in particular using Random Sample Consessus (RANSAC).
  • RANSAC Random Sample Consessus
  • a model is defined in the form of a plane and the points that best reflect this model "plane" are determined, i. H. which best fit this model in the form of a plane.
  • the points are determined that together form a plane that is as large as possible, in particular those points that form the largest possible plane of all planes to be formed by means of points in the point cloud.
  • a pre-filtering is carried out first to narrow down an expectation range, i. H. only the points of the point cloud that are located within this expected area are then taken into account to form the plane. This enables efficient identification of the points originating from reflections on the road surface from the point cloud.
  • a transformation is calculated in particular, which aligns a Z axis of a three-dimensional coordinate system of the lidar sensor unit parallel to the determined normal vector of the roadway plane. This enables correct alignment of the three-dimensional coordinate system of the lidar sensor unit.
  • the pitch angle and the roll angle are calculated, which are required to align the Z axis of the three-dimensional coordinate system of the lidar sensor unit parallel to the ascertained normal vector of the roadway plane.
  • the lidar sensor unit thus advantageously detects the roadway level, ie the ground level, on which the vehicle is located, for example stationary or moving.
  • Parameters of the road surface in the three-dimensional coordinate system of the lidar sensor unit are advantageously determined using sensor data from the lidar sensor unit. Its normal vector is calculated based on the parameters of the road surface.
  • the normal vector is set in relation to the three-dimensional coordinate system of the lidar sensor unit, via which in particular the pitch and roll angle can be determined.
  • the lidar sensor unit is calibrated and/or adjusted in particular by knowing the pitch and roll angle.
  • the calibration and/or adjustment of the lidar sensor unit is carried out, for example, during manufacture of the vehicle and/or during ferry operation of the vehicle.
  • the described solution enables the calibration and/or adjustment of the lidar sensor unit in a simple manner and thus its commissioning already during the manufacture of the vehicle, in particular while still on a production line. This is made possible in particular by the described high-precision determination of the pitch and roll angle. As already mentioned, this does not require the lidar calibration panels used in the prior art.
  • the solution described thereby enables in particular a reduction in process time on a chassis stand.
  • the method described can also be carried out, for example, while the vehicle is in ferry mode.
  • This enables recalibration and/or readjustment, in particular online, ie during ferry operation, so that a visit to the workshop is not necessary.
  • a decalibration and/or maladjustment of the lidar sensor unit for example due to external contact of a vehicle component carrying the lidar sensor unit, for example a bumper, can be quickly detected and corrected by appropriately calibrating and/or adjusting the lidar sensor unit in the manner described.
  • Such decalibration and/or maladjustment due to external contact of the vehicle, in particular of the vehicle component carrying the lidar sensor unit, with its surroundings can lead to the lidar sensor unit malfunctioning.
  • vehicle functions for example assistance functions and/or functions of a partially automated, fully automated or autonomous ferry operation, which are based on correct functioning of the lidar sensor unit, can continue to be ensured and incorrect functioning of these vehicle functions can be prevented.
  • the detection of the decalibration and/or maladjustment and its calibration and/or adjustment in the manner described takes place fully automatically, for example unnoticed by a vehicle user, so that the use of the vehicle is not impaired.
  • the method described can also be used in the service area, particularly in workshops, and in the so-called after-sales area, since the omission of the calibration panels also offers great advantages here.
  • the pitch and roll angles are also recorded in the manner described above during the ferry operation and used for calibration and/or adjustment in the manner described.
  • a dynamic detection of the roll angle and/or pitch angle while driving in the manner described can be used, for example for an electronic stability program of the vehicle.
  • other sensors of the vehicle for detecting the roll angle and/or pitch angle can be dispensed with, or redundancy is achieved.
  • the solution described here in particular the described calculation of the pitch angle and the roll angle, which are required to align the Z-axis of the three-dimensional coordinate system of the lidar sensor unit parallel to the determined normal vector of the road surface, is primarily used to calibrate the lidar sensor unit.
  • the variables determined in the manner described above, in particular the pitch angle and roll angle are used as input variables for the adjustment of the lidar sensor unit, in particular following the calibration.
  • the adjustment describes in particular a compensation for deviations with the aim of maintaining the required functional accuracy, in particular within specified limits.
  • the calculated transformation which aligns the Z axis of the three-dimensional coordinate system of the lidar sensor unit parallel to the ascertained normal vector of the roadway plane, can be carried out for adjustment.
  • the three-dimensional coordinate system of the lidar sensor unit can be aligned according to the calculated pitch angle and roll angle such that the Z axis of the three-dimensional coordinate system of the lidar sensor unit is aligned parallel to the determined normal vector of the road surface.
  • the method described above can in particular be carried out several times at different locations on the road surface, and for example the calibration values determined in this way, in particular the calculated pitch angle and the calculated roll angle, can be offset, in particular in order to compensate for local unevenness in the road surface.
  • This is particularly advantageous, for example, for recalibration and/or readjustment, in particular online recalibration and/or online readjustment, in particular during ferry operations, in particular in the so-called after-sales area and/or in the service area, in particular in workshops, since it cannot be assumed here that the roadway is level.
  • the described procedure in particular the described calculation of the pitch angle and roll angle, is repeated at least once or several times, in particular at different locations on the road surface, thus in particular after a respective movement of the vehicle, in particular on the road surface, in particular relatively to the road level.
  • the pitch angles calculated in each case are offset against one another and the roll angles calculated in each case are offset against one another.
  • a mean value or average value of the pitch angle and/or a mean value or average value of the roll angle are formed.
  • FIG. 1 schematically shows a vehicle with a lidar sensor unit
  • Fig. 2 schematically shows the vehicle with the lidar sensor unit and a point cloud
  • Fig. 3 schematically shows the vehicle with the lidar sensor unit and points of the
  • FIG. 4 schematically shows the vehicle with the lidar sensor unit, the points of
  • FIG. 5 schematically shows the vehicle with the lidar sensor unit, the roadway plane and a normal vector of the roadway plane
  • FIG. 6 schematically shows the vehicle with the lidar sensor unit, the road plane, the normal vector of the road plane and a three-dimensional coordinate system of the lidar sensor unit,
  • a method and a device 1 for calibrating and/or adjusting a lidar sensor unit 2 of a vehicle 3 are described below with reference to FIGS other figures is not shown separately for reasons of clarity.
  • the device 1 is designed and set up to carry out this method.
  • the device 1 is in particular a computing unit or includes such a computing unit that is designed and set up to carry out this method.
  • a point cloud PW is generated by the lidar sensor unit 2, in particular exactly one point cloud PW.
  • This point cloud PW is generated in particular by the lidar sensor unit 2 scanning an area surrounding the vehicle 3 using at least one light beam, in particular a laser beam.
  • the point cloud PW is created by a reflection of the at least one light beam, in particular a laser beam, detected by the lidar sensor unit 2 in the environment, for example on surfaces and/or objects, in particular also on a lane level FE on which vehicle 3 is located.
  • this lane level FE is, for example, part of a production line L in which the vehicle 3 is manufactured. Therefore, in the example shown, there is another vehicle F in this production line L in front of vehicle 3.
  • PW i. H. from the totality of points P1 to Pn of the point cloud PW
  • those points PE1 to PEm are identified which originate from reflections on the roadway plane FE, in particular from reflections on the roadway plane FE on which the vehicle 3 is located, d. H. a ground plane on which the vehicle 3 is standing or moving.
  • a normal vector N of the road plane FE is determined with these points PE1 to PEm and used as a reference for the calibration and/or adjustment of the lidar sensor unit 2 .
  • the method described is significantly more advantageous than the procedure known from the prior art, in which the vehicle 3 is located on an axle-measuring test bench to calibrate the lidar sensor unit 2 and calibration panels are recorded by the lidar sensor unit 2 from this position, with the lidar sensor unit 2 being Knowing the vehicle location and vehicle orientation and the position of the calibration panels can be calibrated and adjusted.
  • This target-based calibration which is known from the prior art, is time-consuming and therefore also expensive.
  • an increasing number of sensor units of an environment sensor system of the vehicle 3 in modern vehicles 3 leads to the problem that not all sensor units can be put into operation at the same time since calibration panels would cover one another.
  • the calibration panels also pose a problem due to their size and the space required for the calibration.
  • the vehicle 3 is located in the production line L, as shown in FIG. 1, but it can also be located at a different location in other examples.
  • a recording in the form of the point cloud PW is made by means of the lidar sensor unit 2, as shown in FIG.
  • a method for segmenting point clouds PW is advantageously used for this purpose, in particular a method which is referred to as “random sample consensus” (RANSAC) or random sample consensus algorithm.
  • RTSAC random sample consensus
  • a model is defined in the form of a plane E and the points PE1 to PEm that best reflect this "plane E" model are identified, i.e. H. which best suit this model in the shape of a plane E.
  • the points PE1 to PEm are determined, which together form a plane E that is as large as possible, in particular those points PE1 to PEm that form the largest possible plane E of all planes to be formed using points P1 to Pn of the point cloud PW.
  • a pre-filtering is carried out first to delimit an expectation range, ie only the points P1 to Pn of the point cloud PW that are located within this expectation range are then considered to form the plane E and thus to determine this plane E.
  • This enables the points PE1 to PEm, which originate from reflections on the roadway plane FE, to be identified efficiently from the point cloud PW.
  • the plane E determined in this way is not below the vehicle 3, but according to the detection range of the lidar sensor unit 2 in front of the vehicle 3, as shown here, or in the case of differently aligned lidar sensor units 2, for example behind the vehicle 3 or to the side of the vehicle 3, since all points P1 to Pn of the point cloud PW are located in the respective detection area of the lidar sensor unit 2.
  • the level E determined in this way is part of the roadway level FE on which the vehicle 3 is located, ie stationary or moving, or it is at least assumed for the method described here that this is the case.
  • the lane level FE is thus also determined on which the vehicle 3 is located, ie on which it is standing or moving.
  • the point cloud PW is reduced to the points PE1 to PEm within this plane E and thus the roadway plane FE.
  • parameters of the determined plane E and in particular the normal vector N of the determined plane E and thus also of the roadway plane FE can be determined, in particular calculated.
  • FIG. 6 shows a three-dimensional coordinate system of the lidar sensor unit 2, also referred to as the sensor coordinate system. It includes an X-axis X, a Y-axis Y and a Z-axis Z. This is a Cartesian coordinate system and therefore an orthogonal coordinate system. Each of the X, Y, Z axes is orthogonal to each of the other two X, Y, Z axes, respectively.
  • FIG. 7 shows the normal vector N of the roadway plane FE shifted to an origin of the three-dimensional coordinate system of the lidar sensor unit 2 .
  • the Z axis Z of the three-dimensional coordinate system of the lidar sensor unit 2 should be aligned parallel to this normal vector N of the roadway plane FE. This is not the case in the example shown here, ie the lidar sensor unit 2 is decalibrated and/or out of adjustment. Therefore, as shown in FIG. 8, the transformation is now calculated, which aligns the three-dimensional coordinate system of the lidar sensor unit 2 with its Z axis Z parallel to the normal vector N of the road plane FE.
  • a pitch angle Q and a roll angle F ie for this transformation the pitch angle Q and the roll angle F are determined, in particular calculated, which transform the three-dimensional coordinate system of the lidar sensor unit 2 with its Z-axis Z parallel to the normal vector N of the roadway plane FE, as shown in Figure 8.
  • the determination of the pitch angle Q and roll angle F is shown in FIG. 8 on the left side and the correspondingly transformed three-dimensional coordinate system of the lidar sensor unit 2 is shown on the right side.
  • the roll angle F is also referred to as the roll angle.
  • the roll angle F describes panning around the X-axis X.
  • the pitch angle Q describes panning around the Y-axis Y.
  • Random Sample Consensus Algorithm (RANSAC) to determine the level E and thus the lane level FE
  • the lidar sensor unit 2 can already be put into operation in the production line L. If, in addition, the yaw angle of the lidar sensor unit 2 about its Z-axis is known, for example from the method described in DE 102020007772 A1 or from other already known methods for calibration without calibration tables, such as the Iterative Closest Point (ICP) method, or if calibrating and/or adjusting the Lidar sensor unit 2 is not required with regard to the yaw angle, calibration panels, as described in the prior art, can be omitted, which can save costs and space. In addition, a process time on the chassis stand, ie on the test stand, can be reduced.
  • ICP Iterative Closest Point
  • one or more calibration panels and/or one or more other calibration targets can continue to be used at least for this purpose will.
  • the method described can in particular be carried out several times at different locations on the road surface FE and, for example, the calibration values determined in this way, in particular the calculated pitch angle Q and the calculated roll angle F, can be offset, in particular in order to compensate for local unevenness in the road surface FE.
  • This is particularly advantageous, for example, for recalibration and/or readjustment, in particular online recalibration and/or online readjustment, in particular during ferry operations, in particular in the so-called after-sales area and/or in the service area, in particular in workshops, since a level road surface FE cannot always be assumed here.
  • the described procedure in particular the described calculation of the pitch angle Q and roll angle F, is repeated at least once or several times, in particular at different locations on the road surface FE, thus in particular after a respective movement of the vehicle, in particular on the road surface FE, in particular relative to the road surface FE.
  • the pitch angles Q calculated in each case are offset against one another and the roll angles F calculated in each case are offset against one another.
  • a mean value or average value of the pitch angle Q and/or a mean value or average value of the roll angle F are formed.
  • the method makes it possible to determine a decalibration and/or misalignment of lidar sensor unit 2, which can result, for example, from external contact between lidar sensor unit 2 and/or a vehicle component carrying lidar sensor unit 2, for example a bumper of vehicle 3, with the environment, i.e. for example from a Collision with another object.
  • the method enables its calibration and/or adjustment in the manner described.
  • the method described can also be used in the service area, particularly in workshops, and in the so-called after-sales area, since the omission of the calibration panels also offers great advantages here.
  • a further advantage is dynamic detection, in particular of the roll angle F, which is also made possible by means of the method described, i. H. in particular a constant detection of the roll angle F while the vehicle 3 is in motion.
  • the detected roll angle F can be used, for example, as a control variable for driver assistance systems, for example for an electronic stability program of the vehicle 3. This means, for example, that other sensors in the vehicle 3 can be used to detect the roll angle F be saved, or redundancy is achieved.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

Verfahren zum Kalibrieren und/oder Justieren einer Lidarsensoreinheit (2) eines Fahrzeugs (3), wobei von der Lidarsensoreinheit (2) eine Punktwolke (PW) erzeugt wird. Aus der Punktwolke (PW) werden diejenigen Punkte (PE1 bis PEm) identifiziert, die von Reflexionen auf einer Fahrbahnebene (FE) stammen, wobei mit diesen Punkten (PE1 bis PEm) ein Normalenvektor (N) der Fahrbahnebene (FE) ermittelt und als Referenz für die Kalibrierung und/oder Justierung der Lidarsensoreinheit (2) verwendet wird.

Description

Verfahren und Vorrichtung zum Kalibrieren und/oder Justieren einer Lidarsensoreinheit eines Fahrzeugs
Die Erfindung betrifft ein Verfahren zum Kalibrieren und/oder Justieren einer Lidarsensoreinheit eines Fahrzeugs nach den Merkmalen des Oberbegriffs des Anspruchs 1, eine Vorrichtung zum Kalibrieren und/oder Justieren einer Lidarsensoreinheit eines Fahrzeugs und ein Fahrzeug.
Aus dem Stand der Technik sind, wie in der DE 102020007 772 A1 beschrieben, ein Verfahren zur In-Betrieb-Kalibrierung eines Udars und ein Fahrzeug bekannt. In diesem Verfahren erfolgt ein mindestens zweimaliges Abtasten einer Fahrzeugumgebung mittels des Udars zum Erzeugen wenigstens zweier Punktewolken, ein Nachverfolgen einer Relativposition zumindest einiger der von den Punktewolken umfassten Abtastpunkte zum Lidar, ein Bestimmen einer Bewegungsrichtung der Abtastpunkte durch Auswerten einer Relativpositionsverschiebung der Abtastpunkte zwischen den wenigstens zwei Punktewolken, ein Bestimmen eines Schnittpunkts der Bewegungsrichtungen einer festgelegten Auswahl an Abtastpunkten zur Bestimmung eines Momentanfluchtpunkts, ein Vergleich einer Position des Momentanfluchtpunkts mit einer bekannten Position eines Referenzfluchtpunkts und bei Feststellen einer Lageabweichung zwischen Momentanfluchtpunkt und Referenzfluchtpunkt ein Verschieben eines Referenzkoordinatensystems oder eines Momentankoordinatensystems, um den Momentanfluchtpunkt mit dem Referenzfluchtpunkt zur Deckung zu bringen.
Der Erfindung liegt die Aufgabe zu Grunde, ein gegenüber dem Stand der Technik verbessertes Verfahren zum Kalibrieren und/oder Justieren einer Lidarsensoreinheit eines Fahrzeugs, eine gegenüber dem Stand der Technik verbesserte Vorrichtung zum Kalibrieren und/oder Justieren einer Lidarsensoreinheit eines Fahrzeugs und ein gegenüber dem Stand der Technik verbessertes Fahrzeug anzugeben. Die Aufgabe wird erfindungsgemäß gelöst durch ein Verfahren zum Kalibrieren und/oder Justieren einer Lidarsensoreinheit eines Fahrzeugs mit den Merkmalen des Anspruchs 1, eine Vorrichtung zum Kalibrieren und/oder Justieren einer Lidarsensoreinheit eines Fahrzeugs mit den Merkmalen des Anspruchs 8 und ein Fahrzeug mit den Merkmalen des Anspruchs 9.
Vorteilhafte Ausgestaltungen der Erfindung sind Gegenstand der Unteransprüche.
In einem Verfahren zum Kalibrieren und/oder Justieren einer Lidarsensoreinheit eines Fahrzeugs wird von der Lidarsensoreinheit eine Punktwolke erzeugt, insbesondere genau eine Punktwolke. Diese Punktwolke wird insbesondere erzeugt, indem die Lidarsensoreinheit eine Umgebung des Fahrzeugs mittels mindestens eines Lichtstrahls, insbesondere Laserstrahls, abtastet. Die Punktwolke entsteht dabei durch eine von der Lidarsensoreinheit erfasste Reflexion des mindestens einen Lichtstrahls, insbesondere Laserstrahls, in der Umgebung, beispielsweise an Flächen und/oder Objekten, insbesondere auch an einer Fahrbahnebene, auf welcher sich das Fahrzeug befindet.
Erfindungsgemäß werden aus der Punktwolke diejenigen Punkte identifiziert, die von Reflexionen auf der Fahrbahnebene stammen, insbesondere von Reflexionen auf der Fahrbahnebene, auf welcher sich das Fahrzeug befindet, d. h. einer Bodenebene, auf der das Fahrzeug steht oder sich bewegt. Mit diesen Punkten wird ein Normalenvektor der Fahrbahnebene ermittelt und als Referenz für die Kalibrierung und/oder Justierung der Lidarsensoreinheit verwendet.
Eine erfindungsgemäße Vorrichtung zum Kalibrieren und/oder Justieren der Lidarsensoreinheit des Fahrzeugs ist ausgebildet und eingerichtet zur Durchführung dieses Verfahrens. Die Vorrichtung ist insbesondere eine Recheneinheit oder umfasst eine solche Recheneinheit, die ausgebildet und eingerichtet ist zur Durchführung dieses Verfahrens.
Ein erfindungsgemäßes Fahrzeug umfasst eine solche Vorrichtung.
Die erfindungsgemäße Lösung ermöglicht das Kalibrieren und/oder Justieren der Lidarsensoreinheit, insbesondere in zwei rotatorischen Freiheitsgraden, d. h. bezüglich eines Nickwinkels und eines Rollwinkels, ohne eine Verwendung von Lidar-Kalibriertafeln und dadurch auf besonders einfache und effiziente Weise. Der Rollwinkel wird auch als Wankwinkel bezeichnet.
In einer möglichen Ausführungsform werden diejenigen Punkte, die von Reflexionen auf der Fahrbahnebene stammen, mit einem Verfahren zur Segmentierung von Punktwolken identifiziert, insbesondere mittels Random Sample Consesus (RANSAC). Hierbei wird vorteilhafterweise ein Modell in Form einer Ebene definiert, und es werden die Punkte bestimmt, die am besten dieses Modell „Ebene“ wiederspiegeln, d. h. welche am besten zu diesem Modell in Form einer Ebene passen. Insbesondere werden die Punkte bestimmt, die zusammen eine möglichst große Ebene bilden, insbesondere diejenigen Punkte, die die größtmögliche Ebene aller mittels Punkten der Punktwolke zu bildenden Ebenen bilden. Vorteilhafterweise erfolgt hierbei zunächst eine Vorfilterung zur Eingrenzung eines Erwartungsbereichs, d. h. zur Bildung der Ebene werden dann nur noch die Punkte der Punktwolke berücksichtigt, die sich innerhalb dieses Erwartungsbereichs befinden. Dadurch wird eine effiziente Identifizierung der Punkte, die von Reflexionen auf der Fahrbahnebene stammen, aus der Punktwolke ermöglicht.
Zur Kalibrierung und/oder Justierung der Lidarsensoreinheit wird insbesondere eine Transformation berechnet, welche eine Z-Achse eines dreidimensionalen Koordinatensystems der Lidarsensoreinheit parallel zum ermittelten Normalenvektor der Fahrbahnebene ausrichtet. Dadurch wird eine korrekte Ausrichtung des dreidimensionalen Koordinatensystems der Lidarsensoreinheit ermöglicht.
In einer möglichen Ausführungsform werden der Nickwinkel und der Rollwinkel berechnet, welche erforderlich sind, um die Z-Achse des dreidimensionalen Koordinatensystems der Lidarsensoreinheit parallel zum ermittelten Normalenvektor der Fahrbahnebene auszurichten. Die beschriebene Lösung ermöglicht somit insbesondere die Bestimmung des Nick- und Rollwinkels des Fahrzeugs mittels der von der Lidarsensoreinheit erfassten Punktwolke.
Vorteilhafterweise erfasst somit im beschriebenen Verfahren die Lidarsensoreinheit die Fahrbahnebene, d. h. die Bodenebene, auf der sich das Fahrzeug befindet, beispielsweise steht oder bewegt. Vorteilhafterweise werden mittels Sensordaten der Lidarsensoreinheit Parameter der Fahrbahnebene im dreidimensionalen Koordinatensystem der Lidarsensoreinheit bestimmt. Anhand der Parameter der Fahrbahnebene wird deren Normalenvektor berechnet. Der Normalenvektor wird in Bezug zum dreidimensionalen Koordinatensystem der Lidarsensoreinheit gesetzt, worüber insbesondere der Nick- und Rollwinkel bestimmt werden kann. Insbesondere durch die Kenntnis des Nick- und Rollwinkels wird die Lidarsensoreinheit kalibriert und/oder justiert.
Das Kalibrieren und/oder Justieren der Lidarsensoreinheit wird beispielsweise während einer Herstellung des Fahrzeugs und/oder während eines Fährbetriebs des Fahrzeugs durchgeführt.
Die beschriebene Lösung ermöglicht insbesondere auf einfache Weise das Kalibrieren und/oder Justieren der Lidarsensoreinheit und somit deren Inbetriebnahme bereits während der Herstellung des Fahrzeugs, insbesondere noch in einer Fertigungslinie. Dies wird insbesondere durch die beschriebene hochpräzise Ermittlung des Nick- und Rollwinkels ermöglicht. Wie bereits erwähnt, sind hierfür keine im Stand der Technik verwendeten Lidar-Kalibriertafeln erforderlich. Die beschriebene Lösung ermöglicht dadurch insbesondere eine Prozesszeitreduktion auf einem Fahrwerksstand.
Alternativ oder zusätzlich kann das beschriebene Verfahren beispielsweise auch während des Fährbetriebs des Fahrzeugs durchgeführt werden. Dadurch wird eine Nachkalibrierung und/oder Nachjustierung ermöglicht, insbesondere online, d. h. während des Fährbetriebs, so dass kein Werkstattaufenthalt erforderlich ist. Auf diese Weise kann auch eine Dekalibrierung und/oder Dejustierung der Lidarsensoreinheit, beispielsweise aufgrund eines Fremdkontakts eines die Lidarsensoreinheit tragenden Fahrzeugbauteils, beispielsweise einer Stoßstange, schnell erkannt und behoben werden durch entsprechendes Kalibrieren und/oder Justieren der Lidarsensoreinheit auf die beschriebene Weise. Eine solche Dekalibrierung und/oder Dejustierung aufgrund eines Fremdkontakts des Fahrzeugs, insbesondere des die Lidarsensoreinheit tragenden Fahrzeugbauteils, mit seiner Umgebung kann zur Fehlfunktion der Lidarsensoreinheit führen. Dies wird durch die beschriebene Lösung vermieden. Dadurch können Fahrzeugfunktionen, beispielsweise Assistenzfunktionen und/oder Funktionen eines teilautomatisierten, vollautomatisierten oder autonomen Fährbetriebs, welche auf einer korrekten Funktionsweise der Lidarsensoreinheit basieren, weiterhin sichergestellt werden und eine fehlerhafte Funktionsweise dieser Fahrzeugfunktionen kann verhindert werden. Vorteilhafterweise erfolgt die Erkennung der Dekalibrierung und/oder Dejustierung und deren Kalibrierung und/oder Justierung auf die beschriebene Weise vollautomatisch, beispielsweise unbemerkt durch einen Fahrzeugnutzer, so dass die Fahrzeugnutzung nicht beeinträchtigt ist. Zudem kann das beschriebene Verfahren auch im Servicebereich, insbesondere in Werkstätten, und im so genannten After-Sales-Bereich eingesetzt werden, da auch an dieser Stelle der Entfall der Kalibriertafeln große Vorteile bietet.
Vorteilhafterweise werden auf die oben beschriebene Weise auch während des Fährbetriebs der Nick- und Rollwinkel erfasst und zum Kalibrieren und/oder Justieren auf die beschriebene Weise verwendet. Des Weiteren kann eine dynamische Erfassung des Rollwinkels und/oder Nickwinkels während des Fährbetriebs auf die beschriebene Weise, zum Beispiel auch für Assistenzsysteme des Fahrzeugs, verwendet werden, beispielsweise für ein elektronisches Stabilitätsprogramm des Fahrzeugs. Dadurch können beispielsweise andere Sensoren des Fahrzeugs zur Erfassung des Rollwinkels und/oder Nickwinkels eingespart werden oder es wird eine Redundanz erreicht.
Die hier beschriebene Lösung, insbesondere die beschriebene Berechnung des Nickwinkels und des Rollwinkels, welche erforderlich sind, um die Z-Achse des dreidimensionalen Koordinatensystems der Lidarsensoreinheit parallel zum ermittelten Normalenvektor der Fahrbahnebene auszurichten, dient insbesondere zunächst dem Kalibrieren der Lidarsensoreinheit. Vorteilhafterweise werden für das, insbesondere auf das Kalibrieren folgende, Justieren der Lidarsensoreinheit die auf die oben beschriebene Weise ermittelten Größen, insbesondere der Nickwinkel und Rollwinkel, als Eingangsgrößen verwendet. Das Justieren beschreibt insbesondere einen Ausgleich von Abweichungen mit dem Ziel, geforderte Funktionsgenauigkeiten, insbesondere innerhalb vorgegebener Grenzen, einzuhalten.
Beispielsweise kann zum Justieren die berechnete Transformation, welche die Z-Achse des dreidimensionalen Koordinatensystems der Lidarsensoreinheit parallel zum ermittelten Normalenvektor der Fahrbahnebene ausrichtet, durchgeführt werden. Insbesondere kann beispielsweise das dreidimensionale Koordinatensystem der Lidarsensoreinheit entsprechend dem berechneten Nickwinkel und Rollwinkel derart ausgerichtet werden, dass die Z-Achse des dreidimensionalen Koordinatensystems der Lidarsensoreinheit parallel zum ermittelten Normalenvektor der Fahrbahnebene ausgerichtet ist.
Dies kann beispielsweise auf mechanische Weise erfolgen, insbesondere durch eine entsprechende Veränderung einer Ausrichtung der Lidarsensoreinheit am Fahrzeug, insbesondere relativ zum die Lidarsensoreinheit tragenden Fahrzeugbauteil, und/oder es kann beispielsweise auf andere Weise, insbesondere auf elektronische Weise, erfolgen, zum Beispiel durch eine Vorgabe entsprechender Korrekturwerte, welche beispielsweise bei einer Auswertung von Sensorergebnissen der Lidarsensoreinheit berücksichtigt werden, insbesondere indem diese Sensorergebnisse mittels der vorgegebenen Korrekturwerte korrigiert werden.
Das oben beschriebene Verfahren kann insbesondere mehrfach an unterschiedlichen Orten der Fahrbahnebene ausgeführt werden, und beispielsweise können die so bestimmten Kalibrierwerte, insbesondere der berechnete Nickwinkel und der berechnete Rollwinkel, verrechnet werden, insbesondere um lokale Unebenheiten der Fahrbahnebene auszugleichen. Dies ist beispielsweise besonders vorteilhaft für die Nachkalibrierung und/oder Nachjustierung, insbesondere die Online-Nachkalibrierung und/oder Online-Nachjustierung, insbesondere während des Fährbetriebs, insbesondere im so genannten After-Sales-Bereich und/oder im Servicebereich, insbesondere in Werkstätten, da hier nicht grundsätzlich von einer ebenen Fahrbahnebene ausgegangen werden kann. In einer möglichen Ausfürungsform des Verfahrens wird somit die beschriebene Vorgehensweise, insbesondere die beschriebene Berechnung des Nickwinkels und Rollwinkels, mindestens einmal oder mehrfach wiederholt, insbesondere an verschiedenen Orten der Fahrbahnebene, somit insbesondere nach einer jeweiligen Bewegung des Fahrzeugs, insbesondere auf der Fahrbahnebene, insbesondere relativ zur Fahrbahnebene. Insbesondere werden die dabei jeweils berechneten Nickwinkel miteinander verrechnet und die dabei jeweils berechneten Rollwinkel miteinander verrechnet. Beispielsweise werden ein Mittelwert oder Durchschnittswert des Nickwinkels und/oder ein Mittelwert oder Durchschnittswert des Rollwinkels gebildet.
Ausführungsbeispiele der Erfindung werden im Folgenden anhand von Zeichnungen näher erläutert.
Dabei zeigen:
Fig. 1 schematisch ein Fahrzeug mit einer Lidarsensoreinheit,
Fig. 2 schematisch das Fahrzeug mit der Lidarsensoreinheit und eine Punktwolke,
Fig. 3 schematisch das Fahrzeug mit der Lidarsensoreinheit und Punkte der
Punktwolke, welche in einer Fahrbahnebene liegen, Fig. 4 schematisch das Fahrzeug mit der Lidarsensoreinheit, die Punkte der
Punktwolke, welche in der Fahrbahnebene liegen, sowie die Fahrbahnebene,
Fig. 5 schematisch das Fahrzeug mit der Lidarsensoreinheit, die Fahrbahnebene und einen Normalenvektor der Fahrbahnebene,
Fig. 6 schematisch das Fahrzeug mit der Lidarsensoreinheit, die Fahrbahnebene, den Normalenvektor der Fahrbahnebene und ein dreidimensionales Koordinatensystem der Lidarsensoreinheit,
Fig. 7 schematisch das Fahrzeug mit der Lidarsensoreinheit, die Fahrbahnebene, das dreidimensionale Koordinatensystem der Lidarsensoreinheit und den in einen Ursprung des dreidimensionalen Koordinatensystems verschobenen Normalenvektor der Fahrbahnebene, und
Fig. 8 schematisch eine Transformation des dreidimensionalen Koordinatensystems der Lidarsensoreinheit.
Einander entsprechende Teile sind in allen Figuren mit den gleichen Bezugszeichen versehen.
Anhand der Figuren 1 bis 8 werden im Folgenden ein Verfahren und eine Vorrichtung 1 zum Kalibrieren und/oder Justieren einer Lidarsensoreinheit 2 eines Fahrzeugs 3 beschrieben, wobei das Fahrzeug 3 vorteilhafterweise diese Vorrichtung 1 umfasst, wie schematisch stark vereinfacht in Figur 1 gezeigt und in den weiteren Figuren aus Gründen der Übersichtlichkeit nicht gesondert dargestellt ist. Die Vorrichtung 1 ist dabei ausgebildet und eingerichtet zur Durchführung dieses Verfahrens. Die Vorrichtung 1 ist insbesondere eine Recheneinheit oder umfasst eine solche Recheneinheit, die ausgebildet und eingerichtet ist zur Durchführung dieses Verfahrens.
Zusammengefasst wird in dem hier beschriebenen Verfahren von der Lidarsensoreinheit 2 eine Punktwolke PW erzeugt, insbesondere genau eine Punktwolke PW. Diese Punktwolke PW wird insbesondere erzeugt, indem die Lidarsensoreinheit 2 eine Umgebung des Fahrzeugs 3 mittels mindestens eines Lichtstrahls, insbesondere Laserstrahls, abtastet. Die Punktwolke PW entsteht dabei durch eine von der Lidarsensoreinheit 2 erfasste Reflexion des mindestens einen Lichtstrahls, insbesondere Laserstrahls, in der Umgebung, beispielsweise an Flächen und/oder Objekten, insbesondere auch an einer Fahrbahnebene FE, auf welcher sich das Fahrzeug 3 befindet. Im hier dargestellten Beispiel ist diese Fahrbahnebene FE beispielsweise ein Bestandteil einer Fertigungslinie L, in welcher das Fahrzeug 3 hergestellt wird. Daher befindet sich im dargestellten Beispiel vor dem Fahrzeug 3 ein weiteres Fahrzeug F in dieser Fertigungslinie L.
Im hier beschriebenen Verfahren werden aus der Punktwolke PW, d. h. aus der Gesamtheit von Punkten P1 bis Pn der Punktwolke PW, diejenigen Punkte PE1 bis PEm identifiziert, die von Reflexionen auf der Fahrbahnebene FE stammen, insbesondere von Reflexionen auf der Fahrbahnebene FE, auf welcher sich das Fahrzeug 3 befindet, d. h. einer Bodenebene, auf der das Fahrzeug 3 steht oder sich bewegt. Mit diesen Punkten PE1 bis PEm wird ein Normalenvektor N der Fahrbahnebene FE ermittelt und als Referenz für die Kalibrierung und/oder Justierung der Lidarsensoreinheit 2 verwendet.
Das beschriebene Verfahren ist wesentlich vorteilhafter als die aus dem Stand der Technik bekannte Vorgehensweise, bei welcher sich das Fahrzeug 3 zur Kalibrierung der Lidarsensoreinheit 2 auf einem achsvermessenden Prüfstand befindet und von der Lidarsensoreinheit 2 aus dieser Position Kalibriertafeln erfasst werden, wobei die Lidarsensoreinheit 2 durch die Kenntnis der Fahrzeuglage und Fahrzeugausrichtung sowie der Position der Kalibriertafeln kalibriert und justiert werden kann. Diese aus dem Stand der Technik bekannte targetbasierte Kalibrierung ist zeitaufwendig und dadurch auch kostenintensiv. Zudem führt eine bei modernen Fahrzeugen 3 zunehmende Anzahl von Sensoreinheiten einer Umfeldsensorik des Fahrzeugs 3 zu der Problematik, dass nicht alle Sensoreinheiten zeitgleich in Betrieb genommen werden können, da sich Kalibriertafeln gegenseitig verdecken würden. Die Kalibriertafeln stellen zudem durch ihre Größe und den für die Kalibrierung erforderlichen Raumbedarf ein Problem dar. Des Weiteren beeinflussen bei solchen targetbasierten Verfahren aufgrund ihrer Funktionsweise über die Bestimmung der relativen Lage zwischen Lidarsensoreinheit 2 und Target, insbesondere Kalibriertafel, auch translatorische Toleranzen die rotatorischen Kalibrierwinkel. Beim hier beschriebenen Verfahren beeinflussen translatorische Toleranzen die Kalibrierwinkel, insbesondere einen hier berechneten Nickwinkel Q und einen hier berechneten Rollwinkel F, nicht. Daher sind diese targetbasierten Verfahren ungenauer als das hier beschriebene Verfahren.
Diese Probleme werden durch das hier beschriebene Verfahren vermieden, da hierfür solche Kalibiertafeln nicht erforderlich sind, denn das hier beschriebene Verfahren nutzt die Umgebung, in der sich das Fahrzeug 3 befindet, beispielsweise steht oder sich bewegt, als Kalibrierreferenz. Der Einsatz von Kalibriertafeln ist somit nicht erforderlich. Dieses Verfahren ermöglicht somit eine wesentlich vereinfachte und schnellere und somit auch kostengünstigere Kalibrierung und/oder Justierung der Lidarsensoreinheit 2.
Im Folgenden wird dieses Verfahren, insbesondere dessen Ablauf, anhand der Figuren 1 bis 8 detailliert beschrieben.
Das Fahrzeug 3 befindet sich im dargestellten Beispiel in der Fertigungslinie L, wie in Figur 1 gezeigt, kann sich in anderen Beispielen jedoch ebenso auch an einem anderen Ort befinden.
Mittels der Lidarsensoreinheit 2 wird eine Aufnahme in Form der Punktwolke PW gemacht, wie in Figur 2 gezeigt.
Anschließend wird in der Punktwolke PW differenziert, welche Punkte PE1 bis PEm in der Fahrbahnebene FE liegen und welche anderen Punkte PA1 bis PAq von anderen Objekten, im dargestellten Beispiel von Pfeilern PF und dem weiteren Fahrzeug F, reflektiert werden. Hierzu wird vorteilhafterweise ein Verfahren zur Segmentierung von Punktwolken PW verwendet, insbesondere ein Verfahren, welches als „Random Sample Consesus“ (RANSAC) oder Random-Sample-Consesus-Algorithmus bezeichnet wird. Es wird ein Modell in Form einer Ebene E definiert und es werden die Punkte PE1 bis PEm bestimmt, die am besten dieses Modell „Ebene E“ wiederspiegeln, d. h. welche am besten zu diesem Modell in Form einer Ebene E passen.
Insbesondere werden die Punkte PE1 bis PEm bestimmt, die zusammen eine möglichst große Ebene E bilden, insbesondere diejenigen Punkte PE1 bis PEm, die die größtmögliche Ebene E aller mittels Punkten P1 bis Pn der Punktwolke PW zu bildenden Ebenen bilden.
Vorteilhafterweise erfolgt hierbei zunächst eine Vorfilterung zur Eingrenzung eines Erwartungsbereichs, d. h. zur Bildung der Ebene E und somit zum Ermitteln dieser Ebene E werden dann nur noch die Punkte P1 bis Pn der Punktwolke PW berücksichtigt, die sich innerhalb dieses Erwartungsbereichs befinden. Dadurch wird eine effiziente Identifizierung der Punkte PE1 bis PEm, die von Reflexionen auf der Fahrbahnebene FE stammen, aus der Punktwolke PW ermöglicht. Die dadurch ermittelte Ebene E liegt nicht unter dem Fahrzeug 3, sondern entsprechend des Erfassungsbereichs der Lidarsensoreinheit 2 vor dem Fahrzeug 3, wie hier gezeigt, oder bei anders ausgerichteten Lidarsensoreinheiten 2 beispielsweise hinter dem Fahrzeug 3 oder seitlich neben dem Fahrzeug 3, da sich alle Punkte P1 bis Pn der Punktwolke PW im jeweiligen Erfassungsbereich der Lidarsensoreinheit 2 befinden. Die auf diese Weise ermittelte Ebene E ist jedoch ein Bestandteil der Fahrbahnebene FE, auf welcher sich das Fahrzeug 3 befindet, d. h. steht oder sich bewegt, oder es wird für das hier beschriebene Verfahren zumindest davon ausgegangen, dass dies so ist. Mit der Ermittlung der Ebene E wird somit auch die Fahrbahnebene FE ermittelt, auf welcher sich das Fahrzeug 3 befindet, d. h. auf welcher es steht oder sich bewegt.
Auf die beschriebene Weise erfolgt somit eine Segmentierung der Ebene E und somit der Fahrbahnebene FE.
Wie in den Figuren 3 und 4 gezeigt, wird die Punktwolke PW auf die Punkte PE1 bis PEm innerhalb dieser Ebene E und somit der Fahrbahnebene FE reduziert. Dadurch können Parameter der ermittelten Ebene E und insbesondere der Normalenvektor N der ermittelten Ebene E und somit auch der Fahrbahnebene FE ermittelt werden, insbesondere berechnet werden.
Es wird somit nun der Normalenvektor N der ermittelten Ebene E und somit der Fahrbahnebene FE ermittelt, insbesondere berechnet, wie in Figur 5 gezeigt.
Figur 6 zeigt ein dreidimensionales Koordinatensystem der Lidarsensoreinheit 2, auch als Sensorkoordinatensystem bezeichnet. Es umfasst eine X-Achse X, eine Y-Achse Y und eine Z-Achse Z. Es handelt sich hierbei um ein kartesisches Koordinatensystem und somit um ein orthogonales Koordinatensystem. Jede der Achsen X, Y, Z ist orthogonal zu jeder der jeweiligen beiden anderen Achsen X, Y, Z ausgerichtet.
Figur 7 zeigt den in einen Ursprung des dreidimensionalen Koordinatensystems der Lidarsensoreinheit 2 verschobenen Normalenvektor N der Fahrbahnebene FE.
In einem kalibrierten und/oder justierten Zustand der Lidarsensoreinheit 2 sollte die Z-Achse Z des dreidimensionalen Koordinatensystems der Lidarsensoreinheit 2 parallel zu diesem Normalenvektor N der Fahrbahnebene FE ausgerichtet sein. Dies ist im hier dargestellten Beispiel nicht der Fall, d. h. die Lidarsensoreinheit 2 ist dekalibriert und/oder dejustiert. Deshalb wird nun, wie in Figur 8 gezeigt, die Transformation berechnet, die das dreidimensionale Koordinatensystem der Lidarsensoreinheit 2 mit seiner Z-Achse Z parallel zum Normalenvektor N der Fahrbahnebene FE ausrichtet. Aus der Transformation folgt ein Nickwinkel Q und Rollwinkel F, d. h. für diese Transformation werden der Nickwinkel Q und der Rollwinkel F bestimmt, insbesondere berechnet, die das dreidimensionale Koordinatensystem der Lidarsensoreinheit 2 mit seiner Z-Achse Z parallel zum Normalenvektor N der Fahrbahnebene FE transformieren, wie in Figur 8 gezeigt. Dabei ist in Figur 8 auf der linken Seite die Bestimmung des Nickwinkels Q und Rollwinkels F und auf der rechten Seite das entsprechend transformierte dreidimensionale Koordinatensystem der Lidarsensoreinheit 2 dargestellt. Der Rollwinkel F wird auch als Wankwinkel bezeichnet. Der Rollwinkel F beschreibt ein Schwenken um die X-Achse X. Der Nickwinkel Q beschreibt ein Schwenken um die Y-Achse Y.
Zusammengefasst werden im hier beschriebenen Verfahren somit vorteilhafterweise folgende Schritte oder zumindest mehrere der folgenden Schritte durchgeführt, insbesondere in der angegebenen Reihenfolge:
- Aufnahme der Punktwolke PW mit der Lidarsensoreinheit 2,
- Bestimmen einer Anzahl an Punkten PE1 bis PEm, die eine möglichst große Ebene E bilden,
- Vorfilterung zur Eingrenzung des Erwartungsbereiches,
- Einsatz des Random-Sample-Consensus-Algorithmus (RANSAC) zum Ermitteln der Ebene E und somit der Fahrbahnebene FE,
- Berechnen der Parameter der ermittelten Ebene E,
- Berechnen des Normalenvektors N der ermittelten Ebene E,
- Bestimmen des Nickwinkels Q und Rollwinkels F, die die Z-Achse Z des dreidimensionalen Koordinatensystems der Lidarsensoreinheit 2 parallel zu dem berechneten Normalenvektor N ausrichten.
Durch die Kenntnis des Nickwinkels Q und Rollwinkels F kann die Lidarsensoreinheit 2 bereits in der Fertigungslinie L in Betrieb genommen werden. Sofern zusätzlich der Gierwinkel der Lidarsensoreinheit 2 um ihre Z-Achse, beispielsweise aus dem in der DE 102020007772 A1 beschriebenen Verfahren oder aus anderen bereits bekannten Verfahren zur Kalibrierung ohne Kalibriertafeln, wie beispielsweise dem Iterative Closest Point (ICP) Verfahren, bekannt ist, oder sofern ein Kalibrieren und/oder Justieren der Lidarsensoreinheit 2 bezüglich des Gierwinkels nicht erforderlich ist, können Kalibriertafeln, wie im Stand der Technik beschrieben, entfallen, wodurch Kosten und Fläche eingespart werden können. Zudem kann eine Prozesszeit auf dem Fahrwerkstand, d. h. auf dem Prüfstand, reduziert werden. Alternativ oder zusätzlich zu den genannten Verfahren zur Bestimmung des Gierwinkels der Lidarsensoreinheit 2 können somit, sofern das Kalibrieren und/oder Justieren der Lidarsensoreinheit 2 auch bezüglich des Gierwinkels erforderlich ist, zumindest hierfür weiterhin eine oder mehrere Kalibriertafeln und/oder eines oder mehrere andere Kalibriertargets verwendet werden.
Das beschriebene Verfahren kann insbesondere mehrfach an unterschiedlichen Orten der Fahrbahnebene FE ausgeführt werden und beispielsweise können die so bestimmten Kalibrierwerte, insbesondere der berechnete Nickwinkel Q und der berechnete Rollwinkel F, verrechnet werden, insbesondere um lokale Unebenheiten der Fahrbahnebene FE auszugleichen. Dies ist beispielsweise besonders vorteilhaft für die Nachkalibrierung und/oder Nachjustierung, insbesondere die Online-Nachkalibrierung und/oder Online-Nachjustierung, insbesondere während des Fährbetriebs, insbesondere im so genannten After-Sales-Bereich und/oder im Servicebereich, insbesondere in Werkstätten, da hier nicht grundsätzlich von einer ebenen Fahrbahnebene FE ausgegangen werden kann. In einer möglichen Ausfürungsform des Verfahrens wird somit die beschriebene Vorgehensweise, insbesondere die beschriebene Berechnung des Nickwinkels Q und Rollwinkels F, mindestens einmal oder mehrfach wiederholt, insbesondere an verschiedenen Orten der Fahrbahnebene FE, somit insbesondere nach einer jeweiligen Bewegung des Fahrzeugs, insbesondere auf der Fahrbahnebene FE, insbesondere relativ zur Fahrbahnebene FE. Insbesondere werden die dabei jeweils berechneten Nickwinkel Q miteinander verrechnet und die dabei jeweils berechneten Rollwinkel F miteinander verrechnet. Beispielsweise werden ein Mittelwert oder Durchschnittswert des Nickwinkels Q und/oder ein Mittelwert oder Durchschnittswert des Rollwinkels F gebildet.
Alternativ oder zusätzlich zu dieser anhand der Figuren 1 bis 8 beispielhaft gezeigten Inline-Kalibrierung und/oder Inline-Justierung in der Fertigungslinie L kann das Verfahren auch für eine Online-Kalibrierung und/oder Online-Justierung, insbesondere Online-Nachkalibrierung und/oder Online-Nachjustierung in einem Fährbetrieb des Fahrzeugs 3 verwendet werden. Der Ablauf des Verfahrens bleibt dabei vorteilhafterweise gleich, d. h. so wie oben beschrieben. Das Verfahren ermöglicht die Ermittlung einer Dekalibrierung und/oder Dejustierung der Lidarsensoreinheit 2, die beispielsweise aus einem Fremdkontakt der Lidarsensoreinheit 2 und/oder eines die Lidarsensoreinheit 2 tragenden Fahrzeugbauteils, beispielsweise einer Stoßstange des Fahrzeugs 3, mit der Umwelt resultieren kann, d. h. beispielsweise aus einer Kollision mit einem anderen Objekt. Insbesondere ermöglicht das Verfahren nach der Ermittlung dieser Dekalibrierung und/oder Dejustierung der Lidarsensoreinheit 2 deren Kalibrierung und/oder Justierung auf die beschriebene Weise. Insbesondere ist hierfür kein Werkstattaufenthalt erforderlich. Die Ermittlung der Dekalibrierung und/oder Dejustierung der Lidarsensoreinheit 2 und/oder deren Kalibrierung und/oder Justierung erfolgen vorteilhafterweise automatisch, so dass vorteilhafterweise ein Fahrzeugnutzer und dessen Fahrzeugnutzung nicht gestört und nicht beeinträchtigt wird. Insbesondere können dadurch Fahrzeugfunktionen, beispielsweise Assistenzfunktionen und/oder Funktionen eines teilautomatisierten, vollautomatisierten oder autonomen Fährbetriebs, welche auf einer korrekten Funktionsweise der Lidarsensoreinheit 2 basieren, weiterhin sichergestellt werden und eine fehlerhafte Funktionsweise dieser Fahrzeugfunktionen kann verhindert werden.
Zudem kann das beschriebene Verfahren auch im Servicebereich, insbesondere in Werkstätten, und im so genannten After-Sales-Bereich eingesetzt werden, da auch an dieser Stelle der Entfall der Kalibriertafeln große Vorteile bietet.
Ein weiterer Vorteil ist eine dynamische Erfassung insbesondere des Rollwinkels F, welche mittels des beschriebenen Verfahrens ebenfalls ermöglicht wird, d. h. insbesondere eine ständige Erfassung des Rollwinkels F während des Fährbetriebs des Fahrzeugs 3. Der erfasste Rollwinkel F kann beispielsweise als Regelgröße für Fahrerassistenzsysteme verwendet werden, zu Beispiel für ein elektronisches Stabilitätsprogramm des Fahrzeugs 3. Dadurch können beispielsweise andere Sensoren des Fahrzeugs 3 zur Erfassung des Rollwinkels F eingespart werden, oder es wird eine Redundanz erreicht.

Claims

Patentansprüche
1. Verfahren zum Kalibrieren und/oder Justieren einer Lidarsensoreinheit (2) eines Fahrzeugs (3), wobei von der Lidarsensoreinheit (2) eine Punktwolke (PW) erzeugt wird, dadurch gekennzeichnet, dass aus der Punktwolke (PW) diejenigen Punkte (PE1 bis PEm) identifiziert werden, die von Reflexionen auf einer Fahrbahnebene (FE) stammen, wobei mit diesen Punkten (PE1 bis PEm) ein Normalenvektor (N) der Fahrbahnebene (FE) ermittelt und als Referenz für die Kalibrierung und/oder Justierung der Lidarsensoreinheit (2) verwendet wird.
2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass diejenigen Punkte (PE1 bis PEm), die von Reflexionen auf der Fahrbahnebene (FE) stammen, mit einem Verfahren zur Segmentierung von Punktwolken (PW) identifiziert werden.
3. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass diejenigen Punkte (PE1 bis PEm), die von Reflexionen auf der Fahrbahnebene (FE) stammen, mit Random Sample Consesus identifiziert werden.
4. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass diejenigen Punkte (PE1 bis PEm), die von Reflexionen auf der Fahrbahnebene (FE) stammen, identifiziert werden, indem ein Modell in Form einer Ebene (E) definiert wird und die Punkte (PE1 bis PEm) der Punktwolke (PW) bestimmt werden, die am besten zu diesem Modell in Form einer Ebene (E) passen.
5. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass zur Kalibrierung und/oder Justierung der Lidarsensoreinheit (2) eine Transformation berechnet wird, welche eine Z-Achse (Z) eines dreidimensionalen Koordinatensystems der Lidarsensoreinheit (2) parallel zum ermittelten Normalenvektor (N) der Fahrbahnebene (FE) ausrichtet.
6. Verfahren nach Anspruch 5, dadurch gekennzeichnet, dass ein Nickwinkel (Q) und ein Rollwinkel (F) berechnet werden, welche erforderlich sind, um die Z-Achse (Z) des dreidimensionalen Koordinatensystems der Lidarsensoreinheit (2) parallel zum ermittelten Normalenvektor (N) der Fahrbahnebene (FE) auszurichten.
7. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Kalibrieren und/oder Justieren der Lidarsensoreinheit (2) während einer Herstellung des Fahrzeugs (3) und/oder während eines Fährbetriebs des Fahrzeugs (3) durchgeführt wird.
8. Vorrichtung (1) zum Kalibrieren und/oder Justieren einer Lidarsensoreinheit (2) eines Fahrzeugs (3), ausgebildet und eingerichtet zur Durchführung eines Verfahrens nach einem der vorhergehenden Ansprüche.
9. Fahrzeug (3) mit einer Vorrichtung (1) nach Anspruch 8.
PCT/EP2022/063254 2021-06-18 2022-05-17 Verfahren und vorrichtung zum kalibrieren und/oder justieren einer lidarsensoreinheit eines fahrzeugs WO2022263081A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102021003141.5 2021-06-18
DE102021003141.5A DE102021003141A1 (de) 2021-06-18 2021-06-18 Verfahren und Vorrichtung zum Kalibrieren und/oder Justieren einer Lidarsensoreinheit eines Fahrzeugs sowie Fahrzeug

Publications (1)

Publication Number Publication Date
WO2022263081A1 true WO2022263081A1 (de) 2022-12-22

Family

ID=82021056

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2022/063254 WO2022263081A1 (de) 2021-06-18 2022-05-17 Verfahren und vorrichtung zum kalibrieren und/oder justieren einer lidarsensoreinheit eines fahrzeugs

Country Status (2)

Country Link
DE (1) DE102021003141A1 (de)
WO (1) WO2022263081A1 (de)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109541571A (zh) * 2018-12-29 2019-03-29 北京智行者科技有限公司 Eps零偏和多线激光雷达的联合标定方法
US10295659B2 (en) * 2017-04-28 2019-05-21 SZ DJI Technology Co., Ltd. Angle calibration in light detection and ranging system
DE102020007772A1 (de) 2020-12-18 2021-03-04 Daimler Ag Verfahren zur In-Betrieb-Kalibrierung eines Lidars und Fahrzeug

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102019118481A1 (de) 2019-07-09 2021-01-14 Valeo Schalter Und Sensoren Gmbh Kalibrieren eines aktiven optischen Sensorsystems

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10295659B2 (en) * 2017-04-28 2019-05-21 SZ DJI Technology Co., Ltd. Angle calibration in light detection and ranging system
CN109541571A (zh) * 2018-12-29 2019-03-29 北京智行者科技有限公司 Eps零偏和多线激光雷达的联合标定方法
DE102020007772A1 (de) 2020-12-18 2021-03-04 Daimler Ag Verfahren zur In-Betrieb-Kalibrierung eines Lidars und Fahrzeug

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
JIANG JINGJING ET AL: "Line Feature Based Extrinsic Calibration of LiDAR and Camera", 2018 IEEE INTERNATIONAL CONFERENCE ON VEHICULAR ELECTRONICS AND SAFETY (ICVES), IEEE, 12 September 2018 (2018-09-12), pages 1 - 6, XP033439350, DOI: 10.1109/ICVES.2018.8519493 *
KIM DO-HYEONG ET AL: "Automatic Multiple LiDAR Calibration Based on the Plane Features of Structured Environments", IEEE ACCESS, IEEE, USA, vol. 9, 7 June 2021 (2021-06-07), pages 84387 - 84402, XP011860550, DOI: 10.1109/ACCESS.2021.3087266 *

Also Published As

Publication number Publication date
DE102021003141A1 (de) 2022-12-22

Similar Documents

Publication Publication Date Title
EP2166510B1 (de) Verfahren zum Ermitteln der Position und der Orientierung einer in einem Fahrzeug angeordneten Kamera
EP1159638A1 (de) Verfahren und vorrichtung zur dejustageerkennung bei einem kraftfahrzeug-radarsystem bzw. einem kraftfahrzeug-sensorsystem
EP1797534A2 (de) Verfahren für die erfassung einer optischen struktur
DE10251949A1 (de) Fahrdynamikregelung mit Bildsensorsystem
WO2009049750A2 (de) Verfahren zum kalibrieren einer anordnung mit mindestens einer omnidirektionalen kamera und einer optischen anzeigeeinheit
DE102009057996A1 (de) Verfahren zur Bestimmung einer Position einer Kamera mit einem zugehörigen Kamera-Koordinatensystem relativ zu einer Position eines Fahrzeuges oder Fahrzeuggespannes mit einem zugehörigen Fahrzeug-Koordinatensystem
DE102020007772A1 (de) Verfahren zur In-Betrieb-Kalibrierung eines Lidars und Fahrzeug
EP4034906A1 (de) Verfahren und vorrichtung zum bestimmen einer soll-position eines umgebungssensors eines fahrzeugs
WO2019048111A1 (de) Verfahren und vorrichtung zur bestimmung der abweichung einer sensorachse eines umfeldsensors von der fahrachse eines fahrzeugs
EP1766431A1 (de) Verfahren und vorrichtung zur kompensation von einbautoleranzen eines abstandssensors
DE102008026876A1 (de) Stereokamerasystem und Verfahren zum Ermitteln mindestens eines Kalibrierfehlers eines Stereokamerasystems
DE102019202269B4 (de) Verfahren zum Kalibrieren einer mobilen Kameraeinheit eines Kamerasystems für ein Kraftfahrzeug
DE102004055069A1 (de) Mehrdimensionale Fahrbahnvermessung
WO2022263081A1 (de) Verfahren und vorrichtung zum kalibrieren und/oder justieren einer lidarsensoreinheit eines fahrzeugs
DE102020112289A1 (de) Verfahren zum Kalibrieren eines Umfeldsensors eines Fahrzeugs mit unmittelbarer Validierung sowie Recheneinrichtung
DE102017003629A1 (de) Vorrichtung und Verfahren zur Kalibrierung optischer Sensoren eines Fahrzeugs
DE102014113070B4 (de) Justiervorrichtung und Verfahren zum Ausrichten eines Bauteils an einem Fahrzeug
DE102019219386A1 (de) Verfahren zum Kalibrieren von Bilddaten eines bildgebenden Systems für ein Fahrzeuggespann
DE102022126311A1 (de) Verfahren, Systeme und Vorrichtungen zur Echtzeit-Anpassung von Handrad-Winkelsteuerungen für gegenüber Umweltbedingungen und Modellunsicherheiten robustes automatisiertes Fahren
DE102021203825B4 (de) Verfahren und System zur Optimierung eines detektierten Parkplatzes
DE102021101593B3 (de) Verfahren zum Betrieb von Umfeldsensoren in einem Kraftfahrzeug und Kraftfahrzeug
DE102014219418B4 (de) Verfahren zur Stereorektifizierung von Stereokamerabildern und Fahrerassistenzsystem
DE102021125603A1 (de) Verfahren zur Kalibrierung eines Radarsystems eines Fahrzeugs, Radarsystem und Fahrzeug
DE102019214345B4 (de) Verfahren zur Dejustageerkennung wenigstens eines Sensors eines Kraftfahrzeugs
DE102010050279B4 (de) Verfahren zum Gewinnen von Daten und zum Ausrichten eines Umfeldsensors eines Kraftwagens

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22730104

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 22730104

Country of ref document: EP

Kind code of ref document: A1