WO2023147959A1 - Infrastructure multi-sensor device, method for calibration, and method for detecting an object in the surroundings - Google Patents

Infrastructure multi-sensor device, method for calibration, and method for detecting an object in the surroundings Download PDF

Info

Publication number
WO2023147959A1
WO2023147959A1 PCT/EP2023/050290 EP2023050290W WO2023147959A1 WO 2023147959 A1 WO2023147959 A1 WO 2023147959A1 EP 2023050290 W EP2023050290 W EP 2023050290W WO 2023147959 A1 WO2023147959 A1 WO 2023147959A1
Authority
WO
WIPO (PCT)
Prior art keywords
sensor
calibration
infrastructure
assignment
detecting
Prior art date
Application number
PCT/EP2023/050290
Other languages
German (de)
French (fr)
Inventor
Edonis RACI
Yuchao ZOU
Yann-Ael Muller
Original Assignee
Robert Bosch Gmbh
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch Gmbh filed Critical Robert Bosch Gmbh
Publication of WO2023147959A1 publication Critical patent/WO2023147959A1/en

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/865—Combination of radar systems with lidar systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/91—Radar or analogous systems specially adapted for specific applications for traffic control
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/40—Means for monitoring or calibrating
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/50—Systems of measurement based on relative movement of target

Definitions

  • the invention relates to a calibration method according to claim 1.
  • the invention also relates to a method for detecting a surrounding object and an infrastructure multiple sensor device.
  • DE 102016224 766 A1 describes a method for calibrating sensors on a mobile platform in relation to one another.
  • markers defined by the sensors are recorded in the vicinity of the mobile platform.
  • an extrinsic calibration of the sensors in relation to one another can be undertaken, with at least one defined marker being detected by the sensors in each case.
  • the position and orientation of a first sensor in relation to the position and orientation of a second sensor can be calculated on the basis of the detected markers.
  • the information encoded in the markers is used for a respective determination of the position and orientation of the sensors, this determination preferably being made by comparing this information with a digital map.
  • the extrinsic calibration of a sensor is carried out in relation to another sensor.
  • the sensor calibration can be carried out more cost-effectively, faster and more reliably. Operation in the environment of the infrastructure multiple sensor device can be maintained more undisturbed during the sensor calibration.
  • the sensor calibration can be automated and carried out regularly. The introduction of markers used specifically for the calibration can be omitted.
  • the infrastructure facility can be stationary.
  • the infrastructure device can be used for security monitoring and/or traffic monitoring, preferably in Road traffic, be used.
  • the infrastructure facility may include a roadway.
  • the infrastructure multiple sensor device may be stationary.
  • the infrastructure multiple sensor device can detect at least one vehicle, preferably a motor vehicle, in particular on the roadway.
  • the infrastructure multiple sensor device can be connected to at least one vehicle for communication.
  • the vehicle can be equipped with a driver assistance system.
  • the vehicle can be operated semi-autonomously or autonomously.
  • the environmental object can be a stationary or moving object.
  • the first environmental object can be a road marking, a building, a vehicle, a street sign or a bridge.
  • the first sensor can be a camera, lidar, stereo camera or radar.
  • the second sensor can be a camera, lidar, stereo camera or radar.
  • the first and second sensors can use the same or a different measuring principle.
  • the first sensor can be a camera and the second sensor can be a lidar or a camera.
  • the first and second sensors may be attached to a common mount of the infrastructure multiple sensor device.
  • the sensor calibration can enable a spatial classification of the first sensor in the infrastructure multiple sensor device. This allows the first sensor to be positioned in a geometric reference system. A sensor position or sensor pose can thereby be determined and a coordinate transformation between the sensor reference system and a global coordinate system, for example in Cartesian (x, y, z) or world coordinates (width, length, height) of the infrastructure device, can be carried out.
  • Cartesian x, y, z
  • world coordinates width, length, height
  • the first object parameter may be a distance, an orientation, a pose, an extent, a speed, an acceleration, a spin, a spin speed, an inclination or a temperature of the first environmental object.
  • the sensor calibration is an initial calibration when the first sensor in the infrastructure multiple sensor device is first put into operation or an operational calibration during operation of the first sensor in the infrastructure multiple sensor device as part of a surveillance measure.
  • the first sensor can be matched to the second sensor in the infrastructure multi-sensor device.
  • the first sensor of the infrastructure multiple sensor device can be adapted more easily and quickly.
  • the monitoring measure can carry out the operational calibration at predetermined time intervals.
  • the operational calibration can take place online, ie with the first sensor inserted and connected in the infrastructure multiple sensor device.
  • the monitoring measure can take place in real time.
  • the infrastructure facility can be operated more undisturbed. For example, there can be no interruption in the operation of the infrastructure device. In particular, road closures can be prevented.
  • association comparison is carried out using a comparison algorithm that uses machine learning.
  • the comparison algorithm can be learned through deep learning.
  • a preferred refinement of the invention is advantageous in which at least one further second object parameter of the first environmental object is recorded during the sensor calibration, classified in the respective sensor reference system and taken into account in the classification comparison. This allows the calibration to be performed more accurately.
  • the first object parameter can be a distance to the respective sensor and the second object parameter can be a dimension of the first surrounding object in at least a first direction or vice versa.
  • the first object parameter is detected by at least one third sensor, related to its third sensor reference system in a further assignment and compared to the first and/or second assignment via a further assignment comparison if the further assignment comparison detects a discrepancy between the first and second association.
  • the third sensor may already have undergone a confirmed correct calibration.
  • the second sensor has already been calibrated by a preceding sensor calibration before the sensor calibration.
  • the second sensor can enable a confirmed reliable detection through the upstream sensor calibration.
  • the first and second sensors are each based on a different measuring principle.
  • the first environmental object selected for sensor calibration can be a stationary object or a moving object. If the first sensor is a camera and the second sensor is a lidar or vice versa, then the first environmental object is preferably a stationary object, in particular a building, a roadway or a roadway marking.
  • the first surrounding object is preferably a moving object, in particular a vehicle, and the first object parameter is a bounding box or a detection point of the first surrounding object. If the first sensor is radar and the second sensor is lidar or vice versa, then the first surrounding object is preferably a moving object, in particular a vehicle, and the first object parameter is a bounding box or a detection point of the first surrounding object.
  • a preferred embodiment of the invention is advantageous in which the first and second sensor reference systems are each designed as a sensor coordinate system.
  • the sensor coordinate system can be converted into a global coordinate system of the infrastructure device by a coordinate transformation.
  • a method for detecting a surrounding object in an infrastructure device with an infrastructure multiple sensor device having at least one first sensor for detecting at least one first surrounding object in the infrastructure device, the first sensor being calibrated by a sensor calibration using a method with at least one of the aforementioned features and the first surrounding object is detected by relating a first object parameter of the first surrounding object to the first sensor reference system as a first assignment. This allows detection to be performed more accurately.
  • an infrastructure multiple sensor device for capturing environmental data of an infrastructure device, having at least one first sensor and a second sensor each for capturing at least one first environmental object in the infrastructure device, the first sensor being calibrated by a sensor calibration using a method with at least one of the features described above is.
  • the infrastructure multiple sensor device can be designed more cost-effectively.
  • FIG. 1 An infrastructure device with an infrastructure multiple sensor device in a specific embodiment of the invention.
  • FIG. 2 An infrastructure device when carrying out a method in a special embodiment of the invention.
  • FIG. 3 A partial sequence of a method for calibration in a further specific embodiment of the invention.
  • Figure 4 A relationship between object parameters when using different sensors.
  • FIG. 5 A method for calibration in a further special embodiment of the invention.
  • FIG. 6 A method for calibration in a further special embodiment of the invention.
  • FIG. 1 shows an infrastructure device with an infrastructure multiple sensor device in a special embodiment of the invention.
  • the infrastructure facility 10 is fixed in a stationary manner and is set up on a roadway bridge 12, for example.
  • the infrastructure device 10 is preferably used for security monitoring and traffic monitoring.
  • the infrastructure device 10 includes an infrastructure multiple sensor device 14 which is installed on the roadway bridge 12 .
  • the infrastructure multiple sensor device 14 is stationary and can detect an environment 16 of the infrastructure device 10 .
  • the environment 16 includes a roadway 18 and surrounding objects 20 adjoining it. Furthermore, the infrastructure multiple sensor device 14 can detect vehicles 22 on the roadway 18 as surrounding objects 20 of the infrastructure device 10 .
  • the infrastructure multiple sensor device 14 comprises a first sensor 24 and a second sensor 26 each for detecting at least one first surrounding object 28 in the infrastructure device 10.
  • the first and second sensors 24, 26 are attached to a common bracket 30 of the infrastructure multiple sensor device 14.
  • the first and second sensors 24, 26 can use the same measuring principle or a different measuring principle.
  • the first sensor 24 can be a radar 32 and the second sensor 26 can be a camera 34 .
  • the first sensor 24 can be used by a method 35 for detecting the first environmental object 28 .
  • the first sensor 24 can detect the first surrounding object 28 by relating a first object parameter 38 of the first surrounding object 28 to a first sensor reference system 40 as a first association 42 . In this way, for example, a spatial position of the first surrounding object 28 can be detected.
  • the first environmental object 28 can be roadway lighting 44 next to the roadway 18 .
  • the first and second sensor 24, 26 can detect other surrounding objects 20, in particular vehicles 22 or the road marking 46.
  • the first sensor 24 is calibrated by detecting at least the first object parameter 38, for example a distance of a support 48 of the first surrounding object 28 embodied as roadway lighting 44, from the first sensor 24 and relating it to the first sensor reference system 40 as the first association 42 and the first Object parameters 38 are detected by the second sensor 26 and related to a second sensor reference system 50 as a second association 52 and then the first and second associations 42, 52 are compared and the first sensor 24 is calibrated as a function of this association comparison 54.
  • the first object parameter 38 for example a distance of a support 48 of the first surrounding object 28 embodied as roadway lighting 44
  • the first sensor 24 can be calibrated more cost-effectively, more quickly and more reliably and the operation of the infrastructure device 10 can be maintained undisturbed.
  • a marker set up specifically for the calibration in the vicinity 16 of the infrastructure device 10 can be omitted.
  • the first sensor 24 is calibrated when it is put into operation for the first time, in that the difference between the first and second association 42, 52 in the association comparison 54 is reduced as far as possible.
  • FIG. 2 shows an infrastructure device when carrying out a method in a special embodiment of the invention. The structure of the infrastructure device 10 is the same as that from FIG. A sensor calibration 58 can be carried out as an operational calibration 60 of the first sensor 24 . If it is determined during the assignment comparison 54 that the first assignment 42 differs from the second assignment 52, which is assumed to be correct, the first sensor 24 is calibrated in order to match the first assignment 42 to the second assignment 52 as far as possible.
  • FIG. 3 shows a partial sequence of a method for calibration in a further special embodiment of the invention.
  • the method 56 for calibrating the first sensor 24 and additional sensors 66 can be based on the correctness of a calibration of the second sensor 26 as the output sensor 62 .
  • the correctness of the calibration of the second sensor 26 can have been confirmed by an upstream sensor calibration 64 .
  • the calibration of the first sensor 24 and the further sensors 66 can compare the first association and further associations with the second association and calibrate the first sensor 24 and the further sensors 66 depending on the association comparison.
  • a third sensor 68 can in turn be calibrated on the basis of the calibrated first assignment of the first sensor 24 .
  • FIG. 4 shows a relationship between object parameters when using different sensors.
  • the surrounding objects can be recorded optically. That means the surrounding objects must be visible.
  • the first environmental object 28 can be a road marking, for example.
  • a second sensor designed as a lidar 69 or a stereo camera 70 requirements are placed on the geometric shape or the material property of the first environmental object 28 in order to be able to capture it.
  • a first object parameter 38 is selected, which can be detected by the first and second sensors, for example a spatial parameter such as the distance to a stationary object in the surroundings.
  • the first environmental object 28 and the first object parameter 38 in the reverse arrangement, i.e. the first sensor is designed as a lidar 69 and the second sensor as a camera 34.
  • the first sensor is designed as a camera 34 and if the second sensor is designed as a radar 32, the first environmental object 28 should move and have a speed.
  • the first object parameter 38 can be a speed, a bounding box or be a detection point of the first surrounding object 28 in order to be able to detect this. These requirements for the first surrounding object 28 and the first object parameter 38 also apply to the reverse arrangement, i.e. the first sensor is designed as a radar 32 and the second sensor as a camera 34.
  • the first sensor is designed as a radar 32 and if the second sensor is designed as a lidar 69 or a stereo camera 70, the first environmental object 28 should move and have a speed.
  • the first object parameter 38 can be a speed or a trajectory of the first environmental object 28 in order to be able to detect it.
  • the same requirements apply to the first surrounding object 28 and the first object parameter 38 in the reverse arrangement, i.e. the first sensor is in the form of a lidar 69 and the second sensor is in the form of a radar 72.
  • FIG. 5 shows a calibration method in a further special embodiment of the invention.
  • the method 56 for calibration includes, on the one hand, a measurement process 74 of the output sensor 62, here for example the second sensor 26, and a measurement process 76 of the first sensor 24.
  • sensor data of the second sensor 26 which describe the first object parameter 38
  • sensor data of the first sensor 24, which describe the first object parameter 38 is acquired.
  • the first object parameter 38 is related to a second sensor reference system of the second sensor 26 and in a further assignment step 84 the first object parameter 38 is related to a first sensor reference system of the first sensor 24.
  • the second assignment is compared with the first assignment via the assignment comparison 54 .
  • In the assignment comparison 54 is also checked whether the first
  • Object parameter 38 is a matching first object parameter 38 from both sensors 24, 26.
  • the first assignment is adjusted to the second assignment.
  • the difference between the first and second assignment is compared in a checking step 88 and, if necessary, the process in the assignment comparison 54 is repeated, or in a release step 90 the first sensor 24 is output as calibrated.
  • FIG. 6 shows a calibration method in a further special embodiment of the invention.
  • the method 56 for calibration as an operational calibration 60 can be carried out following an upstream sensor calibration 91 as an initial calibration 92 when the first sensor is put into operation for the first time.
  • a control operation 94 of the first sensor following the operational calibration 60 of the first sensor for the detection of Surrounding objects can regularly involve a monitoring action 96 in which the accuracy of the first sensor is checked and, if excessive
  • Deterioration is improved by the operational calibration 60 or if the requirements are met, the control operation 94 is continued.

Abstract

The invention relates to a method (56) for calibrating an infrastructure multi-sensor device (14) which acquires surroundings data of an infrastructure device (10) and comprises at least a first sensor (24) and a second sensor (26) which are each intended for detecting at least a first object (28) in the surroundings of the infrastructure device (10), wherein the first sensor (24) is calibrated via sensor calibration (58), in that at least a first object parameter (38) of the first object (28) in the surroundings is measured by the first sensor (24) and is associated with a first sensor reference system (40) as a first allocation (42), and the first object parameter (38) is measured by the second sensor (26) and is associated with a second sensor reference system (50) as a second allocation (52), and subsequently the first allocation and the second allocation (42, 52) are compared, and the first sensor (24) is calibrated on the basis of this comparison of allocations (54). Furthermore, the invention relates to a method (56) for detecting an object (28) in the surroundings and to an infrastructure multi-sensor device (14).

Description

Infrastrukturmehrfachsensoreinrichtung, Verfahren zur Kalibrierung und Verfahren zur Erfassung eines Umgebungsobjekts Infrastructure multiple sensor device, method for calibration and method for detecting a surrounding object
Die Erfindung betrifft ein Verfahren zur Kalibrierung nach Anspruch 1. Weiterhin betrifft die Erfindung ein Verfahren zur Erfassung eines Umgebungsobjekts und eine Infrastrukturmehrfachsensoreinrichtung. The invention relates to a calibration method according to claim 1. The invention also relates to a method for detecting a surrounding object and an infrastructure multiple sensor device.
Stand der Technik State of the art
In DE 102016224 766 A1 ist ein Verfahren zur Kalibrierung von Sensoren an einer mobilen Plattform im Verhältnis zueinander beschrieben. Hierfür werden von den Sensoren definierte Marker in der Umgebung der mobilen Plattform erfasst. Mit diesem Vorgehen kann eine extrinsische Kalibrierung der Sensoren im Verhältnis zueinander vorgenommen werden, wobei von den Sensoren jeweils wenigstens ein definierter Marker erfasst wird. Anhand der erfassten Marker kann die Position und Orientierung eines ersten Sensors in Relation zur Position und Orientierung eines zweiten Sensors berechnet werden. Dabei werden die in den Markern codierten Informationen für eine jeweilige Bestimmung der Position und Ausrichtung der Sensoren verwendet, wobei diese Bestimmung vorzugsweise durch einen Abgleich dieser Informationen mit einer digitalen Karte erfolgt. Ausgehend von der Bestimmung der Position und Ausrichtung der Sensoren wird die extrinsische Kalibrierung eines Sensors in Bezug zu einem anderen Sensor durchgeführt. DE 102016224 766 A1 describes a method for calibrating sensors on a mobile platform in relation to one another. For this purpose, markers defined by the sensors are recorded in the vicinity of the mobile platform. With this procedure, an extrinsic calibration of the sensors in relation to one another can be undertaken, with at least one defined marker being detected by the sensors in each case. The position and orientation of a first sensor in relation to the position and orientation of a second sensor can be calculated on the basis of the detected markers. The information encoded in the markers is used for a respective determination of the position and orientation of the sensors, this determination preferably being made by comparing this information with a digital map. Based on the determination of the position and alignment of the sensors, the extrinsic calibration of a sensor is carried out in relation to another sensor.
Offenbarung der Erfindung Disclosure of Invention
Gemäß der vorliegenden Erfindung wird ein Verfahren zur Kalibrierung mit den Merkmalen nach Anspruch 1 vorgeschlagen. According to the present invention, a calibration method having the features of claim 1 is proposed.
Dadurch kann die Sensorkalibrierung kostengünstiger, schneller und zuverlässiger durchgeführt werden. Der Betrieb in der Umgebung der Infrastrukturmehrfachsensoreinrichtung kann während der Sensorkalibrierung ungestörter aufrecht erhalten bleiben. Die Sensorkalibrierung kann automatisiert und regelmäßig erfolgen. Die Einbringung eigens für die Kalibrierung verwendeter Marker kann unterbleiben.As a result, the sensor calibration can be carried out more cost-effectively, faster and more reliably. Operation in the environment of the infrastructure multiple sensor device can be maintained more undisturbed during the sensor calibration. The sensor calibration can be automated and carried out regularly. The introduction of markers used specifically for the calibration can be omitted.
Die Infrastruktureinrichtung kann stationär festgelegt sein. Die Infrastruktureinrichtung kann zur Sicherheitsüberwachung und/oder Verkehrsüberwachung, bevorzugt im Strassenverkehr, eingesetzt sein. Die Infrastruktureinrichtung kann eine Fahrbahn einschließen. The infrastructure facility can be stationary. The infrastructure device can be used for security monitoring and/or traffic monitoring, preferably in Road traffic, be used. The infrastructure facility may include a roadway.
Die Infrastrukturmehrfachsensoreinrichtung kann stationär festgelegt sein. Die Infrastrukturmehrfachsensoreinrichtung kann wenigstens ein Fahrzeug, bevorzugt ein Kraftfahrzeug, insbesondere auf der Fahrbahn erfassen. Die Infrastrukturmehrfachsensoreinrichtung kann mit wenigstens einem Fahrzeug zur Kommunikation verbunden sein. Das Fahrzeug kann mit einem Fahrerassistenzsystem ausgerüstet sein. Das Fahrzeug kann teilautonom oder autonom betrieben sein. The infrastructure multiple sensor device may be stationary. The infrastructure multiple sensor device can detect at least one vehicle, preferably a motor vehicle, in particular on the roadway. The infrastructure multiple sensor device can be connected to at least one vehicle for communication. The vehicle can be equipped with a driver assistance system. The vehicle can be operated semi-autonomously or autonomously.
Das Umgebungsobjekt kann ein stationäres oder sich bewegendes Objekt sein. Das erste Umgebungsobjekt kann eine Fahrbahnmarkierung, ein Gebäude, ein Fahrzeug, ein Strassenschild oder eine Brücke sein. The environmental object can be a stationary or moving object. The first environmental object can be a road marking, a building, a vehicle, a street sign or a bridge.
Der erste Sensor kann eine Kamera, ein Lidar, eine Stereokamera oder ein Radar sein. Der zweite Sensor kann eine Kamera, ein Lidar, eine Stereokamera oder ein Radar sein. Der erste und zweite Sensor können das gleiche oder ein unterschiedliches Messprinzip anwenden. Beispielsweise kann der erste Sensor eine Kamera und der zweite Sensor ein Lidar oder eine Kamera sein. The first sensor can be a camera, lidar, stereo camera or radar. The second sensor can be a camera, lidar, stereo camera or radar. The first and second sensors can use the same or a different measuring principle. For example, the first sensor can be a camera and the second sensor can be a lidar or a camera.
Der erste und zweite Sensor können an einer gemeinsamen Halterung der Infrastrukturmehrfachsensoreinrichtung befestigt sein. The first and second sensors may be attached to a common mount of the infrastructure multiple sensor device.
Die Sensorkalibrierung kann eine räumliche Einordnung des ersten Sensors in der Infrastrukturmehrfachsensoreinrichtung ermöglichen. Dadurch kann der erste Sensor in einem geometrischen Referenzsystem positioniert werden. Dadurch kann eine Sensorposition oder Sensorpose ermittelt und eine Koordinatentransformation zwischen dem Sensorbezugssystem und einem globalen Koordinatensystem, beispielsweise in kartesische (x, y, z) oder Weltkoordinaten (Breite, Länge, Höhe) der Infrastruktureinrichtung durchgeführt werden. The sensor calibration can enable a spatial classification of the first sensor in the infrastructure multiple sensor device. This allows the first sensor to be positioned in a geometric reference system. A sensor position or sensor pose can thereby be determined and a coordinate transformation between the sensor reference system and a global coordinate system, for example in Cartesian (x, y, z) or world coordinates (width, length, height) of the infrastructure device, can be carried out.
Der erste Objektparameter kann ein Abstand, eine Ausrichtung, eine Pose, eine Ausdehnung, eine Geschwindigkeit, eine Beschleunigung, eine Drehbeschleunigung, eine Drehgeschwindigkeit, eine Neigung oder eine Temperatur des ersten Umgebungsobjekts sein. The first object parameter may be a distance, an orientation, a pose, an extent, a speed, an acceleration, a spin, a spin speed, an inclination or a temperature of the first environmental object.
Bei einer bevorzugten Ausführung der Erfindung ist es vorteilhaft, wenn die Sensorkalibrierung eine Erstkalibrierung bei Erstinbetriebnahme des ersten Sensors in der Infrastrukturmehrfachsensoreinrichtung ist oder eine Betriebskalibrierung während eines Betriebs des ersten Sensors in der Infrastrukturmehrfachsensoreinrichtung im Rahmen einer Überwachungsmaßnahme ist. Bei der Erstkalibrierung kann der erste Sensor dem zweiten Sensor in der Infrastrukturmehrfachsensoreinrichtung angepasst werden. Dadurch kann der erste Sensor der Infrastrukturmehrfachsensoreinrichtung einfacher und schneller angepasst werden. In a preferred embodiment of the invention, it is advantageous if the sensor calibration is an initial calibration when the first sensor in the infrastructure multiple sensor device is first put into operation or an operational calibration during operation of the first sensor in the infrastructure multiple sensor device as part of a surveillance measure. In the initial calibration, the first sensor can be matched to the second sensor in the infrastructure multi-sensor device. As a result, the first sensor of the infrastructure multiple sensor device can be adapted more easily and quickly.
Bei der Betriebskalibrierung können mögliche Abweichungen bei dem ersten Sensor erkannt und ausgeglichen werden. Die Überwachungsmaßnahme kann die Betriebskalibrierung in vorgegebenen Zeitabständen durchführen. Die Betriebskalibrierung kann online, also bei in der Infrastrukturmehrfachsensoreinrichtung eingefügtem und angebundenen ersten Sensor, erfolgen. Die Überwachungsmaßnahme kann in Echtzeit erfolgen. Die Infrastruktureinrichtung kann ungestörter betrieben werden. Beispielsweise kann eine Unterbrechung im Betrieb der Infrastruktureinrichtung ausbleiben. Insbesondere können Strassensperrungen unterbunden werden. During operational calibration, possible deviations in the first sensor can be recognized and compensated for. The monitoring measure can carry out the operational calibration at predetermined time intervals. The operational calibration can take place online, ie with the first sensor inserted and connected in the infrastructure multiple sensor device. The monitoring measure can take place in real time. The infrastructure facility can be operated more undisturbed. For example, there can be no interruption in the operation of the infrastructure device. In particular, road closures can be prevented.
Bei einer speziellen Ausführung der Erfindung ist es von Vorteil, wenn der Zuordnungsvergleich durch Anwendung eines Vergleichsalgorithmus erfolgt, bei dem maschinelles Lernen eingesetzt wird. Der Vergleichsalgorithmus kann durch Deep-Learning angelernt sein. In a specific embodiment of the invention, it is advantageous if the association comparison is carried out using a comparison algorithm that uses machine learning. The comparison algorithm can be learned through deep learning.
Eine bevorzugte Ausgestaltung der Erfindung ist vorteilhaft, bei der bei der Sensorkalibrierung wenigstens ein weiterer zweiter Objektparameter des ersten Umgebungsobjekts erfasst, in das jeweilige Sensorbezugssystem eingeordnet und bei dem Zuordnungsvergleich berücksichtigt wird. Dadurch kann die Kalibrierung genauer durchgeführt werden. Der erste Objektparameter kann ein Abstand zu dem jeweiligen Sensor und der zweite Objektparameter kann eine Abmessung des ersten Umgebungsobjekts in wenigstens eine erste Richtung sein oder umgekehrt. A preferred refinement of the invention is advantageous in which at least one further second object parameter of the first environmental object is recorded during the sensor calibration, classified in the respective sensor reference system and taken into account in the classification comparison. This allows the calibration to be performed more accurately. The first object parameter can be a distance to the respective sensor and the second object parameter can be a dimension of the first surrounding object in at least a first direction or vice versa.
Bei einer speziellen Ausgestaltung der Erfindung ist es vorteilhaft, wenn der erste Objektparameter von wenigstens einem dritten Sensor erfasst, auf dessen drittes Sensorbezugssystem in einer weiteren Zuordnung bezogen und über einen weiteren Zuordnungsvergleich mit der ersten und/oder zweiten Zuordnung verglichen wird, wenn der weitere Zuordnungsvergleich eine Abweichung zwischen der ersten und zweiten Zuordnung feststellt. Dadurch kann die Genauigkeit der Kalibrierung erhöht werden. Der dritte Sensor kann bereits eine bestätigt richtige Kalibrierung durchlaufen haben. In a special embodiment of the invention, it is advantageous if the first object parameter is detected by at least one third sensor, related to its third sensor reference system in a further assignment and compared to the first and/or second assignment via a further assignment comparison if the further assignment comparison detects a discrepancy between the first and second association. As a result, the accuracy of the calibration can be increased. The third sensor may already have undergone a confirmed correct calibration.
Bei einer bevorzugten Ausführung der Erfindung ist es vorteilhaft, wenn der zweite Sensor vor der Sensorkalibrierung bereits durch eine vorgeschaltete Sensorkalibrierung kalibriert wurde. Der zweite Sensor kann durch die vorgeschaltete Sensorkalibrierung eine bestätigte zuverlässige Erfassung ermöglichen. Bei einer vorzugsweisen Ausführung der Erfindung ist vorgesehen, dass der erste und zweite Sensor jeweils auf einem unterschiedlichen Messprinzip aufbauen. Das zur Sensorkalibrierung ausgewählte erste Umgebungsobjekt kann ein stationäres Objekt oder ein sich bewegendes Objekt sein. Ist der erste Sensor eine Kamera und der zweite Sensor ein Lidar oder auch umgekehrt, dann ist das erste Umgebungsobjekt bevorzugt ein stationäres Objekt, insbesondere ein Gebäude, eine Fahrbahn oder eine Fahrbahnmarkierung. Ist der erste Sensor eine Kamera und der zweite Sensor ein Radar oder auch umgekehrt, dann ist das erste Umgebungsobjekt bevorzugt ein sich bewegendes Objekt, insbesondere ein Fahrzeug und der erste Objektparameter eine Bounding Box oder ein Erfassungspunkt des ersten Umgebungsobjekts. Ist der erste Sensor ein Radar und der zweite Sensor ein Lidar oder auch umgekehrt, dann ist das erste Umgebungsobjekt bevorzugt ein sich bewegendes Objekt, insbesondere ein Fahrzeug und der erste Objektparameter eine Bounding Box oder ein Erfassungspunkt des ersten Umgebungsobjekts. In a preferred embodiment of the invention, it is advantageous if the second sensor has already been calibrated by a preceding sensor calibration before the sensor calibration. The second sensor can enable a confirmed reliable detection through the upstream sensor calibration. In a preferred embodiment of the invention, it is provided that the first and second sensors are each based on a different measuring principle. The first environmental object selected for sensor calibration can be a stationary object or a moving object. If the first sensor is a camera and the second sensor is a lidar or vice versa, then the first environmental object is preferably a stationary object, in particular a building, a roadway or a roadway marking. If the first sensor is a camera and the second sensor is a radar or vice versa, then the first surrounding object is preferably a moving object, in particular a vehicle, and the first object parameter is a bounding box or a detection point of the first surrounding object. If the first sensor is radar and the second sensor is lidar or vice versa, then the first surrounding object is preferably a moving object, in particular a vehicle, and the first object parameter is a bounding box or a detection point of the first surrounding object.
Eine bevorzugte Ausgestaltung der Erfindung ist vorteilhaft, bei der das erste und zweite Sensorbezugssystem jeweils als Sensorkoordinatensystem ausgeführt ist. Das Sensorkoordinatensystem kann durch eine Koordinatentransformation in ein globales Koordinatensystem der Infrastruktureinrichtung überführt werden. A preferred embodiment of the invention is advantageous in which the first and second sensor reference systems are each designed as a sensor coordinate system. The sensor coordinate system can be converted into a global coordinate system of the infrastructure device by a coordinate transformation.
Weiterhin wird ein Verfahren zur Erfassung eines Umgebungsobjekts in einer Infrastruktureinrichtung mit einer Infrastrukturmehrfachsensoreinrichtung vorgeschlagen, aufweisend wenigstens einen ersten Sensor zur Erfassung wenigstens eines ersten Umgebungsobjekts in der Infrastruktureinrichtung, wobei der erste Sensor durch eine Sensorkalibrierung mit einem Verfahren mit wenigstens einem der zuvor genannten Merkmale kalibriert wurde und das erste Umgebungsobjekt erfasst wird, indem ein erster Objektparameter des ersten Umgebungsobjekts auf das erste Sensorbezugssystem als erste Zuordnung bezogen wird. Dadurch kann die Erfassung genauer durchgeführt werden. Furthermore, a method for detecting a surrounding object in an infrastructure device with an infrastructure multiple sensor device is proposed, having at least one first sensor for detecting at least one first surrounding object in the infrastructure device, the first sensor being calibrated by a sensor calibration using a method with at least one of the aforementioned features and the first surrounding object is detected by relating a first object parameter of the first surrounding object to the first sensor reference system as a first assignment. This allows detection to be performed more accurately.
Weiterhin wird eine Infrastrukturmehrfachsensoreinrichtung zur Erfassung von Umgebungsdaten einer Infrastruktureinrichtung vorgeschlagen, aufweisend wenigstens einen ersten Sensor und einen zweiten Sensor jeweils zur Erfassung wenigstens eines ersten Umgebungsobjekts in der Infrastruktureinrichtung, wobei der erste Sensor durch eine Sensorkalibrierung nach einem Verfahren mit wenigstens einem der zuvor beschriebenen Merkmale kalibriert ist. Dadurch kann die Infrastrukturmehrfachsensoreinrichtung kostengünstiger ausgeführt werden. Furthermore, an infrastructure multiple sensor device is proposed for capturing environmental data of an infrastructure device, having at least one first sensor and a second sensor each for capturing at least one first environmental object in the infrastructure device, the first sensor being calibrated by a sensor calibration using a method with at least one of the features described above is. As a result, the infrastructure multiple sensor device can be designed more cost-effectively.
Weitere Vorteile und vorteilhafte Ausgestaltungen der Erfindung ergeben sich aus der Figurenbeschreibung und den Abbildungen. Figurenbeschreibung Further advantages and advantageous configurations of the invention result from the description of the figures and the illustrations. character description
Die Erfindung wird im Folgenden unter Bezugnahme auf die Abbildungen ausführlich beschrieben. Es zeigen im Einzelnen: The invention is described in detail below with reference to the figures. They show in detail:
Figur 1 : Eine Infrastruktureinrichtung mit einer Infrastrukturmehrfachsensoreinrichtung in einer speziellen Ausführungsform der Erfindung. FIG. 1: An infrastructure device with an infrastructure multiple sensor device in a specific embodiment of the invention.
Figur 2: Eine Infrastruktureinrichtung bei Durchführung eines Verfahrens in einer speziellen Ausführungsform der Erfindung. FIG. 2: An infrastructure device when carrying out a method in a special embodiment of the invention.
Figur 3: Einen Teilablauf eines Verfahrens zur Kalibrierung in einer weiteren speziellen Ausführungsform der Erfindung. FIG. 3: A partial sequence of a method for calibration in a further specific embodiment of the invention.
Figur 4: Ein Zusammenhang von Objektparametern bei Verwendung unterschiedlicher Sensoren. Figure 4: A relationship between object parameters when using different sensors.
Figur 5: Ein Verfahren zur Kalibrierung in einer weiteren speziellen Ausführungsform der Erfindung. FIG. 5: A method for calibration in a further special embodiment of the invention.
Figur 6: Ein Verfahren zur Kalibrierung in einer weiteren speziellen Ausführungsform der Erfindung. FIG. 6: A method for calibration in a further special embodiment of the invention.
Figur 1 zeigt eine Infrastruktureinrichtung mit einer Infrastrukturmehrfachsensoreinrichtung in einer speziellen Ausführungsform der Erfindung. Die Infrastruktureinrichtung 10 ist stationär festgelegt und beispielsweise an einer Fahrbahnbrücke 12 eingerichtet. Die Infrastruktureinrichtung 10 ist bevorzugt zur Sicherheitsüberwachung und Verkehrsüberwachung eingesetzt. FIG. 1 shows an infrastructure device with an infrastructure multiple sensor device in a special embodiment of the invention. The infrastructure facility 10 is fixed in a stationary manner and is set up on a roadway bridge 12, for example. The infrastructure device 10 is preferably used for security monitoring and traffic monitoring.
Die Infrastruktureinrichtung 10 umfasst eine Infrastrukturmehrfachsensoreinrichtung 14, die auf der Fahrbahnbrücke 12 aufgebaut ist. Die Infrastrukturmehrfachsensoreinrichtung 14 ist stationär festgelegt und kann eine Umgebung 16 der Infrastruktureinrichtung 10 erfassen.The infrastructure device 10 includes an infrastructure multiple sensor device 14 which is installed on the roadway bridge 12 . The infrastructure multiple sensor device 14 is stationary and can detect an environment 16 of the infrastructure device 10 .
Die Umgebung 16 bezieht eine Fahrbahn 18 und daran angrenzende Umgebungsobjekte 20 ein. Weiterhin kann die Infrastrukturmehrfachsensoreinrichtung 14 Fahrzeuge 22 auf der Fahrbahn 18 als Umgebungsobjekte 20 der Infrastruktureinrichtung 10 erfassen. Die Infrastrukturmehrfachsensoreinrichtung 14 umfasst einen ersten Sensor 24 und einen zweiten Sensor 26 jeweils zur Erfassung wenigstens eines ersten Umgebungsobjekts 28 in der Infrastruktureinrichtung 10. Der erste und zweite Sensor 24, 26 sind an einer gemeinsamen Halterung 30 der Infrastrukturmehrfachsensoreinrichtung 14 befestigt. Der erste und zweite Sensor 24, 26 können das gleiche Messprinzip oder ein unterschiedliches Messprinzip anwenden. Der erste Sensor 24 kann ein Radar 32 und der zweite Sensor 26 kann eine Kamera 34 sein. The environment 16 includes a roadway 18 and surrounding objects 20 adjoining it. Furthermore, the infrastructure multiple sensor device 14 can detect vehicles 22 on the roadway 18 as surrounding objects 20 of the infrastructure device 10 . The infrastructure multiple sensor device 14 comprises a first sensor 24 and a second sensor 26 each for detecting at least one first surrounding object 28 in the infrastructure device 10. The first and second sensors 24, 26 are attached to a common bracket 30 of the infrastructure multiple sensor device 14. The first and second sensors 24, 26 can use the same measuring principle or a different measuring principle. The first sensor 24 can be a radar 32 and the second sensor 26 can be a camera 34 .
Der erste Sensor 24 kann durch ein Verfahren 35 zur Erfassung des ersten Umgebungsobjekts 28 eingesetzt sein. Dabei kann der erste Sensor 24 das erste Umgebungsobjekt 28 erfassen, indem ein erster Objektparameter 38 des ersten Umgebungsobjekts 28 auf ein erstes Sensorbezugssystem 40 als erste Zuordnung 42 bezogen wird. Dadurch kann beispielsweise eine räumliche Lage des ersten Umgebungsobjekts 28 erfasst werden. The first sensor 24 can be used by a method 35 for detecting the first environmental object 28 . In this case, the first sensor 24 can detect the first surrounding object 28 by relating a first object parameter 38 of the first surrounding object 28 to a first sensor reference system 40 as a first association 42 . In this way, for example, a spatial position of the first surrounding object 28 can be detected.
Das erste Umgebungsobjekt 28 kann eine Fahrbahnbeleuchtung 44 neben der Fahrbahn 18 sein. Dabei kann der erste und zweite Sensor 24, 26 weitere Umgebungsobjekte 20, insbesondere Fahrzeuge 22 oder die Fahrbahnmarkierung 46 erfassen. The first environmental object 28 can be roadway lighting 44 next to the roadway 18 . The first and second sensor 24, 26 can detect other surrounding objects 20, in particular vehicles 22 or the road marking 46.
In einem Betrieb der Infrastrukturmehrfachsensoreinrichtung 14 oder bei einer Erstinbetriebnahme des ersten Sensors 24 kann eine Kalibrierung des ersten Sensors 24 erforderlich sein. Der erste Sensor 24 wird kalibriert, indem wenigstens der erste Objektpara meter 38, beispielsweise ein Abstand einer Stütze 48 des als Fahrbahnbeleuchtung 44 ausgeführten ersten Umgebungsobjekts 28 von dem ersten Sensor 24 erfasst und auf das erste Sensorbezugssystem 40 als erste Zuordnung 42 bezogen wird und der erste Objektparameter 38 von dem zweiten Sensor 26 erfasst und auf ein zweites Sensorbezugssystem 50 als zweite Zuordnung 52 bezogen wird und anschließend die erste und zweite Zuordnung 42, 52 verglichen und der erste Sensor 24 abhängig von diesem Zuordnungsvergleich 54 kalibriert wird. When the infrastructure multiple sensor device 14 is in operation or when the first sensor 24 is put into operation for the first time, it may be necessary to calibrate the first sensor 24 . The first sensor 24 is calibrated by detecting at least the first object parameter 38, for example a distance of a support 48 of the first surrounding object 28 embodied as roadway lighting 44, from the first sensor 24 and relating it to the first sensor reference system 40 as the first association 42 and the first Object parameters 38 are detected by the second sensor 26 and related to a second sensor reference system 50 as a second association 52 and then the first and second associations 42, 52 are compared and the first sensor 24 is calibrated as a function of this association comparison 54.
Dadurch kann der erste Sensor 24 kostengünstiger, schneller und zuverlässiger kalibriert werden und der Betrieb der Infrastruktureinrichtung 10 ungestört aufrecht erhalten bleiben. Ein eigens für die Kalibrierung aufgebauter Marker in der Umgebung 16 der Infrastruktureinrichtung 10 kann entfallen. As a result, the first sensor 24 can be calibrated more cost-effectively, more quickly and more reliably and the operation of the infrastructure device 10 can be maintained undisturbed. A marker set up specifically for the calibration in the vicinity 16 of the infrastructure device 10 can be omitted.
Beispielsweise wird der erste Sensor 24 bei einer Erstinbetriebnahme kalibriert, indem die Differenz zwischen der ersten und zweiten Zuordnung 42, 52 bei dem Zuordnungsvergleich 54 möglichst verringert wird. Figur 2 zeigt eine Infrastruktureinrichtung bei Durchführung eines Verfahrens in einer speziellen Ausführungsform der Erfindung. Der Aufbau der Infrastruktureinrichtung 10 gleicht dem aus Figur 1. Hier wird ein Verfahren 56 zur Kalibrierung des ersten Sensors 24 angewendet, das bei einer Überwachungsmaßnahme ausgelöst werden kann. Dabei kann eine Sensorkalibrierung 58 als Betriebskalibrierung 60 des ersten Sensors 24 vorgenommen werden. Wird bei dem Zuordnungsvergleich 54 festgestellt, dass die erste Zuordnung 42 von der zweiten Zuordnung 52, von der ausgegangen wird, dass diese richtig ist, abweicht, wird der erste Sensor 24 kalibriert, um die erste Zuordnung 42 möglichst an die zweite Zuordnung 52 anzugleichen. For example, the first sensor 24 is calibrated when it is put into operation for the first time, in that the difference between the first and second association 42, 52 in the association comparison 54 is reduced as far as possible. FIG. 2 shows an infrastructure device when carrying out a method in a special embodiment of the invention. The structure of the infrastructure device 10 is the same as that from FIG. A sensor calibration 58 can be carried out as an operational calibration 60 of the first sensor 24 . If it is determined during the assignment comparison 54 that the first assignment 42 differs from the second assignment 52, which is assumed to be correct, the first sensor 24 is calibrated in order to match the first assignment 42 to the second assignment 52 as far as possible.
Figur 3 zeigt einen Teilablauf eines Verfahrens zur Kalibrierung in einer weiteren speziellen Ausführungsform der Erfindung. Das Verfahren 56 zur Kalibrierung des ersten Sensors 24 und weiterer Sensoren 66 kann auf der Richtigkeit einer Kalibrierung des zweiten Sensors 26 als Ausgangssensor 62 aufbauen. Die Richtigkeit der Kalibrierung des zweiten Sensors 26 kann durch eine vorgeschaltete Sensorkalibrierung 64 bestätigt worden sein. Die Kalibrierung des ersten Sensors 24 und der weiteren Sensoren 66 kann die erste Zuordnung und weiteren Zuordnungen mit der zweiten Zuordnung vergleichen und den ersten Sensor 24 und die weiteren Sensoren 66 abhängig von dem Zuordnungsvergleich kalibrieren. Dabei kann ein dritter Sensor 68 wiederum auf Grundlage der kalibrierten ersten Zuordnung des ersten Sensors 24 kalibriert werden. FIG. 3 shows a partial sequence of a method for calibration in a further special embodiment of the invention. The method 56 for calibrating the first sensor 24 and additional sensors 66 can be based on the correctness of a calibration of the second sensor 26 as the output sensor 62 . The correctness of the calibration of the second sensor 26 can have been confirmed by an upstream sensor calibration 64 . The calibration of the first sensor 24 and the further sensors 66 can compare the first association and further associations with the second association and calibrate the first sensor 24 and the further sensors 66 depending on the association comparison. A third sensor 68 can in turn be calibrated on the basis of the calibrated first assignment of the first sensor 24 .
Figur 4 zeigt ein Zusammenhang von Objektparametern bei Verwendung unterschiedlicher Sensoren. Bei als Kamera 34 ausgeführtem ersten Sensor können die Umgebungsobjekte optisch erfasst werden. Das bedeutet, die Umgebungsobjekte müssen sichtbar sein. Das erste Umgebungsobjekt 28 kann beispielsweise eine Fahrbahnmarkierung sein. Bei als Lidar 69 ausgeführtem zweiten Sensor oder einer Stereokamera 70 werden Anforderungen an die geometrische Form oder die Materialeigenschaft des ersten Umgebungsobjekts 28 gestellt, um dieses erfassen zu können. Zur Sensorkalibrierung des ersten Sensors über den Zuordnungsvergleich mit dem zweiten Sensor wird ein erster Objektparameter 38 gewählt, der von dem ersten und zweiten Sensor erfassbar ist, beispielsweise ein räumlicher Parameter wie die Entfernung eines stationären Umgebungsobjekts. Auch bei einer umgekehrten Anordnung, also der erste Sensor ist als Lidar 69 und der zweite Sensor als Kamera 34 ausgebildet, gelten diese Anforderungen an das erste Umgebungsobjekt 28 und den ersten Objektparameter 38. FIG. 4 shows a relationship between object parameters when using different sensors. When the first sensor is designed as a camera 34, the surrounding objects can be recorded optically. That means the surrounding objects must be visible. The first environmental object 28 can be a road marking, for example. In the case of a second sensor designed as a lidar 69 or a stereo camera 70, requirements are placed on the geometric shape or the material property of the first environmental object 28 in order to be able to capture it. For sensor calibration of the first sensor via the association comparison with the second sensor, a first object parameter 38 is selected, which can be detected by the first and second sensors, for example a spatial parameter such as the distance to a stationary object in the surroundings. The same requirements apply to the first environmental object 28 and the first object parameter 38 in the reverse arrangement, i.e. the first sensor is designed as a lidar 69 and the second sensor as a camera 34.
Bei als Kamera 34 ausgeführtem ersten Sensor und bei als Radar 32 ausgeführtem zweiten Sensor sollte das erste Umgebungsobjekt 28 sich bewegen und eine Geschwindigkeit aufweisen. Der erste Objektparameter 38 kann eine Geschwindigkeit, eine Bounding Box oder ein Erfassungspunkt des ersten Umgebungsobjekts 28 sein, um dieses erfassen zu können. Auch bei einer umgekehrten Anordnung, also der erste Sensor ist als Radar 32 und der zweite Sensor als Kamera 34 ausgebildet, gelten diese Anforderungen an das erste Umgebungsobjekt 28 und den ersten Objektparameter 38. If the first sensor is designed as a camera 34 and if the second sensor is designed as a radar 32, the first environmental object 28 should move and have a speed. The first object parameter 38 can be a speed, a bounding box or be a detection point of the first surrounding object 28 in order to be able to detect this. These requirements for the first surrounding object 28 and the first object parameter 38 also apply to the reverse arrangement, i.e. the first sensor is designed as a radar 32 and the second sensor as a camera 34.
Bei als Radar 32 ausgeführtem ersten Sensor und bei als Lidar 69 ausgeführtem zweiten Sensor oder einer Stereokamera 70 sollte das erste Umgebungsobjekt 28 sich bewegen und eine Geschwindigkeit aufweisen. Der erste Objektparameter 38 kann eine Geschwindigkeit oder eine Trajektorie des ersten Umgebungsobjekts 28 sein, um dieses erfassen zu können. Auch bei einer umgekehrten Anordnung, also der erste Sensor ist als Lidar 69 und der zweite Sensor als Radar 72 ausgebildet, gelten diese Anforderungen an das erste Umgebungsobjekt 28 und den ersten Objektparameter 38. If the first sensor is designed as a radar 32 and if the second sensor is designed as a lidar 69 or a stereo camera 70, the first environmental object 28 should move and have a speed. The first object parameter 38 can be a speed or a trajectory of the first environmental object 28 in order to be able to detect it. The same requirements apply to the first surrounding object 28 and the first object parameter 38 in the reverse arrangement, i.e. the first sensor is in the form of a lidar 69 and the second sensor is in the form of a radar 72.
Figur 5 zeigt ein Verfahren zur Kalibrierung in einer weiteren speziellen Ausführungsform der Erfindung. Das Verfahren 56 zur Kalibrierung umfasst einerseits einen Messvorgang 74 des Ausgangssensors 62, hier beispielsweise des zweiten Sensors 26, und einen Messvorgang 76 des ersten Sensors 24. Zunächst werden in einem Datenerfassungsschritt 78 Sensordaten des zweiten Sensors 26, die den ersten Objektparameter 38 beschreiben und in einem weiteren Datenerfassungsschritt 80 Sensordaten des ersten Sensors 24, die den ersten Objektparameter 38 beschreiben, erfasst. Anschließend wird in einem Zuordnungsschritt 82 der erste Objektparameter 38 auf ein zweites Sensorbezugssystem des zweiten Sensors 26 und in einem weiteren Zuordnungsschritt 84 der erste Objektparameter 38 auf ein erstes Sensorbezugssystem des ersten Sensors 24 bezogen. Die zweite Zuordnung wird über den Zuordnungsvergleich 54 mit der ersten Zuordnung verglichen. Bei dem Zuordnungsvergleich 54 wird auch geprüft, ob der ersteFIG. 5 shows a calibration method in a further special embodiment of the invention. The method 56 for calibration includes, on the one hand, a measurement process 74 of the output sensor 62, here for example the second sensor 26, and a measurement process 76 of the first sensor 24. First, in a data acquisition step 78, sensor data of the second sensor 26, which describe the first object parameter 38 and in a further data acquisition step 80 sensor data of the first sensor 24, which describe the first object parameter 38, is acquired. Then, in an assignment step 82, the first object parameter 38 is related to a second sensor reference system of the second sensor 26 and in a further assignment step 84 the first object parameter 38 is related to a first sensor reference system of the first sensor 24. The second assignment is compared with the first assignment via the assignment comparison 54 . In the assignment comparison 54 is also checked whether the first
Objektparameter 38 ein übereinstimmender erster Objektparameter 38 von beiden Sensoren 24, 26 ist. Object parameter 38 is a matching first object parameter 38 from both sensors 24, 26.
In einem anschließenden Korrekturschritt 86 wird die erste Zuordnung der zweiten Zuordnung angeglichen. Abhängig von dem Zuordnungsvergleich 54 wird in einem Überprüfungsschritt 88 die Differenz zwischen der ersten und zweiten Zuordnung verglichen und bei Bedarf der Vorgang bei dem Zuordnungsvergleich 54 wiederholt oder in einem Freigabeschritt 90 der erste Sensor 24 als kalibriert ausgegeben. In a subsequent correction step 86, the first assignment is adjusted to the second assignment. Depending on the assignment comparison 54, the difference between the first and second assignment is compared in a checking step 88 and, if necessary, the process in the assignment comparison 54 is repeated, or in a release step 90 the first sensor 24 is output as calibrated.
Figur 6 zeigt ein Verfahren zur Kalibrierung in einer weiteren speziellen Ausführungsform der Erfindung. Das Verfahren 56 zur Kalibrierung als Betriebskalibrierung 60 kann im Anschluss an eine vorgeschaltete Sensorkalibrierung 91 als Erstkalibrierung 92 bei einer Erstinbetriebnahme des ersten Sensors erfolgen. Ein an die Betriebskalibrierung 60 des ersten Sensors anschließender Regelbetrieb 94 des ersten Sensors zur Erfassung von Umgebungsobjekten kann regelmäßig eine Überwachungsmaßnahme 96 einbeziehen, bei der die Genauigkeit des ersten Sensors geprüft und bei einer übermäßigenFIG. 6 shows a calibration method in a further special embodiment of the invention. The method 56 for calibration as an operational calibration 60 can be carried out following an upstream sensor calibration 91 as an initial calibration 92 when the first sensor is put into operation for the first time. A control operation 94 of the first sensor following the operational calibration 60 of the first sensor for the detection of Surrounding objects can regularly involve a monitoring action 96 in which the accuracy of the first sensor is checked and, if excessive
Verschlechterung durch die Betriebskalibrierung 60 verbessert oder bei Erfüllung der Anforderungen der Regelbetrieb 94 weitergeführt wird. Deterioration is improved by the operational calibration 60 or if the requirements are met, the control operation 94 is continued.

Claims

Patentansprüche patent claims
1. Verfahren (56) zur Kalibrierung einer Umgebungsdaten einer Infrastruktureinrichtung (10) erfassenden Infrastrukturmehrfachsensoreinrichtung (14), aufweisend wenigstens einen ersten Sensor (24) und einen zweiten Sensor (26) jeweils zur Erfassung wenigstens eines ersten Umgebungsobjekts (28) in der Infrastruktureinrichtung (10), wobei der erste Sensor (24) durch eine Sensorkalibrierung (58) kalibriert wird, indem wenigstens ein erster Objektparameter (38) des ersten Umgebungsobjekts (28) von dem ersten Sensor (24) erfasst und auf ein erstes Sensorbezugssystem (40) als erste Zuordnung (42) bezogen wird und der erste Objektparameter (38) von dem zweiten Sensor (26) erfasst und auf ein zweites Sensorbezugssystem (50) als zweite Zuordnung (52) bezogen wird und anschließend die erste und zweite Zuordnung (42, 52) verglichen und der erste Sensor (24) abhängig von diesem Zuordnungsvergleich (54) kalibriert wird. 1. A method (56) for calibrating an infrastructure multiple sensor device (14) that records environmental data of an infrastructure device (10), having at least a first sensor (24) and a second sensor (26), each for detecting at least a first environmental object (28) in the infrastructure device ( 10), wherein the first sensor (24) is calibrated by a sensor calibration (58) in that at least one first object parameter (38) of the first environmental object (28) is detected by the first sensor (24) and referred to a first sensor reference system (40) as first assignment (42) is related and the first object parameter (38) is detected by the second sensor (26) and is related to a second sensor reference system (50) as a second assignment (52) and then the first and second assignment (42, 52) compared and the first sensor (24) is calibrated depending on this assignment comparison (54).
2. Verfahren (56) zur Kalibrierung nach Anspruch 1, dadurch gekennzeichnet, dass die Sensorkalibrierung (58) eine Erstkalibrierung (92) bei Erstinbetriebnahme des ersten Sensors (24) in der Infrastrukturmehrfachsensoreinrichtung (14) ist oder eine Betriebskalibrierung (60) während eines Betriebs des ersten Sensors (24) in der Infrastrukturmehrfachsensoreinrichtung (14) im Rahmen einer Überwachungsmaßnahme (96) ist. 2. Method (56) for calibration according to claim 1, characterized in that the sensor calibration (58) is an initial calibration (92) when the first sensor (24) is first put into operation in the infrastructure multiple sensor device (14) or an operational calibration (60) during operation of the first sensor (24) in the infrastructure multiple sensor device (14) as part of a monitoring measure (96).
3. Verfahren (56) zur Kalibrierung nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass der Zuordnungsvergleich (54) durch Anwendung eines Vergleichsalgorithmus erfolgt, bei dem maschinelles Lernen eingesetzt wird. 3. Method (56) for calibration according to claim 1 or 2, characterized in that the assignment comparison (54) takes place by using a comparison algorithm in which machine learning is used.
4. Verfahren (56) zur Kalibrierung nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass bei der Sensorkalibrierung wenigstens ein weiterer zweiter Objektparameter des ersten Umgebungsobjekts (28) erfasst, in das jeweilige Sensorbezugssystem (40, 50) eingeordnet und bei dem Zuordnungsvergleich (54) berücksichtigt wird. 4. Method (56) for calibration according to one of the preceding claims, characterized in that during the sensor calibration at least one further second object parameter of the first environmental object (28) is detected, classified in the respective sensor reference system (40, 50) and in the assignment comparison (54 ) is taken into account.
5. Verfahren (56) zur Kalibrierung nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass der erste Objektparameter (38) von wenigstens einem dritten Sensor (68) erfasst, auf dessen drittes Sensorbezugssystem in einer weiteren Zuordnung bezogen und über einen weiteren Zuordnungsvergleich mit der ersten und/oder zweiten Zuordnung (42, 52) verglichen wird, wenn der weitere Zuordnungsvergleich eine Abweichung zwischen der ersten und zweiten Zuordnung (42, 52) feststellt. Verfahren (56) zur Kalibrierung nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass der zweite Sensor (26) vor der Sensorkalibrierung (58) bereits durch eine vorgeschaltete Sensorkalibrierung (91) kalibriert wurde. Verfahren (56) zur Kalibrierung nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass der erste und zweite Sensor (24, 26) jeweils auf einem unterschiedlichen Messprinzip aufbauen. Verfahren (56) zur Kalibrierung nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass das erste und zweite Sensorbezugssystem (40, 50) jeweils als Sensorkoordinatensystem ausgeführt ist. Verfahren (35) zur Erfassung eines Umgebungsobjekts (28) in einer Infrastruktureinrichtung (10) mit einer Infrastrukturmehrfachsensoreinrichtung (14), aufweisend wenigstens einen ersten Sensor (24) zur Erfassung wenigstens eines ersten Umgebungsobjekts (28) in der Infrastruktureinrichtung (10), wobei der erste Sensor (24) durch eine Sensorkalibrierung (58) mit einem Verfahren nach einem der vorangehenden Ansprüche kalibriert wurde und das erste Umgebungsobjekt (28) erfasst wird, indem ein erster Objektparameter (38) des ersten Umgebungsobjekts (28) auf das erste Sensorbezugssystem (40) als erste Zuordnung (42) bezogen wird. Infrastrukturmehrfachsensoreinrichtung (14) zur Erfassung von Umgebungsdaten einer Infrastruktureinrichtung (10) und aufweisend wenigstens einen ersten Sensor (24) und einen zweiten Sensor (26) jeweils zur Erfassung wenigstens eines ersten Umgebungsobjekts (28) in der Infrastruktureinrichtung (10), wobei der erste Sensor (24) durch eine Sensorkalibrierung (58) nach einem Verfahren (56) der Ansprüche 1 bis 8 kalibriert ist. 5. Method (56) for calibration according to one of the preceding claims, characterized in that the first object parameter (38) is detected by at least one third sensor (68), related to its third sensor reference system in a further assignment and via a further assignment comparison with the first and/or second Assignment (42, 52) is compared when the further assignment comparison detects a discrepancy between the first and second assignment (42, 52). Method (56) for calibration according to one of the preceding claims, characterized in that the second sensor (26) has already been calibrated before the sensor calibration (58) by an upstream sensor calibration (91). Method (56) for calibration according to one of the preceding claims, characterized in that the first and second sensors (24, 26) are each based on a different measuring principle. Method (56) for calibration according to one of the preceding claims, characterized in that the first and second sensor reference systems (40, 50) are each designed as a sensor coordinate system. Method (35) for detecting a surrounding object (28) in an infrastructure device (10) with an infrastructure multiple sensor device (14), having at least one first sensor (24) for detecting at least one first surrounding object (28) in the infrastructure device (10), wherein the first sensor (24) was calibrated by a sensor calibration (58) using a method according to one of the preceding claims and the first surrounding object (28) is detected by a first object parameter (38) of the first surrounding object (28) on the first sensor reference system (40 ) is obtained as the first assignment (42). Infrastructure multiple sensor device (14) for detecting environmental data of an infrastructure device (10) and having at least a first sensor (24) and a second sensor (26) each for detecting at least a first environmental object (28) in the infrastructure device (10), the first sensor (24) is calibrated by a sensor calibration (58) according to a method (56) of claims 1 to 8.
PCT/EP2023/050290 2022-02-07 2023-01-09 Infrastructure multi-sensor device, method for calibration, and method for detecting an object in the surroundings WO2023147959A1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102022201220.8 2022-02-07
DE102022201220.8A DE102022201220A1 (en) 2022-02-07 2022-02-07 Infrastructure multiple sensor device, method for calibration and method for detecting a surrounding object

Publications (1)

Publication Number Publication Date
WO2023147959A1 true WO2023147959A1 (en) 2023-08-10

Family

ID=84901189

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2023/050290 WO2023147959A1 (en) 2022-02-07 2023-01-09 Infrastructure multi-sensor device, method for calibration, and method for detecting an object in the surroundings

Country Status (2)

Country Link
DE (1) DE102022201220A1 (en)
WO (1) WO2023147959A1 (en)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102016224766A1 (en) 2016-12-13 2018-06-14 Robert Bosch Gmbh Method for calibrating sensors on a mobile platform
DE102016225595A1 (en) * 2016-12-20 2018-06-21 Siemens Aktiengesellschaft Method and arrangement for calibrating at least one sensor of a rail vehicle
DE102018201154A1 (en) * 2018-01-25 2019-07-25 HELLA GmbH & Co. KGaA Method for calibrating sensors and / or sensor arrangements
US20190228647A1 (en) * 2019-03-30 2019-07-25 Intel Corporation Technologies for managing a world model of a monitored area
US20200103920A1 (en) * 2018-10-02 2020-04-02 Ford Global Technologies, Llc Stationary camera localization
US20200184236A1 (en) * 2018-12-10 2020-06-11 Aptiv Technologies Limited Systems and methods for validating sensor calibration

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102016224766A1 (en) 2016-12-13 2018-06-14 Robert Bosch Gmbh Method for calibrating sensors on a mobile platform
DE102016225595A1 (en) * 2016-12-20 2018-06-21 Siemens Aktiengesellschaft Method and arrangement for calibrating at least one sensor of a rail vehicle
DE102018201154A1 (en) * 2018-01-25 2019-07-25 HELLA GmbH & Co. KGaA Method for calibrating sensors and / or sensor arrangements
US20200103920A1 (en) * 2018-10-02 2020-04-02 Ford Global Technologies, Llc Stationary camera localization
US20200184236A1 (en) * 2018-12-10 2020-06-11 Aptiv Technologies Limited Systems and methods for validating sensor calibration
US20190228647A1 (en) * 2019-03-30 2019-07-25 Intel Corporation Technologies for managing a world model of a monitored area

Also Published As

Publication number Publication date
DE102022201220A1 (en) 2023-08-10

Similar Documents

Publication Publication Date Title
DE102016223422A1 (en) Method for automatically determining extrinsic parameters of a camera of a vehicle
DE102010049093A1 (en) Method for operating at least one sensor of a vehicle and vehicle with at least one sensor
EP3052359B1 (en) Method and device for monitoring the function of a driver assistance system
EP2562735A1 (en) Method and device for analysing a route section to be driven by a vehicle
DE102015220695A1 (en) Method and device for evaluating the content of a map
WO2018019454A1 (en) Method and device for determining a roadway model for the surroundings of a vehicle
DE102011112404A1 (en) Method for determining the position of a motor vehicle
EP2116958A2 (en) Method and device for calculating the drive path in the area in front of a vehicle
DE102020211970A1 (en) Method for controlling a vehicle
DE102006044615A1 (en) Image capturing device calibrating method for vehicle, involves locating objects in vehicle surrounding based on image information detected by image capturing device, and evaluating geometrical relations of objects
EP3667359A1 (en) Method for determining the misalignment of at least one sensor within a set of sensors
DE102008021380B4 (en) Method and device for predicting a course of a roadway and driver assistance system
WO2020126167A1 (en) Method for identifying at least one pattern in the surroundings of a vehicle, control device for carrying out such a method, and vehicle having such a control device
DE102018007960A1 (en) Method for matching map material with a detected environment of a vehicle, control device configured to carry out such a method, and vehicle having such a control device
WO2018059735A1 (en) Method for the self-location of a vehicle
DE102012018471A1 (en) Method for detecting e.g. lane markings of lane edge for motor car, involves performing classification in image region of individual images, which are detected by cameras, and in another image region of disparity images
WO2023147959A1 (en) Infrastructure multi-sensor device, method for calibration, and method for detecting an object in the surroundings
DE102016009756A1 (en) Method for calibrating a sensor system of a motor vehicle and sensor system
DE102005044981A1 (en) Lane markings identifying method for moving motor vehicle, involves combining coherent images having similar brightness to cluster for determining form of objects, and identifying lane markings based on form and periodic arrangement in lane
WO2023083620A1 (en) Testing the environment sensor system and/or environment perception of a vehicle
DE102019207302A1 (en) Method for operating a sensor device of a vehicle
EP3673234A1 (en) Method and device for determining a highly precise position and for operating an automated vehicle
WO2019057553A1 (en) Method and device for determining a highly precise position and for operating an automated vehicle
DE102019211459B4 (en) Method and device for checking a calibration of environmental sensors
WO2013013978A1 (en) Method and apparatus for determining current vehicle-specific orientation data for a vehicle

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23700037

Country of ref document: EP

Kind code of ref document: A1