WO2020160798A1 - Verfahren und eine vorrichtung zur sensordatenfusion für ein fahrzeug - Google Patents

Verfahren und eine vorrichtung zur sensordatenfusion für ein fahrzeug Download PDF

Info

Publication number
WO2020160798A1
WO2020160798A1 PCT/EP2019/079225 EP2019079225W WO2020160798A1 WO 2020160798 A1 WO2020160798 A1 WO 2020160798A1 EP 2019079225 W EP2019079225 W EP 2019079225W WO 2020160798 A1 WO2020160798 A1 WO 2020160798A1
Authority
WO
WIPO (PCT)
Prior art keywords
sensor
fusion
vehicle
distance
determined
Prior art date
Application number
PCT/EP2019/079225
Other languages
English (en)
French (fr)
Inventor
Daniel MEISSNER
Marco Baumgartl
Dominik Bauch
Michael Himmelsbach
Luca Trentinaglia
Josef Mehringer
Original Assignee
Bayerische Motoren Werke Aktiengesellschaft
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bayerische Motoren Werke Aktiengesellschaft filed Critical Bayerische Motoren Werke Aktiengesellschaft
Priority to CN201980084091.2A priority Critical patent/CN113227834B/zh
Priority to US17/417,386 priority patent/US20220075053A1/en
Publication of WO2020160798A1 publication Critical patent/WO2020160798A1/de

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/862—Combination of radar systems with sonar systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/865—Combination of radar systems with lidar systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9323—Alternative operation using light waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9324—Alternative operation using ultrasonic waves

Definitions

  • the invention relates to a method and a device for sensor data fusion for a vehicle.
  • the invention also relates to a vehicle, a computer program and a computer-readable storage medium.
  • Heterogeneous sensor devices are often used to detect objects in the vicinity of a vehicle. Detected objects in the vehicle environment can be used for the safe implementation of assistance functions, in particular for longitudinally regulating functions such as Active Cruise Control or an intersection assistant and for laterally regulating functions such as lateral collision avoidance, steering and lane guidance assistant.
  • used sensor devices can by the
  • Sensor devices recorded information about the objects to be different. Due to the limited computing power in vehicles, the sensor devices
  • the information provided is usually fused at a high level. This means that the sensor devices each recognize objects separately on the basis of the recorded information and provide them as information in an abstract, sensor-independent object representation
  • Object representation for each actual object merged or fused (so-called “fusion objects”).
  • a rectangle or cuboid, for example, can be considered as the object representation (see FIG. 1).
  • each object 0 is assigned a reference point A which, with respect to a reference coordinate system R, for example relative to a predetermined reference point on / in the vehicle, has a lateral displacement (x, y), a
  • a reference point A to which, in addition to the lateral displacement (x, y) as the position of the object 0, a width b, length 1 and orientation is assigned, can also be called a "state"
  • object 0 can be designated. Further properties of object 0 can be assigned to the state, for example the height h (with regard to the z-axis), speed or an object type. Each measured variable of the object 0 can be regarded as normally distributed
  • Random variables with variance and covariances with respect to the other measured variables are modeled and these values are also assigned to the state.
  • Sensor objects associated and fused to form fusion objects are processed by the sensor devices themselves and are not taken into account by the sensor data fusion unit. This puts the computing load on sensor devices and
  • Object representations can be used. It is disadvantageous that information about the objects is lost due to the preprocessing of the recorded information by the sensor devices and the associated abstraction. Another disadvantage is that some sensor data that meet the requirements of the used
  • Sensor devices such as e.g. Distance sensors in which individual measured variables of the object representation used cannot be measured.
  • the object on which the invention is based is to create a method for sensor data fusion for a vehicle and a corresponding device, a vehicle, computer program and computer-readable storage medium by means of which the aforementioned disadvantages can be overcome.
  • the invention relates to a
  • a fusion object data set which comprises fusion object data.
  • the fusion object data are each representative of something determined in the vicinity of the vehicle
  • a directional parameter is also used in the method
  • the directional parameter is representative of an angle that a measuring direction of the distance sensor in includes intended operation with a predetermined reference axis of a predetermined reference coordinate system of the vehicle.
  • a fusion object is determined to which the measured distance value and the characteristic direction value are assigned.
  • the fusion object data provided are particularly representative of fusion objects in rectangular or cuboid Object representation.
  • the longitudinal axis of the vehicle for example, can be considered as the predetermined reference axis.
  • Fusion object data set is determined for assignment, can also be referred to as an association step.
  • the step in which an innovated fusion object is determined as a function of the measured distance value, the directional parameter and the fusion object data corresponding to the fusion object assigned in the association step can also be referred to as an innovation step or fusion.
  • the distance parameter is a distance parameter determined.
  • a deviation between the respective distance parameter and the measured distance value is determined in each case. Only in the event that the deviation is less than a predefined threshold value, the measured distance value and the
  • the corresponding measured distance value and / or directional parameter is discarded, for example, or a check is made to determine whether the measured distance value has a smaller deviation from one
  • Has distance parameter that is assigned to another fusion object from fusion object data set This advantageously enables data to be reduced, so that the computing load during processing can be kept low. This step can also be referred to as gating.
  • the distance parameter does not represent any
  • the Euclidean distance or Mahalanobi's distance can be used as a measure of the deviation.
  • the measured distance value is assigned exclusively to the fusion object with the smallest determined deviation. For example, a number of potential fusion objects are initially determined as candidates for the assignment, the respective deviation of which falls below the threshold value. In a second step, the fusion object with the smallest deviation from the
  • a respective contour segment of the corresponding fusion object facing the vehicle is determined depending on the fusion object data.
  • an intersection point between a vector in the measuring direction and a straight line along the respective contour segment is determined.
  • the respective distance parameter is determined depending on the respective intersection. In this way, a variance of the measured variables length and width of the object can advantageously be taken into account.
  • the fusion object data include a
  • Fusion object with respect to the fusion reference point an orientation of the fusion object with respect to the
  • a transformation state is then determined as a function of the fusion object data and the point of intersection.
  • Transformation state comprises a lateral extension of the fusion object with respect to the intersection, the orientation of the fusion object with respect to the reference coordinate system of the vehicle and an indicator parameter in each case which is representative of an uncertainty in the determination of the lateral extension and orientation.
  • the fusion reference point can also be used as the state of the
  • Fusion object are referred to.
  • this configuration allows the state of the fusion object to be transformed to the determined intersection, taking into account the uncertainties.
  • the transformation state and the indicator parameters, the measured distance value and the Directional parameter an innovated transformation state is determined.
  • the innovated transformation state denotes one that is supplemented by the measurement data from the distance sensor
  • the state of the fusion object at the determined intersection point can be adjusted with the determined distance measurement value and the directional parameter, taking into account the uncertainties.
  • the measuring direction of the distance sensor is dependent on a detection characteristic of the
  • the distance sensor determined, in particular in the case that the distance sensor is an ultrasonic sensor.
  • the direction of measurement can be specified, for example, by installing the distance sensor and, for example, stored in the sensor data fusion unit through a factory calibration.
  • the invention in a second aspect, relates to a
  • the Device is designed, a method according to the first Execute aspect.
  • the device can also be referred to as a sensor data fusion unit.
  • the invention relates to a
  • the vehicle includes a device for
  • the vehicle comprises a further sensor device.
  • the further sensor device is set up to acquire measurement data that are representative of an environment of the vehicle.
  • the additional sensor device is also included.
  • sensor object data as a function of the measurement data, which are representative of a sensor object determined in the vicinity of the vehicle by the further sensor device.
  • the device is designed as a function of the fusion object data set and the sensor object data
  • Fusion object is represented by, for example
  • Fusion object data that is stored in the fusion object record.
  • the further sensor device comprises
  • the distance sensor comprises or consists of at least one of an ultrasonic sensor, a point laser sensor, an infrared sensor or a RaDAR, radio detection and ranging sensor.
  • the invention relates to a
  • Computer program for sensor data fusion for a vehicle comprises commands which, when the program is executed by a computer, cause the computer to execute the
  • the invention relates to a
  • FIG. 1 an exemplary object representation
  • Figure 2 shows an embodiment of an inventive
  • FIG. 3 shows an exemplary flow chart of a method for sensor data fusion.
  • FIG. 2 shows a vehicle F according to the invention with a device V for sensor data fusion and a distance sensor S1 which is set up to detect measured distance values d.
  • This can be, for example, an ultrasonic, point laser or infrared sensor.
  • the result of the object fusion in the automotive sector is usually a list of rectangles or cuboids (see FIG. 1) as an object representation, which identified, in particular moving, objects in the vicinity of the vehicle F. represent.
  • Figure 2 shows such a fusion object OF, to which a fusion reference point A F , a length 1 and width b with respect to the fusion reference point A, an orientation of the fusion object OF with respect to a reference coordinate system R of the vehicle F, and an indicator parameter that is representative of a
  • the alignment of the distance sensor S1 or in the case of e.g.
  • Ultrasonic sensor can be determined from the detection characteristic, a measuring direction in which the measured distance value d was detected. In addition, associated variances can be determined during the measurement.
  • the vehicle F also has another example
  • Sensor device S2 which is used to detect the environment of the Vehicle F is set up.
  • the distance sensor S1 and the further sensor device S2 are coupled with the device V for sensor data fusion for signaling purposes.
  • the further sensor device S2 provides sensor object data that are fused by the device V according to any method for high-level object fusion and in one
  • Fusion object data set are stored.
  • each fusion object OF is adapted with the associated distance data.
  • the device V is in particular assigned a data and program memory in which a
  • Computer program is stored based on the
  • a fusion object data record is provided, which includes fusion object data which are each representative of a fusion object OF determined in the vicinity of the vehicle F.
  • fusion object data which are each representative of a fusion object OF determined in the vicinity of the vehicle F.
  • Fusion object data set is stored in a data memory of the device V and was in a previous one
  • a directional characteristic value is determined which is representative of an angle ex which a measuring direction M des
  • Distance sensor S1 in normal operation with a predetermined reference axis x of the vehicle F includes.
  • the measuring direction M of the distance sensor S1 can have been determined as a function of its detection characteristic.
  • a distance parameter d is determined depending on the object data, which is representative of a distance in
  • Fusion object data each have a contour segment Ks of the corresponding fusion object OF facing the vehicle F
  • an intersection point xs is determined between a vector in the measuring direction M and a straight line K G through the respective contour segment Ks.
  • intersection xs is in a lateral direction determined, i.e. as an offset with respect to the
  • Reference coordinate system R along the x and y axes.
  • the point of intersection xs of the direction vector of the distance measurement with the closest contour segment Ks of each fusion object OF is determined.
  • the respective distance parameter d is then determined in a step P36 as a function of the respective intersection point xs.
  • the respective measured distance value d is determined, with the measured distance value d being assigned to a fusion object OF in a subsequent step P70 only in the event that the deviation S d is less than a predetermined threshold value, specifically exclusively to the fusion object OF with the smallest determined deviation S d .
  • Step P60 can also be referred to as gating. In other words, only if the difference between the predicted distance of the
  • Distance sensor S1 to the intersection xs and the actual measured distance is smaller than a, depending on
  • Fusion object OF considered as a candidate for an association Any criteria can be used as a measure of the difference, such as Euclidean distance, Mahalanobi's distance, etc. can be used. Of all the fusion objects OF that have been determined as a candidate for an association, the distance measurement to the fusion object OF is associated with the smallest difference. Each distance measurement is only associated with a single fusion object OF. However, several distance measurements can be associated with a fusion object OF.
  • step P80 following step P70, depending on the transformation state and the transformation state
  • Transformation state A ' F can be determined.
  • Fusion object A F determined in order to be able to merge (sensor) object data again in subsequent steps.
  • the innovated transformation state A ' F is, for example, using / -1 () and ( ⁇ ) Back to the original
  • the existence probability of the fusion objects OF is also estimated, then the existence probability can also be assigned to the transformation state and innovated.
  • the program is then ended or, if necessary, continued with the updated object data record in step P10 after a predetermined interruption.

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Radar Systems Or Details Thereof (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Traffic Control Systems (AREA)

Abstract

Es werden ein Verfahren und eine Vorrichtung zur Sensordatenfusion für ein Fahrzeug sowie ein Fahrzeug, ein Computerprogramm sowie ein computerlesbares Speichermedium angegeben. Dem Fahrzeug (F) ist ein Abstandssensor (S1) zugeordnet, und bei dem Verfahren werden: Fusionsobjektdaten bereitgestellt, die repräsentativ sind für ein in der Umgebung des Fahrzeugs (F) ermitteltes Fusionsobjekt (OF); ein Richtungskennwert ermittelt, der repräsentativ ist für einen Winkel (α) der Messrichtung (M) des Abstandssensors (S1); ein Abstandsmesswert (d) des Abstandssensors (S1) erfasst; abhängig von dem Abstandsmesswert (d) und dem Richtungskennwert ein Fusionsobjekt (OF) ermittelt, dem der Abstandsmesswert (d) und der Richtungskennwert zugeordnet werden; und abhängig von dem Abstandsmesswert (d), dem Richtungskennwert und den Fusionsobjektdaten ein innoviertes Fusionsobjekt ermittelt.

Description

Beschreibung
Verfahren und eine Vorrichtung zur Sensordatenfusion für ein Fahrzeug
Die Erfindung betrifft ein Verfahren und eine Vorrichtung zur Sensordatenfusion für ein Fahrzeug. Darüber hinaus betrifft die Erfindung ein Fahrzeug, ein Computerprogramm sowie ein computerlesbares Speichermedium.
Zur Erkennung von Objekten in Umgebung eines Fahrzeugs werden oftmals heterogene Sensorvorrichtungen eingesetzt. Erkannte Objekte im Fahrzeugumfeld können zur sicheren Umsetzung von Assistenzfunktionen herangezogen werden, insbesondere für längs regelnde Funktionen wie Active Cruise Control, oder einen Kreuzungsassistent und für querregelnde Funktionen wie Lateral Collision Avoidance, Lenk- und Spurführungsassistent.
Bedingt durch unterschiedliche Messprinzipien der
eingesetzten Sensorvorrichtungen können die durch die
Sensorvorrichtungen erfassten Informationen über die Objekte unterschiedlich sein. Aufgrund beschränkter Rechenleistung in Fahrzeugen werden die durch die Sensorvorrichtungen
bereitgestellten Informationen üblicherweise auf High-Level- Ebene fusioniert. Das bedeutet, dass die Sensorvorrichtungen jeweils anhand der erfassten Informationen separat Objekte erkennen und diese in einer abstrakten, sensorunabhängigen Objektrepräsentation als Informationen bereitstellen
(sogenannte „Sensorobjekte") ; die bereitgestellten
Informationen werden dann durch eine separate
Sensordatenfusionseinheit zu jeweils einer
Objektrepräsentation je tatsächlichem Objekt zusammengeführt bzw. fusioniert (sogenannte „Fusionsobjekte") . Als Objektrepräsentation kommt beispielsweise ein Rechteck oder Quader in Betracht (vgl. Figur 1) . Für diese
Objektrepräsentation wird jedem Objekt 0 ein Referenzpunkt A zugewiesen, der bezüglich eines Referenzkoordinatensystems R, beispielsweise relativ zu einem vorgegebenen Bezugspunkt am/im Fahrzeug, eine laterale Verschiebung (x, y) , eine
Orientierung des Objekts 0, beispielsweise der Winkel zur x- Achse des Referenzkoordinatensystems R, sowie die Länge 1 (bezüglich x-Achse) und Breite b (bezüglich y-Achse) umfasst. Ein Referenzpunkt A, dem neben der lateralen Verschiebung (x, y) als Position des Objekts 0 eine Breite b, Länge 1 und Orientierung zugeordnet sind, kann auch als „Zustand"
bezeichnet werden. Dem Zustand können weitere Eigenschaften des Objekts 0 zugeordnet werden, beispielsweise die Höhe h (bezüglich z-Achse) , Geschwindigkeit oder ein Objekttyp. Jede Messgröße des Objekts 0 kann dabei als normalverteilte
Zufallsvariable mit Varianz und Kovarianzen bezüglich der anderen Messgrößen modelliert und diese Werte ebenfalls dem Zustand zugeordnet werden.
Bei der High-Level-Fusion werden also lediglich die
bereitgestellten Objektrepräsentationen der einzelnen
Sensorvorrichtungen fusioniert, insbesondere also
Sensorobjekte zu Fusionsobjekten assoziiert und fusioniert; die sensorspezifisch erfassten Informationen über die Objekte werden von den Sensorvorrichtungen selbst verarbeitet und bleiben von der Sensordatenfusionseinheit unberücksichtigt. Dadurch ist die Rechenlast über Sensorvorrichtungen und
Sensordatenfusionseinheit verteilt; statt sensorspezifischer Datenverarbeitung oder Kommunikation kann auf
Objektrepräsentationen zurückgegriffen werden. Nachteilig ist, dass durch die Vorverarbeitung der erfassten Informationen durch die Sensorvorrichtungen und der damit einhergehenden Abstraktion Informationen über die Objekte verlorengehen. Ebenfalls nachteilig ist, dass auf einige Sensordaten, welche den Anforderungen der eingesetzten
Objektrepräsentation nicht genügen, zu oben genannter High- Level-Fusion nicht zurückgegriffen werden kann. Insbesondere betrifft dies vergleichsweise kostengünstige
Sensorvorrichtungen wie z.B. Abstandssensoren, bei denen einzelne Messgrößen der eingesetzten Objektrepräsentation, nicht gemessen werden können.
Die Aufgabe, die der Erfindung zugrunde liegt, ist es, ein Verfahren zur Sensordatenfusion für ein Fahrzeug sowie eine entsprechende Vorrichtung, ein Fahrzeug, Computerprogramm sowie computerlesbares Speichermedium zu schaffen, durch das die genannten Nachteile überwunden werden können.
Die Aufgabe wird gelöst durch die unabhängigen
Patentansprüche. Vorteilhafte Ausgestaltungen sind in den Unteransprüchen gekennzeichnet .
Gemäß einem ersten Aspekt betrifft die Erfindung ein
Verfahren zur Sensordatenfusion für ein Fahrzeug, dem ein Abstandssensor zugeordnet ist. Bei dem Verfahren wird ein Fusionsobjektdatensatz bereitgestellt, der Fusionsobjektdaten umfasst. Die Fusionsobjektdaten sind jeweils repräsentativ für ein in der Umgebung des Fahrzeugs ermitteltes
Fusionsobjekt .
Bei dem Verfahren wird ferner ein Richtungskennwert
ermittelt. Der Richtungskennwert ist repräsentativ für einen Winkel, den eine Messrichtung des Abstandssensors im bestimmungsgemäßen Betrieb mit einer vorgegebenen Bezugsachse eines vorgegebenen Referenzkoordinatensystems des Fahrzeugs einschließt .
Darüber hinaus wird ein Abstandsmesswert des Abstandssensors erfasst .
Abhängig von dem Abstandsmesswert und dem Richtungskennwert wird ein Fusionsobjekt ermittelt, dem der Abstandsmesswert und der Richtungskennwert zugeordnet werden.
Ferner wird abhängig von dem Abstandsmesswert, dem
Richtungskennwert und den entsprechenden Fusionsobjektdaten ein innoviertes Fusionsobjekt ermittelt.
In vorteilhafter Weise ermöglicht dies den Einsatz von
Abstandssensoren zur High-Level-Fusion bei Fahrzeugen.
Durch die Fusion von Objektdaten und Abstandsmesswerten können nahezu sämtliche Abstandssensoren genutzt werden, insbesondere auch vergleichsweise kostengünstige
Ultraschallsensoren oder Radarsensoren mit geringer
Winkelauflösung bzw. bei Winkelinformation mit hoher
Unsicherheit .
Dadurch, dass bei der Fusion der Abstandsmesswerte ein bereits vorliegender Fusionsobjektdatensatz verwendet wird, kann eine Assoziation der Abstandsmesswerte zu erkannten Objekten vereinfacht umgesetzt werden, so dass eine
Implementierung auf im Fahrzeug eingesetzten,
leistungsschwachen Steuergeräten ermöglicht wird.
Die bereitgestellten Fusionsobjektdaten sind insbesondere repräsentativ für Fusionsobjekte in Rechteck- oder Quader- Objektrepräsentation . Als vorgegebene Bezugsachse kommt beispielsweise die Längsachse des Fahrzeugs in Betracht.
Der Schritt, in dem abhängig von dem Abstandsmesswert und dem Richtungskennwert ein Fusionsobjekt aus dem
Fusionsobjektdatensatz zur Zuordnung ermittelt wird, kann auch als Assoziationsschritt bezeichnet werden.
Der Schritt, in dem abhängig von dem Abstandsmesswert, dem Richtungskennwert und den Fusionsobjektdaten, die dem im Assoziationsschritt zugeordneten Fusionsobjekt entsprechen, ein innoviertes Fusionsobjekt ermittelt wird, kann auch als Innovationsschritt oder Fusion bezeichnet werden.
In einer vorteilhaften Ausgestaltung gemäß dem ersten Aspekt wird abhängig von den Objektdaten jeweils ein
Abstandskennwert ermittelt. Der Abstandskennwert ist
repräsentativ für einen Abstand in Messrichtung zwischen dem Abstandssensor und je einem in der Umgebung des Fahrzeugs ermittelten Fusionsobjekt.
Überdies wird jeweils eine Abweichung zwischen dem jeweiligen Abstandskennwert und dem Abstandsmesswert ermittelt. Nur im Falle, dass die Abweichung geringer ist als ein vorgegebener Schwellenwert, werden der Abstandsmesswert und der
Richtungskennwert einem Fusionsobjekt zugeordnet.
Anderenfalls wird der entsprechende Abstandsmesswert und/oder Richtungskennwert beispielsweise verworfen oder geprüft, ob der Abstandsmesswert eine geringere Abweichung zu einem
Abstandskennwert aufweist, der einem anderen Fusionsobjekt aus Fusionsobjektdatensatz zugeordnet ist. In vorteilhafter Weise ermöglicht dies eine Datenreduktion, so dass eine Rechenlast bei der Verarbeitung gering gehalten werden kann. Dieser Schritt kann auch als Gating bezeichnet werden. Der Abstandskennwert stellt dabei keinen
tatsächlichen Messwert dar, sondern entspricht vielmehr einer Prädiktion anhand des bereits vorliegenden
Fusionsobjektdatensatzes, welchen Abstandsmesswert der
Abstandssensor je Fusionsobjekt wahrscheinlich ausgeben wird. Als Maß der Abweichung kann beispielhaft die euklidische Distanz oder Mahalanobis Distanz verwendet werden.
In einer weiteren vorteilhaften Ausgestaltung gemäß dem ersten Aspekt wird der Abstandsmesswert ausschließlich dem Fusionsobjekt mit der geringsten ermittelten Abweichung zugeordnet. Beispielsweise werden dabei zunächst mehrere potentielle Fusionsobjekte als Kandidaten für die Zuordnung ermittelt, deren jeweiliger Abweichung den Schwellenwert unterschreitet. In einem zweiten Schritt kann dann mittels eines sogenannten local nearest neighbour gating Verfahrens das Fusionsobjekt mit der geringsten Abweichung aus den
Kandidaten ermittelt werden.
In einer weiteren vorteilhaften Ausgestaltung gemäß dem ersten Aspekt wird abhängig von den Fusionsobjektdaten jeweils ein dem Fahrzeug zugewandtes Kontursegment des entsprechenden Fusionsobjekts ermittelt.
Darüber hinaus wird ausgehend von dem Abstandssensor jeweils ein Schnittpunkt zwischen einem Vektor in Messrichtung und einer Gerade entlang des jeweiligen Kontursegments ermittelt.
Schließlich wird abhängig von dem jeweiligen Schnittpunkt der jeweilige Abstandskennwert ermittelt. In vorteilhafter Weise kann so eine Varianz der Messgrößen Länge und Breite des Objekts berücksichtigt werden.
In einer weiteren vorteilhaften Ausgestaltung gemäß dem ersten Aspekt umfassen die Fusionsobjektdaten einen
Fusionsreferenzpunkt, eine laterale Erstreckung des
Fusionsobjekts bezüglich des Fusionsreferenzpunkts, eine Orientierung des Fusionsobjekts bezüglich des
Referenzkoordinatensystems des Fahrzeugs sowie jeweils einen Indikatorkennwert, der repräsentativ ist für eine
Unsicherheit bei der Ermittlung der lateralen Erstreckung und Orientierung .
Abhängig von den Fusionsobjektdaten und dem Schnittpunkt wird daraufhin ein Transformationszustand ermittelt. Der
Transformationszustand umfasst eine laterale Erstreckung des Fusionsobjekts bezüglich des Schnittpunkts, die Orientierung des Fusionsobjekts bezüglich des Referenzkoordinatensystems des Fahrzeugs sowie jeweils einen Indikatorkennwert, der repräsentativ ist für eine Unsicherheit bei der Ermittlung der lateralen Erstreckung und Orientierung.
Der Fusionsreferenzpunkt kann auch als Zustand des
Fusionsobjekts bezeichnet werden. In vorteilhafter Weise kann durch diese Ausgestaltung der Zustand des Fusionsobjekts unter Berücksichtigung der Unsicherheiten auf den ermittelten Schnittpunkt transformiert werden.
In einer weiteren vorteilhaften Ausgestaltung gemäß dem ersten Aspekt wird abhängig von dem Transformationszustand und den Indikatorkennwerten, dem Abstandsmesswert und dem Richtungskennwert ein innovierter Transformationszustand ermittelt .
Daraufhin wird abhängig von dem innovierten
Transformationszustand ein innoviertes Fusionsobjekt
ermittelt .
Der innovierte Transformationszustand bezeichnet einen um die Messdaten des Abstandssensors ergänzten
Transformationszustand. In vorteilhafter Weise kann der
Zustand des Fusionsobjekts im ermittelten Schnittpunkt so mit dem ermittelten Abstandsmesswert und dem Richtungskennwert unter Berücksichtigung der Unsicherheiten angepasst werden. Der Schritt, in dem abhängig von dem innovierten
Transformationszustand ein innoviertes Fusionsobjekt
ermittelt wird, umfasst insbesondere eine Rücktransformation auf den ursprünglichen Fusionsreferenzpunkt, so dass
nachfolgend wieder eine Fusion des innovierten Fusionsobjekts mit Sensorobjekten ermöglicht wird.
In einer weiteren vorteilhaften Ausgestaltung gemäß dem ersten Aspekt wird die Messrichtung des Abstandssensors abhängig von einer Detektionscharakteristik des
Abstandssensors ermittelt, insbesondere im Falle, dass es sich bei dem Abstandssensor um einen Ultraschallsensor handelt. Alternativ kann die Messrichtung beispielsweise durch eine Verbauung des Abstandssensors vorgegeben sein und beispielhaft durch eine werksseitige Kalibrierung in der Sensordatenfusionseinheit hinterlegt sein.
Gemäß einem zweiten Aspekt betrifft die Erfindung eine
Vorrichtung zur Sensordatenfusion für ein Fahrzeug. Die
Vorrichtung ist ausgebildet, ein Verfahren gemäß dem ersten Aspekt auszuführen. Die Vorrichtung kann auch als Sensordatenfusionseinheit bezeichnet werden.
Gemäß einem dritten Aspekt betrifft die Erfindung ein
Fahrzeug. Das Fahrzeug umfasst eine Vorrichtung zur
Sensordatenfusion gemäß dem zweiten Aspekt sowie einen
Abstandssensor .
In einer vorteilhaften Ausgestaltung gemäß dem dritten Aspekt umfasst das Fahrzeug eine weitere Sensorvorrichtung. Die weitere Sensorvorrichtung ist eingerichtet, Messdaten zu erfassen, die repräsentativ sind für eine Umgebung des
Fahrzeugs .
Darüber hinaus ist die weitere Sensorvorrichtung dazu
eingerichtet, abhängig von den Messdaten Sensorobjektdaten zu ermitteln, die repräsentativ sind für ein in der Umgebung des Fahrzeugs durch die weitere Sensorvorrichtung ermitteltes Sensorobjekt .
Ferner ist die Vorrichtung ausgebildet, abhängig von dem Fusionsobjektdatensatz und den Sensorobjektdaten ein
innoviertes Fusionsobjekt zu ermitteln. Das innovierte
Fusionsobjekt ist beispielhaft repräsentiert durch
Fusionsobjektdaten, die in dem Fusionsobjektdatensatz gespeichert werden.
In einer weiteren vorteilhaften Ausgestaltung gemäß dem dritten Aspekt umfasst die weitere Sensorvorrichtung
wenigstens eines aus einer Kamera, einem RaDAR, Radio
Detection And Ranging, -Sensor, einem LiDAR, Light Detection And Ranging, -Sensor oder einem LaDAR, Laser Detection And Ranging, -Sensor oder besteht daraus. In einer weiteren vorteilhaften Ausgestaltung gemäß dem dritten Aspekt umfasst der Abstandssensor wenigstens eines aus einem Ultraschallsensor, einem Punktlasersensor, einem Infrarotsensor oder einem RaDAR, Radio Detection And Ranging, -Sensor oder besteht daraus.
Gemäß einem vierten Aspekt betrifft die Erfindung ein
Computerprogramm zur Sensordatenfusion für ein Fahrzeug. Das Computerprogramm umfasst Befehle, die bei der Ausführung des Programms durch einen Computer diesen veranlassen, das
Verfahren gemäß dem ersten Aspekt auszuführen.
Gemäß einem fünften Aspekt betrifft die Erfindung ein
computerlesbares Speichermedium, auf dem das Computerprogramm gemäß dem vierten Aspekt gespeichert ist.
Ausführungsbeispiele der Erfindung sind im Folgenden anhand der schematischen Zeichnungen näher erläutert.
Es zeigen:
Figur 1 eine beispielhafte Objektrepräsentation;
Figur 2 ein Ausführungsbeispiel eines erfindungsgemäßen
Fahrzeugs mit einer Vorrichtung zur
Sensordatenfusion; und
Figur 3 ein beispielhaftes Ablaufdiagramm eines Verfahrens zur Sensordatenfusion.
Elemente gleicher Konstruktion oder Funktion sind
figurenübergreifend mit den gleichen Bezugszeichen versehen. Im Folgenden wird ein System vorgeschlagen, das es ermöglicht, in einer High-Level-Objektfusion auch
Abstandsmesswerte zu fusionieren. Anhand des
Ausführungsbeispiels der Figur 2 ist ein erfindungsgemäßes Fahrzeug F mit einer Vorrichtung V zur Sensordatenfusion sowie einem Abstandssensor S1 dargestellt, der eingerichtet ist, Abstandsmesswerte d zu erfassen. Dabei kann es sich z.B. um einen Ultraschall-, Punktlaser- oder Infrarotsensor handeln. Unabhängig von der verwendeten Methode zur High- Level-Objektfusion wird im Automobilbereich als Ergebnis der Objektfusion üblicherweise eine Liste von Rechtecken bzw. Quadern (vgl. Fig. 1) als Objektrepräsentation ausgegeben, welche erkannte, insbesondere bewegliche, Objekte in der Umgebung des Fahrzeugs F repräsentieren. Figur 2 zeigt ein solches Fusionsobjekt OF, dem ein Fusionsreferenzpunkt AF, eine Länge 1 und Breite b bezüglich des Fusionsreferenzpunkt A, eine Orientierung des Fusionsobjekts OF bezüglich eines Referenzkoordinatensystems R des Fahrzeugs F sowie jeweils ein Indikatorkennwert, der repräsentativ ist für eine
Unsicherheit bei der Ermittlung der Länge 1, Breite b und Orientierung zugeordnet sind. Die Unsicherheit kann
beispielsweise durch eine Varianz ausgedrückt sein.
Neben dem Abstandsmesswert d kann durch die Ausrichtung des Abstandssensors S1 oder im Falle eines z.B.
Ultraschallsensors aus der Detektionscharakteristik eine Messrichtung ermittelt werden, in der der Abstandsmesswert d erfasst wurde. Darüber hinaus können zugehörige Varianzen bei der Messung ermittelt werden.
Das Fahrzeug F weist ferner beispielhaft eine weitere
Sensorvorrichtung S2 auf, die zur Erfassung der Umgebung des Fahrzeugs F eingerichtet ist. Der Abstandssensor S1 sowie die weitere Sensorvorrichtung S2 sind mit der Vorrichtung V zur Sensordatenfusion signaltechnisch gekoppelt. Die weitere Sensorvorrichtung S2 stellt dabei Sensorobjektdaten bereit, die durch die Vorrichtung V nach einem beliebigen Verfahren zur High-Level-Objektfusion fusioniert und in einem
Fusionsobjektdatensatz gespeichert werden. Beispielhaft wird in diesem Zusammenhang auf die Ausführungen von N. Kämpchen in „Feature-level fusion of laser Scanner and video data", Ulm: Ulm University, 2007; und F. Seeliger in
„Fahrzeugübergreifende Informationsfusion", Ulm:
Schriftenreihe des Instituts für Mess-, Regel- und
Mikrotechnik der Universität Ulm, 2017 verwiesen.
Um die Abstandsmesswerte d mit den Fusionsobjektdaten zu fusionieren, werden diese gemäß dem erfindungsgemäßen
Verfahren wie folgt zu jeweils einem Fusionsobjekt OF
assoziiert und der Objektzustand anschließend innoviert . Im Assoziationsschritt wird die Abstandsmessung des
Abstandssensors S1 zu einem Fusionsobjekt OF aus der
fusionierten Objektliste bzw. aus dem Fusionsobjektdatensatz zugeordnet. Sollte das Fahrzeug F mehr als einen
Abstandssensor S1 aufweisen, so sind die im Folgenden
beschriebenen Schritte entsprechend für jeden dieser
Abstandssensoren je Messung anzuwenden. Bei der Innovation wird der Zustand jedes Fusionsobjekts OF mit den assoziierten Abstandsdaten angepasst.
Der Vorrichtung V ist in diesem Zusammenhang insbesondere ein Daten- und Programmspeicher zugeordnet, in dem ein
Computerprogramm gespeichert ist, das anhand des
Ablaufdiagramms der Figur 3 im Folgenden näher erläutert wird . In einem ersten Schritt P10 wird ein Fusionsobjektdatensatz bereitgestellt, der Fusionsobjektdaten umfasst, die jeweils repräsentativ sind für ein in der Umgebung des Fahrzeugs F ermitteltes Fusionsobjekt OF. Beispielsweise ist der
Fusionsobjektdatensatz in einem Datenspeicher der Vorrichtung V hinterlegt und wurde in einem vorangegangenen
Fusionsverfahren aus den Sensorobjektdaten der weiteren
Sensorvorrichtung S2 ermittelt .
Das Programm wird in einem Schritt P20 fortgesetzt, in dem ein Richtungskennwert ermittelt wird, der repräsentativ ist für einen Winkel ex, den eine Messrichtung M des
Abstandssensors S1 im bestimmungsgemäßen Betrieb mit einer vorgegebenen Bezugsachse x des Fahrzeugs F einschließt.
In diesem Zusammenhang kann in einem vorausgehenden Schritt P18 die Messrichtung M des Abstandssensors S1 abhängig von seiner Detektionscharakteristik ermittelt worden sein.
In einem auf den Schritt P20 folgenden Schritt P30 wird abhängig von den Objektdaten jeweils ein Abstandskennwert d ermittelt, der repräsentativ ist für einen Abstand in
Messrichtung M zwischen dem Abstandssensor S1 und je einem in der Umgebung des Fahrzeugs F ermittelten Fusionsobjekt OF.
Hierzu wird in einem Schritt P32 abhängig von den
Fusionsobjektdaten jeweils ein dem Fahrzeug F zugewandtes Kontursegment Ks des entsprechenden Fusionsobjekts OF
ermittelt und in einem anschließenden Schritt P34 ausgehend von dem Abstandssensor S1 jeweils ein Schnittpunkt xs zwischen einem Vektor in Messrichtung M und einer Gerade KG durch das jeweilige Kontursegment Ks ermittelt. Der
Schnittpunkt xs wird insbesondere in einer lateralen Richtung bestimmt, also als Versatz bezüglich des
Referenzkoordinatensystems R entlang x- und y-Achse . In anderen Worten wird der Schnittpunkt xs des Richtungsvektors der Abstandsmessung mit dem nächstliegenden Kontursegment Ks jedes Fusionsobjekts OF bestimmt. Abhängig von der Varianz der Objektausdehnung (Länge 1 und Breite b) kann es auch Schnittpunkte xs geben, die auf den jeweiligen Verlängerungen KG der Kontursegmente Ks, leicht neben dem Fusionsobjekt OF liegen. Der jeweilige Abstandskennwert d wird dann in einem Schritt P36 abhängig von dem jeweiligen Schnittpunkt xs ermittelt .
Im Anschluss wird in einem Schritt S40 abhängig von den
Fusionsobjektdaten und dem Schnittpunkt xs ein
Transformationszustand ermittelt, der die Länge und Breite des Fusionsobjekts OF bezüglich des Schnittpunkts xs, die Orientierung des Fusionsobjekts OF bezüglich des
Referenzkoordinatensystems R sowie jeweils einen
entsprechenden Indikatorkennwert umfasst, um so den Zustand des Fusionsobjekts OF unter Berücksichtigung der
Unsicherheiten auf den ermittelten Schnittpunkt xs zu
transformieren. Dabei wird der Objektzustand bzw. der
Fusionsreferenzpunkt AF anhand der Funktion A'F = f(AF) vom aktuellen Fusionsreferenzpunkt AF auf der Objektkontur Ks auf den Schnittpunkt xs transformiert, wobei A'F den
Transformationszustand bezeichnet. Entsprechend werden die Varianzen PAp des Objektzustands mittels P'AF = Jf
Figure imgf000016_0001
, wobei Jf(AF) die Jakobi-Matrix von /() im Punkt AF, in den Schnittpunkt xs transformiert.
In einem darauffolgenden Schritt P50 wird ein
Abstandsmesswert d des Abstandssensors S1 erfasst. Anschließend wird in einem Schritt P60 jeweils eine
Abweichung Sd zwischen dem Abstandskennwert d und dem
jeweiligen Abstandsmesswert d ermittelt, wobei nur im Falle, dass die Abweichung Sd geringer ist als ein vorgegebener Schwellenwert, der Abstandsmesswert d in einem anschließenden Schritt P70 einem Fusionsobjekt OF zugeordnet wird, und zwar ausschließlich dem Fusionsobjekt OF mit der geringsten ermittelten Abweichung Sd. Der Schritt P60 kann auch als Gating bezeichnet werden. In anderen Worten wird nur wenn der Unterschied zwischen dem prädizierten Abstand des
Abstandssensors S1 zum Schnittpunkt xs und dem tatsächlichen gemessenen Abstand kleiner ist als ein, je nach
Anwendungsfall applizierbarer, Schwellenwert, das
Fusionsobjekt OF als ein Kandidat für eine Assoziation berücksichtigt. Als Maß für den Unterschied können beliebige Kriterien, wie z.B. der euklidischen Distanz, Mahalanobis Distanz, usw. verwendet werden. Von allen Fusionsobjekten OF, die als Kandidat für eine Assoziation bestimmt wurden, wird die Abstandmessung zu dem Fusionsobjekt OF mit dem kleinsten Unterschied assoziiert. Dabei wird jede Abstandsmessung lediglich zu einem einzigen Fusionsobjekt OF assoziiert. Es können jedoch mehrere Abstandmessungen zu einem Fusionsobjekt OF assoziiert werden.
In einem auf den Schritt P70 folgenden Schritt P80 wird abhängig von dem Transformationszustand und den
Indikatorkennwerten, dem Abstandsmesswert d und dem
Richtungskennwert ein innovierter Transformationszustand ermittelt .
Dabei wird der Transformationszustand A'F bezüglich des
Schnittpunkts xs mit den in Schritt P70 assoziierten
Abstandsdaten angepasst. Insbesondere kann hierzu folgendes Modell für die Messung verwendet werden, mit dem zu jedem Zustand mit den Koordinaten (X, Y) die erwartete Messung z= (d, cc) berechnet werden kann: d = y/X2+ Y2 (1)
a = 2 tan-1 (
\X+dJ 2)
Figure imgf000018_0001
Mit den Formeln (1) und (2) des Modells kann und unter
Berücksichtigung der Formel (3) , die die Unsicherheit der Abstandsmessung als Varianz vard und der Richtungsmessung als vara widerspiegeln, mit gängigen Fusionsansätzen, wie
beispielhaft in F. Seeliger in „Fahrzeugübergreifende
Informationsfusion", Ulm: Schriftenreihe des Instituts für Mess-, Regel- und Mikrotechnik der Universität Ulm, 2017 erläutert, die für den Transformationszustand A' F erwartete Messung z bestimmt und A' F im Schnittpunkt Xs entsprechend der Differenz zwischen erwarteter und tatsächlicher Messung des Abstandssensors S1 angepasst werden, also der innovierte
Transformationszustand A'F ermittelt werden.
In einem darauffolgenden Schritt P90 wird abhängig von dem innovierten Transformationszustand A'F ein innoviertes
Fusionsobjekt AF ermittelt, um in nachfolgenden Schritten wieder (Sensor-) objektdaten fusionieren zu können. Hierzu wird der innovierte Transformationszustand A'F beispielsweise mittels /-1() und
Figure imgf000018_0002
(·) wieder auf den ursprünglichen
Fusionsreferenzpunkt AF des Fusionsobjektes OF
zurücktransformiert . Sollte bei dem verwendeten Fusionsansatz auch die Existenzwahrscheinlichkeit der Fusionsobjekte OF geschätzt werden, so kann auch die Existenzwahrscheinlichkeit dem Transformationszustand zugeordnet und innoviert werden.
Das Programm wird anschließend beendet oder gegebenenfalls nach einer vorgegebenen Unterbrechung in dem Schritt P10 mit aktualisiertem Objektdatensatz fortgesetzt.

Claims

Patentansprüche
1. Verfahren zur Sensordatenfusion für ein Fahrzeug (F) , wobei dem Fahrzeug (F) ein Abstandssensor (Sl)
zugeordnet ist, und bei dem Verfahren
- ein Fusionsobjektdatensatz bereitgestellt wird, umfassend
Fusionsobjektdaten, die jeweils repräsentativ sind für ein in der Umgebung des Fahrzeugs (F) ermitteltes
Fusionsobjekt (OF) ,
- ein Richtungskennwert ermittelt wird, der repräsentativ ist für einen Winkel ( ) , den eine Messrichtung (M) des Abstandssensors (Sl) im bestimmungsgemäßen Betrieb mit einer vorgegebenen Bezugsachse (x) eines vorgegebenen Referenzkoordinatensystems (R) des Fahrzeugs (F) einschließt ,
- ein Abstandsmesswert (d) des Abstandssensors (Sl) erfasst wird,
- abhängig von dem Abstandsmesswert (d) und dem
Richtungskennwert ein Fusionsobjekt (OF) ermittelt wird, dem der Abstandsmesswert (d) und der Richtungskennwert zugeordnet werden und
- abhängig von dem Abstandsmesswert (d) , dem
Richtungskennwert und den entsprechenden
Fusionsobjektdaten ein innoviertes Fusionsobjekt
ermittelt wird.
2. Verfahren nach Anspruch 1, bei dem
- abhängig von den Fusionsobjektdaten jeweils ein
Abstandskennwert (d) ermittelt wird, der repräsentativ ist für einen Abstand in Messrichtung (M) zwischen dem Abstandssensor (Sl) und je einem in der Umgebung des Fahrzeugs (F) ermittelten Fusionsobjekt (OF) und - jeweils eine Abweichung (Sd) zwischen dem jeweiligen
Abstandskennwert (d) und dem Abstandsmesswert (d) ermittelt wird, wobei nur im Falle, dass die Abweichung (Sd) geringer ist als ein vorgegebener Schwellenwert, der Abstandsmesswert (d) und der Richtungskennwert einem Fusionsobjekt (OF) zugeordnet werden.
3. Verfahren nach Anspruch 2, bei dem
- der Abstandsmesswert (d) und der Richtungskennwert
ausschließlich dem Fusionsobjekt (OF) mit der geringsten ermittelten Abweichung (Sd) zugeordnet werden.
4. Verfahren nach einem der vorstehenden Ansprüche 2 oder 3, bei dem
- abhängig von den Fusionsobjektdaten jeweils ein dem
Fahrzeug (F) zugewandtes Kontursegment (Ks) des
entsprechenden Fusionsobjekts (OF) ermittelt wird,
- ausgehend von dem Abstandssensor (Sl) jeweils ein
Schnittpunkt (xs) zwischen einem Vektor in Messrichtung (M) und einer Gerade (KG) entlang des jeweiligen
Kontursegments (Ks) ermittelt wird, und
- abhängig von dem jeweiligen Schnittpunkt (xs) der jeweilige
Abstandskennwert (d) ermittelt wird.
5. Verfahren nach Anspruch 4, bei dem
- die Fusionsobjektdaten einen Fusionsreferenzpunkt (AF) ,
eine laterale Erstreckung des Fusionsobjekts (OF) bezüglich des Fusionsreferenzpunkts (AF) , eine
Orientierung des Fusionsobjekts (OF) bezüglich des
Referenzkoordinatensystems (R) des Fahrzeugs (F) sowie jeweils einen Indikatorkennwert umfassen, der
repräsentativ ist für eine Unsicherheit bei der Ermittlung der lateralen Erstreckung und Orientierung, und
- abhängig von den Fusionsobjektdaten und dem Schnittpunkt
(xs) ein Transformationszustand ermittelt wird,
umfassend eine laterale Erstreckung des Fusionsobjekts (OF) bezüglich des Schnittpunkts (xs) , die Orientierung des Fusionsobjekts (OF) bezüglich des
Referenzkoordinatensystems (R) des Fahrzeugs (F) sowie jeweils einen Indikatorkennwert, der repräsentativ ist für eine Unsicherheit bei der Ermittlung der lateralen Erstreckung und Orientierung.
6. Verfahren nach Anspruch 5, bei dem
- abhängig von dem Transformationszustand und den
Indikatorkennwerten, dem Abstandsmesswert (d) und dem Richtungskennwert ein innovierter Transformationszustand ermittelt wird, und
- abhängig von dem innovierten Transformationszustand ein innoviertes Fusionsobjekt ermittelt wird.
7. Verfahren nach einem der vorstehenden Ansprüche, bei dem
- die Messrichtung (M) des Abstandssensors (Sl) abhängig von einer Detektionscharakteristik des Abstandssensors (Sl) ermittelt wird.
8. Vorrichtung (V) zur Sensordatenfusion für ein Fahrzeug (F) , wobei die Vorrichtung (V) ausgebildet ist, ein Verfahren nach einem der vorstehenden Ansprüche 1 bis 7 auszuführen .
9. Fahrzeug (F) , umfassend eine Vorrichtung (V) zur
Sensordatenfusion nach Anspruch 8 sowie einen
Abstandssensor (Sl) .
10. Fahrzeug (F) nach Anspruch 9, umfassend eine weitere Sensorvorrichtung (S2), die eingerichtet ist
- Messdaten zu erfassen, die repräsentativ sind für eine
Umgebung des Fahrzeugs (F) ,
- abhängig von den Messdaten Sensorobjektdaten zu ermitteln, die repräsentativ sind für ein in der Umgebung des
Fahrzeugs (F) durch die weitere Sensorvorrichtung (S2) ermitteltes Sensorobjekt (Os) und
- die Vorrichtung (V) ausgebildet ist, abhängig von dem
Fusionsobjektdatensatz und den Sensorobjektdaten ein innoviertes Fusionsobjekt (OF) ZU ermitteln.
11. Fahrzeug (F) nach Anspruch 10, bei dem
- die weitere Sensorvorrichtung (S2) wenigstens eines umfasst aus einer Kamera, einem RaDAR, Radio Detection And
Ranging, -Sensor, einem LiDAR, Light Detection And
Ranging, -Sensor oder einem LaDAR, Laser Detection And Ranging, -Sensor oder daraus besteht.
12. Fahrzeug (F) nach einem der vorstehenden Ansprüche 9 bis 11, bei dem
- der Abstandssensor (Sl) wenigstens eines umfasst aus einem
Ultraschallsensor, einem Punktlasersensor, einem
Infrarotsensor oder einem RaDAR, Radio Detection And Ranging, -Sensor oder daraus besteht.
13. Computerprogramm zur Sensordatenfusion für ein Fahrzeug (F) , umfassend Befehle, die bei der Ausführung des
Computerprogramms durch einen Computer diesen
veranlassen, das Verfahren nach einem der Ansprüche 1 bis 7 auszuführen.
14. Computerlesbares Speichermedium, auf dem das
Computerprogramm nach Anspruch 13 gespeichert ist.
PCT/EP2019/079225 2019-02-06 2019-10-25 Verfahren und eine vorrichtung zur sensordatenfusion für ein fahrzeug WO2020160798A1 (de)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201980084091.2A CN113227834B (zh) 2019-02-06 2019-10-25 用于车辆的传感器数据融合的方法和装置
US17/417,386 US20220075053A1 (en) 2019-02-06 2019-10-25 Method and apparatus for sensor data fusion for a vehicle

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102019102923.6 2019-02-06
DE102019102923.6A DE102019102923B4 (de) 2019-02-06 2019-02-06 Verfahren und eine Vorrichtung zur Sensordatenfusion für ein Fahrzeug

Publications (1)

Publication Number Publication Date
WO2020160798A1 true WO2020160798A1 (de) 2020-08-13

Family

ID=68344881

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2019/079225 WO2020160798A1 (de) 2019-02-06 2019-10-25 Verfahren und eine vorrichtung zur sensordatenfusion für ein fahrzeug

Country Status (4)

Country Link
US (1) US20220075053A1 (de)
CN (1) CN113227834B (de)
DE (1) DE102019102923B4 (de)
WO (1) WO2020160798A1 (de)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023150430A1 (en) * 2022-02-01 2023-08-10 Zoox, Inc. Distance representation and encoding

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112765183B (zh) * 2021-02-02 2022-02-11 浙江公共安全技术研究院有限公司 多源数据融合方法、装置、存储介质及电子设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102007005121A1 (de) * 2006-02-03 2007-09-06 GM Global Technology Operations, Inc., Detroit Verfahren und Vorrichtung für eine fahrzeuginterne Kalibrierung und Orientierung von Objektverfolgungssystemen
DE102015214743A1 (de) * 2015-08-03 2017-02-09 Audi Ag Verfahren und Vorrichtung in einem Kraftfahrzeug zur verbesserten Datenfusionierung bei einer Umfelderfassung
US20180356505A1 (en) * 2017-06-09 2018-12-13 Toyota Jidosha Kabushiki Kaisha Target object information acquisition apparatus
DE102018114042A1 (de) * 2017-06-14 2018-12-20 Gm Global Technology Operations, Llc Vorrichtung, verfahren und system zur multimodalen fusionsverarbeitung von daten mit mehreren verschiedenen formaten, die von heterogenen vorrichtungen erfasst wurden

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10235414A1 (de) * 2002-08-02 2004-02-12 Robert Bosch Gmbh Verfahren und Vorrichtung zur Ermittlung des Bevorstehens einer unausweichbaren Kollision
DE10319700A1 (de) * 2003-05-02 2004-11-18 Ibeo Automobile Sensor Gmbh Verfahren und Vorrichtung zur Ermittlung einer Wahrscheinlichkeit für eine Kollision eines Fahrzeugs mit einem Gegenstand
DE102010002105A1 (de) * 2010-02-18 2011-08-18 Robert Bosch GmbH, 70469 Verfahren zur Unterstützung eines Fahrers eines Fahrzeugs bei einem Fahrmanöver
DE102010063133A1 (de) * 2010-12-15 2012-06-21 Robert Bosch Gmbh Verfahren und System zur Bestimmung einer Eigenbewegung eines Fahrzeugs
DE102012014939A1 (de) * 2012-07-27 2014-01-30 Volkswagen Aktiengesellschaft Verfahren und Vorrichtung zur Kollisionsvermeidung
KR101927162B1 (ko) * 2012-12-17 2018-12-10 현대자동차 주식회사 센서 퓨전 시스템 및 그 방법
TWI590969B (zh) * 2014-08-20 2017-07-11 啟碁科技股份有限公司 預警方法及車用雷達系統
DE102014218429A1 (de) * 2014-09-15 2016-03-17 Bayerische Motoren Werke Aktiengesellschaft Verfahren zur Ausführung einer zumindest teilweise automatisierten Bewegung eines Fahrzeugs innerhalb eines räumlich begrenzten Bereichs
DE102014223363B4 (de) * 2014-11-17 2021-04-29 Volkswagen Aktiengesellschaft Verfahren und Vorrichtung zur Lokalisation eines Kraftfahrzeugs in einer ortsfesten Referenzkarte
US9784829B2 (en) * 2015-04-06 2017-10-10 GM Global Technology Operations LLC Wheel detection and its application in object tracking and sensor registration
CN105109484B (zh) * 2015-08-21 2017-11-14 奇瑞汽车股份有限公司 目标障碍物体确定方法及装置
CN105682222B (zh) * 2016-03-01 2019-02-19 西安电子科技大学 一种基于车辆自组织网络的车辆位置定位信息融合方法
US10394237B2 (en) * 2016-09-08 2019-08-27 Ford Global Technologies, Llc Perceiving roadway conditions from fused sensor data
CN106448187B (zh) * 2016-11-14 2022-09-23 苏州大学 基于磁传感器和超声波传感器融合的车辆检测系统及方法
DE102017101772A1 (de) * 2017-01-30 2018-09-06 Valeo Schalter Und Sensoren Gmbh Verfahren zum Erfassen eines Objekts in einem Umgebungsbereich eines Kraftfahrzeugs mittels eines Radarsensors mit Bestimmung von Abmessungen des Objekts, Radarsensor, Fahrerassistenzsystem sowie Kraftfahrzeug

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102007005121A1 (de) * 2006-02-03 2007-09-06 GM Global Technology Operations, Inc., Detroit Verfahren und Vorrichtung für eine fahrzeuginterne Kalibrierung und Orientierung von Objektverfolgungssystemen
DE102015214743A1 (de) * 2015-08-03 2017-02-09 Audi Ag Verfahren und Vorrichtung in einem Kraftfahrzeug zur verbesserten Datenfusionierung bei einer Umfelderfassung
US20180356505A1 (en) * 2017-06-09 2018-12-13 Toyota Jidosha Kabushiki Kaisha Target object information acquisition apparatus
DE102018114042A1 (de) * 2017-06-14 2018-12-20 Gm Global Technology Operations, Llc Vorrichtung, verfahren und system zur multimodalen fusionsverarbeitung von daten mit mehreren verschiedenen formaten, die von heterogenen vorrichtungen erfasst wurden

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
F. SEELIGER: "Fahrzeugübergreifende Informationsfusion", 2017, SCHRIFTENREIHE DES INSTITUTS FÜR MESS
N. KÄMPCHEN: "Feature-level fusion of laser scanner and video data", 2007, ULM UNIVERSITY

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023150430A1 (en) * 2022-02-01 2023-08-10 Zoox, Inc. Distance representation and encoding
US12033346B2 (en) 2022-02-01 2024-07-09 Zoox, Inc. Distance representation and encoding

Also Published As

Publication number Publication date
CN113227834B (zh) 2024-08-06
DE102019102923B4 (de) 2022-12-01
US20220075053A1 (en) 2022-03-10
CN113227834A (zh) 2021-08-06
DE102019102923A1 (de) 2020-08-06

Similar Documents

Publication Publication Date Title
EP3332400B1 (de) Verfahren und vorrichtung in einem kraftfahrzeug zur verbesserten datenfusionierung bei einer umfelderfassung
DE102017105305A1 (de) Verfahren zur automatischen bestimmung einer sensorstellung
DE102020214283A1 (de) Vorrichtung zur erkennung von hindernissen, fahrzeugsystem mit dieser und verfahren dafür
DE102018008624A1 (de) Steuerungssystem und Steuerungsverfahren zum samplingbasierten Planen möglicher Trajektorien für Kraftfahrzeuge
DE102012216386A1 (de) Verfahren zum Betreiben eines Fahrerassistenzsystems eines Fahrzeugs
EP2963631B1 (de) Verfahren zum ermitteln eines parkplatzes aus einer anzahl von messpunkten
DE102015121353A1 (de) Verfahren zum Erkennen einer möglichen Kollision zwischen einem Kraftfahrzeug und einem Objekt unter Berücksichtigung einer räumlichen Unsicherheit, Steuereinrichtung, Fahrerassistenzsystem sowie Kraftfahrzeug
WO2016124490A1 (de) Verarbeitung von sensormessungen eines fahrzeugumfeldes bei geringer querauflösung
EP3024709B1 (de) Effizientes bereitstellen von belegungsinformationen für das umfeld eines fahrzeugs
DE102019115330A1 (de) Echtzeit-Sicherheitspfaderzeugung für hochautomatisiertes Fahrzeugrückfallmanöver
WO2020160798A1 (de) Verfahren und eine vorrichtung zur sensordatenfusion für ein fahrzeug
WO2020160795A1 (de) Verfahren und eine vorrichtung zur sensordatenfusion für ein fahrzeug
DE102014210752A1 (de) Verfahren und Vorrichtung zum Überwachen einer Solltrajektorie eines Fahrzeugs
DE102017108107A1 (de) Verfahren, vorrichtung und computerlesbares speichermedium mit instruktionen zur schätzung einer pose eines kraftfahrzeugs
DE102013214631A1 (de) Effizientes Bereitstellen von Belegungsinformationen für das Umfeld eines Fahrzeugs
DE102016105022A1 (de) Verfahren zum Erfassen zumindest eines Objekts in einer Umgebung eines Kraftfahrzeugs durch eine indirekte Messung mit Sensoren, Steuereinrichtung, Fahrerassistenzsystem sowie Kraftfahrzeug
DE102019129904A1 (de) Automatische Fahrkompetenzanalyse
DE102017104357A1 (de) Verfahren, vorrichtung und computerlesbares speichermedium mit instruktionen zur bewegungsplanung für ein kraftfahrzeug
DE102019122249A1 (de) Verfahren zum Ermitteln eines Fahrspurwechsels, Fahrassistenzsystem und Fahrzeug
DE102018211240A1 (de) Verfahren zum Klassifizieren einer Relevanz eines Objekts
DE102018122115A1 (de) Verfahren zur Umgebungserfassung eines Fahrzeugs
DE102021130241A1 (de) Kartengestützte Zielfahrtrichtungs-Disambiguierung
DE102019132151A1 (de) Verfahren zum Kalibrieren eines Umfeldsensors eines Fahrzeugs anhand von Daten eines Referenz-Umfeldsensors unter Berücksichtigung von Belegungskarten, Recheneinrichtung sowie Sensorsystem
DE102019127322A1 (de) Verfahren zur Erfassung von Objekten in einer Fahrzeugumgebung, Vorrichtung zur Datenverarbeitung, Computerprogrammprodukt und computerlesbarer Datenträger
EP3248852B1 (de) Verfahren zum betreiben einer verarbeitungseinrichtung für sensordaten eines in einem kraftfahrzeug angeordneten sensors und kraftfahrzeug

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19794548

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19794548

Country of ref document: EP

Kind code of ref document: A1