WO2020160795A1 - Verfahren und eine vorrichtung zur sensordatenfusion für ein fahrzeug - Google Patents

Verfahren und eine vorrichtung zur sensordatenfusion für ein fahrzeug Download PDF

Info

Publication number
WO2020160795A1
WO2020160795A1 PCT/EP2019/078424 EP2019078424W WO2020160795A1 WO 2020160795 A1 WO2020160795 A1 WO 2020160795A1 EP 2019078424 W EP2019078424 W EP 2019078424W WO 2020160795 A1 WO2020160795 A1 WO 2020160795A1
Authority
WO
WIPO (PCT)
Prior art keywords
sensor
fusion
reference point
data
assigned
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/EP2019/078424
Other languages
English (en)
French (fr)
Inventor
Michael Himmelsbach
Luca Trentinaglia
Dominik Bauch
Daniel MEISSNER
Josef Mehringer
Marco Baumgartl
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Bayerische Motoren Werke AG
Original Assignee
Bayerische Motoren Werke AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bayerische Motoren Werke AG filed Critical Bayerische Motoren Werke AG
Priority to CN201980089470.0A priority Critical patent/CN113330448B/zh
Priority to US17/423,938 priority patent/US11756310B2/en
Publication of WO2020160795A1 publication Critical patent/WO2020160795A1/de
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/803—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/35—Data fusion
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/0098—Details of control systems ensuring comfort, safety or stability not otherwise provided for
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques

Definitions

  • the invention relates to a method and a device for sensor data fusion for a vehicle.
  • the invention also relates to a computer program and a computer-readable storage medium.
  • Heterogeneous sensor devices are often used to detect objects in the vicinity of a vehicle, in particular to detect other road users and their relevant properties. Detected objects in
  • Vehicle environment can be used to safely implement
  • Assistance functions are used, in particular for longitudinally regulating functions such as active cruise control or an intersection assistant and for lateral regulating functions such as lateral collision avoidance, steering and lane guidance assistant.
  • used sensor devices can by the
  • Sensor devices recorded information about the objects to be different. Due to the limited computing power in vehicles, the sensor devices
  • the information provided is usually fused at a high level. This means that the sensor devices each recognize objects separately on the basis of the recorded information and provide them as information in an abstract, sensor-independent object representation
  • Sensor data fusion unit to one at a time Object representation for each actual object merged or fused (so-called "fusion objects").
  • a rectangle or cuboid, for example, can be considered as the object representation (see FIG. 1). For this
  • Geometric reference points assigned to the contour of the object 0 shown here as black points. For each of these reference points, one can
  • Reference coordinate system R for example relative to a predetermined reference point on / in the vehicle, a lateral
  • Shift (x, y) of the reference point an orientation of the object 0, for example the angle to the x-axis of the
  • Object representation is used in the sensor data fusion and to which, in addition to the lateral displacement (x, y) as the position of the object 0 and a width b, length 1 and orientation, further properties of the object 0 can be assigned, is also referred to below as a “state”.
  • the height h (with respect to the z-axis), speed or object type can optionally be recorded and stored in the object representation.
  • Each measured variable of object 0 can be modeled as a normally distributed random variable with variance and covariances with respect to the other measured variables and these values can also be assigned to the state.
  • the properties of the object 0 always relate to the geometric reference point A on the contour of the object 0.
  • the object on which the invention is based is to create a method for sensor data fusion for a vehicle and a corresponding device, a computer program and computer-readable storage medium that contributes to a reliable assignment of sensor and fusion objects and enables reliable sensor data fusion.
  • the invention relates to a
  • At least one sensor device is assigned to the vehicle.
  • the fusion object record includes
  • Fusion object data which are each representative of a fusion object determined in an area around the vehicle.
  • the fusion object has a fusion reference point
  • sensor object data are provided which are representative of a given by the
  • a sensor reference point is assigned to the sensor object.
  • indicator data are provided which are representative of an uncertainty in the determination of the sensor object data.
  • transformation candidates identified an innovated fusion object.
  • the fusion reference point or the sensor reference point can also be referred to as the state of the fusion object or sensor object.
  • the fusion or sensor reference point is used in particular to represent the object and preferably includes relevant properties of the corresponding fusion or sensor object.
  • the indicator data can in particular variances and / or covariances when determining the sensor object data and / or a sensor type and / or a field of view of the
  • the indicator data can
  • the indicator data can be stored at least partially in the sensor data fusion unit. This is advantageous, for example, in the case of a field of view of the sensor device that is fixed by the installation direction.
  • Reference point transformation candidates are those reference points of the sensor object that come into consideration for a subsequent transformation for subsequent fusion with a fusion object.
  • the step in which an innovated fusion object is determined as a function of the reference point transformation candidates can in particular be a transformation of the sensor object with respect to one of the reference points
  • transformation candidates include. For example, all properties of the sensor object that relate to the sensor reference point are in this case with respect to the
  • transformation state Properties that are assigned are also referred to below as the transformation state. If both the fusion reference point and the transformation state refer to the same reference point, e.g. i.e. a corner point of an object, the transformation state
  • the sensor and fusion object Properties of the sensor and fusion object are compared. If the sensor and fusion object represent the same, actual object, the sensor object can be assigned to the fusion object (association) and an innovated fusion object (fusion) can be determined.
  • the sensor object data and fusion object data are
  • the indicator data are representative of a
  • Fusion object data representative of a rectangular or cuboid representation of the sensor object or the
  • the respective sensor object or the respective fusion object extends laterally in a rectangular manner along its longitudinal axis with a length and along its length
  • each corner of the rectangle and each midpoint of its sides is one
  • Reference point assigned In each case one of the reference points forms the fusion reference point or the
  • the indicator data include a first characteristic value which is representative of an uncertainty in determining the length.
  • the indicator data also include a second characteristic value which is representative of an uncertainty in the determination of the width.
  • the indicator data include a third characteristic value which is representative of a
  • Threshold compared; the second characteristic value is compared with a separate predetermined second threshold value; and the third characteristic value is again separate with a
  • the sensor object is exclusively used as reference point transformation candidates
  • the sensor object are exclusively used as reference point transformation candidates
  • this configuration allows the number of possible transformations to be restricted depending on the uncertainty of length, width and orientation. For example, it is not possible to switch from a rear to a front reference point without knowing the length; Moreover, without knowing the orientation of the object, no change of reference point is possible.
  • a threshold value is applied to the uncertainty of the respective size.
  • Threshold value the size is considered unknown and the
  • the indicator data are representative of the fact that the corresponding sensor device is able to detect the lateral extent of an object and / or the orientation of the object.
  • the sensor object is only assigned reference points of the transformation candidates as reference point
  • Sensor device were determined, which is able to detect the lateral extent of an object and the orientation of the object.
  • indicator data can in particular be representative of a type of sensor device and be stored in the sensor data fusion unit. For example, it can be decided individually for each built-in, specific sensor device whether the corresponding
  • Sensor device is able to detect the lateral extent of an object and / or the orientation of the object. Usually this applies to ultrasonic and RaDAR sensors; LiDAR, light detection and ranging, and camera sensors, on the other hand, often also allow detection
  • the indicator data are representative of a field of vision of the sensor device.
  • the field of view of the corresponding sensor device is located.
  • the sensor object will then be used as a reference point
  • Assigned sensor object when this is located within the predetermined area within the field of view of the corresponding sensor device. As soon as a sensor device only partially detects an object at the edge of its field of view (and is not aware of it), the semantic information is that which it detected
  • Reference point transported possibly incorrect. Provides the sensor device for example only half the length of the object, it may V or hear that about the position of the detected reference point "center side" is not the
  • the recorded reference point of the sensor object can either be discarded entirely or the corresponding sensor object can be evaluated as a point target, as explained below.
  • the viewing area can be specified by the installation direction and, for example, stored in the sensor data fusion unit after a factory calibration.
  • the specified area within the viewing area is intended to ensure that the sensor object is sufficiently spaced from the edge of the viewing area, but in individual cases can correspond to the entire viewing area.
  • Reference point transformation candidate is assigned.
  • transformation candidate is assigned, depending on the sensor object, a transformation state of the Sensor object with regard to the respective reference point
  • transformation candidate identified and compared with one fusion object Furthermore, depending on the comparison, the sensor object is assigned to a fusion object and an innovated fusion object is determined depending on the corresponding transformation state of the sensor object and the fusion object data.
  • the transformation candidate is assigned, the sensor object is evaluated as a point target and a shortest distance between the reference points of the sensor object and the
  • Reference points of a respective fusion object are determined; a transformation state of the
  • the reference point of the fusion object which has the shortest distance to the corresponding reference point of the sensor object, is determined and compared with the sensor object;
  • the sensor object is then assigned to a fusion object and depending on the corresponding transformation state of the fusion object and the
  • Sensor object data determined an innovated fusion object.
  • Reference point transformation candidate is assigned (and a change of the current reference point of the sensor object is therefore not possible) - a transformation candidate of the
  • the state of the fusion object is then transformed into the reference point found, ie the fusion object is transformed.
  • the sensor object no reference point is assigned to transform candidate, it may V or hear that for a pair of associated sensor and
  • Fusion object does not result in a common reference point.
  • the reference point found for the fusion object does not necessarily have to match the reference point of the sensor object.
  • point target (English, "point target") is a not
  • the fusion object is dependent on the
  • Assigned viewing area characteristic which is representative of the viewing area of the respective sensor device.
  • predetermined area is located within the field of view of the corresponding sensor device. If the fusion object is outside the specified area within the respective field of view of all corresponding sensor devices, the innovated fusion object is then rated as a point target.
  • Fusion object checked whether the fusion object or the
  • Fusion object taken over the fusion reference point of the fusion object.
  • Fusion reference point of the innovated fusion object the sensor reference point of the sensor object.
  • the states become transformed accordingly to the two reference points and then fused.
  • the new reference point of the fusion object after the fusion is the reference point found in the search for the closest pair for the fusion object.
  • the invention in a second aspect, relates to a
  • the device for sensor data fusion for a vehicle.
  • the device is designed to carry out a method according to the first aspect.
  • the device can also be used as a
  • the invention relates to a
  • Computer program for sensor data fusion for a vehicle comprises commands which, when the program is executed by a computer, cause the computer to execute the
  • the invention relates to a computer-readable storage medium on which the computer program according to the fourth aspect is stored.
  • FIG. 1 an exemplary object representation
  • Figure 2 shows an embodiment of an inventive
  • FIG. 3 shows an exemplary flow chart of a method for sensor data fusion.
  • vehicle F with a device V for sensor data fusion and a sensor device S1
  • a sensor object Os which is set up to detect objects, in particular other road users and relevant properties thereof, and to determine a corresponding sensor object Os. It can e.g. a camera, LiDAR, light detection and ranging, LaDAR, laser
  • Object fusion usually a list of rectangles or cuboids (cf. FIG. 1) output as an object representation, which represent recognized, in particular moving, objects in the vicinity of the vehicle F.
  • Figure 2 shows such a fusion object OF, to which a fusion reference point A F , a length 1 and width b with respect to the fusion reference point A F , an orientation of the fusion object OF with respect to a reference coordinate system R of the vehicle F as well as an indicator parameter that is representative of a
  • Figure 2 also shows a sensor object Os determined by the sensor device S1, to which a sensor reference point As, a length 1 and width b with respect to the fusion reference point As, an orientation of the fusion object Os with respect to a
  • the sensor device S1 is a field of vision due to its alignment and its physical properties
  • the vehicle F also has another example
  • Sensor devices S1, S2 are coupled with the device V for sensor data fusion in terms of signaling.
  • Sensor object data provided to sensor devices S1, S2 can be provided by device V according to any desired
  • the device V is in particular assigned a data and program memory in which a
  • Computer program is stored based on the
  • a fusion object data record is provided which comprises fusion object data which
  • the fusion object data set is stored in a data memory of the device V and was derived from the sensor object data of the device V in a previous fusion method
  • the program is continued in a step P20, in which sensor object data are provided which are representative of the fusion object Os.
  • indicator data are provided which are representative of an uncertainty in the determination of the sensor object data.
  • the indicator data can include, for example, the above-mentioned indicator characteristic values which describe the uncertainty in the respective determination of length 1, width b and orientation of the sensor object Os, for example by means of variances.
  • the indicator data can be representative that the
  • the sensor device S1 is technically capable of determining the lateral extent and orientation of the sensor object Os
  • Indicator data be representative of the field of view of the sensor device S1.
  • the viewing area can, for example, also be stored in the device V or can be determined in a step P28 preceding step P30.
  • Reference point transformation candidates of the sensor object O s are determined.
  • the characteristic indicator values are each specified with one
  • Reference point transformation is restricted accordingly. So only reference points of the sensor object Os along its rear or front side are used as reference points
  • transformation candidates determined if length 1 is unknown, latitude b and orientation are known. If latitude b is unknown but length 1 and orientation are known, only reference points of the
  • Sensor object O determined along its longitudinal axis as a reference point transformation candidates. Is both the length 1 and the width b and / or the orientation of the
  • the sensor object Os is regarded as a point target that has no reference point
  • step P42 before or after step P46 it is checked, depending on the indicator data, whether the
  • the sensor device S1 is technically capable of determining the lateral extent and orientation of the sensor object Os
  • the sensor device S1 is, for example, an ultrasonic or RaDAR sensor that does not meet this requirement, the sensor object Os is viewed as a point target.
  • step P44 before or after step P46 it is checked, depending on the indicator data, whether the
  • the sensor object Os is also used as a point target
  • an innovated fusion object is determined as a function of the reference point transformation candidates. To this end, it is first checked whether reference point transformation candidates are assigned to the sensor object Os or whether it is a point target. It is also checked whether the fusion object OF is a point target, for example in a step P48 preceding step P50. If both objects are not a point target, so an association with the fusion object OF is carried out, in which the reference point transformation is based on the
  • Reference point transformation candidate is limited, and the transformed sensor object Os or a
  • Transformation state then fused with the fusion object OF, that is, the innovated fusion object is determined.
  • the sensor reference point is adopted as the fusion reference point of the innovated fusion object.
  • Objects do not necessarily have a common reference point.
  • the fusion reference point of the innovated fusion object is the sensor reference point when the fusion object OF a
  • Point target is, or the fusion reference point if that
  • Sensor object Os is a point target.
  • Assigned viewing area characteristic value which is representative of the viewing area of the sensor device S1 and all sensor devices that have contributed to the fusion up to now.
  • step P48 a check is made on the basis of the characteristic value of the visual range assigned to the fusion object OF whether the fusion object OF is a point target. For this purpose, it is checked whether the fusion object OF is outside the
  • the fusion object is rated as a point target.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Traffic Control Systems (AREA)

Abstract

Es werden ein Verfahren und eine Vorrichtung zur Sensordatenfusion für ein Fahrzeug sowie ein Computerprogramm sowie ein Computerlesbares Speichermedium angegeben. Dem Fahrzeug (F) ist wenigstens eine Sensorvorrichtung (S1) zugeordnet, und bei dem Verfahren werden Fusionsobjektdaten bereitgestellt, die repräsentativ sind für ein in einer Umgebung des Fahrzeugs (F) ermitteltes Fusionsobjekt (OF); Sensorobjektdaten bereitgestellt, die repräsentativ sind für ein durch die Sensorvorrichtung (S1) in der Umgebung des Fahrzeugs (F) ermitteltes Sensorobjekt (Os); Indikatordaten bereitgestellt, die repräsentativ sind für eine Unsicherheit bei der Ermittlung der Sensorobjektdaten; abhängig von den Indikatordaten Referenzpunkt-transformationskandidaten des Sensorobjekts (Os) ermittelt; und abhängig von den Referenzpunkt-transformationskandidaten ein innoviertes Fusionsobjekt ermittelt.

Description

Beschreibung
Verfahren und eine Vorrichtung zur Sensordatenfusion für ein Fahrzeug
Die Erfindung betrifft ein Verfahren und eine Vorrichtung zur Sensordatenfusion für ein Fahrzeug. Darüber hinaus betrifft die Erfindung ein Computerprogramm sowie ein computerlesbares Speichermedium.
Zur Erkennung von Objekten in Umgebung eines Fahrzeugs, insbesondere zur Erkennung anderer Verkehrsteilnehmer und relevanter Eigenschaften derer werden oftmals heterogene Sensorvorrichtungen eingesetzt. Erkannte Objekte im
Fahrzeugumfeld können zur sicheren Umsetzung von
Assistenzfunktionen herangezogen werden, insbesondere für längs regelnde Funktionen wie Active Cruise Control oder einen Kreuzungsassistent und für querregelnde Funktionen wie Lateral Collision Avoidance, Lenk- und Spurführungsassistent.
Bedingt durch unterschiedliche Messprinzipien der
eingesetzten Sensorvorrichtungen können die durch die
Sensorvorrichtungen erfassten Informationen über die Objekte unterschiedlich sein. Aufgrund beschränkter Rechenleistung in Fahrzeugen werden die durch die Sensorvorrichtungen
bereitgestellten Informationen üblicherweise auf High-Level- Ebene fusioniert. Das bedeutet, dass die Sensorvorrichtungen jeweils anhand der erfassten Informationen separat Objekte erkennen und diese in einer abstrakten, sensorunabhängigen Objektrepräsentation als Informationen bereitstellen
(sogenannte „Sensorobjekte") ; die bereitgestellten
Informationen werden dann durch eine separate
Sensordatenfusionseinheit zu jeweils einer Objektrepräsentation je tatsächlichem Objekt zusammengeführt bzw. fusioniert (sogenannte „Fusionsobjekte") .
Als Objektrepräsentation kommt beispielsweise ein Rechteck oder Quader in Betracht (vgl. Figur 1) . Für diese
Objektrepräsentation werden jedem Objekt 0 mehrere
geometrische Referenzpunkte auf der Kontur des Objekts 0 zugewiesen (hier als schwarze Punkte verdeutlicht) . Für jeden dieser Referenzpunkte lässt sich bezüglich eines
Referenzkoordinatensystems R, beispielsweise relativ zu einem vorgegebenen Bezugspunkt am/im Fahrzeug, eine laterale
Verschiebung (x, y) des Referenzpunkts, eine Orientierung des Objekts 0, beispielsweise der Winkel zur x-Achse des
Referenzkoordinatensystems R, sowie die Länge 1 (bezüglich x- Achse) und Breite b (bezüglich y-Achse) bezogen auf den entsprechenden Referenzpunkt ermitteln und dem Referenzpunkt zuordnen. Ein Referenzpunkt A des Objekts 0, der zur
Objektrepräsentation bei der Sensordatenfusion dient und dem neben der lateralen Verschiebung (x, y) als Position des Objekts 0 und einer Breite b, Länge 1 und Orientierung weitere Eigenschaften des Objekts 0 zugeordnet sein können, wird im Folgenden auch als „Zustand" bezeichnet.
Beispielsweise können optional die Höhe h (bezüglich z- Achse) , Geschwindigkeit oder Objekttyp erfasst und in der Objektrepräsentation hinterlegt werden. Jede Messgröße des Objekts 0 kann dabei als normalverteilte Zufallsvariable mit Varianz und Kovarianzen bezüglich der anderen Messgrößen modelliert und diese Werte ebenfalls dem Zustand zugeordnet werden. Die Eigenschaften des Objekts 0 beziehen sich dabei stets auf den geometrischen Referenzpunkt A auf der Kontur des Objekts 0. So ist, um eine Fusion der Eigenschaften verschiedener Sensorobjekte durchzuführen, eine detaillierte Behandlung der Referenzpunkte der Sensor- und Fusionsobjekte erforderlich .
Die Aufgabe, die der Erfindung zugrunde liegt, ist es, ein Verfahren zur Sensordatenfusion für ein Fahrzeug sowie eine entsprechende Vorrichtung, ein Computerprogramm sowie computerlesbares Speichermedium zu schaffen, das zu einer sicheren Zuordnung von Sensor- und Fusionsobjekten beiträgt und eine zuverlässige Sensordatenfusion ermöglicht.
Die Aufgabe wird gelöst durch die unabhängigen
Patentansprüche. Vorteilhafte Ausgestaltungen sind in den Unteransprüchen gekennzeichnet .
Gemäß einem ersten Aspekt betrifft die Erfindung ein
Verfahren zur Sensordatenfusion für ein Fahrzeug. Dem
Fahrzeug ist wenigstens eine Sensorvorrichtung zugeordnet.
Bei dem Verfahren wird ein Fusionsobjektdatensatz
bereitgestellt. Der Fusionsobjektdatensatz umfasst
Fusionsobjektdaten, die jeweils repräsentativ sind für ein in einer Umgebung des Fahrzeugs ermitteltes Fusionsobjekt. Dem Fusionsobjekt ist jeweils ein Fusionsreferenzpunkt
zugeordnet .
Darüber hinaus werden Sensorobjektdaten bereitgestellt, die repräsentativ sind für ein durch jeweilige die
Sensorvorrichtung in der Umgebung des Fahrzeugs ermitteltes Sensorobjekt. Dem Sensorobjekt ist ein Sensorreferenzpunkt zugeordnet . Des Weiteren werden Indikatordaten bereitgestellt, die repräsentativ sind für eine Unsicherheit bei der Ermittlung der Sensorobjektdaten.
Abhängig von den Indikatordaten werden Referenzpunkt
transformationskandidaten des Sensorobjekts ermittelt.
Ferner wird abhängig von den Referenzpunkt
transformationskandidaten ein innoviertes Fusionsobjekt ermittelt .
Der Fusionsreferenzpunkt bzw. der Sensorreferenzpunkt kann auch als Zustand des Fusionsobjekts bzw. Sensorobjekts bezeichnet werden. Der Fusions- bzw. Sensorreferenzpunkt dient insbesondere der Objektrepräsentation und umfasst bevorzugt relevante Eigenschaften des entsprechenden Fusions- bzw. Sensorobjekts.
Die Indikatordaten können insbesondere Varianzen und/oder Kovarianzen bei der Ermittlung der Sensorobjektdaten und/oder einen Sensortyp und/oder einen Sichtbereich der
Sensorvorrichtung umfassen. Die Indikatordaten können
beispielsweise durch die Sensorvorrichtung bereitgestellt werden. Alternativ oder zusätzlich können die Indikatordaten wenigstens teilweise etwa in der Sensordatenfusionseinheit hinterlegt sein. Dies ist beispielhaft bei einem durch die Einbaurichtung fixierten Sichtbereich der Sensorvorrichtung vorteilhaft .
Als Referenzpunkt-transformationskandidaten werden solche Referenzpunkte des Sensorobjekts bezeichnet, die für eine nachfolgende Transformation zur anschließenden Fusion mit einem Fusionsobjekt in Betracht kommen. Der Schritt, in dem abhängig von den Referenzpunkt transformationskandidaten ein innoviertes Fusionsobjekt ermittelt wird, kann insbesondere eine Transformation des Sensorobjekts bezüglich eines der Referenzpunkt
transformationskandidaten umfassen. Beispielsweise werden dabei sämtliche Eigenschaften des Sensorobjekts, die sich auf den Sensorreferenzpunkt beziehen, bezüglich des
entsprechenden Referenzpunkt-transformationskandidaten ermittelt. Der ermittelte Referenzpunkt
transformationskandidat, dem die transformierten
Eigenschaften zugewiesen sind, wird im Folgenden auch als Transformationszustand bezeichnet. Beziehen sich sowohl der Fusionsreferenzpunkt als auch der Transformationszustand auf den gleichen Referenzpunkt, z.B. also einen Eckpunkt eines Objekts, können in einem Assoziationsschritt die
Eigenschaften des Sensor- und Fusionsobjekts verglichen werden. Repräsentieren Sensor- und Fusionsobjekt dasselbe, tatsächliche Objekt, kann das Sensorobjekt dem Fusionsobjekt zugeordnet (Assoziation) und ein innoviertes Fusionsobjekt (Fusion) ermittelt werden.
In vorteilhafter Weise kann durch das vorgeschlagene
Verfahren eine negative Auswirkung falscher
Referenzpunktinformation auf das Fusionsergebnis vermieden und so zu einer Zuverlässigkeit der Sensordatenfusion
beigetragen werden.
In einer vorteilhaften Ausgestaltung gemäß dem ersten Aspekt sind die Sensorobjektdaten sowie Fusionsobjektdaten
repräsentativ für eine laterale Erstreckung und/oder eine Orientierung des Sensorobjekts bzw. Fusionsobjekts. Dabei liegt der Fusionsreferenzpunkt bzw. der
Sensorreferenzpunkt auf einer Kontur des Sensorobjekts bzw. auf einer Kontur des Fusionsobjekts.
Ferner sind die Indikatordaten repräsentativ für eine
Unsicherheit bei der Ermittlung der lateralen Erstreckung und/oder der Orientierung.
In einer weiteren vorteilhaften Ausgestaltung gemäß dem ersten Aspekt sind die Sensorobjektdaten sowie die
Fusionsobjektdaten repräsentativ für eine Rechteck- oder Quaderrepräsentation des Sensorobjekts bzw. des
Fusionsobjekts. Das jeweilige Sensorobjekt bzw. das jeweilige Fusionsobjekt erstreckt sich dabei lateral rechteckig entlang seiner Längsachse mit einer Länge und entlang seiner
Querachse mit einer Breite in einer Orientierung bezüglich des Fahrzeugs. Darüber hinaus ist jeder Ecke des Rechtecks sowie jedem Mittelpunkt seiner Seiten jeweils ein
Referenzpunkt zugeordnet. Hierbei bildet jeweils einer der Referenzpunkte den Fusionsreferenzpunkt bzw. den
Sensorreferenzpunkt .
Die Indikatordaten umfassen einen ersten Kennwert, der repräsentativ ist für eine Unsicherheit bei der Ermittlung der Länge. Ferner umfassen die Indikatordaten einen zweiten Kennwert, der repräsentativ ist für eine Unsicherheit bei der Ermittlung der Breite. Überdies umfassen die Indikatordaten einen dritten Kennwert, der repräsentativ ist für eine
Unsicherheit bei der Ermittlung der Orientierung.
Der erste Kennwert wird mit einem vorgegebenen ersten
Schwellenwert verglichen; der zweite Kennwert wird mit einem separaten vorgegebenen zweiten Schwellenwert verglichen; und der dritte Kennwert wird mit einem wiederum separaten
vorgegebenen dritten Schwellenwert verglichen.
Im Falle, dass der erste Kennwert den ersten Schwellenwert überschreitet und der zweite Kennwert kleiner gleich dem zweiten Schwellenwert und der dritte Kennwert kleiner gleich dem dritten Schwellenwert sind, werden dem Sensorobjekt als Referenzpunkt-transformationskandidaten ausschließlich
Referenzpunkte des Sensorobjekts entlang seiner Querachse zugeordnet .
Im Falle, dass der zweite Kennwert den zweiten Schwellenwert überschreitet und der erste Kennwert kleiner gleich dem ersten Schwellenwert und der dritte Kennwert kleiner gleich dem dritten Schwellenwert sind, werden dem Sensorobjekt als Referenzpunkt-transformationskandidaten ausschließlich
Referenzpunkte des Sensorobjekts entlang seiner Längsachse zugeordnet .
Im Falle, dass der dritte Kennwert den dritten Schwellenwert überschreitet und/oder im Falle, dass sowohl der erste
Kennwert den ersten Schwellenwert überschreitet als auch der dritte Kennwert den dritten Schwellenwert überschreitet, wird dem Sensorobjekt als Referenzpunkt-transformationskandidaten kein Referenzpunkt des Sensorobjekts zugeordnet.
In vorteilhafter Weise können so Unsicherheiten bei der Ermittlung der jeweiligen Größe berücksichtigt werden.
Insbesondere kann durch diese Ausgestaltung die Anzahl möglicher Transformationen abhängig von der Unsicherheit der Länge, Breite und Orientierung eingeschränkt werden. So kann beispielsweise ohne Kenntnis der Länge nicht von einem hinteren auf einen vorderen Referenzpunkt gewechselt werden; ohne Kenntnis der Orientierung des Objekts ist darüber hinaus gar kein Referenzpunktwechsel möglich.
Um zu entscheiden, ob die Ausdehnung oder Orientierung eines Objekts bekannt ist oder nicht, wird ein Schwellenwert auf die Unsicherheit der jeweiligen Größe angewandt.
Überschreitet die Unsicherheit den spezifischen
Schwellenwert, so gilt die Größe als unbekannt und die
Möglichkeit zur Transformation wird entsprechend
eingeschränkt. So ist beispielsweise bei unbekannter Länge und bekannter Breite und Orientierung immer noch eine
Transformation entlang der Hinter- oder Vorderseite des
Objekts möglich. Dadurch wird sichergestellt, dass nur bekannte Größen Einfluss auf die Transformation haben.
In einer weiteren vorteilhaften Ausgestaltung gemäß dem ersten Aspekt sind die Indikatordaten repräsentativ dafür, dass die entsprechende Sensorvorrichtung in der Lage ist, die laterale Erstreckung eines Objekts und/oder die Orientierung des Objekts zu erfassen.
Bei dem Verfahren werden dem Sensorobjekt als Referenzpunkt transformationskandidaten nur dann Referenzpunkte des
Sensorobjekts zugeordnet, wenn sie durch eine
Sensorvorrichtung ermittelt wurden, die in der Lage ist, die laterale Erstreckung eines Objekts und die Orientierung des Objekts zu erfassen.
In vorteilhafter Weise können so bereits bekannte
Unsicherheiten bei der Ermittlung bzw. Unkenntnis der
jeweiligen Größe berücksichtigt werden. Abhängig vom
jeweiligen physikalischen Messprinzip kann nicht jede in Fahrzeugen verbaute Sensorvorrichtung die laterale Erstreckung eines Objekts erfassen (z.B. RaDAR) . Ebensowenig kann die Orientierung eines Objekts von jeder verbauten
Sensorvorrichtung bestimmt werden; die Annahme, dass die Orientierung eines Objekts seiner Bewegungsrichtung
entspricht, trifft auf stationäre Objekte nicht zu. Die
Indikatordaten können in diesem Zusammenhang insbesondere repräsentativ sein für einen Typ der Sensorvorrichtung und in der Sensordatenfusionseinheit hinterlegt sein. Beispielhaft kann für jede verbaute, spezifische Sensorvorrichtung individuell entschieden werden, ob die entsprechende
Sensorvorrichtung in der Lage ist, die laterale Erstreckung eines Objekts und/oder die Orientierung des Objekts zu erfassen. Üblicherweise gilt dies für Ultraschall- und RaDAR- Sensoren; LiDAR-, Light Detection And Ranging, und Kamera- Sensoren hingegen erlauben oft die Erfassung auch
ausgedehnter Objekte und deren Orientierung.
In einer weiteren vorteilhaften Ausgestaltung gemäß dem ersten Aspekt sind die Indikatordaten repräsentativ für einen Sichtbereich der Sensorvorrichtung.
Abhängig von den Sensorobjektdaten und den Indikatordaten wird ermittelt, ob sich das entsprechende Sensorobjekt innerhalb eines vorgegebenen Bereichs innerhalb des
Sichtbereichs der entsprechenden Sensorvorrichtung befindet.
Daraufhin werden dem Sensorobjekt als Referenzpunkt
transformationskandidaten nur dann Referenzpunkte des
Sensorobjekts zugeordnet, wenn dieses sich innerhalb des vorgegebenen Bereichs innerhalb des Sichtbereichs der entsprechenden Sensorvorrichtung befindet. Sobald eine Sensorvorrichtung ein Objekt am Rand seines Sichtbereichs nur teilweise erfasst (und dessen nicht gewahr ist) , ist die semantische Information, die der erfasste
Referenzpunkt transportiert, gegebenenfalls falsch. Sieht die Sensorvorrichtung beispielsweise nur die halbe Länge des Objekts, kann es Vorkommen, dass etwa die Position des erfassten Referenzpunkts "Mitte Seite" nicht der
tatsächlichen Mitte der der Sensorvorrichtung zugewandten Seite des Objekts entspricht, obwohl der als "Mitte Seite" erfasste Referenzpunkt im Erfassungsbereich der
Sensorvorrichtung liegt. Der erfasste Referenzpunkt des Sensorobjekts kann in dieser Ausgestaltung also entweder gänzlich verworfen oder das entsprechende Sensorobjekt wie im Folgenden erläutert als Punktziel gewertet werden.
In vorteilhafter Weise kann so eine Unsicherheit bei der Ermittlung des Sensorobjekts berücksichtigt werden, wenn sich dieses außerhalb oder am Rand des Sichtbereichs der
Sensorvorrichtung befindet. Der Sichtbereich kann durch die Einbaurichtung vorgegeben und beispielhaft nach einer werksseitigen Kalibrierung in der Sensordatenfusionseinheit hinterlegt werden. Der vorgegebene Bereich innerhalb des Sichtbereichs soll gewährleisten, dass das Sensorobjekt ausreichend vom Rand des Sichtbereichs beabstandet ist, kann im Einzelfall aber dem kompletten Sichtbereich entsprechen.
In einer weiteren vorteilhaften Ausgestaltung gemäß dem ersten Aspekt wird geprüft, ob dem Sensorobjekt ein
Referenzpunkt-transformationskandidat zugeordnet ist.
Im Falle, dass dem Sensorobjekt ein Referenzpunkt
transformationskandidat zugeordnet ist, wird abhängig von dem Sensorobjekt jeweils ein Transformationszustand des Sensorobjekts bezüglich des jeweiligen Referenzpunkt
transformationskandidats ermittelt und mit jeweils einem Fusionsobjekt verglichen; weiterhin wird abhängig von dem Vergleich das Sensorobjekt einem Fusionsobjekt zugeordnet und abhängig von dem entsprechenden Transformationszustand des Sensorobjekts und den Fusionsobjektdaten ein innoviertes Fusionsobjekt ermittelt.
Im Falle, dass dem Sensorobjekt kein Referenzpunkt
transformationskandidat zugeordnet ist, wird das Sensorobjekt als Punktziel gewertet und jeweils ein kürzester Abstand zwischen den Referenzpunkten des Sensorobjekts und den
Referenzpunkten eines jeweiligen Fusionsobjekts ermittelt; hierauf wird jeweils ein Transformationszustand des
jeweiligen Fusionsobjekts bezüglich des entsprechenden
Referenzpunkts des Fusionsobjekts, der zu dem entsprechenden Referenzpunkt des Sensorobjekts den kürzesten Abstand aufweist, ermittelt und mit dem Sensorobjekt verglichen;
abhängig von dem Vergleich wird das Sensorobjekt dann einem Fusionsobjekt zugeordnet und abhängig von dem entsprechenden Transformationszustand des Fusionsobjekts und den
Sensorobjektdaten ein innoviertes Fusionsobjekt ermittelt.
In anderen Worten wird - wenn dem Sensorobjekt kein
Referenzpunkt-Transformationskandidat zugeordnet ist (und ein Wechsel des aktuellen Referenzpunkts des Sensorobjekts also nicht möglich ist) - ein Transformationskandidat des
Fusionsobjekts gesucht, der am nächsten zum unveränderlichen Referenzpunkt des Sensorobjekts liegt. Zur Bestimmung der Assoziation von Sensor- und Fusionsobjekt und zur etwaigen nachfolgenden Fusion wird der Zustand des Fusionsobjekts dann in den gefundenen Referenzpunkt transformiert, es erfolgt also eine Transformation des Fusionsobjekts. Im Falle, dass dem Sensorobjekt kein Referenzpunkt transformationskandidat zugeordnet ist, kann es Vorkommen, dass sich für ein Paar aus zugeordnetem Sensor- und
Fusionsobjekt kein gemeinsamer Referenzpunkt ergibt.
Da auch die Liste an Transformationskandidaten des
Fusionsobjekts (bspw. aufgrund unbekannter Ausdehnung) eingeschränkt sein kann, muss der für das Fusionsobjekt gefundene Referenzpunkt nicht zwingend mit dem Referenzpunkt des Sensorobjekts übereinstimmen.
Als Punktziel (engl, „point target") wird ein nicht
ausgedehntes Objekt bzw. ein Objekt ohne laterale Erstreckung bezeichnet, dessen Position keinem Referenzpunkt zugeordnet ist; stattdessen wird angenommen, dass die Position des Punktziels jedem Referenzpunkt auf der (rechteckigen)
Objektkontur entsprechen kann. In diesem Fall kann der
Sensor- bzw. Fusionsreferenzpunkt des Objekts missachtet werden .
In einer weiteren vorteilhaften Ausgestaltung gemäß dem ersten Aspekt wird dem Fusionsobjekt abhängig von dem
jeweiligen zugeordneten Sensorobjekt jeweils ein
Sichtbereichskennwert zugeordnet, der repräsentativ ist für den Sichtbereich der jeweiligen Sensorvorrichtung.
Abhängig von den entsprechenden Fusionsobjektdaten und dem jeweiligen Sichtbereichskennwert wird daraufhin ermittelt, ob sich das entsprechende Fusionsobjekt innerhalb eines
vorgegebenen Bereichs innerhalb des Sichtbereichs der entsprechenden Sensorvorrichtung befindet. Falls sich das Fusionsobjekt außerhalb des vorgegebenen Bereichs innerhalb des jeweiligen Sichtbereichs aller entsprechenden Sensorvorrichtungen befindet, wird das innovierte Fusionsobjekt dann als Punktziel gewertet.
In vorteilhafter Weise kann so eine Unsicherheit bei der Ermittlung des Fusionsobjekts berücksichtigt werden, wenn sich dieses außerhalb oder am Rand des Sichtbereichs aller Sensorvorrichtungen befindet, auf deren Messdaten das
Fusionsobjekt basiert.
In einer weiteren vorteilhaften Ausgestaltung gemäß dem ersten Aspekt wird bei dem Ermitteln des innovierten
Fusionsobjekts geprüft, ob das Fusionsobjekt oder das
Sensorobjekt als Punktziel gewertet wurde.
Im Falle, dass nur das Sensorobjekt als Punktziel gewertet wurde, wird als Fusionsreferenzpunkt des innovierten
Fusionsobjekts der Fusionsreferenzpunkt des Fusionsobjekts übernommen .
Im Falle, dass weder das Fusionsobjekt noch das Sensorobjekt als Punktziel gewertet wurden oder im Falle, dass nur das Fusionsobjekt als Punktziel gewertet wurde, wird als
Fusionsreferenzpunkt des innovierten Fusionsobjekts der Sensorreferenzpunkt des Sensorobjekts übernommen.
Im Falle, dass sowohl Sensor- als auch Fusionsobjekt als Punktziele gewertet wurden, kann beispielsweise aus allen möglichen Referenzpunkten, d.h. aus den Referenzpunkt transformationskandidaten des Sensorobjekts und den
Transformationskandidaten des Fusionsobjekts, das
nächstgelegene Paar bestimmt werden. Die Zustände werden entsprechend auf die beiden Referenzpunkte transformiert und dann fusioniert. Der neue Referenzpunkt des Fusionsobjekts nach der Fusion ist der in der Suche nach dem nächstgelegenen Paar für das Fusionsobjekt gefundene Referenzpunkt.
Gemäß einem zweiten Aspekt betrifft die Erfindung eine
Vorrichtung zur Sensordatenfusion für ein Fahrzeug. Die Vorrichtung ist ausgebildet, ein Verfahren gemäß dem ersten Aspekt auszuführen. Die Vorrichtung kann auch als
Sensordatenfusionseinheit bezeichnet werden.
Gemäß einem dritten Aspekt betrifft die Erfindung ein
Computerprogramm zur Sensordatenfusion für ein Fahrzeug. Das Computerprogramm umfasst Befehle, die bei der Ausführung des Programms durch einen Computer diesen veranlassen, das
Verfahren gemäß dem ersten Aspekt auszuführen.
Gemäß einem vierten Aspekt betrifft die Erfindung ein computerlesbares Speichermedium, auf dem das Computerprogramm gemäß dem vierten Aspekt gespeichert ist.
Ausführungsbeispiele der Erfindung sind im Folgenden anhand der schematischen Zeichnungen näher erläutert.
Es zeigen:
Figur 1 eine beispielhafte Objektrepräsentation;
Figur 2 ein Ausführungsbeispiel eines erfindungsgemäßen
Fahrzeugs mit einer Vorrichtung zur
Sensordatenfusion; und Figur 3 ein beispielhaftes Ablaufdiagramm eines Verfahrens zur Sensordatenfusion.
Elemente gleicher Konstruktion oder Funktion sind
figurenübergreifend mit den gleichen Bezugszeichen versehen.
Im Folgenden wird ein Verfahren zur High-Level-Objektfusion vorgeschlagen, das eine dem jeweiligen Sensor und Objekt angemessene Behandlung von Referenzpunkten vorsieht. Anhand des Ausführungsbeispiels der Figur 2 ist ein
erfindungsgemäßes Fahrzeug F mit einer Vorrichtung V zur Sensordatenfusion sowie einer Sensorvorrichtung S1
dargestellt, die zur Erfassung von Objekten, insbesondere anderer Verkehrsteilnehmer und relevanter Eigenschaften derer, und zur Ermittlung eines entsprechenden Sensorobjekts Os eingerichtet ist. Dabei kann es sich z.B. um einen Kamera- , LiDAR-, Light Detection And Ranging, LaDAR-, Laser
Detection And Ranging, RaDAR, Radio Detection And Ranging, Ultraschall-, Punktlaser-, oder einen Infrarotsensor handeln. Unabhängig von der verwendeten Methode zur High-Level- Objektfusion wird im Automobilbereich als Ergebnis der
Objektfusion üblicherweise eine Liste von Rechtecken bzw. Quadern (vgl. Fig. 1) als Objektrepräsentation ausgegeben, welche erkannte, insbesondere bewegliche, Objekte in der Umgebung des Fahrzeugs F repräsentieren. Figur 2 zeigt ein solches Fusionsobjekt OF, dem ein Fusionsreferenzpunkt AF, eine Länge 1 und Breite b bezüglich des Fusionsreferenzpunkts AF, eine Orientierung des Fusionsobjekts OF bezüglich eines Referenzkoordinatensystems R des Fahrzeugs F sowie jeweils ein Indikatorkennwert, der repräsentativ ist für eine
Unsicherheit bei der Ermittlung der Länge 1, Breite b und Orientierung zugeordnet sind. Die Unsicherheit kann
beispielsweise durch eine Varianz ausgedrückt sein. Figur 2 zeigt ferner ein durch die Sensorvorrichtung S1 ermitteltes Sensorobjekt Os, dem ein Sensorreferenzpunkt As, eine Länge 1 und Breite b bezüglich des Fusionsreferenzpunkts As, eine Orientierung des Fusionsobjekts Os bezüglich eines
Referenzkoordinatensystems R des Fahrzeugs F sowie jeweils ein Indikatorkennwert, der repräsentativ ist für eine
Unsicherheit bei der Ermittlung der Länge 1, Breite b und Orientierung zugeordnet sind.
Der Sensorvorrichtung S1 ist durch seine Ausrichtung und seine physikalischen Eigenschaften ein Sichtbereich
zugeordnet, der durch gestrichelte Linien um den Winkel angedeutet ist.
Das Fahrzeug F weist ferner beispielhaft eine weitere
Sensorvorrichtung S2 auf, die ebenfalls zur Erfassung der Umgebung des Fahrzeugs F eingerichtet ist. Die
Sensorvorrichtungen Sl, S2 sind mit der Vorrichtung V zur Sensordatenfusion signaltechnisch gekoppelt. Durch die
Sensorvorrichtungen Sl, S2 bereitgestellte Sensorobjektdaten können durch die Vorrichtung V nach einem beliebigen
Verfahren zur High-Level-Objektfusion fusioniert und in einem Fusionsobjektdatensatz gespeichert werden. Beispielhaft wird in diesem Zusammenhang auf die Ausführungen von N. Kämpchen in „Feature-level fusion of laser Scanner and video data", Ulm: Ulm University, 2007; und F. Seeliger in
„Fahrzeugübergreifende Informationsfusion", Ulm:
Schriftenreihe des Instituts für Mess-, Regel- und
Mikrotechnik der Universität Ulm, 2017 verwiesen.
Um die Assoziation zwischen Sensor- und Fusionsobjekten durchzuführen und um die assoziierten Objekte gegebenenfalls zu fusionieren muss - um die Eigenschaften der Objekte vergleichbar zu machen - unter Umständen zunächst ein gemeinsamer Referenzpunkt gefunden werden. Der Wechsel des Referenzpunkts eines Objekts erfordert dabei Kenntnis der Ausdehnung (Länge und Breite) sowie der Orientierung des Objekts. Diese Voraussetzung kann in der Praxis jedoch nicht immer erfüllt werden, beispielsweise aufgrund des
physikalischen Messprinzips der Sensorvorrichtung, oder unvollständiger Objekterfassung, so dass eine zuverlässige Sensordatenfusion beeinträchtigt wird.
Um negative Auswirkungen falscher Referenzpunktinformation auf das Fusionsergebnis wie bspw. falsche Positionierung von Objekten zu vermeiden, wird eine erweiterte, dem jeweiligen Sensor und Objekt angemessene Behandlung der Referenzpunkte von Objekten vorgeschlagen.
Der Vorrichtung V ist in diesem Zusammenhang insbesondere ein Daten- und Programmspeicher zugeordnet, in dem ein
Computerprogramm gespeichert ist, das anhand des
Ablaufdiagramms der Figur 3 im Folgenden näher erläutert wird .
In einem ersten Schritt P10 wird ein Fusionsobjektdatensatz bereitgestellt, der Fusionsobjektdaten umfasst, die
repräsentativ sind für das Fusionsobjekt OF. Beispielsweise ist der Fusionsobjektdatensatz in einem Datenspeicher der Vorrichtung V hinterlegt und wurde in einem vorangegangenen Fusionsverfahren aus den Sensorobjektdaten der
Sensorvorrichtungen Sl, S2 ermittelt.
Das Programm wird in einem Schritt P20 fortgesetzt, in dem Sensorobjektdaten bereitgestellt werden, die repräsentativ sind für das Fusionsobjekt Os. In einem darauffolgenden Schritt P30 werden Indikatordaten bereitgestellt, die repräsentativ sind für eine Unsicherheit bei der Ermittlung der Sensorobjektdaten. Die Indikatordaten können beispielsweise oben genannte Indikatorkennwerte umfassen, die die Unsicherheit bei der jeweiligen Ermittlung von Länge 1, Breite b und Orientierung des Sensorobjekts Os etwa durch Varianzen beschreiben. Darüber hinaus können die Indikatordaten repräsentativ sein dafür, dass die
Sensorvorrichtung S1 technisch in der Lage ist, die laterale Erstreckung und Orientierung des Sensorobjekts Os zu
erfassen. Beispielhaft ist hierzu ein Sensortyp in der
Vorrichtung V hinterlegt oder wird in einem dem Schritt P30 vorausgehenden Schritt P26 bestimmt. Ferner können die
Indikatordaten repräsentativ sein für den Sichtbereich der Sensorvorrichtung Sl. Der Sichtbereich kann beispielsweise ebenfalls in der Vorrichtung V hinterlegt oder in einem dem Schritt P30 vorausgehenden Schritt P28 bestimmt werden.
Das Verfahren wird anschließend in einem Schritt P40
fortgesetzt, in dem abhängig von den Indikatordaten
Referenzpunkt-transformationskandidaten des Sensorobjekts Os ermittelt werden. Hierzu werden in einem Schritt P46 die Indikatorkennwerte mit jeweils einem vorgegebenen
Schwellenwert verglichen. Überschreitet die jeweilige
Unsicherheit den jeweiligen Schwellenwert, so gilt die Größe als unbekannt und die Möglichkeit zur
Referenzpunkttransformation wird entsprechend eingeschränkt. So werden nur Referenzpunkte des Sensorobjekts Os entlang seiner Hinter- oder Vorderseite als Referenzpunkt
transformationskandidaten ermittelt, wenn die Länge 1 unbekannt, Breite b und Orientierung jedoch bekannt sind. Wenn die Breite b unbekannt ist, Länge 1 und Orientierung jedoch bekannt sind, werden nur Referenzpunkte des
Sensorobjekts Os entlang seiner Längsachse als Referenzpunkt transformationskandidaten ermittelt. Ist sowohl die Länge 1 als auch die Breite b und/oder die Orientierung des
Sensorobjekts Os unbekannt, wird das Sensorobjekts Os als Punktziel betrachtet, dem keine Referenzpunkt
transformationskandidaten zugeordnet sind.
In einem optionalen Schritt P42 vor oder nach dem Schritt P46 wird abhängig von den Indikatordaten geprüft, ob die
Sensorvorrichtung S1 technisch in der Lage ist, die laterale Erstreckung und Orientierung des Sensorobjekts Os zu
erfassen. Ist die Sensorvorrichtung S1 beispielsweise ein Ultraschall- oder RaDAR-Sensor, der diese Voraussetzung nicht erfüllt, wird das Sensorobjekt Os als Punktziel betrachtet.
In einem optionalen Schritt P44 vor oder nach dem Schritt P46 wird abhängig von den Indikatordaten geprüft, ob das
Sensorobjekt Os sich außerhalb des Sichtbereichs der
Sensorvorrichtung S1 oder am Rand dessen befindet. In diesem Fall wird das Sensorobjekt Os ebenfalls als Punktziel
betrachtet .
In einem auf den Schritt P46 folgenden Schritt P50 wird abhängig von den Referenzpunkt-transformationskandidaten ein innoviertes Fusionsobjekt ermittelt. Hierzu wird zunächst geprüft, ob dem Sensorobjekt Os überhaupt Referenzpunkt transformationskandidaten zugeordnet sind bzw. es sich um ein Punktziel handelt. Weiterhin wird geprüft, ob es sich bei dem Fusionsobjekt OF um ein Punktziel handelt, beispielsweise in einem dem Schritt P50 vorausgehenden Schritt P48. Sollte es sich bei beiden Objekten nicht um ein Punktziel handeln, so wird eine Assoziation mit dem Fusionsobjekt OF durchgeführt, bei der die Referenzpunkttransformation auf die
Referenzpunkt-transformationskandidaten beschränkt ist, und das transformierte Sensorobjekt Os bzw. ein
Transformationszustand anschließend mit dem Fusionsobjekt OF fusioniert, also das innovierte Fusionsobjekt ermittelt. Als Fusionsreferenzpunkt des innovierten Fusionsobjekts wird der Sensorreferenzpunkt übernommen.
Im Falle, dass es sich bei dem Sensorobjekt Os oder dem Fusionsobjekt OF um ein Punktziel handelt, wird ein Paar der örtlich nächstgelegenen, möglichen Referenzpunkte des
Sensorobjekts Os und des Fusionsobjekts OF ermittelt. Anhand den Eigenschaften des Sensor- und Fusionsobjekts in diesen Referenzpunkten wird über eine Assoziation entschieden und gegebenenfalls fusioniert. Dabei ergibt sich für beide
Objekte nicht zwingend ein gemeinsamer Referenzpunkt.
Der Fusionsreferenzpunkt des innovierten Fusionsobjekts ist der Sensorreferenzpunkt, wenn das Fusionsobjekt OF ein
Punktziel ist, oder der Fusionsreferenzpunkt, wenn das
Sensorobjekt Os ein Punktziel ist.
In einem darauffolgenden Schritt P60 wird dem innovierten Fusionsobjekt schließlich ein aktualisierter
Sichtbereichskennwert zugeordnet, der repräsentativ ist für den Sichtbereich der Sensorvorrichtung S1 sowie aller bisher zur Fusion beitragenden Sensorvorrichtungen.
Das Programm wird anschließend beendet oder gegebenenfalls nach einer vorgegebenen Unterbrechung in dem Schritt P10 mit aktualisiertem Objektdatensatz fortgesetzt. In dem Schritt P48 wird anhand des dem Fusionsobjekt OF zugeordneten Sichtbereichskennwerts geprüft, ob es sich bei dem Fusionsobjekt OF um ein Punktziel handelt. Hierzu wird geprüft, ob sich das Fusionsobjekt OF außerhalb des
Sichtbereichs aller zur Fusion beitragenden
Sensorvorrichtungen Sl, S2 oder am Rand dessen befindet. Ist dies der Fall, so wird das Fusionsobjekt als Punktziel gewertet .

Claims

Patentansprüche
1. Verfahren zur Sensordatenfusion für ein Fahrzeug (F) , wobei dem Fahrzeug (F) wenigstens eine Sensorvorrichtung (Sl) zugeordnet ist, und bei dem Verfahren
- ein Fusionsobjektdatensatz bereitgestellt wird, umfassend
Fusionsobjektdaten, die jeweils repräsentativ sind für ein in einer Umgebung des Fahrzeugs (F) ermitteltes Fusionsobjekt (OF) , dem jeweils ein Fusionsreferenzpunkt zugeordnet ist,
- Sensorobjektdaten bereitgestellt werden, die repräsentativ sind für ein durch die jeweilige Sensorvorrichtung (Sl) in der Umgebung des Fahrzeugs (F) ermitteltes
Sensorobjekt (Os) , dem ein Sensorreferenzpunkt (As) zugeordnet ist,
- Indikatordaten bereitgestellt werden, die repräsentativ sind für eine Unsicherheit bei der Ermittlung der
Sensorobjektdaten,
- abhängig von den Indikatordaten Referenzpunkt
transformationskandidaten des Sensorobjekts (Os)
ermittelt werden und
- abhängig von den Referenzpunkt-transformationskandidaten ein innoviertes Fusionsobjekt ermittelt wird.
2. Verfahren nach Anspruch 1, bei dem
- die Sensorobjektdaten sowie Fusionsobjektdaten
repräsentativ sind für eine laterale Erstreckung
und/oder eine Orientierung des Sensorobjekts (Os) bzw. Fusionsobjekts (OF) ,
- der Fusionsreferenzpunkt (AF) bzw. Sensorreferenzpunkt (As) auf einer Kontur des Sensorobjekts (Os) bzw.
Fusionsobjekts (OF) liegt und - die Indikatordaten repräsentativ sind für eine Unsicherheit bei der Ermittlung der lateralen Erstreckung und/oder der Orientierung.
3. Verfahren nach einem der vorstehenden Ansprüche, bei dem
- die Sensorobjektdaten sowie Fusionsobjektdaten
repräsentativ sind für eine Rechteck- oder
Quaderrepräsentation des Sensorobjekts (Os) bzw.
Fusionsobjekts (OF) , wobei sich das jeweilige
Sensorobjekt (Os) bzw. Fusionsobjekt (OF) lateral rechteckig entlang seiner Längsachse mit einer Länge (1) und entlang seiner Querachse mit einer Breite (b) in einer Orientierung ( ) bezüglich des Fahrzeugs (F) erstreckt und jeder Ecke des Rechtecks sowie jedem
Mittelpunkt seiner Seiten jeweils ein Referenzpunkt zugeordnet ist, wobei jeweils einer der Referenzpunkte den Fusionsreferenzpunkt (AF) bzw. Sensorreferenzpunkt (As) bildet,
- die Indikatordaten einen ersten Kennwert, der repräsentativ ist für eine Unsicherheit bei der Ermittlung der Länge (1) , einen zweiten Kennwert, der repräsentativ ist für eine Unsicherheit bei der Ermittlung der Breite (b) und einen dritten Kennwert, der repräsentativ ist für eine Unsicherheit bei der Ermittlung der Orientierung
umfassen (ex) ,
- der erste, zweite und dritte Kennwert jeweils mit einem
separaten, vorgegebenen Schwellenwert verglichen wird und im Falle, dass
- der erste Kennwert den jeweiligen Schwellenwert überschreitet und der zweite und dritte Kennwert kleiner gleich dem jeweiligen Schwellenwert sind, dem
Sensorobjekt (Os) als Referenzpunkt
transformationskandidaten ausschließlich Referenzpunkte des Sensorobjekts (Os) entlang seiner Querachse
zugeordnet werden,
- der zweite Kennwert den jeweiligen Schwellenwert überschreitet und der erste und dritte Kennwert kleiner gleich dem jeweiligen Schwellenwert sind, dem
Sensorobjekt (Os) als Referenzpunkt
transformationskandidaten ausschließlich Referenzpunkte des Sensorobjekts (Os) entlang seiner Längsachse
zugeordnet werden,
- der dritte Kennwert den jeweiligen Schwellenwert überschreitet oder der erste und der zweite Kennwert den jeweiligen Schwellenwert überschreiten, dem Sensorobjekt (Os) als Referenzpunkt-transformationskandidat kein Referenzpunkt des Sensorobjekts (Os) zugeordnet wird.
4. Verfahren nach Anspruch 3, bei dem
- die Indikatordaten repräsentativ sind dafür, dass die
entsprechende Sensorvorrichtung (Sl) in der Lage ist, die laterale Erstreckung eines Objekts und/oder die Orientierung des Objekts zu erfassen, und
- dem Sensorobjekt (Os) als Referenzpunkt
transformationskandidaten nur dann Referenzpunkte des Sensorobjekts (Os) zugeordnet werden, wenn sie durch eine Sensorvorrichtung (Sl) ermittelt wurden, die in der Lage ist, die laterale Erstreckung eines Objekts und die Orientierung des Objekts zu erfassen.
5. Verfahren nach einem der vorstehenden Ansprüche 3 oder 4, bei dem
- die Indikatordaten repräsentativ sind für einen
Sichtbereich der Sensorvorrichtung (Sl) ,
- abhängig von den Sensorobjektdaten und den Indikatordaten ermittelt wird, ob sich das entsprechende Sensorobjekt ( Os ) innerhalb eines vorgegebenen Bereichs innerhalb des Sichtbereichs der entsprechenden Sensorvorrichtung (Sl) befindet, und
- dem Sensorobjekt ( Os ) als Referenzpunkt
transformationskandidaten nur dann Referenzpunkte des Sensorobjekts ( Os ) zugeordnet werden, wenn es sich innerhalb des vorgegebenen Bereichs innerhalb des
Sichtbereichs der entsprechenden Sensorvorrichtung (Sl) befindet .
6. Verfahren nach einem der vorstehenden Ansprüche 3 bis 5, bei dem geprüft wird, ob dem Sensorobjekt ( Os ) ein
Referenzpunkt-transformationskandidat zugeordnet ist, wobei im Falle, dass dem Sensorobjekt ( Os ) ein
Referenzpunkt-transformationskandidat zugeordnet ist:
- abhängig von dem Sensorobjekt ( Os ) jeweils ein
Transformationszustand des Sensorobjekts ( Os ) bezüglich des jeweiligen Referenzpunkt-transformationskandidats ermittelt und mit jeweils einem Fusionsobjekt (OF) verglichen wird;
- abhängig von dem Vergleich das Sensorobjekt ( Os ) einem
Fusionsobjekt (OF) zugeordnet und abhängig von dem entsprechenden Transformationszustand des Sensorobjekts ( Os ) und den Fusionsobjektdaten ein innoviertes
Fusionsobjekt ermittelt wird;
und im Falle, dass dem Sensorobjekt ( Os ) kein Referenzpunkt transformationskandidat zugeordnet ist, das Sensorobjekt ( Os ) als Punktziel gewertet wird und:
- jeweils ein kürzester Abstand zwischen den Referenzpunkten des Sensorobjekts ( Os ) und den Referenzpunkten eines jeweiligen Fusionsobjekts ( OF ) ermittelt wird;
- jeweils ein Transformationszustand des jeweiligen
Fusionsobjekts ( OF ) bezüglich des entsprechenden Referenzpunkts des Fusionsobjekts (OF) , der zu dem entsprechenden Referenzpunkt des Sensorobjekts (Os) den kürzesten Abstand aufweist, ermittelt und mit dem
Sensorobjekt (Os) verglichen wird;
- abhängig von dem Vergleich das Sensorobjekt (Os) einem
Fusionsobjekt (OF) zugeordnet und abhängig von dem entsprechenden Transformationszustand des Fusionsobjekts (OF) und den Sensorobjektdaten ein innoviertes
Fusionsobjekt ermittelt wird.
7. Verfahren nach Anspruch 6, bei dem
- dem Fusionsobjekt (OF) abhängig von dem jeweiligen
zugeordneten Sensorobjekt jeweils ein
Sichtbereichskennwert zugeordnet wird, der repräsentativ ist für den Sichtbereich der jeweiligen
Sensorvorrichtung (Sl) ,
- abhängig von den entsprechenden Fusionsobjektdaten und dem jeweiligen Sichtbereichskennwert ermittelt wird, ob sich das Fusionsobjekt (OF) innerhalb eines vorgegebenen Bereichs innerhalb des Sichtbereichs der entsprechenden Sensorvorrichtung (Sl) befindet, und
- das innovierte Fusionsobjekt als Punktziel gewertet wird, falls sich das Fusionsobjekt (OF) außerhalb des
vorgegebenen Bereichs innerhalb des jeweiligen
Sichtbereichs aller entsprechenden Sensorvorrichtungen (Sl) befindet.
8. Verfahren nach einem der vorstehenden Ansprüche 6 oder 7, bei dem bei dem Ermitteln des innovierten
Fusionsobjekts geprüft wird, ob das Fusionsobjekt (OF) oder das Sensorobjekt (Os) als Punktziel gewertet wurde, wobei - im Falle, dass nur das Sensorobjekt (Os) als Punktziel gewertet wurde, als Fusionsreferenzpunkt des innovierten Fusionsobjekts der Fusionsreferenzpunkt des
Fusionsobjekts (OF) übernommen wird, und
- im Falle, dass weder das Fusionsobjekt (OF) noch das
Sensorobjekt (Os) als Punktziel gewertet wurden oder nur das Fusionsobjekt (OF) als Punktziel gewertet wurde, als Fusionsreferenzpunkt des innovierten Fusionsobjekts der Sensorreferenzpunkt (As) des Sensorobjekts (Os)
übernommen wird.
9. Vorrichtung (V) zur Sensordatenfusion für ein Fahrzeug (F) , wobei die Vorrichtung (V) ausgebildet ist, ein Verfahren nach einem der vorstehenden Ansprüche 1 bis 8 auszuführen .
10. Computerprogramm zur Sensordatenfusion für ein Fahrzeug (F) , umfassend Befehle, die bei der Ausführung des Computerprogramms durch einen Computer diesen
veranlassen, das Verfahren nach einem der Ansprüche 1 bis 8 auszuführen.
11. Computerlesbares Speichermedium, auf dem das
Computerprogramm nach Anspruch 10 gespeichert ist.
PCT/EP2019/078424 2019-02-05 2019-10-18 Verfahren und eine vorrichtung zur sensordatenfusion für ein fahrzeug Ceased WO2020160795A1 (de)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201980089470.0A CN113330448B (zh) 2019-02-05 2019-10-18 用于车辆的传感器数据融合的方法和装置
US17/423,938 US11756310B2 (en) 2019-02-05 2019-10-18 Method and device for sensor data fusion for a vehicle

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102019102769.1 2019-02-05
DE102019102769.1A DE102019102769B4 (de) 2019-02-05 2019-02-05 Verfahren und eine Vorrichtung zur Sensordatenfusion für ein Fahrzeug

Publications (1)

Publication Number Publication Date
WO2020160795A1 true WO2020160795A1 (de) 2020-08-13

Family

ID=68296494

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2019/078424 Ceased WO2020160795A1 (de) 2019-02-05 2019-10-18 Verfahren und eine vorrichtung zur sensordatenfusion für ein fahrzeug

Country Status (4)

Country Link
US (1) US11756310B2 (de)
CN (1) CN113330448B (de)
DE (1) DE102019102769B4 (de)
WO (1) WO2020160795A1 (de)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102019102769B4 (de) * 2019-02-05 2025-05-15 Bayerische Motoren Werke Aktiengesellschaft Verfahren und eine Vorrichtung zur Sensordatenfusion für ein Fahrzeug
CN112578781B (zh) * 2019-09-29 2022-12-30 华为技术有限公司 数据处理方法、装置、芯片系统及介质
JP7578078B2 (ja) * 2021-08-04 2024-11-06 トヨタ自動車株式会社 地図更新装置、地図更新方法、および地図更新用コンピュータプログラム
DE102022111324A1 (de) 2022-05-06 2023-11-09 Bayerische Motoren Werke Aktiengesellschaft Verfahren zur Datenfusion für ein Kraftfahrzeug, Computerprogramm, Datenverarbeitungsvorrichtung und Kraftfahrzeug

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10133945A1 (de) 2001-07-17 2003-02-06 Bosch Gmbh Robert Verfahren und Vorrichtung zum Austausch und zur Verarbeitung von Daten
EP1546829B1 (de) * 2002-09-27 2010-12-01 Volkswagen Aktiengesellschaft Verfahren und vorrichtung zur ermittlung des fahrzeugumfeldes
US7991550B2 (en) 2006-02-03 2011-08-02 GM Global Technology Operations LLC Method and apparatus for on-vehicle calibration and orientation of object-tracking systems
US20090292468A1 (en) * 2008-03-25 2009-11-26 Shunguang Wu Collision avoidance method and system using stereo vision and radar sensor fusion
DE102008001672B4 (de) * 2008-05-09 2022-03-17 Robert Bosch Gmbh Verfahren zur Fusion von Zustandsdaten erfasster Sensorobjekte
US8704887B2 (en) * 2010-12-02 2014-04-22 GM Global Technology Operations LLC Multi-object appearance-enhanced fusion of camera and range sensor data
US9542846B2 (en) * 2011-02-28 2017-01-10 GM Global Technology Operations LLC Redundant lane sensing systems for fault-tolerant vehicular lateral controller
DE102014111126A1 (de) * 2014-08-05 2016-02-11 Valeo Schalter Und Sensoren Gmbh Verfahren zum Erzeugen einer Umgebungskarte eines Umgebungsbereichs eines Kraftfahrzeugs, Fahrerassistenzsystem sowie Kraftfahrzeug
CN104354656B (zh) * 2014-10-20 2016-08-24 同济大学 智能泊车系统的障碍物检测与库位判别方法及实现系统
CN105157699B (zh) * 2015-06-18 2018-03-16 南京邮电大学 一种基于WiFi和传感网技术融合的室内停车场导航方法
CN108369775B (zh) * 2015-11-04 2021-09-24 祖克斯有限公司 响应于物理环境的改变自适应制图以对自主车辆进行导航
DE102016006381B3 (de) * 2016-05-24 2017-10-26 Audi Ag Verfahren zum Betreiben einer Verarbeitungseinrichtung für Sensordaten eines in einem Kraftfahrzeug angeordneten Sensors und Kraftfahrzeug
DE102016220075A1 (de) * 2016-10-14 2018-04-19 Audi Ag Kraftfahrzeug und Verfahren zur 360°-Umfelderfassung
CN110325818B (zh) * 2017-03-17 2021-11-26 本田技研工业株式会社 经由多模融合的联合3d对象检测和取向估计
DE102017108107A1 (de) * 2017-04-13 2018-10-18 Volkswagen Aktiengesellschaft Verfahren, vorrichtung und computerlesbares speichermedium mit instruktionen zur schätzung einer pose eines kraftfahrzeugs
US10272732B2 (en) * 2017-05-31 2019-04-30 GM Global Technology Operations LLC Sensor linked suspension
JP6816658B2 (ja) * 2017-06-09 2021-01-20 トヨタ自動車株式会社 物標情報取得装置
US10788830B2 (en) * 2017-07-28 2020-09-29 Qualcomm Incorporated Systems and methods for determining a vehicle position
DE102019102769B4 (de) * 2019-02-05 2025-05-15 Bayerische Motoren Werke Aktiengesellschaft Verfahren und eine Vorrichtung zur Sensordatenfusion für ein Fahrzeug

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
BENJAMIN WILKING: "Generic Sensor Data Fusion in Information Space and a New Approach to Processing Dense Sensor Data", PHD-THESIS, 5 February 2018 (2018-02-05), Ulm, Germany, XP055663478, Retrieved from the Internet <URL:https://oparu.uni-ulm.de/xmlui/bitstream/handle/123456789/5445/Dissertation_Wilking.pdf?sequence=1&isAllowed=y> [retrieved on 20200130] *
BERTHOLD PHILIPP ET AL: "Radar reflection characteristics of vehicles for contour and feature estimation", 2017 SENSOR DATA FUSION: TRENDS, SOLUTIONS, APPLICATIONS (SDF), IEEE, 10 October 2017 (2017-10-10), pages 1 - 6, XP033274066, DOI: 10.1109/SDF.2017.8126352 *
F. SEELIGER: "Schriftenreihe des Instituts für Mess", 2017, MIKROTECHNIK DER UNIVERSITÄT ULM, article "Fahrzeugübergreifende Informationsfusion"
FLORIAN SEELIGER: "Fahrzeugübergreifende Informationsfusion für ein Kreuzungsassistenzsystem", SCHRIFTENREIHE DES INSTITUTS FÜR MESS-, REGEL- UND MIKROTECHNIK, 19 July 2017 (2017-07-19), XP055657349, ISBN: 978-3-941543-35-5, Retrieved from the Internet <URL:https://oparu.uni-ulm.de/xmlui/bitstream/handle/123456789/4991/Diss_Seeliger.pdf?sequence=1&isAllowed=y> [retrieved on 20200113] *
N. KÄMPCHEN: "Feature-level fusion of laser scanner and video data", 2007, ULM UNIVERSITY
NAUJOKS BENJAMIN ET AL: "An Orientation Corrected Bounding Box Fit Based on the Convex Hull under Real Time Constraints", 2018 IEEE INTELLIGENT VEHICLES SYMPOSIUM (IV), IEEE, 26 June 2018 (2018-06-26), pages 1 - 6, XP033423609, DOI: 10.1109/IVS.2018.8500692 *

Also Published As

Publication number Publication date
CN113330448B (zh) 2024-07-19
US11756310B2 (en) 2023-09-12
DE102019102769B4 (de) 2025-05-15
DE102019102769A1 (de) 2020-08-06
US20220092870A1 (en) 2022-03-24
CN113330448A (zh) 2021-08-31

Similar Documents

Publication Publication Date Title
EP3873784B1 (de) Steuerungssystem und steuerungsverfahren zum samplingbasierten planen möglicher trajektorien für kraftfahrzeuge
DE102019106375B4 (de) Fahrzeugsteuervorrichtung
WO2020160795A1 (de) Verfahren und eine vorrichtung zur sensordatenfusion für ein fahrzeug
EP2793045A1 (de) Verfahren zur Überprüfung eines Umfelderfassungssystems eines Fahrzeugs
EP1298454A2 (de) Verfahren zur Erkennung und Verfolgung von Objekten
EP4222451B1 (de) Kartenplausibilitätsprüfungsverfahren
EP3156820A1 (de) Verfahren zum erfassen eines dynamischen objekts in einem umgebungsbereich eines kraftfahrzeugs auf basis von informationen einer kraftfahrzeugseitigen ultraschall-detektionseinrichtung, fahrerassistenzsystem und kraftfahrzeug
DE102017117593A1 (de) Fahrzeugfahrassistenzvorrichtung
DE102015121353A1 (de) Verfahren zum Erkennen einer möglichen Kollision zwischen einem Kraftfahrzeug und einem Objekt unter Berücksichtigung einer räumlichen Unsicherheit, Steuereinrichtung, Fahrerassistenzsystem sowie Kraftfahrzeug
EP3788594A1 (de) Konturerkennung eines fahrzeugs anhand von messdaten einer umfeldsensorik
DE102019115330A1 (de) Echtzeit-Sicherheitspfaderzeugung für hochautomatisiertes Fahrzeugrückfallmanöver
DE102014212866A1 (de) Verfahren zum Ermitteln eines Parkplatzes aus einer Anzahl von Messpunkten
DE102019126116A1 (de) Vorrichtung zum Informieren über eine Fahrspur und Steuerverfahren hierfür
WO2020160798A1 (de) Verfahren und eine vorrichtung zur sensordatenfusion für ein fahrzeug
DE102021110279A1 (de) Verfahren zum zumindest teilweise autonomen Bewegen eines zumindest teilweise autonomen Kraftfahrzeugs entlang einer vorgegebenen Trajektorie, Computerprogrammprodukt, computerlesbares Speichermedium sowie Assistenzsystem
EP3248852B1 (de) Verfahren zum betreiben einer verarbeitungseinrichtung für sensordaten eines in einem kraftfahrzeug angeordneten sensors und kraftfahrzeug
DE102021110283A1 (de) Verfahren zum zumindest teilweise autonomen Bewegen eines zumindest teilweise autonomen Kraftfahrzeugs entlang einer vorgegebenen Trajektorie, Computerprogrammprodukt, computerlesbares Speichermedium sowie Assistenzsystem
DE112017008095T5 (de) Objekterkennungsvorrichtung und Objekterkennungsverfahren
DE102021214763A1 (de) Verfahren und Steuervorrichtung zum Steuern eines automatisierten Fahrzeugs
WO2022128577A1 (de) Computerimplementiertes verfahren zur schätzung einer fahrzeugposition
DE102024203831A1 (de) Fahrzeugsteuerungsvorrichtung und steuerungsverfahren
DE102023002044B3 (de) Verfahren zu einer modellbasierten Fusion verschiedener Sensormodalitäten
DE102019129904A1 (de) Automatische Fahrkompetenzanalyse
DE102023117817A1 (de) Verfahren und Assistenzsystem zum Unterstützen einer automatisierten Fahrzeuglängsführung und entsprechend eingerichtetes Kraftfahrzeug
DE102016105023B4 (de) Verfahren zum Erfassen zumindest eines Objekts in einer Umgebung eines Kraftfahrzeugs durch Zusammenlegen von Objektmerkmalen, Steuereinrichtung, Fahrerassistenzsystem

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19790521

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19790521

Country of ref document: EP

Kind code of ref document: A1