WO2024109986A1 - Verfahren und vorrichtung zur fusionierung von zustands-hypothesen - Google Patents

Verfahren und vorrichtung zur fusionierung von zustands-hypothesen Download PDF

Info

Publication number
WO2024109986A1
WO2024109986A1 PCT/DE2023/100860 DE2023100860W WO2024109986A1 WO 2024109986 A1 WO2024109986 A1 WO 2024109986A1 DE 2023100860 W DE2023100860 W DE 2023100860W WO 2024109986 A1 WO2024109986 A1 WO 2024109986A1
Authority
WO
WIPO (PCT)
Prior art keywords
vehicle
state
hypotheses
basis
hypothesis
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/DE2023/100860
Other languages
English (en)
French (fr)
Inventor
Ludwig-Ferdinand STUMPP
Diego VALVERDE
Sebastian Schmidt
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Bayerische Motoren Werke AG
Original Assignee
Bayerische Motoren Werke AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bayerische Motoren Werke AG filed Critical Bayerische Motoren Werke AG
Priority to CN202380080464.5A priority Critical patent/CN120239828A/zh
Publication of WO2024109986A1 publication Critical patent/WO2024109986A1/de
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/10—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/66—Radar-tracking systems; Analogous systems
    • G01S13/72—Radar-tracking systems; Analogous systems for two-dimensional [2D] tracking, e.g. combination of angle and range tracking, track-while-scan radar
    • G01S13/723—Radar-tracking systems; Analogous systems for two-dimensional [2D] tracking, e.g. combination of angle and range tracking, track-while-scan radar by using numerical data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/862—Combination of radar systems with sonar systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/865—Combination of radar systems with lidar systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/86—Combinations of sonar systems with lidar systems; Combinations of sonar systems with systems not using wave reflection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88—Sonar systems specially adapted for specific applications
    • G01S15/93—Sonar systems specially adapted for specific applications for anti-collision purposes
    • G01S15/931—Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/932—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles using own vehicle data, e.g. ground speed, steering wheel direction
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9322—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles using additional data, e.g. driver condition, road state or weather data
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/096—Transfer learning

Definitions

  • the invention relates to a method and a corresponding device designed to fuse state hypotheses from different sensors of a vehicle.
  • a vehicle can comprise a plurality of different sensors which are, for example, set up to record sensor data relating to the environment of the vehicle and/or relating to a driving dynamics measurement variable of the vehicle.
  • the sensor data from the plurality of sensors can be evaluated in order to determine the state of the vehicle, whereby the state can relate in particular to the position of the vehicle in the road network traveled by the vehicle (for example to the position within the digital map for the road network).
  • the sensor data from the different sensors may result in several different state hypotheses regarding the current state of the This document deals with the technical task of fusing these different state hypotheses in an efficient and robust manner in order to achieve a particularly precise state determination.
  • a device for determining the state of a (motor) vehicle is described.
  • the state of the vehicle can include the position of the vehicle, in particular the position on the roadway traveled by the vehicle and/or the position within the digital map for the road network traveled by the vehicle.
  • the device is configured to determine K different state hypotheses regarding the state of the vehicle, with K>1 (e.g. K>2, or K>3).
  • K>1 e.g. K>2, or K>3
  • the device can be set up to determine the K different state hypotheses based on sensor data from a large number of sensors of the vehicle.
  • Example sensors are, • one or more environmental sensors (e.g. one or more cameras, radar sensors, lidar sensors and/or ultrasonic sensors), each configured to collect sensor data relating to the environment of the vehicle; and/or
  • one or more vehicle sensors e.g. a speed sensor, a wheel speed sensor, an inertial measuring unit, etc.
  • a driving dynamics measured variable e.g. the driving speed, the wheel speed, the acceleration, the steering angle, etc.
  • GNSS global navigation satellite system
  • the different state hypotheses can each be determined on the basis of sensor data from at least partially different sensors from the multitude of sensors in the vehicle. Alternatively or additionally, different methods can be used to determine the different state hypotheses.
  • the K different state hypotheses can include, for example,
  • K different state hypotheses can be determined for a current point in time.
  • K current state hypotheses can be determined for the current point in time.
  • the device is further configured to determine a feature vector by which the (current) driving situation of the vehicle is described.
  • the feature vector can be determined on the basis of sensor data from the plurality of sensors of the vehicle.
  • the feature vector can comprise a plurality of features (e.g. each as a vector component).
  • Example features are,
  • a characteristic relating to the type of road e.g. motorway, city, country road, etc.
  • exemplary obstacles are a tunnel, a relatively tall building (e.g. in the city center), and/or a bridge underpass.
  • a feature vector can be determined that describes the current driving situation of the vehicle.
  • the feature vector can be updated at a sequence of consecutive points in time in order to describe the current driving situation.
  • the device is further configured to determine K weights for the corresponding K state hypotheses on the basis of the feature vector and using a machine-learned unit.
  • the K weights can be standardized, e.g. such that the sum of the K weights corresponds to a standardization value (e.g. 1).
  • the device can be set up in particular to determine K confidence values for the corresponding K state hypotheses on the basis of the feature vector and using the machine-learned unit.
  • the K confidence values can indicate or indicate the trustworthiness and/or the quality of the corresponding K state hypotheses.
  • the K confidence values may not be standardized.
  • the K confidence values can then be standardized using a standardization unit in order to determine the corresponding K weights.
  • the standardization unit can use a softmax function to standardize the K confidence values. In this way, K standardized weights for a driving situation-dependent fusion of the K state hypotheses can be determined in a particularly efficient and precise manner.
  • the device is further configured to combine the K state hypotheses based on the corresponding K weights into a fused state hypothesis with respect to on the state of the vehicle.
  • the device can be set up in particular to weight the K state hypotheses with the corresponding K weights.
  • the fused state hypothesis can then be determined in a precise and efficient manner as a weighted average of the K state hypotheses.
  • a device is thus described which is designed to efficiently bring about a driving situation-dependent fusion of K different state hypotheses. In this way, a particularly precise fused state hypothesis can be provided.
  • the machine-learned unit can comprise one or more artificial neural networks. Furthermore, the machine-learned unit can have been trained using training data, the training data comprising, for example, a large number of training data sets.
  • the individual training data sets can each have a training feature vector to describe the specific driving situation in question.
  • the individual training data sets can each comprise K training confidence values and/or K training weights that are to be used in the specific driving situation in question to fuse the K state hypotheses.
  • the individual training data sets can each specify K training state hypotheses and a fused training state hypothesis for the specific driving situation.
  • the training data can have been determined experimentally (as part of journeys by one or more vehicles) and/or using simulations.
  • a predicted, fused, current state hypothesis can be determined using the machine-learned unit on the basis of the training feature vector and the K individual training state hypotheses from a training data set. This can be compared with the fused training state hypothesis from the training data set. This can be done in a similar way for a large number of different training data sets from the training data in order to determine the value of an error function (e.g. a mean (possibly squared) deviation between the individual actual state hypotheses and the corresponding training state hypotheses). Using a backpropagation algorithm, the error function can be propagated back to the individual parameters of the machine-learned unit in order to adapt the parameters and thus (in an iterative manner) to train the machine-learned unit.
  • an error function e.g. a mean (possibly squared) deviation between the individual actual state hypotheses and the corresponding training state hypotheses.
  • the machine-learned unit can have been trained to indicate the trustworthiness and/or the quality of the different state hypotheses for the respective driving situation (which is described by a feature vector) (where the trustworthiness and/or the quality is described by a trust value).
  • the device can be set up to determine, for a sequence of successive points in time, K different state hypotheses for the respective current point in time, and to determine a feature vector by which the driving situation of the vehicle at the respective current point in time is described (for this purpose, the sensor data of the one or more sensors of the vehicle available at the respective current point in time can be used).
  • the device can further be configured to calculate weights for the corresponding K To determine state hypotheses.
  • the K state hypotheses can be merged based on the corresponding K weights to form the merged state hypothesis for the current point in time.
  • the device can thus be set up, in particular in an iterative manner, to update the state of the vehicle at a sequence of successive points in time on the basis of the fused state hypothesis determined for the respective point in time. This can be done using a Kalman filter.
  • the individual (individual) state hypotheses can refer to different (intermediate) points in time. It can be ensured (e.g. using K Kalman filters for the corresponding K state hypotheses) that the individual state hypotheses are each predicted to have a common point in time. In other words, it can be ensured (e.g. using appropriate Kalman filters) that the K state hypotheses to be merged are each time-synchronized (and thus each refer to a single common point in time). These K time-synchronized state hypotheses can then be merged in a precise manner based on the corresponding K weights to form the merged state hypothesis (for the respective common point in time).
  • a Kalman filter can be used to update the state of the vehicle at a sequence of consecutive points in time. Based on the state at a previous point in time, a predicted state for the subsequent point in time can be determined using a model. Furthermore, the fused state hypothesis for the subsequent point in time can be used as a measurement update. to determine the updated state at the subsequent point in time based on the predicted state and based on the fused state hypothesis.
  • the device can also be set up to operate the vehicle, in particular a driving function for automated longitudinal and/or transverse guidance of the vehicle, depending on the fused state hypothesis (on the sequence of consecutive points in time). This can result in particularly reliable automated operation of the vehicle.
  • a (road) motor vehicle in particular a passenger car or a truck or a bus or a motorcycle
  • a (road) motor vehicle in particular a passenger car or a truck or a bus or a motorcycle
  • a method for determining the state of a (motor) vehicle comprises determining K different state hypotheses for the state of the vehicle, with K>1.
  • the method further comprises determining a feature vector by which the driving situation of the vehicle is described, and determining, on the basis of the feature vector and using a machine-learned unit, K weights for the corresponding K state hypotheses.
  • the method further comprises merging the K state hypotheses on the basis of the corresponding K weights to form a fused state hypothesis for the state of the vehicle.
  • a software (SW) program is described.
  • the SW program can be configured to be executed on a processor (eg on a control unit of a vehicle) and thereby to carry out the method described in this document.
  • a storage medium is described.
  • the storage medium can comprise a software program which is configured to be executed on a processor and thereby to carry out the method described in this document.
  • Figure la shows exemplary components of a vehicle
  • Figure 2 shows an exemplary device for determining a fused state hypothesis for the state of a vehicle
  • Figure 3 is a flow chart of an exemplary method for determining a fused state hypothesis for the state of a vehicle.
  • the state of the vehicle can be described by a state vector, which can have one or more state variables.
  • Example state variables for describing the state of the vehicle are,
  • the position of the vehicle e.g. the position within a digital map describing the road network travelled by the vehicle
  • the speed of the vehicle e.g. the speed of the vehicle
  • the orientation of the vehicle e.g. the orientation of the vehicle
  • the (longitudinal and/or lateral) acceleration of the vehicle e.g. the acceleration of the vehicle.
  • Fig. 1a shows an exemplary vehicle 100 that has a plurality of different environmental sensors 102.
  • Exemplary environmental sensors 102 are one or more cameras, one or more radar sensors, one or more ultrasonic sensors, one or more lidar sensors, etc.
  • the vehicle 100 further comprises a plurality of vehicle sensors 103, such as a speed sensor, an acceleration sensor, an inertial measuring unit, a steering sensor, a wheel speed sensor, etc.
  • a (control) device 101 of the vehicle 100 is set up to evaluate the sensor data of the plurality of sensors 102, 103 of the vehicle 100 in order to determine the state of the vehicle 100.
  • the state in particular a state hypothesis 111 shown in Fig. 1b, can be updated recursively and/or iteratively at a sequence of successive points in time based on the currently available sensor data.
  • a Kalman filter can be used for this purpose.
  • the device 101 can also be set up to control one or more longitudinal and/or transverse guidance actuators 104 of the vehicle 100 based on the determined state of the vehicle 100, e.g. to automatically guide the vehicle 100 longitudinally and/or transversely.
  • the determined state of the vehicle 100 can indicate the position of the vehicle 100 within the roadway traveled by the vehicle 100.
  • the one or more actuators 104 can be controlled depending on the determined state in order to automatically guide the vehicle 100 longitudinally and/or transversely within a specific lane of the roadway.
  • Fig. lb shows an exemplary roadway 110 on which the vehicle 100 is arranged.
  • a plurality of different state hypotheses 111 (ie, several different state hypotheses 111) can be determined with respect to the state of the vehicle 100 at the time n.
  • the different state hypotheses 111 can have been determined based on the sensor data from different sensors 102, 103.
  • Exemplary state hypotheses 111 with respect to the position of the vehicle 100 can be
  • a state hypothesis 111 which is determined on the basis of the GNSS (global navigation satellite system) coordinates, in particular on the basis of the GPS coordinates, of the vehicle 100; and/or
  • a state hypothesis 111 determined on the basis of odometry data e.g. the steering sensor and/or the speed sensor and/or the wheel speed sensor
  • a state hypothesis 111 which is determined on the basis of one or more landmarks in the surroundings of the vehicle 100 (wherein the one or more landmarks can be detected and/or localized on the basis of the sensor data of an environment camera and/or a radar sensor and/or a lidar sensor); and/or
  • a state hypothesis 111 which is determined on the basis of one or more lane markings on the roadway 110 traveled by the vehicle 100 (wherein the one or more lane markings can be detected and/or localized on the basis of the sensor data of an environment camera).
  • K different state hypotheses 111 can be determined (with K>1).
  • the K different state hypotheses can be merged to determine a merged state hypothesis, which can be used, for example, in the context of a Kalman filter (as a measurement update). to determine the current state of the vehicle 100 (at time n).
  • the quality, in particular the accuracy, and/or the trustworthiness of the different state hypotheses 111 can depend on the respective driving situation.
  • the quality of a state hypothesis 111 based on GNSS coordinates can depend on the current weather conditions.
  • the quality of a state hypothesis 111 that depends on the camera data of an environment camera 102 can depend on the respective lighting conditions.
  • the quality of a state hypothesis 111 that depends on the sensor data of an environment sensor 102 can depend on the current traffic density.
  • the device 101 can be set up to bring about the fusion of the K different state hypotheses 111 depending on the currently existing driving situation of the vehicle 100.
  • the sensor data of the plurality of sensors 102, 103 can be evaluated in order to describe the current driving situation, wherein the driving situation can be described, for example, by a feature vector that has a certain number of vector components for different features of the driving situation.
  • Example features of the driving situation are,
  • the device 101 can further be configured to determine a driving situation-specific fusion method for fusing the K different state hypotheses 111 on the basis of the feature vector for describing the driving situation (present at the current time n). The combined and/or fused state hypothesis can then be determined using the driving situation-specific fusion method.
  • the driving situation-specific fusion method can be determined using a machine-learned unit.
  • the machine-learned unit can have been trained in advance based on training data.
  • Fig. 2 shows an exemplary device 200 for merging K different state hypotheses 111 into a fused state hypothesis 204.
  • the device 200 comprises a fusion unit 213 which is set up to merge the K different state hypotheses 111 into the fused state hypothesis 204 using K weights 203 for the corresponding K state hypotheses 111.
  • the fused state hypothesis 204 can be determined within the fusion unit 213 as a weighted average of the K state hypotheses 111 (using the corresponding K weights 203).
  • the formation of a weighted average of the K state hypotheses 111 can thus be used as a fusion method.
  • the K weights 203 for weighting the corresponding K state hypotheses 111 can be adapted depending on the respective driving situation, in particular depending on the feature vector 201 for describing the respective driving situation. Driving situation-specific weights 203 and thus a driving situation-specific fusion method can thus be used.
  • the K weights 203 can be determined using a machine-learned unit 211, wherein the machine-learned unit 211 comprises, for example, one or more artificial neural networks.
  • the machine-learned unit 211 can be set up to determine K confidence values 202 for the K different state hypotheses 111 on the basis of the feature vector 201.
  • the confidence value 202 for a state hypothesis 111 can indicate the quality and/or the trustworthiness of the state hypothesis 111. The quality and/or the trustworthiness can increase with increasing confidence value 202.
  • the K confidence values 202 can be normalized in a normalization unit 212 to determine corresponding K weights 203, the sum of which results in a normalization value, e.g. 1.
  • the normalization unit 212 can use the softmax function for this purpose.
  • Training data can be used to train the machine learning unit 211, the training data comprising a large number (e.g. 1000 or more, or 10000 or more) training data sets.
  • the individual training data sets can each have a training feature vector 201 (for describing a specific driving situation) and an associated set of training confidence values 202.
  • the training confidence values 202 can have been measured when the specific driving situation occurs. In other words, the training confidence values 202 can indicate what quality and/or trustworthiness the different state hypotheses 111 actually have when the specific driving situation occurs.
  • the training data can have been determined experimentally during the operation of one or more vehicles 100.
  • a supervised learning of the machine-learned unit 211 can be carried out (eg using a backpropagation algorithm).
  • the machine-learned unit 211 can thereby learn on the basis of the Training data can be learned with the aim of reducing a certain error function.
  • the error function can depend on the training confidence values 202 displayed in the training data and on the actual confidence values 202 determined by the machine learning unit 211 (on the basis of the training feature vectors 201 displayed in the training data) (e.g. on the (mean, possibly squared) deviation of the training confidence values 202 from the corresponding actual confidence values 202).
  • the machine learning unit 211 can be trained in conjunction with the entire fusion device 200.
  • Training data can be used with training data sets that each have a pair of a training feature vector 201 and a fused training state hypothesis 204 (as ground truth reference).
  • the individual training data sets can also display K individual training state hypotheses 111 (which were determined on the basis of the respective subset of sensors 102, 103).
  • a predicted actual state hypothesis 204 can be determined for each training feature vector 201 (using the fusion device 200 and taking into account the K individual training state hypotheses 111) and compared with the corresponding training state hypothesis 204 in order to determine the value of an error function (e.g. the mean (possibly squared) deviation).
  • the parameters of the machine-learning unit 211 can be adjusted (by using a backpropagation algorithm).
  • fused training state hypotheses 204 can be used to teach the machine learning unit 211 Ground Truth, which are provided, for example, by a (very precise) sensor for localization (eg DGPS (Differential Global Positioning System) or RTK (Real Time Kinematic)).
  • the error function that enables the training of the machine-learned unit 211 can be determined by comparing the current state hypothesis 204 predicted by the unit 211 and the fused training state hypothesis 204 according to the ground truth reference. An end-to-end training of the machine-learned unit 211 can thus take place within the fusion device 200.
  • backpropagation the error can be traced back to individual weights 203, to individual confidence values 202, and finally to the parameters of the machine-learned unit 211, whereby the parameters of the machine-learned unit 211 are adapted during training.
  • the error function acts at the same point as the final prediction (i.e. at the fused state hypotheses 204), the quality of the final prediction can be ensured in a particularly reliable manner. Furthermore, the plausibility of the individual K confidence values 202 and/or weights 203 with regard to precise localization can be achieved.
  • Alternative or complementary methods for generating a ground truth reference include, for example, post-processing optimization methods, which can be applied globally after a test drive of a vehicle 100 to optimize original position estimates.
  • a feature vector 201 can thus be determined for a specific point in time n, which describes the driving situation present at the specific point in time n.
  • a set of confidence values 202 can be determined using the machine-learned unit 211, which is converted into a corresponding set of (normalized) weights 203 by the normalization unit 212.
  • the set of weights 203 can be used to merge the different state hypotheses 111 in order to create a merged state hypothesis 204 for the specific Time n.
  • the fused state hypothesis 204 can be used to determine the current state of the vehicle 100 at the specific time n.
  • the fused state hypothesis 204 can be used, for example, as a measurement update in a Kalman filter.
  • the set of confidence values 202 determined by the machine-learned unit 211 can be used (possibly independently of the fusion described in this document) to evaluate the corresponding set of (individual) state hypotheses 111.
  • the vehicle 100 can have a driving function that is operated on the basis of one or more (individual) state hypotheses 111 (possibly without access to the fused state hypothesis 204).
  • the confidence values 202 and/or weights 203 determined by the machine-learned unit 211 for the one or more (individual) state hypotheses 111 can then be taken into account by the driving function. In this way, the quality and/or reliability of the driving function can be increased.
  • the device 101 can also be set up to determine K weights 203 and/or K confidence values 202 for the corresponding K state hypotheses 111 on the basis of the feature vector 201 and using the machine-learning unit 211.
  • the device 101 can be set up to operate a driving function of the vehicle 100 on the basis of the K state hypotheses 111 and on the basis of the corresponding K confidence values 202 and/or weights 203 (possibly without merging the K state hypotheses 111).
  • Fig. 3 shows a flow chart of a (possibly computer-implemented) method 300 for determining the state of a (motor) vehicle 100.
  • the state can relate to the position of the vehicle 100. Furthermore, the state can be described by a state vector with one or more state variables.
  • the method 300 includes determining 301 K different state hypotheses 111 with respect to the state of the vehicle 100, with K>1.
  • the individual state hypotheses 111 can be determined on the basis of sensor data from one or more sensors 102, 103 of the vehicle 100. In this case, at least partially different sensors 102, 103 and/or at least partially different methods for determining the respective state hypothesis 111 can be used for different state hypotheses 111.
  • the method 300 further includes determining 302 a feature vector 201 by which the driving situation of the vehicle 100 is described.
  • the feature vector 201 can include one or more features for describing the driving situation in which the vehicle 100 is located.
  • the individual features can be determined on the basis of sensor data from one or more sensors 102, 103 of the vehicle 100.
  • the method 300 includes determining 303, on the basis of the feature vector 201 and using a machine-learned unit 211, K weights 203 for the corresponding K state hypotheses 111.
  • the machine-learned unit 211 can have been trained in advance on the basis of training data.
  • the parameters of one or more neural networks can have been trained.
  • the method 300 further comprises merging 304 the K state hypotheses 111 on the basis of the corresponding K weights 203 to form a fused state hypothesis 204 for the state of the vehicle 100.
  • a weighted The mean of the K state hypotheses 111 are determined to determine the fused state hypothesis 204.
  • the measures described in this document can bring about a particularly efficient and precise fusion of different state hypotheses 111. In this way, the quality of the state determination and the quality of an automated driving function of a vehicle 100 (which uses the fused state hypothesis 204) can be increased.
  • the present invention is not limited to the exemplary embodiments shown. In particular, it should be noted that the description and the figures are only intended to illustrate the principle of the proposed methods, devices and systems by way of example.

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Acoustics & Sound (AREA)
  • Automation & Control Theory (AREA)
  • Mathematical Physics (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Traffic Control Systems (AREA)

Abstract

Es wird eine Vorrichtung zur Ermittlung des Zustands eines Fahrzeugs beschrieben, wobei die Vorrichtung eingerichtet ist, K unterschiedliche Zustands-Hypothesen in Bezug auf den Zustand des Fahrzeugs zu ermitteln, mit K>1. Die Vorrichtung ist ferner eingerichtet, einen Merkmalsvektor zu ermitteln, durch den die Fahrsituation des Fahrzeugs beschrieben wird, und auf Basis des Merkmalsvektors und anhand einer Maschinen-erlernten Einheit K Gewichte für die entsprechenden K Zustands-Hypothesen zu ermitteln. Die Vorrichtung ist ferner eingerichtet, die K Zustands-Hypothesen auf Basis der entsprechenden K Gewichte zu einer fusionierten Zustands-Hypothese in Bezug auf den Zustand des Fahrzeugs zu fusionieren.

Description

Verfahren und Vorrichtung zur Fusionierung von Zustands-Hypothesen
Die Erfindung betrifft ein Verfahren und eine entsprechende Vorrichtung, die darauf ausgerichtet sind, Zustands-Hypothesen von unterschiedlichen Sensoren eines Fahrzeugs zu fusionieren.
Ein Fahrzeug kann eine Vielzahl von unterschiedlichen Sensoren umfassen, die z.B. eingerichtet sind, Sensordaten in Bezug auf das Umfeld des Fahrzeugs und/oder in Bezug auf eine fahrdynamische Messgröße des Fahrzeugs zu erfassen. Die Sensordaten der Vielzahl von Sensoren können ausgewertet werden, um den Zustand des Fahrzeugs zu ermitteln, wobei sich der Zustand insbesondere auf die Position des Fahrzeugs in dem von dem Fahrzeug befahrenen Fahrbahnnetz (etwa auf die Position innerhalb der digitalen Karte für das Fahrbahnnetz) beziehen kann.
Aus den Sensordaten der unterschiedlichen Sensoren können sich ggf. mehrere unterschiedliche Zustands-Hypothesen in Bezug auf den aktuellen Zustand des Fahrzeugs ergeben. Das vorliegende Dokument befasst sich mit der technischen Aufgabe, diese unterschiedlichen Zustands-Hypothesen in effizienter und robuster Weise zu fusionieren, um eine besonders präzise Zustandsermittlung zu bewirken.
Die Aufgabe wird durch jeden der unabhängigen Ansprüche gelöst. Vorteilhafte Ausführungsformen werden u.a. in den abhängigen Ansprüchen beschrieben. Es wird darauf hingewiesen, dass zusätzliche Merkmale eines von einem unabhängigen Patentanspruch abhängigen Patentanspruchs ohne die Merkmale des unabhängigen Patentanspruchs oder nur in Kombination mit einer Teilmenge der Merkmale des unabhängigen Patentanspruchs eine eigene und von der Kombination sämtlicher Merkmale des unabhängigen Patentanspruchs unabhängige Erfindung bilden können, die zum Gegenstand eines unabhängigen Anspruchs, einer Teilungsanmeldung oder einer Nachanmeldung gemacht werden kann. Dies gilt in gleicher Weise für in der Beschreibung beschriebene technische Lehren, die eine von den Merkmalen der unabhängigen Patentansprüche unabhängige Erfindung bilden können.
Gemäß einem Aspekt wird eine Vorrichtung zur Ermittlung des Zustands eines (Kraft-) Fahrzeugs beschrieben. Der Zustand des Fahrzeugs kann die Position des Fahrzeugs umfassen, insbesondere die Position auf der von dem Fahrzeug befahrenen Fahrbahn und/oder die Position innerhalb der digitalen Karte für das von dem Fahrzeug befahrene Fahrbahnnetz.
Die Vorrichtung ist eingerichtet, K unterschiedliche Zustands-Hypothesen in Bezug auf den Zustand des Fahrzeugs zu ermitteln, mit K>1 (z.B. K>2, oder K>3).
Die Vorrichtung kann eingerichtet sein, die K unterschiedlichen Zustands- Hypothesen auf Basis von Sensordaten einer Vielzahl von Sensoren des Fahrzeugs zu ermitteln. Beispielhafte Sensoren sind, • ein oder mehrere Umfeldsensoren (z.B. ein oder mehrere Kameras, Radarsensoren, Lidarsensoren und/oder Ultraschall sensoren), die jeweils eingerichtet sind, Sensordaten in Bezug auf das Umfeld des Fahrzeugs zu erfassen; und/oder
• ein oder mehrere Fahrzeugsensoren (z.B. ein Geschwindigkeitssensor, ein Raddrehzahlsensor, eine inertiale Messeinheit, etc.), die jeweils eingerichtet sind, Sensordaten in Bezug auf eine fahrdynamische Messgröße (z.B. die Fahrgeschwindigkeit, die Raddrehzahl, die Beschleunigung, den Lenkwinkel, etc.) des Fahrzeugs zu erfassen; und/oder
• ein Empfänger eines globalen Navigationssatellitensystems (GNSS), insbesondere ein GPS -Empfänger.
Die unterschiedlichen Zustands-Hypothesen können jeweils auf Basis von Sensordaten von zumindest teilweise unterschiedlichen Sensoren aus der Vielzahl von Sensoren des Fahrzeugs ermittelt werden. Alternativ oder ergänzend können unterschiedliche Methoden verwendet werden, um die unterschiedlichen Zustands-Hypothesen zu ermitteln.
Die K unterschiedlichen Zustands-Hypothesen können z.B. umfassen,
• eine Zustands-Hypothese, die auf Basis von Sensordaten des GNSS- Empfängers ermittelt wird (wobei die Sensordaten des GNSS -Empfängers z.B. in Zusammenhang mit der digitalen Karte für das von dem Fahrzeug befahrene Fahrbahnnetz ausgewertet werden); und/oder
• eine Zustands-Hypothese, die auf Basis von Fahrspurmarkierungen auf der von dem Fahrzeug befahrenen Fahrbahn ermittelt wird (wobei die Fahrspurmarkierungen z.B. auf Basis der Kameradaten einer Kamera des Fahrzeugs erkannt werden); und/oder
• eine Zustands-Hypothese, die auf Basis von ein oder mehreren Landmarken in dem Umfeld des Fahrzeugs ermittelt wird (wobei die ein oder mehreren Landmarken durch die digitale Karte angezeigt und/oder auf Basis der Kameradaten einer Kamera des Fahrzeugs erkannt werden); und/oder
• eine Zustands-Hypothese, die auf Basis von Odometriedaten des Fahrzeugs (z.B. die Fahrgeschwindigkeit und/oder den Lenkwinkel des Fahrzeugs) ermittelt wird.
Es können somit auf Basis von jeweils aktuellen Sensordaten K unterschiedliche Zustands-Hypothesen für einen aktuellen Zeitpunkt ermittelt werden. In entsprechender Weise können für eine Sequenz von aufeinanderfolgenden Zeitpunkten auf Basis der jeweils aktuellen Sensordaten jeweils K aktuelle Zustands-Hypothesen für den jeweils aktuellen Zeitpunkt ermittelt werden.
Die Vorrichtung ist ferner eingerichtet, einen Merkmalsvektor zu ermitteln, durch den die (jeweils aktuelle) Fahrsituation des Fahrzeugs beschrieben wird. Der Merkmalsvektor kann auf Basis von Sensordaten der Vielzahl von Sensoren des Fahrzeugs ermittelt werden. Ferner kann der Merkmalsvektor eine Vielzahl von Merkmalen umfassen (z.B. jeweils als Vektorkomponente). Beispielhafte Merkmale sind,
• ein Merkmal in Bezug auf die Fahrgeschwindigkeit und/oder die Beschleunigung des Fahrzeugs; und/oder
• ein Merkmal in Bezug auf die Verkehrsdichte auf der von dem Fahrzeug befahrenen Fahrbahn; und/oder
• ein Merkmal in Bezug auf ein oder mehrere Witterungsbedingungen in dem Umfeld des Fahrzeugs; und/oder
• ein Merkmal in Bezug auf Lichtverhältnisse in dem Umfeld des Fahrzeugs; und/oder
• ein Merkmal in Bezug auf ein Ausmaß und/oder einen Typ von Niederschlag (z.B. Regen oder Schnee) in dem Umfeld des Fahrzeugs; und/oder
• ein Merkmal in Bezug auf den Straßentyp (z.B. Autobahn, Stadt, Landstraße, etc.) der von dem Fahrzeug befahrenen Fahrbahn; und/oder • ein Merkmal in Bezug auf das Vorliegen bzw. das Nicht-Vorliegen eines Hindernisses für ein GNSS (insbesondere GPS) Signal; wobei beispielhafte Hindernisse ein Tunnel, ein relativ hohes Gebäude (etwa in der Innenstadt), und/oder eine Brückenunterfahrung sind.
Es kann somit auf Basis von Sensordaten der ein oder mehreren Sensoren des Fahrzeugs ein Merkmalsvektor ermittelt werden, der die aktuell vorliegende Fahrsituation des Fahrzeugs beschreibt. Der Merkmalsvektor kann an einer Sequenz von aufeinanderfolgenden Zeitpunkten aktualisiert werden, um die jeweils aktuell vorliegende Fahrsituation zu beschreiben.
Die Vorrichtung ist ferner eingerichtet, auf Basis des Merkmalsvektors und anhand einer Maschinen-erlemten Einheit K Gewichte für die entsprechenden K Zustands-Hypothesen zu ermitteln. Dabei können die K Gewichte normiert sein, z.B. derart, dass die Summe der K Gewichte einem Normierungswert (z.B. 1) entspricht.
Die Vorrichtung kann insbesondere eingerichtet sein, auf Basis des Merkmalsvektors und anhand der Maschinen-erlernten Einheit K Vertrauenswerte für die entsprechenden K Zustands-Hypothesen zu ermitteln. Dabei können die K Vertrauenswerte die Vertrauenswürdigkeit und/oder die Güte der entsprechenden K Zustands-Hypothesen anzeigen bzw. angeben. Die K Vertrauenswerte können ggf. nicht normiert sein. Die K Vertrauen swerte können dann anhand einer Normierungseinheit normiert werden, um die entsprechenden K Gewichte zu ermitteln. Die Normierungseinheit kann eine Softmax-Funktion verwenden, um die K Vertrauenswerte zu normieren. So können in besonders effizienter und präziser Weise K normierte Gewichte für eine Fahrsituations-abhängige Fusionierung der K Zustands-Hypothesen ermittelt werden.
Die Vorrichtung ist ferner eingerichtet, die K Zustands-Hypothesen auf Basis der entsprechenden K Gewichte zu einer fusionierten Zustands-Hypothese in Bezug auf den Zustand des Fahrzeugs zu fusionieren. Die Vorrichtung kann insbesondere eingerichtet sein, die K Zustands-Hypothesen mit den entsprechenden K Gewichten zu gewichten. Die fusionierte Zustands-Hypothese kann dann in präziser und effizienter Weise als gewichteter Mittelwert der K Zustands-Hypothesen ermittelt werden.
Es wird somit eine Vorrichtung beschrieben, die ausgebildet ist, in effizienter Weise eine Fahrsituations-abhängige Fusionierung von K unterschiedlichen Zustands-Hypothesen zu bewirken. So kann eine besonders präzise fusionierte Zustands-Hypothese bereitgestellt werden.
Die Maschinen-erlernte Einheit kann ein oder mehrere künstliche neuronale Netze umfassen. Ferner kann die Maschinen-erlernte Einheit anhand von Trainingsdaten angelernt worden sein, wobei die Trainingsdaten z.B. eine Vielzahl von Trainings-Datensätzen umfassen. Die einzelnen Trainings-Datensätze können jeweils einen Trainings-Merkmalsvektor zur Beschreibung der jeweils vorliegenden bestimmten Fahrsituation aufweisen. Des Weiteren können die einzelnen Trainings-Datensätze jeweils K Trainings-Vertrauenswerte und/oder K Trainings-Gewichte umfassen, die bei der jeweils vorliegenden bestimmten Fahrsituation zur Fusionierung der K Zustands-Hypothesen zu verwenden sind. Alternativ oder ergänzend können die einzelnen Trainings-Datensätze jeweils K Trainings-Zustands-Hypothesen und eine fusionierte Trainings-Zustands- Hypothese für die bestimmte Fahrsituation angeben. Die Trainingsdaten können experimentell (im Rahmen von Fahrten von ein oder mehreren Fahrzeugen) und/oder anhand von Simulationen ermittelt worden sein.
Zum Anlemen der Maschinen-erlernten Einheit kann anhand der Maschinenerlernten Einheit auf Basis des Trainings-Merkmalsvektors und der K individuellen Trainings-Zustands-Hypothesen aus einem Trainings-Datensatz eine prädizierte, fusionierte, Ist-Zustands-Hypothese ermittelt werden. Diese kann mit der fusionierten Trainings-Zustands-Hypothese aus dem Trainings-Datensatz verglichen werden. Dies kann in entsprechender Weise für eine Vielzahl von unterschiedlichen Trainings-Datensätzen aus den Trainingsdaten durchgeführt werden, um den Wert einer Fehlerfunkti on (z.B. einer mittleren (ggf. quadratischen) Abweichung zwischen den einzelnen Ist-Zustands-Hypothesen und den entsprechenden Trainings-Zustands-Hypothesen) zu ermitteln. Anhand eines Backpropagation-Algorithmus kann die Fehlerfunktion auf die einzelnen Parameter der Maschinen-erlemten Einheit zurück propagiert werden, um die Parameter anzupassen und um somit (in iterativer Weise) die Maschinen-erl ernte Einheit anzulernen.
Es kann somit ein überwachtes Lernen der Maschinen-erlernten Einheit durchgeführt worden sein. Die Maschinen-erlernte Einheit kann dabei angelernt worden sein, um für die jeweils vorliegende Fahrsituation (die jeweils durch einen Merkmalsvektor beschrieben wird) die Vertrauenswürdigkeit und/oder die Güte der unterschiedlichen Zustands-Hypothesen anzugeben (wobei die Vertrauenswürdigkeit und/oder die Güte durch einen Vertrauenswert beschrieben wird).
Durch die Verwendung einer derart angelernten Maschinen-erlemten Einheit kann eine besonders präzise Fahrsituations-abhängige Fusion bewirkt werden.
Die Vorrichtung kann eingerichtet sein, für eine Sequenz von aufeinanderfolgenden Zeitpunkten jeweils, K unterschiedliche Zustands- Hypothesen für den jeweils aktuellen Zeitpunkt zu ermitteln, und einen Merkmalsvektor zu ermitteln, durch den die Fahrsituation des Fahrzeugs an dem jeweils aktuellen Zeitpunkt beschrieben wird (zu diesem Zweck können die an dem jeweils aktuellen Zeitpunkt vorliegenden Sensordaten der ein oder mehreren Sensoren des Fahrzeugs verwendet werden).
Die Vorrichtung kann ferner eingerichtet sein, auf Basis des Merkmalsvektors und anhand der Maschinen-erlemten Einheit K Gewichte für die entsprechenden K Zustands-Hypothesen zu ermitteln. Die K Zustands-Hypothesen können auf Basis der entsprechenden K Gewichte zu der fusionierten Zustands-Hypothese für den jeweils aktuellen Zeitpunkt fusioniert werden.
Die Vorrichtung kann somit eingerichtet sein, insbesondere in iterativer Weise, den Zustand des Fahrzeugs an einer Sequenz von aufeinanderfolgenden Zeitpunkten auf Basis der für den jeweiligen Zeitpunkt ermittelten fusionierten Zustands-Hypothese zu aktualisieren. Dies kann unter Verwendung eines Kalman-Filters erfolgen.
Es kann somit dauerhaft während des Betriebs des Fahrzeugs eine präzise Fusion von Zustands-Hypothesen bewirkt werden.
Die einzelnen (individuellen) Zustands-Hypothesen können sich ggf. auf unterschiedliche (Zwischen-) Zeitpunkte beziehen. Es kann bewirkt werden (z.B. anhand von K Kalman-Filter für die entsprechenden K Zustands-Hypothesen), dass die einzelnen Zustands-Hypothesen jeweils auf einen gemeinsamen Zeitpunkt prädiziert werden. Mit anderen Worten, es kann (z.B. anhand von entsprechenden Kalman-Filtern) bewirkt werden, dass die zu fusionierenden K Zustands-Hypothesen jeweils zeitsynchron sind (und sich somit jeweils auf einen einzigen gemeinsamen Zeitpunkt beziehen). Diese K zeitsynchronen Zustands- Hypothesen können dann in präziser Weise auf Basis der entsprechenden K Gewichte zu der fusionierten Zustands-Hypothese (für den jeweiligen gemeinsamen Zeitpunkt) fusioniert werden.
Alternativ oder ergänzend kann ein Kalman-Filter dazu verwendet werden, den Zustand des Fahrzeugs an einer Sequenz von aufeinanderfolgenden Zeitpunkten zu aktualisieren. Dabei kann auf Basis des Zustands an einem vorhergehenden Zeitpunkt unter Verwendung eines Modells ein prädizierter Zustand für den nachfolgenden Zeitpunkt ermittelt werden. Ferner kann die fusionierte Zustands- Hypothese für den nachfolgenden Zeitpunkt als Messupdate verwendet werden, um basierend auf dem prädizierten Zustand und basierend auf der fusionierten Zustands-Hypothese den aktualisierten Zustand an dem nachfolgenden Zeitpunkt zu ermitteln.
Die Vorrichtung kann ferner eingerichtet sein, das Fahrzeug, insbesondere eine Fahrfunktion zur automatisierten Längs- und/oder Querführung des Fahrzeugs, in Abhängigkeit von der fusionierten Zustands-Hypothese (an der Sequenz von aufeinanderfolgenden Zeitpunkten) zu betreiben. So kann ein besonders zuverlässiger automatisierter Betrieb des Fahrzeugs bewirkt werden.
Gemäß einem weiteren Aspekt wird ein (Straßen-) Kraftfahrzeug (insbesondere ein Personenkraftwagen oder ein Lastkraftwagen oder ein Bus oder ein Motorrad) beschrieben, das die in diesem Dokument beschriebene Vorrichtung umfasst.
Gemäß einem weiteren Aspekt wird ein Verfahren zur Ermittlung des Zustands eines (Kraft-) Fahrzeugs beschrieben. Das Verfahren umfasst das Ermitteln von K unterschiedlichen Zustands-Hypothesen für den Zustand des Fahrzeugs, mit K>1. Des Weiteren umfasst das Verfahren das Ermitteln eines Merkmalsvektors, durch den die Fahrsituation des Fahrzeugs beschrieben wird, sowie das Ermitteln, auf Basis des Merkmalsvektors und anhand einer Maschinen-erlernten Einheit, von K Gewichten für die entsprechenden K Zustands-Hypothesen. Das Verfahren umfasst ferner das Fusionieren der K Zustands-Hypothesen auf Basis der entsprechenden K Gewichte zu einer fusionierten Zustands-Hypothese für den Zustand des Fahrzeugs.
Gemäß einem weiteren Aspekt wird ein Software (SW) Programm beschrieben. Das SW Programm kann eingerichtet werden, um auf einem Prozessor (z.B. auf einem Steuergerät eines Fahrzeugs) ausgeführt zu werden, und um dadurch das in diesem Dokument beschriebene Verfahren auszuführen. Gemäß einem weiteren Aspekt wird ein Speichermedium beschrieben. Das Speichermedium kann ein SW Programm umfassen, welches eingerichtet ist, um auf einem Prozessor ausgeführt zu werden, und um dadurch das in diesem Dokument beschriebene Verfahren auszuführen.
Es ist zu beachten, dass die in diesem Dokument beschriebenen Verfahren, Vorrichtungen und Systeme sowohl alleine, als auch in Kombination mit anderen in diesem Dokument beschriebenen Verfahren, Vorrichtungen und Systemen verwendet werden können. Des Weiteren können jegliche Aspekte der in diesem Dokument beschriebenen Verfahren, Vorrichtungen und Systemen in vielfältiger Weise miteinander kombiniert werden. Insbesondere können die Merkmale der Ansprüche in vielfältiger Weise miteinander kombiniert werden. Ferner sind in Klammem aufgeführte Merkmale als optionale Merkmale zu verstehen.
Im Weiteren wird die Erfindung anhand von Ausführungsbeispielen näher beschrieben. Dabei zeigen
Figur la beispielhafte Komponenten eines Fahrzeugs;
Figur 1b beispielhafte Zustands-Hypothesen;
Figur 2 eine beispielhafte Vorrichtung zur Ermittlung einer fusionierten Zustands- Hypothese für den Zustand eines Fahrzeugs; und
Figur 3 ein Ablaufdiagramm eines beispielhaften Verfahrens zur Ermittlung einer fusionierten Zustands-Hypothese für den Zustand eines Fahrzeugs.
Wie eingangs dargelegt, befasst sich das vorliegende Dokument mit der effizienten und präzisen Ermittlung des Zustands eines Fahrzeugs. Der Zustand des Fahrzeugs kann durch einen Zustandsvektor beschrieben werden, der ein oder mehrere Zustandsgrößen aufweisen kann. Beispielhafte Zustandsgrößen zur Beschreibung des Zustands des Fahrzeugs sind,
• die Position des Fahrzeugs (z.B. die Position innerhalb einer digitalen Karte, welche das von dem Fahrzeug befahrene Fahrbahnnetz beschreibt); und/oder die Geschwindigkeit des Fahrzeugs; und/oder die Orientierung des Fahrzeugs; und/oder die (Längs- und/oder Quer-) Beschleunigung des Fahrzeugs.
Fig. la zeigt ein beispielhaftes Fahrzeug 100, das eine Vielzahl von unterschiedlichen Umfeldsensoren 102 aufweist. Beispielhafte Umfeldsensoren 102 sind ein oder mehrere Kameras, ein oder mehrere Radarsensoren, ein oder mehrere Ultraschall sensoren, ein oder mehrere Lidarsensoren, etc. Das Fahrzeug 100 umfasst ferner eine Vielzahl von Fahrzeugsensoren 103, wie z.B. einen Geschwindigkeitssensor, einen Beschleunigungssensor, eine inertiale Messeinheit, einen Lenksensor, einen Raddrehzahlsensor, etc.
Eine (Steuer-) Vorrichtung 101 des Fahrzeugs 100 ist eingerichtet, die Sensordaten der Vielzahl von Sensoren 102, 103 des Fahrzeugs 100 auszuwerten, um den Zustand des Fahrzeugs 100 zu ermitteln. Dabei kann der Zustand, insbesondere einer in Fig. 1b dargestellte Zustands-Hypothese 111, in rekursiver und/oder iterativer Weise an einer Sequenz von aufeinanderfolgenden Zeitpunkten auf Basis der jeweils aktuell verfügbaren Sensordaten aktualisiert werden. Zu diesem Zweck kann ein Kalman-Filter verwendet werden.
Die Vorrichtung 101 kann ferner eingerichtet sein, ein oder mehrere Längs- und/oder Querführungsaktoren 104 des Fahrzeugs 100 auf Basis des ermittelten Zustands des Fahrzeugs 100 anzusteuem, z.B. um das Fahrzeug 100 automatisiert längs- und/oder querzuführen. Beispielsweise kann der ermittelte Zustand des Fahrzeugs 100 die Lage des Fahrzeugs 100 innerhalb der von dem Fahrzeug 100 befahrenen Fahrbahn anzeigen. Die ein oder mehreren Aktoren 104 können in Abhängigkeit von dem ermittelten Zustand angesteuert werden, um das Fahrzeug 100 automatisiert innerhalb einer bestimmten Fahrspur der Fahrbahn längs- und/oder querzuführen. Fig. lb zeigt eine beispielhafte Fahrbahn 110, auf der das Fahrzeug 100 angeordnet ist. Auf Basis der an einem bestimmten Zeitpunkt n verfügbaren Sensordaten der Vielzahl von Sensoren 102, 103 kann eine Mehrzahl von unterschiedlichen Zustands-Hypothesen 111 (d.h. es können mehrere unterschiedliche Zustands-Hypothesen 111) in Bezug auf den Zustand des Fahrzeugs 100 an dem Zeitpunkt n ermittelt werden. Die unterschiedlichen Zustands-Hypothesen 111 können dabei auf Basis der Sensordaten von unterschiedlichen Sensoren 102, 103 ermittelt worden sein. Beispielhafte Zustands-Hypothesen 111 in Bezug auf die Position des Fahrzeugs 100 können sein,
• eine Zustands-Hypothese 111, die auf Basis der GNSS (globales Navigationssatellitensystems) Koordinaten, insbesondere auf Basis der GPS-Koordinaten, des Fahrzeugs 100 ermittelt wird; und/oder
• eine Zustands-Hypothese 111, die auf Basis von Odometriedaten (z.B. des Lenksensors und/oder des Geschwindigkeitssensors und/oder des Raddrehzahlsensors) ermittelt wird; und/oder
• eine Zustands-Hypothese 111, die auf Basis von ein oder mehreren Landmarken in dem Umfeld des Fahrzeugs 100 ermittelt wird (wobei die ein oder mehreren Landmarken auf Basis der Sensordaten einer Umfeldkamera und/oder eines Radarsensors und/oder eines Lidarsensors erkannt und/oder lokalisiert werden können); und/oder
• eine Zustands-Hypothese 111, die auf Basis von ein oder mehreren Fahrspurmarkierungen auf der von dem Fahrzeug 100 befahrenen Fahrbahn 110 ermittelt wird (wobei die ein oder mehreren Fahrspurmarkierungen auf Basis der Sensordaten einer Umfeldkamera erkannt und/oder lokalisiert werden können).
Es können somit für einen Zeitpunkt n K unterschiedliche Zustands-Hypothesen 111 ermittelt werden (mit K>1). Die K unterschiedlichen Zustands-Hypothesen können fusioniert werden, um eine fusionierte Zustands-Hypothese zu ermitteln, die z.B. im Rahmen eines Kalman-Filters (als Messupdate) verwendet werden kann, um den aktuellen Zustand des Fahrzeugs 100 (an dem Zeitpunkt n) zu ermitteln.
Die Güte, insbesondere die Genauigkeit, und/oder die Vertrauenswürdigkeit der unterschiedlichen Zustands-Hypothesen 111 kann von der jeweils vorliegenden Fahrsituation abhängen. Beispielsweise kann die Güte einer auf GNSS- Koordinaten basierenden Zustands-Hypothese 111 von den jeweils aktuell vorliegenden Witterungsbedingungen abhängen. Ferner kann die Güte einer Zustands-Hypothese 111, die von den Kameradaten einer Umfeldkamera 102 abhängt, von den jeweils vorliegenden Lichtverhältnissen abhängen. Des Weiteren kann die Güte einer Zustands-Hypothese 111, die von den Sensordaten eines Umfeldsensors 102 abhängt, von der aktuell vorliegenden Verkehrsdichte abhängen.
Die Vorrichtung 101 kann eingerichtet sein, die Fusion der K unterschiedlichen Zustands-Hypothesen 111 in Abhängigkeit von der jeweils aktuell vorliegenden Fahrsituation des Fahrzeugs 100 zu bewirken. Zu diesem Zweck können die Sensordaten der Vielzahl von Sensoren 102, 103 ausgewertet werden, um die aktuelle vorliegende Fahrsituation zu beschreiben, wobei die Fahrsituation z.B. durch einen Merkmalvektor beschrieben werden kann, der eine bestimmte Menge von Vektorkomponenten für unterschiedliche Merkmale der Fahrsituation aufweist. Beispielhafte Merkmale der Fahrsituation sind,
• die Fahrgeschwindigkeit des Fahrzeugs 100; und/oder
• die Verkehrsdichte im Umfeld des Fahrzeugs 100; und/oder
• die Lichtverhältnisse im Umfeld des Fahrzeugs 100; und/oder
• das Ausmaß und/oder der Typ des Niederschlags; und/oder
• das Vorliegen eines Hindernisses für ein GNSS, insbesondere für ein GPS, Signal (etwa eine Brücke, ein Tunnel oder ein Gebäude) im Umfeld des Fahrzeugs 100; und/oder
• der Straßentyp der von dem Fahrzeug 100 befahrenen Fahrbahn 110. Die Vorrichtung 101 kann ferner eingerichtet sein, auf Basis des Merkmalsvektors zur Beschreibung der (an dem aktuellen Zeitpunkt n vorliegenden) Fahrsituation eine Fahrsituations-spezifische Fusionsmethode zur Fusionierung der K unterschiedlichen Zustands-Hypothesen 111 zu ermitteln. Die kombinierte und/oder fusionierte Zustands-Hypothese kann dann unter Verwendung der Fahrsituations-spezifischen Fusionsmethode ermittelt werden.
Die Fahrsituations-spezifische Fusionsmethode kann anhand einer Maschinenerlernten Einheit ermittelt werden. Dabei kann die Maschinen-erlemte Einheit im Vorfeld auf Basis von Trainingsdaten angelernt worden sein.
Fig. 2 zeigt eine beispielhafte Vorrichtung 200 zur Fusionierung von K unterschiedlichen Zustands-Hypothesen 111 zu einer fusionierten Zustands- Hypothese 204. Die Vorrichtung 200 umfasst eine Fusionseinheit 213, die eingerichtet ist, die K unterschiedlichen Zustands-Hypothesen 111 unter Verwendung von K Gewichten 203 für die entsprechenden K Zustands- Hypothesen 111 zu der fusionierten Zustands-Hypothese 204 zu fusionieren. Dabei kann innerhalb der Fusionseinheit 213 die fusionierte Zustands-Hypothese 204 als gewichteter Mittelwert der K Zustands-Hypothesen 111 (unter Verwendung der entsprechenden K Gewichte 203) ermittelt werden.
Als Fusionsmethode kann somit das Bilden eines gewichteten Mittelwerts der K Zustands-Hypothesen 111 verwendet werden. Die K Gewichte 203 zur Gewichtung der entsprechenden K Zustands-Hypothesen 111 können in Abhängigkeit von der jeweils vorliegenden Fahr situation, insbesondere in Abhängigkeit von dem Merkmalsvektor 201 zur Beschreibung der jeweils vorliegenden Fahrsituation, angepasst werden. Es können somit Fahrsituations- spezifische Gewichte 203 und somit eine Fahrsituations-spezifische Fusionsmethode verwendet werden. Die K Gewichte 203 können anhand einer Maschinen-erl ernten Einheit 211 ermittelt werden, wobei die Maschinen-erl ernte Einheit 211 z.B. ein oder mehreren künstliche neuronale Netze umfasst. Die Maschinen-erlemte Einheit 211 kann eingerichtet sein, auf Basis des Merkmalsvektors 201 K Vertrauenswerte 202 für die K unterschiedlichen Zustands-Hypothesen 111 zu ermitteln. Der Vertrau enswert 202 für eine Zustands-Hypothese 111 kann die Güte und/oder die Vertrauenswürdigkeit der Zustands-Hypothese 111 angeben. Dabei können die Güte und/oder die Vertrauenswürdigkeit mit steigendem Vertrauenswert 202 steigen.
Die K Vertrauenswerte 202 können in einer Normierungseinheit 212 normiert werden, um entsprechende K Gewichte 203 zu ermitteln, deren Summe einen Normierungswert, z.B. 1, ergibt. Die Normierungseinheit 212 kann zu diesem Zweck die Softmax-Funktion verwenden.
Zum Anlemen der Maschinen-erl ernten Einheit 211 können Trainingsdaten verwendet werden, wobei die Trainingsdaten eine Vielzahl (z.B. 1000 oder mehr, oder 10000 oder mehr) Trainings-Datensätze umfassen. Die einzelnen Trainings- Datensätze können jeweils einen Trainings-Merkmalsvektor 201 (zur Beschreibung einer bestimmten Fahrsituation) und eine dazugehörige Menge von Trainings-Vertrauenswerten 202 aufweisen. Die Trainings- Vertrauenswerte 202 können bei Vorliegen der bestimmten Fahrsituation gemessen worden sein. Mit anderen Worten, die Trainings-Vertrauenswerte 202 können angeben, welche Güte und/oder Vertrauenswürdigkeit die unterschiedlichen Zustands-Hypothesen 111 bei Vorliegen der bestimmten Fahrsituation tatsächlich aufweisen. Die Trainingsdaten können experimentell während des Betriebs von ein oder mehreren Fahrzeugen 100 ermittelt worden sein.
Anhand der Trainingsdaten kann ein überwachtes Lernen der Maschinen-erlernten Einheit 211 durchgeführt werden (z.B. unter Verwendung eines Backpropagation- Algorithmus). Dabei kann die Maschinen-erlemte Einheit 211 auf Basis der Trainingsdaten mit dem Ziel angelernt werden, eine bestimmte Fehlerfunktion zu reduzieren. Die Fehlerfunkti on kann von den in den Trainingsdaten angezeigten Trainings-Vertrauenswerten 202 und von den (auf Basis der in den Trainingsdaten angezeigten Trainings-Merkmalsvektoren 201) durch die Maschinen-erl ernte Einheit 211 ermittelten Ist- Vertrauenswerten 202 abhängen (z.B. von der (mittleren, ggf. quadratischen) Abweichung der Trainings- Vertrauenswerte 202 von den entsprechenden Ist- Vertrauenswerten 202).
Alternativ oder ergänzend kann die Maschinen-erl ernte Einheit 211 in Zusammenhang mit der gesamten Fusions-Vorrichtung 200 angelernt werden. Dabei können Trainingsdaten mit Trainings-Datensätzen verwendet werden, die jeweils ein Paar aus einem Trainings-Merkmalsvektor 201 und einer fusionierten Trainings-Zustands-Hypothese 204 (als Ground Truth Referenz) aufweisen. Die einzelnen Trainings-Datensätze können ferner K individuelle Trainings-Zustands- Hypothesen 111 anzeigen (die auf Basis der jeweiligen Teilmenge von Sensoren 102, 103 ermittelt wurde). Im Rahmen des überwachten Lern -Verfahrens zum Anlemen der Maschinen-erl ernten Einheit 211 kann jeweils für einen Trainings- Merkmalsvektor 201 (anhand der Fusions-Vorrichtung 200, und unter Berücksichtigung der K individuellen Trainings-Zustands-Hypothesen 111) eine prädizierte Ist-Zustands-Hypothese 204 ermittelt und mit der entsprechenden Trainings-Zustands-Hypothese 204 verglichen wird, um den Wert einer Fehlerfunkti on (z.B. der mittleren (ggf. quadratischen) Abweichung) zu ermitteln. Basierend auf der Fehlerfunkti on können (durch Verwendung eines Backpropagation- Algorithmus) die Parameter der Maschinen-erlemten Einheit 211 angepasst werden.
Es können somit zum Anlemen der Maschinen-erl ernten Einheit 211 Ground Truth fusionierte Trainings-Zustands-Hypothesen 204 verwendet werden, welche z.B. durch einen (sehr genauen) Sensor zur Lokalisierung (z.B. DGPS (Differential Global Positioning System) oder RTK (Real Time Kinematic)) bereitgestellt werden. Die Fehlerfunktion, welche das Training der Maschinen-erlernten Einheit 211 ermöglicht, kann durch einen Vergleich der durch die Einheit 211 prädizierten Ist- Zustands-Hypothese 204 und der fusionierten Trainings-Zustands-Hypothese 204 laut Ground Truth Referenz ermittelt werden. Es kann somit ein End-zu-End Training der Maschinen-erlernten Einheit 211 innerhalb der Fusions-Vorrichtung 200 erfolgen. Anhand Backpropagation kann der Fehler auf einzelne Gewichte 203, auf einzelne Vertrauenswerte 202, und schließlich auf die Parameter der Maschinen-erlernten Einheit 211 zurückgeleitet werden, wodurch die Parameter der Maschinen-erlernten Einheit 211 während des Trainings angepasst werden.
Dadurch, dass die Fehlerfunkti on an der gleichen Stelle wie die finale Prädiktion angreift (d.h. an den fusionierten Zustands-Hypothesen 204), kann in besonders zuverlässiger Weise die Güte der finalen Prädiktion sichergestellt werden. Ferner kann damit die Plausibilität der einzelnen K Vertrauenswerte 202 und/oder Gewichte 203 in Hinblick auf eine genaue Lokalisierung erreicht werden.
Alternative oder ergänzende Methoden zur Erzeugung einer Ground-Truth Referenz (d.h. zur Ermittlung der Trainings-Zustands-Hypothesen 204) umfassen z.B. post-processing Optimierungsverfahren, welche nach einer Testfahrt eines Fahrzeugs 100 global angewandt werden können, um ursprüngliche Positionsschätzungen zu optimieren.
Während des Betriebs des Fahrzeugs 100 kann somit für einen bestimmten Zeitpunkt n ein Merkmalsvektor 201 ermittelt werden, der die an dem bestimmten Zeitpunkt n vorliegende Fahrsituation beschreibt. Ferner kann anhand der Maschinen-erlernten Einheit 211 eine Menge von Vertrauenswerten 202 ermittelt werden, die durch die Normierungseinheit 212 in eine entsprechende Menge von (normierten) Gewichten 203 überführt wird. Die Menge von Gewichten 203 kann zur Fusionierung der unterschiedlichen Zustands-Hypothesen 111 verwendet werden, um eine fusionierte Zustands-Hypothese 204 für den bestimmten Zeitpunkt n zu ermitteln. Die fusionierte Zustands-Hypothese 204 kann dazu verwendet werden, den aktuellen Zustand des Fahrzeugs 100 an dem bestimmten Zeitpunkt n zu ermitteln. Dabei kann die fusionierte Zustands-Hypothese 204 z.B. als Messupdate in einem Kalman-Filter verwendet werden.
Es sei darauf hingewiesen, dass die von der Maschinen-erlemten Einheit 211 ermittelte Menge von Vertrauenswerten 202 dazu verwendet werden kann (ggf. unabhängig von der in diesem Dokument beschriebenen Fusion), die entsprechende Menge von (individuellen) Zustands-Hypothesen 111 zu bewerten. Beispielsweise kann das Fahrzeug 100 eine Fahrfunktion aufweisen, die auf Basis ein oder mehrerer (individueller) Zustands-Hypothesen 111 betrieben wird (ggf. ohne Zugriff auf die fusionierte Zustands-Hypothese 204). Die von der Maschinen-erl ernten Einheit 211 ermittelten Vertrauenswerte 202 und/oder Gewichte 203 für die ein oder mehreren (individuellen) Zustands-Hypothesen 111 können dann von der Fahrfunktion berücksichtigt werden. So können die Güte und/oder die Zuverlässigkeit der Fahrfunktion erhöht werden.
Die in diesem Dokument beschriebene Vorrichtung 101 kann somit eingerichtet sein, K unterschiedliche Zustands-Hypothesen 111 in Bezug auf den Zustand des Fahrzeugs 100 zu ermitteln, mit K>0 (ggf. K=l), sowie einen Merkmalsvektor 201 zu ermitteln, durch den die (aktuelle) Fahrsituation des Fahrzeugs 100 beschrieben wird. Die Vorrichtung 101 kann ferner eingerichtet sein, auf Basis des Merkmalsvektors 201 und anhand der Maschinen-erl ernten Einheit 211 K Gewichte 203 und/oder K Vertrauenswerte 202 für die entsprechenden K Zustands-Hypothesen 111 zu ermitteln. Des Weiteren kann die Vorrichtung 101 eingerichtet sein, eine Fahrfunktion des Fahrzeugs 100 auf Basis der K Zustands- Hypothesen 111 und auf Basis der entsprechenden K Vertrauenswerte 202 und/oder Gewichte 203 zu betreiben (ggf. ohne eine Fusion der K Zustands- Hypothesen 111 zu bewirken). So können die Güte und/oder die Zuverlässigkeit der Fahrfunktion erhöht werden. Fig. 3 zeigt ein Ablaufdiagramm eines (ggf. Computer-implementierten) Verfahrens 300 zur Ermittlung des Zustands eines (Kraft-) Fahrzeugs 100. Der Zustand kann sich auf die Position des Fahrzeugs 100 beziehen. Ferner kann der Zustand durch eine Zustandsvektor mit ein oder mehreren Zustandsgrößen beschrieben werden. Das Verfahren 300 umfasst das Ermitteln 301 von K unterschiedlichen Zustands-Hypothesen 111 in Bezug auf den Zustand des Fahrzeugs 100, mit K>l. Die einzelnen Zustands-Hypothesen 111 können auf Basis von Sensordaten von ein oder mehreren Sensoren 102, 103 des Fahrzeugs 100 ermittelt werden. Dabei können für unterschiedliche Zustands-Hypothesen 111 zumindest teilweise unterschiedliche Sensoren 102, 103 und/oder zumindest teilweise unterschiedliche Methoden zur Ermittlung der jeweiligen Zustands- Hypothese 111 verwendet werden.
Das Verfahren 300 umfasst ferner das Ermitteln 302 eines Merkmalsvektors 201, durch den die Fahrsituation des Fahrzeugs 100 beschrieben wird. Der Merkmalsvektor 201 kann ein oder mehrere Merkmale zur Beschreibung der Fahrsituation umfassen, in der sich das Fahrzeug 100 befindet. Die einzelnen Merkmale können auf Basis von Sensordaten von ein oder mehreren Sensoren 102, 103 des Fahrzeugs 100 ermittelt werden.
Des Weiteren umfasst das Verfahren 300 das Ermitteln 303, auf Basis des Merkmalsvektors 201 und anhand einer Maschinen-erlernten Einheit 211, von K Gewichten 203 für die entsprechenden K Zustands-Hypothesen 111. Die Maschinen-erl ernte Einheit 211 kann im Vorfeld auf Basis von Trainingsdaten angelernt worden sein. Dabei können insbesondere die Parameter von ein oder mehreren neuronalen Netzes angelernt worden sein.
Das Verfahren 300 umfasst weiter das Fusionieren 304 der K Zustands- Hypothesen 111 auf Basis der entsprechenden K Gewichte 203 zu einer fusionierten Zustands-Hypothese 204 für den Zustand des Fahrzeugs 100. Dabei kann insbesondere (unter Verwendung der K Gewichte 203) ein gewichteter Mittelwert der K Zustands-Hypothesen 111 ermittelt werden, um die fusionierte Zustands-Hypothese 204 zu ermitteln.
Durch die in diesem Dokument beschriebenen Maßnahmen kann eine besonders effiziente und präzise Fusion von unterschiedlichen Zustands-Hypothesen 111 bewirkt werden. So können die Güte der Zustandsermittlung und die Güte einer automatisierten Fahrfunktion eines Fahrzeugs 100 (die die fusionierte Zustands- Hypothese 204 verwendet) erhöht werden. Die vorliegende Erfindung ist nicht auf die gezeigten Ausführungsbeispiele beschränkt. Insbesondere ist zu beachten, dass die Beschreibung und die Figuren nur beispielhaft das Prinzip der vorgeschlagenen Verfahren, Vorrichtungen und Systeme veranschaulichen sollen.

Claims

Ansprüche
1) Vorrichtung (101) zur Ermittlung eines Zustands eines Fahrzeugs (100); wobei die Vorrichtung (101) eingerichtet ist,
- K unterschiedliche Zustands-Hypothesen (111) in Bezug auf den Zustand des Fahrzeugs (100) zu ermitteln, mit K>1;
- einen Merkmalsvektor (201) zu ermitteln, durch den eine Fahrsituation des Fahrzeugs (100) beschrieben wird;
- auf Basis des Merkmalsvektors (201) und anhand einer Maschinenerlernten Einheit (211) K Gewichte (203) für die entsprechenden K Zustands-Hypothesen (111) zu ermitteln; und
- die K Zustands-Hypothesen (111) auf Basis der entsprechenden K Gewichte (203) zu einer fusionierten Zustands-Hypothese (204) in Bezug auf den Zustand des Fahrzeugs (100) zu fusionieren.
2) Vorrichtung (101) gemäß Anspruch 1, wobei
- die Vorrichtung (101) eingerichtet ist, die K unterschiedlichen Zustands-Hypothesen (111) auf Basis von Sensordaten einer Vielzahl von Sensoren (102, 103) des Fahrzeugs (100) zu ermitteln; wobei die Vielzahl von Sensoren (102, 103) insbesondere umfasst,
- ein oder mehrere Umfeldsensoren (102), die jeweils eingerichtet sind, Sensordaten in Bezug auf ein Umfeld des Fahrzeugs (100) zu erfassen;
- ein oder mehrere Fahrzeugsensoren (103), die jeweils eingerichtet sind, Sensordaten in Bezug auf eine fahrdynamische Messgröße des Fahrzeugs (100) zu erfassen; und/oder
- einen Empfänger eines globalen Navigationssatellitensystems; und
- unterschiedliche Zustands-Hypothesen (111) auf Basis von Sensordaten von zumindest teilweise unterschiedlichen Sensoren (102, 103) aus der Vielzahl von Sensoren (102, 103) des Fahrzeugs (100) ermittelt werden. ) Vorrichtung (101) gemäß einem der vorhergehenden Ansprüche, wobei die Vorrichtung (101) eingerichtet ist, den Merkmalsvektor (201) auf Basis von Sensordaten einer Vielzahl von Sensoren (102, 103) des Fahrzeugs (100) zu ermitteln. ) Vorrichtung (101) gemäß einem der vorhergehenden Ansprüche, wobei die Vorrichtung (101) eingerichtet ist,
- auf Basis des Merkmalsvektors (201) und anhand der Maschinenerlernten Einheit (211) K Vertrauenswerte (202) für die entsprechenden K Zustands-Hypothesen (111) zu ermitteln; wobei die K Vertrauenswerte (202) eine Vertrauenswürdigkeit und/oder eine Güte der entsprechenden K Zustands-Hypothesen (111) anzeigen;
- die K Vertrauenswerte (202) anhand einer Normierungseinheit (212) zu normieren, um die entsprechenden K Gewichte (203) zu ermitteln; wobei die Normierungseinheit (212) insbesondere eine Softmax- Funktion verwendet, um die K Vertrauenswerte (202) zu normieren. ) Vorrichtung (101) gemäß einem der vorhergehenden Ansprüche, wobei die Vorrichtung (101) eingerichtet ist,
- die K Zustands-Hypothesen (111) mit den entsprechenden K Gewichten (203) zu gewichten; und
- die fusionierte Zustands-Hypothese (204) als gewichteten Mittelwert der K Zustands-Hypothesen (111) zu ermitteln. ) Vorrichtung (101) gemäß einem der vorhergehenden Ansprüche, wobei
- die Maschinen-erl ernte Einheit (211) ein oder mehrere künstliche neuronale Netze umfasst; und/oder - die Maschinen-erlemte Einheit (211) anhand von Trainingsdaten angelernt wurde, die eine Vielzahl von Trainings-Datensätzen umfassen; wobei ein Trainings-Datensatz jeweils umfasst,
- einen Trainings-Merkmalsvektor (201) zur Beschreibung einer bestimmten Fahrsituation; und
- K Trainings-Zustands-Hypothesen (111) und eine fusionierte Trainings-Zustands-Hypothese (204) für die bestimmte Fahr situation.
7) Vorrichtung (101) gemäß einem der vorhergehenden Ansprüche, wobei die Vorrichtung (101) eingerichtet ist, für eine Sequenz von aufeinanderfolgenden Zeitpunkten j eweils,
- K unterschiedliche Zustands-Hypothesen (111) für den jeweils aktuellen Zeitpunkt zu ermitteln;
- einen Merkmalsvektor (201) zu ermitteln, durch den die Fahrsituation des Fahrzeugs (100) an dem jeweils aktuellen Zeitpunkt beschrieben wird;
- auf Basis des Merkmalsvektors (201) und anhand der Maschinenerlernten Einheit (211) K Gewichte (203) für die entsprechenden K Zustands-Hypothesen (111) zu ermitteln; und
- die K Zustands-Hypothesen (111) auf Basis der entsprechenden K Gewichte (203) zu der fusionierten Zustands-Hypothese (204) für den jeweils aktuellen Zeitpunkt zu fusionieren.
8) Vorrichtung (101) gemäß einem der vorhergehenden Ansprüche, wobei die Vorrichtung (101) eingerichtet ist, in iterativer Weise, den Zustand des Fahrzeugs (100) an einer Sequenz von aufeinanderfolgenden Zeitpunkten auf Basis der für den j eweiligen Zeitpunkt ermittelten fusionierten Zustands- Hypothese (204) zu aktualisieren, insbesondere unter Verwendung eines Kalman-Filters. ) Vorrichtung (101) gemäß einem der vorhergehenden Ansprüche, wobei
- der Merkmalsvektor (201) eine Vielzahl von Merkmalen umfasst; und
- die Vielzahl von Merkmalen insbesondere umfasst,
- ein Merkmal in Bezug auf eine Fahrgeschwindigkeit und/oder eine Beschleunigung des Fahrzeugs (100); und/oder
- ein Merkmal in Bezug auf eine Verkehrsdichte auf einer von dem Fahrzeug (100) befahrenen Fahrbahn (110); und/oder
- ein Merkmal in Bezug auf eine Witterungsbedingung in einem Umfeld des Fahrzeugs (100); und/oder
- ein Merkmal in Bezug auf Lichtverhältnisse in dem Umfeld des Fahrzeugs (100); und/oder
- ein Merkmal in Bezug auf ein Ausmaß und/oder einen Typ von Niederschlag in dem Umfeld des Fahrzeugs (100); und/oder
- ein Merkmal in Bezug auf einen Straßentyp der von dem Fahrzeug (100) befahrenen Fahrbahn (110); und/oder
- ein Merkmal in Bezug auf das Vorliegen eines Hindernisses für ein Signal eines globalen Navigationssattelitensystems. 0) Vorrichtung (101) gemäß einem der vorhergehenden Ansprüche, wobei die K unterschiedlichen Zustands-Hypothesen (111) umfassen,
- eine Zustands-Hypothese (111), die auf Basis von Sensordaten eines globalen Navigationssatellitensystem ermittelt wird; und/oder
- eine Zustands-Hypothese (111), die auf Basis von Fahrspurmarkierungen auf einer von dem Fahrzeug (100) befahrenen Fahrbahn (110) ermittelt wird; und/oder
- eine Zustands-Hypothese (111), die auf Basis von ein oder mehreren Landmarken in einem Umfeld des Fahrzeugs (100) ermittelt wird; und/oder eine Zustands-Hypothese (111), die auf Basis von Odometriedaten des Fahrzeugs (100) ermittelt wird. ) Vorrichtung (101) gemäß einem der vorhergehenden Ansprüche, wobei der Zustand des Fahrzeugs (100) eine Position des Fahrzeugs (100) umfasst, insbesondere eine Position auf einer von dem Fahrzeug (100) befahrenen Fahrbahn (110). ) Verfahren (300) zur Ermittlung eines Zustands eines Fahrzeugs (100); wobei das Verfahren (300) umfasst,
- Ermitteln (301) von K unterschiedlichen Zustands-Hypothesen (111) in Bezug auf den Zustand des Fahrzeugs (100), mit K>1;
- Ermitteln (302) eines Merkmalsvektors (201), durch den eine Fahrsituation des Fahrzeugs (100) beschrieben wird;
- Ermitteln (303), auf Basis des Merkmalsvektors (201) und anhand einer Maschinen-erlemten Einheit (211), von K Gewichten (203) für die entsprechenden K Zustands-Hypothesen (111); und
- Fusionieren (304) der K Zustands-Hypothesen (111) auf Basis der entsprechenden K Gewichte (203) zu einer fusionierten Zustands- Hypothese (204) in Bezug auf den Zustand des Fahrzeugs (100).
PCT/DE2023/100860 2022-11-25 2023-11-13 Verfahren und vorrichtung zur fusionierung von zustands-hypothesen Ceased WO2024109986A1 (de)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202380080464.5A CN120239828A (zh) 2022-11-25 2023-11-13 用于状态假设的融合的方法和装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102022131297.6 2022-11-25
DE102022131297.6A DE102022131297A1 (de) 2022-11-25 2022-11-25 Verfahren und Vorrichtung zur Fusionierung von Zustands-Hypothesen

Publications (1)

Publication Number Publication Date
WO2024109986A1 true WO2024109986A1 (de) 2024-05-30

Family

ID=89068522

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/DE2023/100860 Ceased WO2024109986A1 (de) 2022-11-25 2023-11-13 Verfahren und vorrichtung zur fusionierung von zustands-hypothesen

Country Status (3)

Country Link
CN (1) CN120239828A (de)
DE (1) DE102022131297A1 (de)
WO (1) WO2024109986A1 (de)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3657213B1 (de) * 2018-11-22 2022-03-09 Thales Lernverfahren eines neuronennetzes an bord eines luftfahrzeugs für die landehilfe dieses luftfahrzeugs, und server für die umsetzung eines solchen verfahrens

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102010049721A1 (de) 2010-10-26 2012-04-26 Volkswagen Ag Verfahren und Vorrichtung zur Anzeige einer Kritikalität
DE102016005730A1 (de) 2016-05-10 2017-11-16 Audi Ag Verfahren zur Auswertung von Umfelddaten in einem Steuergerät eines Kraftfahrzeugs, Steuergerät und Kraftfahrzeug
US10592784B2 (en) 2018-02-20 2020-03-17 GM Global Technology Operations LLC Detection based on fusion of multiple sensors
DE102019127283A1 (de) 2019-10-10 2021-04-15 Valeo Schalter Und Sensoren Gmbh System und Verfahren zum Erfassen eines Objekts in einer dreidimensionalen Umgebung eines Trägerfahrzeugs

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3657213B1 (de) * 2018-11-22 2022-03-09 Thales Lernverfahren eines neuronennetzes an bord eines luftfahrzeugs für die landehilfe dieses luftfahrzeugs, und server für die umsetzung eines solchen verfahrens

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
BROSSARD MARTIN ET AL: "AI-IMU Dead-Reckoning", IEEE TRANSACTIONS ON INTELLIGENT VEHICLES, IEEE, vol. 5, no. 4, 13 March 2020 (2020-03-13), pages 585 - 595, XP011822377, ISSN: 2379-8858, [retrieved on 20201120], DOI: 10.1109/TIV.2020.2980758 *
BROSSARD MARTIN ET AL: "Learning Wheel Odometry and IMU Errors for Localization", 2019 INTERNATIONAL CONFERENCE ON ROBOTICS AND AUTOMATION (ICRA), IEEE, 20 May 2019 (2019-05-20), pages 291 - 297, XP033594217, DOI: 10.1109/ICRA.2019.8794237 *
JU XIAOLIANG ET AL: "Learning Scene Adaptive Covariance Error Model of LiDAR Scan Matching for Fusion Based Localization", 2019 IEEE INTELLIGENT VEHICLES SYMPOSIUM (IV), IEEE, 9 June 2019 (2019-06-09), pages 1789 - 1796, XP033605980, DOI: 10.1109/IVS.2019.8813840 *

Also Published As

Publication number Publication date
DE102022131297A1 (de) 2024-05-29
CN120239828A (zh) 2025-07-01

Similar Documents

Publication Publication Date Title
DE102015111535B4 (de) Algorithmus zur genauen Krümmungsschätzung für die Bahnplanung von autonom fahrenden Fahrzeugen
DE102017101460B4 (de) Situationsbezogene deaktivierung eines spurhalteassistenzsystems
EP3160813B1 (de) Verfahren zur erstellung eines umfeldmodells eines fahrzeugs
EP3490862B1 (de) Verfahren und vorrichtung zum ermitteln eines fahrbahnmodells für ein fahrzeugumfeld
DE102017009435B4 (de) Evaluation von Komponenten automatischer Fahrfunktionen und Fahrbahnerkennung auf unterschiedlichen Verarbeitungsstufen
EP3491339B1 (de) Verfahren, vorrichtung und computerlesbares speichermedium mit instruktionen zur bestimmung der lateralen position eines fahrzeuges relativ zu den fahrstreifen einer fahrbahn
DE102019103352A1 (de) Trajektorienverfolgung für die fahrzeugseitensteuerung unter verwendung eines neuronalen netzwerks
WO2018197255A1 (de) Verfahren zum betrieb eines fahrerassistenzsystems und fahrzeug mit einem zur durchführung des verfahrens eingerichtetem fahrerassistenzsystem
EP1886093B1 (de) Verfahren zur bestimmung der geometrie eines streckenabschnittes
EP3063732A1 (de) Situationsanalyse für ein fahrerassistenzsystem
DE102020122356A1 (de) Standortbasierter fahrzeugbetrieb
DE102020118640A1 (de) Verfahren und Fahrzeugsystem zur Ermittlung eines Fahr-Korridors für ein Fahrzeug
DE112020003551T5 (de) Straßenkurvenerzeugung in Bildern der realen Welt als ein Verfahren zur Datenaugmentierung
DE102022117319A1 (de) Verfahren und Vorrichtung zum Betrieb eines Fahrzeugs bei Seitenwind
DE102019132967A1 (de) Verfahren und Vorrichtung zur Ermittlung einer Fahrspur-Hypothese
DE102019107329A1 (de) Aktionskonditionierte fahrzeugsteuerung
DE102018222509A1 (de) Verfahren, Steuergerät und Fahrzeug
WO2021244879A1 (de) Verfahren zum betreiben einer assistenzfunktion zur führung eines kraftfahrzeugs
DE102022106338B4 (de) Anpassen eines Fahrverhaltens eines autonomen Fahrzeugs
DE102019124655A1 (de) Erkennung von Fehlern, die mit Rädern eines Kraftfahrzeugs zusammenhängen, in einer Fahrsituation
DE102021124736A1 (de) Verfahren und Vorrichtung zur Ermittlung einer Positions-Hypothese
DE102020110269B4 (de) Verfahren zum Ermitteln einer Informationslücke in einem Fahrspurmarkierungsmodell für ein Kraftfahrzeug sowie System zum Durchführen eines derartigen Verfahrens
DE102022131297A1 (de) Verfahren und Vorrichtung zur Fusionierung von Zustands-Hypothesen
DE102023210968A1 (de) Verhaltensplanungsvorrichtung, fahrzeugregelungssystem und verhaltensplanerzeugungsverfahren
EP4526871A1 (de) Verfahren und vorrichtung zum erkennen einer fehlfunktion eines umfeldmodells einer automatisierten fahrfunktion

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23817014

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 202380080464.5

Country of ref document: CN

WWP Wipo information: published in national office

Ref document number: 202380080464.5

Country of ref document: CN

122 Ep: pct application non-entry in european phase

Ref document number: 23817014

Country of ref document: EP

Kind code of ref document: A1