WO2020160796A1 - Verfahren und vorrichtung zur multi-sensor-datenfusion für automatisierte und autonome fahrzeuge - Google Patents

Verfahren und vorrichtung zur multi-sensor-datenfusion für automatisierte und autonome fahrzeuge Download PDF

Info

Publication number
WO2020160796A1
WO2020160796A1 PCT/EP2019/078606 EP2019078606W WO2020160796A1 WO 2020160796 A1 WO2020160796 A1 WO 2020160796A1 EP 2019078606 W EP2019078606 W EP 2019078606W WO 2020160796 A1 WO2020160796 A1 WO 2020160796A1
Authority
WO
WIPO (PCT)
Prior art keywords
measurement data
course
computer
implemented method
roadway
Prior art date
Application number
PCT/EP2019/078606
Other languages
English (en)
French (fr)
Inventor
Frank Keidel
Sebastian Rauch
Sean Brown
Tim RAKOWSKI
Alexander Born
Fernando Herrero Carron
Joachim Schiehlen
Original Assignee
Bayerische Motoren Werke Aktiengesellschaft
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bayerische Motoren Werke Aktiengesellschaft filed Critical Bayerische Motoren Werke Aktiengesellschaft
Priority to US17/420,694 priority Critical patent/US20220101637A1/en
Priority to CN201980087247.2A priority patent/CN113261007A/zh
Publication of WO2020160796A1 publication Critical patent/WO2020160796A1/de

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001Planning or execution of driving tasks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/25Fusion techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads

Definitions

  • Embodiments of the present invention relate to a computer-implemented method, a vehicle, a computer program and a device for estimating the course of a roadway.
  • the course of the road is described by a status function that includes a clothoid spline.
  • the course of the roadway can be described approximately by determining a roadway model corresponding to the state function. In this way, the course of the roadway can be determined in particular relative to a position and / or an orientation of the vehicle. Properties of the course of the road can be, for example, the width, direction, curvature or number of adjacent lanes or the position of the vehicle in relation to the lanes (for example the vehicle is in the right, middle or left of three lanes).
  • the vehicle can then be controlled in such a way that, for example, it follows the course of the road, evades obstacles or can change lanes.
  • environmental measurement data from several data sources can be combined (merged) when determining the course of the road or road model.
  • Combining data sources also known as data fusion, means combining data from several data sources.
  • Typical data sources can be, for example, sensory data sources such as a camera or waypoints on a digital map.
  • Such a digital card can in particular be a low-resolution (SD) card or a high-resolution (HD) card. There are various possibilities for such a data fusion.
  • the document WO2018 / 019454 describes a method for determining a roadway model.
  • a plurality of hypotheses for a roadway model is generated by means of different parameterizations of map data and observation data.
  • a hypothesis for a roadway model is selected based on the confidence values of the hypotheses.
  • a method of data fusion the observation data and camera data which ensures a highly available determination of the course of the roadway, is not taken into account here.
  • Embodiments of the present invention provide a computer-implemented method, a vehicle, a computer program and a device which are used to estimate the course of a roadway in the surroundings of the vehicle.
  • the environmental measurement data from the respective data sources are output variables from measurements of the course of the roadway and include at least one polynomial function.
  • the state function includes a clothoid spline.
  • the data fusion of the environmental data with the status function means the adaptation of the status function, or the clothoid spline, to the environmental measurement data by means of a real-time filter.
  • a Kalman filter has proven to be an advantageous real-time filter for estimating the course of the road.
  • Adapting the state function with the Kalman filter usually requires transforming the state function from a state space into a measurement space. In exemplary embodiments of the present invention, this can involve transforming the state function between different coordinate systems.
  • a state function resulting from a prediction of the Kalman filter can be corrected with environmental measurement data from a number of data sources or sensors.
  • environmental measurement data from a number of data sources or sensors.
  • this is commonly referred to as an innovation.
  • the status function updated by the adaptation or innovation corresponds to an approximate estimate of the course of the road.
  • the estimate is continuously updated so that, for example, the course of a road can be estimated precisely and reliably.
  • a Adapting the status function to environmental measurement data from multiple data sources ensures high availability and high accuracy when estimating the course of the roadway.
  • a first aspect of the invention relates to a computer-implemented method for estimating the course of a roadway in the surroundings of a vehicle based on a state function describing the course of the roadway.
  • the state function includes a clothoid spline.
  • the computer-implemented method includes providing ambient measurement data which describe the course of the roadway in a specific area around the current position of the vehicle.
  • the environmental measurement data include at least one polynomial function.
  • the polynomial function can, for example, be generated on the basis of a polyline with the aid of a curve regression method. Such a polyline describes a sequence of connected fin segments.
  • the computer-implemented method further comprises transforming the status function and the environmental measurement data into a common coordinate system and adapting the status function based on the environmental measurement data in the common coordinate system.
  • the computer-implemented method is based on a recursive method, such as the Kalman filter, which can have successive recursion steps.
  • Each recursion step can be used to estimate the course of the road, which is described by the state function.
  • clothoids are often used when calculating the course of the roadway in traffic route construction, the course of the roadway can in turn be precisely estimated or approximately reconstructed using consecutive clothoid segments. It can therefore be advantageous to use the clothoid spline for the state function when estimating the course of the roadway.
  • the clothoid spline can be completely determined by parameters such as curvature, change in curvature, angle and y-axis intercept.
  • the input variables for estimating the course of the road are the environmental measurement data.
  • the ambient measurement data can be in the form of polynomial functions or polynomial splines, which can result from measurement data from external and / or vehicle internal sensors. For example, the environmental measurement data approximate the observed course of the road in the vicinity of the vehicle.
  • the environmental measurement data can then be compared with the status function.
  • the status function and the environmental measurement data are present in the common measurement space.
  • a transformation of the state function into a different coordinate system is often suitable for this.
  • the clothoid spline can be in a coordinate system with curvature Measurement values and arc lengths can be shown, whereas the environmental measurement data are available in a coordinate system with spatial coordinates.
  • a measurement model is applied to the status function in order to represent the status function at least approximately in the coordinate system with location coordinates.
  • the clothoid spline which is typically represented as a function of an arc length, can, for example, be represented approximately by one or more third-degree polynomials or in a parametric representation in spatial coordinates.
  • the state function recorded during the prediction can then be updated with the environmental measurement data in the Kalman filter.
  • the updated status function is usually obtained as the output variable of a recursion step.
  • environmental data from several, possibly different, data sources or sensors for the data fusion of the recursion step.
  • Such a data fusion is called multi-sensor data fusion.
  • the environmental measurement data can be recorded by at least one camera.
  • a camera can be used as one of several sensors or several cameras for multi-sensor data fusion.
  • Recordings of a roadway recorded by the at least one camera can be used to detect the course of the roadway using a suitable image processing application.
  • a course of road markings or road boundaries can be determined from the recordings and represented approximately by at least one polynomial function.
  • the at least one polynomial function corresponds to the environmental measurement data.
  • the course of the roadway can also be approximated by a plurality of connected polynomial functions. Detecting the course of the road with the aid of a plurality of cameras can also contribute to a more precise estimate of the course of the road.
  • environmental measurement data can be provided from a map.
  • the map is available, for example, as a digital map with a specific spatial resolution.
  • High-resolution maps (HD maps), for example, have a spatial resolution of 10 to 25 cm, which means that structures or objects whose dimensions correspond at least in one dimension to the respective spatial resolution can be displayed with an accuracy of the spatial resolution.
  • the lane, lane boundaries or lane markings can be detected in this way.
  • Waypoints which mark the course of the road can be taken from the map. By interpolating the waypoints, a polynomial or, as usual, a polynomial spline of several polynomials can be determined, which approximately determine the course of the road using the waypoints on the map.
  • first environmental measurement data can be recorded by at least one camera and second environmental measurement data can be provided by a map.
  • second environmental measurement data can be provided by a map.
  • the status function can be adapted to the first environmental measurement data and also to the second environmental measurement data.
  • the computer-implemented method can include transforming the state function and the environmental data into a common coordinate system with spatial coordinates.
  • the innovation of the Kalman filter typically requires transforming the state function into the measurement room in order to update the state function with the environmental measurement data.
  • the environmental measurement data from the camera is already available in a coordinate system with location coordinates.
  • the transformation of the state function thus means a conversion with the aid of a measurement model, so that the state function can be represented in the measurement space, the coordinate system with spatial coordinates.
  • the clothoid spline is described, for example, by one or more third-degree polynomials or by Fresnel integrals in the parametric representation.
  • the Fresnel integrals can each be approximated by a Taylor series.
  • the advantage of the data fusion in the coordinate system with location coordinates is that an orientation and absolute position of the vehicle on the roadway can be determined. For example, it is possible in this way to determine which lane of a multi-lane roadway the vehicle is in and / or whether it is moving along the roadway or at right angles to the roadway.
  • Further exemplary embodiments of the present invention also include a sampling method for determining sample points for adapting the state function.
  • a constant curve length lies between adjacent sample points.
  • the sample points can be determined, for example, by a suitable mathematical method.
  • the constant curve length can be used as an input variable for the mathematical method and can, for example, be specified or determined as a function of a property of the course of the road, such as a curve of the road.
  • the Kalman filter it can be advantageous if the state function and / or the ambient measurement data are present in a point space of the measurement space. This means that, for example, to an advantage for the adaptation, both the status function and the environmental measurement data are each represented by a plurality of sample points.
  • the Kalman filter can adapt the status function to the ambient measurement data.
  • the sample points are in a coordinate system with location coordinates.
  • the sample points can only be determined for the status function.
  • the sample points are then interpolated, for example, by a polynomial of the same order of the polynomial of the environmental measurement data.
  • the Kalman filter can then be designed such that, in each recursion step, polynomial parameters of the transformed state function are approximated to further polynomial parameters of the environmental measurement data.
  • a measurement model can be used to determine parameters of the state function from the polynomial parameters, so that the state function with the parameters approximately corresponds to the ambient measurement data.
  • the sample points can be selected as a function of a sampling method so that it is advantageous for adapting the state function to the environmental measurement data.
  • Sample points to be compared are selected in such a way that they lie at the same arc length of the state function or the environmental measurement data.
  • these can be selected in such a way that a constant arc length of the curve lies between adjacent sample points of a curve (state function, environmental measurement data). In this way, a state function which has strong curvatures can be precisely adapted to the ambient measurement data of the camera.
  • the reliable estimation of a possibly strongly curved roadway can be guaranteed.
  • the computer-implemented method can have a transformation of the state function and the environmental data into a common coordinate system with curvature values.
  • the measuring space here comprises a two-dimensional coordinate system which is determined by curvature values and arc lengths.
  • the clothoid spline is usually present in this measuring space.
  • the map data are typically available as a polynomial spline in a coordinate system with spatial coordinates, which can be obtained from an interpolation of the waypoints.
  • the polynomial spline can be transformed so that the curvature values of the polynomial spline can be determined depending on the arc length of the polynomial spline.
  • the state function and the polynomial spline can be displayed in the measuring space, which includes the coordinate system with the curvature values and the arc lengths.
  • the curvature values of the state function are thus comparable for the Kalman filter with the curvature values of the polynomial spline.
  • the adaptation of the state function to the environmental measurement data can provide an adaptation of at least one curvature value of the state function to at least one further curvature value of the environmental measurement data.
  • the curvature values of the state function and the polynomial spline can be used as input variables.
  • the data fusion of the map data with the Kalman filter means the adaptation of the curvature values of a point or several points of the state function to the curvature values of a transform of the map data.
  • the computer-implemented method described herein can in particular be designed to determine the course of the lane of normal streets or lanes.
  • the lanes are provided with lane markings, especially on motorways, motorway-like roads and in an urban area, in order to make the course of the lane recognizable for a driver, for example.
  • the lane markings can be used, for example, to estimate the course of the lane.
  • the status function can characterize a course of the lane marking of the lane.
  • recordings of the lane markings can be made by the at least one camera.
  • the course of the lane is usually detected by means of the at least one camera using an image processing application which can determine a course of lane markings or lane boundaries from recordings of the at least one camera.
  • environmental measurement data from the at least one camera can identify the course of the lane markings or the lane boundaries.
  • This estimation can be advantageous when controlling the vehicle, for example in order to determine a lane width or a distance of the vehicle from the lane boundary.
  • the course of the center of the lane is required to control the vehicle.
  • Ambient measurement data from the at least one camera describe the course of lane boundaries or lane markings which are located to the side of the lane.
  • the course of the lane markings or lane boundaries can therefore be estimated. If the width of the lane is known, this estimate can be used to determine the state function that describes the course of the center of the lane.
  • the status function can be deduced from the course of the lane markings and the lane boundaries, which describes the course of the center of the lane.
  • the computer-implemented method can also include providing validation measurement data and validating the estimate of the course of the roadway with the aid of the validation data.
  • Further sensors such as lidar, radar and / or ultrasound sensors, can provide the validation measurement data, which, for example, identify the position and / or a course of the roadside structures on the basis of location coordinates. Edge structures can for example be guard rails, noise barriers or delineator posts.
  • the validation measurement data thus mark drivable areas for the vehicle.
  • the validation increases the robustness of the computer-implemented method against errors in the estimation of the course of the roadway. For example, an incorrect estimate, that is to say a state function that is not within the drivable area, can be disregarded in the control of the vehicle.
  • a second aspect of the present invention relates to a device for estimating the course of the roadway in the vicinity of the vehicle.
  • the device comprises one or more interfaces in order to acquire environmental measurement data.
  • the device further comprises a processing unit which is designed to carry out the computer-implemented method for estimating the course of the roadway in the vicinity of the vehicle.
  • the environmental measurement data can be, for example, map data or environmental measurement data from the camera.
  • An interface of the device is accordingly, for example, a connection to a storage medium on which the map data are stored and can be called up or transmitted from there. Further interfaces could be connections to one or more cameras that provide the environmental measurement data.
  • the processing unit can be, for example, a computer, a microcontroller, a processor or a programmable hardware component which is configured to carry out the computer-implemented method.
  • the environmental measurement data acquired by the interfaces are transmitted from the interfaces to the processing unit, so that the environmental measurement data serve as an input variable for estimating the course of the roadway.
  • a third aspect relates to a vehicle with the device for estimating the course of the roadway in the vicinity of the vehicle.
  • the vehicle can be any ground-based vehicle, in particular special passenger cars, fast cars, motorcycles or found machines
  • FIG. 1 shows a schematic representation of a multi-lane road with a vehicle on it.
  • FIG. 2 shows an example of a clothoid spline with n clothoid segments.
  • FIG. 3 shows a schematic flow diagram of the computer-implemented method for estimating the course of the roadway in the vicinity of the vehicle.
  • FIG. 4 shows a flow diagram of a multi-sensor data fusion.
  • FIG. 5 shows a schematic representation of a sampling method of the clothoid spline and the environmental measurement data.
  • 6 shows a graphic comparison of two approximation methods for approximating the clothoid spline.
  • 7 shows a graphic comparison of two sampling methods.
  • FIG. 8 shows a schematic illustration of a roadway marked by roadway markings.
  • FIG. 10 shows a schematic illustration of the vehicle with a device for estimating the course of the roadway.
  • the thickness dimensions of fins, layers and / or regions may be exaggerated for the sake of clarity.
  • the vehicle can be controlled in such a way that it autonomously regulates steering, acceleration, speed and other vehicle or driving parameters without the intervention of a driver so that the vehicle, for example, safely follows the estimated course of the road and / or can avoid obstacles.
  • FIG. 1 a schematic lane course of the lane 14 on which the vehicle 11 is located and / or is moving is shown as an example.
  • Embodiments of the invention described herein can be designed to estimate the course of the roadway in two translational directions, that is, in two dimensions.
  • Fig. 1 shows the road from a plan view in the two dimensions.
  • the vehicle 11 is located in a middle of three lanes of the roadway 14, which may be driven in one or both directions, for example.
  • a course of the roadway 14 or the lane can be estimated, for example.
  • the course of the roadway can mean both the course of the roadway and the course of the lane.
  • a middle of the lane and / or a course of the middle of the lane can never be identified by a middle 12.
  • roads do not have a center line 12, so that the center of the lane is not "visible”.
  • the individual lanes are typically each delimited by lane markings such as a boundary line 13.
  • roadway 14 is typically constructed according to a spline (clothoid spline) of connected clothoid segments due to driving comfort and for safety reasons.
  • the advantage of such a construction of the roadway 14 is a linear change in the curvature of the roadway, so that curves can be driven through with a high degree of driving comfort and can be assessed well for the driver of vehicles that are not autonomous.
  • the lane model of the lane 14, which is based on a clothoid spline 20, is shown by way of example in FIG. 2.
  • the clothoid spline 20 comprises the clothoid segments 21 and the transition points 22 between two clothoid segments 21.
  • the clothoid segments 21 correspond to parts of clothoid functions.
  • c 0 stands for an initial curvature
  • c ln for a constant change in curvature of the rat th clothoid segment 41 with the arc length s. From (1) it can be seen that the curvature value c (s) of the clothoid function changes linearly with c l rn .
  • Clothoid spline 20 orientation 0 O and a y-axis portion may additionally y 0 of a clothoid segment are given 21st
  • each of the clothoid segments 21 of the clothoid spline 20 can therefore be completely characterized by the parameters c 0 , c l q 0 and y 0 .
  • n (ne N) clothoid segments 21 this would mean that the clothoid spline 20 can be described by 4 * n parameters.
  • the clothoid spline 20 fulfills connection conditions between the clothoid segments 21, which can reduce a number of the parameters necessary for describing the clothoid spline 20, so that a computational effort for determining the clothoid spline 20 is reduced.
  • the clothoid spline 20 is, for example, continuous and differentiable at the transition points 22, and the curvature values of two consecutive clothoid segments 21 are equivalent at the transition points 22.
  • the number of parameters required to describe the clothoid spline 20 can be reduced to n + 3.
  • the clothoid spline 20 can therefore be fully characterized by a reduced set of parameters (c 0 , 0 O , y 0 and c i , 1 ⁇ ⁇ - c i , n).
  • the clothoid spline 20 can map the course of the roadway 14, for example, both in front of and behind the vehicle 11 in good approximation.
  • environmental measurement data from a number of possibly different data sources or sensors are used.
  • This requirement can be met, for example, through exemplary embodiments of the computer-implemented method 30 for estimating the course of the roadway shown in FIG. 3.
  • the computer-implemented method 30 for estimating the course of the roadway in the vicinity of the vehicle is based on a determination of the state function describing the course of the roadway.
  • the state function here includes the clothoid spline 20.
  • the computer-implemented method 30 includes the provision 31 of ambient measurement data which describe the course of the roadway at a current position of the vehicle 11.
  • the ambient measurement data include the at least one polynomial function.
  • the computer-implemented method 30 further comprises transforming 32 the state function and the environmental measurement data into the common coordinate system and adapting 33 the state function based on the environmental measurement data in the common coordinate system.
  • the environmental measurement data from the vehicle's own sensors can describe a course of the boundary lines 13 or the course of the lane center 12 of the lane using a polynomial function or a polynomial spline, as in a present embodiment.
  • the HD map from a map manufacturer can also be used to estimate the course of the road.
  • environmental measurement data can be determined.
  • the waypoints can mark the middle of the lane, for example.
  • the resulting map data usually describe the course of the road using a further polynomial spline.
  • Real-time filters can for example update the state function or the clothoid spline 20 with the environmental measurement data, provided that the state function and the environmental measurement data are in the common coordinate system.
  • the state function is present in a state space which includes curvature values.
  • the ambient measurement data are available, for example, in a measurement room with location coordinates.
  • the state function can be mapped by transforming 32, for example, in the common coordinate system, which can include curvature values or spatial coordinates.
  • the Kalman filter can use the ambient measurement data in order to adapt 33 the clothoid spline 20 to the ambient measurement data.
  • the computer-implemented method 30 can, for example, describe a single recursion step of the recursive method.
  • the recursive method includes, for example, several successive recursion steps that each serve to estimate the course of the roadway.
  • the recursive method can be implemented, for example, using the Kalman filter or other real-time filters.
  • the Kalman filter has proven to be advantageous.
  • the input variables of the individual recursion steps are the status function from one of the previous recursion steps and the environmental measurement data, which can be captured by providing 31 the environmental measurement data using the at least one camera and the HD card.
  • Detecting and transforming 32 the state function of a previous recursion step characterize a first phase of the Kalman filter. This phase is known as prediction.
  • an estimate for a current state of the clothoid spline 20 can be determined.
  • the clothoid spline can be subjected to state dynamics.
  • the state dynamics are true, for example, by a movement of the vehicle 11.
  • the clothoid spline 20 can, for example, if the vehicle 11 moves along the roadway 14, be widened in front of the vehicle 11 and shortened behind the vehicle 11. Since the clothoid spline 20 is usually composed of individual segments 21, the clothoid spline 20 cannot, for example, be continuously expanded or shortened with each recursion step, but only in the event that the vehicle 11 drives over one of the transition points 22.
  • the state function of the previous recursion step is updated by adapting 33 to the environmental measurement data in each recursion step.
  • the adaptation 33 corresponds to a second phase of the Kalman filter, referred to as innovation.
  • the state function is compared with the ambient measurement data.
  • individual values of the status function are compared with further values of the environmental measurement data for this purpose.
  • these values can be, for example, location coordinates or curvature values of the status function and the ambient measurement data.
  • the values of the state function usually have a fuzziness, or the values of the environmental measurement data have a measurement uncertainty, which can each be represented by a probability distribution, such as a Gaussian distribution.
  • the state function can be adjusted 33 using the state function and the ambient measurement data as input variables.
  • a weighting of the input variables when adapting 33 the state function can be dependent on the measurement uncertainties or the uncertainty.
  • the lower the measurement uncertainty of the ambient measurement data the closer, for example, the state function determined during the prediction can be approximated to the ambient measurement data.
  • the uncertainty of the state function present as an input variable is based, for example, on mean values and information on the scatter (for example covariances) of the parameters of the clothoid spline 20.
  • the mean values and covariances can be determined from the parameters of previous recursion steps.
  • the fuzziness of the state function can be determined, for example, by the covariances. If the covariance is high, the state function recorded during the prediction can be given a low weighting. In contrast, if the covariance is low, the state function is heavily weighted. Accordingly, depending on the uncertainty and uncertainty of the measurement, an updated status function or clothoid spline 20 results from the ambient measurement data and the status function serving as input variable. In a subsequent recursion step, the last updated status function can again be used for the prediction.
  • the environmental data of individual sensors cannot determine the course of the road exactly.
  • the ambient measurement data from the sensors can, for example, be partially noisy or incorrect.
  • the data fusion of the environmental data of several different types of sensors (data sources), on the other hand, can guarantee a robust, highly available and less error-prone estimate of the course of the road. This concept of multi-sensor data fusion is illustrated in FIG.
  • data in particular environmental measurement data, from a plurality of sensors can be merged into the driving cock model.
  • the environmental measurement data can be provided by means of the camera 41 and the HD card 43.
  • the camera 41 can for example be attached to the vehicle and directed in the direction of travel.
  • the lane markings, the lane boundaries and their course in the form of one or more consecutive polynomial functions can be approximately represented from the recordings of the camera 41 by means of an image processing application.
  • a range or a measuring radius of the camera 41 is typically limited by obstacles or an optical range of the camera 41.
  • the HD map 43 is typically based on output variables from a sensor system of a map manufacturer 42. By interpolating the waypoints that can be taken from the HD map, one or more related polynomial functions can be determined in order to approximately describe the course of the road.
  • the HD card 43 or corresponding map data can, for example, be present on a storage medium which is attached to the vehicle 11. Alternatively or in addition, the HD map 43 or the map data could be transmitted from a transmitter to a reception module of the vehicle 11 or a device for estimating the course of the road.
  • the environmental measurement data of the HD map 43 and the camera 41 are included in the estimation of the course of the roadway or the roadway model 45, which is determined by the state function or the clothoid spline 20 can be shown.
  • the exemplary embodiment described here provides for the use of a single camera, further exemplary embodiments can comprise a plurality of cameras 41 which, if necessary, can be oriented in different directions.
  • the clothoid spline 20 can be adapted, for example, to ambient data from the camera 41, among other things.
  • the data fusion 44 of the environmental measurement data of the camera 41 will be discussed in more detail with the aid of the curves 20 and 50 shown in FIG. 5.
  • the state function 20 that is to say the clothoid spline 20
  • the environmental measurement data 50 are transformed into a point space.
  • both the environmental measurement data 50 and also the clothoid spline 20 can each be described by a plurality of points in the point space.
  • the points can be determined from the clothoid spline 20 and the environmental measurement data 50 by a sampling method. Therefore the points are also called sample points 51 and 52.
  • the clothoid spline 20 Using the usual representation (1) for the clothoid spline 20, it is not possible to determine sample points 51 or the spatial coordinates of the sample points 51.
  • the transforming 32 of the clothoid spline 20 is therefore necessary.
  • a measurement model can be determined, with the aid of which the clothoid spline 20 can be transformed into the measurement space of the ambient measurement data 50 so that the clothoid spline 20 can be represented by spatial coordinates.
  • a first measurement model for transforming 32 of clothoid spline 20 provides an approximate representation of clothoid spline 20 in that clothoid segments 21 are approximated by third degree polynomials 62. This representation is shown in Figure 60-1.
  • the polynomial 62 is obtained, for example, which approximately maps a course of the clothoid or, for example, of the clothoid segment 21.
  • the sample points 61 approximately correspond to the sample points 51. Due to the approximate representation of the clothoid segment 21 with (2) and (3), each sample point 61 can be assigned location coordinates.
  • the clothoid spline 20 can be represented in the Kalman filter in the point space using the first measurement model described here. With the sample points 61 and the sample points 52 of the point space as input variables, the Kalman filter can approximate the polynomial 62 to the environmental measurement data 50. It is correct for the parameters c 0, 0 O, y 0 and c *, *, .. c In the clothoid splines are determined 20th By inserting the values, the estimation of the course of the roadway can be determined, which results from the adaptation 33 of the clothoid spline 20 to the environmental measurement data 50 of the camera 41.
  • the clothoid segments 21 can be approximated well with small curvatures by the measurement model described according to (2) and (3).
  • an accuracy of the approximate representation of the clothoid spline 20 according to (2) and (3) may be insufficient to ensure a high degree of accuracy for the adaptation 33 of the clothoid spline 20 to the ambient measurement data 50.
  • a second measurement model can be applied to the clothoid spline 20 instead of the first measurement model.
  • the clothoid segment 21 can be represented by the parameter display of the clothoid function. This is illustrated in Figure 60-2.
  • each sample point 63 is shown in a vector display.
  • a vector of such Sample point 63 comprises, for example, two components which can be expressed by Fresnel integrals.
  • a Taylor expansion of the fifth order of the Fresnel integrals for example, can be used instead of the Fresnel integrals.
  • a function 64 can result, the function 64 corresponding to a Taylor polynomial 64 due to the Taylor expansion of the fifth order.
  • this polynomial 64 describes the course of the clothoid segment 21 relatively precisely.
  • the sample points 63 determined with the aid of the second measurement model describe the clothoid segment 21 and / or the clothoid spline even with strong curvatures 20 as a good approximation.
  • the sample points 63 generated by the second measurement model can represent the clothoid spline 20 approximately better, especially in the case of large curvatures, than the sample points 61 generated by the first measurement model. Therefore, the course of the road can usually be determined with greater accuracy using the second measurement model than with the first measurement model. In general, both measurement models can be used to estimate the course of the road.
  • Different sampling methods can be used to determine the sample points 61 and 63 of the respective measurement models and the sample points 52 of the environmental measurement data 50.
  • Two possibilities for the sampling method are illustrated in FIG. 7.
  • the sample points 61, 63 and 52 can be selected such that a distance between the sample points in the x-direction is constant. It has been shown that this sampling method is not optimal for a strongly curved roadway when adapting 33 the clothoid spline 20, or the polynomials 62 and 64, with the Kalman filter.
  • the distances between the sample points 61 or 63 and the sample points 52 can be relatively large, although the polynomial 62 or 64 approximately corresponds to the environmental measurement data 50.
  • the Kalman filter would then shift the clothoid spline 20 "too much" in the case of the innovation. For example, the clothoid spline 20 would be shifted too much downward in an example shown in the diagram on the left in FIG. 7, since the distance d between the sample points 61 or 63 and the sample points 52 is relatively large.
  • Such a systematic error can be reduced by choosing a second sampling method (on the right in FIG. 7) in terms of further exemplary embodiments.
  • the sample points 61, 63 and 52 are selected such that there is a constant arc length As between adjacent sample points 61, 63 and 52 of the respective polynomials 62, 64 or the environmental measurement data 50.
  • the sample points 61, 63 and 52 are located in such a way that the distance d between the sample points 61 or 63 and the sample points 52 is thereby, for example, lower than in the left-hand diagram in FIG. 7.
  • the clothoid spline 20 is shifted downward, for example less strongly, by the Kalman filter.
  • the adaptation 33 of the clothoid spline 20 with the Kalman filter using the second sampling method can achieve greater accuracy than the adaptation 33 using the first sampling method.
  • the second sampling method also has a stabilizing effect on a function of the Kalman filter and thus also has a stabilizing effect on lateral guidance behavior when steering the vehicle, since the clothoid spline 20 is slightly corrected using the second sampling method when adjusting 33 . It can therefore be the case that the state function in the individual recursion steps is adapted less “strongly” and is thus referred to as “more stable”.
  • the camera 41 can detect the course of lane markings 12 or 13 and the image processing application can be designed to detect such lane markings 12 or 13 and to describe them approximately using a polynomial or a polynomial spline.
  • the lane markings 13 identify the boundaries of the lane.
  • the lane marking 12 identifies the center line of the lane, which in some cases is not visible.
  • a schematic illustration of a roadway marked by roadway markings 12 and 13 is shown in FIG. 8.
  • a lane or lane width can be determined from recordings of the camera 41 with the aid of the suitable image processing application.
  • the estimation of the course of the lane can correspond to the course of the lane markings 13. This can be advantageous for controlling the vehicle. From the courses of two Fahrbahnmarkierun gene 13, which limit the lane to the right and left, it is possible, for example, to determine the lane width or to derive the course of the center line 12.
  • the course of the lane markings or lane boundaries 13 can be determined by means of data fusion 44 and, based on this, taking into account the lane width, the course of the lane center or the center line 12 can be derived.
  • the lane width of the lane to be determined can either be taken from a data record available for the vehicle or can be determined on the basis of the course of the lane markings 13.
  • the clothoid spline 20 which describes the course of the center of the cockpit, for example, can be transformed in such a way that a transformed clothoid spline describes the course of one of the road markings 13 in order to adapt 33 the clothoid -Splines 20 to the environmental measurement data the camera.
  • After adjusting 33 of the clothoid spline 20 can be determined by reverse transforming the clothoid spline, which in turn marks the course of the middle of the lane. For geometric reasons, it may not be sufficient for the transforming and reverse transforming to move the clothoid spline 20 translationally, that is to say in the x and y directions.
  • the environmental measurement data of the camera can be transformed, taking into account a lane width, so that they approximately characterize the course of the center of the lane.
  • the Kalman filter can then adapt 33 the clothoid spline 20 to the transformed measurement data.
  • ambient measurement data from a further data source different from the camera are usually used.
  • the map data of the HD card 43 are used for this.
  • An example of such map data is shown in FIG.
  • the sensor system of the map manufacturer 42 supplies waypoints 91 which lie on the roadway of the vehicle 11.
  • the waypoints can be connected by interpolation, taking into account other connection conditions.
  • the waypoints can be connected by polynomials 92, for example.
  • a polynomial spline 90 can thus be generated from several polynomial functions 92.
  • the polynomial spline 90 can correspond to the map data.
  • the polynomial spline 90 can be represented as a function in spatial coordinates.
  • the map data can already be determined long before the camera 41 can capture the roadway.
  • the course of the roadway 14 can be estimated according to strongly curved and / or non-visible curves.
  • the map data can be used to approximately determine the course of the road well in front of the vehicle 11.
  • An orientation of the vehicle can sometimes not be determined or not accurately determined on the basis of the map data.
  • the orientation of the vehicle 11 with respect to the roadway 14 can typically not be determined from the position data of the vehicle 11 and the polynomial spline 90, since this cannot give any indication of the orientation of the vehicle 11.
  • location coordinates of the map data are not usually used in the Kalman filter in order to adapt the clothoid spline 20 to the map data.
  • a further measurement model can be used in which the map data are displayed in a measurement space which comprises a coordinate system with curvature values.
  • the polynomial spline 90 provided by the HD card 43 is usually available as an image in a coordinate system with spatial coordinates. In advantageous embodiments of the invention disclosed here, it may therefore be necessary to transform 32 the map data into the measurement space with the coordinate system with curvature values.
  • a suitable mapping of the map data can be, for example, a function of the arc length s of the map data, a curvature value k of the map data resulting as a function of the arc length s.
  • the curvature values of the clothoid spline 20 are approximated to the curvature values k of the polynomial spline 90.
  • the curvature values k at the waypoints of the map data are taken into account for this.
  • the adaptation 33 can take place by adapting the parameters y 0 , 0 O , c 0 and c 1 1 ,..., C ln .
  • One advantage of the described data fusion 44 based on the curvature values k is that this data fusion 44 is robust with respect to angle and offset errors. Assuming that a focalization determines a lane in which the vehicle 11 is actually located, the course of the road can be estimated precisely based on the curvature values k, for example, even if the vehicle 11 is not exactly in the center of the lane or not parallel to the center line 12 is aligned.
  • the computer-implemented method can include the multi-sensor data fusion 40.
  • the multi-sensor data fusion 40 of ambient measurement data 50 and map data can result in advantages.
  • the position and orientation of the vehicle 11 with respect to the roadway 14 can be determined, for example. When controlling the vehicle 11, it is thus possible, for example, to prevent the vehicle 11 from leaving the lane 14.
  • the course of the roadway can be determined far in advance, so that the control of the vehicle 11 can, for example, reduce a speed of the vehicle early enough to safely drive through a strongly curved curve that is not visible.
  • the data fusion 44 offers robustness with respect to angle and offset errors in the estimation of the course of the roadway, as a result of which measurement errors in the estimation can be reduced.
  • the computer-implemented method 30 can be used to control any ground-based vehicles 11.
  • An example of such a vehicle 11 is shown in FIG. 10.
  • the vehicle 11 can be equipped with a device 100 which is used to estimate the course of the road.
  • the device 100 includes a processing unit (not shown here) and several interfaces for acquiring environmental measurement data.
  • Such an interface can be, for example, a connection between the processing unit and one or more cameras 41.
  • the cameras 41 can, for example, be directed in the direction of travel, against a direction of travel or to the side and enable 31 the environmental measurement data 50 to be provided.
  • Further interfaces can connect the processing unit to a storage medium 103, such as a hard disk drive or an optical memory, and additionally or alternatively to a receiving unit 102.
  • map data 90 can be made possible in that the map data 90 are present on the storage medium 103 or can be received by the receiving unit 102 and made available to the processing unit.
  • the map data can be transmitted from a transmitter 110 to the receiving unit.
  • the device 100 can determine an estimate of the course of the road by executing the computer-implemented method 10.
  • the processing unit is designed to carry out the transformation 32 of the clothoid spline 20 and the environmental measurement data 50 and / or the map data. Furthermore, the processing unit is configured for adapting 33 the clothoid spline 20 to the environmental measurement data.
  • the processing unit can be, for example, a processor, a microcontroller, a field-programmable gate array (FPGA), a computer or a programmable hardware component.
  • Examples can furthermore be a computer program with a program code for executing one or more of the above methods or relate to them when the computer program is executed on a computer or processor. Steps, operations or processes of the various methods described above can be carried out by programmed computers or processors. Examples can also include program storage devices, e.g. B. digital data storage media that are machine, processor or computer readable and encode machine, processor or computer executable programs of instructions. The statements perform or cause some or all of the steps in the methods described above.
  • the program storage devices may e.g. B. digital storage, magnetic storage media such as magnetic disks and tapes, hard disk drives or op table readable digital data storage media include or be.
  • a function block referred to as “means for executing a specific function can refer to a circuit which is designed to execute a specific function.
  • a “means for something” can be implemented as a “means designed for or suitable for something”, e.g. B. a component or a circuit designed for or suitable for the respective task.
  • Functions of various elements shown in the figures, including each function designated as “means”, “means for providing a signal”, “means for generating a signal”, etc. blocke can take the form of dedicated hardware, e.g. B “a signal provider”, “a signal processing unit”, “a processor”, “a controller” etc. as well as being implemented as hardware capable of executing software in conjunction with the associated software.
  • the functions can be provided by a single dedicated processor, by a single shared processor, or by a plurality of individual processors some or all of which can be shared.
  • DSP digital signal processor hardware
  • ASIC Application Specific Integrated Circuit
  • FPGA field programmable gate array
  • ROM read only memory
  • RAM random access memory
  • non-volatile storage device storage.
  • Other hardware conventional and / or custom, can also be included.
  • a block diagram may represent a high level circuit diagram that implements the principles of the disclosure.
  • a flowchart, flowchart, state transition diagram, pseudocode, and the like may represent various processes, operations, or steps, e.g. such computer or processor is explicitly shown. Methods disclosed in the specification or in the claims can be implemented by a device having a means for performing each of the respective steps of these methods.

Abstract

Ausführungsbeispiele der vorliegenden Erfindung schaffen ein computerimplementiertes Verfahren (30) zur Schätzung eines Fahrbahnverlaufs in einer Umgebung eines Fahrzeugs (11) basierend auf einer den Fahrbahnverlauf beschreibenden Zustandsfunktion. Die Zustandsfunktion umfasst dabei einen Klothoiden-Spline (20). Ferner umfasst das computerimplementierte Verfahren (30) ein Bereitstellen (31) von Umgebungsmessdaten, welche den Fahrbahnverlauf an einer aktuellen Position des Fahrzeugs (11) beschreiben. Die Umgebungsmessdaten umfassen dabei zumindest eine Polynomfunktion. Das computerimplementierte Verfahren (30) umfasst des Weiteren ein Transformieren (32) der Zustandsfunktion und der Umgebungsmessdaten in ein gemeinsames Koordinatensystem und ein Anpassen (33) der Zustandsfunktion basierend auf den Umgebungsmessdaten in dem gemeinsamen Koordinatensystem.

Description

VERFAHREN UND VORRICHTUNG ZUR MULTI-SENSOR-DATENFUSION FÜR AUTOMATISIERTE UND AUTONOME FAHRZEUGE
Beschreibung
Ausführungsbeispiele der vorliegenden Erfindung beziehen sich auf ein computerimplementiertes Verfahren, ein Fahrzeug, ein Computerprogramm und eine Vorrichtung zur Schätzung eines Fahr bahnverlaufs. Der Fahrbahnverlauf wird hierbei durch eine Zustandsfunktion beschrieben, die einen Klothoiden-Spline umfasst.
Bei einer Steuerung mancher automatisierter oder autonom fahrender Fahrzeuge kommen Verfahren zur Schätzung des Fahrbahnverlaufs zum Einsatz, auf deren Basis die Steuerung eines solchen Fahr zeugs Fahrentscheidungen trifft.
Dabei kann der Fahrbahnverlauf durch Bestimmen eines der Zustandsfunktion entsprechenden Fahr bahnmodells näherungsweise beschrieben werden. Dadurch kann der Fahrbahnverlauf insbesondere relativ zu einer Position und/oder einer Orientierung des Fahrzeugs ermittelt werden. Eigenschaften des Fahrbahnverlaufs können beispielsweise Breite, Richtung, Krümmung oder Anzahl der nebenei nanderliegenden Fahrspuren oder die Position des Fahrzeugs bezüglich der Fahrspuren (zum Beispiel das Fahrzeug befindet sich auf der rechten, der mittleren oder der linken von drei Fahrspuren) sein.
Das Fahrzeug kann dann so gesteuert werden, dass es zum Beispiel dem Fahrbahnverlauf folgt, Hin dernissen ausweicht oder die Spur wechseln kann. Für einen hochverfügbaren, sicheren und komfor tablen Betrieb des Fahrzeugs können bei einer Ermittlung des Fahrbahnverlaufs oder Fahrbahnmodells Umgebungsmessdaten mehrerer Datenquellen kombiniert (fusioniert) werden. Ein Kombinieren von Datenquellen, auch als Datenfusion bezeichnet, meint dabei ein Kombinieren von Daten mehrerer Datenquellen. Typische Datenquellen können beispielsweise sensorische Datenquellen wie eine Ka mera oder Wegpunkte einer digitalen Karte sein. Eine solche digitale Karte kann insbesondere eine niedrig auflösende (SD) Karte oder eine hochauflösende (HD) Karte sein Es gibt verschiedene Mög lichkeiten für eine solche Datenfusion.
Das Dokument WO2018/019454 beschreibt ein Verfahren zum Ermitteln eines Fahrbahnmodells. Hierbei wird mittels unterschiedlicher Parametrierungen von Kartendaten und Beobachtungsdaten eine Mehrzahl von Hypothesen für ein Fahrbahnmodell erzeugt. Auf Basis von Konfidenzwerten der Hypothesen wird eine Hypothese für ein Fahrbahnmodell ausgewählt. Ein Verfahren zur Datenfusion der Beobachtungsdaten und Kameradaten, welches ein hochverfügbares Bestimmen des Fahrbahnver laufs gewährleistet, wird hierin nicht berücksichtigt.
Weitere konventionelle Steuerungen verwenden typischerweise ausschließlich Daten einer einzelnen Datenquelle (Kamera, digitale Karte), um ein Fahrhahnmodell zu erstellen. Hierbei kann kein hoch verfügbares Bestimmen des Fahrbahnverlaufs gewährleistet werden, da bei auftretender Funktionsun tüchtigkeit der Datenquelle ein Bestimmen des Fahrbahnverlaufs nicht mehr möglich ist. Des Weite ren können einzelne Datenquellen verrauschte oder teils fehlerbehaftete Umgebungsmessdaten erzeu gen, wodurch eine Schätzung des Fahrbahnverlaufs ungenau sein kann.
Es besteht daher ein Bedarf darin, ein computerimplementiertes Verfahren zum Schätzen des Fahr bahnverlaufs schaffen, welches das hochverfügbare und ein präzises Bestimmen des Fahrbahnverlaufs gewährleistet. Diesem Bedarf tragen das computerimplementierte Verfahren, die Vorrichtung, das Computerprogramm sowie das Fahrzeug nach den unabhängigen Ansprüchen Rechnung.
Ausführungsbeispiele der vorliegenden Erfindung schaffen ein computerimplementiertes Verfahren, ein Fahrzeug, ein Computerprogramm und eine Vorrichtung, welche dem Schätzen eines Fahrbahn verlaufs in einer Umgebung des Fahrzeugs dienen. Mittels Datenfusion von Umgebungsmessdaten mehrerer Datenquellen mit einer den Fahrbahnverlauf beschreibenden Zustandsfunktion (Fahrbahn- modell) kann eine Hochverfügbarkeit und eine hohe Präzision des Schätzens gewährleistet werden. Die Umgebungsmessdaten der jeweiligen Datenquellen sind dabei Ausgangsgrößen von Messungen des Fahrbahnverlaufs und umfassen zumindest eine Polynomfunktion. Die Zustandsfunktion umfasst einen Klothoiden-Spline. Die Datenfusion der Umgebungsdaten mit der Zustandsfunktion meint dabei das Anpassen der Zustandsfunktion, beziehungsweise des Klothoiden-Splines, an die Umgebungs messdaten durch einen Echtzeitfilter. Für die Schätzung des Fahrbahnverlaufs hat sich beispielsweise ein Kalman-Filter als vorteilhafter Echtzeitfilter erwiesen.
Das Anpassen der Zustandsfunktion mit dem Kalman-Filter erfordert üblicherweise das Transformie ren der Zustandsfunktion von einem Zustandsraum in einen Messraum. In Ausführungsbeispielen der vorliegenden Erfindung kann es sich hierbei um ein Transformieren der Zustandsfunktion zwischen verschiedenen Koordinatensystemen handeln. In dem Messraum kann eine aus einer Prädiktion des Kalman-Filters hervorgehende Zustandsfunktion mit Umgebungsmessdaten mehrerer Datenquellen oder Sensoren korrigiert werden. Im Zusammenhang mit dem Kalman-Filter wird dies üblicherweise als Innovation bezeichnet. Die durch die Anpassung oder Innovation aktualisierte Zustandsfunktion entspricht einer näherungsweisen Schätzung des Fahrbahnverlaufs. Durch zeitlich wiederholendes Anpassen der Zustandsfunktion an Umgebungsmessdaten wird die Schätzung fortlaufend aktualisiert, so dass beispielsweise ein Fahrbahnverlauf einer Straße präzise und sicher geschätzt werden kann. Ein Anpassen der Zustandsfunktion an Umgebungsmessdaten mehrerer Datenquellen gewährleistet eine Hochverfügbarkeit und eine hohe Genauigkeit bei dem Schätzen des Fahrbahnverlaufs.
Ein erster Aspekt der Erfindung betrifft ein computerimplementiertes Verfahren zur Schätzung eines Fahrbahnverlaufs in einer Umgebung eines Fahrzeugs basierend auf einer den Fahrbahnverlauf be schreibenden Zustandsfunktion. Die Zustandsfunktion umfasst dabei einen Klothoiden-Spline. Ferner umfasst das computerimplementierte Verfahren ein Bereitstellen von Umgebungsmessdaten, welche den Fahrbahnverlauf in einer bestimmten Umgebung der aktuellen Position des Fahrzeugs beschrei ben. Die Umgebungsmessdaten umfassen dabei zumindest eine Polynomfunktion. Die Polynomfunk tion kann beispielsweise ausgehend von einer Polylinie mit Hilfe eines Kurvenregressionsverfahrens erzeugt werden. Eine solche Polylinie bezeichnet hierbei eine Folge zusammenhängender Finienseg- mente. Das computerimplementierte Verfahren umfasst des Weiteren ein Transformieren der Zu standsfunktion und der Umgebungsmessdaten in ein gemeinsames Koordinatensystem und ein An passen der Zustandsfunktion basierend auf den Umgebungsmessdaten in dem gemeinsamen Koordi natensystem.
Beispielsweise beruht das computerimplementierte Verfahren auf einem rekursiven Verfahren, wie zum Beispiel dem Kalman-Filter, welches aufeinanderfolgende Rekursionsschritte aufweisen kann. Jeder Rekursionsschritt kann dabei dem Schätzen des Fahrbahnverlaufs dienen, welcher durch die Zustandsfunktion beschrieben wird. Da im Verkehrswegebau bei einer Berechnung des Fahrbahnver laufs häufig Klothoiden eingesetzt werden, kann der Fahrbahnverlauf wiederum präzise durch aufei nanderfolgende Klothoiden-Segmente geschätzt oder näherungsweise rekonstruiert werden. Daher kann es vorteilhaft sein beim Schätzen des Fahrbahnverlaufs für die Zustandsfunktion den Klothoiden- Spline anzunehmen. Der Klothoiden-Spline kann dabei vollständig durch Parameter wie Krümmung, Krümmungsänderung, Winkel und y- Achsenabschnitt bestimmt sein.
Eingangsgrößen zum Schätzen des Fahrbahnverlaufs sind die Umgebungsmessdaten. Die Umge bungsmessdaten können in Form von Polynomfunktionen oder Polynom-Splines vorliegen, die sich aus Messdaten fahrzeugfremder und/oder fahrzeuginterner Sensoren ergeben können. Die Umge bungsmessdaten bilden beispielsweise den beobachteten Fahrbahnverlauf in der Umgebung des Fahr zeugs näherungs weise ab.
Die Umgebungsmessdaten können dann mit der Zustandsfunktion verglichen werden. Dazu ist es vor teilhaft, dass die Zustandsfunktion und die Umgebungsmessdaten in dem gemeinsamen Messraum vorliegen. Häufig ist dafür ein Transformieren der Zustandsfunktion in ein anderes Koordinatensys tem geeignet. Beispielsweise kann der Klothoiden-Spline in einem Koordinatensystem mit Krüm- mungswerten und Bogenlängen dargestellt sein, wohingegen die Umgebungsmessdaten in einem Ko ordinatensystem mit Ortskoordinaten vorliegen. Aus diesem Grund wird beispielsweise ein Messmo dell auf die Zustandsfunktion angewandt, um die Zustandsfunktion zumindest näherungsweise in dem Koordinatensystem mit Ortskoordinaten darzustellen. Der Klothoiden-Spline, welcher typischerweise als Funktion einer Bogenlänge dargestellt wird, kann beispielsweise durch ein oder mehrere Polynome dritten Grades oder in einer Parameterdarstellung in Ortskoordinaten näherungsweise dargestellt wer den. Daraufhin kann die bei der Prädiktion erfasste Zustandsfunktion mit den Umgebungsmessdaten in dem Kalman-Filter aktualisiert werden.
Als Ausgangsgröße eines Rekursionsschritts erhält man üblicherweise die aktualisierte Zustandsfunk tion. Für ein hochverfügbares und präzises computerimplementiertes Verfahren zum Bestimmen des Fahrbahnverlaufs kann es dabei vorteilhaft sein für die Datenfusion des Rekursionsschritts Umge bungsdaten mehrerer, gegebenenfalls verschiedenartiger Datenquellen oder Sensoren heranzuziehen. Eine solche Datenfusion wird als Multi-Sensor-Datenfusion bezeichnet.
In manchen Ausführungsbeispielen können die Umgebungsmessdaten von zumindest einer Kamera erfasst werden. Beispielsweise kann eine Kamera als einer von mehreren Sensoren oder mehrere Ka meras zur Multi-Sensor-Datenfusion verwendet werden. Von der zumindest einen Kamera aufgenom mene Aufnahmen einer Fahrbahn können dabei herangezogen werden, um mittels einer geeigneten Bildverarbeitungsanwendung den Fahrbahnverlauf zu detektieren. Aus den Aufnahmen kann bei spielsweise ein Verlauf von Fahrbahnmarkierungen oder Fahrbahnbegrenzungen ermittelt werden und durch zumindest eine Polynomfunktion näherungsweise dargestellt werden. Die zumindest eine Poly nomfunktion entspricht den Umgebungsmessdaten. Für eine genauere Schätzung kann der Fahrbahn verlauf auch durch eine Mehrzahl von zusammenhängenden Polynomfunktionen genähert werden. Ein Erfassen des Fahrbahnverlaufs mithilfe einer Mehrzahl von Kameras kann ebenfalls zu einer ge naueren Schätzung des Fahrbahnverlaufs beitragen.
Zusätzlich oder alternativ können Umgebungsmessdaten von einer Karte bereitgestellt werden. Die Karte liegt beispielsweise als digitale Karte mit einer bestimmten Ortsauflösung vor. Hochauflösende Karten (HD Karten) beispielsweise haben eine Ortsauflösung von 10 bis 25 cm, was bedeutet, dass Strukturen oder Objekte, deren Abmessung zumindest in einer Dimension der jeweiligen Ortsauflö sung entspricht mit einer Genauigkeit der Ortsauflösung dargestellt werden können. Beispielsweise können so die Fahrbahn, Fahrbahnbegrenzungen oder Fahrbahnmarkierungen detektiert werden. Der Karte können Wegpunkte entnommen werden, welche den Fahrbahnverlauf kennzeichnen. Mittels Interpolation der Wegpunkte können ein Polynom oder, wie üblich, ein Polynom-Spline mehrerer Polynome ermittelt werden, welche den Fahrbahnverlauf anhand der Wegpunkte der Karte näherungs weise bestimmen. Das Polynom oder der Polynom-Spline wird als Kartendaten bezeichnet. In manchen Ausführungsformen der vorliegenden Erfindung können erste Umgebungsmessdaten von zumindest einer Kamera erfasst werden und zweite Umgebungsmessdaten von einer Karte bereitge stellt werden. Anhand der von der Kamera erfassten beziehungsweise aus der Karte ermittelten Um gebungsmessdaten kann jeweils ein Polynom oder ein Polynom-Spline ermittelt werden, welcher je weils näherungsweise den Fahrbahnverlauf in der Umgebung des Fahrzeugs beschreibt. Die Zustands funktion kann dabei an die ersten Umgebungsmessdaten und zusätzlich an die zweiten Umgebungs messdaten angepasst werden. Durch Anpassen der Zustandsfunktion an Umgebungsmessdaten meh rerer verschiedenartiger Sensoren oder Datenquellen (Kamera und Karte) können sich eine Hochver fügbarkeit und eine erhöhte Präzision des Bestimmens des Fahrbahnverlaufs ergeben. Hochverfüg barkeit meint dabei, dass auch bei Ausfallen einer Datenquelle der Fahrbahnverlauf weiterhin zuver lässig geschätzt werden kann, so dass in diesem Fall das Fahrzeug beispielsweise noch in eine sichere Parkposition oder in eine Werkstatt gesteuert werden kann.
In weiteren Ausführungsbeispielen kann das computerimplementierte Verfahren das Transformieren der Zustandsfunktion und der Umgebungsdaten in ein gemeinsames Koordinatensystem mit Ortsko ordinaten aufweisen. Die Innovation des Kalman-Filters erfordert typischerweise ein Transformieren der Zustandsfunktion in den Messraum, um die Zustandsfunktion mit den Umgebungsmessdaten zu aktualisieren. Typischerweise liegen die Umgebungsmessdaten der Kamera bereits in einem Koordi natensystem mit Ortskoordinaten vor. Damit meint das Transformieren der Zustandsfunktion ein Um wandeln mithilfe eines Messmodells, so dass die Zustandsfunktion in dem Messraum, dem Koordina tensystem mit Ortskoordinaten, dargestellt werden kann. Dabei wird der Klothoiden-Spline beispiels weise durch ein oder mehrere Polynome dritten Grades oder in der Parameterdarstellung durch Fres nel-Integrale beschrieben. Für ein Reduzieren der numerischen Komplexität bei der Datenfusion kön nen die Fresnel-Integrale jeweils durch eine Taylorreihe approximiert werden. Vorteilhaft an der Da tenfusion in dem Koordinatensystem mit Ortskoordinaten ist, dass eine Orientierung und absolute Po sition des Fahrzeugs auf der Fahrbahn bestimmt werden kann. Beispielsweise kann so bestimmt wer den, auf welcher Fahrspur einer mehrspurigen Fahrbahn sich das Fahrzeug befindet und/oder, ob es sich entlang der Fahrbahn oder quer zu der Fahrbahn bewegt.
Weitere Ausführungsbeispiele der vorliegenden Erfindung umfassen des Weiteren ein Sampling-Ver fahren zum Bestimmen von Samplepunkten für das Anpassen der Zustandsfunktion. Bei jeweils meh reren Samplepunkten kann es vorteilhaft sein, wenn eine konstante Kurvenlänge zwischen benachbar ten Samplepunkten liegt. Die Samplepunkte können beispielsweise durch ein geeignetes mathemati sches Verfahren ermittelt werden. Die konstante Kurvenlänge kann als Eingangsgröße für das mathe matische Verfahren dienen und beispielsweise vorgegeben sein oder abhängig von einer Eigenschaft des Fahrbahnverlaufs, wie zum Beispiel einer Fahrbahnkrümmung, ermittelt werden. Für das Anpassen durch den Kalman-Filter kann es vorteilhaft sein, wenn die Zustandsfunktion und/o der die Umgebungsmessdaten in einem Punktraum des Messraums vorliegen. Das bedeutet, dass bei spielsweise zu einem Vorteil für das Anpassen sowohl die Zustandsfunktion als auch die Umgebungs messdaten durch jeweils eine Mehrzahl von Samplepunkten dargestellt werden. Anhand der Sample punkte kann der Kalman-Filter die Zustandsfunktion auf die Umgebungsmessdaten anpassen. Typi scherweise liegen die Samplepunkte in einem Koordinatensystem mit Ortskoordinaten vor.
Optional können ausschließlich für die Zustandsfunktion die Samplepunkte bestimmt werden. Die Samplepunkte werden dann beispielsweise durch ein Polynom der gleichen Ordnung des Polynoms der Umgebungsmessdaten interpoliert. Der Kalman-Filter kann dann so ausgelegt sein, dass in jedem Rekursionsschritt Polynomparameter der transformierten Zustandsfunktion an weitere Polynompara meter der Umgebungsmessdaten angenähert werden. Über ein Messmodel können aus den Polynom parametern Parameter der Zustandsfunktion ermittelt werden, so dass die Zustandsfunktion mit den Parametern näherungsweise den Umgebungsmessdaten entspricht.
Bei einer Mehrzahl von Samplepunkten der Zustandsfunktion und der Umgebungsmessdaten können die Samplepunkte abhängig von einem Sampling-Verfahren so gewählt werden, so dass es für das Anpassen der Zustandsfunktion an die Umgebungsmessdaten vorteilhaft ist. Dabei werden zu verglei chende Samplepunkte so gewählt, dass diese bei einer gleichen Bogenlänge der Zustandsfunktion be ziehungsweise der Umgebungsmessdaten liegen. Des Weiteren können bei jeweils einer Mehrzahl von Samplepunkten diese so gewählt werden, dass zwischen benachbarten Samplepunkten einer Kurve (Zustandsfunktion, Umgebungsmessdaten) jeweils eine konstante Bogenlänge der Kurve liegt. Damit kann eine Zustandsfunktion, welche starke Krümmungen aufweist, an die Umgebungsmessda ten der Kamera präzise angepasst werden. So kann in manchen Ausführungsbeispielen das zuverläs sige Schätzen eines gegebenenfalls stark gekrümmten Fahrbahnverlaufs gewährleistet werden.
In weiteren Ausführungsbeispielen kann das computerimplementierte Verfahren ein Transformieren der Zustandsfunktion und der Umgebungsdaten in ein gemeinsames Koordinatensystem mit Krüm mungswerten aufweisen. Der Messraum umfasst hierbei ein zweidimensionales Koordinatensystem, welche durch Krümmungswerte und Bogenlängen bestimmt sind. Üblicherweise liegt der Klothoiden- Spline in diesem Messraum vor. Die Kartendaten liegen typischerweise als Polynom-Spline in einem Koordinatensystem mit Ortskoordinaten vor, welcher sich aus einer Interpolation der Wegpunkte er geben kann. Der Polynom-Spline kann so transformiert werden, so dass die Krümmungswerte des Polynom-Splines abhängig von der Bogenlänge des Polynom-Splines ermittelt werden können. Damit können die Zustandsfunktion und der Polynom-Spline in dem Messraum dargestellt werden, welcher das Koordinatensystem mit den Krümmungswerten und den Bogenlängen umfasst. Die Krümmungs werte der Zustandsfunktion sind so für den Kalman-Filter mit den Krümmungswerten des Polynom- Splines vergleichbar.
In manchen Ausführungen der vorliegenden Erfindung kann das Anpassen der Zustandsfunktion an die Umgebungsmessdaten ein Anpassen von zumindest einem Krümmungswert der Zustandsfunktion an zumindest einen weiteren Krümmungswert der Umgebungsmessdaten vorsehen. Bei der Innova tion des Kalman-Filters können beispielsweise die Krümmungswerte der Zustandsfunktion und des Polynom-Splines als Eingangsgrößen herangezogen werden. Die Datenfusion der Kartendaten mit dem Kalman-Filter meint dabei das Anpassen der Krümmungswerte eines Punktes oder mehrerer Punkte der Zustandsfunktion an die Krümmungswerte einer Transformierten der Kartendaten.
Das hierin beschriebene computerimplementierte Verfahren kann dabei insbesondere dazu ausgelegt sein den Fahrbahnverlauf gewöhnlicher Straßen oder Fahrbahnen zu bestimmen. Für gewöhnlich sind die Fahrbahnen vor allem auf Autobahnen, autobahnähnlichen Straßen und in einem urbanen Bereich mit Fahrbahnmarkierungen versehen, um den Fahrbahnverlauf beispielsweise für einen Fahrzeugfüh rer kenntlich zu machen. Die Fahrbahnmarkierungen können beispielsweise zu der Schätzung des Fahrbahnverlaufs herangezogen werden.
Gemäß weiterer Ausführungsbeispiele kann die Zustandsfunktion einen Verlauf der Fahrbahnmarkie rung der Fahrbahn kennzeichnen. Dazu können von der zumindest einen Kamera Aufnahmen der Fahrbahnmarkierungen gemacht werden. Eine Erfassung des Fahrbahnverlaufs mittels der zumindest einen Kamera erfolgt üblicherweise über eine Bildverarbeitungsanwendung, welche einen Verlauf von Fahrbahnmarkierungen oder Fahrbahnbegrenzungen aus Aufnahmen der zumindest einen Kamera er mitteln kann. Damit können Umgebungsmessdaten der zumindest einen Kamera den Verlauf der Fahr bahnmarkierungen oder der Fahrbahnbegrenzungen kennzeichnen. Diese Schätzung kann bei der Steuerung des Fahrzeugs vorteilhaft sein, um beispielsweise eine Fahrbahnbreite oder einen Abstand des Fahrzeugs zur Fahrbahnbegrenzung zu ermitteln.
Bei weiteren Ausführungsbeispielen kann ein Ermitteln eines Verlaufs einer Fahrspurmitte durch Transformieren der Zustandsfunktion vorteilhaft sein. In manchen Fällen ist für die Steuerung des Fahrzeugs der Verlauf der Fahrspurmitte erforderlich. Umgebungsmessdaten der zumindest einen Ka mera beispielsweise, beschreiben den Verlauf von Fahrbahnbegrenzungen oder Fahrbahnmarkierun gen, welche sich seitlich der Fahrbahn befinden. Bei der Datenfusion dieser Umgebungsmessdaten kann daher der Verlauf der Fahrbahnmarkierungen oder Fahrbahnbegrenzungen geschätzt werden. Bei bekannter Fahrbahnbreite kann anhand dieser Schätzung die Zustandsfunktion ermittelt werden, die den Verlauf der Fahrspurmitte beschreibt. Durch Translation und Ändern von Krümmungswerten kann von dem Verlauf der Fahrbahnmarkierungen und der Fahrbahnbegrenzungen auf die Zustands funktion geschlossen werden, welche den Verlauf der Fahrspurmitte beschreibt.
Optional kann das computerimplementierte Verfahren in weiteren Ausführungsbeispielen ferner ein Bereitstellen von Validierungsmessdaten und ein Validieren der Schätzung des Fahrbahn Verlaufs mit Hilfe der Validierungsdaten umfassen. Weitere Sensoren, wie zum Beispiel Lidar-, Radar- und/oder Ultraschallsensoren können die Validierungsmessdaten bereitstellen, welche beispielsweise anhand von Ortskoordinaten Position und/oder einen Verlauf von Randbebauungen der Fahrbahn kennzeich nen. Randbebauungen können beispielsweise Leitplanken, Lärmschutzwände oder Leitpfosten sein. Die Validierungsmessdaten kennzeichnen damit für das Fahrzeug befahrbare Bereiche. Beim Validie ren der Schätzung des Fahrbahnverlaufs kann ermittelt werden, ob die Zustandsfunktion innerhalb des befahrbaren Bereichs liegt, und damit eine Aussage darüber getroffen werden, ob der geschätzte Fahr bahnverlauf realistisch sein kann. Die Validierung erhöht die Robustheit des computerimplementier ten Verfahrens gegenüber Fehlern bei der Schätzung des Fahrbahnverlaufs. Zum Beispiel kann eine fehlerhafte Schätzung, also eine Zustandsfunktion, die nicht innerhalb des befahrbaren Bereichs liegt, bei der Steuerung des Fahrzeugs unberücksichtigt bleiben.
Ein zweiter Aspekt der vorliegenden Erfindung betrifft eine Vorrichtung zur Schätzung des Fahrbahn verlaufs in der Umgebung des Fahrzeugs. Die Vorrichtung umfasst eine oder mehrere Schnittstellen, um Umgebungsmessdaten zu erfassen. Ferner umfasst die Vorrichtung eine Verarbeitungseinheit, welche ausgebildet ist, um das computerimplementierte Verfahren zum Schätzen des Fahrbahnver laufs in der Umgebung des Fahrzeugs auszuführen.
Die Umgebungsmessdaten können dabei beispielsweise Kartendaten oder Umgebungsmessdaten der Kamera sein. Eine Schnittstelle der Vorrichtung ist dementsprechend beispielsweise eine Verbindung zu einem Speichermedium, auf welchem die Kartendaten gespeichert sind und von dort abgerufen werden oder übermittelt werden können. Weitere Schnittstellen könnten Verbindungen zu einer oder mehreren Kameras sein, welche die Umgebungsmessdaten bereitstellen.
Die Verarbeitungseinheit kann beispielsweise ein Computer, ein Mikrocontroller, ein Prozessor oder eine programmierbare Hardwarekomponente sein, welche konfiguriert ist, das computerimplemen tierte Verfahren auszuführen. Die von den Schnittstellen erfassten Umgebungsmessdaten werden da bei von den Schnittstellen an die Verarbeitungseinheit übermittelt, so dass die Umgebungsmessdaten als Eingangsgröße zur Schätzung des Fahrbahnverlaufs dienen. Ein dritter Aspekt betrifft ein Fahrzeug mit der Vorrichtung zur Schätzung des Fahrbahnverlaufs in der Umgebung des Fahrzeugs. Das Fahrzeug kann jedwedes bodengebundene Fahrzeug sein, insbe sondere Personenkraftwagen, Fastkraftwagen, Kraftrad oder Fandmaschine
Ausführungsbeispiele werden nachfolgend bezugnehmend auf die beiliegenden Figuren näher erläu tert. Es zeigen:
Fig. 1 eine schematische Darstellung einer mehrspurigen Straße mit einem darauf befindlichen Fahrzeug.
Fig. 2 ein Beispiel für einen Klothoiden-Spline mit n Klothoiden-Segmenten.
Fig. 3 eine schematisches Ablaufdiagramm des computerimplementierten Verfahrens zur Schätzung des Fahrbahnverlaufs in der Umgebung des Fahrzeugs.
Fig. 4 ein Ablaufdiagramm einer Multi-Sensor-Datenfusion.
Fig. 5 eine schematische Darstellung eines Sampling-Verfahrens des Klothoiden-Splines und der Umgebungsmessdaten.
Fig. 6 ein grafischer Vergleich zweier Näherungs verfahren zur Näherung des Klothoiden-Splines. Fig. 7 ein grafischer Vergleich zweier Sampling-Verfahren.
Fig. 8 eine schematische Abbildung einer durch Fahrbahnmarkierungen markierte Fahrbahn.
Fig. 9 eine Darstellung der Kartendaten und dem auf der Fahrbahn befindlichen Fahrzeug.
Fig. 10 eine schematische Abbildung des Fahrzeugs mit einer Vorrichtung zum Schätzen des Fahr bahnverlaufs.
Verschiedene Ausführungsbeispiele werden nun ausführlicher unter Bezugnahme auf die beiliegen den Zeichnungen beschrieben, in denen einige Ausführungsbeispiele dargesteht sind. In den Figuren können die Dickenabmessungen von Finien, Schichten und/oder Regionen um der Deutlichkeit Willen übertrieben dargesteht sein. Im Bereich von Konzepten zum autonomen Fahren kann es von großer Bedeutung für die Steuerung von beispielsweise autonom fahrenden Fahrzeugen sein, die Umgebung und den Fahrbahnverlauf zu schätzen. So kann beispielsweise das Fahrzeug derart angesteuert werden, so dass es autonom, ohne Zutun eines Fahrers Lenkung, Beschleunigung, Geschwindigkeit und weitere Fahrzeug- oder Fahrpa rameter so regelt, so dass das Fahrzeug beispielsweise sicher dem geschätzten Fahrbahnverlauf folgt und/oder Hindernissen ausweichen kann.
In Fig. 1 ist beispielhaft ein schematischer Fahrbahnverlauf der Fahrbahn 14 gezeigt, auf der sich das Fahrzeug 11 befindet und/oder bewegt. Ausführungsbeispiele der hierin beschriebenen Erfindung können dazu ausgelegt sein, um den Fahrbahnverlauf in zwei translatorischen Richtungen, sprich in zwei Dimensionen, zu schätzen. Fig. 1 zeigt die Fahrbahn aus einer Draufsicht in den zwei Dimensi onen. Das Fahrzeug 11 befindet sich dabei auf einer mittleren von drei Fahrspuren der Fahrbahn 14, welche zum Beispiel in eine oder in beide Richtungen befahren werden dürfen. In vorteilhaften Aus führungsbeispielen der hierin beschriebenen Erfindung kann beispielsweise ein Verlauf der Fahrbahn 14 oder der Fahrspur geschätzt werden. In einem weiteren Sinne kann in der vorliegenden Offenba rung unter dem Fahrbahnverlauf sowohl der Verlauf der Fahrbahn als auch der Verlauf der Fahrspur gemeint sein.
Eine Fahrspurmitte der Fahrspur und/oder ein Verlauf der Fahrspurmitte, können durch eine Mittelli nie 12 gekennzeichnet sein. Üblicherweise haben Straßen allerdings keine Mittellinie 12, so dass die Fahrspurmitte nicht "sichtbar" ist. Die einzelnen Fahrspuren sind typischerweise jeweils durch Fahr bahnmarkierungen, wie einer Begrenzungslinie 13, begrenzt.
Gewöhnliche Verfahren aus dem Stand der Technik bestimmen beispielsweise den Fahrbahn verlauf anhand eines Fahrhahnmodells basierend auf Polynomen oder Polynom-Splines, welche sich bei spielsweise unmittelbar aus Aufnahmen der Kamera oder aus der digitalen Karte ergeben können. Jedoch wird die Fahrbahn 14 bei einer Bauplanung typischerweise aufgrund von Fahrkomfort und aus Sicherheitsgründen nach einem Spline (Klothoiden-Spline) zusammenhängender Klothoiden-Seg- mente konstruiert. Vorteil einer solchen Konstruktion der Fahrbahn 14 ist eine lineare Änderung einer Fahrbahnkrümmung, so dass Kurven mit hohem Fahrkomfort durchfahren werden können und für den Fahrer nicht autonom fahrender Fahrzeuge gut eingeschätzt werden können. Aufgrund einer auf dem Klothoiden-Spline basierende Bauweise kann es sich als vorteilhaft erweisen, bei der Schätzung des Fahrbahnverlaufs ein auf einem Klothoiden-Spline basierendes Fahrhahnmodell anzunehmen. Zum Beispiel können somit Genauigkeit und Zuverlässigkeit der Schätzung erhöht werden. Das Fahrbahnmodell der Fahrbahn 14, welches auf einem Klothoiden-Spline 20 beruht, ist beispielhaft in Fig. 2 gezeigt. Der Klothoiden-Spline 20 umfasst die Klothoiden-Segmente 21 und die Übergangs stellen 22 zwischen zwei Klothoiden-Segmenten 21. Die Klothoiden-Segmente 21 entsprechen Teilen von Klothoiden-Funktionen.
Die Klothoiden-Funktionen, beziehungsweise Krümmungswerte c(s) der Klothoiden-Funktionen können abhängig von der Bogenlänge s abgebildet werden gemäß: c(s) = c0 + cl m s (1)
Dabei steht c0 für eine Anfangskrümmung und cl n für eine konstante Krümmungsänderung des ra ten Klothoiden-Segments 41 mit der Bogenlänge s. Anhand von (1) kann man erkennen, dass sich der Krümmungswert c(s) der Klothoiden-Funktion linear mit cl rn ändert.
Bei dem in Fig. 2 dargestellten Klothoiden-Spline 20 kann zusätzlich eine Orientierung 0O und ein y- Achsenabschnitt y0 eines Klothoiden-Segments 21 angegeben werden. Allgemein kann also jedes der Klothoiden-Segmente 21 des Klothoiden-Splines 20 durch die Parameter c0, cl q0 und y0 vollständig charakterisiert werden. Für den Klothoiden-Spline 20 mit n (n e N) Klothoiden-Segmenten 21 würde das bedeuten, dass der Klothoiden-Spline 20 durch 4 · n Parameter beschrieben werden kann. Der in Fig. 2 gezeigte Klothoiden-Spline 20 erfüllt Anschlussbedingungen zwischen den Klothoiden- Segmenten 21, welche eine Anzahl der zur Beschreibung des Klothoiden-Splines 20 notwendigen Parameter reduzieren können, so dass sich ein Berechnungsaufwand zum Bestimmen des Klothoiden- Splines 20 reduziert. Der Klothoiden-Spline 20 ist beispielsweise an den Übergangsstellen 22 stetig, differenzierbar und die Krümmungswerte zweier aufeinanderfolgender Klothoiden-Segmente 21 sind an den Übergangsstellen 22 gleichwertig. Unter den genannten Anschlussbedingungen lässt sich die Anzahl der zur Beschreibung des Klothoiden-Splines 20 notwendigen Parameter auf n + 3 reduzieren. Daher kann der Klothoiden-Spline 20 durch einen reduzierten Parametersatz (c0, 0O, y0 und ci,1· · -ci,n) vollständig charakterisiert werden.
Der Klothoiden-Spline 20 kann den Fahrbahn verlauf der Fahrbahn 14 beispielsweise sowohl vor als auch hinter dem Fahrzeug 11 in guter Näherung abbilden. Für ein Bestimmen des Klothoiden-Splines 20 werden Umgebungsmessdaten mehrerer, gegebenenfalls verschiedenartiger Datenquellen oder Sensoren herangezogen. Insbesondere bei einer Verwendung verschiedenartiger Sensoren kann es ein Bedarf sein, den Klothoiden-Spline 20 derart zu bestimmen, so dass die Umgebungsmessdaten der verschiedenartigen Sensoren in das Bestimmen des Klothoiden-Splines 20 mit eingehen. Diesem Be darf kann beispielsweise durch Ausführungsbeispiele des in Fig. 3 dargestellten computerimplemen tierten Verfahrens 30 zur Schätzung des Fahrbahnverlaufs nachgekommen werden. Das computerimplementierte Verfahren 30 zur Schätzung des Fahrbahnverlaufs in der Umgebung des Fahrzeugs basiert auf einem Bestimmen der den Fahrbahnverlauf beschreibenden Zustandsfunktion. Die Zustandsfunktion umfasst dabei den Klothoiden-Spline 20.
Das computerimplementierte Verfahren 30 umfasst das Bereitstellen 31 von Umgebungsmessdaten, welche den Fahrbahnverlauf an einer aktuellen Position des Fahrzeugs 11 beschreiben. Die Umge bungsmessdaten umfassen dabei die zumindest eine Polynomfunktion. Das computerimplementierte Verfahren 30 umfasst des Weiteren das Transformieren 32 der Zustandsfunktion und der Umgebungs messdaten in das gemeinsame Koordinatensystem und das Anpassen 33 der Zustandsfunktion basie rend auf den Umgebungsmessdaten in dem gemeinsamen Koordinatensystem.
Die Umgebungsmessdaten fahrzeugeigener Sensorik, wie der Kamera oder mehrerer Kameras, kön nen wie in einem vorliegenden Ausführungsbeispiel einen Verlauf der Begrenzungslinien 13 oder den Verlauf der Fahrspurmitte 12 der Fahrbahn anhand einer Polynomfunktion oder eines Polynom-Spli- nes beschreiben.
Zur Schätzung des Fahrbahnverlaufs kann außerdem die HD Karte eines Kartenherstellers herange zogen werden. Auf Grundlage von Wegpunkten der Fahrbahn, die der HD Karte entnommen werden können, können Umgebungsmessdaten ermittelt werden. Die Wegpunkte können beispielsweise die Fahrspurmitte kennzeichnen. Die sich daraus ergebenden Kartendaten beschreiben den Fahrbahnver lauf üblicherweise anhand eines weiteren Polynom-Splines.
Echtzeitfrltern, wie einem Kalman-Filter, kann es beispielsweise möglich sein, die Zustandsfunktion, beziehungsweise den Klothoiden-Spline 20, mit den Umgebungsmessdaten zu aktualisieren, sofern sich die Zustandsfunktion und die Umgebungsmessdaten in dem gemeinsamen Koordinatensystem befinden. Beispielsweise liegt die Zustandsfunktion wie in der Darstellung (1) in einem Zustandsraum vor, welcher Krümmungswerte umfasst. Die Umgebungsmessdaten liegen beispielsweise in einem Messraum mit Ortskoordinaten vor. Die Zustandsfunktion kann durch Transformieren 32 beispiels weise in dem gemeinsamen Koordinatensystem abgebildet werden, welches Krümmungswerte oder Ortskoordinaten umfassen kann.
In dem gemeinsamen Koordinatensystem kann beispielsweise der Kalman-Filter die Umgebungs messdaten dazu heranziehen, um ein Anpassen 33 des Klothoiden-Splines 20 an die Umgebungsmess daten vorzunehmen. Das computerimplementierte Verfahren 30 kann beispielsweise einen einzelnen Rekursionsschritt des rekursiven Verfahrens beschreiben. Das rekursive Verfahren umfasst beispielsweise mehrere aufei nanderfolgende Rekursionsschritte, die jeweils der Schätzung des Fahrbahnverlaufs dienen. Das re kursive Verfahren kann beispielsweise durch den Kalman -Filter oder durch weitere Echtzeitfrlter re alisiert werden. In einigen Ausführungsbeispielen hat sich der Kalman-Filter als vorteilhaft erwiesen.
Eingangsgrößen der einzelnen Rekursionsschritte sind die Zustandsfunktion aus einem der vorherge henden Rekursionsschritte und die Umgebungsmessdaten, welche durch das Bereitstellen 31 von den Umgebungsmessdaten mittels der zumindest einen Kamera und der HD Karte erfasst werden können. Ein Erfassen und das Transformieren 32 der Zustandsfunktion eines vorhergehenden Rekursions schritts kennzeichnen eine erste Phase des Kalman-Filters. Diese Phase wird als Prädiktion bezeichnet.
Bei der Prädiktion des Kalman-Filters kann eine Schätzung für einen aktuellen Zustand des Klothoi- den-Splines 20 ermittelt werden. Hierfür kann der Klothoiden-Spline einer Zustandsdynamik unter worfen werden. Die Zustandsdynamik ist beispielsweise durch eine Bewegung des Fahrzeugs 11 be stimmt. Der Klothoiden-Spline 20 kann beispielsweise, falls sich das Fahrzeug 11 entlang der Fahr bahn 14 bewegt, vor dem Fahrzeug 11 erweitert werden und hinter dem Fahrzeug 11 verkürzt werden. Da sich der Klothoiden-Spline 20 üblicherweise aus einzelnen Segmenten 21 zusammensetzt, kann der Klothoiden-Spline 20 beispielsweise nicht kontinuierlich bei jedem Rekursionsschritt erweitert oder verkürzt werden, sondern nur für den Fall, dass das Fahrzeug 11 eine der Übergangsstellen 22 überfahrt.
Die Zustandsfunktion des vorhergehenden Rekursionsschritts wird durch Anpassen 33 an die Umge bungsmessdaten in jedem Rekursionsschritt aktualisiert. Das Anpassen 33 entspricht einer zweiten, als Innovation bezeichneten Phase des Kalman-Filters. Für das Anpassen 33 wird beispielsweise die Zustandsfunktion mit den Umgebungsmessdaten verglichen. Beispielsweise werden hierfür einzelne Werte der Zustandsfunktion mit weiteren Werten der Umgebungsmessdaten verglichen. Diese Werte können je nach Messraum beispielsweise Ortskoordinaten oder Krümmungswerte der Zustandsfunk tion und der Umgebungsmessdaten sein. Üblicherweise haben die Werte der Zustandsfunktion eine Unschärfe, beziehungsweise die Werte der Umgebungsmessdaten eine Messunsicherheit, die jeweils durch eine Wahrscheinlichkeitsverteilung, wie zum Beispiel einer Gauß-Verteilung dargestellt werden kann. In der zweiten Phase des Kalman-Filters kann mit der Zustandsfunktion und den Umgebungs messdaten als Eingangsgrößen das Anpassen 33 der Zustandsfunktion erfolgen. Eine Gewichtung der Eingangsgrößen beim Anpassen 33 der Zustandsfunktion kann dabei abhängig von der Messunsicher heiten, beziehungsweise der Unschärfe sein. Je geringer die Messunsicherheit der Umgebungsmess daten ist, desto stärker kann beispielsweise die bei der Prädiktion ermittelte Zustandsfunktion an die Umgebungsmessdaten angenähert werden. Je größer die Messunsicherheit der Umgebungsmessdaten ist, desto geringer kann die Gewichtung der Umgebungsmessdaten beim Anpassen 33 sein. Die Un scharfe der als Eingangsgröße vorliegenden Zustandsfunktion basiert beispielsweise auf Mittelwerten und Angaben zur Streuung (zum Beispiel Kovarianzen) der Parameter des Klothoiden-Splines 20. Die Mittelwerte und Kovarianzen können aus den Parametern vorhergehender Rekursionsschritte ermittelt werden. Die Unschärfe der Zustandsfunktion kann beispielsweise durch die Kovarianzen bestimmt sein. Bei hoher Kovarianz kann die bei der Prädiktion erfasste Zustandsfunktion gering gewichtet sein. Bei einer geringen Kovarianz wird die Zustandsfunktion dagegen stark gewichtet. Demnach ergibt sich je nach Unschärfe und Messunsicherheit aus den Umgebungsmessdaten und der als Eingangs größe dienenden Zustandsfunktion eine aktualisierte Zustandsfunktion oder Klothoiden-Spline 20. In einem darauffolgenden Rekursionsschritt kann die zuletzt aktualisierte Zustandsfunktion wiederum für die Prädiktion herangezogen werden.
Die Umgebungsdaten einzelner Sensoren (Sensorik des Kartenherstellers und fahrzeugeigene Senso rik) können den Fahrbahnverlauf nicht exakt bestimmen. Die Umgebungsmessdaten der Sensorik kön nen zum Beispiel teilweise verrauscht oder fehlerhaft sein. Die Datenfusion der Umgebungsdaten mehrerer verschiedenartiger Sensoren (Datenquellen) kann hingegen eine robuste, hochverfügbare und wenig fehlerbehaftete Schätzung des Fahrbahnverlaufs gewährleisten. Dieses Konzept der Multi- Sensor-Datenfusion wird in Fig. 3 veranschaulicht.
Bei der Multi-Sensor-Datenfusion können Daten, insbesondere Umgebungsmessdaten, einer Mehr zahl von Sensoren zu dem Fahrhahnmodell fusioniert werden. In dem in Fig. 4 dargestellten Ausfüh rungsbeispiel können die Umgebungsmessdaten mittels der Kamera 41 und der HD Karte 43 bereit gestellt werden.
Die Kamera 41 kann beispielsweise am Fahrzeug befestigt und in Fahrtrichtung gerichtet sein. Wie schon erwähnt, können aus den Aufnahmen der Kamera 41 mittels einer Bildverarbeitungsanwendung die Fahrbahnmarkierungen, die Fahrbahnbegrenzungen und deren Verlauf in Form einer oder mehre rer aufeinanderfolgender Polynomfunktionen näherungsweise dargestellt werden. Typischerweise ist eine Reichweite oder ein Messradius der Kamera 41 begrenzt durch Hindernisse oder eine optische Reichweite der Kamera 41.
Die HD Karte 43 basiert typischerweise auf Ausgangsgrößen einer Sensorik eines Kartenherstellers 42. Durch Interpolation der Wegpunkte, die der HD Karte entnommen werden können, können eine oder mehrere zusammenhängende Polynomfunktionen bestimmt werden, um den Fahrbahnverlauf nä herungsweise zu beschreiben. Die HD Karte 43 oder entsprechende Kartendaten können beispiels weise auf einem Speichermedium vorliegen, welches an dem Fahrzeug 11 angebracht ist. Alternativ oder zusätzlich könnten die HD Karte 43 oder die Kartendaten von einem Sender an ein Empfangs modul des Fahrzeugs 11 oder einer Vorrichtung zum Schätzen des Fahrbahn Verlaufs übermittelt wer den.
Durch Anpassen 33 der Zustandsfunktion in der zweiten Phase des Kalman-Filters gehen beispiels weise gemäß der Multi-Sensor-Datenfusion 40 die Umgebungsmessdaten der HD Karte 43 und der Kamera 41 in das Schätzen des Fahrbahnverlaufs oder des Fahrbahnmodells 45 ein, welches durch die Zustandsfunktion oder den Klothoiden-Spline 20 dargesteht werden kann. Auch wenn das hier be schriebene Ausführungsbeispiel eine Verwendung einer einzelnen Kamera vorsieht, können weitere Ausführungsbeispiele eine Mehrzahl von Kameras 41 umfassen, die gegebenenfalls in verschiedenen Richtungen ausgerichtet sein können.
Mit dem Kalman-Filter kann der Klothoiden-Spline 20 beispielsweise unter anderem auf Umgebungs daten der Kamera 41 angepasst werden. Im Folgenden soll mithilfe der in Fig. 5 dargestellten Kurven 20 und 50 auf die Datenfusion 44 der Umgebungsmessdaten der Kamera 41 näher eingegangen wer den.
Für das Anpassen 33 der Zustandsfunktion 20 in der zweiten Phase des Kalman-Filters werden die Zustandsfunktion 20, sprich der Klothoiden-Spline 20, und die Umgebungsmessdaten 50 in einen Punktraum transformiert. Das bedeutet, dass sowohl die Umgebungsmessdaten 50, also auch der Klothoiden-Spline 20 jeweils durch eine Mehrzahl von Punkten des Punktraums beschrieben werden können. Die Punkte können durch ein Sampling-Verfahren aus dem Klothoiden-Spline 20 und den Umgebungsmessdaten 50 ermittelt werden. Daher werden die Punkte auch Samplepunkte 51 und 52 genannt.
Anhand der für den Klothoiden-Spline 20 üblichen Darstellung (1) ist es nicht möglich, Samplepunkte 51 oder Ortskoordinaten der Samplepunkte 51 zu ermitteln. Daher ist das Transformieren 32 des Klothoiden-Splines 20 notwendig. Für das Transformieren 32 des Klothoiden-Splines 20 kann ein Messmodell ermittelt werden, mithilfe dessen der Klothoiden-Spline 20 in den Messraum der Umge bungsmessdaten 50 transformiert werden kann, so dass der Klothoiden-Spline 20 durch Ortskoordi naten dargesteht werden kann.
Dabei gibt es mehrere Messmodelle für ein Transformieren 32 des Klothoiden-Splines 20, um diesen durch Ortskoordinaten statt wie in (1) durch Bogenlängen und Krümmungswerte darzustellen. Im Fol genden soll beispielhaft anhand der in Fig. 6 dargestellten Abbildungen 60-1 und 60-2 auf zwei Mess- modelle eingegangen werden, die zum Transformieren 32 des Klothoiden-Splines 20 herangezogen werden können. Ein erstes Messmodell für das Transformieren 32 des Klothoiden-Splines 20 sieht eine näherungs weise Darstellung des Klothoiden-Splines 20 vor, indem die Klothoiden-Segmente 21 durch Poly nome dritten Grades 62 genähert werden. Diese Darstellung wird in der Abbildung 60-1 gezeigt. Das Polynom 62 dritten Grades kann dabei wie folgt dargestellt werden: y(x) = ax3 + bx2 + cx + d (2) a, b, c, und d entsprechen Parametern, welche eine Form des Polynoms 62 bestimmen. Für die nähe rungsweise Darstellung des Klothoiden-Segments 21 können die Parameter a, b, c, und d durch die Parameter c0, cl m, q0 und y0 des Klothoiden-Segments 21 in folgender Weise ersetzt werden: a— cm,h b = c0, c = atan(0o) , d = y0 (3)
Durch Einsetzen der Parameter gemäß (3) erhält man beispielsweise das Polynom 62, welches nähe rungsweise einen Verlauf der Klothoide oder beispielsweise des Klothoiden-Segments 21 abbildet. Somit entsprechen die Samplepunkten 61 näherungsweise den Samplepunkten 51. Durch die nähe rungsweise Darstellung des Klothoiden-Segments 21 mit (2) und (3) können daher jedem Sample- punkt 61 Ortskoordinaten zugeordnet werden. Über das hier beschriebene erste Messmodell kann der Klothoiden-Spline 20 im Kalman-Filter in dem Punktraum dargestellt werden. Mit den Samplepunk ten 61 und den Samplepunkten 52 des Punktraums als Eingangsgrößen kann der Kalman-Filter ein Annähern des Polynoms 62 an die Umgebungsmessdaten 50 vornehmen. Hierbei können Werte für die Parameter c0, 0O, y0 und c·, ·, .. cl n des Klothoiden-Splines 20 ermittelt werden. Über Einsetzen der Werte kann die Schätzung des Fahrbahnverlaufs bestimmt werden, die sich aus dem Anpassen 33 des Klothoiden-Splines 20 an die Umgebungsmessdaten 50 der Kamera 41 ergibt.
Die Klothoiden-Segmente 21 können bei geringen Krümmungen gut durch das beschriebene Mess modell gemäß (2) und (3) genähert werden. Bei starken Krümmungen kann eine Genauigkeit der nä herungsweisen Darstellung des Klothoiden-Splines 20 gemäß (2) und (3) ungenügend sein, um eine hohe Genauigkeit für das Anpassen 33 des Klothoiden-Splines 20 an die Umgebungsmessdaten 50 zu gewährleisten.
Für eine bessere Näherung bei starken Krümmungen kann ein zweites Messmodell statt dem ersten Messmodell auf den Klothoiden-Spline 20 angewandt werden. Beispielsweise kann das Klothoiden- Segment 21 durch die Parameterdarstellung der Klothoiden-Funktion dargestellt werden. Dies ist in Abbildung 60-2 veranschaulicht. Bei der Parameterdarstellung beispielsweise des Klothoiden-Seg ments 21 wird jeder Samplepunkt 63 in einer Vektordarstellung dargestellt. Ein Vektor eines solchen Samplepunkts 63 umfasst beispielsweise zwei Komponenten, welche durch Fresnel-Integrale ausge drückt werden können. Um einen numerischen Berechnungsaufwand der Fresnel-Integrale zu redu zieren kann statt den Fresnel-Integralen beispielsweise eine Taylor-Entwicklung fünfter Ordnung der Fresnel-Integrale verwendet werden. Aus dieser Näherung des Klothoiden-Segments 21 kann sich beispielsweise eine Funktion 64 ergeben, wobei die Funktion 64 aufgrund der Taylor-Entwicklung fünfter Ordnung einem Taylor-Polynom 64 entspricht. Wie man in Fig. 6 erkennen kann, beschreibt dieses Polynom 64 relativ genau den Verlauf des Klothoiden-Segments 21. Die mithilfe des zweiten Messmodells bestimmten Samplepunkte 63 beschreiben auch bei starken Krümmungen das Klothoi- den-Segment 21 und/oder den Klothoiden-Spline 20 in guter Näherung.
Die durch das zweite Messmodell erzeugten Samplepunkte 63 können den Klothoiden-Spline 20 ins besondere bei großen Krümmungen näherungsweise besser darstellen als die durch das erste Mess- modell erzeugten Samplepunkte 61. Daher kann der Fahrbahn verlauf mithilfe des zweiten Messmo- dells üblicherweise mit höherer Genauigkeit bestimmt werden als mit dem ersten Messmodell. Allge mein können beide Messmodelle für das Schätzen des Fahrbahnverlaufs angewendet werden.
Für ein Bestimmen der Samplepunkte 61 und 63 der jeweiligen Messmodelle und der Samplepunkte 52 der Umgebungsmessdaten 50 können unterschiedliche Sampling-Verfahren verwendet werden. In Fig. 7 sind zwei Möglichkeiten für das Sampling-Verfahren veranschaulicht. Bei einem ersten, ge wöhnlichen Sampling- Verfahren (links in Fig. 7) können die Samplepunkte 61, 63 und 52 so gewählt werden, dass ein Abstand der Samplepunkte in x-Richtung konstant ist. Es hat sich gezeigt, dass dieses Sampling-Verfahren für einen stark gekrümmten Fahrbahn verlauf beim Anpassen 33 des Klothoiden- Splines 20, beziehungsweise der Polynome 62 und 64, mit dem Kalman-Filter nicht optimal ist. Bei diesem Sampling- Verfahren können aufgrund systematischer Fehler basierend auf geometrischen Ge gebenheiten bei starken Krümmungen des Fahrbahnverlaufs die Abstände zwischen den Samplepunk- ten 61 oder 63 und den Samplepunkten 52 relativ groß sein, obwohl das Polynom 62 oder 64 nähe rungsweise den Umgebungsmessdaten 50 entspricht. Daraufhin würde der Kalman-Filter den Klothoi- den-Spline 20 bei der Innovation "zu stark" verschieben. Beispielsweise würde der Klothoiden-Spline 20 bei einem in dem linken Diagramm der Fig. 7 dargestellten Beispiel zu sehr nach unten verschoben werden, da der Abstand d der Samplepunkte 61 oder 63 zu den Samplepunkten 52 relativ groß ist.
Ein solcher systematischer Fehler kann reduziert werden, indem man ein zweites Sampling-Verfahren (rechts in Fig. 7) im Sinne von weiteren Ausführungsbeispielen wählt. Bei dem im rechten Diagramm der Fig. 7 veranschaulichten Sampling-Verfahren werden die Samplepunkte 61, 63 und 52 so gewählt, dass eine konstante Bogenlänge As zwischen benachbarten Samplepunkten 61, 63 und 52 der jeweili gen Polynome 62, 64 oder der Umgebungsmessdaten 50 hegt. Auf diese Weise hegen auch bei starken Krümmungen des Fahrbahnverlaufs die Samplepunkte 61, 63 und 52 so, dass der Abstand d zwischen den Samplepunkten 61 oder 63 und den Samplepunkten 52 dadurch beispielsweise geringer ist als im linken Diagramm der Fig. 7. Entsprechend wird der Klothoiden-Spline 20 durch den Kalman-Filter beispielsweise weniger stark nach unten verschoben. Das Anpassen 33 des Klothoiden-Splines 20 mit dem Kalman-Filter unter Verwendung des zweiten Sampling-Verfahrens kann gegenüber des Anpas- sens 33 unter Verwendung des ersten Sampling-Verfahrens eine höhere Genauigkeit erzielen. Das zweite Sampling-Verfahren wirkt sich zudem stabilisierend auf eine Funktion des Kalman-Filters und damit auch stabilisierend auf ein seitliches Führungsverhalten beim Steuern des Fahrzeugs aus, da der Klothoiden-Spline 20 unter Verwendung des zweiten Sampling-Verfahrens beim Anpassen 33 gering fügig korrigiert wird. Damit kann es sein, dass die Zustandsfunktion in den einzelnen Rekursions schritten weniger "stark" angepasst wird, und damit als "stabiler" bezeichnet werden.
In manchen Ausführungsbeispielen kann die Kamera 41 den Verlauf von Fahrbahnmarkierungen 12 oder 13 erfassen und die Bildverarbeitungsanwendung kann dazu ausgelegt sein solche Fahrbahnmar kierungen 12 oder 13 zu detektieren und durch ein Polynom oder einen Polynom-Spline näherungs weise zu beschreiben. Die Fahrbahnmarkierungen 13 kennzeichnen dabei Fahrbahnbegrenzungen der Fahrbahn. Die Fahrbahnmarkierung 12 kennzeichnet die Mittellinie der Fahrbahn, welche in manchen Fällen nicht sichtbar ist. Eine schematische Abbildung einer durch Fahrbahnmarkierungen 12 und 13 gekennzeichneten Fahrbahn ist in Fig. 8 abgebildet. Anhand des Verlaufs der Fahrbahnmarkierungen 12 und/oder 13 kann beispielsweise eine Fahrbahn- oder Fahrspurbreite mithilfe der geeigneten Bild verarbeitungsanwendung aus Aufnahmen der Kamera 41 ermittelt werden. In manchen Fällen kann die Schätzung des Fahrbahnverlaufs dem Verlauf der Fahrbahnmarkierungen 13 entsprechen. Dies kann vorteilhaft für die Steuerung des Fahrzeugs sein. Aus den Verläufen zweier Fahrbahnmarkierun gen 13, welche die Fahrspur nach rechts und links begrenzen ist es beispielsweise möglich die Fahr spurbreite zu ermitteln oder davon den Verlauf der Mittellinie 12 abzuleiten.
Bei der Steuerung des Fahrzeugs kann es unter Umständen notwendig sein den Verlauf der Fahrspur mitte zu ermitteln. Bei fehlender Mittellinie 12 kann durch Datenfusion 44 der Umgebungsmessdaten 50 der Kamera kein Verlauf der Fahrspurmitte direkt ermittelt werden. In einem solchen Fall kann mittels Datenfusion 44 der Verlauf der Fahrbahnmarkierungen oder Fahrbahnbegrenzungen 13 ermit telt, und ausgehend davon unter Berücksichtigung der Fahrspurbreite der Verlauf der Fahrspurmitte oder der Mittellinie 12 abgeleitet werden. Die Fahrspurbreite der zu bestimmenden Fahrbahn kann entweder einem dem Fahrzeug vorliegenden Datensatz entnommen werden oder anhand des Verlaufs der Fahrbahnmarkierungen 13 bestimmt werden. Für ein Bestimmen des Verlaufs der Mittellinie 12 kann der Klothoiden-Spline 20, der beispielsweise den Verlauf der Fahrhahnmitte beschreibt, so trans formiert werden, dass ein transformierter Klothoiden-Spline den Verlauf einer der Fahrbahnmarkie rungen 13, beschreibt, um ein Anpassen 33 des Klothoiden-Splines 20 an die Umgebungsmessdaten der Kamera zu ermöglichen. Nach Anpassen 33 des Klothoiden-Splines 20 kann durch Rücktransfor mieren der Klothoiden-Spline bestimmt werden, der wiederum den Verlauf der Fahrbahnmitte kenn zeichnet. Aus geometrischen Gründen kann es für das Transformieren und Rücktransformieren nicht ausreichend sein den Klothoiden-Spline 20 translatorisch, also in x- und y-Richtung, zu verschieben. Hierfür kann es beispielsweise notwendig sein mittels eines mathematischen Verfahrens außerdem die Parameter c0, cl n so anzupassen, dass der transformierte Klothoiden-Spline dem Verlauf der Mittel linie 12 entspricht und damit parallel zu den Fahrbahnbegrenzungen 13 verläuft.
Alternativ können für das Anpassen 33 des Klothoiden-Splines 20 die Umgebungsmessdaten der Ka mera unter Berücksichtigung einer Fahrspurbreite so transformiert werden, so dass diese den Verlauf der Fahrbahnmitte näherungsweise kennzeichnen. Der Kalman-Filter kann daraufhin ein Anpassen 33 des Klothoiden-Splines 20 an die transformierten Messdaten vornehmen.
Für die in Fig. 4 schematisch illustrierte Multi-Sensor-Datenfusion werden üblicherweise Umge bungsmessdaten einer weiteren von der Kamera verschiedenen Datenquelle herangezogen. In dem in Fig. 4 gezeigten Ausführungsbeispiel werden hierfür die Kartendaten der HD Karte 43 verwendet. Ein Beispiel für solche Kartendaten ist in Fig. 9 gezeigt. Die Sensorik des Kartenherstellers 42 liefert Wegpunkte 91, welche auf der Fahrbahn des Fahrzeugs 11 hegen. Die Wegpunkte können durch In terpolation unter Berücksichtigung von weiteren Anschlussbedingungen verbunden werden. Bei der Interpolation können die Wegpunkte beispielsweise durch Polynome 92 verbunden werden. So kann ein Polynom-Spline 90 aus mehreren Polynomfunktionen 92 erzeugt werden. Der Polynom-Spline 90 beispielsweise kann den Kartendaten entsprechen.
In manchen Ausführungsbeispielen der hierin beschriebenen Erfindung kann der Polynom-Spline 90 als Funktion in Ortskoordinaten dargesteht sein. Der Klothoiden-Spline 20, welcher bei der Datenfu sion 44 durch den Kalman-Filter an den Polynom-Spline 90 angepasst werden kann, hegt auch hier üblicherweise als Parametersatz der Parameter y0, 0O, c0 und c1 1 ,..., cl n vor, die den Klothoiden- Spline 20 mithilfe der sich aus (1) ergebenden Krümmungswerte c(s) abbilden können.
Gegenüber den Umgebungsmessdaten 50 der Kamera 41 können die Kartendaten schon ermittelt wer den lange bevor die Kamera 41 die Fahrbahn erfassen kann. So kann beispielsweise der Fahrbahn ver lauf der Fahrbahn 14 nach stark gekrümmten und/oder nicht einsehbaren Kurven geschätzt werden. So können die Kartendaten beispielsweise verwendet werden, um den Fahrbahnverlauf weit vor dem Fahrzeug 11 näherungsweise gut zu bestimmen. Anhand der Kartendaten kann eine Orientierung des Fahrzeugs manchmal nicht oder nicht genau er mittelt werden. Die Orientierung des Fahrzeugs 11 gegenüber der Fahrbahn 14 kann von Positionsda ten des Fahrzeugs 11 und dem Polynom-Spline 90 typischerweise nicht bestimmt werden, da sich daraus kein Hinweis auf die Orientierung des Fahrzeugs 11 ergeben kann.
Üblicherweise werden daher im Kalman-Filter nicht Ortskoordinaten der Kartendaten herangezogen, um den Klothoiden-Spline 20 an die Kartendaten anzupassen. Hierbei kann ein weiteres Messmodell angewandt werden, bei dem die Kartendaten in einem Messraum dargestellt werden, welcher ein Ko ordinatensystem mit Krümmungswerten umfasst.
Für die oben genannte Datenfusion 44 in dem Messraum mit dem Koordinatensystem mit Krüm mungswerten ist es beispielsweise vorteilhaft den Klothoiden-Spline 20 gemäß (1) darzustellen. Somit kann der Zustandsraum des Klothoiden-Splines 20 bereits dem Messraum entsprechen.
Der von der HD Karte 43 bereitgestellte Polynom-Spline 90 liegt üblicherweise als Abbildung in ei nem Koordinatensystem mit Ortskoordinaten vor. In vorteilhaften Ausführungsformen der hier offen barten Erfindung kann daher ein Transformieren 32 der Kartendaten in den Messraum mit dem Koor dinatensystem mit Krümmungswerten notwendig sein. Eine geeignete Abbildung der Kartendaten kann beispielsweise eine Funktion der Bogenlänge s der Kartendaten sein, wobei sich abhängig von der Bogenlänge s ein Krümmungswert k der Kartendaten ergibt.
Für das Anpassen 33 des Klothoiden-Splines 20 an den Polynom-Spline 90 werden beispielsweise bei der Innovation des Kalman-Filters die Krümmungswerte des Klothoiden-Splines 20 an die Krüm mungswerte k des Polynom-Splines 90 angenähert. Beispielsweise werden hierfür die Krümmungs werte k an den Wegpunkten der Kartendaten berücksichtigt. Das Anpassen 33 kann durch Anpassen der Parameter y0, 0O, c0 und c1 1 ,..., cl n erfolgen.
Ein Vorteil der beschriebenen Datenfusion 44 anhand der Krümmungswerte k ist, dass diese Daten fusion 44 robust gegenüber Winkel - und Offsetfehler ist. Unter der Annahme, dass eine Fokalisierung eine Fahrspur ermittelt, auf der sich das Fahrzeug 11 tatsächlich befindet, kann beispielsweise anhand der Krümmungswerte k der Fahrbahnverlauf genau geschätzt werden, auch wenn das Fahrzeug 11 sich nicht genau in der Fahrspurmitte befindet oder nicht parallel zur Mittellinie 12 ausgerichtet ist.
In vorteilhaften Ausführungen der hier offenbarten Erfindung kann das computerimplementierte Ver fahren die Multi-Sensor-Datenfusion 40 umfassen. Aus der Multi-Sensor-Datenfusion 40 von Umge bungsmessdaten 50 und Kartendaten können sich dabei Vorteile ergeben. Bei der Datenfusion 44 der Umgebungsmessdaten können beispielsweise die Position und Orientie rung des Fahrzeugs 11 gegenüber der Fahrbahn 14 ermittelt werden. Bei der Steuerung des Fahrzeugs 11 kann somit beispielsweise ein Abkommen des Fahrzeugs 11 von der Fahrbahn 14verhindert wer den.
Mithilfe der Datenfusion 44 der Kartendaten kann der Fahrbahnverlauf weit im Voraus bestimmt wer den, so dass sich die Steuerung des Fahrzeugs 11 beispielsweise früh genug eine Geschwindigkeit des Fahrzeugs reduzieren kann, um eine nicht einsehbare stark gekrümmte Kurve sicher zu durchfahren. Des Weiteren bietet die Datenfusion 44 eine Robustheit gegenüber Winkel- und Offsetfehler bei der Schätzung des Fahrbahnverlaufs, wodurch Messfehler der Schätzung reduziert werden können.
Das computerimplementierte Verfahren 30 kann für die Steuerung jedweder bodengebundener Fahr zeuge 11 verwendet werden. Ein Beispiel für ein solches Fahrzeug 11 ist in Fig. 10 gezeigt. Das Fahr zeug 11 kann dabei mit einer Vorrichtung 100 ausgestattet sein, welche zur Schätzung des Fahrbahn verlaufs dient. Die Vorrichtung 100 umfasst dabei eine Verarbeitungseinheit (hier nicht gezeigt) und mehrere Schnittstellen zur Erfassung von Umgebungsmessdaten. Solche eine Schnittstelle kann bei spielsweise eine Verbindung der Verarbeitungseinheit zu einer oder mehreren Kameras 41 sein. Die Kameras 41 können zum Beispiel in Fahrtrichtung, gegen eine Fahrtrichtung oder zur Seite hin aus gerichtet sein und ein Bereitstellen 31 der Umgebungsmessdaten 50 ermöglichen. Weitere Schnittstel len können die Verarbeitungseinheit mit einem Speichermedium 103, wie zum Beispiel einem Fest plattenlaufwerk oder einem optischen Speicher, und zusätzlich oder alternativ mit einer Empfangsein heit 102 verbinden. Das Bereitstehen 31 von Kartendaten 90 kann ermöglicht werden, indem die Kar tendaten 90 auf dem Speichermedium 103 vorliegen oder von der Empfangseinheit 102 empfangen und der Verarbeitungseinheit bereitgesteht werden können. Beispielsweise können die Kartendaten von einem Sender 110 an die Empfangseinheit übertragen werden. Mit den Umgebungsmessdaten 50 und den Kartendaten kann die Vorrichtung 100 durch Ausführen des computerimplementierten Ver fahrens 10 eine Schätzung des Fahrbahnverlaufs bestimmen.
Die Verarbeitungseinheit ist hierfür dazu ausgelegt, um das Transformieren 32 des Klothoiden-Splines 20 und der Umgebungsmessdaten 50 und/oder der Kartendaten auszuführen. Des Weiteren ist die Verarbeitungseinheit für das Anpassen 33 des Klothoiden-Splines 20 an die Umgebungsmessdaten konfiguriert. Die Verarbeitungseinheit kann zum Beispiel ein Prozessor, ein Mikrocontroller, ein Field-Programmable Gate Array (FPGA), ein Computer oder eine programmierbare Hardwarekom ponente sein. Die Aspekte und Merkmale, die zusammen mit einem oder mehreren der vorher detaillierten Beispiele und Figuren beschrieben sind, können auch mit einem oder mehreren der anderen Beispiele kombi niert werden, um ein gleiches Merkmal des anderen Beispiels zu ersetzen oder um das Merkmal in das andere Beispiel zusätzlich einzuführen.
Beispiele können weiterhin ein Computerprogramm mit einem Programmcode zum Ausfuhren eines oder mehrerer der obigen Verfahren sein oder sich darauf beziehen, wenn das Computerprogramm auf einem Computer oder Prozessor ausgeführt wird. Schritte, Operationen oder Prozesse von verschie denen, oben beschriebenen Verfahren können durch programmierte Computer oder Prozessoren aus geführt werden. Beispiele können auch Programmspeichervorrichtungen, z. B. Digitaldatenspeicher medien, abdecken, die maschinen-, prozessor- oder computerlesbar sind und maschinenausführbare, prozessorausführbare oder computerausführbare Programme von Anweisungen codieren. Die Anwei sungen führen einige oder alle der Schritte der oben beschriebenen Verfahren aus oder verursachen deren Ausführung. Die Programmspeichervorrichtungen können z. B. Digitalspeicher, magnetische Speichermedien wie beispielsweise Magnetplatten und Magnetbänder, Festplattenlaufwerke oder op tisch lesbare Digitaldatenspeichermedien umfassen oder sein. Weitere Beispiele können auch Com puter, Prozessoren oder Steuereinheiten, die zum Ausführen der Schritte der oben beschriebenen Ver fahren programmiert sind, oder (feld-)programmierbare Logik-Arrays ((F)PLAs = (Field) Pro- grammable Logic Arrays) oder (feld-)programmierbare Gate-Arrays ((F)PGA = (Field) Pro- grammable Gate Arrays), die zum Ausführen der Schritte der oben beschriebenen Verfahren program miert sind, abdecken.
Durch die Beschreibung und Zeichnungen werden nur die Grundsätze der Offenbarung dargestellt. Weiterhin sollen alle hier aufgeführten Beispiele grundsätzlich ausdrücklich nur illustrativen Zwecken dienen, um den Leser beim Verständnis der Grundsätze der Offenbarung und der durch den (die) Er finder beigetragenen Konzepte zur Weiterentwicklung der Technik zu unterstützen. Alle hiesigen Aussagen über Grundsätze, Aspekte und Beispiele der Offenbarung sowie konkrete Beispiele dersel ben umfassen deren Entsprechungen.
Ein als„Mittel zum.. Ausführen einer bestimmten Funktion bezeichneter Funktionsblock kann sich auf eine Schaltung beziehen, die ausgebildet ist zum Ausführen einer bestimmten Funktion. Somit kann ein„Mittel für etwas“ als ein„Mittel ausgebildet für oder geeignet für etwas“ implementiert sein, z. B. ein Bauelement oder eine Schaltung ausgebildet für oder geeignet für die jeweilige Aufgabe.
Funktionen verschiedener in den Figuren gezeigter Elemente einschließlich jeder als„Mittel“,„Mittel zum Bereitstellen eines Signals“,„Mittel zum Erzeugen eines Signals“, etc. bezeichneter Funktions- blocke kann in Form dedizierter Hardware, z. B„eines Signalanbieters“,„einer Signalverarbeitungs einheit“,„eines Prozessors“,„einer Steuerung“ etc. sowie als Hardware fähig zum Ausfuhren von Software in Verbindung mit zugehöriger Software implementiert sein. Bei Bereitstellung durch einen Prozessor können die Funktionen durch einen einzelnen dedizierten Prozessor, durch einen einzelnen gemeinschaftlich verwendeten Prozessor oder durch eine Mehrzahl von individuellen Prozessoren be reitgesteht sein, von denen einige oder von denen alle gemeinschaftlich verwendet werden können. Allerdings ist der Begriff„Prozessor“ oder„Steuerung“ bei Weitem nicht auf ausschließlich zur Aus führung von Software fähige Hardware begrenzt, sondern kann Digitalsignalprozessor-Hardware (DSP-Hardware; DSP = Digital Signal Processor), Netzprozessor, anwendungsspezifische integrierte Schaltung (ASIC = Application Specific Integrated Circuit), feldprogrammierbare Logikanordnung (FPGA = Field Programmable Gate Array), Nurlesespeicher (ROM = Read Only Memory) zum Spei chern von Software, Direktzugriffsspeicher (RAM = Random Access Memory) und nichtflüchtige Speichervorrichtung (storage) umfassen. Sonstige Hardware, herkömmliche und/oder kundenspezifi sche, kann auch eingeschlossen sein.
Ein Blockdiagramm kann zum Beispiel ein grobes Schaltdiagramm darstellen, das die Grundsätze der Offenbarung implementiert. Auf ähnliche Weise können ein Flussdiagramm, ein Ablaufdiagramm, ein Zustandsübergangsdiagramm, ein Pseudocode und dergleichen verschiedene Prozesse, Operatio nen oder Schritte repräsentieren, die zum Beispiel im Wesentlichen in computerlesbarem Medium dargestellt und so durch einen Computer oder Prozessor ausgeführt werden, ungeachtet dessen, ob ein solcher Computer oder Prozessor explizit gezeigt ist. In der Beschreibung oder in den Patentansprü chen offenbarte Verfahren können durch ein Bauelement implementiert werden, das ein Mittel zum Ausführen eines jeden der jeweiligen Schritte dieser Verfahren aufweist.
Es versteht sich, dass die Offenbarung mehrerer, in der Beschreibung oder den Ansprüchen offenbarter Schritte, Prozesse, Operationen oder Punktionen nicht als in der bestimmten Reihenfolge befindlich ausgelegt werden soll, sofern dies nicht explizit oder implizit anderweitig, z. B. aus technischen Grün den, angegeben ist. Daher werden diese durch die Offenbarung von mehreren Schritten oder Funktio nen nicht auf eine bestimmte Reihenfolge begrenzt, es sei denn, dass diese Schritte oder Punktionen aus technischen Gründen nicht austauschbar sind. Ferner kann bei einigen Beispielen ein einzelner Schritt, Funktion, Prozess oder Operation mehrere Teilschritte, -funktionen, -prozesse oder -Operatio nen einschließen und/oder in dieselben aufgebrochen werden. Solche Teilschritte können eingeschlos sen sein und Teil der Offenbarung dieses Einzelschritts sein, sofern sie nicht explizit ausgeschlossen sind.
Weiterhin sind die folgenden Ansprüche hiermit in die detaillierte Beschreibung aufgenommen, wo jeder Anspruch als getrenntes Beispiel für sich stehen kann. Während jeder Anspruch als getrenntes Beispiel für sich stehen kann, ist zu beachten, dass - obwohl ein abhängiger Anspruch sich in den Ansprüchen auf eine bestimmte Kombination mit einem oder mehreren anderen Ansprüchen beziehen kann - andere Beispiele auch eine Kombination des abhängigen Anspruchs mit dem Gegenstand jedes anderen abhängigen oder unabhängigen Anspruchs umfassen können. Solche Kombinationen werden hier explizit vorgeschlagen, sofern nicht angegeben ist, dass eine bestimmte Kombination nicht beab sichtigt ist. Ferner sollen auch Merkmale eines Anspruchs für jeden anderen unabhängigen Anspruch eingeschlossen sein, selbst wenn dieser Anspruch nicht direkt abhängig von dem unabhängigen An spruch gemacht ist.
Bezugszeichenliste
11 Fahrzeug
12 Mittellinie
13 Fahrbahnbegrenzung
14 Fahrbahn
20 Klothoiden-Spline
21 Klothoiden-Segment
22 Übergangsstelle
30 Computerimplementiertes Verfahren
31 Bereitstellen der Umgebungsmessdaten
32 Transformieren der Zustandsfunktion und der Umgebungsmessdaten
33 Anpassen der Zustandsfunktion
40 Multi-Sensor-Datenfusion
41 Kamera
42 Sensorik des Kartenherstellers
43 HD Karte
44 Datenfusion
45 Fahrbahnmodell
50 Umgebungsmessdaten der Kamera
51 Samplepunkte des Klothoiden-Splines
52 Samplepunkte der Umgebungsmessdaten der Kamera
60-1 Abbildung des ersten Sampling-Verfahrens
60-2 Abbildung des zweiten Sampling-Verfahrens
61 Samplepunkt des Polynoms
62 Polynom
63 Samplepunkt des Taylor-Polynoms
64 Taylorpolynom
90 Polynom-Spline
91 Wegpunkt
92 Polynomfunktion
100 Vorrichtung
102 Empfangseinheit
103 Speichermedium
110 Sender

Claims

Patentansprüche
1. Computerimplementiertes Verfahren (30) zur Schätzung eines Fahrbahnverlaufs in einer Um gebung eines Fahrzeugs (11) basierend auf einer den Fahrbahnverlauf beschreibenden Zu standsfunktion, wobei die Zustandsfunktion einen Klothoiden-Spline (20) umfasst, das Ver fahren (30) umfassend:
Bereitstellen (31) von den Fahrbahnverlauf an einer aktuellen Position des Fahrzeugs (11) beschreibenden Umgebungsmessdaten, wobei die Umgebungsmessdaten zumindest eine Polynomfunktion umfassen;
Transformieren (32) der Zustandsfunktion und der Umgebungsmessdaten in ein gemein sames Koordinatensystem; und
Anpassen (33) der Zustandsfunktion basierend auf den Umgebungsmessdaten in dem ge meinsamen Koordinatensystem.
2. Computerimplementiertes Verfahren (30) gemäß Anspruch 1, wobei die Umgebungsmessda ten (50) von zumindest einer Kamera (41) erfasst werden.
3. Computerimplementiertes Verfahren (30) gemäß Anspruch 1, wobei die Umgebungsmessda ten von einer Karte (43) bereitgestellt werden.
4. Computerimplementiertes Verfahren (30) gemäß Anspruch 1, wobei erste Umgebungsmess daten (50) von zumindest einer Kamera (41) erfasst werden und zweite Umgebungsmessdaten von einer Karte (43) bereitgestellt werden.
5. Computerimplementiertes Verfahren (30) gemäß einem der vorhergehenden Ansprüche, wo bei das gemeinsame Koordinatensystem Ortskoordinaten umfasst.
6. Computerimplementiertes Verfahren (30) gemäß einem der vorhergehenden Ansprüche, wo bei ein Anpassen (33) der Zustandsfunktion ein Sampling- Verfahren zum Bestimmen von Samplepunkten (51), (52), (61) und (63) umfasst, wobei bei jeweils mehreren Samplepunkten eine konstante Kurvenlänge zwischen benachbarten Samplepunkten liegt.
7. Computerimplementiertes Verfahren (30) gemäß einem der vorhergehenden Ansprüche, wo bei das gemeinsame Koordinatensystem Krümmungswerte umfasst.
8. Computerimplementiertes Verfahren (30) gemäß einem der vorhergehenden Ansprüche, wo bei das Anpassen (33) der Zustandsfunktion an die Umgebungsmessdaten ein Anpassen von zumindest einem Krümmungswert der Zustandsfunktion an zumindest einen weiteren Krüm mungswert der Umgebungsmessdaten vorsieht.
9. Computerimplementiertes Verfahren (30) gemäß einem der vorhergehenden Ansprüche, wo bei die Zustandsfunktion einen Verlauf einer Fahrbahnmarkierung (12), (13) einer Fahrbahn kennzeichnet.
10. Computerimplementiertes Verfahren (30) gemäß Anspruch 9, ferner umfassend, ein Ermitteln eines Verlaufs einer Fahrspurmitte (12) durch Transformieren der Zustandsfunktion.
11. Computerimplementiertes Verfahren (30) gemäß einem der vorhergehenden Ansprüche, wo bei das computerimplementierte Verfahren (30) ferner ein Bereitstellen von Validierungs messdaten und ein Validieren der Schätzung des Fahrbahn Verlaufs mit Hilfe der Validierungs daten umfasst.
12. Eine Vorrichtung (100) zur Schätzung des Fahrbahnverlaufs in der Umgebung des Fahrzeugs (11), umfassend:
eine oder mehrere Schnittstellen, die ausgebildet sind, um Umgebungsmessdaten zu er fassen;
eine Verarbeitungseinheit, welche ausgebildet ist, um das computerimplementierte Ver fahren gemäß der Ansprüche 1 bis 11 auszuführen.
13. Ein Fahrzeug (11) umfassend die Vorrichtung (100) gemäß Anspruch 12.
PCT/EP2019/078606 2019-02-06 2019-10-21 Verfahren und vorrichtung zur multi-sensor-datenfusion für automatisierte und autonome fahrzeuge WO2020160796A1 (de)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US17/420,694 US20220101637A1 (en) 2019-02-06 2019-10-21 Method and Device for Multi-Sensor Data Fusion For Automated and Autonomous Vehicles
CN201980087247.2A CN113261007A (zh) 2019-02-06 2019-10-21 用于自动和自主车辆的多传感器数据融合的方法和装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102019102922.8A DE102019102922A1 (de) 2019-02-06 2019-02-06 Verfahren und Vorrichtung zur Multi-Sensor-Datenfusion für automatisierte und autonome Fahrzeuge
DE102019102922.8 2019-02-06

Publications (1)

Publication Number Publication Date
WO2020160796A1 true WO2020160796A1 (de) 2020-08-13

Family

ID=68318888

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2019/078606 WO2020160796A1 (de) 2019-02-06 2019-10-21 Verfahren und vorrichtung zur multi-sensor-datenfusion für automatisierte und autonome fahrzeuge

Country Status (4)

Country Link
US (1) US20220101637A1 (de)
CN (1) CN113261007A (de)
DE (1) DE102019102922A1 (de)
WO (1) WO2020160796A1 (de)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102021116286A1 (de) * 2021-06-23 2022-12-29 Bayerische Motoren Werke Aktiengesellschaft Fahrzeug, Vorrichtung, Computerprogramm, Verfahren zum zumindest teilweisen Kompensieren eines Beobachtungsfehlers beim Schätzen eines Fahrbahnverlaufs

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004031691A1 (en) * 2002-10-02 2004-04-15 Hrl Laboratories, Llc Estimation of vehicle forward path
EP2525303A1 (de) * 2011-05-17 2012-11-21 Harman Becker Automotive Systems GmbH Spurverfolgung
US20160304120A1 (en) * 2015-04-14 2016-10-20 Denso Corporation Traveling path estimation apparatus
WO2018019454A1 (de) 2016-07-29 2018-02-01 Bayerische Motoren Werke Aktiengesellschaft Verfahren und vorrichtung zum ermitteln eines fahrbahnmodells für ein fahrzeugumfeld

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7522091B2 (en) * 2002-07-15 2009-04-21 Automotive Systems Laboratory, Inc. Road curvature estimation system
US8762046B2 (en) * 2008-10-01 2014-06-24 Navteq B.V. Creating geometry for advanced driver assistance systems
DE102010020984A1 (de) * 2010-04-20 2011-10-20 Conti Temic Microelectronic Gmbh Verfahren zur Bestimmung des Fahrbahnverlaufes für ein Kraftfahrzeug
US9542846B2 (en) * 2011-02-28 2017-01-10 GM Global Technology Operations LLC Redundant lane sensing systems for fault-tolerant vehicular lateral controller
DE102012107885A1 (de) * 2012-08-27 2014-02-27 Continental Teves Ag & Co. Ohg Verfahren zur Bestimmung eines Fahrspurverlaufs für ein Fahrzeug
DE102013002889A1 (de) * 2013-02-19 2014-08-21 Volkswagen Aktiengesellschaft Verfahren und Vorrichtung zur Modellierung eines Fahrbahnrandes und Fahrzeug mit einer solchen Vorrichtung
DE102014200638A1 (de) * 2014-01-16 2015-07-30 Bayerische Motoren Werke Aktiengesellschaft Verfahren und System zum Schätzen eines Fahrspurverlaufs
JP6285321B2 (ja) * 2014-08-25 2018-02-28 株式会社Soken 道路形状認識装置
JP6363518B2 (ja) * 2015-01-21 2018-07-25 株式会社デンソー 区画線認識装置
DE102015013085A1 (de) * 2015-10-08 2016-03-31 Daimler Ag Verfahren zum Bestimmen eines Soll-Fahrspurverlaufs eines Kraftfahrzeugs
DE102016211730A1 (de) * 2016-06-29 2018-01-04 Continental Teves Ag & Co. Ohg Verfahren zur Vorhersage eines Fahrbahnverlaufs einer Fahrbahn
DE102017209346A1 (de) * 2017-06-01 2019-01-10 Robert Bosch Gmbh Verfahren und Vorrichtung zur Erstellung einer fahrspurgenauen Straßenkarte

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004031691A1 (en) * 2002-10-02 2004-04-15 Hrl Laboratories, Llc Estimation of vehicle forward path
EP2525303A1 (de) * 2011-05-17 2012-11-21 Harman Becker Automotive Systems GmbH Spurverfolgung
US20160304120A1 (en) * 2015-04-14 2016-10-20 Denso Corporation Traveling path estimation apparatus
WO2018019454A1 (de) 2016-07-29 2018-02-01 Bayerische Motoren Werke Aktiengesellschaft Verfahren und vorrichtung zum ermitteln eines fahrbahnmodells für ein fahrzeugumfeld

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
FELIX FOBORG: "Road Shape Estimation based on On-board Sensors and Map Data", 1 January 2014 (2014-01-01), XP055658694, Retrieved from the Internet <URL:https://www.diva-portal.org/smash/get/diva2:745652/FULLTEXT01.pdf> *
MANOLIS TSOGAS ET AL: "Using digital maps to enhance lane keeping support systems", INTELLIGENT VEHICLES SYMPOSIUM, 2007 IEEE, IEEE, PI, 1 June 2007 (2007-06-01), pages 148 - 153, XP031126936, ISBN: 978-1-4244-1067-5 *

Also Published As

Publication number Publication date
US20220101637A1 (en) 2022-03-31
DE102019102922A1 (de) 2020-08-06
CN113261007A (zh) 2021-08-13

Similar Documents

Publication Publication Date Title
WO2020229002A1 (de) Verfahren und vorrichtung zur multi-sensor-datenfusion für automatisierte und autonome fahrzeuge
EP3584663B1 (de) Verfahren zur automatischen querführung eines folgefahrzeugs in einem fahrzeug-platoon
EP3491339B1 (de) Verfahren, vorrichtung und computerlesbares speichermedium mit instruktionen zur bestimmung der lateralen position eines fahrzeuges relativ zu den fahrstreifen einer fahrbahn
DE102010005293B4 (de) System und Verfahren zur Spurpfadschätzung unter Verwendung einer Sensorvereinigung
DE102019121140A1 (de) Sensorfusion
EP3177498B1 (de) Verfahren zum erzeugen einer umgebungskarte eines umgebungsbereichs eines kraftfahrzeugs, fahrerassistenzsystem sowie kraftfahrzeug
EP3491417B1 (de) Verfahren und system zum erfassen von landmarken in einem verkehrsumfeld einer mobilen einheit
DE102010006828A1 (de) Verfahren zur automatischen Erstellung eines Modells der Umgebung eines Fahrzeugs sowie Fahrerassistenzsystem und Fahrzeug
DE102016213817B4 (de) Verfahren, Vorrichtung und computerlesbares Speichermedium mit Instruktionen zur Bestimmung der lateralen Position eines Fahrzeuges relativ zu den Fahrstreifen einer Fahrbahn
WO2005039957A1 (de) Fahrerassistenzverfahren und -vorrichtung auf der basis von fahrspurinformationen
WO2020016385A1 (de) Verfahren und system zum bestimmen einer position eines fahrzeugs
WO2017202570A1 (de) Verfahren, vorrichtung und computerlesbares speichermedium mit instruktionen zur bestimmung der lateralen position eines fahrzeuges relativ zu den fahrstreifen einer fahrbahn
EP3610224B1 (de) Verfahren, vorrichtung und computerlesbares speichermedium mit instruktionen zur schätzung einer pose eines kraftfahrzeugs
WO2009013052A2 (de) Verfahren und vorrichtung für die spurerfassung mit einem fahrerassistenzsystem
DE102016211730A1 (de) Verfahren zur Vorhersage eines Fahrbahnverlaufs einer Fahrbahn
DE102008021380A1 (de) Verfahren und Vorrichtung zum Vorhersagen eines Verlaufs einer Fahrbahn und Fahrerassistenzsystem
DE102020124331A1 (de) Fahrzeugspurkartierung
WO2020160796A1 (de) Verfahren und vorrichtung zur multi-sensor-datenfusion für automatisierte und autonome fahrzeuge
DE102016222258A1 (de) Verfahren und System zum Bereitstellen von Daten für eine Trajektorie
DE102021202778A1 (de) Verfahren und System zum Bearbeiten einer digitalen Sicherheitskarte für den Straßenverkehr
EP3338263B1 (de) Verfahren und vorrichtung zum bestimmen eines strassenrand-parkplatzes
DE102018007580A1 (de) Verfahren und Steueranordnung zur seitlichen Fahrzeugverschiebung
DE102013217061A1 (de) Spurgenaue Positionierung eines Fahrzeugs
DE102021116286A1 (de) Fahrzeug, Vorrichtung, Computerprogramm, Verfahren zum zumindest teilweisen Kompensieren eines Beobachtungsfehlers beim Schätzen eines Fahrbahnverlaufs
DE102019209637B4 (de) Generieren einer Fahrzeugumgebungskarte

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19791234

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19791234

Country of ref document: EP

Kind code of ref document: A1