WO2018234130A1 - Klassifikation und lokalisation eines objektes durch eine lidar-sensorvorrichtung eines kraftfahrzeugs - Google Patents

Klassifikation und lokalisation eines objektes durch eine lidar-sensorvorrichtung eines kraftfahrzeugs Download PDF

Info

Publication number
WO2018234130A1
WO2018234130A1 PCT/EP2018/065744 EP2018065744W WO2018234130A1 WO 2018234130 A1 WO2018234130 A1 WO 2018234130A1 EP 2018065744 W EP2018065744 W EP 2018065744W WO 2018234130 A1 WO2018234130 A1 WO 2018234130A1
Authority
WO
WIPO (PCT)
Prior art keywords
sensor device
lidar sensor
intensity distribution
probability density
density function
Prior art date
Application number
PCT/EP2018/065744
Other languages
English (en)
French (fr)
Inventor
Pavel Prochazka
Original Assignee
Valeo Schalter Und Sensoren Gmbh
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Valeo Schalter Und Sensoren Gmbh filed Critical Valeo Schalter Und Sensoren Gmbh
Publication of WO2018234130A1 publication Critical patent/WO2018234130A1/de

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4802—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/42—Simultaneous measurement of distance and other co-ordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles

Definitions

  • the invention relates to a method for operating a lidar sensor device of a motor vehicle with a) scanning an environment of the lidar sensor device with a scanning light of the lidar sensor device; a) detecting a plurality of light components of the scanning light reflected by an object in the environment by a
  • Sensor unit of the lidar sensor device for a plurality of respective measurement angles with a respective intensity; a c) respectively associating the detected intensity and a calculated distance of the lidar sensor device from the object to the
  • a lidar sensor device for a motor vehicle which is designed to scan an environment of the lidar sensor device with a scanning light, with a sensor unit, which is formed, a plurality of reflected by an object in the surrounding light portions of the scanning light for to detect several respective measurement angles with a respective intensity; and with a computing unit which is designed to assign to the measurement angles in each case the detected intensity and a calculated distance of the lidar sensor device from the object and to assign a plurality of intensities in the form of an intensity distribution to the object again.
  • lidar sensor device Light Detection and Ranging Device
  • Device for optical distance and / or speed measurement for a motor vehicle can here and below be understood to mean any optoelectronic sensor device for a motor vehicle which has one or more emitters for the motor vehicle
  • Sensor device is scanned, and which has a corresponding sensor unit, which for several different measurement angles, ie spatially resolved, the reflected
  • Such sensor devices can captured light components of the light beam.
  • Such sensor devices can include
  • multi-beam intensity measurement (multi-beam) measurement sensor devices For example, or include multi-beam intensity measurement (multi-beam) measurement sensor devices.
  • the surroundings can be scanned serially by the light beam, that is to say successively, point by point, or in parallel, that is, for example, over a large area by a flash.
  • the observation of the sensor device that is, the detected reflected light components of the scanning light, are usually in pairs of a respective distance d, and a respective Intensity I, for each measurement angle a. These pairs form a so-called observation vector whose entries are each assigned to a measuring channel i.
  • a measurement angle a be associated with a plurality of different measurement channels and corresponding to the one measurement angle a, a plurality of respective distances d, and respective intensities I, are detected or calculated.
  • a method of classifying objects in which objects in a detection area of an electromagnetic radiation sensor are classified on the basis of a distance image acquired by the sensor.
  • an echo pulse characteristic which depends on the energy of the echo pulse is taken into account, for example a pulse height of the respective echo pulse.
  • a reference profile can also be specified here.
  • This angle characteristic can be defined by an object class K of the object, a type
  • the position can also be referred to as a relative position (to a sensor device)
  • the object O (K, r, ⁇ ) is located in the polar coordinates at the position (FIG. r, ⁇ ) and belongs to the object class K. The angle characteristic can then be used to calculate the
  • To model probability function to locate the object, that is, to estimate its position (relative to the sensor device or a sensor unit of the sensor device), as well as to classify the object.
  • a goal of the model described below in the context of the method is thus to describe a behavior of the lidar sensor device.
  • This means that the model can reliably predict the observation of the sensor device as a function of a real scene.
  • This function can be used to replace real measurements with the sensor device and their processing by simulations, as well as to determine basic limitations of the sensor device, which are given for example by the Crammer-Rao limit.
  • the invention now relates to a method for operating a lidar sensor device of a motor vehicle with a series of method steps.
  • the lidar sensor device may also be hereinafter referred to as
  • a first step here is to scan an environment of the lidar sensor device with a scanning light, for example one or more light beams or laser beams, of the lidar sensor device.
  • the environment may be scanned by, for example, a light beam serially descending the environment to serially extend a plurality of measurement angles ai, or by multiplying the plurality of light beams in parallel time-wise
  • a further method step is detecting a plurality of light components of the scanning light reflected by an object in the surroundings by a sensor unit of the lidar sensor device for a plurality of respective measurement angles a, with a respective intensity I, of the reflected light component d urch the sensor unit detects a plurality of light components, that is, for each measurement angle a, at least one reflected light component.
  • the lidar sensor device can thus have 16 measurement channels i, which are assigned different measurement angles ai, and for a given scene, for example, a reflected light component can be detected in six of the 16 measurement angles.
  • a further method step is a respective assignment of the detected intensity I, and a distance d calculated from the respective reflected light component, the lidar sensor device or the sensor unit from the object on which the respective one
  • the distance d can be calculated from a transit time of the scanning light and the detected reflected light component.
  • the sensor or measuring channels i are assigned corresponding to the respective measuring angle a. In the respective measuring channels i, in which a reflected light component has been detected, the distance d is now, and the intensity I, not equal to 0, in the above example, for six of the 16 measuring angles ⁇ ,. Will be in one
  • Measuring channel i for a measuring angle a, no reflected light component detected, is the
  • a further method step is an assignment of several intensities in the form of an intensity distribution to the object by the arithmetic unit. Accordingly, alternatively or additionally, several distances in the form of a
  • Intensities to the object can be assigned to the object in particular the measurement angles and thus intensities for which the respective distances deviate from each other by less than a predetermined value and / or which one
  • ⁇ 0 ( ⁇ ); ⁇ 0 ( ⁇ ) which comprises one or more angle characteristics or features, for several classes of objects in the
  • an angle characteristic ( ⁇ 0 ( ⁇ ); ⁇ 0 ( ⁇ )) is stored.
  • the angle characteristic can be referred to hereinafter as ff 0 (a) if it refers to the calculated distances, and / or with ⁇ 0 ( ⁇ ) if it relates to the detected intensities.
  • the angle characteristic has a deterministic component (ff 0 (a); F 0 (a)) and a stochastic component (w; n). Deterministic component and stochastic component can be analogous to the angle characteristic with ff 0 (a) or ⁇ 0 ( ⁇ ) and w
  • the deterministic component represents a respective deterministic, ie deterministically determinable or concretely predictable, influence of at least one, preferably a plurality of reference objects of the respective object class at a predetermined position in the scanned object
  • this deterministic component can be determined empirically for different object classes.
  • the angle characteristic can also represent a known deterministic influence of the lidar device on the detected intensities, for example a beam property of the scanning light in the respective measuring channel i.
  • the randomness considered by the random processes covers all (stochastic) influences which are not covered by the deterministic component of the angle characteristic (or considered), in particular (minor) deviations between the according to the respective deterministic component of the angle characteristic for the
  • Further stochastic influences compensated in particular by the stochastic component can be, for example, an unknown tilting of the lidar sensor device due to, for example, acceleration and / or loading of the motor vehicle, as well as signal noise in the lidar sensor device and / or in the measuring chain.
  • Stochastic influence can therefore be understood as meaning any influence which is not represented as a deterministic influence by the respective deterministic component of the angle characteristics and thus taken into account.
  • the character of these parts can be determined by its associated probability density function (pdf) po (w 0 ,..., W N -i, n 0 ,..., N N -i ) for N measurement channels i are completely described.
  • the probability density function p 0 therefore represents the stochastic influence on the intensity distribution as well as the stochastic component. Therefore, the probability density function becomes the stochastic component in the arithmetic unit deposited and automatically with the probability density function inherent also the stochastic component.
  • the probability density function may be given by the random process sampled in the measurement angles a i.
  • the likelihood function for a given observation A can therefore be described with the probability density function p 0 and is given by
  • 0) o ⁇ d 0 -R o (a 0 ), ..., d N -i-R 0 ( ⁇ NI)> IO- ⁇ , -NI- ⁇ 0 ( ⁇ ⁇ - ⁇ ) ) - (5)
  • Probability density function which represents the, in particular all, stochastic influence of the object in the scanned environment on the intensity distribution and / or the distance distribution and the stochastic influence of the lidar sensor device per se on the intensity distribution and / or the distance distribution.
  • the angle characteristic is doing with the
  • Probability density function stored in the arithmetic unit can relate, for example, to the abovementioned slight deviations.
  • Intensity distribution can represent, for example, the described unknown tilting or the described signal noise.
  • a big advantage of the chosen description is that it is mathematically exact for the sensor device when the object classes (and thus the deterministic
  • a maximum likelihood estimator finds the O for which ⁇ ( ⁇
  • 0) is maximized. This results ⁇ , ⁇ , ⁇ arg max 0 , he K ( ⁇ 04
  • ⁇ )) (6) arg max o .0 r K p 0 (d 0 - R 0 ( ⁇ - a 0 ), ..., -R 0 ( ⁇ - a W -i) ⁇ I 0 - ⁇ 0 ( ⁇ - a 0 ), ..., l N _ -
  • the object O is classified on the basis of the associated intensity distribution as belonging to the object class K for which a maximum likelihood estimator (that is, the one generally known as such), ie an estimator which after the maximum likelihood estimation.
  • a maximum likelihood estimator that is, the one generally known as such
  • Method or maximum likelihood method works for the stored angle characteristics with the stored probability density function (or with the stored probability density functions) the largest
  • the object is also localized on the basis of the assigned intensity distribution as being located at the position (r, ⁇ ) relative to the sensor unit, for which the maximum likelihood estimator for the stored angle characteristics with the stored probability density function (or with the stored probability density functions) the largest
  • further parameters for the classification can be used or taken into account, for example an intrinsic velocity of the object and / or a rotation of the object.
  • these other parameters affecting the observation may either be considered as random parameters (eg, the airspeed of the object) and taken into account in the probability density function, or considered as deterministic parameters, for example, about the specification or the function of further object classes or, for example, also subclasses can be taken into account.
  • Such subclasses can, for example, for an object class "motor vehicle" front view of the motor vehicle, rear view of the Motor vehicle, motor vehicle in the rain, motor vehicle in snowfall and the like.
  • the object can also be localized on the basis of the measurement angle distribution which corresponds to the intensity distribution.
  • the described method has the advantage that the object can be both localized and classified by the maximum likelihood estimator in a unified manner in an integrated overall approach.
  • An important point here is that the behavior of the sensor device itself is explicitly taken into account in the processing for the first time via the selected description. Overall, this increases the accuracy of classifying and locating and at the same time provides a basis for applying tools of mathematics already known in the context of maximum likelihood estimators to a lidar sensor device. For example, so can the Crammer Rao limit for the
  • the scanning of the surroundings, the detection of the reflected light components, the assignment of the detected intensities to the measurement angles and the assignment of the intensities to the object in the form of the intensity distribution as well as the classifying and localizing can be carried out repeatedly, in particular continuously.
  • the stored angle characteristic is a one-dimensional function of the intensity above the measurement angle ⁇ . It is thus assumed that the distance d, for all measurement angles a, is constantly equal to the distance r of the object O, that is to say is for all i (“constant distance model") The stochastic component can be set to 0. This advantageous assumption is based on the observation that for an object the observed distances d, often lie on a one-dimensional line, which is essentially perpendicular too fan-like emanating from the sensor unit beams runs. Therefore, it can be assumed that the distance component d of the observation vector A is constant for all the measurement channels i related to the same object. It is thus assumed that all calculated distances are the same for the object to be classified and located, and are, for example, an average of the actually measured distances d i. This appears to be a very drastic assumption, but the advantage that this achieves is one
  • Deviations from this assumption can also be considered as a stochastic influence over the probability density function. If no constant distances are assumed for the different measuring channels i, the distance information can be a valuable source of information which can be used to further increase the accuracy of the method. This has the advantage that the observation, that is to say the observation vector A, in the measuring channels i., Considered for classification and localization
  • Probability density function p 0 so the estimate of the maximum likelihood estimator can be further evaluated, for example by the Kalman filter. If the maximum likelihood estimator for object tracking is combined with the Kalman filter, a prior, ie a prediction about the object O, follows from
  • Probability density function a normal distribution, in particular a
  • the probability density function can thus be one
  • Equation (7) described on the basis of the assumptions made in the context of this method over the behavior of the sensor device (ie via the
  • Probability density function p 0 which is determined by random processes during observation, simplifies the evaluation significantly and is easy to apply in the general case. If, in fact, the probability density function p 0 is a normal distribution with independent individual components, this results where C is a normalization constant and a 2 d , i, ⁇ 2 ⁇ respectively represent the variances of the i-th component. The maximum likelihood estimator is thus simplified
  • Intensity distribution to the object can be selected.
  • Sensor device generally not only information, that is, reflected light components, received from an object, but from an entire scene with multiple objects and process accordingly.
  • One possibility to take this into account is to describe individual objects in each case and to regard each possible arrangement (and / or combination) of these objects in the scene as a single object class.
  • the simplest approach is to determine a dominant object, so that the
  • Observation vector is. Preference is given to the object with the shortest distance chosen by the lidar sensor device as the dominant object.
  • the detection range of the sensor unit can be artificially limited, that is, from the existing measurement channels, a subset are preselected, for which the detected intensities and calculated distances are then used for the further process.
  • the observation expected from an object tracked by, for example, the Kalman filter can be subtracted from the overall observation that it is to improve. This is especially useful if the observation concerns several interacting single objects.
  • the proposed simplification of the selection of one of the objects as a "dominant" object has the advantage that the described method is considerably simplified and nevertheless good results are achieved, since in most real cases the object which is important in locating and classifying is In the mathematical sense, the application of the individual object assumption described here to a dominant or determinative object is optimal if the corresponding angle characteristic or angle characteristics for the object are precisely specified.
  • angle characteristics and possibly also components of the probability density function is an important aspect in practice. These angular characteristics are different for each sensor device, however, since these angular characteristics only need to be determined once to be deposited, some effort in obtaining the angular characteristics is acceptable. Basically, there are two approaches to obtaining the angle characteristics. The first approach is a physical reality in to model a model. The second approach is based on a stochastic treatment of the respective measurement setup realized by the sensor device. Since in the first case, respective physical properties of the sensor device used must be used, this can not be discussed at this point, since it depends on the sensor device used as such.
  • the second approach may be used for any lidar sensor device, that is, any optoelectronic intensity-measurement based sensor device, and therefore the measurement setup and stochastic processing of the results will be discussed below to explain how the angular characteristics are obtained can.
  • each object class is derived from a measurement which is suitable for a plurality of positions (r, ⁇ ) or relative positions (r, ⁇ - ⁇ ), in particular distances r or angles ⁇ and ⁇ - ⁇ , at least one reference object of the respective object class represents the detected intensities and calculated distances caused by the at least one reference object.
  • the angle characteristic of each object class comprises a histogram, in particular a multidimensional histogram, or is derived from a histogram, in particular a multidimensional histogram, which is suitable for a plurality of positions (r, ⁇ ) or relative positions (r, ⁇ - ⁇ ), in particular distances r or angles ⁇ or ⁇ - ⁇ , of at least one reference object of the respective object class represents the detected intensities and calculated distances caused by the at least one reference object.
  • the histogram can thus be derived from the measurement.
  • a plurality of reference objects can also be represented by the angle characteristic or the histogram, for example by the angle characteristic comprising a plurality of histograms or being derived from a plurality of histograms.
  • the angle characteristic may comprise an averaged histogram of a plurality of individual histograms corresponding to the respective individual reference objects.
  • the sensor unit of the sensor device can be positioned at a distance r from a reference object of the object class K to be measured and once rotated by 360 ° while measuring the corresponding reflected intensities. This should be repeated several times, since each measurement contributes to one revolution of the sensor unit realization in ⁇ . If enough implementations of the measuring process have been collected, the reference object can be moved to another position, that is, to a different distance. The measurement can be different
  • Reference objects of an object class K are performed to obtain more robust angle characteristics.
  • the measurement can be repeated ten times for an object, which has proven to be inexpensive and sufficiently accurate.
  • This measuring process must be carried out correspondingly for each desired object class, for example the object class pedestrian and / or the object class animals and / or the object class vehicles and / or the object class traffic infrastructure and the like.
  • Measurement for the plurality of distances of the reference object for different positions or relative positions of the reference object to the sensor unit is or was taken by the sensor unit.
  • the measurement may include an empirical histogram, for which for the plurality of
  • Distances are each included the detected intensities and the calculated distances.
  • the relative positions included in particular different Relative angle ( ⁇ - ⁇ ).
  • the measurement is under by the
  • Measuring conditions performed, preferably under different
  • Weather conditions such as sun, fog, snow, rain and / or
  • different lighting conditions such as daytime and nighttime as daytime and / or different sensor conditions such as soiling and / or individual beam properties for the different measurement angles ai and / or different reference object conditions such as pollution and / or
  • This embodiment is thus based on the recognition that a particularly accurate and realistic specification of the angle characteristics is particularly advantageous, and for example angle characteristics of an object class with two objects which differ very greatly in two angle characteristics of a respective own object class, For example, an associated object subclass should be split. Therefore, it may be advantageous to perform the appropriate measurement under different conditions. It is therefore also advantageous to the
  • the probability density function can also be derived in a generally known manner, since the measurements are indeed realizations of the
  • Probability density function corresponding random process.
  • the rotation speed of the sensor unit should be slow enough so that the influence of the rotation on the angle characteristic is negligible.
  • Probability density function p 0 is determined to be stationary, does not vary in time. On a time varying
  • the angle characteristic of the respective object class can also be determined from annotated data about a scene with a reference object
  • the sensor data represent the light components detected at the reference object and recorded for the different measurement angles.
  • Sensor data are available. For annotating the data, these data can either be annotated manually or with the aid of a reference sensor system, for example a camera system. Since data acquired in this case is preferably used here, an object to be determined should first be determined in the real scene. For example, only the object with the shortest distance to the sensor device or all objects which lie closest in a given direction of the sensor device can be considered here. The main difference to the method described above is that the angle characteristics of the
  • Form component Form component.
  • the fineness of the quantification and the amount of available annotated data are critical parameters here. For example, for one object class, 10,000 measurements of an angle characteristic or more can be performed here. This number has proved to be sufficiently great for good accuracy of the
  • parameterized curve in particular as a sum of weighted kernel functions, preferably weighted Gaussian distributions, with a respective mean and variance.
  • the angle characteristic is parameterized for each distance r only by the number of considered Gaussian distributions or Gaussian kernel times three.
  • Object class object provides much faster results, so fewer measurements are required than when using annotated data the use of annotated data from real recorded scenes comparatively inefficient. However, if only the parameters of a parameterized curve, such as the parameterized curve shown in equation (13), need to be estimated, the efficiency of estimating the angle characteristic is significantly improved.
  • This equation can be calculated using modern methods based on the maximization of an expectation value, for example as described in the article "EM Algorithms for Weighted Data Clustering with Application to Audio-Visual Scene Analysis” by ID Gebru et al (arXiv preprint arXiv: 1509.01509, 2015), which significantly improves the accuracy of the derived angle characteristic for a given number of samples.
  • noise source and hence the noise, which would most strongly contradict the assumption of Gaussian noise is probably noise, which is due to merging of different objects into a single object class
  • Object class given by the mean of the angular characteristics of the reference objects. If an object, for example a pickup, is to be correctly classified, the detected intensity distribution deviates significantly from the deterministic component of the stored angle characteristic. This must then be compensated for via the stochastic component. However, the stochastic component would not have any
  • Gaussian distribution since the stochastic component or the randomness also contains information about the object, here the mentioned sedan and the pickup.
  • a noise decomposition can be performed so that the non-Gaussian part of the noise is taken into account via a correction of the angle characteristic, for example via object subclasses "limousine” and "pickup", and the Gaussian part then according to the
  • Locating does not yield a unique position for the object, that is, for example, the probability for a first position differs from the probability for a second position by less than a predetermined limit, for the maximum likelihood estimator to assume two linearly overlapping objects passing through the maximum likelihood estimator can be classified and located.
  • the two positions preferably have a given
  • equation (10) can be adapted to a composition of two objects, d, 0 2 , whose respective angles ⁇ , ⁇ 2 can be estimated by:
  • ⁇ lt ⁇ 2 arg ⁇ ⁇ ⁇ ⁇ ⁇ ) ⁇ 2 i ( ⁇ ⁇ ⁇ , ⁇ ⁇ ⁇ ⁇ a i) ⁇ ⁇ ⁇ , ⁇ ⁇ 2 ⁇ ⁇ * ⁇ ), (19) where for simplicity all weights or weights set to 1. This is explained in more detail in the figure examples.
  • the objects are or are already classified, so that their object class K is known in equation (19).
  • the angle characteristics and thus also the probability density function are each a function of time, the temporal change of which is described in particular by a first-order Markov chain.
  • Kalman filter is used for localization and tracking
  • Observation model uses information from two consecutive observations and the transition probability. For example, those mentioned in the article “On Sparsity by NUV EM, Gaussian Message Passing, and Kalman Smoothing” by Hans-Andrea Loelinger et al. (ArXiv Preprint, arXiv: 1602.02673, 2016)
  • the invention also relates to a lidar sensor device for a motor vehicle, which is designed to scan an environment of the lidar sensor device with a scanning light, wherein the lidar sensor device comprises a sensor unit and a
  • the Computing unit has.
  • the sensor unit is designed to detect a plurality of light components of the scanning light reflected by an object in the surroundings for a plurality of respective measurement angles with a respective intensity.
  • the arithmetic unit is designed to assign the detected intensity and a calculated distance of the lidar sensor device from the object to the measurement angles, and to assign a plurality of intensities in the form of an intensity distribution to the object again.
  • the Stochastic component is deposited.
  • the deterministic component represents a respective deterministic influence of at least one
  • the stochastic component is with a
  • Probability density function deposited which represents a stochastic influence on the intensity distribution. Furthermore, the arithmetic unit is designed to classify the object as belonging to that object class on the basis of the associated intensity distribution, for which a maximum likelihood estimator for the stored angle characteristics with the stored probability density function (or the stored probability density functions) is the largest
  • Belonging probability and locating the object on the basis of the associated intensity distribution as located at the position relative to the sensor unit, for which the maximum likelihood estimator for the stored angle characteristics with the stored probability density function (or the stored probability density functions) the largest
  • lidar sensor device correspond here to advantages and advantageous embodiments of the described method.
  • the invention also relates to a motor vehicle having such a lidar sensor device. Further features of the invention will become apparent from the claims, the figures and the description of the figures.
  • embodiments of the invention are to be regarded as encompassed and disclosed, which are not explicitly shown and explained in the figures, however, emerge and can be produced by separated combinations of features from the embodiments explained.
  • Embodiments and combinations of features are also to be regarded as disclosed, which thus do not have all the features of an originally formulated independent claim.
  • embodiments and combinations of features, in particular by the embodiments set out above, are to be regarded as disclosed, which go beyond or deviate from the combinations of features set out in the back references of the claims.
  • FIG. 2 is an illustration of exemplary for the first example scenario detected
  • FIG. 3 shows a representation of exemplary deterministic components of an angle characteristic for the object in the first example scenario
  • FIG. 5 is an illustration of the first example scenario of expected detected intensities and the deterministic components of FIG. 3;
  • FIG. 6 is an illustration of the deterministic components of FIG. 3 with an estimated probability of residence for the object of the first.
  • Fig. 7 is an exemplary illustration by the lidar sensor device detected
  • FIG. 9 is an illustration of exemplary distances for the measurement setup of FIG. 8;
  • FIG. 10 is an illustration of exemplary intensities for the measurement setup of FIG. 8;
  • FIG. 11 is an illustration of exemplary detected intensities with an example.
  • Fig. 13 is a plan view of a second example scenario
  • Fig. 16 is a plan view of a third example scenario
  • 17 is an illustration of the detected intensities and an angle characteristic for the third example scenario.
  • Fig. 18 is a diagram of localization and classification terms for a
  • FIG. 19 is an illustration of an exemplary two-dimensional location term for the third example scenario.
  • the lidar sensor device 2 is designed to scan an environment 3 of the lidar sensor device 2 or the motor vehicle 1 with a scanning light.
  • a co-ordinate system is stored in the environment 3 in order to be able to better explain the mode of operation of the lidar sensor device 2.
  • the coordinate system of Figs. 2 to 8 and Figs. 13, 14, 16 and 17 are selected as the units of the axes by way of example meters [m].
  • the lidar sensor device 2 has a sensor unit 4, which is designed to detect a plurality of light portions of the scanning light reflected by an object O in the surroundings 3 for a plurality of respective measurement angles a, (FIG.
  • the lidar sensor device 2 also has an arithmetic unit 5, which is designed to measure the measurement angles a, respectively the detected intensity I, and a calculated distance d, (FIG. 2) of the lidar sensor device 2, or of the motor vehicle 1, of FIG Object O assign, as well as several intensities I, in the form of a
  • the intensity distribution can be assigned to the object O.
  • a respective angular characteristic R 0 , 0 with a deterministic component ff 0 , f 0 (FIG. 3) and with a stochastic component w, n is stored.
  • the deterministic component ff 0 , f 0 represents a respective deterministic influence of at least one reference object of the respective object class K in the scanned environment 3 on the intensity distribution.
  • the stochastic component w, n is deposited with or by means of a probability density function p 0 .
  • the probability density function p 0 characterizes the stochastic component w, n.
  • the stochastic component w, n and thus the probability density function Po thus represent a stochastic influence on the detected intensities I, which are assigned to the object O, in short: a stochastic influence on the detected intensity distribution.
  • the stochastic influence may, for example, be reflected in fluctuations of the detected intensities I.
  • the arithmetic unit 5 is designed here, the object O based on the assigned
  • Belonging probability and locate the object O based on the associated intensity distribution as located at the position (r, ⁇ ) relative to the sensor unit 4, for which the maximum likelihood estimator for the stored angle characteristics R 0 , r 0 with the stored probability density function p 0 provides the greatest probability of residence.
  • Motor vehicle 1, ie at the position (r, ⁇ ) another motor vehicle as object O is located.
  • This example scenario is also based on the graph shown in FIGS. 2 to 7.
  • FIG. 2 shows a representation of exemplary intensities and calculated distances detected for the example scenario of FIG. 1.
  • a respective intensity is detected up to l 6 , the size of which is represented here by the length of the dashed lines marked accordingly to l 6 .
  • the size of the distances di to d 6 is represented in the present case by the length of the correspondingly marked with di to d 6 arrows.
  • the calculated distances d i can be used to assign the detected intensities l i to the object o.
  • FIG. 3 shows a representation of exemplary deterministic components of an angle characteristic for the object in the first example scenario.
  • the measurement angles a starting from the sensor unit 4 (FIG. 1), are drawn in the form of a fan as a coordinate origin.
  • the object O is a uniform distance r from that of the sensor unit 4 and the sensor device 2 or the
  • deterministic component R 0 with respect to the distance distribution is given as a circle around the origin of the shown coordinate system.
  • the object class K for the observation ie the observed object O
  • the object class K for the observation can not be considered the (known) object class of the respective (to the detected Intensities matching) angle characteristic R 0 , 0 are determined. Rather, a deviation will exist over stochastic influences, compare equations (3) and (4). This will be explained with reference to Figures 4, 5 and 6 for the measured intensities to l 6 .
  • FIG. 4 shows a representation of exemplary random samples of an intensity distribution for the object in the first example scenario.
  • another scale is chosen for better illustration than in FIGS. 2 and 3.
  • the dashed lines represent an exemplary sample ⁇ 0 ( ⁇ , ⁇ ) in each case, which is represented by the
  • Probability space ⁇ can be determined. Each sample, ie each actually detected intensity (each realization), is an element in the probability space ⁇ .
  • the solid line here shows the expected value ⁇ ⁇ [ ⁇ 0 ( ⁇ , ⁇ )] for the detected intensity distribution.
  • the expected value ⁇ ⁇ [ ⁇ 0 ( ⁇ , ⁇ )] corresponds to the deterministic component ⁇ 0 ( ⁇ ) ( Figure 3), compare equations (1) and (2).
  • the curves ⁇ 0 ( ⁇ , ⁇ ) thus show samples of the angle characteristic R 0 , 0 , which is sampled or sampled by detecting the intensities I.
  • the maximum likelihood estimator Based on the detected intensities I, the maximum likelihood estimator now supplies the angle characteristic R 0 , 0 and thus the object class K, from which the sample with the greatest probability can be assigned.
  • FIG. 3 shows a representation of the detected intensities expected for the first example scenario and of the deterministic components from FIG. 3.
  • the deterministic component ⁇ 0 ( ⁇ ) and R 0 ⁇ a) are shown in each case.
  • FIG. 6 shows a representation of the deterministic components of FIG. 3 in the known representation and additionally the distribution of an estimated one
  • Probability of probability p0, f ⁇ O thus denotes the probability that the object O can be found at the location (ö, f). In the present case, this is represented by concentric rings, which lie around the actual position ( ⁇ , r) of the object O.
  • the shown distribution of the probability of residence or an approximation thereof can be used in a Kalman filter as observation or observation model and thus serve for object tracking.
  • FIG. 7 shows an exemplary representation of intensities detected by the lidar sensor device in the case of an unmatched dynamics of the sensor unit. If the detected intensity I, greater than a limit determined by the dynamics of the sensor unit, the observation (d ,, I,) is reduced to a pure point or distance information, as shown by the red crosses 61 to 6 4 , since in this case the detected intensities I, can not be usefully used via the angle characteristic R 0 , 0 to a classification of the object O. An adaptation of the dynamics of the sensor unit 4 to the detected intensities I, can therefore be decisive for the classification and
  • FIG. 8 shows a schematic representation of an exemplary measurement setup for measuring the deterministic component ff 0 , f 0 of the angle characteristic R 0 , r 0 for an object class K.
  • object class K is thereby a corresponding reference object O, for example, a pedestrian and / or a motor vehicle and / or a Road sign and / or another object, placed in the distance r in front of the sensor unit 4 on the polar coordinates (r, 0).
  • the sensor unit 4 is now rotated through 360 °, the detected intensities (FIG. 10) and distances (FIG. 9) are recorded as a function of the relative angle (.theta.-a).
  • FIG. 9 Illustrated in FIG. 9 are exemplary calculated distances for the measurement setup of FIG. 8.
  • the distances are plotted in meters over the relative angle ( ⁇ -a) in radians.
  • the thin line here represents a concrete, noisy realization ff o (0- ⁇ , ⁇ ) of the (distance-related) deterministic component R 0 .
  • Realization corresponds, represented by the thick line.
  • this deterministic component R 0 is a straight line at a distance of approximately 24 m.
  • FIG. 10 analogous to FIG. 9, exemplary detected intensities for the measurement setup of FIG. 8 are shown.
  • the intensities are shown in arbitrary units over the relative angle ( ⁇ - ⁇ ) in radians.
  • the respective realizations ⁇ 0 ( ⁇ - ⁇ , ⁇ ) are represented by the thin lines.
  • the thick line here represents the
  • the relative angles ( ⁇ -a) are discretized, ie in both figures the relative angles are divided into relative angle intervals 9 delimited by vertical lines 8.
  • the decretization in FIG. 11 is coarser than in FIG. 12, that is to say the relative angle intervals 9 are greater in FIG. 11, a relative angle interval 9 thus comprising more relative angle values in FIG. 11 than in FIG 12.
  • a respective empirical density 10 for the relative angle interval 9 can be derived from the distribution of the measured intensities within a relative angle interval 9, a respective empirical density 10 for the relative angle interval 9 can be derived.
  • the density 10 is present in the respective relative angle intervals 9, starting from respective vertical zero lines 1 1 as
  • the average values 12 in the example shown result in their entirety the measured deterministic component F 0 (ö-a) of the angle characteristic ⁇ 0 ( ⁇ -a).
  • both the fineness of the quantization level and the quantity of available measured intensities 7 have a considerable influence on the derived deterministic component F 0 (ö-a ) the angle characteristic ⁇ 0 ( ⁇ - a).
  • approximately 10,000 measurements have been carried out for FIG. 12, which are not all shown for reasons of clarity (in FIG. 11, not all the measured intensities underlying the densities 10 are also drawn).
  • the maximum likelihood estimator can then classify and locate the object.
  • observations by the sensor unit are independent of each other. Accordingly, the respective angle characteristic can be found for each object independently of other existing objects.
  • An observation of several objects is thus advantageously assumed to be a linear superimposition of the observations of the individual objects.
  • the second example scenario is shown in FIG.
  • There is a motor vehicle as object O on the polar coordinates (r; 9) (24.04m; 0).
  • Minimum identifies a value C for the vehicle curve 14 at the angle 9 C.
  • the value C of the minimum of the vehicle curve 14 is almost one order of magnitude, so it is smaller by a factor of 10 than the value P.
  • the maximum likelihood Estimator becomes thus classify the object O of FIG. 13 as belonging to the vehicle class and
  • the object O executed as a vehicle is now replaced by two pedestrians.
  • the localization and classification term according to equation (12) is now shown in FIG. 18, corresponding to FIG. 15, whereby in turn the weights or weights W 1 have been set to 1 for all measurement channels.
  • the vehicle curve 14 reaches here for the angle 9 C a minimum value C, which, however, is significantly above the minimum value Pi at the angle ⁇ of the pedestrian curve 1 3, in this case by a factor of 5 is greater. Therefore, the object O, that is the present objects d and 0 2 , identified as a pedestrian.
  • a second minimum of the pedestrian curve 13 with the value P 2 at angle ⁇ ⁇ 2 is only slightly larger than the minimum P 1; in the present case about twice as large. Therefore, the pedestrian-classified object d, 0 2 can not be accurately located. This makes sense, there is indeed the angle characteristic r r Kp or their deterministic component r r Kp given for a single person and stored so that upon superposition a unique localization would be a surprising result.
  • the symmetry of the illustrated localization term is noticeable, which is based on the fact that the two objects Oi and O 2 are presently identical objects.
  • two symmetric solutions yield the largest minimum, namely the position Q PV and ⁇ ⁇ 2 ⁇ on the one hand and the positions ⁇ ⁇ 1 and ⁇ ⁇ 2 on the other hand since both objects can be interchanged.
  • the value of the minimum is also less than the values P 1 ; P 2 in Figure 18.
  • the maximum likelihood estimator described with equation (19) is thus able to recognize that with a higher probability there are two objects and 0 2 , two pedestrians than only one single object. In addition, he can determine the position of both objects.
  • the output of the maximum likelihood estimator is soft in the sense that a complete stochastic description of the likelihood of location and classification (the function visualized in Fig. 19) at a location ⁇ or (r, ⁇ ) for an object class K is available because the localization and classification term to be minimized preserves all existing information about the
  • Probability maximization for each observation was derived. Therefore, for example, the probability density function p 0 can also be derived from the metrics or terms visualized in FIGS. 15, 18, and 19.

Abstract

Die Erfindung betrifft ein Verfahren zum Betreiben einer Lidar-Sensorvorrichtung (2) eines Kraftfahrzeugs (1), bei welchem einem Objekt (O, O1, O2) in einer Umgebung (3) der Lidar-Sensorvorrichtung (2) mehrere Intensitäten (Ii) in Form einer Intensitätsverteilung zugeordnet werden, und eine jeweilige Winkel-Charakteristik (R o ,Γ o ) mit einer deterministischen Komponente (Formel (I)) und mit einer stochastischen Komponente in einer Recheneinheit (5) der Lidar-Sensorvorrichtung (2) für mehreren Objektklassen hinterlegt wird, wobei die deterministische Komponente (Formel (I)) einen jeweiligen deterministischen Einfluss von zumindest einem Referenz-Objekt (O, O1, O2) der jeweiligen Objektklasse in der abgetasteten Umgebung (3) auf die Intensitätsverteilung repräsentiert, und wobei die stochastische Komponente mit einer Wahrscheinlichkeitsdichtefunktion hinterlegt wird, welche einen stochastischen Einfluss auf die Intensitätsverteilung repräsentiert; und bei welchem das Objekt (O, O1, O2) anhand der zugeordneten Intensitätsverteilung als zu derjenigen Objektklasse zugehörig klassifiziert wird, für welche ein Maximum-Likelihood-Schätzer für die hinterlegten Winkel-Charakteristiken (R o ,Γ o ) mit der hinterlegten Wahrscheinlichkeitsdichtefunktion die größte Zugehörigkeitswahrscheinlichkeit liefert, und bei welchem das Objekt (O, O1,, O2) anhand der zugeordneten Intensitätsverteilung als an derjenigen Position (r, θ) lokalisiert wird, für welche der Maximum-Likelihood-Schätzer für die hinterlegten Winkel-Charakteristiken (R o ,Γ o ) mit der hinterlegte Wahrscheinlichkeitsdichtefunktion die größte Aufenthaltswahrscheinlichkeit liefert, um die Klassifikation von Objekten (O, O1, O2) durch die Lidar-Sensorvorrichtung (2) in einem Kraftfahrzeug (1) zu verbessern.

Description

Klassifikation und Lokalisation eines Objektes durch eine Lidar-Sensorvorrichtung eines
Kraftfahrzeugs
Die Erfindung betrifft ein Verfahren zum Betreiben einer Lidar-Sensorvorrichtung eines Kraftfahrzeugs mit einem a) Abtasten einer Umgebung der Lidar-Sensorvorrichtung mit einem Abtast-Licht der Lidar-Sensorvorrichtung; einem b) Erfassen mehrerer von einem Objekt in der Umgebung reflektierten Lichtanteile des Abtast-Lichts durch eine
Sensoreinheit der Lidar-Sensorvorrichtung für mehrere jeweilige Messwinkel mit einer jeweiligen Intensität; einem c) jeweiligen Zuordnen der erfassten Intensität und einer berechneten Entfernung der Lidar-Sensorvorrichtung von dem Objekt zu den
Messwinkeln durch eine Recheneinheit der Lidar-Sensorvorrichtung; und einem d) Zuordnen mehrerer Intensitäten in Form einer Intensitätsverteilung zu dem Objekt. Sie betrifft auch eine Lidar-Sensorvorrichtung für ein Kraftfahrzeug, welche ausgebildet ist, eine Umgebung der Lidar-Sensorvorrichtung mit einem Abtast-Licht abzutasten, mit einer Sensoreinheit, welche ausgebildet ist, mehrere von einem Objekt in der Umgebung reflektierten Lichtanteile des Abtast-Lichts für mehrere jeweilige Messwinkel mit einer jeweiligen Intensität zu erfassen; und mit einer Recheneinheit, welche ausgebildet ist, zu den Messwinkeln jeweils die erfasste Intensität und eine berechnete Entfernung der Lidar- Sensorvorrichtung von dem Objekt zuzuordnen sowie mehrere Intensitäten in Form einer Intensitätsverteilung wiederum dem Objekt zuzuordnen.
Unter einer Lidar-Sensorvorrichtung (Light Detection and Ranging-Vorrichtung,
Vorrichtung zur optischen Abstands- und/oder Geschwindigkeitsmessung) für eine Kraftfahrzeug kann hier und im Folgenden jegliche optoelektronische Sensorvorrichtung für ein Kraftfahrzeug verstanden werden, welche einen oder mehrere Emitter zum
Erzeugen und Abstrahlen zumindest eines Lichtstrahls (also eines oder mehrerer
Lichtstrahlen) aufweist, mit dem oder denen als Abtast-Licht eine Umgebung der
Sensorvorrichtung abtastbar ist, und welche eine entsprechende Sensoreinheit aufweist, welche für mehrere verschiedene Messwinkel, also ortaufgelöst, die reflektierten
Lichtanteile des Lichtstrahls erfasst. Derartige Sensorvorrichtungen können
beispielsweise Mehrfachstrahl-Intensitäts-Mess-Sensorvorrichtungen (multi-beam intensity measurement based sensor) umfassen oder sein. Dabei kann die Umgebung durch den Lichtstrahl seriell, also Punkt für Punkt nacheinander, oder parallel, also beispielsweise großflächig durch einen Blitz, abgetastet werden. Die Beobachtung der Sensorvorrichtung, also die erfassten reflektierten Lichtanteile des Abtast- Lichts, werden dabei üblicherweise in Paaren einer jeweiligen Entfernung d, und einer jeweiligen Intensität I, für jeden Messwinkel a, angegeben. Diese Paare bilden einen sogenannten Beobachtungsvektor, dessen Einträge jeweils einem Messkanal i zugeordnet sind. Dabei kann ein Messwinkel a, mehreren verschiedenen Messkanälen zugeordnet sein und entsprechend für den einen Messwinkel a, mehrere jeweilige Entfernungen d, und jeweilige Intensitäten I, erfasst beziehungsweise berechnet werden.
In diesem Zusammenhang ist beispielsweise aus der DE 10 2004 003 870 A1 ein
Verfahren zur Klassifizierung von Objekten bekannt, bei welchem Objekte in einem Erfassungsbereich eines Sensors für elektromagnetische Strahlung auf Basis eines von dem Sensor erfassten Abstandsbildes klassifiziert werden. Dabei wird auch eine von der Energie des Echopulses abhängig Echopulseigenschaft berücksichtigt, beispielsweise eine Pulshöhe des jeweiligen Echopulses. Für die Echopulseigenschaft kann hier auch ein Referenzverlauf vorgegeben sein.
Es stellt sich somit die Aufgabe, die Klassifikation von Objekten durch eine Lidar- Sensorvorrichtung in einem Kraftfahrzeug zu verbessern.
Diese Aufgabe wird durch die Gegenstände der unabhängigen Patentansprüche gelöst. Vorteilhafte Ausführungsformen ergeben sich aus den abhängigen Patentansprüchen, der Beschreibung und den Figuren.
Der Schlüsselgedanke ist hier, ein Objekt O über eine Winkel-Charakteristik
(βο (α); Γο(α ) zu definieren, die für einen gegebenen Messwinkel a, einem Paar aus berechneter Entfernung d, und erfasster Intensität I, entspricht. Diese Winkel- Charakteristik kann durch eine Objektklasse K des Objektes, einen Typ des Objektes, und eine Position (r, Θ) des Objektes parametrisiert werden. Die Position kann auch als Relativposition (zu einer Sensorvorrichtung) bezeichnet werden. Das Objekt O (K, r, Θ) befindet sich dabei in den Polarkoordinaten auf der Position (r, Θ) und gehört zu der Objektklasse K. Die Winkel-Charakteristik kann dann genutzt werden, um die
Sensorvorrichtung inklusive ihres Einflusses auf die Messung über eine
Wahrscheinlichkeitsfunktion zu modellieren, das Objekt zu lokalisieren, das heißt seine Position (relativ zu der Sensorvorrichtung oder einer Sensoreinheit der Sensorvorrichtung) abzuschätzen, sowie das Objekt zu klassifizieren. Gerade der erste dieser drei Punkte, das Modellieren des Einflusses der Sensorvorrichtung auf die Messung, kann in bekannten Systemen nur schwerlich umgesetzt werden. Ein Ziel des im Folgenden im Rahmen des Verfahrens beschriebenen Modells ist somit ein Verhalten der Lidar-Sensorvorrichtung zu beschreiben. Das bedeutet, dass das Modell zuverlässig die Beobachtung der Sensorvorrichtung als Funktion einer realen Szene vorsagen können soll. Diese Funktion kann genutzt werden, um reale Messungen mit der Sensorvorrichtung und deren Verarbeitung durch Simulationen zu ersetzen, sowie um grundsätzliche Begrenzungen der Sensorvorrichtung, die beispielsweise durch den Crammer-Rao Grenzwert vorgegeben werden, zu ermitteln.
Die Erfindung betrifft nun ein Verfahren zum Betreiben einer Lidar-Sensorvorrichtung eines Kraftfahrzeugs mit einer Reihe von Verfahrensschritten. Die Lidar- Sensorvorrichtung kann im Folgenden der Einfachheit halber auch als
„Sensorvorrichtung" bezeichnet werden. Ein erster Schritt ist hier ein Abtasten einer Umgebung der Lidar-Sensorvorrichtung mit einem Abtast-Licht, beispielsweise einem oder mehreren Lichtstrahlen oder Laserstrahlen, der Lidar-Sensorvorrichtung. Das Abtast- Licht kann somit einen oder mehrere Lichtstrahlen umfassen, die von einem oder mehreren Emittern in die Umgebung der Lidar-Sensorvorrichtung abgestrahlt werden. Dabei kann die Umgebung abgetastet werden, indem beispielsweise ein Lichtstrahl die Umgebung seriell abfährt und so seriell eine Vielzahl von Messwinkeln ai abfährt oder indem eine Vielzahl von Lichtstrahlen zeitlich parallel die Vielzahl an Messwinkeln ai abtastet. Ein weiterer Verfahrensschritt ist ein Erfassen mehrerer von einem Objekt in der Umgebung reflektierten Lichtanteile des Abtast-Lichts durch eine Sensoreinheit der Lidar- Sensorvorrichtung für mehrere jeweilige Messwinkel a, mit einer jeweiligen Intensität I, des reflektierten Lichtanteils. Es werden somit durch die Sensoreinheit mehrere Lichtanteile erfasst, das heißt für jeden Messwinkel a, zumindest ein reflektierter Lichtanteil. Es können somit grundsätzlich auch für einen Messwinkel a, mehrere unterschiedliche Intensitäten I, erfasst werden. Beispielsweise kann die Lidar-Sensorvorrichtung so 16 Messkanäle i, welchen unterschiedliche Messwinkel ai zugeordnet sind aufweisen und für eine vorgegebene Szene beispielsweise in sechs der 16 Messwinkel ein reflektierter Lichtanteil erfasst werden.
Ein weiterer Verfahrensschritt ist ein jeweiliges Zuordnen der erfassten Intensität I, und einer aus dem jeweiligen reflektierten Lichtanteil berechneten Entfernung d, der Lidar- Sensorvorrichtung oder der Sensoreinheit von dem Objekt, an dem der jeweilige
Lichtanteil reflektiert wurde, zu den Messwinkeln durch eine Recheneinheit der Lidar- Sensorvorrichtung. Die Entfernung d, ist dabei wie bekannt aus einer Laufzeit des Abtast- Lichtes und des erfassten reflektierten Lichtanteils berechenbar. Jedem Messwinkel a, wird somit eine Intensität I, und eine Entfernung d, zugeordnet. Daher kann die Beobachtung der Sensorvorrichtung durch den Beobachtungsvektor A= [.., (d,, I,),..] repräsentiert werden. Den Sensor- oder Messkanälen i ist dabei entsprechend der jeweilige Messwinkel a, zugeordnet. In den jeweiligen Messkanälen i, in denen ein reflektierter Lichtanteil erfasst wurde, ist nun die Entfernung d, und die Intensität I, ungleich 0, im oben genannten Beispiel also für sechs der 16 Messwinkel α,. Wird in einem
Messkanal i für einen Messwinkel a, kein reflektierter Lichtanteil erfasst, ist die
entsprechende Intensität I, gleich 0 oder nicht definiert und eine zugehörige Entfernung d, unendlich oder nicht definiert. Dies ist im genannten Beispiel für die restlichen zehn Messwinkel a, der Fall. Um den Beobachtungsvektor A formal zu definieren, auch wenn in einem jeweiligen Kanal oder Lichtstrahl i keine Intensität erfasst wird, wird in diesem Fall 0 für die detektierte Intensität und beispielsweise ein sehr großer endlicher Wert für die Entfernung angenommen.
Ein weiterer Verfahrensschritt ist ein Zuordnen mehrerer Intensitäten in Form einer Intensitätsverteilung zu dem Objekt durch die Recheneinheit. Entsprechend können alternativ oder ergänzend auch mehrere Entfernungen in Form einer
Entfernungsverteilung zu dem Objekt zugeordnet werden. Bei dem Zuordnen der
Intensitäten zu dem Objekt können dem Objekt insbesondere die Messwinkel und damit Intensitäten zugeordnet werden, für welche die jeweiligen Entfernungen um weniger als einen vorgegebenen Wert voneinander abweichen und/oder welche einen
zusammenhängenden Messwinkelbereich bilden.
Ein wichtiger Verfahrensschritt ist dabei ein Hinterlegen einer jeweiligen Winkel- Charakteristik („angular characteristics") (β0 (α); Γ0 (α)), welche eine oder mehrere Winkel-Charakteristika oder Merkmale umfasst, für mehrere Objektklassen in der
Recheneinheit. Für jede Objektklasse ist also eine Winkel-Charakteristik (β0 (α); Γ0(α)) hinterlegt. Die Winkel-Charakteristik kann dabei im Folgenden mit ff0(a) bezeichnet werden, wenn sie dich auf die berechneten Entfernungen bezieht, und/oder mit Γ0 (α), wenn sie sich auf die erfassten Intensitäten bezieht. Die Winkel-Charakteristik weist dabei eine deterministische Komponente (ff0 (a); F0 (a)) und eine stochastische Komponente (w; n) auf. Deterministische Komponente und stochastische Komponente können dabei analog zur Winkel-Charakteristik mit ff0 (a) beziehungsweise Γ0(α) und w
beziehungsweise n bezeichnet werden. Die deterministische Komponente repräsentiert einen jeweiligen deterministischen, also deterministisch bestimmbaren oder konkret vorhersagbaren, Einfluss von zumindest einem, bevorzugt mehreren Referenzobjekten der jeweiligen Objektklasse an einer vorgegebenen Position in der abgetasteten
Umgebung auf die Intensitätsverteilung und/oder gegebenenfalls auf die Entfemungsverteilung. Diese deterministische Komponente kann dabei beispielsweise wie weiter unten erläutert empirisch für verschiedene Objektklassen ermittelt werden.
Die deterministische Komponente der Winkel-Charakteristik beschreibt somit die
Intensitätsverteilung und/oder die Entfernungsverteilung für ein gegebenes Objekt, ein Referenzobjekt, der Objektklasse K als eine Funktion des Winkels α und/oder des Abstands r, wobei (r, Θ) die Position des Objekts O in Polarkoordinaten mit der Position der Sensoreinheit als Koordinatenursprung bezeichnet. Insbesondere kann die Winkel- Charakteristik auch einen bekannten deterministischen Einfluss der Lidar-Vorrichtung auf die erfassten Intensitäten repräsentieren, beispielsweise ein Strahleigenschaft des Abtast- Lichts in dem jeweiligen Messkanal i.
Das Ziel ist es also, die Beobachtung der Sensoreinheit vorherzusagen, wenn das Objekt O sich in der Umgebung der Sensorvorrichtung zu einer vorgegebenen Zeit in der Position (r, Θ) relativ zu der Sensoreinheit befindet. Dabei wird angenommen, dass die Beobachtung durch den Beobachtungsvektor gegeben ist, der sich aus (d^) =
(ff0 (aj), r0 (aj)) für alle Messkanäle i zusammensetzt, wobei (β0 (α); Γ0 (α)) wie beschrieben die Winkel-Charakteristik für die Entfernung und die Intensität für das gegebene Objekt O als eine Funktion des Messwinkels α ist. Dabei kann vorliegend angenommen werden, dass die beobachteten Werte (d,, I,) die Werte einer jeweiligen Winkel-Charakteristik-Funktion sind, welche an den an den Messwinkeln a, ausgewertet oder„gesampelt" wurden.
Es ist jedoch naiv, die Beobachtung rein basierend auf einem deterministischen Modell zu modellieren beziehungsweise verstehen und vorhersagen zu wollen. Daher wird die deterministische Komponente der Winkel-Charakteristik mit der stochastischen
Komponente der Winkel-Charakteristik ergänzt. Es wird also ein stochastischer Einfluss von beispielsweise dem Objekt und/oder der Lidar-Sensorvorrichtung und/oder allgemein des Messvorgangs auf die erfassten Intensitäten, kurz die erfasste Intensitätsverteilung, in der Winkel-Charakteristik durch die stochastische Komponente berücksichtigt. Die konkret vorliegende und auszuwertende Intensitätsverteilung und/oder Entfernungsverteilung wird somit für ein Objekt O durch jeweilige Zufallsprozesse (R0( ,n),r0 ( ,n)) als Winkel- Charakteristiken erzeugt, wobei Ω für einen Wahrscheinlichkeitsraum oder die möglichen Realisierungen der Zufallsprozesse, die möglichen Realisierungen der Winkel- Charakteristiken, steht. Die durch die Zufallsprozesse (R0 ( ,n),r0 ( ,n)) berücksichtigte Zufälligkeit („randomness") deckt sämtliche (stochastische) Einflüsse ab, welche nicht von der deterministischen Komponente der Winkel-Charakteristik abgedeckt (oder berücksichtigt) werden, insbesondere (geringfügige) Abweichungen zwischen der gemäß der jeweiligen deterministischen Komponente der Winkel-Charakteristik für die
Objektklasse eines in der Umgebung vorhandenen Objekts zu erwartenden
Intensitätsverteilung und/oder Entfernungsverteilung und der für das vorhandene Objekt tatsächlich erfassten Intensitätsverteilung und/oder berechneten Entfernungsverteilung mit den erfassten Intensitäten beziehungsweise berechneten Entfernungen. Weitere insbesondere durch die stochastische Komponente kompensierte stochastische Einflüsse können beispielsweise eine unbekannte Verkippung der Lidar-Sensorvorrichtung aufgrund von beispielsweise Beschleunigung und/oder Beladung des Kraftfahrzeugs sein, sowie ein Signalrauschen in der Lidar-Sensorvorrichtung und/oder in der Messkette.
Insbesondere kann hier sämtliches Signalrauschen der Messkette berücksichtigt oder kompensiert werden. Unter stochastischem Einfluss kann bevorzugt also jeglicher Einfluss verstanden werden, welcher nicht als deterministischer Einfluss durch die jeweilige deterministische Komponente der Winkel-Charakteristiken repräsentiert und damit berücksichtigt ist. Die Relation zwischen der deterministischen Komponente der Winkel-Charakteristik und der Winkel-Charakteristik als die erfasste Intensität
beziehungsweise die berechnete Entfernung verursachenden Zufallsprozess ist dabei durch
R0 {a) = En [R0 {a, n)] (1 )
f0 (a) = ΕΩ [Γ0 (α, Ω)] (2)
Gegeben, wobei Ea den Erwartungswert über dem Wahrscheinlichkeitsraum Ω
beschreibt. Dies führt dazu, dass die Beobachtung (d,, I,) in einem gegebenen Messkanal i (also für einen jeweiligen Lichtstrahl) für alle i gegeben ist durch:
(di. /i) = {R0 {a ), {r0 {a )) (3)
= iRo iad + ινί (Λ), Γ0 (αί) + η^Ω)) (4) wobei Wj( 3) und η^Ω) die stochastische oder zufällige Komponente der Winkel- Charakteristik repräsentieren und einen Mittelwert von 0 aufweisen. Der zufällige
Charakter dieser Teile, also die stochastische Komponente der Winkel-Charakteristik, kann durch ihre zugehörige Wahrscheinlichkeitsdichtefunktion (probability density function, pdf) po(w0,... ,wN-i , n0,... ,nN-i ) für N Messkanäle i vollständig beschrieben werden. Die Wahrscheinlichkeitsdichtefunktion p0 repräsentiert daher den stochastischen Einfluss auf die Intensitätsverteilung ebenso wie die stochastische Komponente. Daher wird die Wahrscheinlichkeitsdichtefunktion für die stochastische Komponente in der Recheneinheit hinterlegt und automatisch mit der Wahrscheinlichkeitsdichtefunktion inhärent auch die stochastische Komponente. Die Wahrscheinlichkeitsdichtefunktion kann durch den in den Messwinkeln a, abgetasteten Zufallsprozess gegeben sein. Die Likelihood-Funktion für eine gegebene Beobachtung A kann daher mit der Wahrscheinlichkeitsdichtefunktion p0 beschrieben werden und ist gegeben durch
Λ(Α|0) = o {d0 - Ro (a0), ... , dN-i - R0 (^N-I)> IO - ΓΟΜ, - N-I - Γ0 (αΝ-ι))- (5)
Daher erfolgt in dem erfindungsgemäßen Verfahren auch ein Hinterlegen der
Wahrscheinlichkeitsdichtefunktion, welche den, insbesondere sämtlichen, stochastischen Einfluss von dem Objekt in der abgetasteten Umgebung auf die Intensitätsverteilung und/oder die Entfernungsverteilung sowie den stochastischen Einfluss der Lidar- Sensorvorrichtung an sich auf die Intensitätsverteilung und/oder die Entfernungsverteilung repräsentiert. Die Winkel-Charakteristik wird dabei mit der
Wahrscheinlichkeitsdichtefunktion in der Recheneinheit hinterlegt. Der stochastische Einfluss des Objekts kann dabei beispielsweise die oben genannten geringfügigen Abweichungen betreffen. Der Einfluss der Lidar-Sensorvorrichtung auf die
Intensitätsverteilung kann dabei beispielsweise die beschriebene unbekannte Verkippung oder das beschriebene Signalrauschen repräsentieren.
Ein großer Vorteil der gewählten Beschreibung ist, dass sie für die Sensorvorrichtung mathematisch exakt ist, wenn die Objektklassen (und damit die deterministische
Komponenten) genau definiert sind und eine vollständige Beschreibung der Zufälligkeit oder Zufallsprozesse (und damit die stochastische Komponenten), aus welchen sich über das Abtasten beziehungsweise Sampeln an den Messwinkeln a, die
Wahrscheinlichkeitsdichtefunktion ableitet, verfügbar ist. In der Praxis ist daher eine möglichst genaue Beschreibung der Zufallsprozesse und damit der stochastischen Komponente für eine vorliegende Sensorvorrichtung ein wichtiger Punkt. Beispielsweise kann die genaue Beschreibung wie weiter unten beschrieben erreicht werden. Für die stochastische Komponente können dabei wie für vorteilhafte Ausführungsformen beschrieben vereinfachende Annahmen getroffen werden.
Ausgehend von dem beschriebenen vorteilhaften Verfahren ist nun ein Maximum- Likelihood-Schätzer (maximum-likelihood-estimator), ein
Maximalwahrscheinlichkeitsschätzer, inhärent verfügbar. Betrachtet man hier den Beobachtungsvektor A in der Sensorvorrichtung so findet ein Maximum-Likelihood- Schätzer das O, für welches Λ(Α|0) maximiert wird. Dies ergibt θ, τ, Κ = arg max0,e r K (Λ04|Ο)) (6) = arg maxo.0 r K p0 (d0— R0 (ß— a0), ... , —R0 (ß— aW-i)< I0— Γ0 (β— a0), ... , lN_ —
Γ0 (β - αΝ_3) . (?)
Für eine bekannte Wahrscheinlichkeitsdichtefunktion ist mit Gleichung (7) so geschätzte Position (0, f) und geschätzte Objektklasse K des Objekts O bestimmbar. Zwar ist es grundsätzlich denkbar, dass ein anderer Schätzer mit einer geringeren Varianz für den allgemeinen Fall (das heißt„unbiased") existiert, allerdings ist die hier vorgeschlagene Wahrscheinlichkeitsbeschreibung besonders vorteilhaft, wenn mehrere Beobachtungen hintereinander durchgeführt werden und beispielsweise mit einem Kaiman-Filter ein Posterior abgeschätzt werden soll, also eine Objektverfolgung realisiert werden soll.
Entsprechend erfolgt als weiterer Verfahrensschritt ein Klassifizieren des Objekts O anhand der zugeordneten Intensitätsverteilung als zu derjenigen Objektklasse K zugehörig, für welche ein (das heißt der allgemein als solcher bekannte) Maximum- Likelihood-Schätzer, also ein Schätzer, welcher nach der Maximum-Likelihood-Methode oder Maximalwahrscheinlichkeitsmethode arbeitet, für die hinterlegten Winkel- Charakteristiken mit der hinterlegten Wahrscheinlichkeitsdichtefunktion (oder mit den hinterlegten Wahrscheinlichkeitsdichtefunktionen) die größte
Zugehörigkeitswahrscheinlichkeit liefert. Ebenfalls erfolgt ein Lokalisieren des Objekts anhand der zugeordneten Intensitätsverteilung als an der Position (r, Θ) relativ zu der Sensoreinheit verortet, für welche der Maximum-Likelihood-Schätzer für die hinterlegten Winkel-Charakteristiken mit der hinterlegten Wahrscheinlichkeitsdichtefunktion (oder mit den hinterlegten Wahrscheinlichkeitsdichtefunktionen) die größte
Aufenthaltswahrscheinlichkeit liefert.
Dabei können auch weitere Parameter für das Klassifizieren genutzt beziehungsweise berücksichtigt werden, beispielsweise eine Eigengeschwindigkeit des Objekts und/oder eine Rotation des Objekts. Insbesondere können, um das Modell möglichst einfach zu halten, diese weiteren Parameter, welche die Beobachtung beeinflussen, entweder als zufällige Parameter betrachtet werden (beispielsweise die Eigengeschwindigkeit des Objekts) und in der Wahrscheinlichkeitsdichtefunktion berücksichtigt werden, oder als deterministische Parameter betrachtet werden, welche beispielsweise über die Vorgabe oder die Funktion weiterer Objektklassen oder beispielsweise auch Unterklassen berücksichtigt werden können. Derartige Unterklassen können beispielsweise für eine Objektklasse„Kraftfahrzeug" Frontansicht des Kraftfahrzeugs, Heckansicht des Kraftfahrzeugs, Kraftfahrzeug im Regen, Kraftfahrzeug bei Schneefall und dergleichen sein. Das Objekt kann insbesondere auch anhand der Messwinkelverteilung, welche der Intensitätsverteilung entspricht, lokalisiert werden.
Das beschriebene Verfahren hat den Vorteil, dass das Objekt durch den Maximum- Likelihood-Schätzer auf eine vereinheitlichte Weise in einem integrierten Gesamtansatz sowohl lokalisiert als auch klassifiziert werden kann. Dabei ist ein wichtiger Punkt, dass über die gewählte Beschreibung erstmalig das Verhalten der Sensorvorrichtung selber explizit in der Verarbeitung berücksichtigt wird. Insgesamt wird so die Genauigkeit des Klassifizierens und des Lokalisierens erhöht und gleichzeitig eine Basis geschaffen, welche es erlaubt, Werkzeuge der Mathematik, welche im Zusammenhang mit Maximum- Likelihood-Schätzern bereits bekannt sind, nun auf eine Lidar-Sensorvorrichtung anzuwenden. Beispielsweise kann so der Crammer-Rao-Grenzwert für die
Sensorvorrichtung bestimmt werden, was in dem konventionellen Sensorsystemen und entsprechenden Betriebsverfahren aufgrund der dortigen komplizierten Beschreibung der Sensorvorrichtung praktisch nicht möglich ist. Besonders vorteilhaft ist vorliegend, dass deterministische und stochastische Einflüsse getrennt quantifiziert werden können, was es erlaubt, das Verfahren gezielt auf zu erwartende Szenarien anzupassen und für eine verbesserte Klassifikation und Lokalisation gezielt auch das vorhandene Vorwissen bestmöglich zu nutzen.
Insbesondere kann hier das Abtasten der Umgebung, das Erfassen der reflektierten Lichtanteile, das Zuordnen der erfassten Intensitäten zu den Messwinkeln und das Zuordnen der Intensitäten zu dem Objekt in Form der Intensitätsverteilung sowie das Klassifizieren und Lokalisieren wiederholt, insbesondere fortlaufend, erfolgen.
In einer vorteilhafte Ausführungsform ist vorgesehen, dass die hinterlegte Winkel- Charakteristik eine eindimensionale Funktion der Intensität über dem Messwinkel α ist. Es wird somit angenommen, dass die Entfernung d, jeweils für alle Messwinkel a, konstant gleich der Entfernung r des Objekts O ist, das heißt
Figure imgf000011_0001
ist für alle i („constant distance model"). Die stochastische Komponente kann dabei auf Null gesetzt werden. Diese vorteilhafte Annahme beruht auf der Feststellung, dass für ein Objekt die beobachteten Abstände d, oft auf einer eindimensionalen Linie liegen, welche im Wesentlichen senkrecht zu fächerartig von der Sensoreinheit ausgehenden Strahlen verläuft. Daher kann angenommen werden, dass die Entfernungskomponente d, des Beobachtungsvektors A für alle Messkanäle i, welche auf ein gleiches Objekt bezogen sind, konstant ist. Es wird somit angenommen, dass alle berechneten Entfernungen für das zu klassifizierende und lokalisierende Objekt gleich sind, und beispielsweise einen Mittelwert der tatsächlich gemessenen Entfernungen d, sind. Dies erscheint eine sehr drastische Annahme, allerdings ist der Vorteil, der dadurch erreicht wird, eine
beträchtliche Reduzierung der Komplexität. Abweichungen von dieser Annahme können auch als stochastischer Einfluss über die Wahrscheinlichkeitsdichtefunktion berücksichtigt werden. Werden keine konstanten Entfernungen angenommen für die unterschiedlichen Messkanäle i können die Entfernungsinformationen eine wertvolle Informationsquelle sein, welche dazu benutzt werden können das Verfahren weiter in der Genauigkeit zu erhöhen. Das hat den Vorteil, dass die Beobachtung, das heißt der Beobachtungsvektor A, in den für das Klassifizieren und Lokalisieren betrachteten Messkanälen i
ausschließlich durch die erfassten Intensitäten I, bestimmt ist.
In einer weiteren vorteilhaften Ausführungsform ist vorgesehen, dass nach dem
Klassifizieren und Lokalisieren des Objekts ein Kaiman-Filter zur Positionsverfolgung des Objekts, zum sogenannten„Tracking" des Objekts, angewendet wird. Für die bekannte gegebene Wahrscheinlichkeitsdichtefunktion p0 ermöglicht die Gleichung (7) die
Lokalisierung und Klassifikation des Objekts. Ausgehend von der
Wahrscheinlichkeitsdichtefunktion p0 kann also die Schätzung des Maximum-Likelihood- Schätzers weiter, beispielsweise durch den Kaiman-Filter, ausgewertet werden. Falls der Maximum-Likelihood-Schätzer zur Objektverfolgung mit dem Kaiman-Filter kombiniert wird, folgt ein Prior, also eine Vorhersage über das Objekt O, aus der
Zustandsaktualisierung in dem Kaiman-Filter, sodass eine maximale Wahrscheinlichkeit für den Posterior abgeleitet werden kann.
In einer weiteren Ausführungsform ist vorgesehen, dass für die
Wahrscheinlichkeitsdichtefunktion eine Normalverteilung, insbesondere eine
mehrdimensionale Normalverteilung, eine sogenannte„multivariate Gaussian distribution", angenommen wird. Die Wahrscheinlichkeitsdichtefunktion kann hier somit eine
Normalverteilung sein beziehungsweise normal verteilt sein. Überdies wird dabei die Unabhängigkeit der einzelnen Intensitäten der Intensitätsverteilung und/oder der einzelnen Entfernungen der Entfernungsverteilung angenommen. Es wird also die
Unabhängigkeit der erfassten Intensitäten und/oder der berechneten Entfernungen untereinander angenommen beziehungsweise dass die Intensitäten und/oder
Entfernungen als Komponenten der jeweiligen Verteilung unabhängig sind. Dieser Ausführungsform liegt die Erkenntnis zugrunde, dass, selbst wenn der in
Gleichung (7) beschriebene Schätzer ausgehend von den im Rahmen dieses Verfahrens getroffenen Annahmen über das Verhalten der Sensorvorrichtung (also über das
Sensormodell), welches dem Schätzer zugrunde liegt, das bestmögliche Ergebnis liefert, eine mathematische Beschreibung der stochastischen Einflüsse auf die Messung, das heißt die genaue Wahrscheinlichkeitsdichtefunktion, unter Umständen nur mit großem Aufwand auszuwerten ist. Das Treffen der genannten Annahmen bezüglich der
Wahrscheinlichkeitsdichtefunktion p0, welche durch Zufallsprozesse bei der Beobachtung bestimmt ist, vereinfacht das Auswerten dabei signifikant und ist im allgemeinen Fall leicht anzuwenden. Ist nämlich die Wahrscheinlichkeitsdichtefunktion p0 eine Normalverteilung mit unabhängigen individuellen Komponenten, ergibt sich
Figure imgf000013_0001
wobei C eine Normierungskonstante ist und a2 d,i, σ2 Μ jeweils die Varianzen der i-ten Komponente repräsentieren. Der Maximum-Likelihood-Schätzer wird damit vereinfacht zu
Θ, r, K = arg min0.M Σι Wdii [dt - R0 (0 - at)] 2 + WIA [h - Γ0 (Θ - at)] 2 , (9) wobei die Gewichte gegeben sind durch Wd i =— und W =—.
ad,i ' aI,i
Wird nun beispielsweise wie weiter oben in einer anderen Ausführungsform
angenommen, dass für die Winkel a, der berechnete Abstand η konstant, also r ist, das heißt für alle Winkel ai mit den Intensitäten I, für die vorgenommenen Berechnungen dieser Abstand auf r gesetzt, so ist der geschätzte Abstand f direkt durch f = 1/Ν Σι άί gegeben, wobei N die Anzahl der Messkanäle i für das Objekt ist, beziehungsweise die Anzahl der Messkanäle i, die dem Objekt zugeordnet sind. Das Minimierungsproblem in Gleichung (9) vereinfacht sich somit in diesem Fall zu
Θ, Κ = arg mino^ i W^Ii - Γ0 {θ - at)} 2. (1 0)
Es ergibt sich somit der Vorteil einer vereinfachten Berechnung, welche auf generelle Fälle anwendbar ist. In einer weiteren vorteilhaften Ausführungsform ist vorgesehen, dass von mehreren Objekten in der Umgebung reflektierte Lichtanteile erfasst werden, also mehrere Objekte in der abgetasteten Umgebung vorhanden sind, an welchen das Abtast-Licht reflektiert wird, so dass die erfassten Lichtanteile teilweise von unterschiedlichen Objekten stammen. Insbesondere wird eines der Objekte, bevorzugt nur eines der Objekte, für das Klassifizieren und Lokalisieren ausgewählt. Das Auswählen kann durch die Recheneinheit erfolgen. Das eine Objekt kann insbesondere auch für das jeweilige Zuordnen der erfassten Intensitäten beziehungsweise Zuordnen mehrerer der Intensitäten als
Intensitätsverteilung zu dem Objekt ausgewählt werden. Insbesondere kann hier das Objekt mit der geringsten Entfernung von der Lidar-Sensorvorrichtung oder der
Sensoreinheit ausgewählt werden. In einer realistischen Situation wird die
Sensorvorrichtung im Allgemeinen nicht nur Information, das heißt reflektierte Lichtanteile, von einem Objekt, sondern von einer ganzen Szene mit mehreren Objekten erhalten und entsprechend verarbeiten müssen. Eine Möglichkeit dies zu berücksichtigen ist, jeweils einzelne Objekte zu beschreiben und jede mögliche Anordnung (und/oder Kombination) dieser Objekte in der Szene als einzelne Objektklasse zu betrachten. Dies führt jedoch zu einer unüberschaubaren Komplexität, da die Anzahl an Objektklassen hier schnell eine extrem große Zahl annimmt.
Eine praktikablere Möglichkeit kann es sein, einen Kombinationsoperator„°" zu definieren, welcher für zwei Objekte Oi , 02, an welchen die Lichtanteile reflektiert werden, die Beobachtung beziehungsweise den Beobachtungsvektor A1&2 = A1°A2 ergibt, wobei A1 ; A2 die Beobachtungsvektoren für die jeweiligen einzelnen Objekte Oi , 02 sind. Da die berechnete Entfernung durch die Zeitmessung in dem jeweiligen Messkanal bestimmt ist und die erfasste Intensität durch den Betrag der reflektierten Energie, welche durch die Sensoreinheit für den jeweiligen Messkanal i erfasst wird, sollte der Kombinationsoperator die folgenden Aspekte umsetzten oder berücksichtigen: Erstens die Addition der
Intensitäten von zwei sich nicht überlappenden Objekten mit gleichem Abstand, zweitens ein teilweises oder vollständiges Abdecken von Objekten mit unterschiedlichem Abstand untereinander, drittens eine Veränderung des Dynamikbereiches der Sensoreinheit, welcher an eine vorliegende Situation angepasst werden könnte, und viertens sogenannte Geisterobjekte oder Schattenobjekte, welche auf Mehrfachreflexionen des Abtastlichts zurückgeführt werden können.
Der einfachste Ansatz ist es ein dominantes Objekt zu bestimmen, so dass der
Beobachtungsvektor dieses dominanten Objektes unmittelbar Teil des gesamten
Beobachtungsvektors ist. Bevorzugt wird dabei das Objekt mit der geringsten Entfernung von der Lidar-Sensorvorrichtung als dominantes Objekt gewählt. Hierfür kann auch der Erfassungsbereich der Sensoreinheit künstlich eingeschränkt werden, das heißt aus den vorhandenen Messkanälen eine Untermenge vorausgewählt werden, für welche die erfassten Intensitäten und berechneten Entfernungen dann für das weitere Verfahren genutzt werden.
Wenn mehrere Objekte in der Umgebung vorhanden sind ist es entsprechend vorteilhaft, die Zusammensetzung der Beobachtung oder des Beobachtungsvektors genau zu definieren. Aber selbst in diesem Fall wird die Komplexität durch mehrere Objekte in der Umgebung deutlich gesteigert. Allerdings ist es hier möglich, wenn wie in einer oben beschriebenen Ausführungsform in dem beschriebenen Verfahren ein Kaiman-Filter zur Objektverfolgung genutzt wird, eine Kenntnis über einen Prior (prior knowledge) dieses Kaiman-Filters zu benutzen, um eine Information über die Objekte und deren Anordnung in der Umgebung zu verwerten.
Überdies kann, falls die inverse Operation zu A1&2 = A1°A2 definiert ist, die von einem beispielsweise durch den Kaiman-Filter verfolgten Objekt erwartete Beobachtung von der Gesamtbeobachtung, die es zu verbessern gilt, abgezogen werden. Dies ist besonders nützlich, falls die Beobachtung mehrere miteinander wechselwirkende einzelne Objekte betrifft.
Die vorgeschlagene Vereinfachung der Auswahl eines der Objekte als„dominantes" Objekt bringt den Vorteil, dass beschriebene Verfahren erheblich vereinfacht wird und dennoch gute Ergebnisse erzielt werden, da in den meisten realen Fällen das Objekt, auf welches es bei dem Lokalisieren und Klassifizieren ankommt in der Tat ein dominantes oder bestimmendes Objekt. Die Anwendung der hier beschriebenen Einzelobjektannahme auf ein dominantes oder bestimmendes Objekt ist dabei im mathematischen Sinne optimal, wenn die entsprechende Winkel-Charakteristik oder Winkel-Charakteristiken für das Objekt präzise vorgegeben sind.
Das Erhalten von Winkel-Charakteristiken und gegebenenfalls auch von Komponenten der Wahrscheinlichkeitsdichtefunktion ist in der Praxis ein wichtiger Aspekt. Diese Winkel- Charakteristiken sind für jede Sensorvorrichtung unterschiedlich, da diese Winkel- Charakteristiken jedoch nur ein einziges Mal bestimmt werden müssen, um hinterlegt werden zu können, ist ein gewisser Aufwand bei dem Erhalten der Winkel- Charakteristiken jedoch akzeptabel. Grundsätzlich gibt es zum Erhalten der Winkel- Charakteristiken zwei Ansätze. Der erste Ansatz ist dabei eine physikalische Realität in einem Modell abzubilden. Der zweite Ansatz erfolgt über eine stochastische Behandlung des jeweiligen durch die Sensorvorrichtung realisierten Messaufbaus. Da im ersten Fall jeweilige physikalische Eigenschaften der genutzten Sensorvorrichtung genutzt werden müssen, kann diese an dieser Stelle nicht diskutiert werden, da sie von der verwendeten Sensorvorrichtung als solcher abhängt. Im Gegensatz dazu kann der zweite Ansatz für jedwede Lidar-Sensorvorrichtung, also jede optoelektronische intensitätsmessungs- basierte Sensorvorrichtung, genutzt werden, weshalb im Folgenden auf den Messaufbau und das stochastische Verarbeiten der Ergebnisse eingegangen wird, um zu erläutern, wie die Winkel-Charakteristiken erhalten werden können.
In einer weiteren vorteilhaften Ausführungsform ist vorgesehen sein, dass die Winkel- Charakteristik jeder Objektklasse aus einer Messung abgeleitet wird, welche für eine Vielzahl von Positionen (r, Θ) oder Relativpositionen (r, θ-α), insbesondere Entfernungen r oder Winkel Θ beziehungsweise θ-α, zumindest eines Referenzobjekts der jeweiligen Objektklasse die von dem zumindest einen Referenzobjekt verursachten erfassten Intensitäten und berechneten Entfernungen repräsentiert. Es kann vorgesehen sein, dass die Winkel-Charakteristik jeder Objektklasse ein Histogramm, insbesondere ein mehrdimensionales Histogramm, umfasst oder aus einem Histogramm, insbesondere einem mehrdimensionalen Histogramm, abgeleitet wird, welches für eine Vielzahl von Positionen (r, Θ) oder Relativpositionen (r, θ-α), insbesondere Entfernungen r oder Winkel Θ beziehungsweise θ-α, zumindest eines Referenzobjekts der jeweiligen Objektklasse die von dem zumindest einen Referenzobjekt verursachten erfassten Intensitäten und berechneten Entfernungen repräsentiert. Das Histogramm kann also aus der Messung abgeleitet sein.
Bevorzugt können hier auch jeweils mehrere Referenzobjekte durch die Winkel- Charakteristik beziehungsweise das Histogramm repräsentiert werden, beispielsweise indem die Winkel-Charakteristik mehrere Histogramme umfasst oder aus mehreren Histogrammen abgeleitet wird. Beispielsweise kann die Winkel-Charakteristik ein gemitteltes Histogramm aus mehreren Einzelhistogrammen die jeweiligen einzelnen Referenzobjekte entsprechend umfassen.
Die Idee ist hier, Realisierungen der den Beobachtungen zu Grunde liegenden
Zufallsprozesse zu sammeln und aus den gesammelten Realisierungen die Winkel- Charakteristiken abzuleiten. Grundsätzlich sind die Winkel-Charakteristiken für jede Objektklasse K und jegliche mögliche Position (r, Θ) erforderlich, um die Zufallsprozesse in Abhängigkeit des Winkels α zu beschreiben. Grundsätzlich muss daher für die beiden (also berechnete Entfernungen und erfasste Intensitäten betreffenden) Zufallsprozesse und für alle Objektklassen K ein dreidimensionales empirisches Histogramm gemessen werden mit den Dimensionen (r, θ, a). Da durch jede real existierende Sensorvorrichtung nur diskrete Beobachtungen verfügbar sind, müssen die Zufallsprozesse dabei von den beobachteten Stichproben („samples") interpoliert werden. Dabei ist eine Vereinfachung möglich, da die Winkel-Charakteristiken eine Funktion der Relativpositionen (r, θ - a) beziehungsweise des Relativwinkels θ-α sind. Dies reduziert die Komplexität, sodass anstelle der dreidimensionalen Histogramme nur zweidimensionale Histogramme erforderlich sind, um Γ0(θ - α) und R0(6 - a) für alle Objektklassen K und möglichen oder betrachteten Entfernungen r auszuwerten. Zum Messen der Winkel-Charakteristiken werden zwei Möglichkeiten vorgeschlagen, welche weiter unten spezifiziert werden.
Grundsätzlich ergibt sich aus der Messung der Winkel-Charakteristiken der Vorteil, dass auf einfache Weise eine sehr genaue Winkel-Charakteristik erreicht werden kann, vor allem die deterministische Komponente genau bestimmt werden kann. Dafür kann beispielsweise die Sensoreinheit der Sensorvorrichtung in einem Abstand r von einem zu vermessenden Referenzobjekt der Objektklasse K positioniert werden und unter Messen der entsprechenden reflektierten Intensitäten einmal um 360° gedreht werden. Dies sollte mehrfach wiederholt werden, da jede Messung für eine Umdrehung der Sensoreinheit eine Realisierung in Ω beiträgt. Sind genügend Realisierungen des Messprozesses gesammelt, kann das Referenzobjekt in eine andere Position, das heißt in eine andere Entfernung bewegt werden. Die Messung kann dabei mit unterschiedlichen
Referenzobjekten einer Objektklasse K durchgeführt werden, um robustere Winkel- Charakteristiken zu erhalten. Beispielsweise kann die Messung für ein Objekt zehnmal wiederholt werden, was sich als unaufwändig und hinreichend genau erwiesen hat. Dieser Messvorgang muss entsprechend für jede gewünschte Objektklasse, beispielsweise die Objektklasse Fußgänger und/oder die Objektklasse Tiere und/oder die Objektklasse Fahrzeuge und/oder die Objektklasse Verkehrsinfrastruktur und dergleichen durchgeführt werden.
In einer besonders vorteilhaften Ausführungsform ist dabei vorgesehen, dass die
Messung für die Vielzahl von Entfernungen des Referenzobjektes für unterschiedlichen Positionen oder Relativpositionen des Referenzobjekts zu der Sensoreinheit von der Sensoreinheit aufgenommen wird beziehungsweise wurde oder ist. Die Messung kann dabei ein empirisches Histogramm umfassen, für welches für die Vielzahl von
Entfernungen jeweils die erfassten Intensitäten und die berechneten Entfernungen enthalten sind. Die Relativpositionen umfassten dabei insbesondere unterschiedliche Relativwinkel (θ - α). Insbesondere wird die Messung dabei unter durch die
Sensorvorrichtung messbar unterschiedlichen Bedingungen (unterschiedlichen
Messbedingungen) durchgeführt, bevorzugt unter unterschiedlichen
Witterungsbedingungen wie bei Sonne, Nebel, Schnee, Regen und/oder
unterschiedlichen Beleuchtungsbedingungen wie bei Tag und Nacht als Tageszeiten und/oder unterschiedlichen Sensorbedingungen wie Verschmutzungen und/oder individuellen Strahleigenschaften für die unterschiedlichen Messwinkel ai und/oder unterschiedlichen Referenz-Objekt-Bedingungen wie Verschmutzung und/oder
Ausrichtung, also Rotation, des Referenzobjektes.
Dieser Ausführungsform liegt somit die Erkenntnis zugrunde, dass eine besonders genaue und realistische Vorgabe der Winkel-Charakteristiken besonders vorteilhaft ist, und beispielsweise Winkel-Charakteristiken von einer Objektklasse mit zwei Objekten, welche sich sehr stark unterscheiden in zwei Winkel-Charakteristiken einer jeweiligen eigenen Objektklasse, beispielsweise einer zugehörigen Objekt-Unterklasse, aufgespaltet werden sollten. Daher kann es vorteilhaft sein, die entsprechende Messung unter unterschiedlichen Bedingungen durchzuführen. Es ist daher auch vorteilhaft, den
Unterschied der erhaltenen Winkel-Charakteristik beziehungsweise der evaluierten Funktion Γ0(α) für unterschiedliche Kanäle i zu testen. Wieder kann es hier vorteilhaft sein, die Winkel-Charakteristik individuell für jeden Messkanal i vorzugeben, wenn die Winkel-Charakteristik sich für unterschiedliche Messkanäle messbar unterscheidet. Diese dann individuellen Winkel-Charakteristiken können simultan erfasst oder aufgenommen beziehungsweise gesammelt werden. Im Folgenden wird aus Gründen der
Übersichtlichkeit angenommen, dass alle Messkanäle i die Winkel-Charakteristiken auf identische Weise erfassen. Die Erweiterung des vorgestellten Verfahrens zu
individualisierten Winkel-Charakteristiken ist jedoch leicht möglich.
Aus den Messungen lässt sich auch die Wahrscheinlichkeitsdichtefunktion in allgemein bekannter Weise ableiten, da die Messungen ja Realisierungen des der
Wahrscheinlichkeitsdichtefunktion entsprechenden Zufallsprozesses sind. Beispielsweise ergibt sich im einfachsten Fall einer Gaußschen Verteilung und mit den identischen Entfernungen (constant distance model) für alle für ein Objekt erfassten Intensitäten, also einer normalverteilten Wahrscheinlichkeitsdichtefunktion mit d, = r für alle i, der mittlere Vektor und die Kovarianzmatrix, welche dem stochastischen Einfluss auf die erfassten Intensitäten beschreibt, zu
Ho = ΕΩ [Γ0 (Θ - αί, Ω)] (1 1 ) Συ,ο = ΕΩ [{Γ0 {Θ - αι, Ω) ~ i,o o {0 ~ α,, Ω) - ο)] (12) sodass letztendlich die gemeinsame Wahrscheinlichkeitsdichtefunktion ρ0~Ν(μ0, Σο) mit dem Mittelwertsvektor μο=[μο,ο, - - - μ.Ν-ι ,ο] und der Kovarianzmatrix Σ0 mit den Elementen aus Gleichung (12).
Bei dem Erfassen sollte die Rotationsgeschwindigkeit der Sensoreinheit langsam genug sein, sodass der Einfluss der Rotation auf die Winkel-Charakteristik vernachlässigbar ist. Der stochastische Einfluss auf die Messung, welcher durch die
Wahrscheinlichkeitsdichtefunktion p0 bestimmt ist, wird dabei als stationär angesehen, variiert als nicht in der Zeit. Auf eine in der Zeit variierende
Wahrscheinlichkeitsdichtefunktion wird weiter unten noch eingegangen. In diesem Fall sind die dort näher beschriebenen Übergangswahrscheinlichkeiten wichtig.
Es ergibt sich somit der Vorteil, dass die Winkel-Charakteristiken besonders realistisch sind und entsprechend das Verfahren mit einer besonders großen Genauigkeit durchgeführt werden kann.
Alternativ oder ergänzend kann die Winkel-Charakteristik der jeweiligen Objektklasse auch aus annotierten Daten über eine Szene mit einem Referenzobjekt der
entsprechenden Objektklasse in der Umgebung der Lidar-Sensorvorrichtung in
Kombination mit zu der Szene korrespondierenden Sensordaten der Sensoreinheit ermittelt werden. Dabei repräsentieren die Sensordaten, die am Referenzobjekt reflektierten für die unterschiedlichen Messwinkel erfassten Lichtanteile.
Dieser Ansatz setzt voraus, dass derartige annotierte Daten und entsprechende
Sensordaten verfügbar sind. Für das Annotieren der Daten können diese Daten entweder manuell annotiert werden oder unter Zuhilfenahme eines Referenz-Sensorsystems, beispielsweise eines Kamerasystems. Da hier bevorzugt real erfasste Daten genutzt werden, sollte zunächst jeweils ein zu bestimmendes Objekt in der realen Szene festgelegt werden. Beispielsweise kann hier nur das Objekt mit der geringsten Entfernung zur Sensorvorrichtung oder alle Objekte, welche in einer vorgegebenen Richtung der Sensorvorrichtung am nächsten liegen, betrachtet werden. Der Hauptunterschied zu der zuvor beschriebenen Methode ist hier, dass die Winkel-Charakteristiken der
Referenzobjekte nur als Stichproben verfügbar sind. Die einfachste Möglichkeit hier die Winkel-Charakteristiken zu erhalten ist es, eine Quantifizierung der Relativposition (θ - a) für die realen Szenen vorzunehmen und entsprechend empirische Dichten für jede Quantifizierung zu messen. Die Mittelwerte, welche von diesen empirischen Dichten abgeleitet werden, können dann die deterministische Komponente der entsprechenden Winkel-Charakteristik für die Objektklasse oder einen Teil der deterministischen
Komponente bilden. Die Feinheit der Quantifizierung und die Menge der verfügbaren annotierten Daten sind hier kritische Parameter. Beispielsweise können hier für eine Objektklasse 10.000 Messungen einer Winkel-Charakteristik oder mehr durchgeführt werden. Diese Zahl hat sich als hinreichend groß für eine gute Genauigkeit des
Verfahrens erwiesen.
Die beschriebenen Messungen von Intensitäten I, und die entsprechenden Berechnungen der Entfernungen d, führen zu entsprechenden Histogrammen und/oder Kurven für die Winkel-Charakteristiken. Da das Speichern einer großen Anzahl von Beispielen für jede Entfernung r und/oder jede Relativposition (θ - a) und für jede Objektklasse K sehr aufwändig ist, ist es sinnvoll, diese Kurven zu parametrisieren. Entsprechend ist in einer bevorzugten Ausführungsform vorgesehen, dass die Winkel-Charakteristik als
parametrisierte Kurve hinterlegt wird, insbesondere als eine Summe aus gewichteten Kernel-Funktionen, bevorzugt gewichteten Gaußschen Verteilungen, mit einem jeweiligen Mittelwert und einer jeweiligen Varianz.
Die Kernel-Funktionen {K (Ö - α, ξ^ . können dabei durch einen Vektor ξ] parametrisiert werden, sodass F0(ö - a) « Σ/ Κ/(0 - Für Gaußsche Kernel kann die (hier aus Gründen der Übersichtlichkeit nur auf die erfasste Intensität bezogene) Winkel- Charakteristik dann mit einer Parametrisierung über Mittelwerte und Varianzen ξ=[μ, \?,w] insbesondere in der Form
Figure imgf000020_0001
beschrieben werden. Dabei wird durch die Summe über die w, die Form der Winkel- Charakteristik bestimmt. Im gezeigten Beispiel wird die Winkel-Charakteristik so für jede Entfernung r nur durch die Anzahl der betrachteten Gauß-Verteilungen oder Gauß-Kernel mal drei parametrisiert.
Durch das Parametrisieren der Winkel-Charakteristik ergibt sich ein weiterer Vorteil. Da das oben beschriebene Messen der erfassten Intensitäten für zumindest ein
Referenzobjekt der Objektklasse wesentlich schneller gute Ergebnisse liefert, also weniger Messungen erforderlich sind als bei der Verwendung von annotierten Daten, ist die Verwendung annotierten Daten aus realen aufgenommenen Szenen vergleichsweise ineffizient. Wenn jedoch nur die Parameter einer parametrisierten Kurve, beispielsweise der in Gleichung (13) dargestellten parametrisierten Kurve abgeschätzt werden müssen, wird die Effizienz des Abschätzens der Winkel-Charakteristik wesentlich verbessert.
Insbesondere ergibt sich für die erfasste Intensität lj für den Messwinkel a, nach Gleichung (4) mit k = Po i ^ + rii
Figure imgf000021_0001
Erneut unter der Annahme, dass die Entfernungen r für ein Objekt konstant sind und in allen Messkanälen i die Winkel-Charakteristiken gleichen Einfluss auf die erfassten Intensitäten und Wahrscheinlichkeitsdichtefunktionen haben, ist somit für eine gegebene Objektklasse K und einen Abstand r eine Menge von Messungen {(Ικ,ψκ)} verfügbar. Dabei wird hier k als Index gewählt anstelle von i, um deutlich zu machen, dass
φκ = Θ - ak sowohl mit i als auch mit Θ variiert wird. Mit der Annahme voneinander unabhängiger Messungen ist die Wahrscheinlichkeit für eine gemessene Sammlung solcher Daten durch
Figure imgf000021_0002
gegeben. Ist n, in Gleichung (14) als Gaußsches Rauschen mit Mittelwert Null und Varianz σ2 (φ) angenommen, ergibt sich für die Wahrscheinlichkeit
Figure imgf000021_0003
und somit für den Maximum-Likelihood-Schätzer für eine φ-invariante Varianz der Winkel- Charakteristik, also σ2(φ)= σ2 für alle φ,
Figure imgf000022_0001
Diese Gleichung kann über moderne Methoden berechnet werden, welche auf der Maximierung eines Erwartungswertes beruhen, beispielsweise wie sie in dem Artikel„EM Algorithms for Weighted Data Clustering with Application to Audio-Visual Scene Analysis" von ID Gebru et al. (arXiv preprint arXiv: 1509.01509, 2015) vorgeschlagen werden. Dabei wird die Genauigkeit der abgeleiteten Winkel-Charakteristik für eine gegebene Anzahl von Stichproben wesentlich verbessert.
Für die Winkel-Charakteristik, genauer die Wahrscheinlichkeitsdichtefunktion, kann eine Gaußsche Verteilung mit dem Mittelwert 0 für die Stichproben in den entsprechenden Messwinkeln angenommen werden. Dies soll im Folgenden kurz gerechtfertigt werden:
Die Rauschquelle und damit das Rauschen, welche der Annahme des Gaußschen Rauschens am stärksten widersprechen würde, ist wahrscheinlich ein Rauschen, welches auf ein Verschmelzen unterschiedlicher Objekte in eine einzige Objektklasse
zurückzuführen ist. Werden beispielsweise zwei Referenz-Objekte, zum Beispiel eine Limousine und ein Pickup, der gleichen Objektklasse, zum Beispiel der Objektklasse „Kraftfahrzeug", zugeordnet, und jedes der Referenz-Objekte hat signifikant
unterschiedliche Winkel-Charakteristiken, kann die Winkel-Charakteristik für die
Objektklasse durch das Mittel der Winkel-Charakteristiken der Referenz-Objekte gegeben sein. Soll nun ein Objekt, beispielsweise ein Pickup, korrekt klassifiziert werden, weicht die erfasste Intensitätsverteilung deutlich von der deterministischen Komponente der hinterlegten Winkel-Charakteristik ab. Die muss dann über die stochastische Komponente kompensiert werden. Allerdings hätte die stochastische Komponente dann keine
Gaußsche Verteilung, da die stochastische Komponente oder die Zufälligkeit hier auch Informationen über das Objekt, hier die genannte Limousine und den Pickup, enthält.
Ist die Gaußsche Annahme zu stark verletzt, so kann eine Zerlegung des Rauschens vorgenommen werden, so dass der nicht-Gaußsche Teil des Rauschens über eine Korrektur der Winkel-Charakteristik zum Beispiel über Objekt-Unterklassen„Limousine" und„Pickup", berücksichtigt wird und der Gaußsche Teil dann entsprechend der
Annahme des Gaußschen Rauschens genügen würde. In einer bevorzugten weiteren Ausführungsform ist vorgesehen, dass, falls das
Lokalisieren keine eindeutige Position für das Objekt ergibt, also beispielsweise die Wahrscheinlichkeit für eine erste Position sich um weniger als einen vorgegebenen Grenzbetrag von der Wahrscheinlichkeit für eine zweite Position unterscheidet, für den Maximum-Likelihood-Schätzer zwei sich linear überlagernde Objekte angenommen werden, welche durch den Maximum-Likelihood-Schätzer klassifiziert und lokalisiert werden. Dabei haben die beiden Positionen bevorzugt einen vorgegebenen
Mindestabstand voneinander.
In diesem Fall kann beispielsweise die Gleichung (10) angepasst werden auf eine Zusammensetzung von zwei Objekten, d , 02, deren jeweiliger Winkel θι , θ2 abgeschätzt werden kann durch:
§lt §2 = arg ιηίη θΐ)θ2 i( ~ Γκ,Λθι ~ ai) ~ Γκ,Λθ2 ~ <*ύ) , (19) wobei vorliegend zur Vereinfachung sämtliche Wichtungen oder Gewichte auf 1 gesetzt wurden. Dies ist in den Figurenbeispielen nochmals näher erläutert. Es kann also sobald bekannt ist, dass mehr als ein Objekt vorhanden ist, angenommen werden, dass die Beobachtung der beiden Objekte eine lineare Superposition der Einzelbeobachtungen ist, und somit durch die in Gleichung (19) beschriebene Aufteilung die Lokalisierung verbessert werden. Vorteilhafterweise ist beziehungsweise sind die Objekte dabei schon klassifiziert, sodass deren Objektklasse K in Gleichung (19) bekannt ist.
Das hat den Vorteil, dass die Genauigkeit und Zuverlässigkeit des Verfahrens unter realen Bedingungen, bei welchen durchaus mehrere Objekte vorhanden sein können, verbessert wird.
In einer weiteren vorteilhaften Ausführungsform ist vorgesehen, dass die Winkel- Charakteristiken und damit auch die Wahrscheinlichkeitsdichtefunktion jeweils eine Funktion der Zeit sind, deren zeitliche Veränderung insbesondere durch eine Markov- Kette erster Ordnung beschrieben wird.
Zuvor wurden ausschließlich statische Szenen betrachtet. Dies ermöglicht ein sehr robustes Verfahren zum Klassifizieren und Lokalisieren. Unter bestimmten
Voraussetzungen ist die Erweiterung auf dynamische Szenen jedoch leicht realisierbar. An dieser Stelle ist wichtig, dass die bisher aus dem Stand der Technik bekannten Methoden prinzipbedingt nicht kompatibel mit den im Folgenden beschriebenen Ansätzen sind. Ein großer Vorteil der bisher beschriebenen Ausführungsformen ist somit deren mögliche Erweiterung und Anwendung auf dynamische Szenen. In einer dynamischen Szene mit zumindest einem sich bewegenden Objekt sind die entsprechenden der Beobachtung zugrundeliegenden Prozesse zusätzlich zeitabhängig, sodass die jeweilige Beobachtung durch (d^) = (R0( , t,n), (Γ0(α, ί, Ω)) beschrieben wird, wobei t die Zeit beschreibt.
Für stationäre Prozesse ist nun weder die Wahrscheinlichkeitsdichtefunktion p0 und damit die stochastische Komponente der Winkel-Charakteristik noch die deterministische Komponente der Winkel-Charakteristik eine Funktion der Zeit. Da die Beobachtungen jeweils als diskrete Stichproben über der Zeit vorliegen, kann eine Markov- Kette für eine Beschreibung der dynamischen Szene benutzt werden. Wird vorteilhafterweise eine Markov- Kette erster Ordnung angenommen, beschreibt eine
Übergangswahrscheinlichkeit P0(t+At|t) die Abhängigkeit zwischen der
Wahrscheinlichkeitsdichtefunktion p0 in den Zeitpunkten t und t + At, wobei At eine Größe oder Dauer eines Zeitschrittes ist.
Im Falle von sich bewegenden Objekten sollte die Veränderung der Position des Objekts O: K, r, Θ in einem Zeitschritt At betrachtet werden. Das bedeutet, dass die
deterministischen und stochastischen Komponenten der Winkel-Charakteristiken sich ändern können, da sie eine Funktion der Position sind. Daher muss besonderes
Augenmerk auf die korrekte Formulierung der Übergangswahrscheinlichkeiten gelegt werden.
Typischerweise wird ein Kaiman-Filter für die Lokalisierung und Nachverfolgung
(Tracking) von Objekten genutzt. Umfasst der Zustand im Kaiman-Filter nun zusätzlich zu der Position und einer Veränderung der Position eine Klassifikation, so führt hier eine geeignete Anpassung des Kaiman-Filters zu einem Maximum-Likelihood-Schätzer für eine verborgene Markov- Kette (hidden Markov chain), in welcher das
Beobachtungsmodell Informationen von zwei aufeinanderfolgenden Beobachtungen und der Übergangswahrscheinlichkeit nutzt. Hierfür können beispielsweise die in dem Artikel „On Sparsity by NUV-EM, Gaussian Message Passing, and Kalman-Smoothing" von Hans-Andrea Loelinger et al. (arXiv Preprint arXiv: 1602.02673, 2016) genannten
Summenprodukt-Algorithmen für Faktorgraphen genutzt werden.
Das hat den Vorteil, dass in einer dynamischen Szene, einer sich verändernden
Umgebung, eine Objektverfolgung mit einer Klassifikation kombiniert und in einem einheitlichen mathematischen Rahmen beschrieben werden kann. Dies vereinfacht die Gesamtimplementierung und eröffnet neue Möglichkeiten der Verarbeitung der
Sensordaten.
Die Erfindung betrifft auch eine Lidar-Sensorvorrichtung für ein Kraftfahrzeug, welche ausgebildet ist, eine Umgebung der Lidar-Sensorvorrichtung mit einem Abtastlicht abzutasten, wobei die Lidar-Sensorvorrichtung eine Sensoreinheit und eine
Recheneinheit aufweist. Die Sensoreinheit ist dabei ausgebildet, mehrere von einem Objekt in der Umgebung reflektierte Lichtanteile des Abtastlichts für mehrere jeweilige Messwinkel mit einer jeweiligen Intensität zu erfassen. Die Recheneinheit ist ausgebildet, zu den Messwinkeln jeweils die erfasste Intensität und eine berechnete Entfernung der Lidar-Sensorvorrichtung von dem Objekt zuzuordnen, sowie mehrere Intensitäten in Form einer Intensitätsverteilung wiederum dem Objekt zuzuordnen.
Wichtig ist hier, dass in der Recheneinheit für mehrere Objektklassen eine jeweilige Winkel-Charakteristik mit einer deterministischen Komponente und mit einer
stochastischen Komponente hinterlegt ist. Dabei repräsentiert die deterministische Komponente einen jeweiligen deterministischen Einfluss von zumindest einem
Referenzobjekt der jeweiligen Objektklasse in der abgetasteten Umgebung auf die Intensitätsverteilung. Die stochastische Komponente ist mit einer
Wahrscheinlichkeitsdichtefunktion hinterlegt, welche einen stochastischen Einfluss auf die Intensitätsverteilung repräsentiert. Ferner ist die Recheneinheit ausgebildet, das Objekt anhand der zugeordneten Intensitätsverteilung als zu derjenigen Objektklasse zugehörig zu klassifizieren, für welche ein Maximum-Likelihood-Schätzer für die hinterlegten Winkel- Charakteristiken mit der hinterlegten Wahrscheinlichkeitsdichtefunktion (oder den hinterlegten Wahrscheinlichkeitsdichtefunktionen) die größte
Zugehörigkeitswahrscheinlichkeit liefert, und das Objekt anhand der zugeordneten Intensitätsverteilung als an derjenigen Position relativ zu der Sensoreinheit verortet zu lokalisieren, für welche der Maximum-Likelihood-Schätzer für die hinterlegten Winkel- Charakteristiken mit der hinterlegten Wahrscheinlichkeitsdichtefunktion (oder den hinterlegten Wahrscheinlichkeitsdichtefunktionen) die größte
Aufenthaltswahrscheinlichkeit liefert.
Vorteile und vorteilhafte Ausführungsformen der Lidar-Sensorvorrichtung entsprechen hier Vorteilen und vorteilhaften Ausführungsformen des beschriebenen Verfahrens.
Die Erfindung betrifft auch ein Kraftfahrzeug mit einer solchen Lidar-Sensorvorrichtung. Weitere Merkmale der Erfindung ergeben sich aus den Ansprüchen, den Figuren und der Figurenbeschreibung. Die vorstehend in der Beschreibung genannten Merkmale und Merkmalskombinationen, sowie die nachfolgend in der Figurenbeschreibung genannten und/oder in den Figuren alleine gezeigten Merkmale und Merkmalskombinationen sind nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen oder in Alleinstellung verwendbar, ohne den Rahmen der Erfindung zu verlassen. Es sind somit auch Ausführungen von der Erfindung als umfasst und offenbart anzusehen, die in den Figuren nicht explizit gezeigt und erläutert sind, jedoch durch separierte Merkmalskombinationen aus den erläuterten Ausführungen hervorgehen und erzeugbar sind. Es sind auch Ausführungen und Merkmalskombinationen als offenbart anzusehen, die somit nicht alle Merkmale eines ursprünglich formulierten unabhängigen Anspruchs aufweisen. Es sind darüber hinaus Ausführungen und Merkmalskombinationen, insbesondere durch die oben dargelegten Ausführungen, als offenbart anzusehen, die über die in den Rückbezügen der Ansprüche dargelegten Merkmalskombinationen hinausgehen oder abweichen.
Ausführungsbeispiele der Erfindung werden nachfolgend anhand schematischer
Zeichnungen näher erläutert. Dabei zeigen:
Fig. 1 Kraftfahrzeug mit einer beispielhaften Ausführungsform einer Lidar-
Sensorvorrichtung in einem ersten Beispielszenario;
Fig. 2 eine Darstellung beispielhafter für das erste Beispielsszenario erfasster
Intensitäten und berechneter Entfernungen;
Fig. 3 eine Darstellung beispielhafter deterministischer Komponenten einer Winkel- Charakteristik für das Objekt im ersten Beispielszenario;
Fig. 4 eine Darstellung beispielhafter Stichproben einer Intensitätsverteilung für das
Objekt im ersten Beispielszenario;
Fig. 5 eine Darstellung für das erste Beispielszenario erwarteter erfasster Intensitäten und der deterministischen Komponenten aus Fig. 3;
Fig. 6 eine Darstellung der deterministischen Komponenten von Fig. 3 mit einer geschätzten Aufenthaltswahrscheinlichkeit für das Objekt des ersten
Beispielszenarios;
Fig. 7 eine beispielhafte Darstellung durch die Lidar-Sensorvorrichtung erfasster
Intensitäten im Fall einer nicht angepassten Dynamik der Sensoreinheit; Fig. 8 eine beispielhafte Darstellung eines beispielhaften Messaufbaus zum Messen der deterministischen Komponente der Winkel-Charakteristik für eine Objektklasse;
Fig. 9 eine Darstellung beispielhafter Entfernungen für den Messaufbau von Fig. 8; Fig. 10 eine Darstellung beispielhafter Intensitäten für den Messaufbau von Fig. 8; Fig. 1 1 eine Darstellung beispielhafter erfasster Intensitäten mit einer beispielhaften
Quantifizierung;
Fig. 12 eine Darstellung weiterer beispielhafter erfasster Intensitäten mit einer
beispielhaften weiteren Quantifizierung;
Fig. 13 eine Draufsicht auf ein zweites Beispielszenario;
Fig. 14 eine Darstellung der erfassten Intensitäten und einer Winkel-Charakteristik für das zweite Beispielszenario;
Fig. 15 eine Darstellung von Lokalisierungs- und Klassifizierungstermen für einen
Maximum-Likelihood-Schätzer für das zweite Beispielszenario;
Fig. 16 eine Draufsicht auf ein drittes Beispielszenario;
Fig. 17 eine Darstellung der erfassten Intensitäten und eine Winkel-Charakteristik für das dritte Beispielszenario;
Fig. 18 eine Darstellung von Lokalisierungs- und Klassifizierungstermen für einen
Maximum-Likelihood-Schätzer für das dritte Beispielszenario; und Fig. 19 eine Darstellung eines beispielhafter zweidimensionaler Lokalisierungsterms für das dritte Beispielszenario.
In den Figuren werden gleiche oder funktionsgleiche Elemente mit den gleichen
Bezugszeichen versehen.
Fig. 1 zeigt ein Kraftfahrzeug 1 mit einer beispielhaften Ausführungsform einer Lidar- Sensorvorrichtung 2 in einem Beispielsszenario. Die Lidar-Sensorvorrichtung 2 ist dabei ausgebildet, eine Umgebung 3 der Lidar-Sensorvorrichtung 2 beziehungsweise des Kraftfahrzeugs 1 mit einem Abtastlicht abzutasten. Vorliegend ist der Umgebung 3 in der Darstellung ein Koordinatensystem hinterlegt, um die Funktionsweise der Lidar- Sensorvorrichtung 2 besser erläutern zu können. In diesem und dem Koordinatensystem der Figs. 2 bis 8 sowie der Figs. 13, 14, 16 und 17 sind als die Einheiten der Achsen beispielhaft Meter [m] gewählt. Die Lidar-Sensorvorrichtung 2 weist eine Sensoreinheit 4 auf, welche ausgebildet ist, mehrere von einem Objekt O in der Umgebung 3 reflektierten Lichtanteile des Abtastlichts für mehrere jeweilige Messwinkel a, (Fig. 2) mit einer jeweiligen Intensität I, (Fig. 2) zu erfassen. Die Lidar-Sensorvorrichtung 2 weist auch eine Recheneinheit 5 auf, welche ausgebildet ist, den Messwinkeln a, jeweils die erfasste Intensität I, und eine berechnete Entfernung d, (Fig. 2) der Lidar-Sensorvorrichtung 2, beziehungsweise des Kraftfahrzeugs 1 , von dem Objekt O zuzuordnen, sowie mehrere Intensitäten I, in Form einer
Intensitätsverteilung wiederum dem Objekt O zuzuordnen.
Wichtig ist hier, dass in der Recheneinheit 5 für mehrere Objektklassen K eine jeweilige Winkel-Charakteristik R0, 0 mit einer deterministischen Komponente ff0, f0 (Fig. 3) und mit einer stochastischen Komponente w, n hinterlegt ist. Dabei repräsentiert die deterministische Komponente ff0, f0 einen jeweiligen deterministischen Einfluss von zumindest einem Referenzobjekt der jeweiligen Objektklasse K in der abgetasteten Umgebung 3 auf die Intensitätsverteilung. Die stochastische Komponente w, n ist dabei mit oder mittels einer Wahrscheinlichkeitsdichtefunktion p0 hinterlegt. Die
Wahrscheinlichkeitsdichtefunktion p0 charakterisiert dabei die stochastische Komponente w, n. Die Stochastische Komponente w, n und damit die Wahrscheinlichkeitsdichtefunktion Po repräsentieren so einen stochastischen Einfluss auf die erfassten Intensitäten I,, welche dem Objekt O zugeordnet werden, kurz: einen stochastischen Einfluss auf die erfasste Intensitätsverteilung. Der stochastische Einfluss kann sich beispielsweise in Fluktuationen der erfassten Intensitäten I, niederschlagen. Eine Beobachtung, das heißt die erfassten Intensitäten I, und/oder die berechneten Entfernungen d, sind daher für ein Objekt O durch die Gleichungen (3) und (4) beschreibbar.
Die Recheneinheit 5 ist hier ausgebildet, das Objekt O anhand der zugeordneten
Intensitätsverteilung als zu derjenigen Objektklasse K zugehörig zu klassifizieren, für welche ein Maximum-Likelihood-Schätzer für die hinterlegten Winkel-Charakteristiken R0, r0 mit der hinterlegten Wahrscheinlichkeitsfunktion p0 die größte
Zugehörigkeitswahrscheinlichkeit liefert, und das Objekt O anhand der zugeordneten Intensitätsverteilung als an derjenigen Position (r, Θ) relativ zu der Sensoreinheit 4 verortet zu lokalisieren, für welche der Maximum-Likelihood-Schätzer für die hinterlegten Winkel- Charakteristiken R0, r0 mit der hinterlegten Wahrscheinlichkeitsdichtefunktion p0 die größte Aufenthaltswahrscheinlichkeit liefert.
Vorliegend ist nun eine schematische Draufsicht auf das Kraftfahrzeug 1 in der
Umgebung 3 zu sehen, bei welcher sich vor dem Kraftfahrzeug in positiver x-Richtung in einer Entfernung r in einem Winkel Θ relativ zu einer Fahrzeuglängsachse L des
Kraftfahrzeugs 1 , also an der Position (r, Θ) ein weiteres Kraftfahrzeug als Objekt O befindet. Dieses Beispielsszenario liegt auch den in den Figuren 2 bis 7 dargestellten Graphen zugrunde.
So zeigt Fig. 2 eine Darstellung beispielhafter für das Beispielsszenario von Fig. 1 erfasster Intensitäten und berechneter Entfernungen. Die Sensorvorrichtung 2 weist hier mehrere, vorliegend 16 Messkanäle i = 0 bis 15 auf. Diesen ist vorliegend jeweils ein Messwinkel a, mit i = 0 bis 15, also a0 bis αι5, zugeordnet. Für die Messwinkel a0 sowie a7 bis ai5 wird im gezeigten Beispiel keine Intensität durch die Sensoreinheit 4 erfasst. Für die Messwinkel ai bis a6 wird hier eine jeweilige Intensität bis l6 erfasst, deren Größe vorliegend durch die Länge der entsprechend mit bis l6 markierten gestrichelten Linien dargestellt wird. Da für die Messkanäle i = 1 bis 6 vorliegend ein aus der Umgebung von dem Objekt O reflektierter Lichtanteil erfasst wird, kann durch die Recheneinheit 5 auch für jeden der Messwinkel ai bis a6 eine Entfernung di bis d6 berechnet werden. Diese sind vorliegend ebenfalls für die jeweiligen Messkanäle a, mit i = 1 bis 6, also ai bis a6,
eingezeichnet. Die Größe der Entfernungen di bis d6 wird vorliegend durch die Länge der entsprechend mit di bis d6 markierten Pfeile dargestellt. Insbesondere können die berechneten Entfernungen d, benutzt werden, um die erfassten Intensitäten l, dem Objekt O zuzuordnen. Beispielsweise können die Intensitäten I, in den Messkanälen i mit den gleichen Entfernungen d, = r oder d, = ± Ar, wobei Ar eine vorgebbare Abweichung ist, als Intensitätsverteilung dem (gleichen) Objekt O zugeordnet werden, vorliegend also die Intensitäten I, mit i = 1 bis 6.
In Fig. 3 ist eine Darstellung beispielhafter deterministischer Komponenten einer Winkel- Charakteristik für das Objekt im ersten Beispielszenario gezeigt. Wie in Fig. 2 sind die Messwinkel a, ausgehend von der Sensoreinheit 4 (Fig. 1 ) als Koordinatenursprung fächerartig eingezeichnet. Dabei wird für das Objekt O ein gleichmäßiger Abstand r von der der Sensoreinheit 4 beziehungsweise der Sensorvorrichtung 2 oder dem
Kraftfahrzeug 1 angenommen, so dass die Entfernungen di bis d6 = r und die
deterministische Komponente R0 bezüglich der Entfernungsverteilung als Kreis um den Ursprung des gezeigten Koordinatensystems gegeben ist. Die deterministische
Komponente F0, mit der die Intensitätsverteilung erfassten Intensitäten bis l6
beschrieben werden soll, das heißt welcher die erfassten Intensitäten bis l6
zugeschrieben werden sollen, ist hier für das Objekt O in den zugehörigen Messwinkeln a, in der Entfernung r eingezeichnet. In der Realität werden für das Beispielsszenario von Fig. 1 die jeweiligen erfassten Intensitäten I,, hier bis l6, und Entfernungen d,, hier di bis d6, nicht durch die
deterministischen Komponenten ff0, f0 beschrieben werden können. Entsprechend kann auch durch Gleichsetzen der Beobachtung mit der deterministischen Komponente R0,r0 der Winkelcharakteristik R0,r0 allein die Objektklasse K für die Beobachtung (also das beobachtete Objekt O) nicht als die (bekannte) Objektklasse der jeweiligen (zu den erfassten Intensitäten passenden) Winkelcharakteristik R0, 0 bestimmt werden. Vielmehr wird über stochastische Einflüsse hier eine Abweichung vorhanden sein, vergleiche hierzu die Gleichungen (3) und (4). Dies wird anhand der Figuren 4, 5 und 6 für die gemessenen Intensitäten bis l6 erläutert. Für die berechneten Entfernungen di bis d6 wird dabei der Einfachheit halber die konstante Entfernung d, = r für i = 1 bis 6 angenommen („constant distance model"). Das für die Intensitätsverteilung erläuterte gilt jedoch mutatis mutandis auch für die Entfernungverteilung der berechneten Entfernungen d,.
In Fig. 4 ist eine Darstellung beispielhafter Stichproben einer Intensitätsverteilung für das Objekt im ersten Beispielszenario dargestellt. Dabei ist zur besseren Veranschaulichung ein anderer Maßstab gewählt als in den Figuren 2 und 3. Die gestrichelten Linien stellen hier jeweils eine beispielhafte Stichprobe Γ0(α, Ω) dar, welche durch den
Wahrscheinlichkeitsraum Ω bestimmt werden. Jede Stichprobe, also jede tatsächlich erfasste Intensität (jede Realisierung), ist ein Element in dem Wahrscheinlichkeitsraum Ω. Die durchgezogene Linie zeigt hier den Erwartungswert ΕΩ [Γ0 (α, Ω)] für die erfasste Intensitätsverteilung. Der Erwartungswert ΕΩ [Γ0 (α, Ω)] entspricht der deterministischen Komponente Γ0 (α) (Fig. 3), vergleiche hierzu Gleichungen (1 ) und (2). Die Kurven Γ0(α, Ω) zeigen somit Stichproben der Winkel-Charakteristik R0, 0 , welche durch das Erfassen der Intensitäten I, abgetastet oder gesampelt wird. Dabei ist der Betrag jeder der in den jeweiligen Messkanälen i = 1 bis 6 erfassten Intensitäten I, durch den Erwartungswert ΕΩ [Γ0 (α, Ω)] zuzüglich eines entsprechenden Zufallsbeitrags η,(Ω) gegeben, vergleiche hierzu auch Gleichung (4). Der Maximum-Likelihood-Schätzer liefert nun ausgehend von den erfassten Intensitäten I, die Winkel-Charakteristik R0, 0 und damit die Objektklasse K, aus welcher die Stichprobe mit der größten Wahrscheinlichkeit zugeordnet werden kann.
Die Zufälligkeit der Beobachtung d,, I, wird nochmals in Fig. 5 unterstrichen. Diese zeigt eine Darstellung von für das erste Beispielszenario erwarteten erfassten Intensitäten und von den deterministischen Komponenten aus Fig. 3. Wie in Fig. 3 ist jeweils die deterministische Komponente Γ0 (α) und R0 {a) dargestellt. Zusätzlich ist nun die erwartete Beobachtung, die erwarteten erfassten Intensitäten bis l6 eingezeichnet, welche durch die abgetastete deterministische Komponente ff0, f0 der Winkel- Charakteristik R0, 0 gegeben ist und welche in den Messwinkeln a, für alle i abgetastet (oder„gesampled") wird. Entsprechend sind die Werte der eingezeichneten Intensitäten I, mit i = 1 bis 6 in dieser Darstellung gleich den Werten der deterministischen Komponente Γ0 (α) für die Messwinkel αι bis a6. Wie beispielsweise aus Fig. 2 ersichtlich ist, werden die erfassten Intensitäten im Allgemeinen von den in Fig. 5 gezeigten Idealwerten für die Intensitäten I, abweichen. Vorliegend wird die stochastische Komponente Wj, nj für die jeweiligen Messkanäle i = 1 bis 6 durch sechs kleine eingefügten Grafiken i=1 ,.. i=6 symbolisch dargestellt. Diese verdeutlichen, dass die jeweilige erfasste Intensität (und vorliegend die jeweilige Entfernung) sich durch einen Erwartungswert (in den eingefügten Grafiken repräsentiert durch den zentralen Punkte) und eine zufällige Abweichung von dem Erwartungswert (in den eingefügten Grafiken repräsentiert durch die konzentrischen Ringe um die zentralen Punkte) beschreiben lässt.
Fig. 6 zeigt eine Darstellung der deterministischen Komponenten von Fig. 3 in der bekannten Darstellung sowie zusätzlich die Verteilung einer geschätzten
Aufenthaltswahrscheinlichkeit für das Objekt O. Die geschätzte
Aufenthaltswahrscheinlichkeit p0, f \O) bezeichnet also die Wahrscheinlichkeit, dass das Objekt O an dem Ort (ö, f) zu finden ist. Vorliegend ist diese durch konzentrische Ringe dargestellt, welche sich um die tatsächliche Position (Θ, r) des Objekts O legen. Die gezeigte Verteilung der Aufenthaltswahrscheinlichkeit oder eine Näherung davon kann in einem Kaiman-Filter als Beobachtung oder Beobachtungsmodell verwendet werden und somit zur Objektverfolgung dienen.
Fig. 7 zeigt eine beispielhafte Darstellung durch die Lidar-Sensorvorrichtung erfasster Intensitäten im Fall einer nicht angepassten Dynamik der Sensoreinheit. Ist die erfasste Intensität I, größer als ein durch die Dynamik der Sensoreinheit bestimmter Grenzwert, so reduziert sich die Beobachtung (d,, I,) auf eine reine Punkt- oder Abstandsinformation, wie sie durch die roten Kreuze 61 bis 64 dargestellt sind, da in diesem Fall die erfassten Intensitäten I, nicht sinnvoll über die Winkel-Charakteristik R0, 0 zu einer Klassifikation des Objekts O genutzt werden können. Ein Anpassen der Dynamik der Sensoreinheit 4 an die erfassten Intensitäten I, kann also entscheidend zu dem Klassifizieren und
Lokalisieren beitragen.
In Fig. 8 ist eine schematische Darstellung eines beispielhaften Messaufbaus zum Messen der deterministischen Komponente ff0, f0 der Winkel-Charakteristik R0, r0 für eine Objektklasse K dargestellt. Für jede Objektklasse K wird dabei ein entsprechendes Referenzobjekt O, beispielsweise ein Fußgänger und/oder ein Kraftfahrzeug und/oder ein Verkehrsschild und/oder ein anderes Objekt, in dem Abstand r vor der Sensoreinheit 4 auf den Polarkoordinaten (r, 0) platziert. Während nun die Sensoreinheit 4 um 360° gedreht wird, werden die erfassten Intensitäten (Fig. 10) und Entfernungen (Fig. 9) als Funktion des Relativwinkels (θ - a) aufgenommen. Dies kann mehrfach wiederholt werden, da jede Umdrehung eine Realisierung der erfassten Intensitäten und/oder Entfernungen aus dem Wahrscheinlichkeitsraum Ω liefert und sich so beispielsweise ein Mittelwert der erfassten Intensitäten und/oder Entfernungen dem jeweiligen Erwartungswert annähert. Die deterministische Komponente ff0,f0 wird folglich für die Objektklasse K umso genauer bestimmt, desto öfter die Messung wiederholt wird. Nachdem eine ausreichende Anzahl von Realisierungen erfasst oder gemessen wurde, wird das entsprechende Objekt O zu einer anderen Position, also in eine andere Entfernung r, bewegt. Als eine ausreichende Anzahl von Messungen haben sich hier zehn Messungen erwiesen. Vorteilhafterweise werden diese Messungen zum Messen der jeweiligen deterministischem Komponente ff0,F0 der Winkel-Charakteristik R0, r0 für eine Objektklasse K mit mehreren
unterschiedlichen Referenzobjekten O dieser Objektklasse K wiederholt, um die deterministischem Komponente ff0,F0 robust für die gesamte Objektklasse K zu erfassen.
In Fig. 9 sind nun beispielhafte berechnete Entfernungen für den Messaufbau von Fig. 8 dargestellt. Die Entfernung sind dabei vorliegend in Metern über dem Relativwinkel (θ - a) in rad aufgetragen. Die dünne Linie stellt hier eine konkrete, verrauschte Realisierung ffo(0 - α, Ω) der (entfernungsbezogenen) deterministischen Komponente R0 dar.
Tatsächlich gibt es hier analog zu den in Fig. 10 gezeigten Realisierungen der
(intensitätsbezogenen) deterministischen Komponente f0 eine Vielzahl von
unterschiedlichen Realisierungen im Wahrscheinlichkeitsraum Ω. Aus Gründen der Übersichtlichkeit ist hier jedoch nur eine einzige solche Realisierung oder Stichprobe eingezeichnet. Zugleich ist die deterministische Komponente R0 , welche dem
Erwartungswert En [R0 (ß - , Ω)] der berechneten Entfernung für eine konkrete
Realisierung entspricht, durch die dicke Linie repräsentiert. Diese deterministische Komponente R0 ist vorliegend eine Gerade bei einer Entfernung von ca. 24 m.
In Fig. 10 sind nun analog zu Fig. 9 beispielhafte erfasste Intensitäten für den Messaufbau von Fig. 8 dargestellt. Die Intensitäten sind dabei in willkürlichen Einheiten über dem Relativwinkel (θ - α) in rad eingezeichnet. Die jeweiligen Realisierungen Γ0 (θ - α, Ω) sind durch die dünne Linien repräsentiert. Die dicke Linie repräsentiert hier den
Erwartungswert ΕΩ [Γ0 (Θ - , Ω)] und somit der deterministischen Komponente F0 für die erfassten Intensitäten über dem Relativwinkel (θ - α). Deutlich wird hier der stochastische Einfluss auf die jeweiligen Realisierungen Γ0 (θ - α, Ω) der Intensitäten, das heißt auf die erfassten Intensitäten I,.
Anhand von Fig. 1 1 und Fig. 12 wird nun eine alternative Methode zum Messen und damit Erzeugen der Winkel-Charakteristik erklärt werden. In beiden Figuren sind dabei in Form von Kreuzen 7 gemessene Intensitäten für ein gegebenes Objekt O in einer festgelegten Entfernung r in willkürlichen Einheiten über dem Relativwinkel (θ - a) in rad
eingezeichnet.
Für beide Messungen werden die Relativwinkel (θ - a) diskretisiert, in beiden Figuren also die Relativwinkel in durch vertikale Linien 8 begrenzte Relativwinkel-Intervalle 9 aufgeteilt. Dabei ist die Diekretisierung in Fig. 1 1 gröber als in Fig. 12, das heißt die Relativwinkel- Intervalle 9 sind in Fig. 1 1 größer, ein Relativwinkel-Intervall 9 umfass in Fig. 1 1 also mehr Relativwinkel-Werte als in Fig. 12. Aus der Verteilung der gemessenen Intensitäten innerhalb eines Relativwinkel-Intervalls 9 lässt sich eine jeweilige empirische Dichte 10 für das Relativwinkel-Intervall 9 ableiten. Die Dichte 10 ist vorliegend in den jeweiligen Relativwinkel-Intervallen 9 ausgehend von jeweiligen vertikalen Nulllinien 1 1 als
Häufigkeit über der Intensität in willkürlichen Einheiten angetragen. Liegt die Dichte 10 somit bei Null für eine gegebene Intensität, so liegt diese auf der Nulllinie 1 1 . Aus
Gründen der Übersichtlichkeit sind die Dichten 10 für Wert Null teilweise nicht dargestellt.
Aus den Dichten 10 wiederum lässt sich für jedes Relativwinkel-Intervall 9 ein
entsprechender Mittelwert 12 ableiten. Die Mittelwerte 12 ergeben im gezeigten Beispiel in ihrer Gesamtheit die gemessene deterministische Komponente F0 (ö - a) der Winkel- Charakteristik Γ0(θ - a). Wie aus dem Vergleich von Fig. 1 1 mit Fig. 12 ersichtlich, hat sowohl die Feinheit der Diekretisierung oder Quantifizierung (quantization level) als auch die Menge der verfügbaren gemessenen Intensitäten 7 einen erheblichen Einfluss auf die abgeleitete deterministische Komponente F0(ö - a) der Winkel-Charakteristik Γ0(θ - a). Für Fig. 12 sind hier rund 10.000 Messungen durchgeführt worden, welche aus Gründen der Übersichtlichkeit nicht sämtlich eingezeichnet sind (in Fig. 1 1 sind ebenfalls nicht sämtliche den Dichten 10 zu Grunde liegenden gemessenen Intensitäten eingezeichnet). Diese Anzahl von Messungen hat sich jedoch als hinreichend für eine zuverlässige Durchführung, ein zuverlässiges Klassifizieren und Lokalisieren beziehungsweise ein zuverlässiges Bestimmen deterministische Komponente f0(ö - a) herausgestellt. Für beide gezeigten gemessenen Intensitäten ist dabei wieder eine konstante Entfernung von d, = r für alle i angenommen. In den Figuren 1 3 bis 1 8 werden zwei weitere Beispielszenarien erläutert, um das
Potenzial des beschriebenen Verfahrens darzustellen. Ziel ist es, die Beobachtung für eine simulierte Sensoreinheit mit einem theoretisch modellierten Modellszenario so gut zu beschreiben, dass diese theoretische Beschreibung der realen Beobachtung durch einen realen Sensor in dem Modellszenario entspricht. Anhand des Vergleichs von theoretischer Beschreibung und realer Beobachtung kann der Maximum-Likelihood-Schätzer dann das Objekt klassifizieren und lokalisieren. Dabei wird im Folgenden angenommen, dass Beobachtungen durch die Sensoreinheit voneinander unabhängig sind. Entsprechend kann für jedes Objekt unabhängig von anderen vorhandenen Objekten die jeweilige Winkel-Charakteristik gefunden werden kann. Eine Beobachtung mehrerer Objekte wird also vorteilhafterweise als eine lineare Überlagerung der Beobachtungen der einzelnen Objekte angenommen. Für eine jeweilige einzelne Beobachtung gilt Gleichung (4), wobei ein Rauschen durch die Wahrscheinlichkeitsdichtefunktion p0 beschrieben ist. Werden wie vorliegend konstante Entfernungen d, = r für alle i angenommen, kann die Entfernung r des Objekts O zuzüglich eines Rauschterms für alle Messkanäle i angenommen werden.
Das zweite Beispielsszenario ist in Fig. 1 3 dargestellt. Dort befindet sich ein Kraftfahrzeug als Objekt O auf den Polarkoordinaten (r; 9)=(24,04m; 0).
In Fig. 14 sind entsprechend den Figuren 2, 3 erfasste Intensitäten l5 bis l10 sowie die deterministischen Komponenten R0 {a), Γ0 (α) für die Objektklasse K des Objekts O, vorliegend also für Kraftfahrzeuge, dargestellt. Deutlich zu sehen ist hier, dass die erfassten Intensitäten l5 bis o jeweils in stochastischer Weise von dem jeweils für den entsprechenden Kanal i beziehungsweise Messwinkel a, mit hier i = 5 bis 1 0 durch die deterministische Komponente F0 (a) vorgegebenen erwarteten Wert abweichen.
In Fig. 15 ist schließlich für zwei beispielhafte Objektklassen K, nämlich die Objektklasse Fahrzeug und die Objektklasse Fußgänger, jeweils der Lokalisierungs- und
Klassifizierungsterm, wie er aus Gleichung (10) hervorgeht, dargestellt. Vorliegend ist der Logarithmus des Werts des entsprechenden Terms über dem Winkel Θ mit einer ersten Kurve 13 und einer zweiten Kurve 14 dargestellt. Jede Kurve 13, 14 entspricht hier einer jeweiligen Objektklasse K, die erste Kurve 13 der Fußgängerklasse und die zweite Kurve 14 der Fahrzeugklasse. Der Maximum-Likelihood-Schätzer findet hier das jeweilige Minimum. Für die Fußgänger-Kurve 1 3 wird hier bei dem Winkel ΘΡ ein Wert P als
Minimum identifiziert, für die Fahrzeug -Kurve 14 bei dem Winkel 9C ein Wert C. Allerdings ist der Wert C des Minimums der Fahrzeug-Kurve 14 fast eine Größenordnung, also fasst den um Faktor 10 kleiner als der Wert P. Der Maximum-Likelihood-Schätzer wird somit das Objekt O aus Fig. 13 als zur Fahrzeugklasse zugehörig klassifizieren und
entsprechend 9C oder (r, 9C) als den Ort des Objekts O ausgeben.
In dem in Fig. 1 6 dargestellten dritten Beispielszenario ist nun das als Fahrzeug ausgeführte Objekt O durch zwei Fußgänger ersetzt. Die Fußgänger sind als erstes und zweites Objekt d , 02 jeweils an den Positionen (r, θι) und (r, θ2) angeordnet, wobei r wieder 24,04 m beträgt und θι = 0,0625 und θ2 = -0,0625 rad sind.
In Fig. 17 ist nun analog zu Fig. 14 für die beiden Objekte d , 02 die deterministische Komponente ßo1&2 (a) > ^o1&2 (a) der linear überlagerten Winkel-Charakteristiken
Ro1, r0l, Ro2, ro2 sowie die erfassten Intensitäten, hier l6 bis l9, dargestellt. Dabei wird angenommen, dass die jeweiligen Winkelcharakteristik R0i, r0i, R02 , r02 für die Fußgänger bekannt ist. Auf Grund der linearen Überlagerung, kann die Intensität I, für einen bestimmten Messkanal i mit It = rr Kp (ß1 - at) + rr Kp (ß2 - at) + nt angenommen werden. Dabei ist rr Kp die (intensitätsbezogene) deterministische Komponente der Winkel-Charakteristik rr Kp für die Fußgänger-Objektklasse KP in der Entfernung r.
In Fig. 18 ist nun entsprechend zu Fig. 1 5 der Lokalisierungs- und Klassifizierungsterm gemäß Gleichung (12) dargestellt, wobei wiederum die Gewichte oder Wichtungen W, für alle Messkanäle auf 1 gesetzt wurden. Die Fahrzeug-kurve 14 erreicht hier für den Winkel 9C einen Minimalwert C, welcher jedoch deutlich über dem Minimalwert Pi bei dem Winkel ΘΡΙ der Fußgänger-Kurve 1 3 liegt, vorliegend um den Faktor 5 größer ist. Daher wird das Objekt O, das heißt vorliegend die Objekte d und 02, als Fußgänger identifiziert.
Allerdings ist ein zweites Minimum der Fußgänger-Kurve 13 mit dem Wert P2 bei Winkel ΘΡ2 nur geringfügig größer als das Minimum P1 ; vorliegend etwa doppelt so groß. Daher kann das als Fußgänger klassifizierte Objekt d , 02 nicht genau lokalisiert werden. Dies macht insofern Sinn, da ja die Winkelcharakteristik rr Kp beziehungsweise deren deterministische Komponente rr Kp für eine einzige Person vorgegeben und hinterlegt wird, so dass bei einer Überlagerung eine eindeutige Lokalisierung ein überraschendes Ergebnis wäre.
Da vorliegend somit zwei Minima Pi , P2 detektiert werden, welche sich um weniger als einen vorgegebenen Betrag unterscheiden und/oder sich überdies in ihrer Position, den Winkeln θΡι und ΘΡ2 um weniger als einen vorbestimmten Winkelbetrag unterscheiden, kann insbesondere durch die Recheneinheit 5 (Fig. 1 ) erkannt werden, dass mehr als eine Person, mehr als ein Objekt Oi , 02 vorhanden sein muss. Ein weiterer Hinweis auf die Anwesenheit von mehr als einem Objekt kann beispielsweise auch in Form eines Priors von einem Kaiman-Filter abgeleitet werden. Sind mehrere Objekte Oi, 02 vorhanden, kann die Gleichung (12) so in Gleichung (19) überführt werden, so dass eine
zweidimensionale Metrik zum Finden des Minimums für beide Winkel θι , θ2 abgeleitet
Figure imgf000036_0001
Diese ist in Fig. 19 logarithmisch über den beiden Winkeln θ1 ; θ2 dargestellt. In Fig. 19 ist somit ein beispielhafter zweidimensionaler Lokalisierungsterm für das dritte
Beispielszenario mit den beiden Objekten Oi und 02 dargestellt. Hier fällt einerseits die Symmetrie des dargestellten Lokalisierungsterms auf, welche darin begründet ist, dass die beiden Objekte Oi und 02 vorliegend identische Objekte sind. Damit ergeben zwei symmetrische Lösungen das größte Minimum, nämlich einerseits die Position QPV und ΘΡ2· und andererseits die Position ΘΡ1 und ΘΡ2, da beide Objekte vertauscht werden können Auch der Wert des Minimums ist in diesem Fall geringer als die Werte P1 ; P2 in Fig. 18. Der Maximum-Likelihood-Schätzer, welcher mit Gleichung (19) beschrieben ist, ist folglich in der Lage, zu erkennen, dass mit einer höheren Wahrscheinlichkeit zwei Objekte und 02, zwei Fußgänger vorliegen, als nur ein einziges Objekt. Zusätzlich kann er die Position beider Objekte bestimmen.
Schließlich ist die Ausgabe des Maximum-Likelihood-Schätzers weich in dem Sinne, dass eine vollständige stochastische Beschreibung der Wahrscheinlichkeit von Lokalisierung und Klassifikation (die in Fig. 19 visualisierte Funktion) an einem Ort Θ beziehungsweise (r, Θ) für eine Objektklasse K verfügbar ist, da der zu minimierende Lokalisierungs- und Klassifizierungsterm unter Erhalt aller vorhandener Information über die
Wahrscheinlichkeitsmaximierung für die jeweilige Beobachtung abgeleitet wurde. Daher kann beispielsweise auch die Wahrscheinlichkeitsdichtefunktion p0 aus den Metriken beziehungsweise Termen, die in den Figuren 15, 18 und 19 visualisiert sind, abgeleitet werden.

Claims

Patentansprüche
Verfahren zum Betreiben einer Lidar-Sensorvorrichtung (2) eines Kraftfahrzeugs (1 ), mit den Verfahrensschritten:
a) Abtasten einer Umgebung (3) der Lidar-Sensorvorrichtung (2) mit einem Abtast- Licht der Lidar-Sensorvorrichtung (2);
b) Erfassen mehrerer von einem Objekt (O, d , 02) in der Umgebung (3)
reflektierten Lichtanteile des Abtast-Lichts durch eine Sensoreinheit (4) der Lidar- Sensorvorrichtung (2) für mehrere jeweilige Messwinkel (α,) mit einer jeweiligen Intensität (I,);
c) jeweiliges Zuordnen der erfassten Intensität (I,) und einer berechneten Entfernung (d,) der Lidar-Sensorvorrichtung (2) von dem Objekt (O, 01 ; 02) zu den Messwinkeln (α,) durch eine Recheneinheit (5) der Lidar-Sensorvorrichtung (2);
d) Zuordnen mehrerer Intensitäten (I,) in Form einer Intensitätsverteilung zu dem Objekt (O, Oi, 02);
gekennzeichnet durch ein
e) Hinterlegen einer jeweiligen Winkel-Charakteristik (R0, r0) mit einer
deterministischen Komponente (ff0< ^o) und mit einer stochastischen Komponente in der Recheneinheit (5) für mehreren Objektklassen, wobei die deterministische Komponente {R0, r0) einen jeweiligen deterministischen Einfluss von zumindest einem Referenz-Objekt (O, 01 ; 02) der jeweiligen Objektklasse in der abgetasteten Umgebung (3) auf die Intensitätsverteilung repräsentiert, und wobei die
stochastische Komponente mit einer Wahrscheinlichkeitsdichtefunktion hinterlegt ist, welche einen stochastischen Einfluss auf die Intensitätsverteilung repräsentiert; f) Klassifizieren des Objekts (O, 01 ; 02) anhand der zugeordneten
Intensitätsverteilung als zu derjenigen Objektklasse zugehörig, für welche ein Maximum-Likelihood-Schätzer für die hinterlegten Winkel-Charakteristiken (ff0, r0) mit der hinterlegten Wahrscheinlichkeitsdichtefunktion die größte
Zugehörigkeitswahrscheinlichkeit liefert, und Lokalisieren des Objekts (O, 01 ; 02) anhand der zugeordneten Intensitätsverteilung als an derjenigen Position (r, Θ) verortet, für welche der Maximum-Likelihood-Schätzer für die hinterlegten Winkel- Charakteristiken (R0, r0) mit der hinterlegte Wahrscheinlichkeitsdichtefunktion die größte Aufenthaltswahrscheinlichkeit liefert.
2. Verfahren nach Anspruch 1 ,
dadurch gekennzeichnet, dass
die hinterlegte Winkel-Charakteristik (ff0, r0) eine eindimensionale Funktion der Intensität (I,) über dem Messwinkel (α,) ist.
3. Verfahren nach einem der vorhergehenden Ansprüche,
dadurch gekennzeichnet, dass
nach dem Klassifizieren und Lokalisieren des Objekts (O, 01 ; 02) ein Kaiman-Filter zur Positionsverfolgung des Objekts (O, 01 ; 02) angewendet wird.
4. Verfahren nach einem der vorhergehenden Ansprüche,
dadurch gekennzeichnet, dass
für die Wahrscheinlichkeitsdichtefunktion eine Normalverteilung, insbesondere eine mehrdimensionale Normalverteilung, angenommen wird sowie die Unabhängigkeit der einzelnen Intensitäten (I,) der Intensitätsverteilung angenommen wird.
5. Verfahren nach einem der vorhergehenden Ansprüche,
dadurch gekennzeichnet, dass
von mehreren Objekten (O, 01 ; 02) in der Umgebung (3) reflektierte Lichtanteile erfasst werden, und eines der Objekte (O, 01 ; 02) für das Klassifizieren und
Lokalisieren gemäß Verfahrensschritt f) ausgewählt wird, insbesondere das Objekt (O, 01 ; 02) mit der geringsten Entfernung (d,) von der Lidar-Sensorvorrichtung (2).
6. Verfahren nach einem der vorhergehenden Ansprüche,
dadurch gekennzeichnet, dass
die Winkel-Charakteristik (R0,r0) jeder Objektklasse aus einer Messung abgeleitet wird, welche für eine Vielzahl von Relativpositionen (r, θ-α) zumindest eines
Referenz-Objekts (O, d , 02) der Objektklasse die von dem zumindest einen Referenz-Objekt (O, 01 ; 02) verursachten erfassten Intensitäten (I,) und
berechneten Entfernungen (d,) repräsentiert.
7. Verfahren nach Anspruch 6,
dadurch gekennzeichnet, dass
die Messung für die Vielzahl von Entfernungen (d,) des Referenz-Objekts (O, d , 02) für unterschiedliche Relativpositionen (r, θ-α) des Referenz-Objekts (O, 01 ; 02) zu der Sensoreinheit (4) unter unterschiedlichen Bedingungen von der Sensoreinheit (4) aufgenommen wird, insbesondere unterschiedlichen Witterungsbedingungen und/oder unterschiedlichen Beleuchtungsbedingungen und/oder unterschiedlichen Sensorbedingungen und/oder unterschiedlichen Referenz-Objekt-Bedingungen.
8. Verfahren nach einem der vorhergehenden Ansprüche,
dadurch gekennzeichnet, dass
die Winkel-Charakteristik (R0,r0) als parametrisierte Kurve hinterlegt wird, insbesondere als eine Summe aus gewichteten Kernel-Funktionen mit einem jeweiligen Mittelwert und einer jeweiligen Varianz.
9. Verfahren nach einem der vorhergehenden Ansprüche,
dadurch gekennzeichnet, dass,
falls das Lokalisieren keine eindeutige Position (r, Θ) für das Objekt (O, 01 ; 02) ergibt, für den Maximum-Likelihood-Schätzer zwei sich linear überlagernde Objekte (O, Oi , 02) angenommen werden, welche durch den Maximum-Likelihood-Schätzer klassifiziert und lokalisiert werden.
1 0. Verfahren nach einem der vorhergehenden Ansprüche,
dadurch gekennzeichnet, dass
die Winkel-Charakteristiken (ff0, r0) und die Wahrscheinlichkeitsdichtefunktion jeweils eine Funktion der Zeit sind, deren zeitliche Veränderung insbesondere durch eine Markov Kette erster Ordnung beschrieben wird.
1 1 . Lidar-Sensorvorrichtung (2) für ein Kraftfahrzeug (1 ) , welche ausgebildet ist, eine Umgebung (3) der Lidar-Sensorvorrichtung (2) mit einem Abtast-Licht abzutasten, mit
- einer Sensoreinheit (4), welche ausgebildet ist, mehrere von einem Objekt (O, d , 02) in der Umgebung (3) reflektierte Lichtanteile des Abtast-Lichts für mehrere jeweilige Messwinkel (α,) mit einer jeweiligen Intensität (I,) zu erfassen; und mit
- einer Recheneinheit (5), welche ausgebildet ist, zu den Messwinkeln (α,) jeweils die erfasste Intensität (I,) und eine berechnete Entfernung (d,) der Lidar- Sensorvorrichtung (2) von dem Objekt (O, 01 ; 02) zuzuordnen sowie mehrere Intensitäten (I,) in Form einer Intensitätsverteilung wiederum dem Objekt (O, 01 ; 02) zuzuordnen,
dadurch gekennzeichnet, dass
- in der Recheneinheit (5) für mehrere Objektklassen eine jeweilige Winkel- Charakteristik (ff0 < ^o) mit einer deterministischen Komponente (ff0< ^o) und mit einer stochastischen Komponente hinterlegt ist, wobei die deterministische
Komponente (ff0< ^o) einen jeweiligen deterministischen Einfluss von zumindest einem Referenz-Objekt (O, Oi , 02) der jeweiligen Objektklasse in der abgetasteten Umgebung (3) auf die Intensitätsverteilung repräsentiert, und wobei die
stochastische Komponente mit einer Wahrscheinlichkeitsdichtefunktion hinterlegt ist, welche einen stochastischen Einfluss auf die Intensitätsverteilung repräsentiert; und dass
- die Recheneinheit (5) ausgebildet ist, das Objekt (O, 01 ; 02) anhand der zugeordneten Intensitätsverteilung als zu derjenigen Objektklasse zugehörig zu klassifizieren, für welche ein Maximum-Likelihood-Schätzer für die hinterlegten Winkel-Charakteristiken (R0,r0) mit der hinterlegten
Wahrscheinlichkeitsdichtefunktion die größte Zugehörigkeitswahrscheinlichkeit liefert, und das Objekt (O, d , 02) anhand der zugeordneten Intensitätsverteilung als an derjenigen Position (r, Θ) verortet zu lokalisieren, für welche der Maximum- Likelihood-Schätzer für die hinterlegten Winkel-Charakteristiken (ff0, r0) mit der hinterlegten Wahrscheinlichkeitsdichtefunktion die größte
Aufenthaltswahrscheinlichkeit liefert.
12. Kraftfahrzeug (1 ) mit einer Lidar-Sensorvorrichtung (2) nach Anspruch 1 1 .
PCT/EP2018/065744 2017-06-21 2018-06-14 Klassifikation und lokalisation eines objektes durch eine lidar-sensorvorrichtung eines kraftfahrzeugs WO2018234130A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102017113635.5A DE102017113635A1 (de) 2017-06-21 2017-06-21 Klassifikation und Lokalisation eines Objektes durch eine Lidar-Sensorvorrichtung eines Kraftfahrzeugs
DE102017113635.5 2017-06-21

Publications (1)

Publication Number Publication Date
WO2018234130A1 true WO2018234130A1 (de) 2018-12-27

Family

ID=62631095

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2018/065744 WO2018234130A1 (de) 2017-06-21 2018-06-14 Klassifikation und lokalisation eines objektes durch eine lidar-sensorvorrichtung eines kraftfahrzeugs

Country Status (2)

Country Link
DE (1) DE102017113635A1 (de)
WO (1) WO2018234130A1 (de)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116626630A (zh) * 2023-07-25 2023-08-22 北京赛目科技股份有限公司 一种物体分类方法、装置、电子设备及存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102004003870A1 (de) 2004-01-26 2005-08-11 Ibeo Automobile Sensor Gmbh Verfahren zur Klassifizierung von Objekten

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102004003870A1 (de) 2004-01-26 2005-08-11 Ibeo Automobile Sensor Gmbh Verfahren zur Klassifizierung von Objekten

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
FUERSTENBERG K CH ET AL: "Object tracking and classification for multiple active safety and comfort applications using a multilayer laserscanner", INTELLIGENT VEHICLES SYMPOSIUM, 2004 IEEE PARMA, ITALY JUNE 14-17, 2004, PISCATAWAY, NJ, USA,IEEE, 14 June 2004 (2004-06-14), pages 802 - 807, XP010727750, ISBN: 978-0-7803-8310-4, DOI: 10.1109/IVS.2004.1336487 *
HANS-ANDREA LOELINGER ET AL.: "On Sparsity by NUV-EM, Gaussian Message Passing, and Kalman-Smoothing", ARXIV PREPRINT ARXIV: 1602.02673, 2016
ID GEBRU ET AL.: "EM Algorithms for Weighted Data Clustering with Application to Audio-Visual Scene Analysis", ARXIV PREPRINT ARXIV: 1509.01509, 2015
LIU ZHENG-JUN ET AL: "Target recognition for small samples of ladar range image using classifier ensembles", OPTICAL ENGINEERING, SOC. OF PHOTO-OPTICAL INSTRUMENTATION ENGINEERS, BELLINGHAM, vol. 51, no. 8, 1 August 2012 (2012-08-01), pages 87201 - 1, XP060025494, ISSN: 0091-3286, [retrieved on 20120806], DOI: 10.1117/1.OE.51.8.087201 *
M. HIMMELSBACH ET AL: "LIDAR-based 3D Object Perception", PROCEEDINGS OF 1ST INTERNATIONAL WORKSHOP ON COGNITION FOR TECHNICAL SYSTEMS, 1 October 2008 (2008-10-01), XP055507744, Retrieved from the Internet <URL:http://www.cs.princeton.edu/courses/archive/spring11/cos598A/pdfs/Himmelsbach08.pdf> [retrieved on 20180918] *
MARC BARTELS ET AL: "Maximum Likelihood Classification of LIDAR Data incorporating multiple co-registered Bands", 4TH INTERNATIONAL WORKSHOP ON PATTERN RECOGNITION IN REMOTE SENSING IN CONJUNCTION WITH THE 18TH INTERNATIONAL CONFERENCE ON PATTERN RECOGNITION 2006, 1 January 2006 (2006-01-01), XP055507808, Retrieved from the Internet <URL:http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.63.6978&rep=rep1&type=pdf> [retrieved on 20180918] *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116626630A (zh) * 2023-07-25 2023-08-22 北京赛目科技股份有限公司 一种物体分类方法、装置、电子设备及存储介质
CN116626630B (zh) * 2023-07-25 2023-09-29 北京赛目科技股份有限公司 一种物体分类方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
DE102017113635A1 (de) 2018-12-27

Similar Documents

Publication Publication Date Title
DE102017116017A1 (de) Kraftfahrzeug-Sensorvorrichtung mit mehreren Sensoreinheiten und mehreren neuronalen Netzen zum Erzeugen einer kombinierten Repräsentation einer Umgebung
DE102014209137B4 (de) Verfahren und Vorrichtung zur Kalibrierung eines Kamerasystems eines Kraftfahrzeugs
DE102013102153A1 (de) Verfahren zur Registrierung von Entfernungsbildern von mehreren LiDAR-Sensoren
DE102011119767A1 (de) Erscheinungsbild-gestützte vereinigung von kamera- undentfernungssensordaten für mehrere objekte
DE102013113570A1 (de) Bayes-Netz zum Nachführen von Objekten unter Verwendung von Absuchpunkten unter Verwendung mehrerer LiDAR-Sensoren
DE102013113571A1 (de) Verfahren und Vorrichtungen zum Vereinigen von Radar/Kamera-Objektdaten und LiDAR-Absuchpunkten
EP2005361A1 (de) Multisensorieller hypothesen-basierter objektdetektor und objektverfolger
DE102015117379A1 (de) Verfahren zum Erfassen eines dynamischen Objekts in einem Umgebungsbereich eines Kraftfahrzeugs auf Basis von Informationen einer kraftfahrzeugseitigen Ultraschalldetektionseinrichtung, Fahrerassistenzsystem und Kraftfahrzeug
DE102020105642A1 (de) Entwerfen von und verarbeiten mit antennenarrays zur beseitigung von fehldetektionen in einem radarsystem
DE112018007810T5 (de) Objektverfolgung auf Grundlage von mehreren Messhypothesen
DE102014223461A1 (de) Verfahren und Vorrichtung zum Ermitteln von Dejustagewinkeln eines Radarsystems
DE102020203796A1 (de) Verfahren und Vorrichtung zum Bestimmen einer Messinformation und LiDAR-Gerät
DE102021100351A1 (de) Adaptive untersuchung für lidar-basiertes gruppieren
DE102018123393A1 (de) Erkennung von Parkflächen
DE112019005326T5 (de) Objektverfolgungsvorrichtung
WO2018234130A1 (de) Klassifikation und lokalisation eines objektes durch eine lidar-sensorvorrichtung eines kraftfahrzeugs
DE102017220954A1 (de) Verfahren, Vorrichtung und Computerprogramm zur Ermittlung einer Anomalie
DE102020214596A1 (de) Verfahren zum Erzeugen von Trainingsdaten für ein Erkennungsmodell zum Erkennen von Objekten in Sensordaten einer Umfeldsensorik eines Fahrzeugs, Verfahren zum Erzeugen eines solchen Erkennungsmodells und Verfahren zum Ansteuern einer Aktorik eines Fahrzeugs
DE102017116016A1 (de) Kraftfahrzeug-Sensorvorrichtung mit mehreren Sensoreinheiten und einem neuronalen Netz zum Erzeugen einer integrierten Repräsentation einer Umgebung
EP3663881B1 (de) Verfahren zur steuerung eines autonomen fahrzeugs auf der grundlage von geschätzten bewegungsvektoren
DE102014103137A1 (de) Verfahren zur Bestimmung und Korrektur von Oberflächendaten zur dimensionellen Messung mit einer Computertomografiesensorik
DE102008008499B4 (de) Verfahren zur rechnergestützten Berechnung der Bewegung eines Objekts aus Sensordaten
DE102019121544A1 (de) Zieldetektionsvorrichtung und zieldetektionsverfahren
DE102019126447A1 (de) Automobil-Radar-Szenensimulator
DE102019216184A1 (de) Verfahren zum Robustifizieren eines Neuronalen Netzes gegen adversariale Störungen

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18731806

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18731806

Country of ref document: EP

Kind code of ref document: A1