WO2021069130A1 - Verfahren und eine vorrichtung zur klassifizierung eines objektes, insbesondere im umfeld eines kraftfahrzeugs - Google Patents

Verfahren und eine vorrichtung zur klassifizierung eines objektes, insbesondere im umfeld eines kraftfahrzeugs Download PDF

Info

Publication number
WO2021069130A1
WO2021069130A1 PCT/EP2020/072518 EP2020072518W WO2021069130A1 WO 2021069130 A1 WO2021069130 A1 WO 2021069130A1 EP 2020072518 W EP2020072518 W EP 2020072518W WO 2021069130 A1 WO2021069130 A1 WO 2021069130A1
Authority
WO
WIPO (PCT)
Prior art keywords
feature
ultrasonic
pedestrian
received
ultrasonic sensors
Prior art date
Application number
PCT/EP2020/072518
Other languages
English (en)
French (fr)
Inventor
Michael Schumann
Christian Pampus
Original Assignee
Robert Bosch Gmbh
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch Gmbh filed Critical Robert Bosch Gmbh
Priority to MX2022003941A priority Critical patent/MX2022003941A/es
Priority to KR1020227014935A priority patent/KR20220070320A/ko
Priority to CN202080071027.3A priority patent/CN114556146A/zh
Priority to US17/764,672 priority patent/US20220342061A1/en
Priority to JP2022521080A priority patent/JP7385026B2/ja
Publication of WO2021069130A1 publication Critical patent/WO2021069130A1/de

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/52—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00
    • G01S7/523—Details of pulse systems
    • G01S7/526—Receivers
    • G01S7/53—Means for transforming coordinates or for evaluating data, e.g. using computers
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/02—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems using reflection of acoustic waves
    • G01S15/06—Systems determining the position data of a target
    • G01S15/46—Indirect determination of position data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/02—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems using reflection of acoustic waves
    • G01S15/06—Systems determining the position data of a target
    • G01S15/08—Systems for measuring distance only
    • G01S15/10—Systems for measuring distance only using transmission of interrupted, pulse-modulated waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/02—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems using reflection of acoustic waves
    • G01S15/06—Systems determining the position data of a target
    • G01S15/42—Simultaneous measurement of distance and other co-ordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/02—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems using reflection of acoustic waves
    • G01S15/50—Systems of measurement, based on relative movement of the target
    • G01S15/52—Discriminating between fixed and moving objects or between objects moving at different speeds
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/87—Combinations of sonar systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88—Sonar systems specially adapted for specific applications
    • G01S15/93—Sonar systems specially adapted for specific applications for anti-collision purposes
    • G01S15/931—Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/52—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00
    • G01S7/523—Details of pulse systems
    • G01S7/526—Receivers
    • G01S7/527—Extracting wanted echo signals
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/52—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00
    • G01S7/539—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/52—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00
    • G01S7/54—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00 with receivers spaced apart
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/02—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems using reflection of acoustic waves
    • G01S15/06—Systems determining the position data of a target
    • G01S15/46—Indirect determination of position data
    • G01S2015/465—Indirect determination of position data by Trilateration, i.e. two transducers determine separately the distance to a target, whereby with the knowledge of the baseline length, i.e. the distance between the transducers, the position data of the target is determined
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88—Sonar systems specially adapted for specific applications
    • G01S15/93—Sonar systems specially adapted for specific applications for anti-collision purposes
    • G01S15/931—Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2015/932—Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles for parking operations
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88—Sonar systems specially adapted for specific applications
    • G01S15/93—Sonar systems specially adapted for specific applications for anti-collision purposes
    • G01S15/931—Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2015/937—Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles sensor installation details
    • G01S2015/938—Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles sensor installation details in the bumper area

Definitions

  • the invention relates to a method and a device for classifying an object, in particular in the vicinity of a motor vehicle, by means of an ultrasonic sensor system, the ultrasonic sensor system having a plurality of spatially distributed ultrasonic sensors.
  • a device for detecting a dynamic object in the vicinity of a motor vehicle by means of ultrasound which comprises a sensor array with at least two sensor elements which are arranged at a predetermined distance from one another and which act as both a transmitter and a receiver.
  • a detected moving object is classified based on its trajectory and speed by comparison with given models, e.g. as a pedestrian.
  • a vehicle control device which comprises an ultrasonic sensor designed to detect an obstacle in front of the vehicle and a monocular camera designed to record an image of an area in front of the vehicle.
  • a control device determines the presence or absence of an obstacle in front of the vehicle based on images captured by the monocular camera while the vehicle is traveling, and controls the driving force of the vehicle according to a combination of detecting or not detecting an object by the ultrasonic sensor and presence or Absence of an obstacle that is determined based on the image taken with the monocular camera.
  • DE 102016124157 A1 shows a method for determining a need for braking for a motor vehicle as a function of a possible collision object, for example a pedestrian, in an area surrounding the motor vehicle.
  • the object of the invention can be seen in realizing the most reliable possible pedestrian detection in the vicinity of a motor vehicle based on an ultrasonic sensor system.
  • a method for classifying an object, in particular in the vicinity of a motor vehicle, by means of an ultrasonic sensor system, the ultrasonic sensor system having a plurality of spatially distributed ultrasonic sensors.
  • the ultrasonic sensor system can, for example, be part of a driving or parking assistance system provided on a motor vehicle.
  • the ultrasonic sensors can be arranged, for example, in a distributed manner on a front and / or rear bumper of the motor vehicle.
  • Each of the ultrasonic sensors can be designed to transmit ultrasonic signals and to receive ultrasonic signals reflected on an object.
  • the distance to the object can be determined in a known manner by means of the transit time of a received ultrasonic signal reflected on an object.
  • Extended and structured objects can generate so-called multiple echoes.
  • the emitted ultrasonic signal is reflected at different points on the object and it For example, several echo signals with different transit times can be received by an ultrasonic sensor from a transmitted ultrasonic signal.
  • the procedure consists of the following steps:
  • a plurality of measurements are carried out, in particular continuously, with an ultrasonic signal being transmitted by one of the ultrasonic sensors in each case during a measurement, a signal being received by at least one of the ultrasonic sensors which has a plurality of reflected echo signals, so-called multiple echoes, and the received echo signals Echo signals are assigned to an object.
  • a number of features can be determined from the echo signals received:
  • a third feature which represents a distribution of the number of received echo signals per measurement via the ultrasonic sensors
  • a fourth feature which represents the alignment of the ultrasonic sensors with respect to the object
  • a fifth feature which represents a variance of first object distances over a number of measurements, an associated first object distance being calculated for each specific first time echo signal received, with an approach of the object in particular being taken into account when determining the variance;
  • a sixth feature which represents a correlation of a received echo signal with the transmitted ultrasonic signal;
  • a seventh feature representing an amplitude of an echo signal
  • an eighth feature which represents a distribution of reflex points, each reflex point indicating a measured object position.
  • the object is classified as a function of a combination of at least two of these features, in particular as a pedestrian.
  • a combination is understood here to mean that features are evaluated to determine whether, for example, certain threshold values are exceeded or undershot, or certain distributions or variances of distributions of the features are observed in a plurality of, for example, successive measurements. Each characteristic under consideration can then provide a specific contribution to the determination of the classification, for example by indicating a probability that the object is a pedestrian.
  • the features can be used as input signals of a so-called classifier (e.g. a neural network, a decision tree, etc.) trained via a database for machine learning.
  • a so-called classifier e.g. a neural network, a decision tree, etc.
  • the first and the third feature can be combined to reliably classify the object as a pedestrian as follows: If the frequency according to the first feature with which a distance d between the The first recorded echo signal and the last recorded echo signal of a multiple echo exceeds a predetermined distance threshold value, i.e. it exceeds a frequency threshold value and the distribution according to the third feature shows that only certain of the ultrasonic sensors, in particular only one of the ultrasonic sensors or only a few, in particular adjacent arranged ultrasonic sensors have received a plurality of echo signals per measurement, the object is classified as a pedestrian.
  • the invention is based on the knowledge that a pedestrian as a structured object reflects ultrasound at different points, e.g. on the foot, torso, head and / or arms. Due to this peculiarity, a single ultrasonic measurement usually gives several echo signals (reflections, multiple echoes) that lie behind one another in time or at a distance. It is characteristic that the distance d between the temporally first received signal and the temporally last received signal is often relatively large, in particular greater than in the case of low objects such as curbs. This can be due, for example, to the fact that different body parts reflect the transmitted ultrasonic signal which, as seen from the ultrasonic sensor, are at a great distance from one another. As a result of the movement of the pedestrian, this relative distance d can also fluctuate greatly, especially if a sequence of successive measurements is considered. This effect is also due to the fact that the same points on the pedestrian do not reflect the transmitted ultrasonic signal for each measurement.
  • the first characteristic used to classify the reflecting object is how often multiple echoes are measured in relation to the total number of measurements assigned to the object and how often the distance d is large, i.e. greater than a certain threshold value (first characteristic) .
  • an increased occurrence of the typical multiple echoes can be detected in pedestrians, especially with only one of the ultrasonic sensors or with two adjacent ultrasonic sensors, whereas such a distribution cannot be observed, for example, with a curb as a reflective object.
  • a distribution of the number of received echo signals per measurement via the ultrasonic sensors is thus recorded as a third feature. It is thus detected which of the ultrasonic sensors receive a plurality of echo signals per measurement and which do not.
  • a reflective object is preferably classified as a pedestrian if the distribution according to the third feature shows that only certain of the ultrasonic sensors, in particular only one of the ultrasonic sensors or only a few, in particular adjacent ultrasonic sensors, have received a plurality of echo signals per measurement that are related to the contributed to the object to be classified.
  • the other ultrasonic sensors can also detect echo signals, but not echo signals that are assigned to the object to be classified due to their position in space, which can be determined for example by trilateration.
  • the alignment of the ultrasonic sensors with respect to the object can be determined. It can thus also be taken into account that the multiple echo signals are often very weak and can only be recognized at all by sensor systems that are set to be very sensitive. The reception of these ultrasonic signals (multiple echoes) can therefore be between the various ultrasonic sensors vary greatly.
  • the statistics ie in particular to determine the distance d, to determine the frequency with which the distance d exceeds a certain threshold value according to the first feature and / or to determine the variance of d according to the second feature in particular to evaluate only the measurement data of those ultrasonic sensors that are aligned with the object, that is, have a good viewing angle or, preferably, to use only that ultrasonic sensor that has the best viewing angle to the object in comparison.
  • the angle of the main axis of each ultrasonic sensor relative to the detected object can be taken into account here.
  • the object distance, which results from the first received reflected echo signal (first reflex) varies greatly, especially in comparison with a geometrically simple, stable reflector such as a curb.
  • the variance of the object distance that results from the first received reflected echo signal (first reflex) can therefore be used as a further, fifth feature. In particular if this variance exceeds a second variance threshold value, the object can be classified as a pedestrian.
  • the echo signals are acoustically superimposed. If an ultrasonic sensor sends out encoded ultrasonic signals, e.g. by using a characteristic frequency curve, and the receiving ultrasonic sensor evaluates the curve of the received echo signal in order to determine a correlation, then the superimposition of the echo signals leads to a disruptive influence on the correlation, i.e. the correlation drops from. In the case of, for example, a curb, on the other hand, very high correlations can be observed that can never occur with a pedestrian.
  • the sixth feature is therefore the correlation of the received echo signal with the transmitted ultrasonic signal.
  • a classification of the object as a pedestrian is preferably excluded if for one certain number of measurements the correlation value is greater than a certain correlation threshold value.
  • an amplitude of at least one received echo signal can be evaluated. Since the clothing of a pedestrian usually strongly absorbs acoustic signals, the reflected sound energy of an ultrasonic signal reflected from a pedestrian is rather low to moderately pronounced. In this respect, the amplitude can in particular be evaluated in such a way that particularly high amplitudes reduce the probability of classification as a pedestrian. In particular, the classification of an object as a pedestrian can be excluded if the amplitude of at least one received ultrasonic signal is greater than a specific amplitude threshold value.
  • a so-called reflex point can also be determined, which indicates a position in space from which the received ultrasonic signal was reflected.
  • a reflex point can, for example, be determined in a known manner by trilateration.
  • the reflex points received from one measurement to the next jump locally strongly, i.e. that the coordinates that are assigned to the pedestrian as an object in space during a measurement vary in a certain way. This results from the complex geometric structure of the pedestrian and from the fact that the pedestrian can move.
  • the spatial distribution of the reflex points which represent a spatial assignment of several measurements via trilateration, in a sequence of measurements can thus be used as a further, eighth feature.
  • the spatial distribution of the reflex points according to the eighth feature has a characteristic shape, in particular an accumulation of reflex points at a probable object position and scatter in the lateral direction, the object can be classified as a pedestrian.
  • the features mentioned enable pedestrians and curbs or other objects that are not relevant to braking to be separated with a certain degree of probability. No single characteristic is unambiguous on its own enough to make a reliable statement possible without adding further features. Therefore, according to the invention, the features mentioned are combined with one another in particular logically or statistically.
  • the features can also be used as input signals of a classifier trained via a database (neural network, decision tree, ...) for machine learning.
  • the type of logical combination is not primarily decisive, rather it is the characteristics that are decisive for recognizing a pedestrian.
  • a device designed for classifying an object, in particular in the vicinity of a motor vehicle comprising:
  • ultrasonic sensor system • an ultrasonic sensor system, wherein the ultrasonic sensor system has a plurality of spatially distributed, in particular arranged on a body of a motor vehicle, ultrasonic sensors,
  • An evaluation device which is designed to carry out the steps according to a method designed as described above.
  • the evaluation device is designed to determine two or more of the features described above from the measurement data recorded by the ultrasonic sensors and to combine at least two of the features in order to determine a classification of an object in the vicinity of the device.
  • the device can be part of a driver assistance system of a motor vehicle.
  • the ultrasonic sensors are preferably on a bumper of the Arranged motor vehicle and aligned such that they can capture an area in the direction of travel in front of or behind the motor vehicle.
  • the device can in particular be part of a brake assistance system, for example emergency braking can be triggered if an object is classified as a pedestrian and the object is detected, for example, in the direction of travel of the motor vehicle at a distance closer than a certain minimum distance.
  • emergency braking can be triggered if an object is classified as a pedestrian and the object is detected, for example, in the direction of travel of the motor vehicle at a distance closer than a certain minimum distance.
  • a motor vehicle which has a device according to the invention.
  • Figure 1 shows a device according to a possible embodiment of the invention when detecting a pedestrian.
  • FIG. 2 shows, by way of example, according to the invention, distance data acquired during a plurality of measurements following one another in time.
  • FIG. 3 shows by way of example according to the invention, distance data acquired during several consecutive measurements taking into account multiple echoes, a distance d corresponding to a distance between a first received echo signal and a last received echo signal of a measurement being determined for each measurement.
  • FIG. 4 shows schematically a motor vehicle designed according to the invention and a pedestrian, as well as, superimposed, a distribution of reflex points from a plurality of measurements.
  • FIG 1 the front part of a motor vehicle 1 is shown schematically.
  • the motor vehicle 1 comprises a device 10 for classifying an object 70 in the vicinity of the motor vehicle 1.
  • the device 10 comprises an ultrasonic sensor system, the ultrasonic sensor system having four ultrasonic sensors 12.1, 12.2, 12.3 and 12.4 arranged along the front of the motor vehicle 1.
  • the device 10 also includes an evaluation device 11 which is designed to evaluate the measurement data from the ultrasonic sensors 12.1-12.4 and to classify the object 70 based thereon.
  • the evaluation device is designed to control each of the ultrasonic sensors 12.1-12.4, so that the ultrasonic sensors 12.1-12.4 send ultrasonic signals and receive ultrasonic signals reflected on the object 70 and assign the received signals to the object 70.
  • the object 70 is a pedestrian 80.
  • the probability is high that at least one of the ultrasonic sensors 12.1-12.4 will receive a signal which has a plurality of reflected echo signals.
  • a hand 82 and a foot 84 of the pedestrian 80 reflect the transmitted ultrasonic signal of the ultrasonic sensor 12.3.
  • the foot 84 can have a smaller distance 24 from the ultrasonic sensor 12.3 than the distance 22 from the hand 82.
  • the ultrasonic sensor 12.3 will therefore receive at least two echo signals during a measurement.
  • the echo signal that was reflected from the foot 84 is received as the first echo signal in time and the echo signal that was reflected from the hand 82 is received as the last echo signal in time.
  • a distance d between the first received echo signal and the last received echo signal in time can be determined from the echo signals. For this purpose, for example, a transit time difference between these echo signals is first determined, which can be calculated in a known manner with knowledge of the speed of sound of the ultrasonic signals, a spatial distance d.
  • a plurality of measurements can now be used to observe how the respectively determined distance d behaves. If, for example, a distance d is determined for a certain minimum portion of the measurements which exceeds a certain threshold value, then this fact can serve as an indicator that the object 70 is a pedestrian. Movement, for example of the arms and legs, and / or different orientations of a pedestrian 80 relative to the ultrasonic sensors also cause strong fluctuations in the distance d. If a variance of the distance d is considered, then, for example, if the variance exceeds a certain threshold value, it can be used as a further indicator that the object 70 is a pedestrian.
  • the first received echo signal 210 and the last received echo signal 220 and the distance d determined therefrom are shown as an example in a diagram 200 for a plurality of measurements i.
  • the measurement time t is plotted on the x-axis and the measured distance s from the ultrasonic sensor is plotted on the y-axis.
  • a comparison can be made for each measurement as to whether the distance d exceeds a predefined distance threshold value, and a frequency based on the number of measurements carried out with which the distance d exceeds the predefined distance threshold value can thus be determined.
  • Another feature is the number of echo signals received per measurement using the ultrasonic sensors.
  • the two middle ultrasonic sensors 12.2 and 12.3 receive stronger echo signals than the two outer ultrasonic sensors 12.1 and 12.4 due to their proximity and alignment with respect to the pedestrian 80.
  • the reception of multiple echoes by the middle ultrasonic sensors 12.2 and 12.3 is correspondingly more likely.
  • the distribution of the number of received echo signals per measurement will therefore have an accumulation in the case of the ultrasonic sensors 12.2 and 12.3 arranged adjacent to one another.
  • a distance between the pedestrian 80 and the ultrasonic sensor determined from a respective first received echo signal can vary greatly, in particular in comparison with a geometrically simple, stable reflector such as a curb.
  • FIG. 2 a measurement diagram 100.
  • the measurement time t is plotted on the x-axis and the measured distance s from the ultrasonic sensor is plotted on the y-axis.
  • a distance 90 between the reflecting object 70 and the measuring ultrasonic sensor is determined by means of the first received echo signal.
  • a relative, linear approach between the measuring ultrasonic sensor and the reflective object 70 is visible, as is shown by the straight line 95.
  • the straight line 95 can be calculated. If the state of motion of the object 70 is not known, the straight line 95 can be determined from the measured values 90 (for example using customary fit methods). To determine the fifth feature, a variance of the measured values 90 representing the respective object distance is determined over several measurements with respect to the straight line 95, whereby an approach of the object 70 to the vehicle 1 or the measuring ultrasonic sensor is taken into account. If the variance determined in this way according to the fifth feature exceeds a second variance threshold value, this can be assessed as a further indication that the reflective object 70 is a pedestrian 80.
  • FIG. 4 shows schematically, using a possible example, how the eighth feature according to the invention can be determined, which represents a distribution of reflex points 60. In FIG.
  • the front of a vehicle 1 is shown schematically, which has an ultrasonic sensor system 12 with four ultrasonic sensors 12.1, 12.2, 12.3 and 12.4.
  • An object 70 is located in front of the vehicle 1.
  • Coordinates of reflex points 60 are determined by a large number of measurements using the ultrasonic sensors, for example by means of trilateration.
  • a spatial distribution of the reflex points is formed, as indicated in FIG. 4 by the coordinate system. It has been found that a pedestrian 80 has a characteristic distribution of reflex points 60 which, on the one hand, has an accumulation at a probable object position, as well as a certain scatter of the reflex points 60 in the lateral direction, i.e. in a direction perpendicular to the main measuring direction.

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)
  • Traffic Control Systems (AREA)

Abstract

Es wird ein Verfahren zur Klassifizierung eines Objektes, insbesondere im Umfeld eines Kraftfahrzeugs, mittels einer Ultraschallsensorik vorgeschlagen, wobei die Ultraschallsensorik eine Mehrzahl von räumlich verteilt angeordneten Ultraschallsensoren aufweist. Es werden eine Mehrzahl von Messungen durchgeführt, insbesondere fortlaufend, wobei bei einer Messung jeweils durch einen der Ultraschallsensoren ein Ultraschallsignal ausgesendet wird, durch mindestens einen der Ultraschallsensoren ein Signal empfangen wird, das eine Mehrzahl von reflektierten Echosignalen, sogenannte Mehrfachechos, aufweist, und die empfangenen Echosignale einem Objekt zugeordnet werden. Aus den empfangenen Echosignalen kann eine Mehrzahl von Merkmalen bestimmt werden. Erfindungsgemäß wird das Objekt abhängig von einer Kombination von zumindest zwei dieser Merkmale klassifiziert, insbesondere als Fußgänger.

Description

Beschreibung
Titel
Verfahren und eine Vorrichtung zur Klassifizierung eines Objektes, insbesondere im Umfeld eines Kraftfahrzeugs
Die Erfindung betrifft ein Verfahren und eine Vorrichtung zur Klassifizierung eines Objektes, insbesondere im Umfeld eines Kraftfahrzeugs, mittels einer Ultraschallsensorik, wobei die Ultraschallsensorik eine Mehrzahl von räumlich verteilt angeordneten Ultraschallsensoren aufweist.
Stand der Technik
Aus der EP2908153 A2 ist eine Vorrichtung zur Erkennung eines dynamischen Objekts im Umfeld eines Kraftfahrzeugs mittels Ultraschall bekannt, welches ein Sensorarray mit zumindest zwei voneinander mit einem vorgegebenen Abstand angeordneten Sensorelementen, umfasst welche sowohl als Sender als auch als Empfänger wirken. Ein erfasstes bewegliches Objekt wird basierend auf seiner Trajektorie sowie der Geschwindigkeit durch Vergleich mit vorgegebenen Modellen klassifiziert, z.B. als Fußgänger.
Aus der DE 112016003462 T5 ist eine Fahrzeugsteuervorrichtung bekannt, die einen Ultraschallsensor umfasst, der ausgelegt ist, um ein Hindernis vor dem Fahrzeug zu detektieren, und eine monokulare Kamera, die ausgelegt ist, um ein Bild eines Bereichs vor dem Fahrzeug aufzunehmen. Ein Steuergerät ermittelt das Vorhandensein oder Fehlen eines Hindernisses vor dem Fahrzeug beruhend auf Bildern, die mit der monokularen Kamera während der Fahrt des Fahrzeugs aufgenommen werden, und regelt die Antriebskraft des Fahrzeugs gemäß einer Kombination aus Detektieren oder Nichtdetektieren eines Objekts durch den Ultraschallsensor und Vorhandensein oder Fehlen eines Hindernisses, das beruhend auf dem mit der monokularen Kamera aufgenommenen Bild ermittelt wird.
DE 102016124157 Al zeigt ein Verfahren zum Ermitteln einer Bremsnotwendigkeit für ein Kraftfahrzeug in Abhängigkeit von einem möglichen Kollisionsobjekt, beispielsweise einem Fußgänger, in einem Umgebungsbereich des Kraftfahrzeugs.
Die Aufgabe der Erfindung kann darin gesehen werden, basierend auf einer Ultraschallsensorik eine möglichst zuverlässige Fußgängererkennung im Umfeld eines Kraftfahrzeugs zu realisieren.
Offenbarung der Erfindung
Die Aufgabe wird durch das Verfahren und die Vorrichtung gemäß den unabhängigen Ansprüchen gelöst. Die Unteransprüche beschreiben bevorzugte Ausführungen der Erfindung.
Es wird ein Verfahren zur Klassifizierung eines Objektes, insbesondere im Umfeld eines Kraftfahrzeugs, mittels einer Ultraschallsensorik vorgeschlagen, wobei die Ultraschallsensorik eine Mehrzahl von räumlich verteilt angeordneten Ultraschallsensoren aufweist.
Die Ultraschallsensorik kann beispielsweise Teil eines an einem Kraftfahrzeug vorgesehenen Fahr- oder Parkassistenzsystems sein. Dabei können die Ultraschallsensoren beispielsweise verteilt an einem vorderen und/oder hinteren Stoßfänger des Kraftfahrzeugs angeordnet sein.
Jeder der Ultraschallsensoren kann ausgebildet sein, Ultraschallsignale auszusenden und an einem Objekt reflektierte Ultraschallsignale zu empfangen. Mittels der Laufzeit eines empfangenen, an einem Objekt reflektierten Ultraschallsignals kann in bekannter Weise der Abstand zu dem Objekt bestimmt werden. Ausgedehnte und strukturierte Objekte können sogenannte Mehrfachechos erzeugen. In diesem Fall wird das ausgesendete Ultraschallsignal an verschiedenen Punkten des Objekts reflektiert und es können von einem gesendeten Ultraschallsignal mehrere Echosignale mit jeweils unterschiedlichen Laufzeiten von einem Ultraschallsensor empfangen werden.
Das Verfahren umfasst die folgenden Schritte:
Es werden eine Mehrzahl von Messungen durchgeführt, insbesondere fortlaufend, wobei bei einer Messung jeweils durch einen der Ultraschallsensoren ein Ultraschallsignal ausgesendet wird, durch mindestens einen der Ultraschallsensoren ein Signal empfangen wird, das eine Mehrzahl von reflektierten Echosignalen, sogenannte Mehrfachechos, aufweist, und die empfangenen Echosignale einem Objekt zugeordnet werden.
Aus den empfangenen Echosignalen kann eine Mehrzahl von Merkmalen bestimmt werden:
- Ein erstes Merkmal, das eine Häufigkeit bezogen auf die Anzahl der durchgeführten Messungen, mit der eine Distanz d einen vorgegebenen Distanzschwellenwert überschreitet, wobei die Distanz d einen Abstand zwischen einem zeitlich ersten empfangenen Echosignal und einem zeitlich letzten empfangenen Echosignal einer Messung mit Mehrfachechos entspricht, repräsentiert;
- ein zweites Merkmal, das eine Varianz der Distanz d repräsentiert;
- ein drittes Merkmal, das eine Verteilung der Anzahl der empfangenen Echosignale je Messung über die Ultraschallsensoren repräsentiert;
- ein viertes Merkmal, das die Ausrichtung der Ultraschallsensoren bezüglich des Objektes repräsentiert;
- ein fünftes Merkmal, das eine Varianz erster Objektabstände über mehrere Messungen repräsentiert, wobei zu jedem bestimmten zeitlich ersten empfangenen Echosignal ein zugehöriger erster Objektabstand berechnet wird, wobei bei der Bestimmung der Varianz insbesondere eine Annäherung des Objekts berücksichtigt wird; - ein sechstes Merkmal, das eine Korrelation eines empfangenen Echosignals mit dem gesendeten Ultraschallsignal repräsentiert;
- ein siebtes Merkmal, das eine Amplitude eines Echosignals repräsentiert;
- ein achtes Merkmal, das eine Verteilung von Reflexpunkten repräsentiert, wobei jeder Reflexpunkt eine gemessene Objektposition angibt.
Alle genannten Merkmale ermöglichen eine Klassifizierung des Objektes und insbesondere eine Trennung von Fußgängern und Bordsteinen oder anderen, Objekten, die beispielsweise für eine automatisierte oder unterstützte Notbremsfunktion eines Kraftfahrzeugs nicht relevant sind, mit einer gewissen Wahrscheinlichkeit. Kein einzelnes Merkmal ist, für sich alleine gestellt, eindeutig genug, um ohne Hinzunahme weiterer Merkmale eine sichere Aussage zu ermöglichen, ob es sich bei dem Objekt um einen Fußgänger handelt oder nicht. Deshalb werden gemäß der Erfindung die genannten Merkmale logisch bzw. statistisch miteinander kombiniert.
Erfindungsgemäß wird das Objekt abhängig von einer Kombination von zumindest zwei dieser Merkmale klassifiziert, insbesondere als Fußgänger. Unter einer Kombination wird hierbei verstanden, dass Merkmale dahingehend ausgewertet werden, ob beispielsweise bestimmte Schwellenwerte überschritten oder unterschritten werden, oder bestimmte Verteilungen oder Varianzen von Verteilungen der Merkmale bei einer Mehrzahl von beispielsweise aufeinanderfolgenden Messungen beobachtet werden. Jedes betrachtete Merkmal kann dann einen bestimmten Beitrag für die Festlegung der Klassifizierung liefern, beispielsweise indem es eine Wahrscheinlichkeit angibt, dass es sich bei dem Objekt um einen Fußgänger handelt.
Alternativ oder zusätzlich können die Merkmale als Eingangssignale eines über eine Datenbank trainierten sogenannten Klassifikators (z.B. ein neuronales Netz, ein Entscheidungsbaum, o.ä.) für maschinelles Lernen verwendet werden.
Insbesondere das erste und das dritte Merkmal können zu einer zuverlässigen Klassifizierung des Objekts als Fußgänger wie folgt kombiniert werden: Wenn die Häufigkeit gemäß dem ersten Merkmal, mit der eine Distanz d zwischen dem zeitlich ersten erfassten Echosignal und dem zeitlich letzten erfassten Echosignals eines Mehrfachechos einen vorgegebenen Distanzschwellenwert überschreitet besonders groß ist, also einen Häufigkeitsschwellenwert überschreitet und die Verteilung gemäß dem dritten Merkmal ergibt, dass nur bestimmte der Ultraschallsensoren, insbesondere nur einer der Ultraschallsensoren oder nur wenige, insbesondere benachbart angeordnete Ultraschallsensoren, eine Mehrzahl von Echosignalen je Messung empfangen haben, so wird das Objekt als Fußgänger klassifiziert.
Die Erfindung beruht auf der Erkenntnis, dass ein Fußgänger als strukturiertes Objekt Ultraschall an verschiedenen Stellen reflektiert, z.B. am Fuß, am Torso, dem Kopf und/oder den Armen. Durch diese Eigenart erhält man mit einer einzelnen Ultraschallmessung üblicherweise mehrere Echosignale (Reflexe, Mehrfachechos), die zeitlich bzw. in der Distanz hintereinanderliegen. Charakteristisch ist dabei, dass die Distanz d zwischen dem zeitlich ersten empfangenen Signal und dem zeitlich letzten empfangenen Signal häufig relativ groß ist, insbesondere größer als bei niedrigen Objekten wie z.B. Bordsteinen. Dies kann zum Beispiel dadurch bedingt sein, dass verschiedene Körperteile das gesendeten Ultraschallsignal reflektieren, die vom Ultraschallsensor aus gesehen eine große Distanz zueinander aufweisen. Durch die Bewegung des Fußgängers kann diese relative Distanz d außerdem stark schwanken, insbesondere, wenn man eine Sequenz aufeinanderfolgender Messungen betrachtet- Dieser Effekt wird außerdem dadurch bedingt, dass nicht bei jeder Messung dieselben Punkte des Fußgängers das gesendete Ultraschallsignal reflektieren.
Als erstes Merkmal zur Klassifizierung des reflektierenden Objekts wird demnach herangezogen, wie häufig im Verhältnis zur Gesamtzahl der Messungen, die dem Objekt zugeordnet werden, Mehrfachechos gemessen werden und wie häufig die Distanz d groß ist, also größer als ein bestimmter Schwellenwert, (erstes Merkmal).
Außerdem kann als zweites Merkmal für die Klassifizierung bestimmt werden, wie stark die Distanz d schwankt, also wie groß die Varianz von d ist. Bestimmte Bordsteinstrukturen, z.B. Bordsteine mit dahinterliegenden Rasengittersteinen, können ähnliche Echosignale, insbesondere Mehrfachechos erzeugen wie ein Fußgänger. Allerdings weist ein Fußgänger eine Häufung der empfangenen Mehrfachechos nur bei denjenigen Ultraschallsensoren auf, deren Hauptmessachse im Wesentlichen in Richtung zum Fußgänger ausgerichtet sind bzw. deren Hauptmessachse einen möglichst kleinen Winkel zu dem Fußgänger aufweist. Ultraschallsensoren deren Hauptmessachse einen größeren Winkel zum Fußgänger haben, sind die mehrfach reflektierten Echosignale aufgrund der Signalausbreitungswege häufig schwach ausgeprägt, so dass Mehrfachreflexe nicht oder nur in geringem Umfang empfangen werden. Insofern kann bei Fußgängern ein gehäuftes Auftreten der typischen Mehrfachechos insbesondere bei nur einem der Ultraschallsensoren oder bei zwei benachbarten Ultraschallsensoren festgestellt werden, wohingegen eine derartige Verteilung z.B. bei einem Bordstein als reflektierendes Objekt nicht zu beobachten ist. Somit wird als drittes Merkmal eine Verteilung der Anzahl der empfangenen Echosignale je Messung über die Ultraschallsensoren erfasst. Es wird also erfasst welche der Ultraschallsensoren eine Mehrzahl von Echosignalen je Messung empfangen und welche nicht. Bevorzugt wird ein reflektierendes Objekt als Fußgänger klassifiziert, wenn die Verteilung gemäß dem dritten Merkmal ergibt, dass nur bestimmte der Ultraschallsensoren, insbesondere nur einer der Ultraschallsensoren oder nur wenige, insbesondere benachbart angeordnete Ultraschallsensoren, eine Mehrzahl von Echosignalen je Messung empfangen haben, die zu dem zu klassifizierenden Objekt beigetragen haben. Hierbei wird insbesondere berücksichtigt, dass in komplexen Szenen zwar die anderen Ultraschallsensoren auch Echosignale erfassen können, jedoch keine Echosignale, die aufgrund ihrer Lage im Raum, die beispielsweise durch Trilateration bestimmt werden kann, dem zu klassifizierenden Objekt zugeordnet werden.
Gemäß dem vierten Merkmal, kann die Ausrichtung der Ultraschallsensoren bezüglich des Objektes bestimmt werden. Es kann damit außerdem berücksichtigt werden, dass die mehrfachen Echosignale häufig sehr schwach ausgeprägt sind und nur von sehr sensitiv eingestellten Sensorsystemen überhaupt erkannt werden können. Der Empfang dieser Ultraschallsignale (Mehrfachechos) kann deshalb zwischen den verschiedenen Ultraschallsensoren stark variieren. Es wird deshalb optional vorgeschlagen, zur Bildung der Statistik, d.h. also insbesondere zur Bestimmung der Distanz d, zur Bestimmung der Häufigkeit mit der die Distanz d einen bestimmten Schwellenwert überschreitet gemäß dem ersten Merkmal und/oder zur Bestimmung der Varianz von d gemäß dem zweiten Merkmal insbesondere nur die Messdaten derjenigen Ultraschallsensoren auszuwerten, die auf das Objekt ausgerichtet sind, also einen guten Sichtwinkel aufweisen oder bevorzugt nur denjenigen Ultraschallsensor zu verwenden, der im Vergleich den besten Sichtwinkel zum Objekt hat. Hierbei kann insbesondere der Winkel der Hauptachse eines jeden Ultraschallsensors relativ zu dem erkannten Objekt berücksichtigt werden.
Ebenso bedingt durch die komplexe Struktur eines Fußgängers variiert in einer Abfolge von Messungen auch der Objektabstand, der sich aus dem zeitlich zuerst empfangenen reflektierten Echosignal (Erstreflex) ergibt, stark, insbesondere im Vergleich mit einem geometrisch einfachen, stabilen Reflektor wie einem Bordstein. Die Varianz des Objektabstands, der sich aus dem zeitlich zuerst empfangenen reflektierten Echosignal (Erstreflex) ergibt kann also als weiteres, fünftes Merkmal herangezogen werden. Insbesondere wenn diese Varianz einen zweiten Varianzschwellenwert überschreitet kann das Objekt als Fußgänger klassifiziert werden.
Da beim Fußgänger stets mehrere Punkte reflektieren, überlagern sich die Echosignale akustisch. Sendet ein Ultraschallsensor codiert Ultraschallsignale aus, z.B. durch Verwendung eines charakteristischen Frequenzverlaufs, und wertet der empfangende Ultraschallsensor den Verlauf des empfangenen Echosignals aus, um eine Korrelation zu ermitteln, dann führt die Überlagerung der Echosignale zu einem störenden Einfluss auf die Korrelation, d.h. die Korrelation sinkt ab. Bei beispielsweise einem Bordstein können hingegen sehr hohe Korrelationen beobachtet werden, die bei einem Fußgänger so nie auftreten können. Es wird deshalb als sechstes Merkmal die Korrelation des empfangenen Echosignals mit dem gesendeten Ultraschallsignal bestimmt.
Wenn sehr hohe Korrelationswerte empfangen werden, kann dies als Ausschlusskriterium für eine Klassifikation als Fußgänger dienen. Bevorzugt wird eine Klassifikation des Objektes als Fußgänger ausgeschlossen, wenn für eine bestimmte Anzahl von Messungen der Korrelationswert größer als ein bestimmter Korrelationsschwellenwert ist.
Gemäß dem siebten Merkmal kann eine Amplitude mindestens eines empfangenen Echosignals ausgewertet werden. Da die Kleidung eines Fußgängers üblicherweise akustische Signale stark absorbiert, ist die reflektierte Schallenergie eines von einem Fußgänger reflektierten Ultraschallsignals eher gering bis mäßig ausgeprägt. Insofern kann die Amplitude insbesondere derart ausgewertet werden, dass besonders hohe Amplituden die Klassifikationswahrscheinlichkeit als Fußgänger reduzieren. Insbesondere kann die Klassifikation eines Objekts als Fußgänger ausgeschlossen werden, wenn die die Amplitude mindestens eines empfangenen Ultraschallsignals größer als ein bestimmter Amplitudenschwellenwert ist.
Bei jeder Messung kann weiterhin ein sogenannter Reflexpunkt bestimmt werden, der eine Position im Raum angibt, von der das empfangene Ultraschallsignal reflektiert wurde. Ein Reflexpunkt kann beispielsweise in bekannter Weise durch Trilateration bestimmt werden.
Typisch für einen Fußgänger ist weiterhin, dass die von einer Messung zur nächsten empfangenen Reflexpunkte örtlich stark springen, d.h. dass die Koordinaten die dem Fußgänger als Objekt im Raum bei einer Messung zugeordnet werden in einer bestimmten Weise variieren. Dies resultiert aus der komplexen geometrischen Struktur des Fußgängers sowie daraus, dass sich der Fußgänger bewegen kann. Die räumliche Verteilung der Reflexpunkte, die eine örtliche Zuordnung von mehreren Messungen über Trilateration darstellen, in einer Abfolge von Messungen kann somit als weiteres, achtes Merkmal herangezogen werden. Insbesondere wenn die räumliche Verteilung der Reflexpunkte gemäß dem achten Merkmal eine charakteristische Form aufweist, insbesondere eine Häufung von Reflexpunkten an einer wahrscheinlichen Objektposition sowie eine Streuung in lateraler Richtung, kann das Objekt als Fußgänger klassifiziert werden.
Alle genannten Merkmale ermöglichen eine Trennung von Fußgängern und Bordsteinen oder anderen, nicht bremsrelevanten Objekten, mit einer gewissen Wahrscheinlichkeit. Kein einzelnes Merkmal ist, für sich alleine gestellt, eindeutig genug, um ohne Hinzunahme weiterer Merkmale eine sichere Aussage zu ermöglichen. Deshalb werden gemäß der Erfindung die genannten Merkmale insbesondere logisch bzw. statistisch miteinander kombiniert. Ebenso können die Merkmale als Eingangssignale eines über eine Datenbank trainierten Klassifikators (neuronales Netz, Entscheidungsbaum, ...) für maschinelles Lernen verwendet werden. Die Art der logischen Kombination ist nicht vorrangig ausschlaggebend, vielmehr sind es die zur Erkennung eines Fußgängers ausschlaggebenden Merkmale.
Es ist ferner anzumerken, dass nicht alle Merkmale verwendet werden müssen, um eine Klassifikation zu ermöglichen, vielmehr lässt sich über die Kombination der Merkmale eine Verbesserung der Klassifikationsgüte erreichen.
Je mehr der beschriebenen Merkmale bei der Klassifizierung des Objekts kombiniert werden, desto größer ist die Zuverlässigkeit, einen tatsächlichen Fußgänger als solchen zu erkennen und dabei eine niedrige Fehlerkennungsrate, d.h. eine fehlerhafte Erkennung eines Objektes, das kein Fußgänger ist (z.B. ein Bordstein) als Fußgänger (false positive) zu erzielen.
Nach einem weiteren Aspekt der Erfindung wird eine Vorrichtung ausgebildet zur Klassifizierung eines Objektes, insbesondere im Umfeld eines Kraftfahrzeugs, vorgeschlagen, umfassend:
• eine Ultraschallsensorik, wobei die Ultraschallsensorik eine Mehrzahl von räumlich verteilt angeordneten, insbesondere an einer Karosserie eines Kraftfahrzeugs angeordneten, Ultraschallsensoren aufweist,
• eine Auswerteeinrichtung, die ausgebildet ist, die Schritte nach einem wie zuvor beschrieben ausgestalteten Verfahren auszuführen.
Insbesondere ist die Auswerteeinrichtung ausgebildet, zwei oder mehr der zuvor beschriebenen Merkmale aus den von den Ultraschallsensoren erfassten Messdaten zu bestimmen und mindestens zwei der Merkmale zu kombinieren um eine Klassifikation eines Objektes im Umfeld der Vorrichtung zu bestimmen.
Die Vorrichtung kann Teil eines Fahrerassistenzsystems eines Kraftfahrzeugs sein. Die Ultraschallsensoren sind bevorzugt an einem Stoßfänger des Kraftfahrzeugs angeordnet und derart ausgerichtet, dass sie einen Bereich in Fahrtrichtung vor oder hinter dem Kraftfahrzeug erfassen können.
Die Vorrichtung kann insbesondere Teil eines Bremsassistenzsystems sein, wobei beispielsweise eine Notbremsung ausgelöst werden kann, wenn ein Objekt als Fußgänger klassifiziert wird und das Objekt beispielsweise in Fahrtrichtung des Kraftfahrzeugs in einem Abstand näher als ein bestimmter Mindestabstand detektiert wird.
Nach einem weiteren Aspekt der Erfindung wird ein Kraftfahrzeug vorgeschlagen, das eine erfindungsgemäße Vorrichtung aufweist.
Kurzbeschreibung der Figuren
Unter Bezugnahme auf die beigefügten Figuren werden Ausführungsformen der Erfindung im Detail beschrieben.
Figur 1 zeigt eine Vorrichtung nach einem möglichen Ausführungsbeispiel der Erfindung beim Erfassen eines Fußgängers.
Figur 2 zeigt beispielhaft gemäß der Erfindung, während mehrerer zeitlich aufeinanderfolgender Messungen erfasste Abstandsdaten.
Figur 3 zeigt beispielhaft gemäß der Erfindung, während mehrerer zeitlich aufeinanderfolgender Messungen erfasste Abstandsdaten unter Berücksichtigung von Mehrfachechos, wobei für jede Messung eine Distanz d, entsprechend einem Abstand zwischen einem zeitlich ersten empfangenen Echosignal und einem zeitlich letzten empfangenen Echosignal einer Messung bestimmt wird.
Figur 4 zeigt schematisch ein erfindungsgemäß ausgebildetes Kraftfahrzeug und einen Fußgänger, sowie überlagert, eine Verteilung von Reflexpunkten aus einer Mehrzahl von Messungen.
Bevorzugte Ausführungen der Erfindung In der nachfolgenden Beschreibung der Ausführungsbeispiele der Erfindung werden gleiche Elemente mit gleichen Bezugszeichen bezeichnet, wobei auf eine wiederholte Beschreibung dieser Elemente gegebenenfalls verzichtet wird. Die Figuren stellen den Gegenstand der Erfindung nur schematisch dar.
In Figur 1 ist der vordere Teil eines Kraftfahrzeugs 1 schematisch dargestellt.
Das Kraftfahrzeug 1 umfasst eine Vorrichtung 10 zur Klassifizierung eines Objektes 70 im Umfeld des Kraftfahrzeugs 1. Die Vorrichtung 10 umfasst eine Ultraschallsensorik, wobei die Ultraschallsensorik vier entlang der Front des Kraftfahrzeugs 1 angeordnete Ultraschallsensoren 12.1, 12.2, 12.3 und 12.4 aufweist. Die Vorrichtung 10 umfasst außerdem eine Auswerteeinrichtung 11, die ausgebildet ist, die Messdaten der Ultraschallsensoren 12.1-12.4 auszuwerten und darauf basierend das Objekt 70 zu klassifizieren. Die Auswerteeinrichtung ist dazu ausgebildet jeden der Ultraschallsensoren 12.1-12.4 anzusteuern, so dass die Ultraschallsensoren 12.1-12.4 Ultraschallsignale senden und an dem Objekt 70 reflektierte Ultraschallsignale zu empfangen und die empfangenen Signale dem Objekt 70 zuzuordnen.
In dem dargestellten Beispiel handelt es sich bei dem Objekt 70 um einen Fußgänger 80.
Um das Objekt 70 als Fußgänger 80 zu klassifizieren werden verschiedene Merkmale der empfangenen Echosignale bestimmt.
Durch die charakteristische Struktur und Form eines Fußgängers 80, ist die Wahrscheinlichkeit groß, dass zumindest einer der Ultraschallsensoren 12.1-12.4 ein Signal empfangen wird, das eine Mehrzahl von reflektierten Echosignalen aufweist. So reflektieren z.B. eine Hand 82 und ein Fuß 84 des Fußgängers 80 das gesendete Ultraschallsignal des Ultraschallsensors 12.3. Beispielsweise kann der Fuß 84 einen geringeren Abstand 24 zum Ultraschallsensor 12.3 aufweisen, als der Abstand 22 der Hand 82. Der Ultraschallsensor 12.3 wird also mindestens zwei Echosignale bei einer Messung empfangen. Angenommen, der Fuß 84 weist von allen reflektierenden Punkten des Fußgängers 80 den geringsten Anstand zum Ultraschallsensor 12.3 auf und die Hand 82 weist von allen reflektierenden Punkten des Fußgängers 80 den größten Anstand zum Ultraschallsensor 12.3 auf, so wird das Echosignal, das von dem Fuß 84 reflektiert wurde als zeitlich erstes Echosignal empfangen und das Echosignal, das von der Hand 82 reflektiert wurde wird als zeitlich letztes Echosignal empfangen.
Aus den Echosignalen kann eine Distanz d zwischen dem zeitlich ersten empfangenen Echosignal und dem zeitlich letzten empfangenen Echosignal bestimmt werden. Dazu wird beispielsweise zunächst ein Laufzeitunterschied dieser Echosignale bestimmt, der in bekannter Weise bei Kenntnis der Schallgeschwindigkeit der Ultraschallsignale eine räumliche Distanz d berechnet werden kann. Über eine Mehrzahl von Messungen kann nun beobachtet werden, wie sich die jeweils bestimmte Distanz d verhält. Wird beispielsweise bei einem bestimmten Mindestanteil der Messungen eine Distanz d bestimmt, der einen bestimmten Schwellenwert überschreitet, so kann diese Tatsache als ein Indikator dafür dienen, dass es sich bei dem Objekt 70 um einen Fußgänger handelt. Durch Bewegung, beispielsweise der Arme und Beine, und/oder unterschiedliche Ausrichtung eines Fußgängers 80 relativ zu den Ultraschallsensoren werden außerdem starke Schwankungen der Distanz d verursacht. Wird also eine Varianz der Distanz d betrachtet, so kann beispielsweise wenn die Varianz einen bestimmten Schwellenwert übersteigt diese als weiterer Indikator genutzt werden, dass es sich bei dem Objekt 70 um einen Fußgänger handelt.
In Fig. 3 sind beispielhaft in einem Diagramm 200 für eine Mehrzahl von Messungen i jeweils das zeitlich ersten empfangene Echosignal 210 und das zeitlich letzte empfangenen Echosignal 220 und die daraus bestimmte Distanz d, dargestellt. Dabei ist auf der x-Achse der Messzeitpunkt t und auf der y-Achse der gemessene Abstand s zum Ultraschallsensor aufgetragen.
Es kann für jede Messung verglichen werden, ob die Distanz d einen vorgegebenen Distanzschwellenwert überschreitet und es kann so eine Häufigkeit bezogen auf die Anzahl der durchgeführten Messungen, mit der die Distanz d den vorgegebenen Distanzschwellenwert überschreitet bestimmt werden. Als weiteres Merkmal wird der Anzahl der empfangenen Echosignale je Messung über die Ultraschallsensoren bestimmt. In der in Figur 1 dargestellten Situation werden die beiden mittleren Ultraschallsensoren 12.2 und 12.3 aufgrund ihrer Nähe und Ausrichtung bezüglich des Fußgängers 80 stärkere Echosignale empfangen als die beiden äußeren Ultraschallsensoren 12.1 und 12.4. Entsprechend wahrscheinlicher ist der Empfang von Mehrfachechos durch die mittleren Ultraschallsensoren 12.2 und 12.3. Die Verteilung der Anzahl der empfangenen Echosignale je Messung wird also bei den benachbart zueinander angeordneten Ultraschallsensoren 12.2 und 12.3 eine Häufung aufweisen.
Ebenso bedingt durch die komplexe Struktur eines Fußgängers 80 kann in einer Sequenz von Messungen auch ein aus einem jeweiligen zeitlich ersten empfangenen Echosignal bestimmter Abstand zwischen dem Fußgänger 80 und dem Ultraschallsensor stark variieren, insbesondere im Vergleich mit einem geometrisch einfachen, stabilen Reflektor wie einem Bordstein. Dies ist in Figur 2 beispielhaft in einem Messdiagramm 100 dargestellt. Auf der x-Achse ist der Messzeitpunkt t und auf der y-Achse der gemessene Abstand s zum Ultraschallsensor aufgetragen. An jedem Messzeitpunkt wird mittels des zeitlich ersten empfangenen Echosignals ein Abstand 90 zwischen dem reflektierenden Objekt 70 und dem messenden Ultraschallsensor bestimmt. Insgesamt ist eine relative, lineare Annäherung zwischen dem messenden Ultraschallsensor und dem reflektierenden Objekt 70 sichtbar, wie durch die Gerade 95 dargestellt ist. Bei bekannter Fahrzeuggeschwindigkeit und der Annahme eines stehenden Objekts kann die Gerade 95 berechnet werden. Ist der Bewegungszustand des Objekts 70 nicht bekannt, kann die Gerade 95 aus den Messwerten 90 bestimmt werden (z.B. durch übliche Fit-Methoden). Zur Bestimmung des fünften Merkmals wird eine Varianz der den jeweiligen Objektabstand repräsentierenden Messwerte 90 über mehrere Messungen bezüglich der Gerade 95 bestimmt, wodurch eine Annäherung des Objekts 70 an das Fahrzeug 1 bzw. den messenden Ultraschallsensor berücksichtigt wird. Übersteigt die so bestimmte Varianz gemäß dem fünften Merkmal einen zweiten Varianzschwellenwert, so kann dies als weiterer Hinweis gewertet werden, dass es sich bei dem reflektierenden Objekt 70 um einen Fußgänger 80 handelt. Figur 4 zeigt schematisch an einem möglichen Beispiel, wie das achte erfindungsgemäße Merkmal bestimmt werden kann, das eine Verteilung von Reflexpunkten 60 repräsentiert. In der Figur 4 ist schematisch die Front eines Fahrzeugs 1 dargestellt, die eine Ultraschallsensorik 12 mit vier Ultraschallsensoren 12.1, 12.2, 12.3 und 12.4 aufweist. Vor dem Fahrzeug 1 befindet sich ein Objekt 70. Durch eine Vielzahl von Messungen mittels der Ultraschallsensoren werden, z.B. mittels Trilateration, Koordinaten von Reflexpunkten 60 bestimmt, von denen jeder eine gemessene Position des Objekts 70 angibt. Es wird eine räumliche Verteilung der Reflexpunkte gebildet, wie in der Figur 4 durch das Koordinatensystem angedeutet ist. Es hat sich herausgestellt, dass sich bei einem Fußgänger 80 eine charakteristische Verteilung von Reflexpunkten 60 ergibt, die zum einen eine Häufung an einer wahrscheinlichen Objektposition aufweist, sowie eine gewisse Streuung der Reflexpunkte 60 in lateraler Richtung, also in einer Richtung senkrecht zur Hauptmessrichtung.

Claims

Ansprüche
1. Verfahren zur Klassifizierung eines Objektes (70), insbesondere im Umfeld eines Kraftfahrzeugs (1), mittels einer Ultraschallsensorik (12), wobei die Ultraschallsensorik (12) eine Mehrzahl von räumlich verteilt angeordneten Ultraschallsensoren (12.1, 12.2, 12.3, 12.4) aufweist, umfassend die Schritte:
• Durchführen einer Mehrzahl von Messungen, wobei bei einer Messung
- durch einen der Ultraschallsensoren (12.1, 12.2, 12.3, 12.4) ein Ultraschallsignal ausgesendet wird,
- durch mindestens einen der Ultraschallsensoren (12.1, 12.2, 12.3, 12.4) ein Signal empfangen wird, das eine Mehrzahl von reflektierten Echosignalen (210, 220) aufweist,
- die empfangenen Echosignale einem Objekt (70) zugeordnet werden,
• wobei aus den empfangenen Echosignalen eine Mehrzahl von Merkmalen bestimmt werden, umfassend mindestens zwei der Merkmale:
- ein erstes Merkmal, das eine Häufigkeit bezogen auf die Anzahl der durchgeführten Messungen, mit der eine Distanz (d) einen vorgegebenen Distanzschwellenwert überschreitet, wobei die Distanz (d) einen Abstand zwischen einem zeitlich ersten empfangenen Echosignal (210) und einem zeitlich letzten empfangenen Echosignal (220) einer Messung entspricht, repräsentiert,
- ein zweites Merkmal, das eine Varianz der Distanz (d) repräsentiert, - ein drittes Merkmal, das eine Verteilung der Anzahl der empfangenen Echosignale je Messung über die Ultraschallsensoren (12.1, 12.2, 12.3, 12.4) repräsentiert,
- ein viertes Merkmal, das die Ausrichtung der Ultraschallsensoren (12.1, 12.2, 12.3, 12.4) bezüglich des Objektes (70) repräsentiert;
- ein fünftes Merkmal, das eine Varianz erster Objektabstände über mehrere Messungen repräsentiert, wobei zu jedem bestimmten zeitlich ersten empfangenen Echosignal (210) ein zugehöriger erster Objektabstand berechnet wird, wobei bei der Bestimmung der Varianz insbesondere eine Annäherung des Objekts (70) berücksichtigt wird;
- ein sechstes Merkmal, das eine Korrelation des empfangenen Echosignals mit dem gesendeten Ultraschallsignal repräsentiert;
- ein siebtes Merkmal, das eine Amplitude eines Echosignals repräsentiert;
- ein achtes Merkmal, das eine Verteilung von Reflexpunkten (60) repräsentiert, wobei jeder Reflexpunkt (60) eine gemessene Objektposition angibt;
• wobei das Objekt (70) abhängig von einer Kombination von zumindest zwei der acht Merkmale klassifiziert wird, insbesondere als Fußgänger (80).
2. Verfahren nach Anspruch 1, wobei das Objekt (70) als Fußgänger (80) klassifiziert wird, wenn zumindest die Häufigkeit gemäß dem ersten Merkmal einen Häufigkeitsschwellenwert überschreitet und die Verteilung gemäß dem dritten Merkmal ergibt, dass nur bestimmte der Ultraschallsensoren (12.1, 12.2, 12.3, 12.4), insbesondere nur einer der Ultraschallsensoren (12.1, 12.2, 12.3, 12.4) oder nur wenige, insbesondere benachbart angeordnete Ultraschallsensoren (12.1, 12.2, 12.3, 12.4), eine Mehrzahl von Echosignalen (210, 220) je Messung empfangen haben.
3. Verfahren nach Anspruch 2, wobei das Objekt (70) als Fußgänger (80) klassifiziert wird, wenn außerdem die Varianz gemäß dem zweiten Merkmal einen ersten Varianzschwellenwert überschreitet.
4. Verfahren nach einem der Ansprüche 2 oder 3, wobei gemäß dem vierten Merkmal nur diejenigen Ultraschallsensoren (12.1, 12.2, 12.3, 12.4) bei der Bestimmung der Distanz (d) berücksichtigt werden, die auf das Objekt (70) ausgerichtet sind, wobei insbesondere nur derjenige Ultraschallsensor (12.1, 12.2, 12.3, 12.4) berücksichtigt wird, der eine Hauptmessrichtung aufweist, die am besten auf das Objekt (70) ausgerichtet ist.
5. Verfahren nach einem der Ansprüche 2 bis 4, wobei das Objekt (70) als Fußgänger (80) klassifiziert wird, wenn außerdem die Varianz gemäß dem fünften Merkmal einen zweiten Varianzschwellenwert überschreitet.
6. Verfahren nach einem der Ansprüche 2 bis 5, wobei das ausgesendete Ultraschallsignal einen bestimmten Frequenzverlauf aufweist und für mindestens ein empfangenes Echosignal ein Frequenzverlauf bestimmt wird und gemäß dem sechsten Merkmal ein Korrelationswert des Echosignals mit dem gesendeten Ultraschallsignal berechnet wird.
7. Verfahren nach Anspruch 6, wobei eine Klassifikation des Objektes (70) als Fußgänger (80) ausgeschlossen wird, wenn für eine bestimmte Anzahl von Messungen der Korrelationswert größer als ein bestimmter Korrelationsschwellenwert ist.
8. Verfahren nach einem der Ansprüche 2 bis 7, wobei gemäß dem siebten Merkmal für mindestens ein empfangenes Echosignal eine Amplitude bestimmt wird und wobei eine Klassifikation des Objektes (70) als Fußgänger (80) ausgeschlossen wird, wenn die Amplitude mindestens eines empfangenen Ultraschallsignals größer als ein bestimmter Amplitudenschwellenwert ist.
9. Verfahren nach einem der Ansprüche 2 bis 8, wobei das Objekt (70) als Fußgänger (80) klassifiziert wird, wenn außerdem die räumliche Verteilung der Reflexpunkte (60) gemäß dem achten Merkmal eine charakteristische Form aufweist, insbesondere eine Häufung von Reflexpunkten (60) an einer wahrscheinlichen Objektposition sowie eine Streuung in lateraler Richtung.
10. Verfahren nach einem der Ansprüche 1 bis 9 wobei eine optimierte Kombination der Merkmale und/oder zumindest einer der Schwellenwerte zur Klassifizierung des Objekts (70) als ein bestimmter Objekttyp, insbesondere als Fußgänger (80), mittels eines Machine-Learning Verfahrens vorab bestimmt wird.
11. Vorrichtung (10) ausgebildet zur Klassifizierung eines Objektes (70), insbesondere im Umfeld eines Kraftfahrzeugs (1), umfassend:
• eine Ultraschallsensorik (12), wobei die Ultraschallsensorik (12) eine Mehrzahl von räumlich verteilt angeordneten, insbesondere an einer Karosserie eines Kraftfahrzeugs angeordneten, Ultraschallsensoren (12.1, 12.2, 12.3, 12.4) aufweist,
• eine Auswerteeinrichtung (11), die ausgebildet ist, die Schritte nach einem der Ansprüche 1 bis 10 auszuführen.
12. Kraftfahrzeug (1) mit einer Vorrichtung (10) nach Anspruch 11.
PCT/EP2020/072518 2019-10-08 2020-08-11 Verfahren und eine vorrichtung zur klassifizierung eines objektes, insbesondere im umfeld eines kraftfahrzeugs WO2021069130A1 (de)

Priority Applications (5)

Application Number Priority Date Filing Date Title
MX2022003941A MX2022003941A (es) 2019-10-08 2020-08-11 Metodo y dispositivo para clasificar un objeto, en particular en el entorno de un vehiculo de motor.
KR1020227014935A KR20220070320A (ko) 2019-10-08 2020-08-11 특히 자동차 주변에 있는 물체를 분류하기 위한 방법 및 장치
CN202080071027.3A CN114556146A (zh) 2019-10-08 2020-08-11 用于将尤其是在机动车环境中的对象分类的方法和设备
US17/764,672 US20220342061A1 (en) 2019-10-08 2020-08-11 Method and a device for classifying an object, in particular in the surroundings of a motor vehicle
JP2022521080A JP7385026B2 (ja) 2019-10-08 2020-08-11 特に自動車周辺における、物体を分類するための方法及び装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102019215393.3 2019-10-08
DE102019215393.3A DE102019215393A1 (de) 2019-10-08 2019-10-08 Verfahren und eine Vorrichtung zur Klassifizierung eines Objektes, insbesondere im Umfeld eines Kraftfahrzeugs

Publications (1)

Publication Number Publication Date
WO2021069130A1 true WO2021069130A1 (de) 2021-04-15

Family

ID=72050881

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2020/072518 WO2021069130A1 (de) 2019-10-08 2020-08-11 Verfahren und eine vorrichtung zur klassifizierung eines objektes, insbesondere im umfeld eines kraftfahrzeugs

Country Status (7)

Country Link
US (1) US20220342061A1 (de)
JP (1) JP7385026B2 (de)
KR (1) KR20220070320A (de)
CN (1) CN114556146A (de)
DE (1) DE102019215393A1 (de)
MX (1) MX2022003941A (de)
WO (1) WO2021069130A1 (de)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102021212067A1 (de) * 2021-10-26 2023-04-27 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren zur Klassifizierung von wenigstens einem Objekt in einer Umgebung eines Fahrzeugs mittels eines Ultraschallsensorsystem sowie Steuereinrichtung, Ultraschallsensorsystem und Fahrzeug
DE102022202524B4 (de) * 2022-03-15 2024-04-18 Continental Autonomous Mobility Germany GmbH Verfahren zur Objektklassifizierung

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102005021225A1 (de) * 2005-05-09 2006-11-16 Robert Bosch Gmbh Verfahren und Vorrichtung zur Erkennung der Oberflächenbeschaffenheit von Objekten des Straßenverkehrs oder Personen
EP2908153A2 (de) 2014-02-14 2015-08-19 Volkswagen Aktiengesellschaft Erkennung dynamischer Objekte mittels Ultraschall
DE112016003462T5 (de) 2015-08-25 2018-05-03 Mazda Motor Corporation Fahrzeugsteuervorrichtung
DE102016124157A1 (de) 2016-12-13 2018-06-14 Valeo Schalter Und Sensoren Gmbh Ermitteln einer Bremsnotwendigkeit zum Vermeiden einer Kollision eines Kraftfahrzeugs mit einem Fußgänger
WO2018210966A1 (de) * 2017-05-16 2018-11-22 Elmos Semiconductor Aktiengesellschaft Verfahren zur übertragung von daten über einen fahrzeugdatenbus von einem ultraschallsystem zu einer datenverarbeitungsvorrichtung

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6178141B1 (en) * 1996-11-20 2001-01-23 Gte Internetworking Incorporated Acoustic counter-sniper system
US6268803B1 (en) * 1998-08-06 2001-07-31 Altra Technologies Incorporated System and method of avoiding collisions
DE19856974C1 (de) * 1998-12-10 2000-09-07 Bosch Gmbh Robert Verfahren und Vorrichtung zur Erfassung eines Hindernisses
US6615138B1 (en) * 2002-05-30 2003-09-02 Delphi Technologies, Inc. Collision detection system and method of estimating miss distance employing curve fitting
US6943727B2 (en) * 2002-10-29 2005-09-13 Volkswagen Ag Length measurement with radar
DE10323144A1 (de) * 2003-05-22 2004-12-09 Robert Bosch Gmbh Verfahren und Vorrichtung zur Detektion von Objekten in der Umgebung eines Fahrzeugs
DE10344299B4 (de) * 2003-09-23 2016-08-04 Volkswagen Ag Klassifizierung der in einer Umgebung eines Kraftfahrzeugs befindlichen Objekte
DE102007042220A1 (de) * 2007-09-05 2009-03-12 Robert Bosch Gmbh Objektklassifizierungsverfahren, Einparkhilfeverfahren und Einparkhilfesystem
DE102007061235A1 (de) * 2007-12-19 2009-06-25 Robert Bosch Gmbh Verfahren zur Klassifizierung von Abstandsdaten und korrespondierende Abstandsmessvorrichtung
US8428305B2 (en) * 2008-04-24 2013-04-23 GM Global Technology Operations LLC Method for detecting a clear path through topographical variation analysis
US8384531B2 (en) * 2009-04-02 2013-02-26 GM Global Technology Operations LLC Recommended following distance on full-windshield head-up display
DE102009046158A1 (de) * 2009-10-29 2011-05-05 Robert Bosch Gmbh Verfahren zur Erkennung von Objekten mit geringer Höhe
ES2532142T3 (es) * 2010-08-25 2015-03-24 Frankfurt University Of Applied Sciences Dispositivo y procedimiento para el reconocimiento de personas
JP5500121B2 (ja) * 2011-04-25 2014-05-21 株式会社デンソー 歩行者検出装置、歩行者検出方法およびプログラム
JP5630377B2 (ja) * 2011-05-25 2014-11-26 株式会社デンソー 物体識別装置、および物体識別プログラム
DE102012212894A1 (de) * 2012-07-24 2014-01-30 Robert Bosch Gmbh Verfahren zum Betrieb eines Umfelderfassungssystems eines Fahrzeugs mit zumindest zwei Sende-/Empfangseinheiten und Umfelderfassungssystem
DE102014114999A1 (de) * 2014-10-15 2016-04-21 Valeo Schalter Und Sensoren Gmbh Verfahren zum Erfassen zumindest eines Objekts in einem Umgebungsbereich eines Kraftfahrzeugs, Fahrerassistenzsystem sowie Kraftfahrzeug
JP6392152B2 (ja) * 2015-03-24 2018-09-19 パナソニック株式会社 レーダ装置および走行車両検知方法
JP6777403B2 (ja) * 2016-02-26 2020-10-28 株式会社デンソー 物体認識装置及びプログラム
DE102016113736A1 (de) * 2016-07-26 2018-02-01 Valeo Schalter Und Sensoren Gmbh Verfahren zum Erfassen eines Objekts in einer Umgebung eines Fahrzeugs mit Höhenbestimmung, Fahrerassistenzsystem sowie Fahrzeug
US20210197834A1 (en) * 2016-11-21 2021-07-01 George Shaker System and method for sensing with millimeter waves for sleep position detection, vital signs monitoring and/or driver detection
DE102017201219A1 (de) * 2017-01-26 2018-07-26 Robert Bosch Gmbh Verfahren und System zum Erkennen von Objekten anhand von Ultraschallsignalen
US20190197497A1 (en) * 2017-12-22 2019-06-27 Lyft, Inc. Responses to detected impairments
DE102018103551B4 (de) * 2018-02-16 2022-09-22 Valeo Schalter Und Sensoren Gmbh Verfahren zum Charakterisieren eines Objekts in einem Umgebungsbereich eines Kraftfahrzeugs anhand von zuvor gelernten Kurvenparametern, Sensorvorrichtung sowie Fahrerassistenzsystem
DE102019207688A1 (de) * 2019-05-26 2020-11-26 Robert Bosch Gmbh Verfahren und Fahrerassistenzsystem zur Klassifizierung von Objekten in der Umgebung eines Fahrzeugs
US20210064030A1 (en) * 2019-08-27 2021-03-04 Yu-Sian Jiang Driver assistance for a vehicle and method for operating the same
US12039785B2 (en) * 2019-10-23 2024-07-16 Lyft, Inc. Approaches for encoding environmental information
US11816900B2 (en) * 2019-10-23 2023-11-14 Lyft, Inc. Approaches for encoding environmental information

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102005021225A1 (de) * 2005-05-09 2006-11-16 Robert Bosch Gmbh Verfahren und Vorrichtung zur Erkennung der Oberflächenbeschaffenheit von Objekten des Straßenverkehrs oder Personen
EP2908153A2 (de) 2014-02-14 2015-08-19 Volkswagen Aktiengesellschaft Erkennung dynamischer Objekte mittels Ultraschall
DE112016003462T5 (de) 2015-08-25 2018-05-03 Mazda Motor Corporation Fahrzeugsteuervorrichtung
DE102016124157A1 (de) 2016-12-13 2018-06-14 Valeo Schalter Und Sensoren Gmbh Ermitteln einer Bremsnotwendigkeit zum Vermeiden einer Kollision eines Kraftfahrzeugs mit einem Fußgänger
WO2018210966A1 (de) * 2017-05-16 2018-11-22 Elmos Semiconductor Aktiengesellschaft Verfahren zur übertragung von daten über einen fahrzeugdatenbus von einem ultraschallsystem zu einer datenverarbeitungsvorrichtung

Also Published As

Publication number Publication date
KR20220070320A (ko) 2022-05-30
US20220342061A1 (en) 2022-10-27
MX2022003941A (es) 2022-04-25
JP2022552228A (ja) 2022-12-15
DE102019215393A1 (de) 2021-04-08
JP7385026B2 (ja) 2023-11-21
CN114556146A (zh) 2022-05-27

Similar Documents

Publication Publication Date Title
DE102004016025B4 (de) Verfahren zur Klassifizierung eines Objektstandorts eines 3D-Objekts an einer Seite eines Transportfahrzeugs
DE102004016023B4 (de) Verfahren zur Objektklassifizierung aus Daten eines seitwärts gerichteten Sensors
EP3485290B1 (de) Verfahren und system zur abtastung eines objekts
DE102004016024B4 (de) Ausfilterung eines stillstehenden Objekts für ein Seitenobjekterfassungssystem
EP1417509B1 (de) Echosignalüberwachungsvorrichtung und -verfahren
DE102015220329B4 (de) Objekterfassungsvorrichtung
DE112016001530T5 (de) Fahrzeugsteuerungsvorrichtung und Fahrzeugsteuerungsverfahren
EP3250943B1 (de) Verfahren zum erfassen eines objekts in einem umgebungsbereich eines kraftfahrzeugs durch überprüfen einer räumlichen abweichung von messpunkten, steuereinrichtung, fahrerassistenzsystem sowie kraftfahrzeug
DE10233163A1 (de) Anordnung und Verfahren zur Vorhersage einer Kollision mit integriertem Radar und aktivem Transponder
DE102005026386A1 (de) Verfahren und Vorrichtung zum Bestimmen von Freiflächen in der Umgebung eines Fahrzeugs
DE102014202752B4 (de) Erkennung dynamischer Objekte mittels Ultraschall
EP2339374A2 (de) Verfahren zur Objekterfassung und Wandleranordnung hierfür
WO2019038174A1 (de) Vermeidung von totwinkelwarnungen durch gischt
WO2021069137A1 (de) Verfahren und fahrerassistenzsystem zum klassifizieren von objekten in der umgebung eines fahrzeugs
WO2021069130A1 (de) Verfahren und eine vorrichtung zur klassifizierung eines objektes, insbesondere im umfeld eines kraftfahrzeugs
EP2895880B1 (de) Verfahren zur funktionsüberwachung von ultraschallsensoren
WO2020239351A1 (de) Verfahren und fahrerassistenzsystem zur klassifizierung von objekten in der umgebung eines fahrzeugs
EP3602119B1 (de) Verfahren zum erfassen eines objekts in einem umgebungsbereich eines kraftfahrzeugs mit klassifizierung des objekts, ultraschallsensorvorrichtung sowie kraftfahrzeug
EP3791205A1 (de) Ultraschallsensorsystem und verfahren zum erkennen von objekten im umfeld eines fahrzeugs, sowie fahrzeug mit einem ultraschallsensorsystem
EP1762861B1 (de) Verfahren und Vorrichtung zur Ermittlung der Geometrie und Position einer Parklücke
EP3252502A1 (de) Verfahren zum erkennen einer neigung in einer fahrbahn eines kraftfahrzeugs, fahrerassistenzsystem sowie kraftfahrzeug
DE102021212901B4 (de) Verfahren zur Charakterisierung eines Objekts in einer Umgebung eines Kraftfahrzeugs
WO2022033980A1 (de) Verfahren zum erkennen von verkehrsteilnehmern in einer umgebung eines fahrzeugs anhand von messungen eines radarsensors durch identifizieren von stördetektionen sowie recheneinrichtung
DE102018117516B3 (de) Erkennung und Eliminierung von Störsignalen durch kodierte Ultraschallemissionen an einem Ultraschallsensor
WO2023072477A1 (de) Verfahren zur klassifizierung von wenigstens einem objekt in einer umgebung eines fahrzeugs mittels eines ultraschallsensorsystem sowie steuereinrichtung, ultraschallsensorsystem und fahrzeug

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20754745

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022521080

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 20227014935

Country of ref document: KR

Kind code of ref document: A

122 Ep: pct application non-entry in european phase

Ref document number: 20754745

Country of ref document: EP

Kind code of ref document: A1