WO2021170321A1 - Verfahren zum detektieren bewegter objekte in einer fahrzeugumgebung und kraftfahrzeug - Google Patents

Verfahren zum detektieren bewegter objekte in einer fahrzeugumgebung und kraftfahrzeug Download PDF

Info

Publication number
WO2021170321A1
WO2021170321A1 PCT/EP2021/051605 EP2021051605W WO2021170321A1 WO 2021170321 A1 WO2021170321 A1 WO 2021170321A1 EP 2021051605 W EP2021051605 W EP 2021051605W WO 2021170321 A1 WO2021170321 A1 WO 2021170321A1
Authority
WO
WIPO (PCT)
Prior art keywords
radar
determined
echoes
motor vehicle
radar echoes
Prior art date
Application number
PCT/EP2021/051605
Other languages
English (en)
French (fr)
Inventor
Dominik Kellner
Original Assignee
Bayerische Motoren Werke Aktiengesellschaft
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bayerische Motoren Werke Aktiengesellschaft filed Critical Bayerische Motoren Werke Aktiengesellschaft
Priority to US17/802,057 priority Critical patent/US20230094836A1/en
Priority to CN202180016307.9A priority patent/CN115151836A/zh
Publication of WO2021170321A1 publication Critical patent/WO2021170321A1/de

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/28—Details of pulse systems
    • G01S7/285—Receivers
    • G01S7/292—Extracting wanted echo-signals
    • G01S7/2923—Extracting wanted echo-signals based on data belonging to a number of consecutive radar periods
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/06—Systems determining position data of a target
    • G01S13/42—Simultaneous measurement of distance and other co-ordinates
    • G01S13/426—Scanning radar, e.g. 3D radar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/50—Systems of measurement based on relative movement of target
    • G01S13/52—Discriminating between fixed and moving objects or between objects moving at different speeds
    • G01S13/522—Discriminating between fixed and moving objects or between objects moving at different speeds using transmissions of interrupted pulse modulated waves
    • G01S13/524—Discriminating between fixed and moving objects or between objects moving at different speeds using transmissions of interrupted pulse modulated waves based upon the phase or frequency shift resulting from movement of objects, with reference to the transmitted signals, e.g. coherent MTi
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/50—Systems of measurement based on relative movement of target
    • G01S13/52—Discriminating between fixed and moving objects or between objects moving at different speeds
    • G01S13/536—Discriminating between fixed and moving objects or between objects moving at different speeds using transmission of continuous unmodulated waves, amplitude-, frequency-, or phase-modulated waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/50—Systems of measurement based on relative movement of target
    • G01S13/58—Velocity or trajectory determination systems; Sense-of-movement determination systems
    • G01S13/581—Velocity or trajectory determination systems; Sense-of-movement determination systems using transmission of interrupted pulse modulated waves and based upon the Doppler effect resulting from movement of targets
    • G01S13/582—Velocity or trajectory determination systems; Sense-of-movement determination systems using transmission of interrupted pulse modulated waves and based upon the Doppler effect resulting from movement of targets adapted for simultaneous range and velocity measurements
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/50—Systems of measurement based on relative movement of target
    • G01S13/58—Velocity or trajectory determination systems; Sense-of-movement determination systems
    • G01S13/583—Velocity or trajectory determination systems; Sense-of-movement determination systems using transmission of continuous unmodulated waves, amplitude-, frequency-, or phase-modulated waves and based upon the Doppler effect resulting from movement of targets
    • G01S13/584—Velocity or trajectory determination systems; Sense-of-movement determination systems using transmission of continuous unmodulated waves, amplitude-, frequency-, or phase-modulated waves and based upon the Doppler effect resulting from movement of targets adapted for simultaneous range and velocity measurements
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/50—Systems of measurement based on relative movement of target
    • G01S13/58—Velocity or trajectory determination systems; Sense-of-movement determination systems
    • G01S13/589—Velocity or trajectory determination systems; Sense-of-movement determination systems measuring the velocity vector
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/66—Radar-tracking systems; Analogous systems
    • G01S13/72—Radar-tracking systems; Analogous systems for two-dimensional tracking, e.g. combination of angle and range tracking, track-while-scan radar
    • G01S13/723—Radar-tracking systems; Analogous systems for two-dimensional tracking, e.g. combination of angle and range tracking, track-while-scan radar by using numerical data
    • G01S13/726—Multiple target tracking
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/28—Details of pulse systems
    • G01S7/285—Receivers
    • G01S7/292—Extracting wanted echo-signals
    • G01S7/2921—Extracting wanted echo-signals based on data belonging to one radar period
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/28—Details of pulse systems
    • G01S7/285—Receivers
    • G01S7/295—Means for transforming co-ordinates or for evaluating data, e.g. using computers
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/28—Details of pulse systems
    • G01S7/285—Receivers
    • G01S7/295—Means for transforming co-ordinates or for evaluating data, e.g. using computers
    • G01S7/2955—Means for determining the position of the radar coordinate system for evaluating the position data of the target in another coordinate system
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/35—Details of non-pulse systems
    • G01S7/352—Receivers
    • G01S7/354—Extracting wanted echo-signals
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/415—Identification of targets based on measurements of movement associated with the target
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads

Definitions

  • the present invention relates to a method for detecting moving objects in a vehicle environment and a motor vehicle set up to carry out such a method.
  • WO 2017/207727 A1 describes an improved object detection and estimation of a movement state of an object.
  • Doppler velocity component determined. Furthermore, the object is recorded with a camera and an optical flow is determined from at least two camera images. A further speed component in a perpendicular direction is determined from this. The complete speed vector of the respective object is then determined from both speed components.
  • a system for real-time control of a device is known from US 2018/0259637 A1 as a further approach. In this case, an object is optically detected that is on an incline, that is, in an inclined position relative to the device. A horizontal angle and a radial distance of the object from the device as well as a rate of change of the distance are recorded by means of a radar device. The device is then controlled based on a 3D position matrix and a 3D rate of change matrix determined based on the visual data and the radar data.
  • EP 3229041 A1 describes an object detection system that includes a radar sensor and a camera.
  • a radar signal is intended to indicate a distance and direction of an object in the surroundings of a vehicle.
  • An image recorded by the camera is intended to overlap a field of view of the radar signal.
  • a distance map should then be determined for the image based on the distance and direction of the object. Based on this, a detection zone is defined in the image. Only this detection zone of the image is then processed in order to identify the object.
  • the object of the present invention is to enable an improved detection of moving objects in a vehicle environment. According to the invention, this object is achieved by the subjects of the independent claims. Advantageous configurations and developments of the present invention are specified in the dependent claims, in the description and in the figures.
  • the method according to the invention is used to detect objects from a motor vehicle that move in the vicinity of the motor vehicle.
  • the environment can be determined by a detection or sensor range of at least one camera and at least one radar device of the motor vehicle.
  • camera data from the surroundings are recorded.
  • the camera data can be recorded by means of the camera of the motor vehicle.
  • the recording of the camera data can also include or signify their acquisition or reception by a data processing device set up to carry out the method from the camera or via a corresponding data interface.
  • the camera data therefore depict the surroundings of the motor vehicle.
  • radar echoes from the surroundings of the motor vehicle are recorded.
  • the radar echoes can be recorded, that is to say measured, by means of the radar device.
  • the recording of the radar echoes can also be recorded or received by the data processing device from the Radar device or via a corresponding data interface mean or include.
  • these are radar echoes that arise as a result of the reflection of at least one radar pulse emitted by the radar device into the surroundings from objects located in the surroundings back to the radar device.
  • the radar echoes therefore represent objects in the vicinity of the motor vehicle, and in this sense they also represent the environment of the motor vehicle.
  • a method step of the method according to the invention objects imaged in these are recognized using the camera data, an azimuth or horizontal angle range occupied by this from the point of view of the motor vehicle being determined for a recognized object and a bounding box surrounding the respective object with a assumed or estimated distance to the motor vehicle is generated.
  • Image processing or object recognition means or algorithms known per se can be used to recognize the objects in the camera data, that is to say in particular in a respective camera image. Objects can thus be detected on the basis of edges, contours, contiguous areas or the like, for example.
  • the azimuth angle range is defined here in a plane which can extend, for example, parallel to a floor of the motor vehicle.
  • the azimuth angle range can be defined in relation to a predetermined direction.
  • an imaginary direction starting from the motor vehicle, in particular from the camera, forwards or in the direction of travel can be specified as the reference or zero direction (also referred to as the x direction).
  • the assumed or estimated distance of the respective object or the respective delimiting frame can be determined or stipulated, for example, based on predetermined assumptions with regard to a width or length of different objects.
  • Optical properties of the camera can be taken into account, which determine, for example, how large an object of a certain actual size appears in the camera data or in the respective camera image at a certain distance from the camera.
  • Estimated or predetermined relative size relationships between different objects depicted in the camera data can also be taken into account. If, for example, a car appears as big as a building in the camera data or, for example, a pedestrian appears as wide as a car, then in each case it is assumed that these objects are at different distances from the camera and thus from the motor vehicle.
  • the respective bounding frame can be projected based on the assumed distance into a 2D space, in particular into the plane also used for the azimuth angle range.
  • a predefined coordinate system can be used for this plane, the motor vehicle or the camera or an environmental sensor system of the motor vehicle comprising the camera and the radar device being arranged, for example, in a zero point of the coordinate system.
  • the predefined coordinate system can be a camera coordinate system, that is to say that coordinate system in which the camera data are recorded or processed or managed, in which, for example, the bounding frames are also located.
  • an associated Doppler velocity based on a current position of the motor vehicle is determined for the radar echoes.
  • the Doppler speed in this sense is a radial speed of the respective object that generates the respective radar echo which is corrected or compensated for an intrinsic speed of the motor vehicle, that is to say reduced or increased as a function of the sign.
  • the radar device or the motor vehicle or its current position can thus be viewed as the center of a circle on the circumference of which the respective object is arranged.
  • the Doppler speed then indicates a speed component of the object along a radius of this circle - either towards the center point or away from the center point - regardless of the motor vehicle's own movement, i.e.
  • Radar echoes for which a non-vanishing Doppler velocity, i.e. different from zero, was determined here, are referred to here as moving radar echoes.
  • An associated distance from the motor vehicle and an associated azimuth angle are determined at least for the determined moving radar echoes. These distances and azimuth angles are therefore, in particular only, on the basis of the measured radar echoes or corresponding radar data, that is to say on the basis of measurement data from the radar device.
  • the respective determined distance and the respective azimuth angle result in a 2D position for the respective radar echo. This 2D position, i.e.
  • the respective radar echo or an object causing the respective radar echo can then also be projected or entered in the mentioned 2D space or the mentioned plane, that is, in a coordinate system also used for the camera data.
  • the radar echoes can also be projected or transmitted into the respective camera image.
  • the radar echoes or the radar echoes in combination with the determined distances and azimuth angles can therefore be understood as a point distribution or point cloud in the corresponding 2D space or coordinate system.
  • the azimuth angles determined on the basis of radar can in principle have a greater uncertainty or measurement inaccuracy.
  • the azimuth angle range determined on the basis of a camera can preferably be expanded or enlarged by a tolerance range on both sides or in both directions.
  • This tolerance range can correspond to the specified or assumed uncertainty or measurement inaccuracy of the radar-based determination of the azimuth angle.
  • the tolerance range can be determined as a multiple of the standard deviation, in particular as a 3-o range, so that about 99.7% of all corresponding measured values are recorded.
  • an association is carried out between at least one of the moving radar echoes and at least one of the boundary frames.
  • the respective azimuth angle is compared with the specific azimuth angle ranges of the bounding frames, which serve in particular as a reference or true value, and the respective radar-based determined distance, in particular serving as a reference or true value, is compared - directly or indirectly - with the camera-based assumed distances.
  • the adjustments of the distance can preferably be carried out here based on the respective scaling errors, which will be explained in more detail below.
  • the comparison can then take place in particular on a percentage basis and not absolutely, for example not in meters.
  • a quotient of the respective distance determined on the basis of radar and the respective distance assumed on the basis of cameras can be formed and evaluated, that is to say compared, for example, with a predefined reference or threshold value.
  • Carrying out the assignment can in the sense of the present invention mean, in particular, that these comparisons are carried out, whereby the assignment can be successful if the comparisons are successful, i.e. for example meet a respective specified criterion, and can fail or be rejected if the comparisons fail, so for example do not meet at least one predetermined criterion.
  • a comparison can be successful, for example, if the values or data that have been adjusted or compared with one another have a predetermined similarity to one another, that is to say for example differ from one another by at most a predetermined value or amount, or the like. Further details on the comparisons are explained in more detail below.
  • an assignment of a specific radar echo to different boundary frames is prevented automatically, for example by a corresponding query or by removing successfully assigned radar echoes from a set of radar echoes still available for assignment. If an assignment of a radar echo to different boundary frames would be possible or plausible on the basis of the data or properties mentioned, a respective probability can be determined that the radar echo belongs to one or the other boundary frame or object. The assignment with the greater probability can then be carried out. The determination of such probabilities is explained in more detail below.
  • the respective assumed distance is corrected for the boundary frames to which at least one of the moving radar echoes has been successfully assigned in accordance with the radar-based distance of the respectively assigned radar echoes.
  • the assumed distance can be replaced, for example, by the distance of an assigned radar echo. If several radar echoes were assigned to a bounding box, the assumed distance of this bounding box be replaced, for example, by an average value of the distances determined for the assigned radar echoes.
  • a predetermined or estimated measurement error or a measurement inaccuracy of the distances determined on the basis of radar an inaccuracy or uncertainty of the assumed distance and / or the like can be taken into account.
  • the respective bounding frame can be shifted in the mentioned 2D space or in the mentioned plane according to the radar-based distance or distance of the object thus detected from the motor vehicle.
  • the bounding frames with the respective corrected distance are then output, provided or further used as an object data record which indicates successful object detection.
  • the object data set can then serve or be used, for example, as a basis for further calculations, for example as basis or input data for a Kalman filter, for driving functions or control processes of the motor vehicle and / or the like.
  • the object data record can be supplemented by further data or properties, for example in order to characterize the respective object more precisely.
  • the respective Doppler velocity, an orientation of the respective object, its yaw rate, its type or type, one or more probabilities or confidences for the assignment and / or individual specific values or properties and / or the like can be added to the object data record.
  • the object data record can be used for tracking, that is to say tracking the respective object, or for filling a dynamic map grid or grid and / or the like.
  • detecting the object can mean or include recognizing that there is an object in the vicinity, locating this object, i.e. determining a position relative to the motor vehicle, and possibly a relative movement between the object and the motor vehicle, in particular a direction of movement of the object in the radial direction in relation to the motor vehicle is determined.
  • camera data and radar data are combined or fused with one another.
  • an azimuth angle range in which the Object is located, determined and the respective object classified, so for example a type or a type of the respective object can be determined.
  • the distance of the respective object and its Doppler speed can advantageously be determined particularly precisely in each case in relation to the radar device or the motor vehicle equipped with it.
  • a particular advantage of the present method is that raw data can be combined or merged with one another here.
  • the radar echoes do not in themselves represent a complete object detection in the conventional sense, since, for example, the radar data are not processed by themselves to such an extent that complete objects are identified based on them and corresponding bounding boxes are generated. Rather, in the present invention, the fusion or combination of the camera data with the radar data takes place at an earlier point in time in a data processing chain, since here the camera data or bounding frames generated therein or based on them are associated with raw radar data, namely individual radar echoes, before the object detection is completed.
  • objects can be detected with improved reliability and accuracy and, in addition, compared to conventional detection methods, more quickly and with less data processing effort.
  • a single camera image can be a single recorded frame.
  • a single radar measurement cycle can be, for example, a single transmission of a radar pulse chain, that is, a single scanning or scanning of the surroundings or a detection area or field of view of the radar device, as well as the recording of radar echoes resulting therefrom.
  • 1024 signal ramps possibly with different frequencies, can be transmitted in a radar measurement cycle.
  • Such a measurement cycle can be carried out every 20 ms, for example.
  • a camera image can be recorded, for example, every 50 ms or, for example, synchronized with the radar measurement cycles or radar pulses.
  • the present invention advantageously not only enables particularly precise positions of the objects in the vicinity of the motor vehicle to be determined, but it can also be determined particularly precisely whether the respective object is relevant or is highly relevant, that is, it moves automatically relative to the motor vehicle, in particular towards the motor vehicle, and what type of object it is.
  • a significant reduction in an initialization time and a combined measurement or an object detection based on two different types of sensors can advantageously be achieved.
  • the combination of camera data and radar data proposed here can advantageously achieve a particularly high level of confidence in resulting object detections, since successful object detection is based on different measuring principles and measuring devices.
  • the method according to the invention can preferably be used for automated driving functions in an urban, that is to say urban environment, but also in extra-urban areas.
  • the method for radar echoes is carried out in a single measurement cycle.
  • the available camera data are interpolated or extrapolated to the recording time of the measuring cycle.
  • An interpolation can be carried out, for example, between a camera image recorded before the radar echoes and one immediately after the end of the measurement cycle in which the radar echoes were recorded.
  • a position and / or alignment of the respective boundary frame can be shifted or adjusted in such a way that it - at least presumably or on average - corresponds more precisely to the actual position or orientation of the respective object at the time the radar echoes were recorded. If, however, neither a camera image recorded during the recording time of the radar echoes, i.e. during the measurement cycle, nor a camera image recorded afterwards is available, the position and / or orientation of the respective object can be extrapolated from one or more camera images recorded before the measurement cycle.
  • the interpolation or extrapolation of the camera data to the recording time of the measuring cycle can be carried out, for example, on the basis of time stamps of the respective data, which can be automatically assigned or set when the data are recorded.
  • a linear interpolation or extrapolation can particularly preferably be used here, which can advantageously be carried out with particularly little computing effort and thus particularly quickly with sufficient accuracy and reliability at the same time.
  • the radar echoes and the bounding frames are embedded in a predetermined or common coordinate system for the comparison of the distances, in particular in the named camera coordinate system, the center or zero point of which corresponds to the position of the camera.
  • a respective scaling error or scaling factor is determined therein, at least for the moving radar echoes, which indicates a distance of the respective radar echo from the respective boundary frame in the specified coordinate system in relation to the current position of the motor vehicle, in particular in relation to the current position of the camera, in the radial direction.
  • the direction of the Doppler velocity of the respective object can be determined in a radar coordinate system whose center or zero point corresponds to the current position of the radar device or its radar sensor and does not have to be transformed or transferred to the camera coordinate system.
  • the respective specific scaling error or scaling factor is then taken into account in that it must be smaller than a predefined threshold value or lie in a predefined range or interval for a successful assignment of the respective radar echo to the respective boundary frame.
  • a minimum scaling error and a maximum scaling error can be calculated here for the respective radar echo.
  • the minimum scaling error specifies the distance of the respective radar echo or the position of the respective radar echo in the specified coordinate system to a closest point or edge of the respective boundary frame.
  • there is the maximum Scaling error indicates the distance of the respective radar echo or its position to the most distant point or edge of the bounding box.
  • an auxiliary line running perpendicular to the respective radius line, which intersects the delimitation frame can be used.
  • the minimum scaling error then results as the distance between the radar echo and the closest intersection of the auxiliary line with the radius line through which the auxiliary line intersects the bounding box.
  • the maximum scaling error can be used as the distance between the radar echo and the intersection of the radius line and the auxiliary line, which is furthest away from the radar echo and still leads to the auxiliary line touching or cutting the bounding box.
  • an average scaling error can additionally or alternatively be calculated, which corresponds, for example, to the distance of the respective radar echo from a center point or a point located centrally between the points of the boundary frame used for calculating the minimum and maximum scaling error.
  • An error or an inaccuracy of the distance estimated on the basis of the camera data and thus of the corresponding position of the boundary frame in the specified coordinate system can be in the range of 30%, for example.
  • ⁇ 30% or ⁇ 50% for example, can be specified here as the threshold value for the scaling error.
  • the scaling error can have a signed sign, depending on whether the boundary frame lies between the radar echo and the motor vehicle or on a side of the radar echo facing away from the motor vehicle.
  • a predetermined threshold value or a corresponding windowing (English: gating) of, for example, 50%, those radar echoes can then be used or considered for the assignment whose scaling errors are, for example, in a range from -0.5 to +0.5.
  • Alternative configurations are also possible here.
  • the scaling error can be set to a constant 1 if the radar echo lies within the bounding box. Given a predetermined threshold value of 50%, for example, those radar echoes are then taken into account whose scaling errors are in the range from 0.5 to 1.5. Radar echoes with a scaling error outside the range determined in this way or above the specified threshold value can be discarded or not used or taken into account for the assignment to the respective bounding box.
  • the scaling error would be 0.5 here as an example. For example, a range of 0.5-1.5 for the scaling factor and / or an upper threshold value of 0.5 for the scaling error can be specified as valid values for a successful assignment. In this example, the distance-based assignment would be successful.
  • the use of the scaling error described here as a criterion for the assignment of a radar echo to a specific boundary frame advantageously enables a robust fusion of the camera and radar data, taking into account the respective strengths and weaknesses of the different underlying measurement methods.
  • a probability function is specified for the azimuth angle and / or for a scaling error, on the basis of which the respective assignment is evaluated.
  • the scaling error specifies the distance to the respective boundary frame for a radar echo in a predetermined or common coordinate system, in particular in the mentioned camera coordinate system, and can therefore correspond in particular to the scaling error or scaling factor described elsewhere.
  • the probability function can preferably have a constantly running central area from which it or the corresponding probability drops to both sides.
  • an assignment or an actual affiliation of a radar echo to a boundary frame can be assigned a probability of 1 if the scaling error of the respective radar echo is within a predefined range or interval or below a predefined threshold value.
  • a radar echo or its assignment to the boundary frame can be assigned a probability or a probability value of 1 if the radar echo in the specified coordinate system lies within an azimuth angle range covered by the respective boundary frame. Radar echoes lying outside this azimuth angle range or their assignment to the respective boundary frame can be assigned a probability that decreases according to the probability function for the azimuth angle with increasing distance from the respective azimuth angle range of the boundary frame.
  • the associated probabilities of the radar echoes ultimately successfully assigned to a boundary frame or an overall probability value calculated therefrom - for example an average value of the probabilities - can then be added to the respective object data record as supplementary information.
  • the detection can be weighted based on this, for example. This can advantageously enable, for example, graduated reactions or a prioritization of potential hazards or measures in the operation or control of the motor vehicle. For example, it can be provided that a certain measure, such as an evasive maneuver or braking, is only carried out when the detection of an object in a path of the motor vehicle has a predetermined minimum probability.
  • a probability threshold value can be specified. All radar echoes can then be assigned to the respective boundary frame, for whose assignment or association with the boundary frame a probability that at least corresponds to the probability threshold value has been determined. In other words, gating or windowing can be carried out on the basis of the determined probabilities. The assignment of a radar echo to a boundary frame can accordingly be rejected or fail if one or more probability values determined for the respective radar echo are below the predefined probability threshold value.
  • the determination and consideration of the probabilities proposed here can advantageously create additional flexibility of the method according to the invention and also enable correspondingly graded or soft consideration of such assignments or object detections in further data processing steps that could not be clearly carried out. This can ultimately contribute to a more reliable and safer control of the motor vehicle.
  • a Doppler velocity profile is determined on the basis of these at least three radar echoes, to which as many of the assigned radar echoes as possible are consistent.
  • the distance of the respective bounding frame is then corrected only on the basis of the determined distances of the radar echoes consistent with the Doppler velocity profile.
  • RANSAC random sample consensus
  • two radar echoes can then be selected at random.
  • a Doppler velocity profile is then determined for the radar echoes selected in each case. This is based on the knowledge that the Doppler velocity as a function of the azimuth angle, at least in the theoretical ideal case, i.e. the expected Doppler velocity as a function of the azimuth angle for radar echoes of an object, can always be described as a cosine function with two degrees of freedom, namely an amplitude and a phase.
  • these two degrees of freedom or parameters can then be determined analytically, that is to say the corresponding function can be solved analytically.
  • the resulting cosine function then effectively represents the respective Doppler speed profile.
  • a predefined deviation can be permitted, that is, such radar echoes can also be classified as consistent with the respective Doppler velocity profile if they lie within a predefined environment around the respective cosine curve. Such a deviation can be given, for example, by a predefined expected error when determining the Doppler velocities of the radar echoes of, for example, 0.5 m / s. It is then determined how many of the radar returns to the respective Doppler velocity profile are consistent and thus confirm the corresponding object hypothesis. This method can be carried out for all pairs of radar echoes, a predetermined number of iterations or until a predetermined minimum number of consistent radar echoes has been reached.
  • That set or that set of radar echoes which are consistent in itself or to a common Doppler velocity profile and which includes most of the radar echoes can then be assigned to the respective boundary frame. This assignment can actually be carried out or be successful if the set of radar echoes, which have a consistent Doppler curve, corresponds to at least a predetermined minimum number.
  • the minimum number of radar echoes can be 3, for example, since a cosine curve can always be found for two radar echoes that runs exactly through these two radar echoes in a Doppler velocity-azimuth angle coordinate system. If the data is subject to a certain amount of noise, the minimum number can be specified, for example five, in order to achieve a more reliable result.
  • the assignment of the radar echoes to the bounding box can be discarded or fail.
  • a single echo approach which is described further below, can then be used for the individual radar echoes, for example.
  • the set of consistent radar echoes described here their minimum and maximum or average scaling errors or scaling factors can also be taken into account.
  • the set can then only contain those radar echoes which are consistent with a common Doppler velocity profile and whose scaling errors enable successful assignment to the respective bounding frame in the manner described and / or which have at least essentially the same scaling error.
  • a set of consistent radar echoes can then only contain those radar echoes whose scaling errors differ from one another by at most a predetermined value, for example by at most 10% or at most 5%.
  • the measures described here can advantageously ensure particularly reliably that only those radar echoes are assigned to the respective boundary frame or the corresponding object that are actually from originate from the same real object. Ultimately, this can advantageously contribute to particularly reliable object detection and improved and more consistent tracking of the respective object.
  • a minimum Doppler speed can also be specified here as a threshold value for taking a radar echo into account.
  • the radar echoes can therefore be filtered according to this threshold value, so that only such radar echoes are taken into account or are taken into account here for the formation of the set of consistent radar echoes or for the assignment to the respective boundary frame for which a Doppler velocity above the specified threshold value was determined.
  • a minimum Doppler speed of 0.5 m / s, for example, can be specified as such a threshold value.
  • a plurality of radar devices or a plurality of radar sensors can particularly preferably be used to acquire radar echoes from the surroundings of the motor vehicle.
  • radar echoes or corresponding results or data from different radar devices or radar sensors can then be consistent with the same Doppler velocity profile.
  • an even more precise and reliable assignment can be achieved and, for example, a number of radar echoes in the set of consistent radar echoes ultimately determined can be increased.
  • an orientation of the associated object is estimated on the basis of the radar echoes.
  • This estimated orientation is compared with an orientation of the respective bounding box.
  • the assignment is then evaluated on the basis of a deviation of these orientations from one another determined in the process and / or is only carried out or maintained if the deviation is smaller than a predefined threshold value.
  • the orientation can be determined here in each iteration, that is to say for each specific set of radar echoes consistent with a Doppler velocity profile.
  • the orientation or its deviation from the orientation of the boundary frame can then be used as an additional criterion for whether the respective set of radar echoes is actually assigned to the boundary frame or classified as consistent with the object.
  • the orientation can, for example, only be determined for the best set of radar echoes determined at least based on the Doppler velocity profile will. The latter can advantageously save computational effort. If the deviation of the orientations from one another is greater than the predefined threshold value, the assignment can be rejected or fail. A single echo approach, which is described below, can then be continued for the individual radar echoes. The deviation of the orientations from one another can also be used as a basis for evaluating the assignment, for example by specifying a corresponding assignment or affiliation probability of the radar echoes to the boundary frame.
  • the orientation can be determined on the basis of the radar echoes, for example, as a straight line of best fit for the positions of the radar echoes entered in a coordinate system, possibly taking into account their Doppler speed or a direction of movement determined therefrom.
  • another or more complex model for determining the orientation can be specified, which, for example, can take into account a type or classification of the respective object determined on the basis of the camera data and a shape and / or the like specified for it.
  • the reliability of the assignment can advantageously be further improved and thus ultimately a more reliable and safer operation of the motor vehicle can be made possible.
  • the orientation of the respective delimiting frame - and thus the orientation of the respective object surrounded by it - is determined.
  • a radar-based orientation and movement speed of the object in the direction of the orientation determined based on radar are estimated - as described.
  • the radar-based determined orientation and movement speed can be or will be combined to form a radar-based determined movement vector of the respective object or of the respective suspected object.
  • the orientation determined on the basis of radar is then compared with the orientation of the bounding frame.
  • a predetermined, in particular speed-dependent, yaw rate and / or a predetermined one is used Speed used as a plausible reference.
  • the object represented by the respective bounding frame can be classified using the camera data, in particular identified with regard to its type or its type, whereby different plausible references or reference values for the yaw rate can be specified for different classes, types or types of objects.
  • Such a classification of the object can also be used as a basis for estimating its speed or as a basis for a plausible speed range.
  • a table or database with plausible value ranges and / or plausible combinations of values or value ranges for different types or types of objects can be specified.
  • a Doppler speed profile of associated radar echoes of this object can still be described as a cosine or cosine function with two degrees of freedom.
  • the yaw rate or the yawing or turning of the object can, however, influence or distort or shift the orientation and / or movement speed determined on the basis of radar, that is to say the movement vector of the object. It is typically not possible to solve a corresponding problem with three degrees of freedom, namely the speed, the orientation and the yaw rate, analytically on the basis of the radar echoes or the radar data.
  • yaw rate based on the orientation of the boundary frame and the estimated or determined speed.
  • a plausible yaw rate for a motor vehicle can be less than 60 ° per second.
  • a plausible yaw rate can be lower, the greater the speed of the vehicle.
  • Another possibility is to accept the assignment of the radar echoes consistent with a common Doppler speed profile to the respective boundary frame, i.e. to maintain or carry out the assignment if the number of radar echoes consistent with the speed profile is greater than a predetermined number threshold value.
  • Five for example, can be specified as such a number threshold value. So if - possibly despite a detected deviation of the radar-based determined orientation from the orientation of the respective boundary frame - a set of radar echoes consistent with a common Doppler velocity profile is at least five Contains radar echoes, the assignment of these radar echoes to the bounding frame can be retained or carried out and optionally marked or identified as originating from a yawing or rotating or rotating object.
  • a plurality of radar devices or radar sensors can particularly preferably be used to detect radar echoes from the surroundings of the motor vehicle.
  • the complete state of motion of the respective object i.e. its speed, orientation and yaw rate, can be estimated. This is based on the knowledge that with two separate radar devices or radar sensors up to four degrees of freedom or parameters can be determined or estimated.
  • the reliability or confidence of the determined state of motion can be determined or estimated as a fourth parameter.
  • object detection can advantageously also be reliably implemented for yawing objects or improved flexibility of the method according to the invention can be achieved, which also enables yawing objects to be detected.
  • a scaling error is determined for the radar echoes, which indicates a distance between the respective radar echo and the respective boundary frame in the radial direction in relation to the current position of the motor vehicle. This can in particular be the scaling error already mentioned elsewhere.
  • stationary radar echoes that have been detected or abandoned are analyzed in a predetermined spatial proximity or environment to these radar echoes.
  • stationary radar echoes are those radar echoes for which a vanishing Doppler velocity, that is to say a Doppler velocity of zero - at least apart from a predefined error - has been determined.
  • Those of the analyzed stationary radar echoes which are also consistent with the Doppler velocity profile and whose scaling errors deviate by at most a predetermined amount from the scaling errors of the moving radar echoes already assigned to the respective delimiting frame are then assigned to the respective boundary frame.
  • This procedure is based on the knowledge that such stationary radar echoes can also originate from one and the same real object as the moving radar echoes. This can be the case, for example, when an extended object crosses a trajectory or direction of movement of the motor vehicle at least substantially perpendicularly.
  • moving radar echoes can be received from a front and a rear end of the crossing object and a stationary radar echo can be received from a central region of the object in between.
  • the proposed assignment of such stationary radar echoes to the respective boundary frame can advantageously characterize the respective object more completely or in more detail, which can advantageously enable, for example, more reliable tracking as well as a plausibility check of data, properties or assumptions determined for the object on the basis of the moving radar echoes .
  • a single echo approach is run through, especially in the event that less than three moving radar echoes have been assigned to a boundary frame or such an assignment has led to an error, for example to a rejection or failure of the assignment.
  • This single echo approach is the single echo approach already mentioned elsewhere, which can be used if the alternative approach described for the case of a successful assignment of at least three radar echoes has failed or, for example, only one or two radar echoes were recorded. This can be the case, for example, for objects that are relatively far away from the motor vehicle and appear correspondingly small.
  • the single echo approach can be used from the outset, which advantageously requires less computing time than the complete or graduated method, so that computing effort can advantageously be saved.
  • the determination of the Doppler velocity profile or the application or execution of the RANSAC method can be saved.
  • the single echo approach works in particular for objects that do not have too great a variation or variance in their Doppler velocity, which is determined at different points on the object.
  • Such an excessive variation can occur, for example, in cross traffic or objects rotating at a relatively high yaw rate.
  • an orientation of the respective bounding frame - and thus of the object surrounded by it - is determined. Based on this orientation, a plausible Doppler velocity of the object is estimated in relation to the current position of the motor vehicle.
  • a plausible speed range can be specified for different orientations of the object or different objects. Such specifications can also be dependent on the environment, so that, for example, in an urban environment other speeds may be plausible than, for example, on a motorway.
  • a higher Doppler velocity is plausible for a vehicle whose orientation is directed radially directly to the motor vehicle than for a vehicle whose orientation is oriented transversely to the trajectory or direction of movement of the motor vehicle.
  • a Doppler velocity directed opposite or perpendicular to the particular orientation may be implausible.
  • a range of 1 m / s to 30 m / s can be specified as plausible for a moving motor vehicle in an urban environment.
  • a probability is determined that the respective radar echo originates from the object surrounded by the respective boundary frame. Only or at least the radar echo for which the highest probability was determined is then used as the basis for correcting the distance of the bounding box, that is to say assigned to the bounding box or associated with the corresponding object.
  • a corresponding probability threshold value which must at least be achieved for a successful assignment or association, can also be specified. In this way, moving objects can also be reliably detected, of which only fewer than three radar echoes were received.
  • further radar echoes with measured Doppler velocities and / or scaling errors similar in a predetermined manner can be determined and, if necessary, also assigned to the respective bounding frame.
  • the described gating or the described windowing based on the azimuth angle and / or based on the scaling error can also be used in order to achieve a particularly reliable assignment of radar echoes to boundary frames.
  • the single echo approach including the subsequent assignment of further, similar radar echoes can be carried out for several individual, randomly selected or all radar echoes, for example for a predetermined number of radar echoes or until a predetermined result or criterion is reached. That set of radar echoes with the highest probability and / or the largest number of radar echoes are used, so assigned to the respective boundary frame.
  • the reliability of the assignment can possibly also be improved and simplified or improved tracking can also be made possible of objects that are correspondingly small and / or correspondingly far away from the motor vehicle.
  • predetermined discrete values for example for the Doppler velocity and / or the scaling factor
  • An assignment can then be made if the comparison of the estimated Doppler speed with the radar-based Doppler speed results, for example, in a deviation of at most a predetermined amount. If the scaling factor is taken into account, the radar echo for which this condition is met can be used which has the smallest scaling error. In this way, computational effort can advantageously be saved and thus a faster execution of the method according to the invention can be made possible.
  • Another possibility is to determine for each radar echo (analogous to RANASC) all other detections, i.e. radar echoes, whose scaling factor or scaling error and Doppler speed are less than a predetermined amount or threshold value of the respective radar echo or its scaling factor or Scaling error and its Doppler speed differ.
  • all of the radar echoes can preferably be run through in sequence or, for example, in a randomly selected manner, that is to say checked with regard to other radar echoes with similar scaling factor and Doppler speed.
  • the radar echo, for which the greatest number of other radar echoes, ie so-called inliers, was determined, is then assigned to the respective boundary frame together with other radar echoes that are specific to this radar echo.
  • objects recognized on the basis of the camera data, for which a bounding frame is or has been generated are classified with regard to their type or their type based on predetermined classes.
  • objects can be classified as a vehicle, motor vehicle, car, truck, bicycle, pedestrian and / or the like.
  • a conventional object recognition algorithm based on a Image processing can be applied.
  • Plausible radar-based specific Doppler velocity directions are assigned to each of the specified classes. The assignment of a radar echo to a boundary frame is excluded if a Doppler velocity direction determined for the respective radar echo differs from the plausible Doppler velocity directions for the type of object surrounded by the respective boundary frame. In other words, so-called microdoppler effects can be taken into account here.
  • a spatial distance between radar echoes can be different
  • Doppler velocity directions are taken into account. Corresponding plausible distances can also be specified for the different classes. For example, radar echoes with different Doppler speeds or different Doppler speed directions can typically be received for a pedestrian, since arms and legs, for example, move in different directions, in particular against an overall direction of movement of the pedestrian, or can at least temporarily stand still despite movement of the pedestrian. Accordingly, radar echoes with different Doppler velocity directions can be expected for a pedestrian and can accordingly be plausible. A similar effect can occur, for example, on a wheel of a motor vehicle. A spatial distance corresponding to different radar echoes should then at least essentially correspond to a typical or plausible wheel diameter in order to be able to be plausibly assigned to a motor vehicle. The consideration or plausibility check of the Doppler velocity directions can advantageously enable the assignment of radar echoes to boundary frames or objects to be even more reliable.
  • objects recognized using the camera data are also automatically classified in terms of their type in the manner described based on predetermined classes.
  • a plausible Doppler velocity range is assigned to each given class.
  • the assignment of a radar echo to a boundary frame is excluded if the Doppler speed determined for the respective radar echo lies outside the plausible Doppler speed range for the type of object surrounding the respective boundary frame.
  • pedestrians, cyclists and motor vehicles can be assigned different plausible speed ranges. Accordingly, it can be implausible that a radar echo with a Doppler speed of, for example, 20 m / s originates from a pedestrian.
  • a plausibility check or filtering of the radar echoes in question for the assignment to a specific boundary frame can be carried out on the basis of the specific Doppler velocities. This can advantageously also improve the reliability of the assignment of the radar echoes to the boundary frames.
  • a respective radar cross section that is to say a so-called RSC value (RSC: Radar Cross Section) is determined at least for the moving radar echoes.
  • RSC Radar Cross Section
  • Objects recognized on the basis of the camera data are automatically classified in the manner described based on predefined classes with regard to their type or their type.
  • a plausible radar cross section or a plausible radar cross section area is assigned to each specified class.
  • the assignment of a radar echo to a boundary frame is excluded if the radar cross-section of the respective radar echo lies outside the plausible radar cross-sectional area for the type of object surrounded by the respective boundary frame, i.e. for the class of the respective object.
  • a relatively large RSC value can be assigned to a truck or a motor vehicle.
  • a certain object was classified as a truck or motor vehicle or the like, i.e. as an object with a relatively large RSC value
  • radar echoes with a smaller radar cross section can then be discarded or ignored or with for the assignment of radar echoes to this object or its boundary frame a correspondingly reduced weight can be used or taken into account.
  • the camera detects a pedestrian for example, a correspondingly low radar cross section can be expected.
  • radar echoes when assigning radar echoes to this pedestrian or the corresponding boundary frame, such radar echoes can be ignored, discarded or used or taken into account with reduced weight or influencing factor, the radar cross-section or radar cross-section value of which is greater than the expected or plausible radar cross-sectional area for pedestrians.
  • Such ignoring or discarding or underweighting of radar echoes can also be undertaken if such radar echoes are consistent with the object or other radar echoes assigned to the object in terms of their spatial position, for example their scaling error, and / or, for example, consistent with the Doppler velocity profile of these other radar echoes are.
  • a radar echo from a metallic post for example a traffic sign or a traffic light system
  • a radar echo with a relatively large radar cross-section that is spatially consistent with a pedestrian located next to it whose radar echoes is.
  • the radar cross-section described here the assignment of radar echoes to objects or boundary frames can thus advantageously be further improved, in particular carried out with increased reliability and accuracy.
  • Another aspect of the present invention is a motor vehicle that has an environment sensor system with at least one camera for recording camera data from the environment of the motor vehicle and at least one radar device or at least one radar sensor for emitting radar pulses into the environment and for recording resulting radar echoes from the environment .
  • the motor vehicle also has a data processing device connected to the environment sensor system, the motor vehicle according to the invention being set up to automatically carry out at least one variant of the method according to the invention.
  • the data processing device can have, for example, a data memory and a processor device connected to it.
  • a predefined computer program can then be stored in the data memory, which program encodes or represents the method steps or sequences of the corresponding method according to the invention or corresponding control instructions and / or process steps.
  • the motor vehicle according to the invention can in particular be the motor vehicle mentioned in connection with the method according to the invention. Accordingly, the motor vehicle according to the invention can have some or all of the parts, devices, components and / or properties mentioned in connection with the method according to the invention or be set up for the processes or measures mentioned there.
  • the data processing device can have a communication or data interface via which the camera data or the radar echoes or radar data comprising them can be received.
  • the data processing device can also be designed as a control device for controlling the camera and / or the radar device. Corresponding control signals can then be sent from the data processing device to the camera or to the radar device via the communication or data interface.
  • the data processing device or a combination of the data processing device and the environmental sensor system can form a driver assistance system of the motor vehicle. Such an assistance system for a motor vehicle can itself be a further aspect of the present invention.
  • FIG. 1 shows an exemplary schematic flow chart for a method for detecting objects in a vehicle environment
  • FIG. 2 shows an exemplary schematic flow chart of a first sub-method
  • FIG. 3 shows an exemplary schematic flow chart of a second sub-method
  • Fig. 6 is a schematic diagram illustrating a Doppler velocity profile that can be used in the method.
  • FIG. 1 shows an example of a schematic flow chart 10 for a corresponding method for detecting objects in a vehicle environment. This method is to be explained below with reference also to the other figures.
  • the motor vehicle 12 has an assistance system 14, which in turn comprises a camera and a radar device for capturing or imaging an environment 16 of the motor vehicle 12.
  • the camera and the radar device can also be arranged at different points on the motor vehicle 12, that is to say spatially distributed or spaced apart from one another.
  • a respective position and orientation of the camera and the radar device in the motor vehicle 12 or relative to the motor vehicle 12 is predetermined or known, in particular fixed. Different coordinate systems can thus be used for the camera and the radar device or the respective sensor or measurement data recorded therewith, but between which a conversion or transformation is possible in a known manner based on the specification.
  • an object 18 is located in the surroundings 16 at an initially unknown location.
  • the surroundings 16 there can be further moving and / or immobile objects that are not identified in detail here.
  • camera data of the surroundings 16 are recorded by means of the camera. Objects depicted therein or in one or more corresponding camera images are automatically recognized and marked.
  • the object 18 was recognized as a vehicle and a boundary frame 20 was generated for this object 18, which surrounds the recognized object 18 in the camera data.
  • further properties of the object 18 can also be determined or estimated, for example its type or class, size or extent, orientation and / or the like.
  • predefined assumptions or further data which can be obtained, for example, from another assistance system of motor vehicle 12, can be taken into account.
  • the surroundings 16 are scanned or scanned by means of the radar device.
  • a large number of radar echoes 22 are received from the surroundings 16.
  • an associated Doppler speed VD, an associated distance, an associated azimuth angle F, for example based on a direction of travel 24 of the motor vehicle 12, and / or other data or properties can be determined automatically.
  • the radar echoes 22 or the corresponding radar data - as well as the camera data recorded in method step S1 - can be provided with a time stamp which indicates a respective recording time.
  • the bounding frame 20 can be shifted accordingly.
  • a Doppler compensation can be carried out.
  • the Doppler speed V D for the radar echoes 22 can be determined on the basis of the radar data and a retrieved current speed of the motor vehicle 12.
  • the Doppler speed V D indicates the speed component in the radial direction, that is to say towards the motor vehicle 12 or away from the motor vehicle 12, of an environmental object that generated the respective radar echo 22.
  • one of the radar echoes 22 is additionally identified as a radar echo 26, with a radius line showing a position of the radar echo 26 in a radial direction with the motor vehicle 12 connects, is shown.
  • the Doppler velocity VD of the radar echo 26 is that velocity component of a surrounding object causing the radar echo 26 which is directed in a world-fixed coordinate system along this radius line. Based on the Doppler velocities VD, the radar echoes 22 can then be filtered in order to sort out those with a Doppler velocity VD that is vanishing or below a predetermined threshold value.
  • the radar echoes 22 can be transformed or projected into a coordinate system of the camera data or the radar echoes 22 and the camera data into a common or predefined coordinate system. This can in particular be a plane on which the motor vehicle 12 is traveling. This is illustrated in FIG. 4.
  • An azimuth angle range 0 c, min- c .m ax covered by the boundary frame 20 from the point of view of the motor vehicle 12 is shown therein.
  • the azimuth angle range can be expanded on both sides by the uncertainty o ⁇ t> so that ultimately the azimuth angle I range is the range of 0 c, min + o ⁇ t > to 0 c, m ax - o ⁇ t> is considered.
  • a scaling error 1 is determined for the remaining, that is to say moving, radar echoes 22, which indicates the distance between the respective radar echo 22 and the boundary frame 20 in the radial direction.
  • An average scaling error l or, for example, a respective minimum scaling error Amin and a respective maximum scaling error A max can be determined in each case.
  • the radar echoes 22 are filtered further based on the azimuth angle F and the scaling error l. For example, radar echoes 22 marked by a cross that lie outside the extended azimuth angle range are filtered out and only those radar echoes 22 are considered which are within the extended azimuth angle range and whose scaling errors fall within a predetermined interval.
  • a respective probability for the scaling error l and an error in the azimuth angle F can be determined for the radar echoes 22.
  • FIG. 5 schematically shows a coordinate system on the abscissa 28 of which, for example, the scaling error 1 or the error of the azimuth angle F can be plotted and on the ordinate 30 of which a corresponding probability value is plotted.
  • An exemplary predetermined probability function 32 is shown. According to probability function 32, values centered around a predetermined amount can be assigned a constant probability, while larger or smaller values can be assigned a correspondingly smaller probability.
  • FIG. 2 shows an exemplary schematic first detailed flow chart 34.
  • the radar echoes 22 remaining after the filtering are provided as input data.
  • two candidates are selected at random from this.
  • a Doppler velocity profile and an estimated orientation of the hypothetical surrounding object as well as a deviation of this estimated orientation from the camera-based object orientation 36 assigned to the bounding frame 20 is determined for these selected candidates.
  • FIG. 6 schematically shows a coordinate system, the x-axis of which represents the azimuth angle F and the y-axis of which represents the Doppler velocity V D of the radar echoes 22.
  • an expected cosine curve 40 is drawn in here, which corresponds to a Doppler velocity profile expected according to the hypothesis for the two candidate echoes 38.
  • a set of radar echoes 22 is determined here which are consistent with this Doppler velocity profile.
  • Two radar echoes 22 marked here by crosses have too great a deviation from the cosine curve 40 and are therefore classified as inconsistent with the Doppler velocity profile and are accordingly not included in the set of consistent radar echoes 22.
  • a corresponding comparison is carried out based on the scaling errors I and the errors in the azimuth angles F in order to determine the respective set of consistent radar echoes 22 with regard to these criteria as well. If a corresponding set of radar echoes 22 has already been determined, these sets of radar echoes 22 are compared in method step S7.5 in order to select the best set.
  • the best set in this sense can be, for example, that set of radar echoes 22 which best confirms the hypothesis, for example has the highest probabilities or the greatest number of consistent radar echoes 22.
  • method steps S7.2 to S7.5 can be iteratively run through multiple times.
  • a speed of the underlying surrounding object and its orientation can be estimated based on the selected best set of radar echoes 22. If the selected set of consistent radar echoes 22 contains a sufficient number of radar echoes 22 and the orientation and / or speed determined based thereon is plausible, for example in comparison with the camera data or the bounding frame 20, the corresponding hypothesis is classified or evaluated as successful in method step S7.7 . Otherwise, the hypothesis is classified as unsuccessful or failed and the method is continued with method step S8. There the hypothesis can be checked that the radar echoes 22 originate from a yawing, that is to say rotating, object.
  • method step S8 the estimated speed and an estimated yaw rate are evaluated or checked for plausibility under this hypothesis or corresponding predetermined associated conditions or criteria. If it turns out that corresponding data or values or results with the hypothesis that the radar echoes 22 originate from a yawing object are successful, i.e. plausible, the estimated speed and the estimated yaw rate are therefore in a plausible range for a yawing object, the method is also continued in method step S10. Otherwise, the method is continued with a method step S9. Method step S9 is also carried out if fewer than three radar echoes 22 remain after the filtering in method step S6.
  • a single echo approach is run through.
  • a schematic second detailed flow chart 42 is shown as an example in FIG. 3.
  • the radar echoes 22 are provided as input data.
  • a probability for the affiliation or assignment of the respective radar echo 22 to the hypothetical object is determined based on the Doppler velocity V D.
  • the probability is determined for the respective radar echo 22 based on the scaling error l.
  • the probability is determined for the respective radar echo 22 based on the azimuth angle F. If several radar echoes 22 have been provided as input data, this can be carried out for each or a random selection of the radar echoes 22.
  • a corresponding predefined probability function 32 can be used in each case.
  • a method step S9.5 the radar echo 22 with the highest probability is selected. It can then be checked whether this probability meets a predetermined threshold value. If this is not the case, the corresponding hypothesis that the respective radar echo 22 belongs to the object 18 represented by the bounding frame 20 can be discarded, that is, classified as failed or failed. In this case, the method can be ended or continued with the next limiting frame 20, for which the method can then be run through again, for example from method step S6. Likewise, an object detection of the object 18 can then be output based solely on the camera data, possibly provided with a correspondingly reduced detection probability or weighting.
  • method step S9.7 If, on the other hand, the probability of the best radar echo 22 selected in method step S9.5 is greater than the probability threshold value, then in method step S9.7 according to one or more predetermined criteria, radar echoes 22 similar to this radar echo 22 can be identified in order, if necessary, in this case as well to form a set of radar echoes 22 which can be assigned to the bounding frame 20 or to the object 18. Regardless of whether such similar radar echoes 22 could be identified, the corresponding hypothesis is classified as successful in method step S9.8.
  • the radar echoes 22 successfully assigned to the bounding frame 20 or to the object 18 according to method steps S7, S8 or S9 are then used in method step S10 to correct the distance between bounding frame 20 and motor vehicle 12 that was only estimated up to that point based on their radar-based distances.
  • the bounding frame 20 can be shifted, for example, in the radial direction by the scaling error l of the successfully assigned radar echoes 22, that is to say, for example, to the position of the object 18 marked with dashed lines in FIG. 4.
  • method step S11 a corresponding measurement or a corresponding object detection or a corresponding object data record indicating successful object detection is generated for the object 18 thus detected.
  • This object data set can include the bounding frame 20 with the corrected distance, the successfully assigned, that is to say associated, radar echoes 22 and, if necessary, further variables or data determined in the course of the method.
  • step S12 on the basis of this object data set or the successful detection of the object 18, for example, tracking of the object 18 can be carried out or updated, the detection or the object 18 can be entered in a dynamic map grid or grid, the motor vehicle 12 can be controlled become and / or the like more.
  • the radar detections specified in the object data set can be marked as actually originating from a real surrounding object and can accordingly be used for other data processing with a correspondingly high level of confidence, since it can be assumed that, for example, they are not clutter echoes.
  • the proposed method first attempts to implement an association with an extended camera object by combining Doppler detections that have a consistent Doppler curve. The association can be assessed on the basis of the Doppler course and a resulting orientation estimate.
  • the scaling error l in the camera-based determined distance of the respective bounding box can be corrected or plausibility checked by the radar-based determined distance.
  • a direct association of raw Doppler detections that is to say corresponding raw radar data, to an object recognized on the basis of a camera and a correspondingly corrected object detection can be obtained.
  • surrounding objects located ahead or moving towards the motor vehicle 12 in the radial direction can be detected, but also, for example, laterally, that is to say at least substantially perpendicular to the direction of travel 24, into the surroundings 16 or one Surrounding objects entering the detection area of the assistance system 14 can be identified or extracted or detected particularly quickly using a plausibility check using the Doppler curve.
  • a grouping and association of radar detections with a surrounding object can advantageously be used for a particularly robust updating of a tracking of surrounding objects over time (track update).

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Electromagnetism (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Radar Systems Or Details Thereof (AREA)
  • Traffic Control Systems (AREA)

Abstract

Die Erfindung betrifft ein Verfahren zum Detektieren von bewegten Objekten in einer Fahrzeugumgebung und ein entsprechend eingerichtetes Kraftfahrzeug. Dabei werden Kameradaten und Radarechos aus der Umgebung aufgenommen. Es wird eine Zuordnung zwischen wenigstens einem Radarecho und einem anhand der Kameradaten generierten Begrenzungsrahmen eines kamerabasiert erkannten Objekts durch Abgleich von zugehörigen Azimutwinkeln und bestimmten Entfernungen des Radarechos und des kamerabasiert erkannten Objekts durchgeführt. Bei einer erfolgreichen Zuordnung wird eine kamerabasiert angenommene Entfernung gemäß einer radarbasiert bestimmten Entfernung des jeweiligen erkannten Umgebungsobjekts korrigiert. Der jeweilige Begrenzungsrahmen mit der korrigierten Entfernung wird dann als eine erfolgreiche Objektdetektion angebender Objektdatensatz ausgegeben.

Description

Verfahren zum Detektieren bewegter Objekte in einer Fahrzeugumgebung und
Kraftfahrzeug Die vorliegende Erfindung betrifft ein Verfahren zum Detektieren bewegter Objekte in einer Fahrzeugumgebung und ein zur Durchführung eines derartigen Verfahrens eingerichtetes Kraftfahrzeug.
Im Bereich der Fahrzeugtechnik ist es für vielfältige Fahrassistenzsysteme und Fahrfunktionen, insbesondere für ein hochautomatisiertes oder autonomes Fahren, von besonderer Bedeutung, Objekte, die sich in einer Umgebung des jeweiligen Fahrzeugs befinden, zu detektieren. Derartige Objekte können insbesondere andere Verkehrsteilnehmer sein. Dabei sind eine möglichst schnelle und zuverlässige Detektion sowie eine genaue Verödung insbesondere bewegter Objekte besonders wichtig, da durch diese besonders oft und besonders schnell gefährliche Situationen entstehen können. Dementsprechend sind weitere Verbesserungen auf diesem Gebiet stets wünschenswert.
Als einen Ansatz hierfür beschreibt die WO 2017 / 207727 A1 eine verbesserte Objektdetektion und Abschätzung eines Bewegungszustands eines Objekts. Dabei wird für eine Radardetektion ein zugehöriger Azimutwinkel und eine
Dopplergeschwindigkeitskomponente bestimmt. Weiter wird das Objekt mit einer Kamera aufgenommen und es wird aus wenigstens zwei Kamerabildern ein optischer Fluss bestimmt. Daraus wird eine weitere Geschwindigkeitskomponente in einer senkrechten Richtung bestimmt. Aus beiden Geschwindigkeitskomponenten wird dann der vollständige Geschwindigkeitsvektor des jeweiligen Objekts bestimmt. Als weiterer Ansatz ist aus der US 2018 / 0259637 A1 ein System zur Echtzeitsteuerung eines Geräts bekannt. Dabei wird ein Objekt optisch erfasst, das sich an einer Steigung, also in Schräglage relativ zu dem Gerät befindet. Mittels eines Radargeräts werden ein Horizontalwinkel und eine radiale Entfernung des Objekts von dem Gerät sowie eine Änderungsrate der Entfernung erfasst. Das Gerät wird dann basierend auf einer 3D- Positionsmatrix und einer 3D-Änderungsratenmatrix gesteuert, die basierend auf den visuellen Daten und den Radardaten bestimmt wurden.
Als weiterer Ansatz ist in der EP 3229041 A1 ein Objektdetektionssystem beschrieben, das einen Radarsensor und eine Kamera umfasst. Ein Radarsignal soll dabei eine Entfernung und Richtung eines Objekts in einer Umgebung eines Fahrzeugs angeben.
Ein mittels der Kamera aufgenommenes Bild soll einen Sichtbereich des Radarsignals überlappen. Es soll dann eine Entfernungskarte für das Bild basierend auf der Entfernung und Richtung des Objekts bestimmt werden. Darauf basierend wird in dem Bild eine Detektionszone definiert. Es wird dann ausschließlich diese Detektionszone des Bilds verarbeitet, um das Objekt zu identifizieren.
Aufgabe der vorliegenden Erfindung ist es, eine verbesserte Detektion bewegter Objekte in einer Fahrzeugumgebung zu ermöglichen. Diese Aufgabe wird erfindungsgemäß durch die Gegenstände der unabhängigen Patentansprüche gelöst. Vorteilhafte Ausgestaltungen und Weiterbildungen der vorliegenden Erfindung sind in den abhängigen Patentansprüchen, in der Beschreibung und in den Figuren angegeben.
Das erfindungsgemäße Verfahren dient dazu, um von einem Kraftfahrzeug aus Objekte zu detektieren, die sich in einer Umgebung des Kraftfahrzeugs bewegen. Die Umgebung kann dabei durch eine Erfassungs- oder Sensorreichweite wenigstens einer Kamera und wenigstens einer Radareinrichtung des Kraftfahrzeugs bestimmt sein. Bei dem Verfahren werden Kameradaten der Umgebung aufgenommen. Die Kameradaten können dabei mittels der Kamera des Kraftfahrzeugs aufgenommen werden. Ebenso kann das Aufnehmen der Kameradaten deren Erfassen oder Empfangen durch eine zum Durchführen des Verfahrens eingerichtete Datenverarbeitungseinrichtung von der Kamera oder über eine entsprechende Datenschnittstelle umfassen oder bedeuten. Die Kameradaten bilden also die Umgebung des Kraftfahrzeugs ab. Weiter werden bei dem erfindungsgemäßen Verfahren Radarechos aus der Umgebung des Kraftfahrzeugs aufgenommen. Die Radarechos können dabei mittels der Radareinrichtung aufgenommen, also gemessen werden. Ebenso kann das Aufnehmen der Radarechos deren Erfassen oder Empfangen durch die Datenverarbeitungseinrichtung von der Radareinrichtung oder über eine entsprechende Datenschnittstelle bedeuten oder umfassen. Insbesondere sind dies Radarechos, die durch Reflektion wenigstens eines von der Radareinrichtung in die Umgebung ausgesendeten Radarpulses von in der Umgebung befindlichen Objekten zurück zu der Radareinrichtung entstehen. Die Radarechos repräsentieren also Objekte in der Umgebung des Kraftfahrzeugs, bilden in diesem Sinne also ebenfalls die Umgebung des Kraftfahrzeugs ab.
In einem Verfahrensschritt des erfindungsgemäßen Verfahrens werden anhand der Kameradaten in diesen abgebildete Objekte erkannt, wobei für ein erkanntes Objekt jeweils ein von diesem aus Sicht des Kraftfahrzeugs eingenommener Azimut- oder Horizontalwinkelbereich bestimmt und ein das jeweilige Objekt umgebender Begrenzungsrahmen (fachsprachlich: bounding box) mit einer angenommenen oder abgeschätzten Entfernung zu dem Kraftfahrzeug generiert wird. Zum Erkennen der Objekte in den Kameradaten, also insbesondere in einem jeweiligen Kamerabild, können an sich bekannte Bildverarbeitungs- oder Objekterkennungsmittel oder -algorithmen eingesetzt werden. Damit können Objekte beispielsweise anhand von Kanten, Konturen, zusammenhängenden Flächen oder dergleichen detektiert werden. Der Azimutwinkelbereich ist hier in einer Ebene definiert, die sich beispielsweise parallel zu einem Boden des Kraftfahrzeugs erstrecken kann. Insbesondere kann es sich dabei um eine, gegebenenfalls idealisierte oder geglättete, Ebene eines von dem Kraftfahrzeug befahrenen Untergrunds, also beispielsweise eine Fahrbahnoberfläche oder dergleichen, handeln. Der Azimutwinkelbereich kann dabei bezogen auf eine vorgegebene Richtung definiert sein. Beispielsweise kann als Referenz oder Nullrichtung eine gedachte, von dem Kraftfahrzeug, insbesondere von der Kamera, nach vorne oder in Fahrtrichtung ausgehende Richtung vorgegeben sein (auch als x-Richtung bezeichnet).
Die angenommene oder abgeschätzte Entfernung des jeweiligen Objekts beziehungsweise des jeweiligen Begrenzungsrahmens kann beispielsweise basierend auf vorgegebenen Annahmen bezüglich einer Breite oder Länge unterschiedlicher Objekte bestimmt oder festgelegt werden. Dabei können optische Eigenschaften der Kamera berücksichtigt werden, die beispielsweise bestimmen, wie groß ein Objekt einer bestimmten tatsächlichen Größe in einer bestimmten Entfernung zu der Kamera in den Kameradaten beziehungsweise in dem jeweiligen Kamerabild erscheint. Dabei können auch abgeschätzte oder vorgegebene relative Größenbeziehungen zwischen unterschiedlichen in den Kameradaten abgebildeten Objekten berücksichtigt werden. Erscheint beispielsweise in den Kameradaten ein PKW ebenso groß wie ein Gebäude oder erscheint beispielsweise ein Fußgänger ebenso breit wie ein PKW, so kann jeweils davon ausgegangen werden, dass sich diese Objekte in unterschiedlichen Entfernungen zu der Kamera und damit zu dem Kraftfahrzeug befinden. Dies wiederum lässt, gegebenenfalls unter Berücksichtigung vorgegebener typischer Größen für derartige Objekte, einen Rückschluss auf die ungefähre Entfernung des jeweiligen Objekts von dem Kraftfahrzeug zu. Ebenso können beispielsweise zwischen dem jeweiligen Objekt und der Kamera in den Kameradaten abgebildete und detektierte Umgebungsmerkmale, wie beispielsweise eine Fahrbahnbreite oder Fahrstreifenmarkierungen oder dergleichen, zum Abschätzen der Entfernung verwendet werden.
Besonders bevorzugt kann der jeweilige Begrenzungsrahmen basierend auf der angenommenen Entfernung in einen 2D-Raum, insbesondere in die auch für den Azimutwinkelbereich verwendete Ebene, projiziert werden. Für diese Ebene kann dabei ein vorgegebenes Koordinatensystem verwendet werden, wobei das Kraftfahrzeug beziehungsweise die Kamera oder eine die Kamera und die Radareinrichtung umfassende Umgebungssensorik des Kraftfahrzeugs beispielsweise in einem Nullpunkt des Koordinatensystems angeordnet sein kann. Insbesondere kann das vorgegebene Koordinatensystem ein Kamerakoordinatensystem sein, also dasjenige Koordinatensystem, in dem die Kameradaten erfasst oder verarbeitet oder verwaltet werden, in dem also beispielsweise auch die Begrenzungsrahmen verortet werden.
In einem weiteren Verfahrensschritt des erfindungsgemäßen Verfahrens wird für die Radarechos eine zugehörige Dopplergeschwindigkeit bezogen auf eine aktuelle Position des Kraftfahrzeugs bestimmt. Die Dopplergeschwindigkeit in diesem Sinne ist dabei eine um eine Eigengeschwindigkeit des Kraftfahrzeugs korrigierte oder kompensierte, also vorzeichenabhängig reduzierte oder vergrößerte, Radialgeschwindigkeit des jeweiligen Objekts, welches das jeweilige Radarecho erzeugt. Die Radareinrichtung beziehungsweise das Kraftfahrzeug oder dessen aktuelle Position kann also als Mittelpunkt eines Kreises angesehen werden, auf dessen Umfangslinie das jeweilige Objekt angeordnet ist. Die Dopplergeschwindigkeit gibt dann eine Geschwindigkeitskomponente des Objekts entlang eines Radius dieses Kreises - entweder auf den Mittelpunkt zu oder von dem Mittelpunkt weg - unabhängig von einer Eigenbewegung des Kraftfahrzeugs, also in einem oder bezogen auf ein weltfestes Koordinatensystem an. Radarechos, für die dabei eine nicht-verschwindende, also von null verschiedene, Dopplergeschwindigkeit bestimmt wurde, werden hier als bewegte Radarechos bezeichnet. Zumindest für die ermittelten bewegten Radarechos werden eine zugehörige Entfernung von dem Kraftfahrzeug und ein zugehöriger Azimutwinkel bestimmt. Diese Entfernungen und Azimutwinkel werden hier also, insbesondere nur, anhand der gemessenen Radarechos beziehungsweise entsprechender Radardaten, also anhand von Messdaten der Radareinrichtung, bestimmt. Anhand der jeweiligen bestimmten Entfernung und des jeweiligen Azimutwinkels ergibt sich für das jeweilige Radarecho eine 2D-Position. Diese 2D-Position, also effektiv das jeweilige Radarecho beziehungsweise ein das jeweilige Radarecho verursachendes Objekt, kann dann ebenfalls in den genannten 2D-Raum beziehungsweise die genannte Ebene, also in ein auch für die Kameradaten verwendetes Koordinatensystem projiziert oder eingetragen werden. Ebenso können die Radarechos in das jeweilige Kamerabild projiziert oder übertragen werden. Die Radarechos beziehungsweise die Radarechos in Kombination mit den bestimmten Entfernungen und Azimutwinkeln können also als Punkteverteilung oder Punktewolke in dem entsprechenden 2D-Raum oder Koordinatensystem aufgefasst werden. Die radarbasiert bestimmten Azimutwinkel können prinzipbedingt eine größere Unsicherheit oder Messungenauigkeit aufweisen. Um dies im Folgenden zu berücksichtigen, kann bevorzugt der kamerabasiert bestimmte Azimutwinkelbereich zu beiden Seiten oder in beide Richtungen um einen Toleranzbereich erweitert oder vergrößert werden. Dieser Toleranzbereich kann der vorgegebenen oder angenommenen Unsicherheit oder Messungenauigkeit der radarbasierten Bestimmung des Azimutwinkels entsprechen. Besonders bevorzugt kann als Toleranzbereich als Vielfaches der Standardabweichung bestimmt werden, insbesondere als 3-o-Bereich, sodass also etwa 99,7 % aller entsprechenden Messwerte erfasst werden.
In einem weiteren Verfahrensschritt des erfindungsgemäßen Verfahrens wird eine Zuordnung zwischen wenigstens einem der bewegten Radarechos und wenigstens einem der Begrenzungsrahmen durchgeführt. Dazu wird der jeweilige Azimutwinkel mit den, dabei insbesondere als Referenz oder wahrer Wert dienenden, bestimmten Azimutwinkelbereichen der Begrenzungsrahmen abgeglichen und die, dabei insbesondere als Referenz oder wahrer Wert dienende jeweilige radarbasiert bestimmte Entfernung wird - direkt oder indirekt - mit den kamerabasiert angenommenen Entfernungen abgeglichen. Bevorzugt können die Abgleiche der Entfernung hier basierend auf jeweiligen Skalierungsfehlern durchgeführt werden, was weiter unten noch näher erläutert wird. Dann kann der Abgleich insbesondere auf prozentualer Basis und nicht absolut, also beispielsweise nicht in Metern, erfolgen. Es kann also etwa ein Quotient der jeweiligen radarbasiert bestimmten Entfernung und der jeweiligen kamerabasiert angenommenen Entfernung gebildet und bewertet, also beispielsweise mit einem vorgegebenen Referenz- oder Schwellenwert verglichen, werden. Das Durchführen der Zuordnung kann im Sinne der vorliegenden Erfindung insbesondere bedeuten, dass diese Abgleiche durchgeführt werden, wobei die Zuordnung erfolgreich sein kann, wenn die Abgleiche erfolgreich sind, also beispielsweise ein jeweiliges vorgegebenes Kriterium erfüllen, und fehlschlagen oder verworfen werden kann, wenn die Abgleiche fehlschlagen, also beispielsweise wenigstens ein vorgegebenes Kriterium nicht erfüllen. Ein Abgleich kann beispielsweise dann erfolgreich sein, wenn die jeweils miteinander abgeglichenen oder verglichenen Werte oder Daten eine vorgegebene Ähnlichkeit zueinander aufweisen, also sich beispielsweise um höchstens einen vorgegebenen Wert oder Betrag voneinander unterscheiden, oder dergleichen. Weitere Details zu den Abgleichen werden weiter unten noch näher erläutert. Letztendlich wird hier also bestimmt, ob eine hinsichtlich der jeweiligen Eigenschaften zusammenpassende Kombination aus einem Begrenzungsrahmen und wenigstens einem bewegten Radarecho vorliegt beziehungsweise gefunden werden kann. Dies könnte beispielsweise der Fall sein, wenn eines oder mehrere der bewegten Radarechos von demjenigen Objekt erzeugt und direkt zu der Radareinrichtung zurückgeworfen wurden, das von dem jeweiligen Begrenzungsrahmen umgeben beziehungsweise repräsentiert wird. In unterschiedlichen Situationen beziehungsweise Ausgestaltungen der vorliegenden Erfindung können einem Begrenzungsrahmen dabei nur ein Radarecho oder mehrere Radarechos zugeordnet werden. Besonders bevorzugt wird dabei automatisch eine Zuordnung eines bestimmten Radarechos zu unterschiedlichen Begrenzungsrahmen, also eine Doppelzuordnung eines Radarechos, verhindert, beispielsweise durch eine entsprechende Abfrage oder durch Entfernen erfolgreich zugeordneter Radarechos aus einer Menge von noch zur Zuordnung verfügbaren der Radarechos. Sofern aufgrund der genannten Daten oder Eigenschaften eine Zuordnung eines Radarechos zu unterschiedlichen Begrenzungsrahmen möglich oder plausibel wäre, kann eine jeweilige Wahrscheinlichkeit dafür bestimmt werden, dass das Radarecho zu dem einen oder zu dem anderen Begrenzungsrahmen beziehungsweise Objekt gehört. Es kann dann die Zuordnung mit der größeren Wahrscheinlichkeit durchgeführt werden. Das Bestimmen derartiger Wahrscheinlichkeiten wird weiter unten noch näher erläutert.
In einem weiteren Verfahrensschritt des erfindungsgemäßen Verfahrens wird für die Begrenzungsrahmen, denen wenigstens eines der bewegten Radarechos erfolgreich zugeordnet wurde, die jeweilige angenommene Entfernung gemäß der radarbasiert bestimmten Entfernung der jeweils zugeordneten Radarechos korrigiert. Dabei kann die angenommene Entfernung beispielsweise durch die Entfernung eines zugeordneten Radarechos ersetzt werden. Wurden einem Begrenzungsrahmen mehrere Radarechos zugeordnet, so kann die angenommene Entfernung dieses Begrenzungsrahmens beispielsweise durch einen Mittelwert der für die zugeordneten Radarechos bestimmten Entfernungen ersetzt werden. Ebenso können bei dem Korrigieren der angenommenen Entfernung beispielsweise ein vorgegebener oder abgeschätzter Messfehler oder eine Messungenauigkeit der radarbasiert bestimmten Entfernungen, eine Ungenauigkeit oder Unsicherheit der angenommenen Entfernung und/oder dergleichen mehr berücksichtigt werden. Der jeweilige Begrenzungsrahmen kann in dem genannten 2D-Raum beziehungsweise in der genannten Ebene verschoben werden gemäß der radarbasiert bestimmten Entfernung oder Entfernung des somit detektierten Objekts von dem Kraftfahrzeug.
Die Begrenzungsrahmen mit der jeweiligen korrigierten Entfernung werden dann als Objektdatensatz ausgegeben, bereitgestellt oder weiterverwendet, der eine erfolgreiche Objektdetektion angibt. Der Objektdatensatz kann dann beispielsweise als Grundlage für weitere Berechnungen, beispielsweise als Basis oder Eingangsdaten für einen Kalmanfilter, für Fahrfunktionen oder Steuervorgänge des Kraftfahrzeugs und/oder dergleichen mehr dienen beziehungsweise verwendet werden. Der Objektdatensatz kann dabei durch weitere Daten oder Eigenschaften ergänzt werden, um beispielsweise das jeweilige Objekt genauer zu charakterisieren. Beispielsweise können die jeweilige Dopplergeschwindigkeit, eine Orientierung des jeweiligen Objekts, dessen Gierrate, dessen Typ oder Art, eine oder mehrere Wahrscheinlichkeiten oder Konfidenzen für die Zuordnung und/oder einzelne bestimmte Werte oder Eigenschaften und/oder dergleichen mehr zu dem Objektdatensatz hinzugefügt werden. Beispielsweise kann der Objektdatensatz für ein Tracking, also eine Nachverfolgung des jeweiligen Objekts oder zum Befüllen eines dynamischen Kartengitters oder Rasters und/oder dergleichen mehr verwendet werden.
Das Detektieren des Objekts kann im Sinne der vorliegenden Erfindung also bedeuten oder umfassen, dass erkannt wird, dass es in der Umgebung ein Objekt gibt, dieses Objekt verortet, das heißt eine Position relativ zu dem Kraftfahrzeug bestimmt wird, sowie gegebenenfalls eine Relativbewegung zwischen dem Objekt und dem Kraftfahrzeug, insbesondere eine Bewegungsrichtung des Objekts in radialer Richtung bezogen auf das Kraftfahrzeug bestimmt wird. Dazu werden vorliegend Kameradaten und Radardaten miteinander kombiniert oder fusioniert. Diese beiden Sensor- oder Datenarten weisen dabei vorteilhaft unterschiedliche Stärken und Schwächen hinsichtlich der Objektdetektion auf und ergänzen sich somit vorteilhaft, um eine besonders genaue und zuverlässige Objektdetektion zu ermöglichen. So kann mittels der Kamera beziehungsweise anhand der Kameradaten vorteilhaft besonders genau ein Azimutwinkelbereich, in dem sich das Objekt befindet, bestimmt und das jeweilige Objekt klassifiziert, also beispielsweise eine Art oder ein Typ des jeweiligen Objekts bestimmt werden. Mittels der Radareinrichtung beziehungsweise anhand der Radardaten oder Radarechos kann hingegen vorteilhaft die Entfernung des jeweiligen Objekts und dessen Dopplergeschwindigkeit jeweils bezogen auf die Radareinrichtung beziehungsweise das damit ausgestattete Kraftfahrzeug besonders genau bestimmt werden. Ein besonderer Vorteil des vorliegenden Verfahrens ist dabei, dass hier Rohdaten miteinander kombiniert oder fusioniert werden können. Die Radarechos, gegebenenfalls einschließlich der zugehörigen Dopplergeschwindigkeit und Entfernung und des zugehörigen Azimutwinkels, stellen dabei für sich genommen also nicht keine vollständige Objektdetektion im herkömmlichen Sinne dar, da beispielsweise die Radardaten nicht für sich alleine genommen so weit verarbeitet werden, dass darauf basierend vollständige Objekte identifiziert und entsprechende Begrenzungsrahmen generiert werden. Vielmehr findet bei der vorliegenden Erfindung die Fusion oder Kombination der Kameradaten mit den Radardaten zu einem früheren Zeitpunkt in einer Datenverarbeitungskette statt, da hier die Kameradaten beziehungsweise darin oder darauf basierend generierte Begrenzungsrahmen mit Radarrohdaten, nämlich einzelnen Radarechos assoziiert werden, bevor die Objektdetektion abgeschlossen wird. Dadurch können mittels der vorliegenden Erfindung Objekte mit verbesserter Zuverlässigkeit und Genauigkeit und zudem im Vergleich zu herkömmlichen Detektionsverfahren schneller und mit weniger Datenverarbeitungsaufwand detektiert werden. Besonders vorteilhaft ist es dabei, dass eine Objektdetektion gemäß dem erfindungsgemäßen Verfahren basierend auf einem einzigen Radarmesszyklus und einem einzigen Kamerabild möglich ist. Ein einzelnes Kamerabild kann dabei ein einzelner aufgenommener Frame sein. Ein einzelner Radarmesszyklus kann beispielsweise ein einmaliges Aussenden einer Radarpulskette, also ein einmaliges Abtasten oder Scannen der Umgebung beziehungsweise eines Erfassungsbereiches oder Sichtbereiches der Radareinrichtung, sowie das Aufnehmen daraus resultierender Radarechos sein. Je nach Auslegung oder Ausgestaltung der Radareinrichtung können in einem Radarmesszyklus beispielsweise 1024 Signalrampen, gegebenenfalls unterschiedlicher Frequenzen, ausgesendet werden. Ein solcher Messzyklus kann beispielsweise alle 20 ms durchgeführt werden. Je nach Auslegung der Kamera kann ein Kamerabild beispielsweise alle 50 ms oder beispielsweise synchronisiert zu den Radarmesszyklen beziehungsweise Radarpulsen aufgenommen werden.
Durch die vorliegende Erfindung können vorteilhaft nicht nur besonders genaue Positionen der Objekte in der Umgebung des Kraftfahrzeugs bestimmt, sondern es kann zusätzlich besonders genau ermittelt werden, ob das jeweilige Objekt relevant beziehungsweise hochrelevant ist, sich also selbsttätig relativ zu dem Kraftfahrzeug, insbesondere auf das Kraftfahrzeug zu, bewegt und um welche Art von Objekt es sich handelt. Dabei kann mit der vorliegenden Erfindung im Vergleich zu herkömmlichen Detektionsverfahren vorteilhaft eine signifikante Reduktion einer Initialisierungszeit und einer kombinierten Messung beziehungsweise einer auf zwei unterschiedlichen Sensorarten basierenden Objektdetektion erzielt werden. Durch die hier vorgeschlagene Kombination von Kameradaten und Radardaten kann dabei vorteilhaft eine besonders hohe Konfidenz resultierender Objektdetektionen erreicht werden, da eine erfolgreiche Objektdetektion auf unterschiedlichen Messprinzipien und Messeinrichtungen basiert. Im Vergleich zu einer rein radarbasierten Objektdetektion kann beispielsweise besonders zuverlässig identifiziert werden, dass ein bestimmtes Radarecho von einem relevanten Objekt stammt und nicht etwa clutter ist, also Stördaten darstellt. Dadurch können auch alle gegebenenfalls nachfolgenden Verarbeitungen oder Prozesse vorteilhaft mit erhöhter Zuverlässigkeit und Konfidenz durchlaufen werden, sodass letztendlich beispielsweise das Kraftfahrzeug zuverlässiger und sicherer betrieben werden kann. Bevorzugt kann das erfindungsgemäße Verfahren für automatisierte Fahrfunktionen in einem urbanen, also städtischen Umfeld aber ebenso in außerstädtischen Bereichen angewendet werden.
In vorteilhafter Weiterbildung der vorliegenden Erfindung wird das Verfahren für Radarechos jeweils eines einzigen Messzyklus durchgeführt. Für den Fall, dass für eine Aufnahmezeit des Messzyklus keine gleichzeitig aufgenommenen Kameradaten verfügbar sind, werden die verfügbaren Kameradaten auf die Aufnahmezeit des Messzyklus interpoliert oder extrapoliert. Eine Interpolation kann beispielsweise zwischen einem vor den Radarechos aufgenommenen Kamerabild und einem unmittelbar nach Ende des Messzyklus, in dem die Radarechos aufgenommen wurden, durchgeführt werden. Hat dabei während einer zwischen den Aufnahmezeitpunkten dieser beiden Kamerabilder liegenden Zeit eine Bewegung wenigstens eines der Objekte stattgefunden, so kann durch Interpolation zwischen diesen beiden Kamerabildern beispielsweise eine Position und/oder Ausrichtung des jeweiligen Begrenzungsrahmens derart verschoben oder angepasst werden, dass sie - zumindest vermutlich oder im Durchschnitt - genauer der tatsächlichen Position beziehungsweise Orientierung des jeweiligen Objekts zu der Aufnahmezeit der Radarechos entspricht. Ist hingegen weder ein während der Aufnahmezeit der Radarechos, also während des Messzyklus, aufgenommenes Kamerabild noch ein danach aufgenommenes Kamerabild verfügbar, so kann die Position und/oder Orientierung des jeweiligen Objekts aus einem oder mehreren vor dem Messzyklus aufgenommenen Kamerabildern extrapoliert werden. Aufgrund der typischerweise verwendeten Aufnahmefrequenzen für die Kameradaten und Messzyklen und den real auftretenden Geschwindigkeiten von Objekten im Straßenverkehr kann dabei mit ausreichend hoher Zuverlässigkeit eine Verbesserung im Vergleich zur Verwendung nicht interpolierter oder nicht extrapolierter Kameradaten erzielt werden. Das Interpolieren oder Extrapolieren der Kameradaten auf den Aufnahmezeitpunkt des Messzyklus kann beispielsweise anhand von Zeitstempeln der jeweiligen Daten durchgeführt werden, die beim jeweiligen Aufnehmen der Daten automatisch vergeben oder gesetzt werden können. Durch das Interpolieren beziehungsweise Extrapolieren der Kameradaten kann vorteilhaft eine genauere und zuverlässigere Zuordnung zwischen den jeweiligen Radarechos und dem oder den Begrenzungsrahmen beziehungsweise den entsprechenden Objekten bestimmt werden. Besonders bevorzugt kann hier eine lineare Interpolation beziehungsweise Extrapolation angewendet werden, die vorteilhaft mit besonders geringem Rechenaufwand und damit besonders schnell bei gleichzeitig ausreichender Genauigkeit und Zuverlässigkeit durchgeführt werden kann.
In weiterer vorteilhafter Ausgestaltung der vorliegenden Erfindung werden für den Abgleich der Entfernungen die Radarechos und die Begrenzungsrahmen in ein vorgegebenes oder gemeinsames Koordinatensystem eingebettet, insbesondere in das genannte Kamerakoordinatensystem, dessen Mittel- oder Nullpunkt der Position der Kamera entspricht. Darin wird zumindest für die bewegten Radarechos ein jeweiliger Skalierungsfehler oder Skalierungsfaktor bestimmt, der einen Abstand des jeweiligen Radarechos zu dem jeweiligen Begrenzungsrahmen in dem vorgegebenen Koordinatensystem in bezogen auf die aktuelle Position des Kraftfahrzeugs, insbesondere bezogen auf die aktuelle Position der Kamera, radialer Richtung angibt. Die Richtung der Dopplergeschwindigkeit des jeweiligen Objekts kann hingegen in einem Radarkoordinatensystem, dessen Mittel- oder Nullpunkt der jeweils aktuellen Position der Radareinrichtung beziehungsweise deren Radarsensors, entspricht, bestimmt sein und muss nicht in das Kamerakoordinatensystem transformiert oder übertragen werden.
Der jeweilige bestimmte Skalierungsfehler oder Skalierungsfaktor wird dann berücksichtigt, indem er für eine erfolgreiche Zuordnung des jeweiligen Radarechos zu dem jeweiligen Begrenzungsrahmen kleiner als ein vorgegebener Schwellenwert sein beziehungsweise in einem vorgegebenen Bereich oder Intervall liegen muss. Es kann hier für das jeweilige Radarecho ein minimaler Skalierungsfehler und ein maximaler Skalierungsfehler berechnet werden. Der minimale Skalierungsfehler gibt dabei den Abstand des jeweiligen Radarechos beziehungsweise der Position des jeweiligen Radarechos in dem vorgegebenen Koordinatensystem zu einem nächstliegenden Punkt oder Rand des jeweiligen Begrenzungsrahmens an. Entsprechend gibt der maximale Skalierungsfehler den Abstand des jeweiligen Radarechos oder dessen Position zu dem am weitesten entfernt liegenden Punkt oder Rand des Begrenzungsrahmens an. Diese Abstände können dabei insbesondere entlang einer von dem jeweiligen Radarecho zu dem Kraftfahrzeug verlaufenden Radiuslinie bestimmt werden, zumindest in den Fällen, in denen eine derartige Radiuslinie den Begrenzungsrahmen berührt oder schneidet. Läuft die jeweilige Radiuslinie neben dem jeweiligen Begrenzungsrahmen, so kann beispielsweise eine senkrecht zu der jeweiligen Radiuslinie verlaufende Hilfslinie, die den Begrenzungsrahmen schneidet, verwendet werden. Der minimale Skalierungsfehler ergibt sich dann als Abstand zwischen dem Radarecho und dem nächstliegenden Schnittpunkt der Hilfslinie mit der Radiuslinie, durch den verlaufend die Hilfslinie den Begrenzungsrahmen schneidet. Analog kann der maximale Skalierungsfehler als Abstand zwischen dem Radarecho und dem Schnittpunkt der Radiuslinie und der Hilfslinie, der am weitesten von dem Radarecho entfernt liegt und noch zu einem Berühren oder Schneiden des Begrenzungsrahmens durch die Hilfslinie führt, verwendet werden. Ebenso kann zusätzlich oder alternativ ein durchschnittlicher Skalierungsfehler berechnet werden, der entsprechend beispielsweise den Abstand des jeweiligen Radarechos zu einem Mittelpunkt beziehungsweise einem mittig zwischen den für die Berechnung des minimalen und maximalen Skalierungsfehlers verwendeten Punkten des Begrenzungsrahmens liegenden Punkt besteht.
Ein Fehler oder eine Ungenauigkeit der anhand der Kameradaten abgeschätzten Entfernung und damit der entsprechenden Position des Begrenzungsrahmens in dem vorgegebenen Koordinatensystem kann beispielsweise im Bereich von 30 % liegen. Dementsprechend kann hier als Schwellenwert für den Skalierungsfehler beispielsweise ±30 % oder beispielsweise ±50 % vorgegeben sein. Der Skalierungsfehler kann dabei vorzeichenbehaftet sein, je nachdem ob der Begrenzungsrahmen zwischen dem Radarecho und dem Kraftfahrzeug oder auf einer von dem Kraftfahrzeug abgewandten Seite des Radarechos liegt. Für einen vorgegebenen Schwellenwert beziehungsweise eine entsprechende Fensterung (englisch: gating) von beispielsweise 50 % können dann für die Zuordnung diejenigen Radarechos verwendet oder betrachtet werden, deren Skalierungsfehler beispielsweise in einem Bereich von -0,5 bis +0,5 liegt. Hier sind ebenso alternative Ausgestaltungen möglich. Beispielsweise kann der Skalierungsfehler konstant auf 1 gesetzt werden, wenn das Radarecho innerhalb des Begrenzungsrahmens liegt. Bei einem vorgegebenen Schwellenwert von beispielsweise 50 % werden dann solche Radarechos berücksichtigt, deren Skalierungsfehler im Bereich von 0,5 bis 1,5 liegt. Radarechos, deren Skalierungsfehler außerhalb des so bestimmten Bereiches beziehungsweise oberhalb des vorgegebenen Schwellenwertes liegt, können verworfen beziehungsweise nicht für die Zuordnung zu dem jeweiligen Begrenzungsrahmen verwendet oder in Betracht gezogen werden. In einem konkreten Beispiel können für ein Objekt die kamerabasiert angenommene Entfernung 60 m und die radarbasiert bestimmte Entfernung 40 m betragen. Damit ergibt sich dann ein Skalierungsfaktor von 60m / 40m = 1,5. Der Skalierungsfehler wäre hier also beispielhaft 0,5. Als valide Werte für eine erfolgreiche Zuordnung können beispielsweise ein Bereich von 0,5 - 1,5 für den Skalierungsfaktor und/oder ein oberer Schwellenwert von 0,5 für den Skalierungsfehler vorgegeben sein. In diesem Beispiel wäre die entfernungsbasierte Zuordnung also erfolgreich.
Die hier beschriebene Verwendung des Skalierungsfehlers als Kriterium für die Zuordnung eines Radarechos zu einem bestimmten Begrenzungsrahmen ermöglicht vorteilhaft eine robuste Fusion der Kamera- und Radardaten unter Berücksichtigung der jeweiligen Stärken und Schwächen der unterschiedlichen zugrundeliegenden Messmethoden.
In weiterer vorteilhafter Ausgestaltung der vorliegenden Erfindung wird für den Azimutwinkel und/oder für einen Skalierungsfehler eine Wahrscheinlichkeitsfunktion vorgegeben, anhand derer die jeweilige Zuordnung bewertet wird. Der Skalierungsfehler gibt auch hier für ein Radarecho jeweils dessen Abstand zu dem jeweiligen Begrenzungsrahmen in einem vorgegebenen oder gemeinsamen Koordinatensystem an, insbesondere in dem genannten Kamerakoordinatensystem, kann also insbesondere dem an anderer Stelle beschriebenen Skalierungsfehler oder Skalierungsfaktor entsprechen. Die Wahrscheinlichkeitsfunktion kann bevorzugt einen konstant verlaufenden Zentralbereich aufweisen, von dem aus sie beziehungsweise die entsprechende Wahrscheinlichkeit zu beiden Seiten hin abfällt. Beispielsweise kann gemäß der Wahrscheinlichkeitsfunktion für den Skalierungsfehler einer Zuordnung beziehungsweise einer tatsächlichen Zugehörigkeit eines Radarechos zu einem Begrenzungsrahmen eine Wahrscheinlichkeit von 1 zugeordnet werden, wenn der Skalierungsfehler des jeweiligen Radarechos innerhalb eines vorgegebenen Bereiches oder Intervalls oder unterhalb eines vorgegebenen Schwellenwertes liegt. Für Radarechos mit außerhalb des vorgegebenen Bereiches oder oberhalb des vorgegebenen Schwellenwertes liegendem Messskalierungsfehler kann deren Zuordnung zu dem Begrenzungsrahmen beziehungsweise einer Korrektheit einer solchen Zuordnung, also letztlich der tatsächlichen Zugehörigkeit des Radarechos zu dem Begrenzungsrahmen beziehungsweise zu dem jeweiligen Objekt eine mit zunehmendem Abstand geringer werdende Wahrscheinlichkeit gemäß der vorgegebenen Wahrscheinlichkeitsfunktion für den Skalierungsfehler zugewiesen werden. Wenn für ein Radarecho ein minimaler und ein maximaler Skalierungsfehler berechnet wurden, so kann der höhere der beiden entsprechenden Wahrscheinlichkeitswerte verwendet, also dem Radarecho oder dessen Zuordnung zu dem jeweiligen Begrenzungsrahmen zugeordnet werden. Analog kann beispielsweise einem Radarecho beziehungsweise dessen Zuordnung zu dem Begrenzungsrahmen eine Wahrscheinlichkeit oder ein Wahrscheinlichkeitswert von 1 zugewiesen werden, wenn das Radarecho in dem vorgegebenen Koordinatensystem innerhalb eines von dem jeweiligen Begrenzungsrahmen überdeckten Azimutwinkelbereiches liegt. Außerhalb dieses Azimutwinkelbereiches liegenden Radarechos beziehungsweise deren Zuordnung zu dem jeweiligen Begrenzungsrahmen kann eine gemäß der Wahrscheinlichkeitsfunktion für den Azimutwinkel mit zunehmender Entfernung von dem jeweiligen Azimutwinkelbereich des Begrenzungsrahmens abnehmende Wahrscheinlichkeit zugeordnet werden.
Die zugehörigen Wahrscheinlichkeiten der letztlich erfolgreich zu einem Begrenzungsrahmen zugeordneten Radarechos oder ein daraus berechneter Gesamtwahrscheinlichkeitswert - beispielsweise ein Mittelwert der Wahrscheinlichkeiten - kann dann als ergänzende Information dem jeweiligen Objektdatensatz beigefügt werden. Darauf basierend kann beispielsweise die Detektion gewichtet werden. Dies kann vorteilhaft beispielsweise abgestufte Reaktionen oder eine Priorisierung potenzieller Gefahren oder Maßnahmen bei dem Betrieb oder der Steuerung des Kraftfahrzeugs ermöglichen. So kann beispielsweise vorgesehen sein, dass eine bestimmte Maßnahme, wie etwa ein Ausweichmanöver oder ein Abbremsen erst dann durchgeführt wird, wenn die Detektion eines Objekts in einem Pfad des Kraftfahrzeugs eine vorgegebene Minimalwahrscheinlichkeit aufweist.
Ebenso kann beispielsweise ein Wahrscheinlichkeitsschwellenwert vorgegeben sein. Es können dann dem jeweiligen Begrenzungsrahmen alle Radarechos zugeordnet werden, für deren Zuordnung beziehungsweise Zugehörigkeit zu dem Begrenzungsrahmen eine wenigstens dem Wahrscheinlichkeitsschwellenwert entsprechende Wahrscheinlichkeit ermittelt wurde. Mit anderen Worten kann also ein Gating oder eine Fensterung auf Basis der bestimmten Wahrscheinlichkeiten durchgeführt werden. Die Zuordnung eines Radarechos zu einem Begrenzungsrahmen kann dementsprechend verworfen werden oder fehlschlagen, wenn ein oder mehrere für das jeweilige Radarecho bestimmte Wahrscheinlichkeitswerte unterhalb des vorgegebenen Wahrscheinlichkeitsschwellenwertes liegen. Durch die hier vorgeschlagene Bestimmung und Berücksichtigung der Wahrscheinlichkeiten kann vorteilhaft zusätzliche Flexibilität des erfindungsgemäßen Verfahrens geschaffen und zudem eine entsprechend abgestufte oder weiche Berücksichtigung auch solcher Zuordnungen oder Objektdetektionen bei weiteren Datenverarbeitungsschritten ermöglicht werden, die nicht eindeutig durchgeführt werden konnten. Dies kann letztlich zu einer zuverlässigeren und sichereren Steuerung des Kraftfahrzeugs beitragen.
In weiterer vorteilhafter Ausgestaltung der vorliegenden Erfindung wird für den Fall, dass einem Begrenzungsrahmen wenigstens drei Radarechos zugeordnet wurden, anhand dieser wenigstens drei Radarechos ein Dopplergeschwindigkeitsprofil bestimmt, zu dem möglichst viele der zugeordneten Radarechos konsistent sind. Die Entfernung des jeweiligen Begrenzungsrahmens wird dann nur basierend auf den bestimmten Entfernungen der mit dem Dopplergeschwindigkeitsprofil konsistenten Radarechos korrigiert. Zum Bestimmen eines konsistenten Satzes oder Sets von Radarechos kann bevorzugt ein robuster Ansatz, wie beispielsweise RANSAC (englisch: random sample consensus) angewendet werden. Aufgrund der Zuordnung mehrerer Radarechos zu ein und demselben Begrenzungsrahmen kann hier von der Hypothese ausgegangen werden, dass alle diese Radarechos von ein und demselben ausgedehnten Objekt stammen. Es können dann beispielsweise jeweils zwei Radarechos zufällig ausgewählt werden. Für die jeweils ausgewählten Radarechos wird dann ein Dopplergeschwindigkeitsprofil bestimmt. Dies basiert auf der Erkenntnis, dass die Dopplergeschwindigkeit als Funktion des Azimutwinkels zumindest im theoretischen Idealfall, also die erwartete Dopplergeschwindigkeit in Abhängigkeit von dem Azimutwinkel für Radarechos eines Objekts stets als Cosinusfunktion mit zwei Freiheitsgraden, nämlich einer Amplitude und einer Phase, beschrieben werden kann. Anhand der zwei Radarechos können dann diese zwei Freiheitsgrade beziehungsweise Parameter analytisch bestimmt, also die entsprechende Funktion analytisch gelöst werden. Die resultierende Cosinusfunktion stellt dann effektiv das jeweilige Dopplergeschwindigkeitsprofil dar. Für die übrigen Radarechos wird dann überprüft, ob sie auf der entsprechenden Cosinuskurve liegen und damit konsistent zu dem jeweiligen Dopplergeschwindigkeitsprofil sind. Dabei kann eine vorgegebene Abweichung zugelassen werden, also auch solche Radarechos als konsistent mit dem jeweiligen Dopplergeschwindigkeitsprofil eingestuft werden, wenn sie innerhalb einer vorgegebenen Umgebung um die jeweilige Cosinuskurve liegen. Eine solche Abweichung kann beispielsweise durch einen vorgegebenen erwarteten Fehler beim Bestimmen der Dopplergeschwindigkeiten der Radarechos von beispielsweise 0,5 m/s gegeben sein. Es wird dann bestimmt, wie viele der Radarechos zu dem jeweiligen Dopplergeschwindigkeitsprofil konsistent sind und damit die entsprechende Objekthypothese bestätigen. Dieses Verfahren kann für alle Paare von Radarechos, eine vorgegebene Anzahl von Iterationen oder bis zum Erreichen einer vorgegebenen Mindestanzahl konsistenter Radarechos durchgeführt werden.
Dem jeweiligen Begrenzungsrahmen kann dann derjenige Satz oder dasjenige Set von in sich beziehungsweise zu einem gemeinsamen Dopplergeschwindigkeitsprofil konsistenten Radarechos, der beziehungsweise das die meisten Radarechos umfasst (englisch: best consensus set) zugeordnet werden. Diese Zuordnung kann dabei tatsächlich durchgeführt werden beziehungsweise erfolgreich sei, wenn der Satz von Radarechos, die einen konsistenten Dopplerverlauf aufweisen, wenigstens einer vorgegebenen Minimalanzahl entspricht. Die Minimalanzahl von Radarechos kann beispielsweise 3 betragen, da für zwei Radarechos ohnehin stets eine Cosinuskurve gefunden werden kann, die in einem Dopplergeschwindigkeits-Azimutwinkel- Koordinatensystem genau durch diese beiden Radarechos verläuft. Sind die Daten mit einem gewissen Rauschen behaftet, kann als Minimalanzahl beispielsweise fünf vorgegeben sein, um ein verlässlicheres Ergebnis zu erzielen. Wird diese Minimalanzahl konsistenter Radarechos durch keinen Satz oder keine Kombination von Radarechos erreicht, kann die Zuordnung der Radarechos zu dem Begrenzungsrahmen verworfen werden oder fehlschlagen. Es kann dann beispielsweise für die einzelnen Radarechos mit einem Einzelechoansatz fortgefahren werden, der weiter unten beschrieben wird.
Besonders bevorzugt kann bei der hier beschriebenen Bildung des Satzes konsistenter Radarechos ebenso deren minimaler und maximaler oder durchschnittlicher Skalierungsfehler oder Skalierungsfaktor berücksichtigt werden. Es können dann in dem Satz nur solche Radarechos enthalten sein, die zu einem gemeinsamen Dopplergeschwindigkeitsprofil konsistent sind und deren Skalierungsfehler in der beschriebenen Weise eine erfolgreiche Zuordnung zu dem jeweiligen Begrenzungsrahmen ermöglicht und/oder die zumindest im Wesentlichen den gleichen Skalierungsfehler aufweisen. Beispielsweise können also in einem Satz von konsistenten Radarechos dann nur solche Radarechos enthalten sein, deren Skalierungsfehler sich um höchstens einen vorgegebenen Wert, beispielsweise um höchstens 10 % oder höchstens 5 % voneinander unterscheiden.
Durch die hier beschriebenen Maßnahmen kann vorteilhaft besonders zuverlässig sichergestellt werden, dass nur solche Radarechos dem jeweiligen Begrenzungsrahmen beziehungsweise dem entsprechenden Objekt zugewiesen werden, die tatsächlich von demselben realen Objekt stammen. Dies kann letztlich vorteilhaft zu einer besonders zuverlässigen Objektdetektion und einem verbesserten und konsistenteren Tracking des jeweiligen Objekts beitragen.
Um zuverlässig tatsächlich nur bewegte, also besonders relevante, Objekte zu detektieren, kann hier zudem eine minimale Dopplergeschwindigkeit als Schwellenwert zum Berücksichtigen eines Radarechos vorgegeben sein. Die Radarechos können also gemäß dieses Schwellenwertes gefiltert werden, sodass nur solche Radarechos berücksichtigt beziehungsweise hier für die Bildung des Satzes konsistenter Radarechos beziehungsweise für die Zuordnung zu dem jeweiligen Begrenzungsrahmen in Betracht gezogen werden für die eine oberhalb des vorgegebenen Schwellenwertes liegende Dopplergeschwindigkeit bestimmt wurde. Als solcher Schwellenwert kann beispielsweise eine minimale Dopplergeschwindigkeit von 0,5 m/s vorgegeben sein.
Besonders bevorzugt können mehrere Radareinrichtungen beziehungsweise mehrere Radarsensoren zum Erfassen von Radarechos aus der Umgebung des Kraftfahrzeugs verwendet werden. Im Falle einer linearen Bewegung des Objekts können dann Radarechos beziehungsweise entsprechende Ergebnisse oder Daten unterschiedlicher Radareinrichtungen oder Radarsensoren mit demselben Dopplergeschwindigkeitsprofil konsistent sein. Dadurch kann eine noch genauere und zuverlässige Zuordnung erreicht und beispielsweise eine Anzahl von Radarechos in dem letztendlich bestimmten Satz konsistenter Radarechos vergrößert werden.
In vorteilhafter Weiterbildung der vorliegenden Erfindung wird anhand der Radarechos eine Orientierung des zugehörigen Objekts abgeschätzt. Diese abgeschätzte Orientierung wird mit einer Orientierung des jeweiligen Begrenzungsrahmens verglichen. Die Zuordnung wird dann anhand einer dabei ermittelten Abweichung dieser Orientierungen voneinander bewertet und/oder nur dann durchgeführt beziehungsweise beibehalten, falls die Abweichung kleiner als ein vorgegebener Schwellenwert ist. Die Orientierung kann hier in jeder Iteration, also für jeden bestimmten Satz von zu einem Dopplergeschwindigkeitsprofil konsistenten Radarechos bestimmt werden. Die Orientierung beziehungsweise deren Abweichung von der Orientierung des Begrenzungsrahmens kann dann als zusätzliches Kriterium dafür verwendet werden, ob der jeweilige Satz von Radarechos dem Begrenzungsrahmen tatsächlich zugeordnet beziehungsweise als mit dem Objekt konsistent eingestuft wird. Ebenso kann die Orientierung beispielsweise nur für den zumindest basierend auf dem Dopplergeschwindigkeitsprofil bestimmten besten Satz von Radarechos bestimmt werden. Letzteres kann vorteilhaft Berechnungsaufwand einsparen. Falls die Abweichung der Orientierungen voneinander größer als der vorgegebene Schwellenwert ist, kann die Zuordnung verworfen werden beziehungsweise fehlschlagen. Es kann dann für die einzelnen Radarechos mit einem Einzelechoansatz fortgefahren werden, der weiter unten beschrieben wird. Ebenso kann die Abweichung der Orientierungen voneinander als Grundlage zum Bewerten der Zuordnung, beispielsweise durch Angeben einer entsprechenden Zuordnungs- oder Zugehörigkeitswahrscheinlichkeit der Radarechos zu dem Begrenzungsrahmen.
Die Orientierung kann anhand der Radarechos beispielsweise als Ausgleichsgerade der in einem Koordinatensystem eingetragenen Positionen der Radarechos, gegebenenfalls unter Berücksichtigung von deren Dopplergeschwindigkeit beziehungsweise einer anhand daran bestimmten Bewegungsrichtung, bestimmt werden. Ebenso kann ein anderes oder komplexeres Modell zum Bestimmen der Orientierung vorgegeben sein, welches beispielsweise eine anhand der Kameradaten ermittelte Art oder Klassifizierung des jeweiligen Objekts und einer dafür vorgegebenen Form und/oder dergleichen mehr berücksichtigen kann.
Durch das hier vorgeschlagene Berücksichtigen der Orientierung als zusätzliches Kriterium kann vorteilhaft die Zuverlässigkeit der Zuordnung weiter verbessert und damit letztlich ein zuverlässigerer und sicherer Betrieb des Kraftfahrzeugs ermöglicht werden.
In vorteilhafter Weiterbildung der vorliegenden Erfindung wird die Orientierung des jeweiligen Begrenzungsrahmens - und damit die Orientierung des jeweiligen von diesem umgebenen Objekts - bestimmt. Anhand der Radarechos, insbesondere der mit einem gemeinsamen Dopplergeschwindigkeitsprofil konsistenten Radarechos, wird - wie beschrieben - eine radarbasierte Orientierung und Bewegungsgeschwindigkeit des Objekts in Richtung der radarbasiert bestimmten Orientierung abgeschätzt. Die radarbasiert bestimmte Orientierung und Bewegungsgeschwindigkeit können zu einem radarbasiert bestimmten Bewegungsvektor des jeweiligen Objekts beziehungsweise des jeweiligen vermuteten Objekts kombiniert sein oder werden. Die radarbasiert bestimmte Orientierung wird dann mit der Orientierung des Begrenzungsrahmens verglichen. Bei einer oberhalb eines vorgegebenen Schwellenwertes liegenden Abweichung der Orientierungen voneinander wird überprüft, ob die jeweiligen Daten oder Werte oder Ergebnisse mit einem gierenden, sich also um eine senkrecht zu der Azimutwinkelebene stehenden Hochachse drehenden Objekt konsistent sind. Dabei wird eine vorgegebene, insbesondere geschwindigkeitsabhängige, Gierrate und/oder eine vorgegebene Geschwindigkeit als plausible Referenz verwendet. Besonders bevorzugt kann das durch den jeweiligen Begrenzungsrahmen repräsentierte Objekt dabei anhand der Kameradaten klassifiziert, insbesondere hinsichtlich seiner Art oder seines Typs identifiziert, werden, wobei für unterschiedliche Klassen, Arten oder Typen von Objekten unterschiedliche plausible Referenzen oder Referenzwerte für die Gierrate vorgegeben sein können. Ebenso kann eine solche Klassifizierung des Objekts als Grundlage zum Abschätzen von dessen Geschwindigkeit oder als Grundlage für einen plausiblen Geschwindigkeitsbereich verwendet werden. Es kann beispielsweise eine Tabelle oder Datenbank mit plausiblen Wertebereichen und/oder plausiblen Kombinationen von Werten oder Wertebereichen für unterschiedliche Arten oder Typen von Objekten vorgegeben sein.
Wenn beispielsweise ein Fahrzeug eine von null verschiedene Gierrate aufweist, sich also dreht oder beispielsweise eine Kurve durchfährt, kann ein Dopplergeschwindigkeitsprofil zugehöriger Radarechos dieses Objekts weiterhin als Cosinus oder Cosinusfunktion mit zwei Freiheitsgraden beschrieben werden. Die Gierrate beziehungsweise das Gieren oder Drehen des Objekts kann jedoch die radarbasiert bestimmte Orientierung und/oder Bewegungsgeschwindigkeit, also den Bewegungsvektor des Objekts beeinflussen oder verzerren oder verschieben. Es ist dabei typischerweise nicht möglich, ein entsprechendes Problem mit drei Freiheitsgraden, nämlich der Geschwindigkeit, der Orientierung und der Gierrate, anhand der Radarechos beziehungsweise der Radardaten analytisch zu lösen. Dementsprechend wird hier vorgeschlagen, die Gierrate abzuschätzen basierend auf der Orientierung des Begrenzungsrahmens und der abgeschätzten beziehungsweise bestimmten Geschwindigkeit. Anhand der vorgegebenen plausiblen Werte beziehungsweise eines oder mehrerer vorgegebener Schwellenwerte kann überprüft werden, ob die so ermittelte Gierrate und/oder Geschwindigkeit oder deren Kombination realistisch sind. Beispielsweise kann eine plausible Gierrate für ein Kraftfahrzeug weniger als 60° pro Sekunde betragen. Dabei kann eine plausible Gierrate umso niedriger sein, je größer die Geschwindigkeit des Fahrzeugs ist. Eine weitere Möglichkeit besteht darin, die Zuordnung der zu einem gemeinsamen Dopplergeschwindigkeitsprofil konsistenten Radarechos zu dem jeweiligen Begrenzungsrahmen zu akzeptieren, also beizubehalten oder durchzuführen, falls die Anzahl der zu dem Geschwindigkeitsprofil konsistenten Radarechos größer als ein vorgegebener Anzahlschwellenwert ist. Als solcher Anzahlschwellenwert kann beispielsweise Fünf vorgegeben sein. Wenn also - gegebenenfalls trotz einer detektierten Abweichung der radarbasiert bestimmten Orientierung von der Orientierung des jeweiligen Begrenzungsrahmens - ein zu einem gemeinsamen Dopplergeschwindigkeitsprofil konsistenter Satz von Radarechos wenigstens fünf Radarechos enthält, kann die Zuordnung dieser Radarechos zu dem Begrenzungsrahmen beibehalten oder durchgeführt und gegebenenfalls als von einem gierenden oder sich drehenden oder rotierenden Objekt stammend markiert oder gekennzeichnet werden.
Besonders bevorzugt können mehrere Radareinrichtungen oder Radarsensoren zum Erfassen von Radarechos aus der Umgebung des Kraftfahrzeugs verwendet werden. In einem solchen Fall kann der komplette Bewegungszustand des jeweiligen Objekts, also dessen Geschwindigkeit, Orientierung und Gierrate, abgeschätzt werden. Dies basiert auf der Erkenntnis, dass mit zwei separaten Radareinrichtungen oder Radarsensoren bis zu vier Freiheitsgrade oder Parameter bestimmt oder abgeschätzt werden können.
Besonders bevorzugt kann als vierter Parameter dabei die Zuverlässigkeit oder Konfidenz des bestimmten Bewegungszustands bestimmt oder abgeschätzt werden.
Durch die hier beschriebenen Maßnahmen kann vorteilhaft eine Objektdetektion auch für gierende Objekte zuverlässig realisiert beziehungsweise eine verbesserte Flexibilität des erfindungsgemäßen Verfahrens erreicht werden, die eine Detektion auch gierender Objekte ermöglicht.
In vorteilhafter Weiterbildung der vorliegenden Erfindung wird für die Radarechos ein Skalierungsfehler bestimmt, der einen Abstand des jeweiligen Radarechos zu dem jeweiligen Begrenzungsrahmen in bezogen auf die aktuelle Position des Kraftfahrzeugs radialer Richtung angibt. Dies kann insbesondere der bereits an anderer Stelle genannte Skalierungsfehler sein. Bei erfolgreicher Zuordnung mehrerer konsistenter bewegter Radarechos zu einem Begrenzungsrahmen werden dann in einer vorgegebenen räumlichen Nähe oder Umgebung zu diesen Radarechos detektierte oder verödete stationäre Radarechos analysiert. Stationäre Radarechos sind im Sinne der vorliegenden Erfindung solche Radarechos, für die eine verschwindende Dopplergeschwindigkeit, also eine - zumindest bis auf einen vorgegebene Fehler - Dopplergeschwindigkeit von null bestimmt wurde. Dem jeweiligen Begrenzungsrahmen werden dann auch solche der analysierten stationären Radarechos zugeordnet, die ebenfalls mit dem Dopplergeschwindigkeitsprofil konsistent sind und deren Skalierungsfehler höchstens um einen vorgegebenen Betrag von den Skalierungsfehlern der bereits zu dem jeweiligen Begrenzungsrahmen zugeordneten bewegten Radarechos abweicht. Dieses Vorgehen beruht auf der Erkenntnis, dass derartige stationäre Radarechos ebenfalls von ein und demselben realen Objekt wie die bewegten Radarechos stammen können. Dies kann beispielsweise der Fall sein, wenn ein ausgedehntes Objekt eine Trajektorie oder Bewegungsrichtung des Kraftfahrzeugs zumindest im Wesentlichen senkrecht kreuzt. In einem solchen Fall können beispielsweise von einem vorderen und einem hinteren Ende des kreuzenden Objekts bewegte Radarechos und von einem dazwischenliegenden mittigen Bereich des Objekts ein stationäres Radarecho empfangen werden. Durch die hier vorgeschlagene Zuordnung derartiger stationärer Radarechos zu dem jeweiligen Begrenzungsrahmen kann das jeweilige Objekt vorteilhaft vollständiger beziehungsweise detaillierter charakterisiert werden, was vorteilhaft beispielsweise ein zuverlässigeres Nachverfolgen ebenso wie eine Plausibilisierung von zu dem Objekt auf Basis der bewegten Radarechos bestimmten Daten, Eigenschaften oder Annahmen ermöglichen kann.
In weiterer vorteilhafter Ausgestaltung der vorliegenden Erfindung wird - insbesondere für den Fall, dass einem Begrenzungsrahmen weniger als drei bewegte Radarechos zugeordnet worden sind oder eine solche Zuordnung zu einem Fehler, also beispielsweise zu einem Verwerfen oder Fehlschlagen der Zuordnung, geführt hat - ein Einzelechoansatz durchlaufen. Dieser Einzelechoansatz ist der bereits an anderer Stelle genannte Einzelechoansatz, der verwendet werden kann, wenn der alternative, für den Fall einer erfolgreichen Zuordnung von wenigstens drei Radarechos beschriebene Ansatz fehlgeschlagen ist oder beispielsweise nur ein oder zwei Radarechos aufgenommen wurden. Dies kann beispielsweise für relativ weit von dem Kraftfahrzeug entfernte und dementsprechend klein erscheinende Objekte der Fall sein. Ebenso kann der Einzelechoansatz von vornherein verwendet werden, der vorteilhaft weniger Rechenzeit als das vollständige beziehungsweise abgestufte Verfahren benötigt, sodass also vorteilhaft Rechenaufwand eingespart werden kann. Beispielsweise kann die Bestimmung des Dopplergeschwindigkeitsprofils beziehungsweise die Anwendung oder Ausführung des RANSAC-Verfahrens eingespart werden. Der Einzelechoansatz funktioniert erfahrungsgemäß insbesondere für Objekte, die keine zu große Variation oder Varianz in ihrer - an unterschiedlichen Stellen des Objekts bestimmten - Dopplergeschwindigkeit aufweisen. Eine solche zu große Variation kann beispielsweise bei Querverkehr oder mit relativ hoher Gierrate drehenden Objekten auftreten.
Als Teil des Einzelechoansatzes wird eine Orientierung des jeweiligen Begrenzungsrahmens - und damit des von diesem umgebenen Objekts - bestimmt. Basierend auf dieser Orientierung wird eine plausible Dopplergeschwindigkeit des Objekts in Bezug auf die aktuelle Position des Kraftfahrzeugs abgeschätzt. Dazu kann beispielsweise ein plausibler Geschwindigkeitsbereich für unterschiedliche Orientierungen des Objekts oder unterschiedlicher Objekte vorgegeben sein. Solche Vorgaben können ebenfalls umgebungsabhängig sein, sodass beispielsweise in einem städtischen Umfeld andere Geschwindigkeiten plausibel sein können als beispielsweise auf einer Autobahn. Anschaulich ist für ein Fahrzeug, dessen Orientierung radial direkt auf das Kraftfahrzeug ausgerichtet ist, eine höhere Dopplergeschwindigkeit plausibel als für ein Fahrzeug, dessen Orientierung quer zur Trajektorie oder Bewegungsrichtung des Kraftfahrzeugs ausgerichtet ist. Ebenso kann in bestimmten Situationen oder abhängig von einer jeweiligen Umgebung beispielsweise eine entgegen oder senkrecht zu der bestimmten Orientierung gerichtete Dopplergeschwindigkeit unplausibel sein. Als Beispiel kann für ein bewegtes Kraftfahrzeug in einem städtischen Umfeld beispielsweise ein Bereich von 1 m/s bis 30 m/s als plausibel vorgegeben sein.
Weiter wird bei dem Einzelechoansatz durch Vergleich der abgeschätzten Dopplergeschwindigkeit mit der für das jeweilige Radarecho radarbasiert bestimmten Dopplergeschwindigkeit eine Wahrscheinlichkeit dafür bestimmt, dass das jeweilige Radarecho von dem jeweiligen Begrenzungsrahmen umgebenen Objekt stammt. Nur oder wenigstens das Radarecho, für das die höchste Wahrscheinlichkeit bestimmt wurde, wird dann als Basis zum Korrigieren der Entfernung des Begrenzungsrahmens verwendet, also dem Begrenzungsrahmen zugeordnet beziehungsweise mit dem entsprechenden Objekt assoziiert. Dabei kann ebenfalls ein entsprechender Wahrscheinlichkeitsschwellenwert vorgegeben sein, der für eine erfolgreiche Zuordnung oder Assoziierung mindestens erreicht werden muss. Auf diese Weise können auch solche bewegten Objekte zuverlässig detektiert werden, von denen nur weniger als drei Radarechos empfangen wurden.
Besonders bevorzugt können nach dem Bestimmen des Radarechos mit der höchsten Wahrscheinlichkeit weitere Radarechos mit dazu in vorgegebener Weise ähnlichen gemessenen Dopplergeschwindigkeiten und/oder Skalierungsfehlern ermittelt und gegebenenfalls ebenfalls dem jeweiligen Begrenzungsrahmen zugeordnet werden. Auch bei dem Einzelechoansatz kann das beschriebene Gating beziehungsweise die beschriebene Fensterung anhand des Azimutwinkels und/oder anhand des Skalierungsfehlers angewendet werden, um eine besonders zuverlässige Zuordnung von Radarechos zu Begrenzungsrahmen zu erreichen.
Besonders bevorzugt kann hier der Einzelechoansatz einschließlich der anschließenden Zuordnung weiterer, ähnlicher Radarechos, für mehrere einzelne, zufällig ausgewählte oder alle Radarechos durchgeführt werden, beispielsweise für eine vorgegebene Anzahl von Radarechos oder bis zum Erreichen eines vorgegebenen Ergebnisses oder Kriteriums. Für alle Durchläufe kann dann derjenige Satz von Radarechos mit der höchsten Wahrscheinlichkeit und/oder der größten Anzahl von Radarechos verwendet, also dem jeweiligen Begrenzungsrahmen zugeordnet werden. Dadurch kann gegebenenfalls ebenfalls die Zuverlässigkeit der Zuordnung verbessert sowie ein vereinfachtes oder verbessertes Nachverfolgen auch entsprechend kleiner und/oder entsprechend weit von dem Kraftfahrzeug entfernt befindlicher Objekte ermöglicht werden.
In einer vereinfachten Variante können statt der Wahrscheinlichkeit vorgegebene diskrete Werte, beispielsweise für die Dopplergeschwindigkeit und/oder den Skalierungsfaktor, als Referenz oder Vergleichswert verwendet werden. Eine Zuordnung kann dann vorgenommen werden, wenn der Vergleich der abgeschätzten Dopplergeschwindigkeit mit der radarbasiert bestimmten Dopplergeschwindigkeit beispielsweise eine Abweichung um höchstens einen vorgegebenen Betrag ergibt. Sofern der Skalierungsfaktor berücksichtigt wird, kann dasjenige Radarecho, für das diese Bedingung erfüllt ist, verwendet werden, das den kleinsten Skalierungsfehler aufweist. Auf diese Weise kann vorteilhaft gegebenenfalls Berechnungsaufwand eingespart und damit eine schnellere Ausführung des erfindungsgemäßen Verfahrens ermöglicht werden.
Eine weitere Möglichkeit besteht darin, für jedes Radarecho (analog zum RANASC) alle anderen Detektionen, also Radarechos, zu bestimmen, die in ihrem Skalierungsfaktor oder Skalierungsfehler und in ihrer Dopplergeschwindigkeit um weniger als einen vorgegebenen Betrag oder Schwellenwert von dem jeweiligen Radarecho beziehungsweise dessen Skalierungsfaktor oder Skalierungsfehler und dessen Dopplergeschwindigkeit abweichen. Bevorzugt können dabei alle Radarechos der Reihe nach oder beispielsweise zufällig ausgewählt durchlaufen, also hinsichtlich anderer, im Skalierungsfaktor und der Dopplergeschwindigkeit ähnlichen Radarechos, überprüft werden. Das Radarecho, zu dem entsprechend die größte Anzahl von anderen Radarechos, also sogenannten Inliern, bestimmt wurde, wird dann zusammen zu diesem Radarecho bestimmten anderen Radarechos dem jeweiligen Begrenzungsrahmen zugeordnet.
In weiterer vorteilhafter Ausgestaltung der vorliegenden Erfindung werden anhand der Kameradaten erkannte Objekte, für die ein Begrenzungsrahmen generiert wird oder wurde, basierend auf vorgegebenen Klassen hinsichtlich ihrer Art oder ihres Typs klassifiziert. Beispielsweise können Objekte als Fahrzeug, Kraftfahrzeug, PKW, LKW, Fahrrad, Fußgänger und/oder dergleichen mehr klassifiziert werden. Dazu kann beispielsweise ein herkömmlicher Objekterkennungsalgorithmus basierend auf einer Bildverarbeitung angewendet werden. Jeder der vorgegebenen Klassen sind dabei plausible radarbasiert bestimmte Dopplergeschwindigkeitsrichtungen zugeordnet. Die Zuordnung eines Radarechos zu einem Begrenzungsrahmen wird dann ausgeschlossen, falls eine für das jeweilige Radarecho bestimmte Dopplergeschwindigkeitsrichtung von den plausiblen Dopplergeschwindigkeitsrichtungen für die Art des von dem jeweiligen Begrenzungsrahmen umgebenen Objekts verschieden ist. Mit anderen Worten können hier so genannte Mikrodopplereffekte berücksichtigt werden. Dabei kann insbesondere ein räumlicher Abstand von Radarechos unterschiedlicher
Dopplergeschwindigkeitsrichtungen berücksichtigt werden. Entsprechende plausible Abstände können ebenfalls für die unterschiedlichen Klassen vorgegeben sein. Beispielsweise können für einen Fußgänger typischerweise Radarechos mit unterschiedlichen Dopplergeschwindigkeiten oder unterschiedlichen Dopplergeschwindigkeitsrichtungen empfangen werden, da sich beispielsweise Arme und Beine in unterschiedliche Richtungen, insbesondere entgegen einer Gesamtbewegungsrichtung des Fußgängers, bewegen oder trotz einer Bewegung des Fußgängers zumindest zeitweise Stillstehen können. Dementsprechend können für einen Fußgänger Radarechos mit unterschiedlichen Dopplergeschwindigkeitsrichtungen erwartet werden und dementsprechend plausibel sein. Ein ähnlicher Effekt kann beispielsweise an einem Rad eines Kraftfahrzeugs auftreten. Ein räumlicher Abstand entsprechend unterschiedlicher Radarechos sollte dann aber zumindest im Wesentlichen einem typischen oder plausiblen Raddurchmesser entsprechen, um plausibel einem Kraftfahrzeug zugeordnet werden zu können. Die Berücksichtigung beziehungsweise Plausibilisierung der Dopplergeschwindigkeitsrichtungen kann vorteilhaft die Zuordnung von Radarechos zu Begrenzungsrahmen beziehungsweise Objekten noch zuverlässiger ermöglichen.
In weiterer vorteilhafter Ausgestaltung der vorliegenden Erfindung werden anhand der Kameradaten erkannte Objekte ebenfalls in der beschriebenen Weise automatisch basierend auf vorgegebenen Klassen hinsichtlich ihrer Art klassifiziert. Dabei ist jeder vorgegebenen Klasse ein plausibler Dopplergeschwindigkeitsbereich zugeordnet. Die Zuordnung eines Radarechos zu einem Begrenzungsrahmen wird dann ausgeschlossen, falls die für das jeweilige Radarecho bestimmte Dopplergeschwindigkeit außerhalb des plausiblen Dopplergeschwindigkeitsbereichs für die Art des von dem jeweiligen Begrenzungsrahmen umgebenden Objekts liegt. Beispielsweise können Fußgängern, Radfahrer und Kraftfahrzeugen unterschiedliche plausible Geschwindigkeitsbereiche zugeordnet sein. Dementsprechend kann es unplausibel sein, dass ein Radarecho mit einer Dopplergeschwindigkeit von beispielsweise 20 m/s von einem Fußgänger stammt. Es kann mit anderen Worten also eine Plausibilitätsprüfung oder Filterung der für die Zuordnung zu einem bestimmten Begrenzungsrahmen in Frage kommenden Radarechos auf Basis der bestimmten Dopplergeschwindigkeiten durchgeführt werden. Dies kann vorteilhaft ebenfalls die Zuverlässigkeit der Zuordnung der Radarechos zu den Begrenzungsrahmen verbessern.
In weiterer vorteilhafter Ausgestaltung der vorliegenden Erfindung wird zumindest für die bewegten Radarechos ein jeweiliger Radarquerschnitt, also ein sogenannter RSC-Wert (RSC: Radar Cross Section) bestimmt. Anhand der Kameradaten erkannte Objekte werden in der beschriebenen Weise automatisch basierend auf vorgegebenen Klassen hinsichtlich ihrer Art oder ihres Typs klassifiziert. Jeder vorgegebenen Klasse ist dabei ein plausibler Radarquerschnitt oder ein plausibler Radarquerschnittsbereich zugeordnet. Die Zuordnung eines Radarechos zu einem Begrenzungsrahmen wird dann ausgeschlossen, falls der Radarquerschnitt des jeweiligen Radarechos außerhalb des plausiblen Radarquerschnittsbereichs für die Art des von dem jeweiligen Begrenzungsrahmen umgebenen Objekts, also für die Klasse des jeweiligen Objekts liegt. Beispielsweise kann einem LKW oder einem Kraftfahrzeug ein relativ großer RSC-Wert zugeordnet sein. Wurde also anhand der Kameradaten ein bestimmtes Objekt als LKW oder Kraftfahrzeug oder dergleichen, also als Objekt mit einem relativ großen RSC-Wert klassifiziert, können dann für die Zuordnung von Radarechos zu diesem Objekt beziehungsweise dessen Begrenzungsrahmen Radarechos mit einem kleineren Radarquerschnitt verworfen oder ignoriert oder mit einem entsprechend reduzierten Gewicht verwendet oder berücksichtigt werden. Analog kann beispielsweise für den Fall, dass die Kamera einen Fußgänger erkennt, ein entsprechend niedriger Radarquerschnitt erwartet werden. Dementsprechend können dann bei der Zuordnung von Radarechos zu diesem Fußgänger beziehungsweise dem entsprechenden Begrenzungsrahmen solche Radarechos ignoriert, verworfen oder mit reduziertem Gewicht oder Einflussfaktor verwendet oder berücksichtigt werden, deren Radarquerschnitt oder Radarquerschnittswert größer als der erwartete oder plausible Radarquerschnittsbereich für Fußgänger ist. Ein derartiges Ignorieren oder Verwerfen oder Mindergewichten von Radarechos kann auch dann vorgenommen werden, wenn derartige Radarechos hinsichtlich ihrer räumlichen Position, also beispielsweise ihres Skalierungsfehlers, konsistent zu dem Objekt oder übrigen dem Objekt zugeordneten Radarechos sind und/oder beispielsweise mit dem Dopplergeschwindigkeitsprofil dieser übrigen Radarechos konsistent sind. Beispielsweise kann ein Radarecho von einem metallischen Pfosten, beispielsweise eines Verkehrszeichens oder einer Lichtsignalanlage, ein Radarecho mit einem relativ großen Radarquerschnitt erzeugen, das räumlich konsistent mit einem daneben befindlichen Fußgänger beziehungsweise dessen Radarechos ist. Durch die hier beschriebene Berücksichtigung des Radarquerschnitts kann die Zuordnung von Radarechos zu Objekten beziehungsweise Begrenzungsrahmen also vorteilhaft weiter verbessert, insbesondere mit erhöhter Zuverlässigkeit und Genauigkeit durchgeführt werden.
Ein weiterer Aspekt der vorliegenden Erfindung ist ein Kraftfahrzeug, das eine Umgebungssensorik mit wenigstens einer Kamera zum Aufnehmen von Kameradaten einer Umgebung des Kraftfahrzeugs und wenigstens einer Radareinrichtung oder wenigstens einem Radarsensor zum Aussenden von Radarpulsen in die Umgebung und zum Aufnehmen von resultierenden Radarechos aus der Umgebung aufweist. Das Kraftfahrzeug weist weiter eine mit der Umgebungssensorik verbundene Datenverarbeitungseinrichtung auf, wobei das erfindungsgemäße Kraftfahrzeug zum automatischen Durchführen zumindest einer Variante des erfindungsgemäßen Verfahrens eingerichtet ist. Dazu kann die Datenverarbeitungseinrichtung beispielsweise einen Datenspeicher und eine damit verbundene Prozessoreinrichtung aufweisen. In dem Datenspeicher kann dann ein vorgegebenes Computerprogramm gespeichert sein, das die Verfahrensschritte oder Abläufe des entsprechenden erfindungsgemäßen Verfahrens beziehungsweise entsprechende Steueranweisungen und/oder Prozessschritte codiert oder repräsentiert. Dieses Computerprogramm kann dann also mittels der Prozessoreinrichtung ausgeführt werden, um eine, insbesondere automatische, Ausführung des entsprechenden Verfahrens zu bewirken oder zu veranlassen. Das erfindungsgemäße Kraftfahrzeug kann insbesondere das im Zusammenhang mit dem erfindungsgemäßen Verfahren genannte Kraftfahrzeug sein. Dementsprechend kann das erfindungsgemäße Kraftfahrzeug einige oder alle der im Zusammenhang mit dem erfindungsgemäßen Verfahren genannten Bauteile, Einrichtungen, Komponenten und/oder Eigenschaften aufweisen beziehungsweise für die dort genannten Abläufe oder Maßnahmen eingerichtet sein.
Die Datenverarbeitungseinrichtung kann eine Kommunikations- oder Datenschnittstelle aufweisen, über welche die Kameradaten beziehungsweise die Radarechos oder diese umfassende Radardaten empfangen werden können. Ebenso kann die Datenverarbeitungseinrichtung als Steuergerät zum Ansteuern der Kamera und/oder der Radareinrichtung ausgebildet sein. Dann können entsprechende Steuersignale über die Kommunikations- oder Datenschnittstelle von der Datenverarbeitungseinrichtung an die Kamera beziehungsweise an die Radareinrichtung gesendet werden. Die Datenverarbeitungseinrichtung oder eine Kombination der Datenverarbeitungseinrichtung und der Umgebungssensorik kann ein Fahrassistenzsystem des Kraftfahrzeugs bilden. Ein derartiges Assistenzsystem für ein Kraftfahrzeug kann selbst ein weiterer eigener Aspekt der vorliegenden Erfindung sein.
Weitere Merkmale der Erfindung können sich aus den Ansprüchen, den Figuren und der Figurenbeschreibung ergeben. Die vorstehend in der Beschreibung genannten Merkmale und Merkmalskombinationen sowie die nachfolgend in der Figurenbeschreibung und/oder in den Figuren alleine gezeigten Merkmale und Merkmalskombinationen sind nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen oder in Alleinstellung verwendbar, ohne den Rahmen der Erfindung zu verlassen.
Die Zeichnung zeigt in:
Fig. 1 einen beispielhaften schematischen Ablaufplan für ein Verfahren zum Detektieren von Objekten in einer Fahrzeugumgebung;
Fig. 2 einen beispielhaften schematischen Ablaufplan eines ersten Teilverfahrens;
Fig. 3 einen beispielhaften schematischen Ablaufplan eines zweiten Teilverfahrens;
Fig. 4 eine schematische Übersichtsdarstellung zum Illustrieren von Details des Verfahrens;
Fig. 5 eine schematische Darstellung zum Illustrieren einer bei dem Verfahren verwendbaren Wahrscheinlichkeitsfunktion; und
Fig. 6 eine schematische Darstellung zum Illustrieren eines bei dem Verfahren verwendbaren Dopplergeschwindigkeitsprofils; und In den Figuren sind gleiche und funktionsgleiche Elemente jeweils mit den gleichen Bezugszeichen versehen.
In der Fahrzeugtechnik werden heutzutage bereits unterschiedliche Arten von Sensoren zur Umgebungserfassung eingesetzt. Es ist jedoch zu beobachten, dass unterschiedliche Sensoren unterschiedliche Stärken und Schwächen aufweisen. So kommt es bisher häufig vor, dass Daten oder Eigenschaften von Umgebungsobjekten, die nur schwierig oder ungenau mittels eines bestimmten Sensors bestimmt werden können, dennoch mittels dieses Sensors bestimmt werden. Dies kann beispielsweise eine rein optische Distanzbestimmung oder eine radarbasierte Klassifizierung oder Bestimmung einer Winkelposition betreffen. Es wäre daher vorteilhaft, eine Datenfusion von Sensordaten unterschiedlicher Sensoren auf einer möglichst frühen oder niedrigen Ebene während eines Datenverarbeitungsprozesses durchzuführen, um eine kombinierte Messung zu erhalten, die alle Eigenschaften des jeweiligen Umgebungsobjekts mit guter Qualität bestimmt oder angibt, also die Stärken der unterschiedlichen Sensorarten kombiniert. Zudem wäre es hilfreich, eine direkte Relation zwischen einem beispielsweise kamerabasiert erkannten Umgebungsobjekt und Radardetektionen herzustellen. Derartige kombinierte Detektionen können in nachgelagerten Datenverarbeitungsschritten oder Anwendungen dann beispielsweise mit einer entsprechend größeren Gewichtung im Vergleich zu nur auf Sensordaten eines einzelnen Sensors oder einer einzelnen Sensorart basierenden Detektionen verwendet werden, beispielsweise in eine entsprechende digitale Umfeldrepräsentation, wie etwa ein dynamisches Kartengitter oder Raster, verwendet werden.
Fig. 1 zeigt hierzu beispielhaft einen schematischen Ablaufplan 10 für ein entsprechendes Verfahren zum Detektieren von Objekten in einer Fahrzeugumgebung. Dieses Verfahren soll im Folgenden unter Bezugnahme auch auf die übrigen Figuren erläutert werden.
Das Verfahren wird hier durch ein als Teil einer in Fig. 4 gezeigten schematischen Übersichtsdarstellung dargestelltes Kraftfahrzeug 12 ausgeführt. Dazu weist das Kraftfahrzeug 12 ein Assistenzsystem 14 auf, das seinerseits wiederum eine Kamera und eine Radareinrichtung zum Erfassen oder Abbilden einer Umgebung 16 des Kraftfahrzeugs 12 umfasst. Die Kamera und die Radareinrichtung können ebenso an unterschiedlichen Stellen des Kraftfahrzeugs 12, also räumlich verteilt oder voneinander beabstandet angeordnet sein. Jedenfalls ist aber eine jeweilige Position und Orientierung der Kamera und der Radareinrichtung in dem Kraftfahrzeug 12 beziehungsweise relativ zu dem Kraftfahrzeug 12 vorgegeben beziehungsweise bekannt, insbesondere fest. Es können damit für die Kamera und die Radareinrichtung beziehungsweise jeweilige damit aufgenommene Sensor- oder Messdaten unterschiedliche Koordinatensystem verwendet werden, zwischen denen aber basierend auf der Vorgabe eine Umrechnung oder Transformation in bekannterWeise möglich ist.
In der Umgebung 16 befindet sich vorliegend an zunächst unbekannter Stelle ein Objekt 18. Zudem können sich in der Umgebung 16 weitere, hier nicht näher im Einzelnen gekennzeichnete bewegte und/oder unbewegte Objekte befinden. In einem Verfahrensschritt S1 werden mittels der Kamera Kameradaten der Umgebung 16 aufgenommen. Darin beziehungsweise in einem oder mehreren entsprechenden Kamerabildern werden automatisch abgebildete Objekte erkannt und markiert. Vorliegend wurde beispielsweise das Objekt 18 als Fahrzeug erkannt und es wurde für dieses Objekt 18 ein Begrenzungsrahmen 20 generiert, der das erkannte Objekt 18 in den Kameradaten umgibt. Anhand der Kameradaten können zudem weitere Eigenschaften des Objekts 18 bestimmt oder abgeschätzt werden, beispielsweise dessen Art oder Klasse, Größe oder Ausdehnung, Orientierung und/oder dergleichen mehr. Dabei können gegebenenfalls vorgegebene Annahmen oder weitere Daten, die beispielsweise von einem anderen Assistenzsystem des Kraftfahrzeugs 12 bezogen werden können, berücksichtigt werden.
Im Verfahrensschritt S2, der beispielsweise zumindest im Wesentlichen zeitlich parallel dazu ausgeführt werden kann, wird die Umgebung 16 mittels der Radareinrichtung gescannt beziehungsweise abgetastet. Dabei werden aus der Umgebung 16 eine Vielzahl von Radarechos 22 empfangen. Zu diesen Radarechos 22 kann dabei automatisch eine zugehörige Dopplergeschwindigkeit VD, eine zugehörige Entfernung, ein zugehöriger Azimutwinkel F, beispielsweise bezogen auf eine Fahrtrichtung 24 des Kraftfahrzeugs 12, und/oder weitere Daten oder Eigenschaften bestimmt. Ebenso können die Radarechos 22 beziehungsweise die entsprechenden Radardaten - ebenso wie die im Verfahrensschritt S1 aufgenommenen Kameradaten - mit einem Zeitstempel versehen werden, der eine jeweilige Aufnahmezeit angibt.
Sofern nach dem Aufnehmen der Radardaten keine Kameradaten mit demselben Zeitstempel vorliegen, können in einem Verfahrensschritt S3 verfügbare Kameradaten auf einen durch den Zeitstempel der Radardaten angegebenen Zeitpunkt interpoliert oder extrapoliert werden. Dabei kann beispielsweise der Begrenzungsrahmen 20 entsprechend verschoben werden.
In einem Verfahrensschritt S4 kann, soweit noch nicht geschehen, eine Dopplerkompensation durchgeführt werden. Dabei kann anhand der Radardaten und einer abgerufenen aktuellen Geschwindigkeit des Kraftfahrzeugs 12 die Dopplergeschwindigkeit VD für die Radarechos 22 bestimmt werden. Die Dopplergeschwindigkeit VD gibt dabei die Geschwindigkeitskomponente in radialer Richtung, also auf das Kraftfahrzeug 12 zu oder von dem Kraftfahrzeug 12 weg, eines Umgebungsobjekts, das das jeweilige Radarecho 22 erzeugt hat, an. Zur Veranschaulichung ist hier eines der Radarechos 22 zusätzlich als Radarecho 26 gekennzeichnet, wobei eine Radiuslinie, die eine Position des Radarechos 26 in einer radialen Richtung mit dem Kraftfahrzeug 12 verbindet, eingezeichnet ist. Die Dopplergeschwindigkeit VD des Radarechos 26 ist diejenige Geschwindigkeitskomponente eines das Radarecho 26 verursachenden Umgebungsobjekts, die in einem weltfesten Koordinatensystem entlang dieser Radiuslinie gerichtet ist. Basierend auf den Dopplergeschwindigkeiten VD können die Radarechos 22 dann gefiltert werden, um solche mit verschwindender oder unterhalb eines vorgegebenen Schwellenwertes liegender Dopplergeschwindigkeit VD auszusortieren.
In einem Verfahrensschritt S5 können die Radarechos 22 in ein Koordinatensystem der Kameradaten oder die Radarechos 22 und die Kameradaten in ein gemeinsames oder vorgegebenes Koordinatensystem transformiert oder projiziert werden. Dies kann insbesondere eine von dem Kraftfahrzeug 12 befahrene Ebene sein. Dies ist in Fig. 4 veranschaulicht.
Darin wird ein aus Sicht des Kraftfahrzeugs 12 von dem Begrenzungsrahmen 20 überdeckter Azimutwinkelbereich 0c,min- c.max. Um eine Unsicherheit o<t> in der Bestimmung der Azimutwinkel F der Radarechos 22 zu berücksichtigen, kann der Azimutwinkelbereich beidseitig jeweils um die Unsicherheit o<t> erweitert werden, sodass letztlich als Azimutwinke Ibereich der Bereich von 0c,min + o<t> bis 0c,max- o<t> betrachtet wird. Weiter wird für die verbleibenden, also bewegten Radarechos 22 ein Skalierungsfehler l bestimmt, der den Abstand des jeweiligen Radarechos 22 in radialer Richtung zu dem Begrenzungsrahmen 20 angibt. Dabei kann jeweils ein durchschnittlicher Skalierungsfehler l oder beispielsweise ein jeweiliger minimaler Skalierungsfehler Amin und ein jeweiliger maximaler Skalierungsfehler Amax bestimmt werden.
In einem Verfahrensschritt S6 findet eine weitere Filterung der Radarechos 22 basierend auf dem Azimutwinkel F und dem Skalierungsfehler l statt. Beispielsweise werden hier durch ein Kreuz gekennzeichnete Radarechos 22, die außerhalb des erweiterten Azimutwinkelbereichs liegen, herausgefiltert und im Weiteren nur solche Radarechos 22 berücksichtigt, die innerhalb des erweiterten Azimutwinkelbereichs liegen und deren Skalierungsfehler in ein vorgegebenes Intervall fällt.
Zusätzlich kann für die Radarechos 22 eine jeweilige Wahrscheinlichkeit für den Skalierungsfehler l und einen Fehler des Azimutwinkels F bestimmt werden. Dazu zeigt Fig. 5 schematisch ein Koordinatensystem auf dessen Abszisse 28 beispielsweise der Skalierungsfehler l oder der Fehler des Azimutwinkels F aufgetragen sein kann und auf dessen Ordinate 30 ein entsprechender Wahrscheinlichkeitswert aufgetragen ist. Darin eingezeichnet ist eine beispielhafte vorgegebene Wahrscheinlichkeitsfunktion 32. Jeweiligen um einen vorgegebenen Betrag zentrierten Werten kann gemäß der Wahrscheinlichkeitsfunktion 32 eine konstante Wahrscheinlichkeit zugewiesen werden, während größeren oder kleineren Werten eine entsprechend kleinere Wahrscheinlichkeit zugewiesen werden kann.
Sofern nach der Filterung im Verfahrensschritt S6 wenigstens drei Radarechos 22 verbleiben, kann das Verfahren mit einem Verfahrensschritt S7 fortgesetzt werden. Hier kann die Hypothese überprüft werden, dass die verbleibenden Radarechos 22 von einem ausgedehnten Objekt stammen, überprüft werden. Wenn diese Hypothese erfolgreich ist, kann das Verfahren in einem Verfahrensschritt S10 fortgesetzt werden. Wenn die Hypothese fehlschlägt, also nicht erfolgreich ist, kann das Verfahren in einem Verfahrensschritt S8 fortgesetzt werden. Zur Veranschaulichung zeigt Fig. 2 hierzu einen beispielhaften schematischen ersten Detailablaufplan 34. Im Verfahrensschritt S7.1 werden die nach der Filterung verbleibenden Radarechos 22 als Eingangsdaten bereitgestellt. Im Verfahrensschritt S7.2 werden daraus zufällig zwei Kandidaten ausgewählt. Im Verfahrensschritt S7.3 wird für diese ausgewählten Kandidaten ein Dopplergeschwindigkeitsprofil und eine abgeschätzte Orientierung des hypothetischen Umgebungsobjekts sowie eine Abweichung dieser abgeschätzten Orientierung von der kamerabasiert bestimmten und dem Begrenzungsrahmen 20 zugeordneten Objektorientierung 36 ermittelt.
Fig. 6 zeigt hierzu schematisch ein Koordinatensystem, dessen x-Achse den Azimutwinkel F und dessen y-Achse die Dopplergeschwindigkeit VD der Radarechos 22 repräsentiert. Für zwei hier beispielhaft ausgewählte Kandidatenechos 38 ist hier eine erwartete Cosinuskurve 40 eingezeichnet, die einem gemäß der Hypothese für die beiden Kandidatenechos 38 erwarteten Dopplergeschwindigkeitsprofil entspricht. Es wird hier ein Satz von Radarechos 22 bestimmt, die mit diesem Dopplergeschwindigkeitsprofil konsistent sind. Zwei hier durch Kreuze markierte Radarechos 22 weisen eine zu große Abweichung von der Cosinuskurve 40 auf und werden daher als inkonsistent mit dem Dopplergeschwindigkeitsprofil eingestuft und dementsprechend nicht in den Satz konsistenter Radarechos 22 aufgenommen.
Im Verfahrensschritt S7.4 wird ein entsprechender Abgleich basierend auf den Skalierungsfehlern l und den Fehlern der Azimutwinkel F durchgeführt, um den jeweiligen Satz auch bezüglich dieser Kriterien konsistenter Radarechos 22 zu bestimmen. Sofern bereits ein entsprechender Satz von Radarechos 22 bestimmt wurde, wird im Verfahrensschritt S7.5 ein Abgleich dieser Sätze von Radarechos 22 durchgeführt, um den besten Satz auszuwählen. Der beste Satz in diesem Sinne kann beispielsweise derjenige Satz von Radarechos 22 sein, der die Hypothese am besten bestätigt, beispielsweise die höchsten Wahrscheinlichkeiten oder die größte Anzahl konsistenter Radarechos 22 aufweist. Wie hier durch einen entsprechenden Schleifenpfad angedeutet ist, können die Verfahrensschritte S7.2 bis S7.5 mehrfach iterativ durchlaufen werden. Im Verfahrensschritt S7.6 können basierend auf dem ausgewählten besten Satz von Radarechos 22 eine Geschwindigkeit des zugrundeliegenden Umgebungsobjekts und dessen Orientierung abgeschätzt werden. Sofern der ausgewählte Satz konsistenter Radarechos 22 ausreichend viele Radarechos 22 enthält und die darauf basierend bestimmte Orientierung und/oder Geschwindigkeit plausibel ist, beispielsweise im Abgleich mit den Kameradaten beziehungsweise dem Begrenzungsrahmen 20, wird im Verfahrensschritt S7.7 die entsprechende Hypothese als erfolgreich eingestuft oder bewertet. Andernfalls wird die Hypothese als erfolglos beziehungsweise fehlgeschlagen eingestuft und das Verfahren mit dem Verfahrensschritt S8 fortgesetzt. Dort kann die Hypothese überprüft werden, dass die Radarechos 22 von einem gierenden, also sich drehenden Objekt stammen. Im Verfahrensschritt S8 wird dazu unter dieser Hypothese beziehungsweise entsprechenden vorgegebenen zugehörigen Bedingungen oder Kriterien die abgeschätzte Geschwindigkeit sowie eine abgeschätzte Gierrate bewertet beziehungsweise auf ihre Plausibilität hin überprüft. Stellt sich dabei heraus, dass entsprechende Daten oder Werte oder Ergebnisse mit der Hypothese, dass die Radarechos 22 von einem gierenden Objekt stammen, erfolgreich, also plausibel ist, die abgeschätzte Geschwindigkeit und die abgeschätzte Gierrate also in einem für ein gierendes Objekt plausiblen Bereich liegen, wird das Verfahren ebenfalls im Verfahrensschritt S10 fortgesetzt. Andernfalls wird das Verfahren mit einem Verfahrensschritt S9 fortgesetzt. Der Verfahrensschritt S9 wird ebenso ausgeführt, wenn nach dem Filtern im Verfahrensschritt S6 weniger als drei Radarechos 22 verbleiben.
Im Verfahrensschritt S9 wird ein Einzelechoansatz durchlaufen. Zur Erläuterung dieses Einzelechoansatzes ist in Fig. 3 beispielhaft ein schematischer zweiter Detailablaufplan 42 dargestellt. Darin werden in einem Verfahrensschritt S9.1 die Radarechos 22 als Eingangsdaten bereitgestellt. Im Verfahrensschritt S9.2 wird eine Wahrscheinlichkeit für die Zugehörigkeit oder Zuordnung des jeweiligen Radarechos 22 zu dem hypothetischen Objekt basierend auf der Dopplergeschwindigkeit VD bestimmt. Im Verfahrensschritt S9.3 wird für das jeweilige Radarecho 22 die Wahrscheinlichkeit basierend auf dem Skalierungsfehler l bestimmt. Im Verfahrensschritt S9.4 wird für das jeweilige Radarecho 22 die Wahrscheinlichkeit basierend auf dem Azimutwinkel F bestimmt. Sofern mehrere Radarechos 22 als Eingangsdaten bereitgestellt wurden, kann dies für jedes oder eine zufällige Auswahl der Radarechos 22 durchgeführt werden. Dabei kann jeweils eine entsprechende vorgegebene Wahrscheinlichkeitsfunktion 32 verwendet werden.
In einem Verfahrensschritt S9.5 wird das Radarecho 22 mit der höchsten Wahrscheinlichkeit ausgewählt. Es kann dann überprüft werden, ob diese Wahrscheinlichkeit einem vorgegebenen Schwellenwert genügt. Ist dies nicht der Fall, kann die entsprechende Hypothese, dass also das jeweilige Radarecho 22 zu dem durch den Begrenzungsrahmen 20 repräsentierten Objekt 18 gehört, verworfen, also als fehlgeschlagen oder gescheitert eingestuft werden. In diesem Fall kann das Verfahren beendet oder mit dem nächsten Begrenzungsrahmen 20 fortgesetzt werden, für den dann das Verfahren beispielsweise ab dem Verfahrensschritt S6 erneut durchlaufen werden kann. Ebenso kann dann eine Objektdetektion des Objekts 18 allein basierend auf den Kameradaten ausgegeben werden, gegebenenfalls mit einer entsprechend reduzierten Detektionswahrscheinlichkeit oder Gewichtung versehen.
Ist die Wahrscheinlichkeit des im Verfahrensschritt S9.5 ausgewählten besten Radarechos 22 hingegen größer als der Wahrscheinlichkeitsschwellenwert, so können dann in einem Verfahrensschritt S9.7 nach einem oder mehreren vorgegebenen Kriterien zu diesem Radarecho 22 ähnliche Radarechos 22 identifiziert werden, um gegebenenfalls auch in diesem Fall einen Satz von Radarechos 22 zu bilden, der dem Begrenzungsrahmen 20 beziehungsweise dem Objekt 18 zugeordnet werden kann. Unabhängig davon, ob derartige ähnliche Radarechos 22 identifiziert werden konnten, wird die entsprechende Hypothese im Verfahrensschritt S9.8 als erfolgreich eingestuft.
Die gemäß den Verfahrensschritten S7, S8 oder S9 erfolgreich dem Begrenzungsrahmen 20 beziehungsweise dem Objekt 18 zugeordneten Radarechos 22 werden im Verfahrensschritt S10 dann verwendet, um basierend auf deren radarbasiert bestimmten Entfernungen die bis dahin nur abgeschätzte Entfernung des Begrenzungsrahmens 20 zu dem Kraftfahrzeug 12 zu korrigieren. Dabei kann der Begrenzungsrahmen 20 beispielsweise in radialer Richtung um den Skalierungsfehler l der erfolgreich zugeordneten Radarechos 22 verschoben werden, in Fig. 4 also beispielsweise zu der gestrichelt markierten Position des Objekts 18. Im Verfahrensschritt S11 wird eine entsprechende Messung beziehungsweise eine entsprechende Objektdetektion oder ein entsprechender eine erfolgreiche Objektdetektion anzeigender Objektdatensatz für das somit detektierte Objekt 18 generiert. Dieser Objektdatensatz kann den Begrenzungsrahmen 20 mit der korrigierten Entfernung, die erfolgreich zugeordneten, also assoziierten Radarechos 22 sowie gegebenenfalls weitere der im Laufe des Verfahrens bestimmten Größen oder Daten umfassen.
Im gegebenenfalls optionalen oder anwendungsabhängigen Verfahrensschritt S12 kann auf Grundlage dieses Objektdatensatzes beziehungsweise der erfolgreichen Detektion des Objekts 18 dann beispielsweise eine Nachverfolgung des Objekts 18 durchgeführt oder aktualisiert werden, die Detektion beziehungsweise das Objekt 18 in ein dynamisches Kartengitter oder Raster eingetragen werden, das Kraftfahrzeug 12 gesteuert werden und/oder dergleichen mehr. Insbesondere können die in dem Objektdatensatz angegebenen Radardetektionen als tatsächlich von einem realen Umgebungsobjekt stammend markiert und dementsprechend für andere Datenverarbeitungen mit entsprechend hoher Konfidenz verwendet werden, da davon ausgegangen werden kann, dass es sich beispielsweise nicht um Clutter-Echos handelt.
Zusammenfassend wird hier also vorgeschlagen, direkt in jedem einzelnen Messzyklus basierend auf den Kameradaten Bounding Boxes mit einer Orientierung und Größe zu bestimmen und diesen Bounding Boxes rohe Doppler-Detektionen eines Radars zuzuordnen. Eine derartige Zuordnung ist beispielsweise aufgrund von Clutter-Echos und Mehrwegausbreitungen der Radarstrahlung sowie einer gegebenenfalls hohen Objektdichte, beispielsweise in einem urbanen Raum oder in einer Stausituation, nicht trivial. Das vorgeschlagene Verfahren versucht zuerst über die Kombination von Doppler- Detektionen, die einen konsistenten Dopplerverlauf aufweisen, eine Assoziierung zu einem ausgedehnten Kameraobjekt zu realisieren. Dabei kann anhand des Dopplerverlaufs und einer daraus resultierenden Orientierungsschätzung die Assoziierung bewertet werden. Zudem kann der Skalierungsfehler l in der kamerabasiert bestimmten Distanz der jeweiligen Bounding Box durch die radarbasiert bestimmte Entfernung korrigiert beziehungsweise plausibilisiert werden. Als Ergebnis kann eine direkte Assoziierung von rohen Doppler-Detektionen, also entsprechenden Radarrohdaten, zu einem kamerabasiert erkannten Objekt und eine entsprechend korrigierte Objektdetektion erhalten werden. Dabei können nicht nur voraus befindliche oder sich auf das Kraftfahrzeug 12 in Radialrichtung zubewegende Umgebungsobjekte detektiert werden, sondern es können beispielsweise auch seitlich, also zumindest im Wesentlichen senkrecht zu der Fahrtrichtung 24 in die Umgebung 16 beziehungsweise einen Erfassungsbereich des Assistenzsystems 14 eintretende Umgebungsobjekte anhand einer Plausibilisierung anhand des Dopplerverlaufs besonders schnell erkannt beziehungsweise extrahiert oder detektiert werden. Bei dem Verfahren kann ein Gruppieren und Assoziieren von Radardetektionen zu einem Umgebungsobjekt vorteilhaft für eine besonders robuste Aktualisierung einer Nachverfolgung von Umgebungsobjekten über die Zeit (Track- Update) verwendet werden.
Insgesamt zeigen die beschriebenen Beispiele somit, wie eine Radar-Kamera- Assoziierung basierend auf Doppler-Detektionen und Bounding Boxes realisiert werden kann, um eine verbesserte Detektion insbesondere bewegter Objekte in einer Fahrzeugumgebung zu ermöglichen.
Bezugszeichenliste
10 Ablaufplan
12 Kraftfahrzeug
14 Assistenzsystem
16 Umgebung
18 Objekt
20 Begrenzungsrahmen
22 Radarechos
24 Fahrtrichtung
26 Radarecho
28 Abszisse
30 Ordinate
32 Wahrscheinlichkeitsfunktion
34 erster Detailablaufplan
36 Objektorientierung
38 Kandidatenechos
40 Cosinuskurve
42 zweiter Detailablaufplan
S1 - S12 Verfahrensschritte F Azimutwinkel
Figure imgf000037_0001
Azimutwinkelbereich l Skalierungsfehler
Amin minimaler Skalierungsfehler
Amax maximaler Skalierungsfehler
Of Unsicherheit
VD Dopplergeschwindigkeit

Claims

Patentansprüche 1. Verfahren (10), um von einem Kraftfahrzeug (12) aus Objekte (18) zu detektieren, die sich in einer Umgebung (16) des Kraftfahrzeugs (12) bewegen, bei dem
- Kameradaten der Umgebung (16) aufgenommen werden,
- Radarechos (22) aus der Umgebung (16) aufgenommen werden,
- anhand der Kameradaten in diesen abgebildete Objekte (18) erkannt werden, wobei für ein erkanntes Objekt (18) jeweils ein von diesem aus Sicht des Kraftfahrzeugs (12) eingenommener Azimutwinkelbereich bestimmt und ein das Objekt (18) umgebender Begrenzungsrahmen (20) mit einer angenommenen Entfernung zu dem Kraftfahrzeug (12) generiert wird,
- für die Radarechos (22) eine zugehörige Dopplergeschwindigkeit (VD) bezogen auf eine aktuelle Position des Kraftfahrzeugs (12) bestimmt wird, wobei zumindest für dadurch ermittelte bewegte Radarechos (22), für die eine nicht- verschwindende Dopplergeschwindigkeit bestimmt wurde, eine zugehörige Entfernung von dem Kraftfahrzeug (12) und ein zugehöriger Azimutwinkel (F) bestimmt werden,
- eine Zuordnung zwischen wenigstens einem der bewegten Radarechos (22) und wenigstens einem der Begrenzungsrahmen (20) durchgeführt wird durch Abgleich des jeweiligen Azimutwinkels (F) mit den bestimmten Azimutwinkelbereichen und durch Abgleich der jeweiligen radarbasiert bestimmten Entfernung mit den kamerabasiert angenommenen Entfernungen,
- für die Begrenzungsrahmen (20), denen wenigstens eines der bewegten Radarechos (22) erfolgreich zugeordnet wurde, die jeweilige angenommene Entfernung gemäß der radarbasiert bestimmten Entfernung der jeweils zugeordneten Radarechos (22) korrigiert wird,
- die Begrenzungsrahmen (20) mit der jeweiligen korrigierten Entfernung als eine erfolgreiche Objektdetektion angebender Objektdatensatz ausgegeben werden.
2. Verfahren (10) nach Anspruch 1, dadurch gekennzeichnet, dass das Verfahren (10) für Radarechos (22) jeweils eines Messzyklus durchgeführt wird, wobei für den Fall, dass für eine Aufnahmezeit des Messzyklus keine gleichzeitig aufgenommenen Kameradaten verfügbar sind, die verfügbaren Kameradaten auf die Aufnahmezeit des Messzyklus interpoliert oder extrapoliert werden.
3. Verfahren (10) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass für den Abgleich der Entfernungen die Radarechos (22) und die Begrenzungsrahmen (20) in ein vorgegebenes Koordinatensystem eingebettet werden und darin zumindest für die bewegten Radarechos (22) ein Skalierungsfehler bestimmt wird, der einen Abstand des jeweiligen Radarechos (22) zu dem Begrenzungsrahmen (20) in bezogen auf die aktuelle Position des Kraftfahrzeugs (12) radialer Richtung angibt, und der jeweilige Skalierungsfehler berücksichtigt wird, indem für eine erfolgreiche Zuordnung der Skalierungsfehler für das jeweilige Radarecho (22) kleiner als ein vorgegebener Schwellenwert sein muss.
4. Verfahren (10) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass für den Azimutwinkel und/oder für einen Skalierungsfehler, der für ein Radarecho (22) jeweils dessen Abstand zu dem jeweiligen Begrenzungsrahmen (20) in einem vorgegebenen Koordinatensystem angibt, eine Wahrscheinlichkeitsfunktion (32), insbesondere mit einem konstanten Zentral bereich, von dem aus die Wahrscheinlichkeit zu beiden Seiten hin abfällt, vorgegeben wird, anhand derer die jeweilige Zuordnung bewertet wird. 5. Verfahren (10) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass für den Fall, dass einem Begrenzungsrahmen (20) wenigstens drei Radarechos (22) zugeordnet wurden, anhand dieser ein Dopplergeschwindigkeitsprofil (40) bestimmt wird, zu dem möglichst viele der Radarechos (22) konsistent sind, und die Entfernung des jeweiligen Begrenzungsrahmens (20) nur basierend auf den bestimmten Entfernungen der mit dem Dopplergeschwindigkeitsprofil (40) konsistenten Radarechos (22) korrigiert wird.
6. Verfahren (10) nach Anspruch 5, dadurch gekennzeichnet, dass
- anhand der Radarechos (22) eine Orientierung des zugehörigen Objekts (18) abgeschätzt wird, - diese abgeschätzte Orientierung mit einer Orientierung (36) des jeweiligen Begrenzungsrahmens (20) verglichen wird, und
- die Zuordnung anhand einer dabei ermittelten Abweichung dieser Orientierungen voneinander bewertet wird und/oder nur dann beibehalten wird, falls die Abweichung kleiner als ein vorgegebener Schwellenwert ist.
7. Verfahren (10) nach einem der Ansprüche 5 und 6, dadurch gekennzeichnet, dass
- eine Orientierung (36) des jeweiligen Begrenzungsrahmens (20) bestimmt wird,
- anhand der mit dem Dopplergeschwindigkeitsprofil (40) konsistenten Radarechos (22) eine radarbasierte Orientierung und Bewegungsgeschwindigkeit des Objekts (18) in Richtung der radarbasiert bestimmten Orientierung abgeschätzt wird,
- bei einer oberhalb eines vorgegebenen Schwellenwertes liegenden Abweichung der Orientierungen voneinander überprüft wird, ob die entsprechenden jeweiligen Daten mit einem gierenden Objekt (18) konsistent sind, wobei eine vorgegebene, insbesondere geschwindigkeitsabhängige, Gierrate und/oder eine vorgegebene Geschwindigkeit als plausible Referenz verwendet wird. 8. Verfahren (10) nach einem der Ansprüche 5 bis 7, dadurch gekennzeichnet, dass
- für die Radarechos (22) ein Skalierungsfehler bestimmt wird, der einen Abstand des jeweiligen Radarechos (22) zu dem jeweiligen Begrenzungsrahmen (20) in bezogen auf die aktuelle Position des Kraftfahrzeugs (12) radialer Richtung angibt,
- bei erfolgreicher Zuordnung mehrerer konsistenter bewegter Radarechos (22) zu einem Begrenzungsrahmen (20) in einer vorgegebenen räumlichen Nähe zu diesen Radarechos (22) detektierte stationäre Radarechos (22), die eine verschwindende Dopplergeschwindigkeit aufweisen, analysiert werden, und
- dem jeweiligen Begrenzungsrahmen (20) auch solche der analysierten stationären Radarechos (22) zugeordnet werden, die ebenfalls mit dem Dopplergeschwindigkeitsprofil konsistent sind und deren Skalierungsfehler höchstens um einen vorgegebenen Betrag von den Skalierungsfehlern der bereits zu dem jeweiligen Begrenzungsrahmen (20) zugeordneten bewegten Radarechos (22) abweicht.
9. Verfahren (10) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass insbesondere für den Fall, dass einem Begrenzungsrahmen (20) weniger als drei bewegte Radarechos (22) zugeordnet worden sind oder eine solche Zuordnung zu einem Fehler geführt hat, ein Einzelechoansatz durchlaufen wird, bei dem für jeweils ein dem jeweiligen Begrenzungsrahmen (20) zugeordnetes Radarecho
(22)
- eine Orientierung des jeweiligen Begrenzungsrahmens (20) bestimmt wird,
- basierend auf dieser Orientierung eine plausible Dopplergeschwindigkeit des Objekts (18) in Bezug auf die aktuelle Position des Kraftfahrzeugs (12) abgeschätzt wird,
- durch Vergleich der abgeschätzten Dopplergeschwindigkeit mit der für das jeweilige Radarecho (22) radarbasiert bestimmten Dopplergeschwindigkeit (VD) eine Wahrscheinlichkeit dafür bestimmt wird, dass das jeweilige Radarecho (22) von dem von dem jeweiligen Begrenzungsrahmen (20) umgebenen Objekt (18) stammt, und
- nur oder wenigstens das Radarecho (22), für das die höchste Wahrscheinlichkeit bestimmt wurde, als Basis zum Korrigieren der Entfernung des Begrenzungsrahmens (20) verwendet wird. 10. Verfahren (10) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass anhand der Kameradaten erkannte Objekte (18) automatisch basierend auf vorgegebenen Klassen hinsichtlich ihrer Art, wobei jeder Klasse plausible radarbasiert bestimmte Dopplergeschwindigkeitsrichtungen zugeordnet sind, und die Zuordnung eines Radarechos (22) zu einem Begrenzungsrahmen (20) ausgeschlossen wird, falls eine für das jeweilige Radarecho (22) bestimmte Dopplergeschwindigkeitsrichtung von den plausiblen Dopplergeschwindigkeitsrichtungen für die Art des von dem jeweiligen Begrenzungsrahmen (20) umgebenen Objekts (18) verschieden ist.
11. Verfahren (10) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass anhand der Kameradaten erkannte Objekte (18) automatisch basierend auf vorgegebenen Klassen hinsichtlich ihrer Art klassifiziert werden, wobei jeder Klasse ein plausibler Dopplergeschwindigkeitsbereich zugeordnet ist, und die
Zuordnung eines Radarechos (22) zu einem Begrenzungsrahmen (20) ausgeschlossen wird, falls die für das jeweilige Radarecho (22) bestimmte Dopplergeschwindigkeit außerhalb des plausiblen Dopplergeschwindigkeitsbereichs für die Art des von dem jeweiligen Begrenzungsrahmen (20) umgebenen Objekts (18) liegt. 12. Verfahren (10) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass
- zumindest für die bewegten Radarechos (22) ein jeweiliger Radarquerschnitt bestimmt wird,
- anhand der Kameradaten erkannte Objekte (18) automatisch basierend auf vorgegebenen Klassen hinsichtlich ihrer Art klassifiziert werden, wobei jeder
Klasse ein plausibler Radarquerschnittsbereich zugeordnet ist, und
- die Zuordnung eines Radarechos (22) zu einem Begrenzungsrahmen (20) ausgeschlossen wird, falls der Radarquerschnitt des jeweiligen Radarechos (22) außerhalb des plausiblen Radarquerschnittsbereichs für die Art des von dem jeweiligen Begrenzungsrahmen (20) umgebenen Objekts (18) liegt.
13. Kraftfahrzeug (12), aufweisend eine Umgebungssensorik (14) mit wenigstens einer Kamera zum Aufnehmen von Kameradaten einer Umgebung (16) des Kraftfahrzeugs (12) und wenigstens einer Radareinrichtung zum Aussenden von Radarpulsen in die Umgebung (16) und Aufnehmen von resultierenden
Radarechos (22) aus der Umgebung (16), und eine mit der Umgebungssensorik verbundene Datenverarbeitungseinrichtung (14), wobei das Kraftfahrzeug (12) zum automatischen Durchführen eines Verfahrens (10) nach einem der vorhergehenden Ansprüche eingerichtet ist.
PCT/EP2021/051605 2020-02-27 2021-01-25 Verfahren zum detektieren bewegter objekte in einer fahrzeugumgebung und kraftfahrzeug WO2021170321A1 (de)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US17/802,057 US20230094836A1 (en) 2020-02-27 2021-01-25 Method for Detecting Moving Objects in the Surroundings of a Vehicle, and Motor Vehicle
CN202180016307.9A CN115151836A (zh) 2020-02-27 2021-01-25 用于探测车辆周围环境中的移动对象的方法和机动车辆

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102020105192.1 2020-02-27
DE102020105192.1A DE102020105192B4 (de) 2020-02-27 2020-02-27 Verfahren zum Detektieren bewegter Objekte in einer Fahrzeugumgebung und Kraftfahrzeug

Publications (1)

Publication Number Publication Date
WO2021170321A1 true WO2021170321A1 (de) 2021-09-02

Family

ID=74418420

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2021/051605 WO2021170321A1 (de) 2020-02-27 2021-01-25 Verfahren zum detektieren bewegter objekte in einer fahrzeugumgebung und kraftfahrzeug

Country Status (4)

Country Link
US (1) US20230094836A1 (de)
CN (1) CN115151836A (de)
DE (1) DE102020105192B4 (de)
WO (1) WO2021170321A1 (de)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023117278A1 (de) * 2021-12-22 2023-06-29 Zf Friedrichshafen Ag Verfahren und system zum überwachen eines fahrzeugumfelds

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102022205584B4 (de) * 2022-06-01 2024-02-29 Mercedes-Benz Group AG Verfahren zum Unterdrücken von auf Winkelmehrdeutigkeiten beruhenden Fehlortungen eines winkelauflösenden Radarsystems

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110001615A1 (en) * 2009-07-06 2011-01-06 Valeo Vision Obstacle detection procedure for motor vehicle
EP3229041A1 (de) 2016-03-30 2017-10-11 Delphi Technologies, Inc. Objekterfassung mittels radar- und sichtdefiniertem bilderfassungsbereich
WO2017207727A1 (en) 2016-06-03 2017-12-07 Autoliv Development Ab Enhanced object detection and motion state estimation for a vehicle environment detection system
DE112016002750T5 (de) * 2015-06-16 2018-03-29 Denso Corporation Fahrzeugsteuerungsvorrichtung und fahrzeugsteuerungsverfahren
US20180259637A1 (en) 2017-03-08 2018-09-13 GM Global Technology Operations LLC Control of host device using three-dimensional position and velocity
US20190092330A1 (en) * 2017-09-28 2019-03-28 Toyota Jidosha Kabushiki Kaisha Vehicle driving support apparatus

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7460951B2 (en) 2005-09-26 2008-12-02 Gm Global Technology Operations, Inc. System and method of target tracking using sensor fusion
CN106537180B (zh) 2014-07-25 2020-01-21 罗伯特·博世有限公司 用于用针对行人的主动制动的摄影机输入缓解雷达传感器限制的方法
KR102391205B1 (ko) 2018-03-20 2022-04-27 주식회사 에이치엘클레무브 객체 검출 기반 거리 추정 장치 및 그 방법

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110001615A1 (en) * 2009-07-06 2011-01-06 Valeo Vision Obstacle detection procedure for motor vehicle
DE112016002750T5 (de) * 2015-06-16 2018-03-29 Denso Corporation Fahrzeugsteuerungsvorrichtung und fahrzeugsteuerungsverfahren
EP3229041A1 (de) 2016-03-30 2017-10-11 Delphi Technologies, Inc. Objekterfassung mittels radar- und sichtdefiniertem bilderfassungsbereich
WO2017207727A1 (en) 2016-06-03 2017-12-07 Autoliv Development Ab Enhanced object detection and motion state estimation for a vehicle environment detection system
US20180259637A1 (en) 2017-03-08 2018-09-13 GM Global Technology Operations LLC Control of host device using three-dimensional position and velocity
US20190092330A1 (en) * 2017-09-28 2019-03-28 Toyota Jidosha Kabushiki Kaisha Vehicle driving support apparatus

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023117278A1 (de) * 2021-12-22 2023-06-29 Zf Friedrichshafen Ag Verfahren und system zum überwachen eines fahrzeugumfelds

Also Published As

Publication number Publication date
US20230094836A1 (en) 2023-03-30
CN115151836A (zh) 2022-10-04
DE102020105192A1 (de) 2021-09-02
DE102020105192B4 (de) 2022-03-10

Similar Documents

Publication Publication Date Title
EP2068173B1 (de) Verfahren zur Messung von Querbewegungen in einem Fahrerassistenzsystem
EP1298454B1 (de) Verfahren zur Erkennung und Verfolgung von Objekten
EP2561419B1 (de) Verfahren zur bestimmung des fahrbahnverlaufes für ein kraftfahrzeug
EP1475764B1 (de) Verfahren und Vorrichtung zur Ermittlung der Wahrscheinlichkeit für eine Kollision eines Fahrzeugs mit einem Gegenstand
DE102018218220A1 (de) Steuergerät für ein Fahrzeug
EP1531343B1 (de) Verfahren zur Verfolgung von Objekten
EP1634243B1 (de) Verfahren und vorrichtung zur objektortung für kraftfahrzeuge
DE102017203838A1 (de) Verfahren und System zur Umfelderfassung
DE102014221144A1 (de) Zielerfassungsvorrichtung
DE102015209467A1 (de) Verfahren zur Schätzung von Fahrstreifen
DE102017221691A1 (de) Verfahren und Vorrichtung zur Eigenlokalisierung eines Fahrzeugs
EP2799901A2 (de) Verkehrsüberwachungssystem zur Geschwindigkeitsmessung und Zuordnung von bewegten Fahrzeugen bei einem Mehrziel-Aufnahmemodul
EP2867093B1 (de) Verfahren und system zur informationsnutzung
DE102018220024B3 (de) Verfahren zur Fusion von Sensordaten von mehreren Sensoren und Fusionsvorrichtung zum Fusionieren von Sensordaten von mehreren Sensoren
WO2019201565A1 (de) Verfahren, vorrichtung und computerlesbares speichermedium mit instruktionen zur verarbeitung von sensordaten
DE102021002798A1 (de) Verfahren zur kamerabasierten Umgebungserfassung
DE102020203756A1 (de) Autobahnausfahrt-erfassung und linienspiegelung zur fahrzeugtrajektorien-bestimmung
WO2009049976A1 (de) Verfahren zur schätzung der relativbewegung von video-objekten und fahrerassistenzsystem für kraftfahrzeuge
WO2021170321A1 (de) Verfahren zum detektieren bewegter objekte in einer fahrzeugumgebung und kraftfahrzeug
DE102021001452A1 (de) Verfahren zur Umgebungserfassung
EP1298012B1 (de) Verfahren zur Erkennung und Verfolgung von Objekten
EP3663881B1 (de) Verfahren zur steuerung eines autonomen fahrzeugs auf der grundlage von geschätzten bewegungsvektoren
WO2022247994A1 (de) System zur sensordatenfusion für die umgebungswahrnehmung
EP3409541B1 (de) Vorrichtung zur fahrschlauchabsicherung
DE102019116892A1 (de) Fahrspurereignisantizipation durch LiDAR-Straßenbegrenzungserfassung

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21702409

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21702409

Country of ref document: EP

Kind code of ref document: A1