WO2017178232A1 - Method for operating a driver assistance system of a motor vehicle, computing device, driver assistance system, and motor vehicle - Google Patents

Method for operating a driver assistance system of a motor vehicle, computing device, driver assistance system, and motor vehicle Download PDF

Info

Publication number
WO2017178232A1
WO2017178232A1 PCT/EP2017/057405 EP2017057405W WO2017178232A1 WO 2017178232 A1 WO2017178232 A1 WO 2017178232A1 EP 2017057405 W EP2017057405 W EP 2017057405W WO 2017178232 A1 WO2017178232 A1 WO 2017178232A1
Authority
WO
WIPO (PCT)
Prior art keywords
motor vehicle
specific feature
pose
sensor data
detected
Prior art date
Application number
PCT/EP2017/057405
Other languages
German (de)
French (fr)
Inventor
Marco Heimberger
Jean-Francois Bariant
Markus Heimberger
Original Assignee
Valeo Schalter Und Sensoren Gmbh
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Valeo Schalter Und Sensoren Gmbh filed Critical Valeo Schalter Und Sensoren Gmbh
Publication of WO2017178232A1 publication Critical patent/WO2017178232A1/en

Links

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/02Ensuring safety in case of control system failures, e.g. by diagnosing, circumventing or fixing failures
    • B60W50/0225Failure correction strategy
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0253Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting relative motion information from a plurality of images taken successively, e.g. visual odometry, optical flow
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0268Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
    • G05D1/0272Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means comprising means for registering the travel distance, e.g. revolutions of wheels
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/02Ensuring safety in case of control system failures, e.g. by diagnosing, circumventing or fixing failures
    • B60W50/0205Diagnosing or detecting failures; Failure detection models
    • B60W2050/021Means for detecting failure or malfunction
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/02Ensuring safety in case of control system failures, e.g. by diagnosing, circumventing or fixing failures
    • B60W50/0205Diagnosing or detecting failures; Failure detection models
    • B60W2050/0215Sensor drifts or sensor failures
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403Image sensing, e.g. optical camera
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/408Radar; Laser, e.g. lidar
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00Input parameters relating to data
    • B60W2556/45External transmission of data to or from the vehicle
    • B60W2556/50External transmission of data to or from the vehicle of positioning data, e.g. GPS [Global Positioning System] data

Definitions

  • the invention relates to a method for operating a driver assistance system of a motor vehicle by detecting an object in by a vehicle-side
  • Sensor device from a surrounding region of the motor vehicle detected first sensor data, identifying an object-specific feature on the object in the first sensor data and determining a first pose of the motor vehicle to the object-specific feature based on the object-specific feature.
  • the invention also relates to a computing device, a driver assistance system and a
  • a method for operating a driver assistance system of the aforementioned type is known for example from DE 10 2010 056 217 A1.
  • an orientation of a motor vehicle to an adjacent vehicle is determined on the basis of an image taken by a vehicle-side camera of the adjacent vehicle.
  • the image is processed by a computing device and identified at least one object on the adjacent vehicle.
  • the orientation of the motor vehicle is determined based on an image of the identified object.
  • Such an object may be, for example, an official license plate and / or tires of the other vehicle.
  • the information about the orientation of the neighboring vehicle may be used to assist the driver in performing parking operations.
  • This object is achieved by a method by a
  • an object may be in by a vehicle-side sensor device detected from an environmental region of the motor vehicle detected first sensor data and an object-specific feature on the object in the first sensor data are identified.
  • a first pose of the motor vehicle to the object-specific feature can be determined based on the object-specific feature.
  • the object is in through the sensor device from the
  • Driver assistance system an object detected in a vehicle-side sensor device from a surrounding area of the motor vehicle first sensor data and identified an object-specific feature on the object in the first sensor data.
  • object-specific feature determined based on the first sensor data.
  • the object is detected in the second sensor data detected by the sensor device from the surrounding area on the basis of the object-specific feature, and a second pose of the motor vehicle for the object-specific feature is determined on the basis of the object-specific feature.
  • a pose of the motor vehicle to the object-specific feature resulting from a movement of the motor vehicle between the detection of the first and the second sensor data is determined by means of odometry and the odometry error is detected if a deviation between the resulting pose and the second pose exceeds a predetermined threshold value.
  • a driver assistance system can be implemented, which is designed to determine poses with respect to at least one object in the surrounding area of the motor vehicle and also during the pose determination for detecting an odometry error.
  • the pose includes a position or a distance of the motor vehicle relative to the object and an orientation of the motor vehicle to the object.
  • the determination of the pose that is to say the determination of a spatial position between the motor vehicle and the object, becomes a particular one so-called SLAM (Simultaneous Localization and Mapping, Simultaneous Localization and Map Generation).
  • SLAM Simultaneous Localization and Mapping, Simultaneous Localization and Map Generation
  • the environment map is in particular a two-dimensional map, in which the objects detected by the vehicle-side sensor device can be registered and thus spatial positions of the objects are indicated to the motor vehicle. This can be the
  • the absolute position of the object can also be determined on the basis of the specific pose of an object with respect to the motor vehicle.
  • Ultrasonic sensors the positions of the vehicles can be determined only very inaccurate, since the ultrasonic sensors measure depending on the pose of the motor vehicle, ie orientation or angle and distance of the motor vehicle to the other vehicle, different contour points on the other vehicle. In order to obtain more reliable results, the data of several measuring cycles and / or sensors are thus usually fused, whereby the computing power increases significantly.
  • Posenbetician the motor vehicle based on the object-specific feature, which is located on the object to perform.
  • the object is first recognized based on the first sensor data.
  • a first image of at least one camera of the motor vehicle is detected as the first sensor data and / or first laser scanner data of at least one laser scanner of the first sensor data
  • the first sensor data is a first image of the surrounding area of the motor vehicle captured by the camera.
  • the object is identified and the at least one object-specific feature is identified on the object.
  • the object-specific feature is in particular a feature of the object, by means of which the object can be uniquely identified and recognized.
  • the first pose of the motor vehicle is determined to the object-specific feature. Based on the object, which is clearly identifiable, and based on the first pose then the
  • Area map can be created by the motor vehicle and the object in the
  • Map to be entered and thereby have a predetermined by the first pose spatial position to each other.
  • second sensor data for example a second camera image and / or second laser scanner data
  • second sensor data are acquired by the sensor device at a second measurement time.
  • a second camera image of the surrounding area is detected as the second sensor data.
  • the first and the second sensor data are thus in particular no sensor data, which are recorded directly in chronological succession.
  • the first and the second sensor data can be recorded, for example, when the motor vehicle is on a parking space search and passes several times the same location and thus the same object in the surrounding area. It can also be provided that the first and the second sensor data are detected on a route section which is traveled regularly by the motor vehicle, for example in the daily drive to a workstation and / or to a driver's residence
  • the second sensor data are searched for the object and can be clearly recognized based on the object-specific feature.
  • the second pose of the object As soon as the object has been recognized by the computing device of the driver assistance system on the basis of the object-specific feature, the second pose of the object has been recognized by the computing device of the driver assistance system on the basis of the object-specific feature, the second pose of the object has been recognized by the computing device of the driver assistance system on the basis of the object-specific feature.
  • the pose of the motor vehicle at the second detection time is additionally determined by means of odometry.
  • the motor vehicle can estimate its location based on data of its propulsion system. Such data of
  • Propulsion system for example, a number of Rohmformatungen and steering angle of the motor vehicle. Odometry can thus be done by capturing the data of the
  • Propulsion system as well as knowledge of vehicle-specific geometry data, such as a known wheel diameter, a distance are determined, which the motor vehicle from the first pose to the second measurement time
  • a stationary object is detected as the object.
  • the invention is based on the finding that the odometry adjustment can only be carried out reliably and correctly if the global position of the object has not changed.
  • the object-specific feature can be recognized in the images, for example by means of pattern recognition.
  • edges of the object-specific feature may be identified and an angle between the edges recognized.
  • the detection of the edges can be done by means of a known edge detection method, according to which in the recorded image for color transitions - for example, from black to white - is searched.
  • the orientation of the motor vehicle can then be determined, since the angle represents a measure of an orientation angle of the static object with respect to the motor vehicle.
  • Pozzo determination by Odoemtrie be provided. This can advantageously be provided a reliable and versatile driver assistance system.
  • a correction value for compensating the odometry error is determined based on the second pose. So it's about it
  • the detected from the second sensor data pose is the correct current pose of the motor vehicle.
  • the correction value is then determined so that the resulting pose determined by odometry corresponds to the second pose.
  • Ambient map or two-dimensional plane can thus be corrected by means of the SLAM method continuously the Odometrie employ and thus a particularly reliable driver assistance system can be provided.
  • the object is assigned an identification number which is stored in a vehicle-side storage device. Based on this
  • the object can be uniquely identified as soon as the object-specific characteristic has been recaptured.
  • the ID is stored together with information about the object-specific feature in the storage device.
  • the ID and the information are stored at least for so long that the odometry adjustment can also be carried out if, for example, the motor vehicle returns to the global position after several days, in which the object with the object-specific feature is located.
  • a global position of the motor vehicle in GPS coordinates can be determined by means of GPS (Global Positioning System).
  • Motor vehicle can thus be located globally by GPS. This global position of the motor vehicle can by means of the navigation system to the first
  • Measuring time are detected. If it has been detected by the navigation system that the motor vehicle is at the second measuring time at least in the vicinity of the global position, which held the motor vehicle at the first measuring time, for example in the same street, the second sensor data for identifying the object after the object-specific feature.
  • the navigation system If it has been detected by the navigation system that the motor vehicle is at the second measuring time at least in the vicinity of the global position, which held the motor vehicle at the first measuring time, for example in the same street, the second sensor data for identifying the object after the object-specific feature.
  • Sensor data will only be searched if a recognition of the object is likely.
  • a parked other vehicle is recognized as the object and identified as the object-specific feature is a motor vehicle license plate, in particular at least one alphanumeric character of the motor vehicle license plate.
  • the license plates or license plates are detected by parked vehicles.
  • These number plates can be detected continuously by means of the camera and their positions can be imaged in the two-dimensional plane or environment map. So it will be the exact positions or spatial positions of the
  • Number plates used to correct the continuous odometry errors using the SLAM method This embodiment takes advantage of the fact that almost every vehicle has such an official license plate, so that it can be used reliably for the identification of the vehicle. These license plates can be identified particularly easily, for example, using pattern recognition. As these license plates are usually a
  • the license plates can be used advantageously for reliable determination of the pose.
  • longitudinal edges of the license plate are recognized, and determines an angle between the longitudinal edges as a measure of the orientation angle of the motor vehicle to the other vehicle.
  • the at least one alphanumeric character representing information about the vehicle is identified and the ID assigned to this alphanumeric character, so that the parked vehicle can be uniquely identified.
  • At least one geometric dimension of a parking space adjacent to the parked vehicle is determined for the motor vehicle.
  • transverse parking gaps can be detected on the basis of the pose of the motor vehicle with respect to the vehicle registration number. If the longitudinal edges of the license plate, for example, extend parallel to a vehicle longitudinal direction of the motor vehicle, the transverse parking space can be detected in a passing of the motor vehicle to the parked vehicles. Based on given
  • Geometry data which in particular a length of the parked vehicle
  • Describe can be determined as the geometric dimension of the parking space, in particular a depth of the parking space thus.
  • the particular pose can therefore be used advantageously in many ways by the driver assistance system.
  • a milestone may be recognized as the object and a kilometer indication on the milestone may be identified as the object-specific feature.
  • the milestones are usually attached to lane edges of lanes at regular intervals so that they can be used to determine the distance traveled and to determine location.
  • Embodiment is particularly advantageous if the motor vehicle is regularly, for example daily, on a particular road section and thus regularly passes by the same milestone.
  • the odometry data are thus recorded over a particularly long period of time, for example, between passing the milestone on a first day and passing the milestone on the following day.
  • the odometry data are then recorded over the entire period, even if the motor vehicle has been turned off in the meantime.
  • Vehicle covered route is detected by odometry and the
  • Odometer error is detected if a further deviation between the distance and the distance traveled exceeds a further predetermined threshold. This embodiment is based on the finding that the milestones are usually set up at regular intervals. By the mileage on the milestones in the form of numbers, the distance between two
  • Milestones are determined. In addition, using odometry,
  • the distance covered should correspond to the distance between the milestones. However, if the distance covered by odometry deviates from the distance between the milestones, then the odometry error is also detected. This is particularly advantageous when the motor vehicle passes every milestone only once and thus can not perform the Odometriev Dermat the same milestone.
  • a house is recognized as the object and, as the object-specific feature, a house number plate, in particular at least one digit on the house number plate, is identified.
  • a house number plate in particular at least one digit on the house number plate
  • Embodiment the detection of the object, so here the house, linked to the performed by the navigation system of the motor vehicle position determination. For example, if it was detected by the navigation system that the
  • Motor vehicle repeatedly enters a certain street, so a specific house number can be recognized at a house in this street, and be performed on the basis of this house number odometry adjustment.
  • the invention also relates to a computing device for a driver assistance system of a motor vehicle, which is designed to carry out a method according to the invention.
  • the computing device can be integrated, for example, in a vehicle-side control unit.
  • An inventive driver assistance system comprises an inventive
  • the sensor device may comprise, for example, at least one laser scanner and / or at least one camera.
  • Driver assistance system is designed in particular to perform a determination of the pose of the motor vehicle by means of a SLAM method and by means of odometry and thus to determine an environment map of the motor vehicle. Based on
  • Ambient map and the corrected Odometrieish can be made possible in particular an at least semi-autonomous maneuvering of the motor vehicle.
  • an at least semi-autonomous parking process for the motor vehicle can be carried out by the driver assistance system.
  • the invention relates to a motor vehicle with a driver assistance system according to the invention.
  • the motor vehicle is designed in particular as a passenger car.
  • Embodiments and their advantages apply correspondingly to the computing device according to the invention, the driver assistance system according to the invention and to the motor vehicle according to the invention.
  • Fig. 1 is a schematic representation of an embodiment of a
  • Fig. 2 is a schematic representation of a detected by the motor vehicle
  • Fig. 1 shows a motor vehicle 1 according to the present invention.
  • the motor vehicle 1 is designed in particular as a passenger car.
  • the motor vehicle 1 comprises a driver assistance system 2, which is designed to carry out a so-called simultaneous localization and mapping (SLAM) or "simultaneous localization and mapping" process
  • SLAM simultaneous localization and mapping
  • Driver assistance system 2 is designed to create an environmental map describing a surrounding area 3 of the motor vehicle 1 and at the same time estimate or determine a pose of the motor vehicle 1 in the surroundings map.
  • the driver assistance system 2 has for this purpose a sensor device S, which in addition is designed to detect sensor data from the surrounding area 3.
  • the sensor device S has at least one camera 4.
  • Sensor device S may also have at least one laser scanner.
  • the cameras 4 are designed to capture the surrounding area 3 of the motor vehicle 1 in images.
  • the cameras 4 form here an all-round camera system or surround-view camera system, wherein a first camera 4 is arranged in a front area 5 of the motor vehicle 1, a second camera 4 is arranged in a rear area 6 of the motor vehicle 1, a third camera 4 on a driver's side 7 of the
  • Motor vehicle 1 is arranged and a fourth camera 4 is arranged on a passenger side 8 of the motor vehicle 1.
  • a fourth camera 4 is arranged on a passenger side 8 of the motor vehicle 1.
  • the driver assistance system 2 here also comprises a computing device 9, which is designed to detect the pose of the motor vehicle 1, that is to say an orientation and a position of the motor vehicle, on the basis of the sensor data acquired by the sensor device S
  • the driver assistance system 2 is designed to determine the pose of the motor vehicle 1 in the surrounding area 3 by odometry.
  • the driver assistance system 2 can record data of a propulsion system of the motor vehicle 1, for example a number of revolutions of wheels 10 of the motor vehicle 1 and / or steering angle of the motor vehicle 1. Due to vehicle parameters, for example, due to changing and / or incorrectly given wheel geometries and Fahrtechnikgeometrien, it may happen that the pose determination by means of odometry is faulty.
  • Such first sensor data are shown in FIG. 2 in the form of a first camera image 11 of the camera 4 arranged in the front region 5 of the motor vehicle 1.
  • the motor vehicle 1 is located on a roadway 12 and detects the first camera image during a journey at a first measurement time
  • the camera 4 may, for example, have a fisheye lens, resulting in the perspective distortion shown in FIG. 2 in the camera image 1 1.
  • the objects O are formed in this case as parked, other vehicles 13 and as a house 14.
  • the objects O are in particular at least temporarily stationary or immovable objects.
  • the computing device 9 is designed to recognize the objects O in the camera image 1 1 detected by the camera 4 and to identify at least one object-specific feature M on the objects O.
  • the respective object-specific feature can be clearly assigned to an object O, in particular.
  • a license plate 15 or license plate is identified as the object-specific feature M of the parked vehicles 13 and a house number plate 16 as the object-specific feature M of the house 14
  • the captured image 1 1 of the arithmetic unit 9 of a pattern recognition in terms of corners and edges of the license plate 15 and / or the house number plate 16 are subjected. It can thus be searched in the recorded image 1 1 for a rectangle or a trapezoid.
  • This method of detecting one of the license plate 15 and / or the house number plate 16 is on the one hand particularly reliable and on the other hand also relatively easy to implement.
  • the detection of the edges can be done by means of a known edge detection method, according to which in the recorded image 1 1 for color transitions - for example, from black to white - is searched. If the edges have been detected, then the corners of the license plate 15 and / or the house number plate 16. After recognition of the license plate 15 and / or the house number plate 16, the detection can be made plausible by a length of the image of the license plate 15 and / or House number plate 16 is set in relation to its width, and it is checked whether this ratio is within a predetermined range of values. Thus, the license plate 15 and / or the house number plate 16 can be distinguished from other rectangles, since both the length and the width are fixed in particular for license plates and thus represent a standard size.
  • the computing device 9 is designed to use the object-specific features M to determine a respective first pose of the motor vehicle 1 relative to the object-specific features M.
  • the first pose corresponds to the pose which the motor vehicle 1 has when capturing the first camera image 11 to the object-specific feature M.
  • longitudinal edges of the license plate 15 and / or the house number plate 16 in Figure 1 1 can be identified and an angle between the longitudinal edges are determined.
  • the orientation can then be determined, since the angle represents a measure of an orientation angle of the adjacent vehicle 13 and / or the house 14 with respect to the motor vehicle 1. Based on the
  • the SLAM method can be performed by the objects O and the motor vehicle are mapped in the particular two-dimensional map of the environment.
  • the motor vehicle 1, for example, in the origin of a two-dimensional
  • Coordinate system in which the environment map is determined to be positioned, resulting in positions of the objects O in the two-dimensional map of the environment by the carried out on the basis of the camera image 1 1 Posenbeées.
  • the computing device 9 each object O based on the
  • Object-specific feature M assign a unique identification number or ID and deposit them in a vehicle-mounted storage device. It may be advantageous to recognize the numbers or numbers and letters of the license plate 15 and based on which a unique
  • Identification number or ID matching the parked vehicle 13 is created.
  • the information that this is the same license plate 15 of the same vehicle 13 is provided through this ID.
  • This information is especially important if only parts of the number plate were recognized and thus results in a scattering, if the same number plate 15 is recognized and detected again and again, but at different positions. This dispersion can thus be contained in order to converge faster with the SLAM. Furthermore, for example, only one digit can be picked out, which is to be detected to calculate the SLAM, whereby fewer detection points are necessary to calculate a SLAM, and thus run time can be saved.
  • the computing device 9 can recognize a number on the house number plate 16 and assign it, in particular together with a street in which the house 14 is located, a specific identification number.
  • the road can be
  • a navigation system of the motor vehicle 1 by which the motor vehicle 1 is located globally. Then, at a second measuring time, a further second camera image is taken by the camera 4 as second sensor data of the surrounding area 3. Now, if the motor vehicle 1 again passes by the objects O, for example because the motor vehicle 1 is in search of a parking space, the images of the objects O are also located in the further camera image.
  • the computing device 9 can now search the further second image for the objects O by the computing device 9 searches the further image for the object-specific features M. If the
  • the object-specific feature M for example, one of
  • License plates 15 has recognized in the further picture, so the object O, so the associated vehicle 13, clearly recognized and a second pose of the
  • the computing device 9 searches the further camera image for the object-specific features M only if it was detected by means of the navigation system of the motor vehicle 1 that the motor vehicle 1 during the recording of the second
  • Camera image is located approximately in about the same surrounding area 3 as in the recording of the first camera image 1 1.
  • This second pose is compared with a pose which is determined by the computing device 9 by means of odometry.
  • the pose determined by means of odometry results from the route which the motor vehicle 1 has traveled since the acquisition of the first image 11 until the acquisition of the further image. In other words, starting from the first pose using odometry data or data of the
  • Propulsion system of the motor vehicle determines the distance covered and determines the end of the route as the pose with which the second pose is compared. So it is carried out an odometry adjustment. If there is no odometry error, ie if the underlying and recorded odometry data is the current, real data
  • Odometry error detected Based on the size of the deviation can be a
  • Correction factor can be determined by means of which the odometry error can be corrected during the position determination of the motor vehicle by means of odometry.
  • Motor vehicle 1 to the license plate 15 of one of the vehicles 13 and based on at least one predetermined geometric dimension of the parked vehicle thirteenth determine a geometric dimension 17 of a parking space 18 of the motor vehicle 1. Based on a length of the vehicle 13, the computing device 9 can recognize, in particular, a depth of the parking space 18 as the geometric dimension 17. Based on the environment map and the corrected odometry data, the driver assistance system 2 can then provide or perform, for example, an at least semi-autonomous parking process for the motor vehicle 1 in the parking space 18.

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Transportation (AREA)
  • Electromagnetism (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Traffic Control Systems (AREA)

Abstract

The invention relates to a method for operating a driver assistance system (2) of a motor vehicle (1) by detecting an object (O) in first sensor data acquired by a vehicle sensor device (S) from a surrounding area (3) of the motor vehicle (1) and identifying an object-specific feature (M) on the object (O) in the first sensor data; determining a first pose of the motor vehicle (1) with respect to the object-specific feature (M) on the basis of the object-specific feature (M), recognizing the object (O) in second sensor data acquired by the sensor device (S) on the basis of the object-specific feature (M), determining a second pose of the motor vehicle (1) with respect to the object-specific feature (M) on the basis of the object-specific feature (M); determining a pose of the motor vehicle (1) with respect to the object-specific feature (M), which results from a movement of the motor vehicle (1) between the acquisition of the first and second sensor data, by means of odometry; and detecting an odometry error if a difference between the resulting pose and the second pose exceeds a predetermined threshold value. The invention also relates to a computing device (9), to a driver assistance system (2) and to a motor vehicle (1).

Description

Verfahren zum Betreiben eines Fahrerassistenzsystems eines Kraftfahrzeugs, Recheneinrichtung, Fahrerassistenzsystem sowie Kraftfahrzeug  Method for operating a driver assistance system of a motor vehicle, computing device, driver assistance system and motor vehicle
Die Erfindung betrifft ein Verfahren zum Betreiben eines Fahrerassistenzsystems eines Kraftfahrzeugs durch Erkennen eines Objektes in durch eine fahrzeugseitige The invention relates to a method for operating a driver assistance system of a motor vehicle by detecting an object in by a vehicle-side
Sensoreinrichtung aus einem Umgebungsbereich des Kraftfahrzeugs erfassten ersten Sensordaten, Identifizieren eines objektspezifischen Merkmals an dem Objekt in den ersten Sensordaten und Bestimmen einer ersten Pose des Kraftfahrzeugs zu dem objektspezifischen Merkmal anhand des objektspezifischen Merkmals. Die Erfindung betrifft außerdem eine Recheneinrichtung, ein Fahrerassistenzsystem sowie ein Sensor device from a surrounding region of the motor vehicle detected first sensor data, identifying an object-specific feature on the object in the first sensor data and determining a first pose of the motor vehicle to the object-specific feature based on the object-specific feature. The invention also relates to a computing device, a driver assistance system and a
Kraftfahrzeug mit einem solchen Fahrerassistenzsystem. Motor vehicle with such a driver assistance system.
Ein Verfahren zum Betreiben eines Fahrerassistenzsystems der eingangs genannten Art ist beispielsweise aus der DE 10 2010 056 217 A1 bekannt. Dabei wird eine Orientierung eines Kraftfahrzeugs zu einem benachbarten Fahrzeug anhand eines von einer fahrzeugseitigen Kamera aufgenommenen Bildes des benachbarten Fahrzeugs bestimmt. Das Bild wird von einer Recheneinrichtung verarbeitet und zumindest ein Objekt an dem benachbarten Fahrzeug identifiziert. Die Orientierung des Kraftfahrzeugs wird dabei anhand eines Abbilds des identifizierten Objektes bestimmt. Ein solches Objekt kann beispielsweise ein amtliches Kennzeichenschild und/oder Reifen des anderen Fahrzeugs sein. Die Information über die Orientierung des benachbarten Fahrzeugs kann zum Unterstützen des Fahrers beim Durchführen von Parkvorgängen genutzt werden. A method for operating a driver assistance system of the aforementioned type is known for example from DE 10 2010 056 217 A1. In this case, an orientation of a motor vehicle to an adjacent vehicle is determined on the basis of an image taken by a vehicle-side camera of the adjacent vehicle. The image is processed by a computing device and identified at least one object on the adjacent vehicle. The orientation of the motor vehicle is determined based on an image of the identified object. Such an object may be, for example, an official license plate and / or tires of the other vehicle. The information about the orientation of the neighboring vehicle may be used to assist the driver in performing parking operations.
Es ist Aufgabe der vorliegenden Erfindung, eine Lösung aufzuzeigen, ein vielseitig einsetzbares Fahrerassistenzsystem bereitzustellen, mittels welchem ein Kraftfahrzeug besonders zuverlässig lokalisiert werden kann. It is an object of the present invention to provide a solution to provide a versatile driver assistance system, by means of which a motor vehicle can be located particularly reliable.
Diese Aufgabe wird erfindungsgemäß durch ein Verfahren, durch eine This object is achieved by a method by a
Recheneinrichtung, durch ein Fahrerassistenzsystem sowie durch ein Kraftfahrzeug mit den Merkmalen gemäß den jeweiligen unabhängigen Patentansprüchen gelöst. Computing device, solved by a driver assistance system and by a motor vehicle with the features according to the respective independent claims.
Vorteilhafte Ausführungsformen der Erfindung sind Gegenstand der abhängigen Advantageous embodiments of the invention are the subject of the dependent
Patentansprüche, der Beschreibung und der Figuren. Claims, the description and the figures.
In einer Ausgestaltung eines erfindungsgemäßen Verfahrens zum Betreiben eines Fahrerassistenzsystems kann ein Objekt in durch eine fahrzeugseitige Sensoreinrichtung aus einem Umgebungsbereich des Kraftfahrzeugs erfassten ersten Sensordaten erkannt werden und ein objektspezifisches Merkmal an dem Objekt in den ersten Sensordaten identifiziert werden. Außerdem kann eine erste Pose des Kraftfahrzeugs zu dem objektspezifischen Merkmal anhand des objektspezifischen Merkmals bestimmt werden. Darüber hinaus wird das Objekt in durch die Sensoreinrichtung aus dem In one embodiment of a method according to the invention for operating a driver assistance system, an object may be in by a vehicle-side sensor device detected from an environmental region of the motor vehicle detected first sensor data and an object-specific feature on the object in the first sensor data are identified. In addition, a first pose of the motor vehicle to the object-specific feature can be determined based on the object-specific feature. In addition, the object is in through the sensor device from the
Umgebungsbereich erfassten zweiten Sensordaten anhand des objektspezifischen Merkmals wiedererkannt und eine zweite Pose des Kraftfahrzeugs zu dem Recognized area detected second sensor data based on the object-specific feature and a second pose of the motor vehicle to the
objektspezifischen Merkmal anhand des objektspezifischen Merkmals bestimmt. Darüber hinaus wird insbesondere eine durch eine Bewegung des Kraftfahrzeugs zwischen der Erfassung der ersten und der zweiten Sensordaten resultierende Pose des object-specific feature determined on the basis of the object-specific feature. In addition, in particular, a pose resulting from a movement of the motor vehicle between the detection of the first and the second sensor data becomes
Kraftfahrzeugs zu dem objektspezifischen Merkmal mittels Odometrie bestimmt und der Odometriefehler erkannt, falls eine Abweichung zwischen der resultierenden Pose und der zweiten Pose einen vorbestimmten Schwellwert überschreitet. Motor vehicle to the object-specific feature determined by odometry and the Odometriefehler detected if a deviation between the resulting pose and the second pose exceeds a predetermined threshold.
Bei einer bevorzugten Ausgestaltung des Verfahrens zum Betreiben eines In a preferred embodiment of the method for operating a
Fahrerassistenzsystems wird ein Objekt in durch eine fahrzeugseitige Sensoreinrichtung aus einem Umgebungsbereich des Kraftfahrzeugs erfassten ersten Sensordaten erkannt und ein objektspezifisches Merkmal an dem Objekt in den ersten Sensordaten identifiziert. Außerdem wird eine erste Pose des Kraftfahrzeugs zu dem Driver assistance system, an object detected in a vehicle-side sensor device from a surrounding area of the motor vehicle first sensor data and identified an object-specific feature on the object in the first sensor data. In addition, a first pose of the motor vehicle to the
objektspezifischen Merkmal anhand der ersten Sensordaten bestimmt. Darüber hinaus wird das Objekt in durch die Sensoreinrichtung aus dem Umgebungsbereich erfassten zweiten Sensordaten anhand des objektspezifischen Merkmals wiedererkannt und eine zweite Pose des Kraftfahrzeugs zu dem objektspezifischen Merkmal anhand des objektspezifischen Merkmals bestimmt. Außerdem wird eine durch eine Bewegung des Kraftfahrzeugs zwischen der Erfassung der ersten und der zweiten Sensordaten resultierende Pose des Kraftfahrzeugs zu dem objektspezifischen Merkmal mittels Odometrie bestimmt und der Odometriefehler erkannt, falls eine Abweichung zwischen der resultierenden Pose und der zweiten Pose einen vorbestimmten Schwellwert überschreitet. object-specific feature determined based on the first sensor data. In addition, the object is detected in the second sensor data detected by the sensor device from the surrounding area on the basis of the object-specific feature, and a second pose of the motor vehicle for the object-specific feature is determined on the basis of the object-specific feature. In addition, a pose of the motor vehicle to the object-specific feature resulting from a movement of the motor vehicle between the detection of the first and the second sensor data is determined by means of odometry and the odometry error is detected if a deviation between the resulting pose and the second pose exceeds a predetermined threshold value.
Mittels des Verfahrens kann ein Fahrerassistenzsystem realisiert werden, welches zur Posenbestimmung bezüglich zumindest eines Objektes in dem Umgebungsbereich des Kraftfahrzeugs und außerdem während der Posenbestimmung zum Erkennen eines Odometriefehlers ausgelegt ist. Die Pose beinhaltet dabei eine Position beziehungsweise einen Abstand des Kraftfahrzeugs relativ zu dem Objekt sowie eine Orientierung des Kraftfahrzeugs zu dem Objekt. Durch die Posenbestimmung, also die Bestimmung einer räumlichen Lage zwischen dem Kraftfahrzeug und dem Objekt, wird insbesondere ein sogenanntes SLAM-Verfahren (Simultaneous Localization and Mapping, Simultane Lokalisierung und Kartenerstellung) realisiert. Bei dem SLAM-Verfahren wird, By means of the method, a driver assistance system can be implemented, which is designed to determine poses with respect to at least one object in the surrounding area of the motor vehicle and also during the pose determination for detecting an odometry error. The pose includes a position or a distance of the motor vehicle relative to the object and an orientation of the motor vehicle to the object. The determination of the pose, that is to say the determination of a spatial position between the motor vehicle and the object, becomes a particular one so-called SLAM (Simultaneous Localization and Mapping, Simultaneous Localization and Map Generation). In the SLAM process,
beispielsweise durch eine Recheneinrichtung des Fahrerassistenzsystems, gleichzeitig eine den Umgebungsbereich beschreibende Umgebungskarte erstellt sowie die Pose des Kraftfahrzeugs innerhalb dieser Umgebungskarte geschätzt. Die Umgebungskarte ist dabei insbesondere eine zweidimensionale Karte, in welche die von der fahrzeugseitigen Sensoreinrichtung erfassten Objekte eingetragen werden können und damit räumlichen Lagen der Objekte zu dem Kraftfahrzeug angegeben sind. Dabei kann sich das For example, by a computing device of the driver assistance system, at the same time creates an environmental map describing the surrounding area and estimated the pose of the motor vehicle within this map. The environment map is in particular a two-dimensional map, in which the objects detected by the vehicle-side sensor device can be registered and thus spatial positions of the objects are indicated to the motor vehicle. This can be the
Kraftfahrzeug beispielsweise in einem Ursprung eines die Umgebungskarte Motor vehicle, for example, in an origin of the area map
beschreibenden Koordinatensystems befinden. Unter Kenntnis einer absoluten Position des Kraftfahrzeugs, welche beispielsweise in GPS-Koordinaten angegeben ist, kann anhand von der bestimmten Pose eines Objektes zu dem Kraftfahrzeug auch die absolute Position des Objektes bestimmt werden. descriptive coordinate system. With knowledge of an absolute position of the motor vehicle, which is indicated for example in GPS coordinates, the absolute position of the object can also be determined on the basis of the specific pose of an object with respect to the motor vehicle.
Solche an sich bekannten SLAM-Verfahren sind üblicherweise sehr rechenaufwendig, da die Umgebungskarte in der Regel inkrementell aufgebaut wird und somit Objekte, welche beispielsweise in einer ersten Messung erkannt wurden, in einer zweiten Messung besonders zuverlässig und genau wiedererkannt werden müssen. Besonders bei der Objektwiedererkennung von beispielsweise anderen Fahrzeugen mittels Such per se known SLAM methods are usually very computationally intensive, since the environment map is usually constructed incrementally and thus objects that were detected, for example, in a first measurement must be recognized particularly reliable and accurate in a second measurement. Especially in the object recognition of, for example, other vehicles using
Ultraschallsensoren können die Positionen der Fahrzeuge nur sehr ungenau bestimmt werden, da die Ultraschallsensoren je nach Pose des Kraftfahrzeugs, also Orientierung beziehungsweise Winkel und Abstand des Kraftfahrzeugs zu dem anderen Fahrzeug, unterschiedliche Konturpunkte an dem anderen Fahrzeug messen. Um zuverlässigere Ergebnisse zu erhalten, werden somit in der Regel die Daten mehrerer Messzyklen und/oder Sensoren fusioniert, wodurch die Rechenleistung deutlich ansteigt. Ultrasonic sensors, the positions of the vehicles can be determined only very inaccurate, since the ultrasonic sensors measure depending on the pose of the motor vehicle, ie orientation or angle and distance of the motor vehicle to the other vehicle, different contour points on the other vehicle. In order to obtain more reliable results, the data of several measuring cycles and / or sensors are thus usually fused, whereby the computing power increases significantly.
Bei dem erfindungsgemäßen Verfahren ist es nun insbesondere vorgesehen, die In the method according to the invention, it is now provided in particular, the
Posenbestimmung des Kraftfahrzeugs anhand des objektspezifischen Merkmals, welches sich an dem Objekt befindet, durchzuführen. Dazu wird das Objekt zunächst anhand der ersten Sensordaten erkannt. Insbesondere werden als die ersten Sensordaten ein erstes Bild von zumindest einer Kamera des Kraftfahrzeugs erfasst und/oder als die ersten Sensordaten erste Laserscannerdaten von zumindest einem Laserscanner des Posenbestimmung the motor vehicle based on the object-specific feature, which is located on the object to perform. For this purpose, the object is first recognized based on the first sensor data. In particular, a first image of at least one camera of the motor vehicle is detected as the first sensor data and / or first laser scanner data of at least one laser scanner of the first sensor data
Kraftfahrzeugs erfasst. Vorzugsweise sind die ersten Sensordaten ein erstes, von der Kamera erfasstes Bild des Umgebungsbereiches des Kraftfahrzeugs. In diesem ersten Bild des Umgebungsbereiches, welches zu einem ersten Messzeitpunkt erfasst wurde, wird das Objekt erkannt und das zumindest ein objektspezifisches Merkmal an dem Objekt identifiziert. Das objektspezifische Merkmal ist dabei insbesondere ein Merkmal des Objektes, anhand welches das Objekt eindeutig identifiziert und wiedererkannt werden kann. Dann wird anhand des objektspezifischen Merkmals die erste Pose des Kraftfahrzeugs zu dem objektspezifischen Merkmal bestimmt. Basierend auf dem Objekt, welches eindeutig identifizierbar ist, und anhand der ersten Pose kann dann die Motor vehicle recorded. Preferably, the first sensor data is a first image of the surrounding area of the motor vehicle captured by the camera. In this first image of the surrounding area, which was acquired at a first measurement time, the object is identified and the at least one object-specific feature is identified on the object. The object-specific feature is in particular a feature of the object, by means of which the object can be uniquely identified and recognized. Then, based on the object-specific feature, the first pose of the motor vehicle is determined to the object-specific feature. Based on the object, which is clearly identifiable, and based on the first pose then the
Umgebungskarte erstellt werden, indem das Kraftfahrzeug und das Objekt in die Area map can be created by the motor vehicle and the object in the
Umgebungskarte eingetragen werden und dabei eine durch die erste Pose vorgegebene räumliche Lage zueinander aufweisen. Map to be entered and thereby have a predetermined by the first pose spatial position to each other.
Dann werden zu einem zweiten Messzeitpunkt zweite Sensordaten, beispielsweise ein zweites Kamerabild und/oder zweite Laserscannerdaten, von der Sensoreinrichtung erfasst. Insbesondere wird ein zweites Kamerabild des Umgebungsbereiches als die zweiten Sensordaten erfasst. Insbesondere können zwischen der Erfassung der ersten und der zweiten Sensordaten, also zwischen dem ersten und dem zweiten Messzeitpunkt, mehrere Minuten oder sogar mehrere Stunden oder Tage liegen. Die ersten und die zweiten Sensordaten sind also insbesondere keine Sensordaten, welche zeitlich direkt aufeinanderfolgend aufgenommen werden. Die ersten und die zweiten Sensordaten können beispielsweise dann aufgenommen werden, wenn sich das Kraftfahrzeug auf einer Parklückensuche befindet und dabei mehrmals den gleichen Ort und damit das gleiche Objekt in dem Umgebungsbereich passiert. Auch kann vorgesehen sein, dass die ersten und die zweiten Sensordaten auf einem Streckenabschnitt erfasst werden, welcher durch das Kraftfahrzeug regelmäßig zurückgelegt wird, beispielsweise bei der täglichen Fahrt zu einer Arbeitsstelle und/oder zu einem Wohnsitz eines Fahrers des Then, second sensor data, for example a second camera image and / or second laser scanner data, are acquired by the sensor device at a second measurement time. In particular, a second camera image of the surrounding area is detected as the second sensor data. In particular, between the detection of the first and the second sensor data, ie between the first and the second measurement time, several minutes or even several hours or days lie. The first and the second sensor data are thus in particular no sensor data, which are recorded directly in chronological succession. The first and the second sensor data can be recorded, for example, when the motor vehicle is on a parking space search and passes several times the same location and thus the same object in the surrounding area. It can also be provided that the first and the second sensor data are detected on a route section which is traveled regularly by the motor vehicle, for example in the daily drive to a workstation and / or to a driver's residence
Kraftfahrzeugs. Die zweiten Sensordaten werden nach dem Objekt durchsucht und können anhand des objektspezifischen Merkmals eindeutig wiedererkannt werden. Motor vehicle. The second sensor data are searched for the object and can be clearly recognized based on the object-specific feature.
Sobald das Objekt anhand des objektspezifischen Merkmals von der Recheneinrichtung des Fahrerassistenzsystems wiedererkannt wurde, wird die zweite Pose des As soon as the object has been recognized by the computing device of the driver assistance system on the basis of the object-specific feature, the second pose of the
Kraftfahrzeugs zu dem Objekt anhand des objektspezifischen Merkmals bestimmt. Motor vehicle to the object determined based on the object-specific feature.
Darüber hinaus wird die Pose des Kraftfahrzeugs zu dem zweiten Erfassungszeitpunkt zusätzlich mittels Odometrie bestimmt. Durch Odometrie kann das Kraftfahrzeug seine Lage anhand von Daten seines Vortriebsystems schätzen. Solche Daten des In addition, the pose of the motor vehicle at the second detection time is additionally determined by means of odometry. By odometry, the motor vehicle can estimate its location based on data of its propulsion system. Such data of
Vortriebssystems sind beispielsweise eine Anzahl an Radumdrehungen und Lenkwinkel des Kraftfahrzeugs. Durch Odometrie kann somit durch Erfassung der Daten des Propulsion system, for example, a number of Radumdrehungen and steering angle of the motor vehicle. Odometry can thus be done by capturing the data of the
Vortriebssystems sowie unter Kenntnis von fahrzeugspezifischen Geometriedaten, beispielsweise ein bekannter Raddurchmesser, eine Strecke bestimmt werden, welche das Kraftfahrzeug von der ersten Pose aus bis zu dem zweiten Messzeitpunkt Propulsion system as well as knowledge of vehicle-specific geometry data, such as a known wheel diameter, a distance are determined, which the motor vehicle from the first pose to the second measurement time
zurückgelegt hat. Ein Endpunkt der von der ersten Pose aus zurückgelegten Strecke wird dabei als die Pose bestimmt, welche das Kraftfahrzeug bei der Erfassung der zweiten Sensordaten innehat. Wenn keine Abweichung zwischen der zweiten Pose und der mittels Odometrie bestimmten Pose vorliegt, so wird davon ausgegangen, dass kein Odometriefehler vorliegt. Wenn aber die zweite Pose von der mittels Odometrie bestimmen Pose abweicht, so wird davon ausgegangen, dass ein Odometriefehler bei der Posenbestimmung vorliegt. Der Odometriefehler kann beispielsweise aus bestimmten Fahrbahnbedingungen, sich verändernden oder fehlerhaften Angaben über die has covered. An endpoint of the distance traveled from the first pose it determines as the pose, which holds the motor vehicle in the detection of the second sensor data. If there is no deviation between the second pose and the pose determined by odometry, it is assumed that there is no odometry error. But if the second pose deviates from the pose determined by odometry, it is assumed that there is an odometry error in the pose determination. The Odometriefehler can, for example, from certain road conditions, changing or incorrect information about the
Radgeometrie, etc. resultieren. Wheel geometry, etc. result.
Insbesondere wird als das Objekt ein stationäres Objekt erfasst. Der Erfindung liegt hierbei die Erkenntnis zugrunde, dass der Odometrieabgleich nur dann zuverlässig und korrekt durchgeführt werden kann, wenn sich die globale Position des Objektes nicht verändert hat. In particular, a stationary object is detected as the object. The invention is based on the finding that the odometry adjustment can only be carried out reliably and correctly if the global position of the object has not changed.
Das objektspezifische Merkmal kann in den Bildern beispielsweise mittels Mustererkennung erkannt werden. Zum Bestimmten der ersten und der zweiten Pose anhand des Merkmals können Kanten des objektspezifischen Merkmals identifiziert werden und ein Winkel zwischen den Kanten erkannt werden. Die Erkennung der Kanten kann mittels einer bekannten Kantenerkennungsmethode erfolgen, nach welcher im aufgenommenen Bild nach Farbübergängen - beispielsweise von schwarz zu weiß - gesucht wird. In Abhängigkeit von dem Winkel kann dann die Orientierung des Kraftfahrzeugs bestimmt werden, da der Winkel ein Maß für einen Orientierungswinkel des statischen Objektes bezüglich des Kraftfahrzeugs darstellt. The object-specific feature can be recognized in the images, for example by means of pattern recognition. To determine the first and second pose from the feature, edges of the object-specific feature may be identified and an angle between the edges recognized. The detection of the edges can be done by means of a known edge detection method, according to which in the recorded image for color transitions - for example, from black to white - is searched. Depending on the angle, the orientation of the motor vehicle can then be determined, since the angle represents a measure of an orientation angle of the static object with respect to the motor vehicle.
Anhand des SLAM-Verfahrens, welches die Posenbestimmung anhand der Based on the SLAM method, which determines the poses based on the
objektspezifischen Merkmale durchführt und dabei besonders wenig Daten und performs object-specific characteristics, with very little data and
Rechenleistung für die Lokalisierung des Kraftfahrzeugs benötigt, kann zusätzlich ein Odometrieabgleich durchgeführt werden und somit auch eine zuverlässige Computing power needed for the localization of the motor vehicle, in addition an odometry adjustment can be performed and thus also a reliable
Posenbestimmung durch Odoemtrie bereitgestellt werden. Damit kann in vorteilhafter Weise ein zuverlässiges und vielseitig einsetzbares Fahrerassistenzsystem bereitgestellt werden. Pozzo determination by Odoemtrie be provided. This can advantageously be provided a reliable and versatile driver assistance system.
Bevorzugt wird bei Vorliegen des Odometriefehlers ein Korrekturwert zum Kompensieren des Odometriefehlers anhand der zweiten Pose bestimmt. Es wird also davon Preferably, in the presence of the odometry error, a correction value for compensating the odometry error is determined based on the second pose. So it's about it
ausgegangen, dass die anhand der zweiten Sensordaten erfasste Pose die korrekte aktuelle Pose des Kraftfahrzeugs ist. Daraufhin wird der Korrekturwert so bestimmt, dass die resultierende, anhand von Odometrie bestimmte Pose der zweiten Pose entspricht. Durch die insbesondere kontinuierliche Erfassung der objektspezifischen Merkmale von Objekten in dem Umgebungsbereich und Abbilden derer Positionen in der assumed that the detected from the second sensor data pose is the correct current pose of the motor vehicle. The correction value is then determined so that the resulting pose determined by odometry corresponds to the second pose. In particular, continuous detection of the object-specific features of objects in the surrounding area and mapping of their positions in the environment
Umgebungskarte beziehungsweise zweidimensionalen Ebene können also mittels des SLAM- Verfahrens kontinuierlich die Odometriefehler korrigiert werden und somit ein besonders zuverlässiges Fahrerassistenzsystem bereitgestellt werden. Ambient map or two-dimensional plane can thus be corrected by means of the SLAM method continuously the Odometriefehler and thus a particularly reliable driver assistance system can be provided.
In einer vorteilhaften Ausführungsform der Erfindung wird nach Identifizieren des objektspezifischen Merkmals dem Objekt eine Identifikationsnummer zugeordnet, welche in einer fahrzeugseitigen Speichereinrichtung hinterlegt wird. Anhand dieser In an advantageous embodiment of the invention, after identifying the object-specific feature, the object is assigned an identification number which is stored in a vehicle-side storage device. Based on this
objektspezifischen Identifikationsnummer beziehungsweise ID, welche dem object-specific identification number or ID, which the
objektspezifischen Merkmal eindeutig zugeordnet ist, kann das Objekt eindeutig identifiziert werden, sobald das objektspezifische Merkmal erneut erfasst wurde. Dabei wird die ID gemeinsam mit einer Information über das objektspezifische Merkmal in der Speichereinrichtung hinterlegt. Die ID und die Information werden insbesondere zumindest so lange hinterlegt, dass der Odometrieabgleich auch dann durchgeführt werden kann, wenn sich das Kraftfahrzeug beispielsweise erst nach mehreren Tagen wieder an derjenigen globalen Position befindet, in welchem sich auch das Objekt mit dem objektspezifischen Merkmal befindet. If the object-specific characteristic is assigned uniquely, the object can be uniquely identified as soon as the object-specific characteristic has been recaptured. In this case, the ID is stored together with information about the object-specific feature in the storage device. In particular, the ID and the information are stored at least for so long that the odometry adjustment can also be carried out if, for example, the motor vehicle returns to the global position after several days, in which the object with the object-specific feature is located.
In einer Weiterbildung der Erfindung werden die zweiten Sensordaten zum In a further development of the invention, the second sensor data for
Wiedererkennen des Objektes nur dann nach dem objektspezifischen Merkmal durchsucht, falls anhand von Daten eines Navigationssystems des Kraftfahrzeugs erfasst wurde, dass der Umgebungsbereich, aus welchem die ersten Sensordaten erfasst werden, und der Umgebungsbereich, aus welchem die zweiten Sensordaten erfasst wurden, zumindest bereichsweise überlappen. Zum Navigieren des Kraftfahrzeugs mittels des Navigationssystems kann mittels GPS (Globales Positionsbestimmungssystem) eine globale Position des Kraftfahrzeugs in GPS-Koordinaten bestimmt werden. Das Recognition of the object only then searched for the object-specific feature, if it was detected based on data of a navigation system of the motor vehicle, that the surrounding area from which the first sensor data are detected, and the surrounding area from which the second sensor data has been detected, at least partially overlap. To navigate the motor vehicle by means of the navigation system, a global position of the motor vehicle in GPS coordinates can be determined by means of GPS (Global Positioning System). The
Kraftfahrzeug kann somit anhand von GPS global lokalisiert werden. Diese globale Position des Kraftfahrzeugs kann mittels des Navigationssystems zu dem ersten Motor vehicle can thus be located globally by GPS. This global position of the motor vehicle can by means of the navigation system to the first
Messzeitpunkt erfasst werden. Wenn durch das Navigationssystem erfasst wurde, dass sich das Kraftfahrzeug zu dem zweiten Messzeitpunkt zumindest in der Nähe der globalen Position befindet, welche das Kraftfahrzeug bei dem ersten Messzeitpunk innehatte, beispielsweise in der gleichen Straße, so werden die zweiten Sensordaten zum Identifizieren des Objektes nach dem objektspezifischen Merkmal durchsucht. Somit kann in vorteilhafter Weise Rechenzeit und Rechenleistung eingespart werden, da die Measuring time are detected. If it has been detected by the navigation system that the motor vehicle is at the second measuring time at least in the vicinity of the global position, which held the motor vehicle at the first measuring time, for example in the same street, the second sensor data for identifying the object after the object-specific feature. Thus, computing time and computing power can be saved in an advantageous manner, since the
Sensordaten nur dann durchsucht werden, wenn eine Wiedererkennung des Objektes wahrscheinlich ist. Besonders bevorzugt wird als das Objekt ein geparktes anderes Fahrzeug erkannt und als das objektspezifische Merkmal ein Kraftfahrzeugkennzeichen, insbesondere zumindest ein alphanumerisches Zeichen des Kraftfahrzeugkennzeichens, identifiziert. Mit anderen Worten bedeutet dies, dass die Kennzeichenschilder beziehungsweise Nummernschilder von geparkten Fahrzeugen erfasst werden. Diese Nummernschilder können kontinuierlich mittels der Kamera detektiert werden und deren Positionen in der zweidimensionalen Ebene beziehungsweise Umgebungskarte abgebildet werden. Es werden also die genauen Positionen beziehungsweise räumlichen Lagen der Sensor data will only be searched if a recognition of the object is likely. Particularly preferably, a parked other vehicle is recognized as the object and identified as the object-specific feature is a motor vehicle license plate, in particular at least one alphanumeric character of the motor vehicle license plate. In other words, this means that the license plates or license plates are detected by parked vehicles. These number plates can be detected continuously by means of the camera and their positions can be imaged in the two-dimensional plane or environment map. So it will be the exact positions or spatial positions of the
Nummernschilder verwendet, um mittels des SLAM- Verfahrens die kontinuierlichen Odometriefehler zu korrigieren. Diese Ausführungsform macht sich die Tatsache zunutze, dass nahezu jedes Fahrzeug ein solches amtliches Kennzeichenschild besitzt, sodass dieses zuverlässig zur Identifikation des Fahrzeugs herangezogen werden kann. Diese amtlichen Kennzeichen können beispielsweise anhand von Mustererkennung besonders einfach identifiziert werden. Da diese Kennzeichenschilder in der Regel eine Number plates used to correct the continuous odometry errors using the SLAM method. This embodiment takes advantage of the fact that almost every vehicle has such an official license plate, so that it can be used reliably for the identification of the vehicle. These license plates can be identified particularly easily, for example, using pattern recognition. As these license plates are usually a
vorbestimmte Ausrichtung am Fahrzeug aufweisen, können die Nummernschilder in vorteilhafter Weise zur zuverlässigen Bestimmung der Pose verwendet. Dazu werden insbesondere Längskanten des Nummernschildes erkannt, und ein Winkel zwischen den Längskanten als ein Maß des Orientierungswinkels des Kraftfahrzeugs zu dem anderen Fahrzeug bestimmt. Außerdem wird insbesondere das zumindest eine alphanumerische Zeichen, welches eine Information über das Fahrzeug darstellt, identifiziert und diesem alphanumerischen Zeichen die ID zugeordnet, sodass das geparkte Fahrzeug eindeutig identifiziert werden kann. have predetermined orientation on the vehicle, the license plates can be used advantageously for reliable determination of the pose. For this purpose, in particular longitudinal edges of the license plate are recognized, and determines an angle between the longitudinal edges as a measure of the orientation angle of the motor vehicle to the other vehicle. In addition, in particular, the at least one alphanumeric character representing information about the vehicle is identified and the ID assigned to this alphanumeric character, so that the parked vehicle can be uniquely identified.
Insbesondere wird anhand der ersten und/oder der zweiten Pose des Kraftfahrzeugs bezüglich des geparkten Fahrzeugs und anhand von vorbestimmten, das geparkte Kraftfahrzeug beschreibenden Geometriedaten zumindest eine geometrische Abmessung einer an das geparkte Fahrzeug angrenzenden Parklücke für das Kraftfahrzeug bestimmt. Insbesondere können anhand der Pose des Kraftfahrzeugs bezüglich des Kraftfahrzeugkennzeichens Querparklücken erkannt werden. Wenn sich die Längskanten des Nummernschildes beispielsweise parallel zu einer Fahrzeuglängsrichtung des Kraftfahrzeugs erstrecken, kann in einer Vorbeifahrt des Kraftfahrzeugs an den geparkten Fahrzeugen die Querparklücke erkannt werden. Anhand von vorgegebenen In particular, based on the first and / or the second pose of the motor vehicle with respect to the parked vehicle and based on predetermined geometric data describing the parked motor vehicle, at least one geometric dimension of a parking space adjacent to the parked vehicle is determined for the motor vehicle. In particular, transverse parking gaps can be detected on the basis of the pose of the motor vehicle with respect to the vehicle registration number. If the longitudinal edges of the license plate, for example, extend parallel to a vehicle longitudinal direction of the motor vehicle, the transverse parking space can be detected in a passing of the motor vehicle to the parked vehicles. Based on given
Geometriedaten, welche insbesondere eine Länge des geparkten Fahrzeugs Geometry data, which in particular a length of the parked vehicle
beschreiben, kann somit als die geometrische Abmessung der Parklücke insbesondere eine Tiefe der Parklücke bestimmt werden. Die bestimmte Pose kann also in vorteilhafter Weise vielseitig von dem Fahrerassistenzsystem genutzt werden. Alternativ oder zusätzlich kann als das Objekt ein Kilometerstein erkannt werden und als das objektspezifische Merkmal eine Kilometerangabe auf dem Kilometerstein identifiziert werden. Die Kilometersteine sind üblicherweise an Fahrbahnrändern von Fahrbahnen in regelmäßigen Abständen angebracht, sodass diese zur Bestimmung der zurückgelegten Entfernung sowie zur Standortbestimmung verwendet werden können. Diese Describe can be determined as the geometric dimension of the parking space, in particular a depth of the parking space thus. The particular pose can therefore be used advantageously in many ways by the driver assistance system. Alternatively or additionally, a milestone may be recognized as the object and a kilometer indication on the milestone may be identified as the object-specific feature. The milestones are usually attached to lane edges of lanes at regular intervals so that they can be used to determine the distance traveled and to determine location. These
Ausführungsform ist insbesondere dann vorteilhaft, wenn sich das Kraftfahrzeug regelmäßig, beispielsweise täglich, auf einem bestimmten Fahrbahnabschnitt befindet und damit regelmäßig an demselben Kilometerstein vorbeifährt. Die Odometriedaten werden somit über einen besonders lange Zeitraum, erfasst, also beispielsweise zwischen dem Passieren des Kilometersteins an einem ersten Tag und dem Passieren des Kilometersteins am darauffolgenden Tag. Die Odometriedaten werden dabei auch dann über den gesamten Zeitraum erfasst, wenn das Kraftfahrzeug zwischenzeitlich abgestellt wurde. Embodiment is particularly advantageous if the motor vehicle is regularly, for example daily, on a particular road section and thus regularly passes by the same milestone. The odometry data are thus recorded over a particularly long period of time, for example, between passing the milestone on a first day and passing the milestone on the following day. The odometry data are then recorded over the entire period, even if the motor vehicle has been turned off in the meantime.
Es erweist sich als vorteilhaft, wenn in dritten Sensordaten ein weiterer Kilometerstein erkannt wird und eine weitere Kilometerangabe auf dem weiteren Kilometerstein erfasst wird, anhand der Kilometerangaben auf den Kilometersteinen ein Abstand zwischen den Kilometersteinen bestimmt wird, eine zwischen den Kilometersteinen von dem It proves to be advantageous if in third sensor data, another milestone is detected and a further mileage is recorded on the further milestone, based on the mileage on the milestones a distance between the milestones is determined, one between the milestones of the
Kraftfahrzeug zurückgelegte Strecke mittels Odometrie erfasst wird und der Vehicle covered route is detected by odometry and the
Odometriefehler erkannt wird, falls eine weitere Abweichung zwischen dem Abstand und der zurückgelegten Strecke einen weiteren vorbestimmten Schwellwert überschreitet. Dieser Ausführungsform liegt die Erkenntnis zugrunde, dass die Kilometersteine üblicherweise in regelmäßigen Abständen aufgestellt sind. Durch die Kilometerangaben auf den Kilometersteinen in Form von Zahlen kann der Abstand zwischen zwei Odometer error is detected if a further deviation between the distance and the distance traveled exceeds a further predetermined threshold. This embodiment is based on the finding that the milestones are usually set up at regular intervals. By the mileage on the milestones in the form of numbers, the distance between two
Kilometersteinen bestimmt werden. Außerdem kann anhand der Odometrie, Milestones are determined. In addition, using odometry,
insbesondere anhand von einer Anzahl an Radumdrehungen, die von dem Kraftfahrzeug zwischen den Kilometersteinen zurückgelegte Strecke bestimmt werden. Falls kein Odometriefehler vorliegt, sollte die zurückgelegte Strecke dem Abstand zwischen den Kilometersteinen entsprechen. Falls die zurückgelegte, durch Odometrie bestimmte Strecke jedoch von dem Abstand zwischen den Kilometersteinen abweicht, so wird der Odometriefehler ebenfalls erkannt. Dies ist besonders dann vorteilhaft, wenn das Kraftfahrzeug jeden Kilometerstein nur einmal passiert und somit den Odometrieabgleich nicht anhand desselben Kilometersteins durchführen kann. in particular on the basis of a number of wheel revolutions which are determined by the motor vehicle between the milestones covered route. If there is no odometry error, the distance covered should correspond to the distance between the milestones. However, if the distance covered by odometry deviates from the distance between the milestones, then the odometry error is also detected. This is particularly advantageous when the motor vehicle passes every milestone only once and thus can not perform the Odometrievgleich the same milestone.
Auch kann vorgesehen sein, dass als das Objekt ein Haus erkannt wird und als das objektspezifische Merkmal ein Hausnummernschild, insbesondere zumindest eine Ziffer auf dem Hausnummernschild, identifiziert wird. Insbesondere wird bei dieser It can also be provided that a house is recognized as the object and, as the object-specific feature, a house number plate, in particular at least one digit on the house number plate, is identified. In particular, in this
Ausführungsform die Erkennung des Objektes, also hier des Hauses, mit der durch das Navigationssystem des Kraftfahrzeugs durchgeführten Positionsbestimmung verknüpft. Wenn also durch das Navigationssystem beispielsweise erfasst wurde, dass das Embodiment, the detection of the object, so here the house, linked to the performed by the navigation system of the motor vehicle position determination. For example, if it was detected by the navigation system that the
Kraftfahrzeug zum wiederholten Male in eine bestimmte Straße einfährt, so kann eine bestimmte Hausnummer an einem Haus in dieser Straße wiedererkannt werden, und anhand dieser Hausnummer der Odometrieabgleich durchgeführt werden. Motor vehicle repeatedly enters a certain street, so a specific house number can be recognized at a house in this street, and be performed on the basis of this house number odometry adjustment.
Die Erfindung betrifft außerdem eine Recheneinrichtung für ein Fahrerassistenzsystem eines Kraftfahrzeugs, welche dazu ausgelegt ist, ein erfindungsgemäßes Verfahren durchzuführen. Die Recheneinrichtung kann beispielsweise in ein fahrzeugseitiges Steuergerät integriert sein. The invention also relates to a computing device for a driver assistance system of a motor vehicle, which is designed to carry out a method according to the invention. The computing device can be integrated, for example, in a vehicle-side control unit.
Ein erfindungsgemäßes Fahrerassistenzsystem umfasst eine erfindungsgemäße An inventive driver assistance system comprises an inventive
Recheneinrichtung sowie eine Sensoreinrichtung zum Erfassen eines Computing device and a sensor device for detecting a
Umgebungsbereiches des Kraftfahrzeugs. Die Sensoreinrichtung kann beispielsweise zumindest einen Laserscanner und/oder zumindest eine Kamera umfassen. Das Surrounding area of the motor vehicle. The sensor device may comprise, for example, at least one laser scanner and / or at least one camera. The
Fahrerassistenzsystem ist insbesondere dazu ausgelegt, eine Posenbestimmung des Kraftfahrzeugs mittels eines SLAM- Verfahrens und mittels Odometrie durchzuführen und somit eine Umgebungskarte des Kraftfahrzeugs zu bestimmen. Anhand der Driver assistance system is designed in particular to perform a determination of the pose of the motor vehicle by means of a SLAM method and by means of odometry and thus to determine an environment map of the motor vehicle. Based on
Umgebungskarte und der korrigierten Odometriedaten kann insbesondere auch ein zumindest semiautonomes Manövrieren des Kraftfahrzeugs ermöglicht werden. Ambient map and the corrected Odometriedaten can be made possible in particular an at least semi-autonomous maneuvering of the motor vehicle.
Beispielsweise kann ein zumindest semiautonomer Einparkvorgang für das Kraftfahrzeug von dem Fahrerassistenzsystem durchgeführt werden. For example, an at least semi-autonomous parking process for the motor vehicle can be carried out by the driver assistance system.
Darüber hinaus betrifft die Erfindung ein Kraftfahrzeug mit einem erfindungsgemäßen Fahrerassistenzsystem. Das Kraftfahrzeug ist insbesondere als ein Personenkraftwagen ausgebildet. Moreover, the invention relates to a motor vehicle with a driver assistance system according to the invention. The motor vehicle is designed in particular as a passenger car.
Die mit Bezug auf das erfindungsgemäße Verfahren vorgestellten bevorzugten The preferred embodiments presented with reference to the process according to the invention
Ausführungsformen und deren Vorteile gelten entsprechend für die erfindungsgemäße Recheneinrichtung, das erfindungsgemäße Fahrerassistenzsystem sowie für das erfindungsgemäße Kraftfahrzeug. Embodiments and their advantages apply correspondingly to the computing device according to the invention, the driver assistance system according to the invention and to the motor vehicle according to the invention.
Weitere Merkmale der Erfindung ergeben sich aus den Ansprüchen, den Figuren und der Figurenbeschreibung. Die vorstehend in der Beschreibung genannten Merkmale und Merkmalskombinationen, sowie die nachfolgend in der Figurenbeschreibung genannten und/oder in den Figuren alleine gezeigten Merkmale und Merkmalskombinationen sind nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen oder in Alleinstellung verwendbar, ohne den Rahmen der Erfindung zu verlassen. Es sind somit auch Ausführungen von der Erfindung als umfasst und offenbart anzusehen, die in den Figuren nicht explizit gezeigt und erläutert sind, jedoch durch separierte Merkmalskombinationen aus den erläuterten Ausführungen hervorgehen und erzeugbar sind. Es sind auch Ausführungen und Merkmalskombinationen als offenbart anzusehen, die somit nicht alle Merkmale eines ursprünglich formulierten unabhängigen Anspruchs aufweisen. Es sind darüber hinaus Ausführungen und Merkmalskombinationen, insbesondere durch die oben dargelegten Ausführungen, als offenbart anzusehen, die über die in den Rückbezügen der Ansprüche dargelegten Merkmalskombinationen hinausgehen oder abweichen. Further features of the invention will become apparent from the claims, the figures and the description of the figures. The features and feature combinations mentioned above in the description, as well as those mentioned below in the description of the figures and / or features and combinations of features shown alone in the figures can be used not only in the particular combination specified, but also in other combinations or in isolation, without departing from the scope of the invention. Thus, embodiments of the invention are to be regarded as encompassed and disclosed, which are not explicitly shown and explained in the figures, however, emerge and can be produced by separated combinations of features from the embodiments explained. Embodiments and combinations of features are also to be regarded as disclosed, which thus do not have all the features of an originally formulated independent claim. Moreover, embodiments and combinations of features, in particular by the embodiments set out above, are to be regarded as disclosed, which go beyond or deviate from the combinations of features set out in the back references of the claims.
Die Erfindung wird nun anhand von bevorzugten Ausführungsbeispielen sowie unter Bezugnahme auf die beigefügten Zeichnungen näher erläutert. The invention will now be described with reference to preferred embodiments and with reference to the accompanying drawings.
Dabei zeigen: Showing:
Fig. 1 eine schematische Darstellung einer Ausführungsform eines Fig. 1 is a schematic representation of an embodiment of a
erfindungsgemäßen Kraftfahrzeugs; und  motor vehicle according to the invention; and
Fig. 2 eine schematische Darstellung eines von dem Kraftfahrzeug erfassten Fig. 2 is a schematic representation of a detected by the motor vehicle
Kamerabildes zur Posenbestimmung.  Camera image for determining poses.
In den Figuren sind gleiche sowie funktionsgleiche Elemente mit den gleichen In the figures are the same as well as functionally identical elements with the same
Bezugszeichen versehen. Provided with reference numerals.
Fig. 1 zeigt ein Kraftfahrzeug 1 gemäß der vorliegenden Erfindung. Das Kraftfahrzeug 1 ist insbesondere als ein Personenkraftwagen ausgebildet. Das Kraftfahrzeug 1 umfasst ein Fahrerassistenzsystem 2, welches dazu ausgelegt ist, ein sogenanntes SLAM- Verfahren (Simultaneous Localization and Mapping) beziehungsweise eine„Simultane Lokalisierung und Kartenerstellung" durchzuführen. Dies bedeutet, dass das Fig. 1 shows a motor vehicle 1 according to the present invention. The motor vehicle 1 is designed in particular as a passenger car. The motor vehicle 1 comprises a driver assistance system 2, which is designed to carry out a so-called simultaneous localization and mapping (SLAM) or "simultaneous localization and mapping" process
Fahrerassistenzsystem 2 dazu ausgelegt ist, eine einen Umgebungsbereich 3 des Kraftfahrzeugs 1 beschreibende Umgebungskarte zu erstellen und gleichzeitig eine Pose des Kraftfahrzeugs 1 in der Umgebungskarte schätzen beziehungsweise bestimmen. Das Fahrerassistenzsystem 2 weist dazu eine Sensoreinrichtung S auf, welche dazu ausgelegt ist, Sensordaten aus dem Umgebungsbereich 3 zu erfassen. Im vorliegenden Fall weist die Sensoreinrichtung S zumindest eine Kamera 4 aufweist. Die Driver assistance system 2 is designed to create an environmental map describing a surrounding area 3 of the motor vehicle 1 and at the same time estimate or determine a pose of the motor vehicle 1 in the surroundings map. The driver assistance system 2 has for this purpose a sensor device S, which in addition is designed to detect sensor data from the surrounding area 3. In the present case, the sensor device S has at least one camera 4. The
Sensoreinrichtung S kann auch zumindest einen Laserscanner aufweisen. Die Kameras 4 sind dazu ausgebildet, den Umgebungsbereich 3 des Kraftfahrzeugs 1 in Bildern zu erfassen. Die Kameras 4 bilden hier ein Rundumsicht-Kamerasystem beziehungsweise Surround- View-Kamerasystem aus, wobei eine erste Kamera 4 in einem Frontbereich 5 des Kraftfahrzeugs 1 angeordnet ist, eine zweite Kamera 4 in einem Heckbereich 6 des Kraftfahrzeugs 1 angeordnet ist, eine dritte Kamera 4 auf einer Fahrerseite 7 des Sensor device S may also have at least one laser scanner. The cameras 4 are designed to capture the surrounding area 3 of the motor vehicle 1 in images. The cameras 4 form here an all-round camera system or surround-view camera system, wherein a first camera 4 is arranged in a front area 5 of the motor vehicle 1, a second camera 4 is arranged in a rear area 6 of the motor vehicle 1, a third camera 4 on a driver's side 7 of the
Kraftfahrzeugs 1 angeordnet ist und eine vierte Kamera 4 auf einer Beifahrerseite 8 des Kraftfahrzeugs 1 angeordnet ist. Mittels des Rundumsicht-Kamerasystems kann insbesondere der gesamte Umgebungsbereich 3 um das Kraftfahrzeug 1 herum in Bildern erfasst werden. Motor vehicle 1 is arranged and a fourth camera 4 is arranged on a passenger side 8 of the motor vehicle 1. By means of the all-round camera system, in particular, the entire surrounding area 3 around the motor vehicle 1 can be captured in images.
Das Fahrerassistenzsystem 2 umfasst hier außerdem eine Recheneinrichtung 9, welche dazu ausgebildet ist, anhand der von der Sensoreinrichtung S erfassten Sensordaten die Pose des Kraftfahrzeugs 1 , also eine Orientierung und eine Position des KraftfahrzeugsThe driver assistance system 2 here also comprises a computing device 9, which is designed to detect the pose of the motor vehicle 1, that is to say an orientation and a position of the motor vehicle, on the basis of the sensor data acquired by the sensor device S
I , bezüglich eines Objektes O (siehe Fig. 2) in dem Umgebungsbereich 3 des I, with respect to an object O (see FIG. 2) in the surrounding area 3 of FIG
Kraftfahrzeugs 1 zu bestimmen. Darüber hinaus ist das Fahrerassistenzsystem 2 dazu ausgelegt, die Pose des Kraftfahrzeugs 1 in dem Umgebungsbereich 3 durch Odometrie zu bestimmen. Dazu kann das Fahrerassistenzsystem 2 Daten eines Vortriebssystems des Kraftfahrzeugs 1 , beispielsweise eine Anzahl an Umdrehungen von Rädern 10 des Kraftfahrzeugs 1 und/oder Lenkwinkel des Kraftfahrzeugs 1 erfassen. Aufgrund von Fahrzeugparametern, beispielsweise aufgrund von sich verändernden und/oder fehlerhaft vorgegebenen Radgeometrien und Fahrstellgeometrien, kann es vorkommen, dass die Posenbestimmung mittels Odometrie fehlerbehaftet ist. Motor vehicle 1 to determine. In addition, the driver assistance system 2 is designed to determine the pose of the motor vehicle 1 in the surrounding area 3 by odometry. For this purpose, the driver assistance system 2 can record data of a propulsion system of the motor vehicle 1, for example a number of revolutions of wheels 10 of the motor vehicle 1 and / or steering angle of the motor vehicle 1. Due to vehicle parameters, for example, due to changing and / or incorrectly given wheel geometries and Fahrwerkgeometrien, it may happen that the pose determination by means of odometry is faulty.
Zunächst werden von der Sensoreinrichtung S erste Sensordaten aus dem First of the sensor device S first sensor data from the
Umgebungsbereich 3 des Kraftfahrzeugs 1 erfasst. Solche erste Sensordaten sind in Fig. 2 in Form von einem ersten Kamerabild 1 1 der in dem Frontbereich 5 des Kraftfahrzeugs 1 angeordneten Kamera 4 gezeigt. Das Kraftfahrzeug 1 befindet sich auf einer Fahrbahn 12 und erfasst während einer Fahrt zu einem ersten Messzeitpunkt das erste KamerabildSurrounding area 3 of the motor vehicle 1 detected. Such first sensor data are shown in FIG. 2 in the form of a first camera image 11 of the camera 4 arranged in the front region 5 of the motor vehicle 1. The motor vehicle 1 is located on a roadway 12 and detects the first camera image during a journey at a first measurement time
I I . Die Kamera 4 kann beispielsweise ein Fischaugenobjektiv aufweisen, wodurch sich die in Fig. 2 gezeigte perspektivische Verzerrung in dem Kamerabild 1 1 ergibt. I i. The camera 4 may, for example, have a fisheye lens, resulting in the perspective distortion shown in FIG. 2 in the camera image 1 1.
In dem ersten Kamerabild 1 1 befinden sich Abbilder von Objekten O, wobei die Objekte O im vorliegenden Fall als geparkte, andere Fahrzeuge 13 und als ein Haus 14 ausgebildet sind. Die Objekte O sind dabei insbesondere zumindest temporär stationäre beziehungsweise unbewegliche Objekte. Die Recheneinrichtung 9 ist dazu ausgelegt, die Objekte O in dem von der Kamera 4 erfassten Kamerabild 1 1 zu erkennen und zumindest ein objektspezifisches Merkmal M an den Objekten O zu identifizieren. Das jeweilige objektspezifische Merkmal ist einem Objekt O insbesondere eindeutig zuordenbar. Im vorliegenden Fall wird als das objektspezifische Merkmal M der geparkten Fahrzeuge 13 jeweils ein Kennzeichenschild 15 beziehungsweise Nummernschild identifiziert und als das objektspezifischen Merkmal M des Hauses 14 ein Hausnummernschild 16 In the first camera image 1 1 are images of objects O, the objects O are formed in this case as parked, other vehicles 13 and as a house 14. The objects O are in particular at least temporarily stationary or immovable objects. The computing device 9 is designed to recognize the objects O in the camera image 1 1 detected by the camera 4 and to identify at least one object-specific feature M on the objects O. The respective object-specific feature can be clearly assigned to an object O, in particular. In the present case, a license plate 15 or license plate is identified as the object-specific feature M of the parked vehicles 13 and a house number plate 16 as the object-specific feature M of the house 14
identifiziert. identified.
Zum Identifizieren des Kennzeichenschildes 15 und/oder des Hausnummernschildes 16 kann das aufgenommene Bild 1 1 von der Recheneinrichtung 9 einer Mustererkennung hinsichtlich Ecken und Kanten des Kennzeichenschildes 15 und/oder des Hausnummernschildes 16 unterzogen werden. Es kann somit im aufgenommenen Bild 1 1 nach einem Rechteck beziehungsweise einem Trapez gesucht werden. Diese Methode der Erkennung eines des Kennzeichenschildes 15 und/oder des Hausnummernschildes 16 ist einerseits besonders zuverlässig und andererseits auch relativ leicht zu realisieren. Bei der Erkennung des Kennzeichenschildes 15 und/oder des Hausnummernschildes 16 können zunächst seine Kanten erkannt werden, und anhand der Kanten können dann die Ecken des Kennzeichenschildes 15 und/oder des Hausnummernschildes 16 identifiziert werden. Die Erkennung der Kanten kann mittels einer bekannten Kantenerkennungsmethode erfolgen, nach welcher im aufgenommenen Bild 1 1 nach Farbübergängen - beispielsweise von schwarz zu weiß - gesucht wird. Wurden die Kanten erkannt, so ergeben sich auch die Ecken des Kennzeichenschildes 15 und/oder des Hausnummernschildes 16. Nach Erkennen des Kennzeichenschildes 15 und/oder des Hausnummernschildes 16 kann die Erkennung plausibilisiert werden, indem eine Länge des Abbilds des Kennzeichenschildes 15 und/oder des Hausnummernschildes 16 mit seiner Breite ins Verhältnis gesetzt wird, und geprüft wird, ob dieses Verhältnis in einem vorgegebenen Wertebereich liegt. Somit kann das Kennzeichenschild 15 und/oder des Hausnummernschildes 16 von anderen Rechtecken unterschieden werden, da insbesondere bei Kennzeichenschildern sowohl die Länge als auch die Breite fest vorgegeben sind und somit eine genormte Größe darstellen. To identify the license plate 15 and / or the house number plate 16, the captured image 1 1 of the arithmetic unit 9 of a pattern recognition in terms of corners and edges of the license plate 15 and / or the house number plate 16 are subjected. It can thus be searched in the recorded image 1 1 for a rectangle or a trapezoid. This method of detecting one of the license plate 15 and / or the house number plate 16 is on the one hand particularly reliable and on the other hand also relatively easy to implement. When recognizing the license plate 15 and / or the house number plate 16, first its edges can be detected, and based on the edges then the corners of the license plate 15 and / or the house number plate 16 can be identified. The detection of the edges can be done by means of a known edge detection method, according to which in the recorded image 1 1 for color transitions - for example, from black to white - is searched. If the edges have been detected, then the corners of the license plate 15 and / or the house number plate 16. After recognition of the license plate 15 and / or the house number plate 16, the detection can be made plausible by a length of the image of the license plate 15 and / or House number plate 16 is set in relation to its width, and it is checked whether this ratio is within a predetermined range of values. Thus, the license plate 15 and / or the house number plate 16 can be distinguished from other rectangles, since both the length and the width are fixed in particular for license plates and thus represent a standard size.
Außerdem ist die Recheneinrichtung 9 dazu ausgelegt, anhand der objektspezifischen Merkmale M eine jeweilige erste Pose des Kraftfahrzeugs 1 zu den objektspezifischen Merkmalen M zu bestimmen. Die erste Pose entspricht derjenigen Pose, welche das Kraftfahrzeug 1 beim Erfassen des ersten Kamerabildes 1 1 zu dem objektspezifischen Merkmal M innehat. Zum Bestimmen der Orientierung anhand des Abbilds des Kennzeichenschildes 15 und/oder des Hausnummernschildes 16 können Längskanten des Kennzeichenschildes 15 und/oder des Hausnummernschildes 16 im Bild 1 1 identifiziert werden und ein Winkel zwischen den Längskanten ermittelt werden. In Abhängigkeit von dem Winkel kann dann die Orientierung bestimmt werden, da der Winkel ein Maß für einen Orientierungswinkel des benachbarten Fahrzeugs 13 und/oder des Hauses 14 bezüglich des Kraftfahrzeugs 1 darstellt. Basierend auf der In addition, the computing device 9 is designed to use the object-specific features M to determine a respective first pose of the motor vehicle 1 relative to the object-specific features M. The first pose corresponds to the pose which the motor vehicle 1 has when capturing the first camera image 11 to the object-specific feature M. For determining the orientation on the basis of the image of License plate 15 and / or the house number plate 16 longitudinal edges of the license plate 15 and / or the house number plate 16 in Figure 1 1 can be identified and an angle between the longitudinal edges are determined. Depending on the angle, the orientation can then be determined, since the angle represents a measure of an orientation angle of the adjacent vehicle 13 and / or the house 14 with respect to the motor vehicle 1. Based on the
Posenbestimmung bezüglich der objektspezifischen Merkmale M kann das SLAM- Verfahren durchgeführt werden, indem die Objekte O und das Kraftfahrzeug in der insbesondere zweidimensionalen Umgebungskarte abgebildet werden. Dabei kann das Kraftfahrzeug 1 beispielsweise im Ursprung eines zweidimensionalen Posenbestimmung with respect to the object-specific features M, the SLAM method can be performed by the objects O and the motor vehicle are mapped in the particular two-dimensional map of the environment. In this case, the motor vehicle 1, for example, in the origin of a two-dimensional
Koordinatensystems, in welchem die Umgebungskarte bestimmt wird, positioniert werden, wobei sich Positionen der Objekte O in der zweidimensionalen Umgebungskarte durch die anhand des Kamerabildes 1 1 durchgeführten Posenbestimmung ergeben. Coordinate system, in which the environment map is determined to be positioned, resulting in positions of the objects O in the two-dimensional map of the environment by the carried out on the basis of the camera image 1 1 Posenbestimmung.
Darüber hinaus kann die Recheneinrichtung 9 jedem Objekt O anhand des In addition, the computing device 9 each object O based on the
objektspezifischen Merkmals M eine eindeutige Identifikationsnummer beziehungsweise ID zuordnen und diese in einer fahrzeugseitigen Speichereinrichtung hinterlegen. Dabei kann es vorteilhaft sein, die Nummern beziehungsweise Ziffern und Buchstaben des Nummernschildes 15 zu erkennen und anhand derer eine eindeutige Object-specific feature M assign a unique identification number or ID and deposit them in a vehicle-mounted storage device. It may be advantageous to recognize the numbers or numbers and letters of the license plate 15 and based on which a unique
Identifikationsnummer beziehungsweise ID passend zum geparkten Fahrzeug 13 erstellt wird. Wenn das Nummernschild 15 nochmals detektiert und erkannt wird, wird über diese ID die Information bereitgestellt, dass es sich um dasselbe Nummernschild 15 desselben Fahrzeugs 13 handelt. Wichtig ist diese Information vor allem dann, wenn nur Teile des Nummerschildes erkannt wurden und sich damit eine Streuung ergibt, wenn das gleiche Nummerschild 15 zwar immer wieder, jedoch an unterschiedlichen Positionen erkannt beziehungsweise detektiert wird. Diese Streuung kann damit eingedämmt werden, um schneller mit dem SLAM zu konvergieren. Des Weiteren kann beispielsweise nur eine Ziffer herausgriffen werden, welche erkannt werden soll, um den SLAM zu berechnen, wodurch weniger Detektionspunkte notwendig sind, um einen SLAM zu berechnen, und wodurch Laufzeit eingespart werden kann. Identification number or ID matching the parked vehicle 13 is created. When the license plate 15 is detected and recognized again, the information that this is the same license plate 15 of the same vehicle 13 is provided through this ID. This information is especially important if only parts of the number plate were recognized and thus results in a scattering, if the same number plate 15 is recognized and detected again and again, but at different positions. This dispersion can thus be contained in order to converge faster with the SLAM. Furthermore, for example, only one digit can be picked out, which is to be detected to calculate the SLAM, whereby fewer detection points are necessary to calculate a SLAM, and thus run time can be saved.
Auch kann die Recheneinrichtung 9 eine Ziffer auf dem Hausnummernschild 16 erkennen und diese, insbesondere gemeinsam mit einer Straße, in welcher sich das Haus 14 befindet, einer spezifischen Identifikationsnummer zuordnen. Die Straße kann Also, the computing device 9 can recognize a number on the house number plate 16 and assign it, in particular together with a street in which the house 14 is located, a specific identification number. The road can
beispielsweise anhand eines Navigationssystems des Kraftfahrzeugs 1 bestimmt werden, durch welches das Kraftfahrzeug 1 global lokalisiert wird. Dann wird zu einem zweiten Messzeitpunkt ein weiteres zweites Kamerabild als zweite Sensordaten des Umgebungsbereiches 3 von der Kamera 4 aufgenommen. Wenn nun das Kraftfahrzeug 1 erneut an den Objekten O vorbeifährt, beispielsweise weil sich das Kraftfahrzeug 1 auf Parkplatzsuche befindet, so befinden sich auch die Abbilder der Objekte O in dem weiteren Kamerabild. Die Recheneinrichtung 9 kann nun das weitere zweite Bild nach den Objekten O durchsuchen, indem die Recheneinrichtung 9 das weitere Bild nach den objektspezifischen Merkmalen M durchsucht. Wenn die For example, be determined by a navigation system of the motor vehicle 1, by which the motor vehicle 1 is located globally. Then, at a second measuring time, a further second camera image is taken by the camera 4 as second sensor data of the surrounding area 3. Now, if the motor vehicle 1 again passes by the objects O, for example because the motor vehicle 1 is in search of a parking space, the images of the objects O are also located in the further camera image. The computing device 9 can now search the further second image for the objects O by the computing device 9 searches the further image for the object-specific features M. If the
Recheneinrichtung 9 das objektspezifische Merkmal M, beispielsweise eines der Computing 9, the object-specific feature M, for example, one of
Nummernschilder 15, in dem weiteren Bild erkannt hat, so wird auch das Objekt O, also das zugehörige Fahrzeug 13, eindeutig wiedererkannt und eine zweite Pose des License plates 15, has recognized in the further picture, so the object O, so the associated vehicle 13, clearly recognized and a second pose of the
Kraftfahrzeugs 1 zu dem Objekt O bestimmt. Dabei kann vorgesehen sein, dass die Recheneinrichtung 9 das weitere Kamerabild nur dann nach den objektspezifischen Merkmalen M durchsucht, wenn anhand des Navigationssystems des Kraftfahrzeugs 1 erkannt wurde, dass sich das Kraftfahrzeug 1 bei der Aufnahme des zweiten Motor vehicle 1 to the object O determined. It can be provided that the computing device 9 searches the further camera image for the object-specific features M only if it was detected by means of the navigation system of the motor vehicle 1 that the motor vehicle 1 during the recording of the second
Kamerabildes in etwa in etwa dem gleichen Umgebungsbereich 3 befindet wie bei der Aufnahme des ersten Kamerabildes 1 1 . Camera image is located approximately in about the same surrounding area 3 as in the recording of the first camera image 1 1.
Diese zweite Pose wird mit einer Pose verglichen, welche durch die Recheneinrichtung 9 mittels Odometrie bestimmt wird. Die mittels Odometrie bestimmte Pose ergibt sich dabei aus der Strecke, welche das Kraftfahrzeug 1 seit der Erfassung des ersten Bildes 1 1 bis zur Erfassung des weiteren Bildes zurückgelegt hat. Anders ausgedrückt wird ausgehend von der ersten Pose anhand von Odometriedaten beziehungsweise Daten des This second pose is compared with a pose which is determined by the computing device 9 by means of odometry. The pose determined by means of odometry results from the route which the motor vehicle 1 has traveled since the acquisition of the first image 11 until the acquisition of the further image. In other words, starting from the first pose using odometry data or data of the
Vortriebssystems des Kraftfahrzeugs 1 , beispielsweise einer Anzahl an Radumdrehungen und/oder eines Lenkwinkels, die zurückgelegte Strecke bestimmt und das Ende der Strecke als die Pose bestimmt, mit welcher die zweite Pose verglichen wird. Es wird also ein Odometrieabgleich durchgeführt. Falls kein Odometriefehler vorliegt, also falls die zugrunde gelegten und erfassten Odometriedaten den aktuellen, realen Daten Propulsion system of the motor vehicle 1, for example, a number of wheel revolutions and / or a steering angle, determines the distance covered and determines the end of the route as the pose with which the second pose is compared. So it is carried out an odometry adjustment. If there is no odometry error, ie if the underlying and recorded odometry data is the current, real data
entsprechen, müsste die mittels Odometrie bestimmte Pose mit der zweiten Pose übereinstimmen. Falls die beiden Posen nicht übereinstimmen, so wird ein would match the pose determined by odometry with the second pose. If the two poses do not match, then one becomes
Odometriefehler erkannt. Basierend auf der Größe der Abweichung kann ein Odometry error detected. Based on the size of the deviation can be a
Korrekturfaktor bestimmt werden, mittels welchem bei der Positionsbestimmung des Kraftfahrzeugs mittels Odometrie der Odometriefehler korrigiert werden kann. Correction factor can be determined by means of which the odometry error can be corrected during the position determination of the motor vehicle by means of odometry.
Außerdem kann die Recheneinrichtung 9 hier anhand der bestimmten Pose des In addition, the computing device 9 here based on the specific pose of the
Kraftfahrzeugs 1 zu dem Kennzeichenschild 15 eines der Fahrzeuge 13 und anhand von zumindest einer vorbestimmten geometrischen Abmessung des geparkten Fahrzeugs 13 eine geometrische Abmessung 17 einer Parklücke 18 des Kraftfahrzeugs 1 bestimmen. Anhand einer Länge des Fahrzeugs 13 kann die Recheneinrichtung 9 als die geometrische Abmessung 17 insbesondere eine Tiefe der Parklücke 18 erkennen. Basierend auf der Umgebungskarte sowie den korrigierten Odometriedaten kann das Fahrerassistenzsystem 2 dann beispielsweise einen zumindest semiautonomen Parkvorgang für das Kraftfahrzeug 1 in die Parklücke 18 bereitstellen beziehungsweise durchführen. Motor vehicle 1 to the license plate 15 of one of the vehicles 13 and based on at least one predetermined geometric dimension of the parked vehicle thirteenth determine a geometric dimension 17 of a parking space 18 of the motor vehicle 1. Based on a length of the vehicle 13, the computing device 9 can recognize, in particular, a depth of the parking space 18 as the geometric dimension 17. Based on the environment map and the corrected odometry data, the driver assistance system 2 can then provide or perform, for example, an at least semi-autonomous parking process for the motor vehicle 1 in the parking space 18.

Claims

Patentansprüche claims
1 . Verfahren zum Betreiben eines Fahrerassistenzsystems (2) eines Kraftfahrzeugs (1 ) durch 1 . Method for operating a driver assistance system (2) of a motor vehicle (1)
- Erkennen eines Objektes (O) in durch eine fahrzeugseitige Sensoreinrichtung (S) aus einem Umgebungsbereich (3) des Kraftfahrzeugs (1 ) erfassten ersten Sensordaten und Identifizieren eines objektspezifischen Merkmals (M) an dem Objekt (O) in den ersten Sensordaten;  Detecting an object (O) in first sensor data detected by a vehicle-side sensor device (S) from a surrounding area (3) of the motor vehicle (1) and identifying an object-specific feature (M) on the object (0) in the first sensor data;
- Bestimmen einer ersten Pose des Kraftfahrzeugs (1 ) zu dem objektspezifischen Merkmal (M) anhand des objektspezifischen Merkmals (M);  Determining a first pose of the motor vehicle (1) to the object-specific feature (M) on the basis of the object-specific feature (M);
gekennzeichnet durch  marked by
- Wiedererkennen des Objektes (O) in durch die Sensoreinrichtung (S) erfassten zweiten Sensordaten anhand des objektspezifischen Merkmals (M);  Recognizing the object (O) in second sensor data acquired by the sensor device (S) on the basis of the object-specific feature (M);
- Bestimmen einer zweiten Pose des Kraftfahrzeugs (1 ) zu dem  - Determining a second pose of the motor vehicle (1) to the
objektspezifischen Merkmal (M) anhand des objektspezifischen Merkmals (M) ; object-specific feature (M) based on the object-specific feature (M);
- Bestimmen einer durch eine Bewegung des Kraftfahrzeugs (1 ) zwischen der Erfassung der ersten und der zweiten Sensordaten resultierenden Pose des Kraftfahrzeugs (1 ) zu dem objektspezifischen Merkmal (M) mittels Odometrie;Determining a pose of the motor vehicle (1) resulting from a movement of the motor vehicle (1) between the detection of the first and the second sensor data to the object-specific feature (M) by means of odometry;
- Erkennen eines Odometriefehlers, falls eine Abweichung zwischen der resultierenden Pose und der zweiten Pose einen vorbestimmten Schwellwert überschreitet. Detecting an odometry error if a deviation between the resulting pose and the second pose exceeds a predetermined threshold.
2. Verfahren nach Anspruch 1 , 2. The method according to claim 1,
dadurch gekennzeichnet, dass  characterized in that
bei Vorliegen des Odometriefehlers ein Korrekturwert zum Kompensieren des Odometriefehlers anhand der zweiten Pose bestimmt wird.  in the presence of the odometry error, a correction value for compensating the odometry error is determined based on the second pose.
3. Verfahren nach Anspruch 1 oder 2, 3. The method according to claim 1 or 2,
dadurch gekennzeichnet, dass  characterized in that
als die ersten und zweiten Sensordaten ein erstes und ein zweites Bild (1 1 ) von zumindest einer Kamera (4) des Kraftfahrzeugs (1 ) erfasst werden und/oder als die ersten und zweiten Sensordaten erste und zweite Laserscannerdaten von zumindest einem Laserscanner des Kraftfahrzeugs (1 ) erfasst werden. as the first and second sensor data, a first and a second image (11) of at least one camera (4) of the motor vehicle (1) are detected and / or as the first and second sensor data first and second laser scanner data from at least one laser scanner of the motor vehicle ( 1).
4. Verfahren nach einem der vorhergehenden Ansprüche, 4. The method according to any one of the preceding claims,
dadurch gekennzeichnet, dass  characterized in that
als das Objekt (O) ein stationäres Objekt erfasst wird.  as the object (O) a stationary object is detected.
5. Verfahren nach einem der vorhergehenden Ansprüche, 5. The method according to any one of the preceding claims,
dadurch gekennzeichnet, dass  characterized in that
nach Identifizieren des objektspezifischen Merkmals (M) dem Objekt (O) eine Identifikationsnummer zugeordnet wird, welche in einer fahrzeugseitigen  after identifying the object-specific feature (M) the object (O) is assigned an identification number which in a vehicle-side
Speichereinrichtung hinterlegt wird.  Storage device is deposited.
6. Verfahren nach einem der vorhergehenden Ansprüche, 6. The method according to any one of the preceding claims,
dadurch gekennzeichnet, dass  characterized in that
die zweiten Sensordaten zum Wiedererkennen des Objektes (O) nur dann nach dem objektspezifischen Merkmal (M) durchsucht werden, falls anhand von Daten eines Navigationssystems des Kraftfahrzeugs (1 ) erfasst wurde, dass der  the second sensor data for recognizing the object (O) are only searched for the object-specific feature (M), if it was detected on the basis of data of a navigation system of the motor vehicle (1) that the
Umgebungsbereich (3), aus welchem die ersten Sensordaten erfasst wurden, und der Umgebungsbereich (3), aus welchem die zweiten Sensordaten erfasst wurden; zumindest bereichsweise überlappen.  Surrounding area (3) from which the first sensor data was detected, and the surrounding area (3) from which the second sensor data was acquired; at least partially overlap.
7. Verfahren nach einem der vorhergehenden Ansprüche, 7. The method according to any one of the preceding claims,
dadurch gekennzeichnet, dass  characterized in that
als das Objekt (O) ein geparktes anderes Fahrzeug (13) erkannt wird und als das objektspezifische Merkmal (M) ein Kraftfahrzeugkennzeichen (15), insbesondere zumindest ein alphanumerisches Zeichen des Kraftfahrzeugkennzeichnens (15), identifiziert wird.  as the object (O) a parked other vehicle (13) is detected and as the object-specific feature (M) a motor vehicle license plate (15), in particular at least one alphanumeric character of the motor vehicle license plate (15) is identified.
8. Verfahren nach Anspruch 7, 8. The method according to claim 7,
dadurch gekennzeichnet, dass  characterized in that
anhand der ersten und/oder der zweiten Pose des Kraftfahrzeugs (1 ) bezüglich des Kraftfahrzeugkennzeichens (15) und anhand von vorbestimmten, das geparkte Fahrzeug (13) beschreibenden Geometriedaten zumindest eine geometrische Abmessung (17) einer an das geparkte Fahrzeug (13) angrenzenden Parklücke (18) für das Kraftfahrzeug (1 ) bestimmt wird. at least one geometric dimension (17) of a parking space adjacent to the parked vehicle (13) on the basis of the first and / or the second pose of the motor vehicle (1) with respect to the motor vehicle license plate (15) and based on predetermined geometric data describing the parked vehicle (13) (18) for the motor vehicle (1) is determined.
9. Verfahren nach einem der vorhergehenden Ansprüche, 9. The method according to any one of the preceding claims,
dadurch gekennzeichnet, dass  characterized in that
als das Objekt (O) ein Kilometerstein erkannt wird und als das objektspezifische Merkmal (M) eine Kilometerangabe auf dem Kilometerstein identifiziert wird.  as the object (O) a milestone is recognized and identified as the object-specific feature (M) is a kilometer on the milestone.
10. Verfahren nach Anspruch 9, 10. The method according to claim 9,
dadurch gekennzeichnet, dass  characterized in that
in dritten Sensordaten ein weiterer Kilometerstein erkannt wird und eine weitere Kilometerangabe auf dem weiteren Kilometerstein erfasst wird, anhand der Kilometerangaben auf den Kilometersteinen ein Abstand zwischen den  in third sensor data a further milestone is detected and a further mileage is recorded on the further milestone, based on the mileage on the milestones a distance between the
Kilometersteinen bestimmt wird, eine zwischen den zwei Kilometersteinen von dem Kraftfahrzeug (1 ) zurückgelegte Strecke mittels Odometrie erfasst wird und der Odometriefehler erkannt wird, falls eine weitere Abweichung zwischen dem Abstand und der zurückgelegten Strecke einen weiteren vorbestimmten Schwellwert überschreitet.  Milestones is determined, a covered between the two milestones of the motor vehicle (1) distance is detected by odometry and the odometer error is detected if a further deviation between the distance and the distance traveled exceeds a further predetermined threshold.
1 1 . Verfahren nach einem der vorhergehenden Ansprüche, 1 1. Method according to one of the preceding claims,
dadurch gekennzeichnet, dass  characterized in that
als das Objekt (O) ein Haus (14) erkannt wird und als das objektspezifische Merkmal (M) ein Hausnummernschild (16), insbesondere zumindest eine Ziffer auf dem Hausnummernschild (16), identifiziert wird.  as the object (O) a house (14) is recognized and as the object-specific feature (M) a house number plate (16), in particular at least one digit on the house number plate (16) is identified.
12. Recheneinrichtung (9) für ein Fahrerassistenzsystem (2) eines Kraftfahrzeugs (1 ), welche dazu ausgelegt ist, ein Verfahren nach einem der vorhergehenden 12. computing device (9) for a driver assistance system (2) of a motor vehicle (1), which is adapted to a method according to one of the preceding
Ansprüche durchzuführen.  Perform claims.
13. Fahrerassistenzsystem (2) für ein Kraftfahrzeug (1 ) mit einer Sensoreinrichtung (S) zum Erfassen eines Umgebungsbereiches (3) des Kraftfahrzeugs (1 ) und mit einer Recheneinrichtung (9) nach Anspruch 12. 13. Driver assistance system (2) for a motor vehicle (1) with a sensor device (S) for detecting an environmental region (3) of the motor vehicle (1) and with a computing device (9) according to claim 12.
14. Kraftfahrzeug (1 ) mit einem Fahrerassistenzsystem (2) nach Anspruch 13. 14. Motor vehicle (1) with a driver assistance system (2) according to claim 13.
PCT/EP2017/057405 2016-04-15 2017-03-29 Method for operating a driver assistance system of a motor vehicle, computing device, driver assistance system, and motor vehicle WO2017178232A1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102016106978.7 2016-04-15
DE102016106978.7A DE102016106978A1 (en) 2016-04-15 2016-04-15 Method for operating a driver assistance system of a motor vehicle, computing device, driver assistance system and motor vehicle

Publications (1)

Publication Number Publication Date
WO2017178232A1 true WO2017178232A1 (en) 2017-10-19

Family

ID=58503573

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2017/057405 WO2017178232A1 (en) 2016-04-15 2017-03-29 Method for operating a driver assistance system of a motor vehicle, computing device, driver assistance system, and motor vehicle

Country Status (2)

Country Link
DE (1) DE102016106978A1 (en)
WO (1) WO2017178232A1 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110555801A (en) * 2019-07-26 2019-12-10 纵目科技(上海)股份有限公司 Correction method, terminal and storage medium for track deduction
WO2021156091A1 (en) * 2020-02-04 2021-08-12 Volkswagen Aktiengesellschaft Method and device for determining the position of a vehicle

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102018101388A1 (en) 2018-01-23 2019-07-25 Valeo Schalter Und Sensoren Gmbh Correct a position of a vehicle with SLAM
DE102019214345B4 (en) * 2018-12-20 2022-08-25 Volkswagen Aktiengesellschaft Method for detecting misalignment of at least one sensor of a motor vehicle
DE102019120440A1 (en) * 2019-07-29 2021-02-04 Bayerische Motoren Werke Aktiengesellschaft Method and system for the automated creation of object markings for use in a driver assistance system of a vehicle

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040167667A1 (en) * 2002-12-17 2004-08-26 Goncalves Luis Filipe Domingues Systems and methods for filtering potentially unreliable visual data for visual simultaneous localization and mapping
US20120078510A1 (en) * 2010-09-24 2012-03-29 Honeywell International Inc. Camera and inertial measurement unit integration with navigation data feedback for feature tracking
DE102010056217A1 (en) 2010-12-24 2012-06-28 Valeo Schalter Und Sensoren Gmbh Method for operating a driver assistance system in a motor vehicle, driver assistance system and motor vehicle
DE102011082478A1 (en) * 2011-09-12 2013-03-14 Robert Bosch Gmbh Method, system and device for locating a vehicle relative to a predefined reference system
DE102011118161B3 (en) * 2011-11-10 2013-03-28 Audi Ag Method for determining position
DE102014111011A1 (en) * 2014-08-04 2016-02-04 Valeo Schalter Und Sensoren Gmbh Method for determining a parking area for parking a motor vehicle, driver assistance system and motor vehicle

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102011077555A1 (en) * 2011-06-15 2012-12-20 Robert Bosch Gmbh Retrofit kit for park guidance
DE102011054379B4 (en) * 2011-10-11 2013-11-07 Deutsches Zentrum für Luft- und Raumfahrt e.V. Method and device for determining position information
US9251587B2 (en) * 2013-04-05 2016-02-02 Caterpillar Inc. Motion estimation utilizing range detection-enhanced visual odometry

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040167667A1 (en) * 2002-12-17 2004-08-26 Goncalves Luis Filipe Domingues Systems and methods for filtering potentially unreliable visual data for visual simultaneous localization and mapping
US20120078510A1 (en) * 2010-09-24 2012-03-29 Honeywell International Inc. Camera and inertial measurement unit integration with navigation data feedback for feature tracking
DE102010056217A1 (en) 2010-12-24 2012-06-28 Valeo Schalter Und Sensoren Gmbh Method for operating a driver assistance system in a motor vehicle, driver assistance system and motor vehicle
DE102011082478A1 (en) * 2011-09-12 2013-03-14 Robert Bosch Gmbh Method, system and device for locating a vehicle relative to a predefined reference system
DE102011118161B3 (en) * 2011-11-10 2013-03-28 Audi Ag Method for determining position
DE102014111011A1 (en) * 2014-08-04 2016-02-04 Valeo Schalter Und Sensoren Gmbh Method for determining a parking area for parking a motor vehicle, driver assistance system and motor vehicle

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110555801A (en) * 2019-07-26 2019-12-10 纵目科技(上海)股份有限公司 Correction method, terminal and storage medium for track deduction
WO2021156091A1 (en) * 2020-02-04 2021-08-12 Volkswagen Aktiengesellschaft Method and device for determining the position of a vehicle

Also Published As

Publication number Publication date
DE102016106978A1 (en) 2017-10-19

Similar Documents

Publication Publication Date Title
DE102015203016B4 (en) Method and device for optical self-localization of a motor vehicle in an environment
DE102015209467A1 (en) Method of estimating lanes
WO2017178232A1 (en) Method for operating a driver assistance system of a motor vehicle, computing device, driver assistance system, and motor vehicle
DE102008026397B4 (en) Radar, lidar, and camera-assisted vehicle dynamics estimation methods
DE102018115813A1 (en) METHOD AND SYSTEMS FOR LOCATING A VEHICLE
DE102018114808A1 (en) Method for the automatic lateral guidance of a following vehicle in a vehicle platoon
DE102013021326A1 (en) Method for detecting a marking applied to a ground, driver assistance device and motor vehicle
DE102016223422A1 (en) Method for automatically determining extrinsic parameters of a camera of a vehicle
WO2017134228A1 (en) Method for assisting autonomous travel of a motor vehicle, control device and parking assistance system
DE102017011177A1 (en) Method for determining a bending angle of a vehicle combination, determination device and vehicle combination
DE102016003261A1 (en) Method for self-localization of a vehicle in a vehicle environment
DE102014111012A1 (en) A method for assisting a driver of a motor vehicle when parking out, driver assistance system and motor vehicle
DE102018115317A1 (en) Method and driving support system for operating a vehicle or for assisting a driver of the vehicle using lane information
DE102018221864A1 (en) Method and system for determining a trajectory of a vehicle
EP1724726B1 (en) Method and apparatus for measuring a parking space with a single camera
DE102016209242B4 (en) UNIT SETTING DEVICE AND UNIT SETTING PROCEDURE
DE102010056217A1 (en) Method for operating a driver assistance system in a motor vehicle, driver assistance system and motor vehicle
DE102013001867A1 (en) Method for determining orientation and corrected position of motor vehicle, involves registering features of loaded and recorded environmental data by calculating transformation and calculating vehicle orientation from transformation
DE102016009756A1 (en) Method for calibrating a sensor system of a motor vehicle and sensor system
DE102018104963A1 (en) A method of assisting a user of a motor vehicle when parking in a parking lot, corresponding computer program product, support system and motor vehicle
DE102019213930B4 (en) Method for optimizing the detection of surroundings in a vehicle
DE102011111856B4 (en) Method and device for detecting at least one lane in a vehicle environment
DE102020111471A1 (en) Method and system for image recognition for an automated vehicle
EP2172826B1 (en) Device and method of determining the course of a lane
DE102018120966A1 (en) Method for recognizing a part of a trailer and trailer detection system for a towing vehicle

Legal Events

Date Code Title Description
NENP Non-entry into the national phase

Ref country code: DE

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17716146

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 17716146

Country of ref document: EP

Kind code of ref document: A1