WO2019063416A1 - Verfahren und einrichtung zum betreiben eines fahrerassistenzsystems sowie fahrerassistenzsystem und kraftfahrzeug - Google Patents

Verfahren und einrichtung zum betreiben eines fahrerassistenzsystems sowie fahrerassistenzsystem und kraftfahrzeug Download PDF

Info

Publication number
WO2019063416A1
WO2019063416A1 PCT/EP2018/075500 EP2018075500W WO2019063416A1 WO 2019063416 A1 WO2019063416 A1 WO 2019063416A1 EP 2018075500 W EP2018075500 W EP 2018075500W WO 2019063416 A1 WO2019063416 A1 WO 2019063416A1
Authority
WO
WIPO (PCT)
Prior art keywords
movement
motion
living
equation
motor vehicle
Prior art date
Application number
PCT/EP2018/075500
Other languages
English (en)
French (fr)
Inventor
Christian FEIST
Jörn Thielecke
Florian PARTICKE
Lucila Patino-Studencki
Original Assignee
Audi Ag
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Audi Ag filed Critical Audi Ag
Priority to US16/632,610 priority Critical patent/US20200211395A1/en
Priority to CN201880050181.5A priority patent/CN111033510B/zh
Publication of WO2019063416A1 publication Critical patent/WO2019063416A1/de

Links

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/09—Taking automatic action to avoid collision, e.g. braking and steering
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095—Predicting travel path or likelihood of collision
    • B60W30/0956—Predicting travel path or likelihood of collision the prediction being responsive to traffic or environmental parameters
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0027—Planning or execution of driving tasks using trajectory prediction for other traffic participants
    • B60W60/00274—Planning or execution of driving tasks using trajectory prediction for other traffic participants considering possible movement changes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/2431—Multiple classes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/402—Type
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/402—Type
    • B60W2554/4029—Pedestrians
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/404—Characteristics
    • B60W2554/4041—Position
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/404—Characteristics
    • B60W2554/4042—Longitudinal speed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/404—Characteristics
    • B60W2554/4043—Lateral speed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/404—Characteristics
    • B60W2554/4049—Relationship among other objects, e.g. converging dynamic objects
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/45—External transmission of data to or from the vehicle
    • B60W2556/50—External transmission of data to or from the vehicle of positioning data, e.g. GPS [Global Positioning System] data

Definitions

  • the invention relates to a method for operating a driver assistance system of a motor vehicle, in which a movement of at least one living object in an environment of the motor vehicle is pradiate. Furthermore, the invention relates to a device for carrying out the method as well as a driver assistance system and a motor vehicle.
  • driver assistance systems such as a navigation system or cruise control.
  • Some of these driver assistance systems are also designed to protect vehicle occupants and other road users. These can assist a driver of the motor vehicle in certain dangerous situations.
  • a collision detector usually recognizes the distance, and in other words also the speed difference, to other vehicles via camera or via radar or lidar sensor, and warns the driver if the danger of a collision is detected.
  • driver assistance systems which are designed to drive the motor vehicle at least partially autonomously or in certain cases even autonomously.
  • the deployment scenarios of autonomous driving are very limited, for example parking or driving situations with very well-defined framework conditions such as on motorways.
  • the motor vehicle must, by means of sensor units, detect the environment as accurately as possible to detect objects in the environment. The more accurately the motor vehicle "knows" the environment, the better, for example, accidents can be avoided.
  • DE 10 2014 215 372 A1 shows a driver assistance system of a motor vehicle with an environment camera and an image processing unit which is set up for processing the image data of the surrounding camera. is directed. Furthermore, the driver assistance system comprises an image evaluation unit, which is designed to evaluate the processed image data.
  • the object of the present invention is to provide a way to further reduce the risk of accidents.
  • the present invention is based on the recognition that while large and / or static objects are well recognized in the prior art, detection and monitoring of dynamic objects such as pedestrians is difficult. In particular, the resulting positive consequences in the operation of a driver assistance system are not yet exhausted. Thus, if the movement of pedestrians can be predicted and taken into account when operating a driver assistance system, the risk of accidents can be significantly reduced.
  • the invention is based on the fact that the findings can be used in predicting the movement of crowds on the movement of individual people and thus can be exploited particularly advantageous in the operation of a driver assistance system.
  • the invention accordingly provides a method for operating a driver assistance system of a motor vehicle by means of which a movement of at least one living object, in particular a pedestrian, in an environment of the motor vehicle is predicted.
  • movement models are stored, wherein a respective movement model describes at least one change of the movement of the living object which depends on a further object.
  • the living object and the at least one further object each belong to an object class.
  • the movement models are stored for combinations of the object classes.
  • measurement data relating to the surroundings of the motor vehicle are received.
  • a step c) of the method the at least one living object and the at least one further object in the surroundings of the motor vehicle are recognized, and a relative position of the objects relative to one another is determined on the basis of the received measurement data.
  • the object classes of the detected objects are identified.
  • for the at least one detected, living object in a first sub-step e) i. creates an equation of motion of the living object.
  • the equation of motion depends at least on the respective relative position of the living object relative to the at least one further object and the at least one motion model stored for the combination of the object classes of the living object and of the at least one further object identified in step d).
  • a second sub-step e) ii. is a movement of the living object based on the first sub-step e) i. predicted equation of motion predicates.
  • the driver assistance system is operated by incorporating the movement of the at least one living object predicted in step e), that is to say the prediction of the movement influences the behavior of the vehicle Driver assistance system.
  • a moving pedestrian will collide with the moving motor vehicle, for example brake assistance and / or course correction in at least partially autonomous driving.
  • the at least one living object is to be understood in particular as a pedestrian, for example, a distinction can be made between a child, an adult person and an elderly person. Also, for example, a person with a physical disability that limits the mobility of the person may be considered. In addition, it may be considered whether, for example, the child is traveling on a scooter and / or the adult is riding a bicycle or the like. Any combinations are possible. Furthermore, a living object may be an animal, such as a dog.
  • the at least one further object can be one of the previously mentioned objects, ie a living object and / or a group of living objects or another object such as a motor vehicle, a ball, a robot, an ATM and / or an entrance door.
  • a dynamic one that is one which can move itself, is assumed.
  • the further object may be a semi-static or a static object.
  • Each of the mentioned objects can each be assigned to or classified in an object class. Examples of object classes are: "adult pedestrian", "dog” or "motor vehicle”.
  • the movement models stored in step a) contain at least information as to how the living object reacts to one of the further objects, that is, what influence the respective further object exerts or can exert on the movement of the living object.
  • the movement model In the image of the "social force model", it speaks which force the further object exerts on the living object, in other words, the movement model characterizes the influence of an object, for example a dog, on the living object, for example a pedestrian Combinations deposited, for example, for the combination "pedestrian dog".
  • step a) a deposit of movement models for combinations of an object class of at least one living object and one object class takes place at least one fed to another object, wherein the movement models each describe a change in movement of the object class of the respective movement model associated living object due to the object class of the respective movement model associated further object.
  • information can be stored in the respective movement model, which specifies, for example, certain limit values in the movement of the living object, such as a maximum speed of the living object and / or a maximum possible braking deceleration and / or a parameter describing free or force-free movement of the living object ,
  • free or force-free is to be understood as meaning that there is no influence on the movement of the living object by another object, that is to say that no force acts on the living object by another object.
  • These additional information characterizing the movement of the living object can be summarized as a dynamic of the living object. This dynamic is influenced by the at least one other object.
  • the influencing of the living object, for example of the pedestrian is based on the knowledge of the living object via the respective other object, and thus serves the pedestrian as a respective source of information which influences its dynamics.
  • the respective information source can be modeled and parameterized individually, ie without mutual influence.
  • a separation of the dynamics and the information sources takes place, which is signifiable as a boundary condition of the method according to the invention.
  • An intention is attributed to the living object which characterizes or influences its movement, for example a destination to be reached.
  • There is a parameterization of the dynamics and the least one other information source that is, the influence of the at least one other object by the motion model, resulting in particularly advantageous few parameters. This is advantageous in step e) of the method according to the invention in the creation of the equation of motion, because the method is thereby particularly easily scalable, for example.
  • step b) of the method according to the invention measurement data relating to the surroundings of the motor vehicle are received.
  • one or more images, in particular temporally successive images, may be at least one camera.
  • step c) for example by at least one suitable algorithm, objects in the measurement data, for example on at least one image, are detected.
  • the object, in particular the at least one living object and a position of the object in the surroundings of the motor vehicle is detected during detection.
  • a motion equation can be created in step e), which takes into account a change in the movement of the living object due to at least one further object, at least one further object should be recognized.
  • this further object its position is detected.
  • a relative position of the objects relative to one another is determined from the detected positions.
  • step d The identification of the object classes of the detected objects takes place in step d).
  • step e for the at least one detected living object whose movement is to be monitored, the motion equation is created in a first sub-step. This takes place as a function of the relative position of the living object relative to the at least one further object and the motion models stored for the combination of the object classes of the objects.
  • step e the movement of the living object is predicated on the basis of the generated equation of motion, that is to say one, in particular dynamic, direction of movement is optionally output at a speed and / or acceleration.
  • the respective movement model has been developed, for example, from empirical values of previous observations and does not have to have a general validity. So it is in In reality, it is possible for pedestrians to be occasionally attracted to a dog, even though the movement model predicts that pedestrians will generally stay away from a dog. Therefore, the respective movement model can additionally contain a probability for the occurrence of the reaction of the living object to the further object. By means of this probability, a respective weighting factor can be taken into account in the equation of motion, so that the respective movement models acting on the movement are detected as a function of their statistical appearance.
  • step f) of the method the driver assistance system is operated taking into account the movement of the at least one living object predicted in step e).
  • the driver assistance system can be operated particularly safely, for example, and collisions of the motor vehicle with the detected objects can be avoided.
  • the equation of motion and thus the prediction of the movement of the living object, in particular of a pedestrian is particularly advantageously possible and the driver assistance system can be operated particularly advantageously.
  • the inventive method provides the advantage that for the living object its own dynamics, which is influenced by the different sources of information, is taken into account.
  • the method is particularly efficient and scalable, since, for example, the respective information source is individually modeled and parameterized.
  • the dynamics are calculated independently of any other sources of information, whereby the method is scalable, in particular with regard to the information sources or movement models to be used. A skilful choice of the movement models is followed by a particularly good parameterization possibility, which leads in particular to an improved overall result in the prediction of the movement of the living object.
  • a further advantage of the method is that a prediction of the movement of the living object is already possible with a single set of measurement data characterizing the surroundings of the motor vehicle, for example an image at a first time.
  • the equation of motion in step e) is additionally determined as a function of a respective object orientation, the latter being determined in step c).
  • Object orientation is understood to mean an orientation of the object in space or a spatial orientation of the object in the environment. Based on the object orientation of the living object, its intention can be estimated very well by the method. By incorporating the object orientation, the equation of motion can be changed in such a way that a particularly good prediction of the movement of the living object is possible.
  • step c) If, for example, it is detected in step c) that the living object, for example the pedestrian, looks in a direction in which the further object, for example the dog, is not visible, the dog has no influence on the movement of the pedestrian.
  • the pedestrian lacks an information source that could influence its dynamics.
  • the at least one further detected object which is located in a viewing area or field of view associated with the living object, serves as an information source, on the basis of which the living object can change its dynamics.
  • the respective movement models stored for the objects known to the living object are included in the equation of motion. Movement models of objects not known by the living object can be discarded.
  • the object orientation of the further object can also play a role in the mood of the equation of motion.
  • the equation of motion in step e) is additionally created as a function of a respective direction of movement and / or speed and / or acceleration of the living object and / or of the at least one further object.
  • respective positions of the detected objects determined from the measurement data at a first time are compared with respective positions determined from measurement data at at least one further time, whereby a respective movement direction and / or a respective speed and / or a respective acceleration of the respective Object becomes determinable.
  • the respective particular object orientation can be used, whereby the determination of the respective direction of movement and / or speed and / or acceleration can be improved.
  • the respective motion model is described by means of a respective potential field, which describes in particular a scalar field of a potential.
  • a potential field or potential which may, for example, have an attractive or repulsive character with respect to the living object.
  • a respective gradient is formed from the respective potential field and the equation of motion is created as a function of at least the respective gradient.
  • a respective acceleration vector of the respective potential field can be determined.
  • the respective acceleration vector can be used particularly simply to form the motion equation or to predict the movement.
  • the model can be generalized to a potential approach by using potential fields and gradients
  • the respective acceleration vector can be determined from the potential field or the gradient of the respective potential field by determining the gradient of the respective potential field at the position of the living object Movement can thus be used as a so-called control variable in the monitoring, that is to say the tracking of the living object
  • the respective potential field can be defined or rejected, for example, using the findings of the "social force model” be tzbar.
  • a further substep can be carried out in step e) of the method.
  • the equation of motion is compared with a map of the surroundings of the motor vehicle and, if so, by means of the method described in step e) i. determined equation of motion in step e) ii. If the predicted motion is detected to be not executable due to the map information, the motion equation and the prediction of the motion are corrected based on the map information. In other words, a map matching takes place, wherein information may be contained in the map, which can not be detected by means of the measurement data or can be derived from the measurement data.
  • information about objects may be contained in the card which are outside the range of at least one sensor unit detecting the measurement data or by objects obscured by a detected object.
  • map information may include, for example, obstacles such as rivers and / or road closures and the like.
  • information about the above-mentioned ATM and / or, for example, sights that may be particularly attractive to the living object may be included.
  • the intention of the living object can be particularly easily estimated.
  • This information of the map can additionally be taken into account in the determination of the equation of motion or in the prediction. By comparing the predicted motion or the equation of motion with the map, the prediction can provide particularly good results.
  • the living object having the smallest distance to the motor vehicle can be the one to be monitored. For example, if there are two other objects in the environment whose distance to the motor vehicle is greater, their mutual influence on the respective movement of the other object can be determined. These movements determined for the at least two further objects, in particular in addition, can be taken into account in the determination of the equation of motion.
  • one of the two objects may be a child and the other object may be an adult.
  • a motion can be predicted by the respective underlying model of movement by means of the method.
  • the influence on the equation of motion of the living object by the fewest two other objects can be taken into account in a particularly realistic manner and a particularly good prediction of the respective motion of the objects can be determined.
  • the at least one further object is the motor vehicle itself. That is, the motor vehicle itself is taken into account as an influencing factor on the movement of the living object.
  • the method knows the object class as well as position and movement of the motor vehicle. This also results in an improved prediction of the movement of the living object. As a result, for example, an unnecessary braking maneuver can be avoided by the driver assistance system, since the motor vehicle usually acts repulsively on the living object, whereby the living object tries by itself to maintain at least a minimum distance from the motor vehicle.
  • the invention comprises a device for operating a driver assistance system of a motor vehicle, wherein the device associated with the driver assistance system can be connected to at least one sensor unit via at least one signal-transmitting interface.
  • the device is designed to detect at least one living object and at least one further object in an environment of the motor vehicle and their respective object position on the basis of measurement data generated by the at least one sensor unit and received at the interface.
  • the device is designed to divide the objects detected by the measurement data into object classes, wherein for a respective combination of an object class of the living object and the further object a respective motion model is stored in the device and / or retrievable therefrom.
  • the respective movement model characterizes a movement change of an object of the object class of the living object on the basis of an object of the object class of the further object.
  • the device is designed to create an equation of motion of the at least one living object as a function of at least the movement model associated with the combination of the object classes and the object position of the living object and the at least one further object. Furthermore, the device is designed to predict the movement of the at least one living object based on the equation of motion and to provide the predicted movement of the living object characterizing data to the driver assistance system at a further interface.
  • the measurement data is at least one image of at least one camera. That is, via the signal-transmitting interface, the device receives at least one image of at least one camera unit designed as a sensor unit.
  • the device is designed to combine the respective measurement data of the respective sensor unit by fusion with the respective other measurement data of the respective other sensor units into a common set of merged measurement data when acquiring measurement data by more than one sensor unit.
  • the device is designed to combine the respective measurement data of the respective sensor unit by fusion with the respective other measurement data of the respective other sensor units into a common set of merged measurement data when acquiring measurement data by more than one sensor unit.
  • fusion for example by means of Kalman filter, errors of different measurement data in the common set of fused measurement data can be kept as small as possible.
  • this is advantageous in order to ensure the clear assignment, for example, of pedestrians in pedestrian quantities.
  • the invention comprises a driver assistance system which has the device according to the invention and / or is designed to carry out the method according to the invention.
  • the invention comprises a motor vehicle which has the device according to the invention and / or the driver assistance system.
  • the invention also includes developments of the device according to the invention, the driver assistance system and the motor vehicle having the features as they have already been described in connection with the developments of the method according to the invention. For this reason, the corresponding developments of the device according to the invention, the driver assistance system and the motor vehicle are not described again here. Furthermore, the invention also includes developments of the method according to the invention, the driver assistance system and the motor vehicle having the features as they have already been described in connection with the developments of the device according to the invention. For this reason, the corresponding further developments of the method according to the invention, the driver assistance system and the motor vehicle are not described again here.
  • FIG. 1 shows a schematic plan view of a motor vehicle with a driver assistance system and a device according to the invention, which can carry out the method according to the invention, in an environment of the motor vehicle in which at least one living object and further objects are located;
  • FIG. 2 is a schematic diagram of an interaction of individual components of the method in a monitoring of the living object.
  • the exemplary embodiments explained below are preferred embodiments of the invention.
  • the described components of the embodiments each represent individual features of the invention, which are to be considered independently of one another, which also develop the invention independently of each other and thus also individually or in a different combination than the one shown as part of the invention.
  • the described embodiments can also be supplemented by further features of the invention already described.
  • the device 14 is designed to carry out a method by means of which the driver assistance system 12 of the motor vehicle 10 can be operated. In the method, a movement of at least one living object 16 in an environment 17 of the motor vehicle 10 is predicted. By means of the prediction, the driver assistance system can be operated particularly advantageously, since, for example, a collision with the living object 16 can be avoided.
  • the device 14 is designed so that the at least one living object 16 and at least one further object 18, 20, 22 in the environment 1 7 of the motor vehicle 10 and their respective object position can be detected on the basis of measured data.
  • the measurement data provided by at least one sensor unit 24 can be received by the device 14 at an interface 26.
  • a movement model is stored, wherein a respective movement model describes a change of the movement of the living object 16 which is dependent on at least one further object 18, 20, 22, the living object 16 and the at least one further Object 18, 20, 22 each belong to an object class and the motion models for combinations of object classes are stored.
  • the device 14 is designed such that it has, for example, a memory device on which the movement models of the object classes or the combination of object classes are stored and / or the device can via a further interface retrieve the stored movement models.
  • a step b) of the method measurement data relating to the environment 17 of the motor vehicle 10 are received, for this purpose the device 14 has the interface 26.
  • the at least one living object 16 and the at least one further object 18, 20, 22 are detected in the environment 17 of the motor vehicle 10 and a relative position of at least one living object is determined for the at least one further object Object 18, 20, 22 based on the measurement data received via the interface 26.
  • the relative positions of the further objects 18, 20, 22 with one another and a respective object orientation of the objects 16 to 22 can likewise be detected or determined by means of the method.
  • the object classes of the detected objects 16, 18, 20, 22 are identified.
  • a step e) which is subdivided into at least two sub-steps, the acquired, living object 16 is created in the first sub-step by creating an equation of motion at least as a function of the relative position of the living object 16 relative to the at least one further object 18, 20 , 22.
  • the equation of motion is dependent on the for the combination of the object classes of the living object 16 identified in step d) and the at least one further object 18, 20, 22 each stored movement model.
  • the respective orientations of the objects 16 to 22 can be incorporated into the motion equation as an additional dependency.
  • a prediction of the movement of the living object 16 takes place on the basis of the generated equation of motion.
  • the further objects 18 are a dog, the object 20 a cyclist and the object 22 a group of people.
  • the dog belongs to the object class "dog" and the cyclist belongs to the object class "cyclist".
  • the individual persons of the human group can be assigned as a whole of the object class "group of people.”
  • humans could also be assigned individually as one object of an object class "pedestrian", to which the living object 16 also belongs change two recorded at a different time measurement data, for example, if the group of people dissolves.
  • the driver assistance system 12 is operated using the motion of the at least one living object 16, the pedestrian, predicted in step e), so that, for example, a collision with the pedestrian can be prevented by the driver assistance system 12 due to the motion predicted in the method ,
  • the sensor unit 24 of the shown embodiment is formed as a camera.
  • a plurality of sensor units 24 may be used to detect, for example, a larger portion of the environment 17 and / or to detect as much information about the objects in the measurement data under adverse viewing conditions, for example, by using multiple cameras, each measuring data in different light spectra record.
  • the measured data can be fused, for example by means of Kalman filters, in order, for example, to keep errors in the measured data low.
  • the latter has, for example, an electronic computing device on which an evaluation software for the measurement data received via the interface 26 can be executed, so that the objects
  • the device 14 can have a further interface 28, which can provide information about the predicted movement to the driver assistance system 12, so that it can be operated particularly safely, for example.
  • the living object 16, the pedestrian is oriented in such a way that its viewing direction, which can be equated with object orientation, is directed to a right sidewalk 30 of the surroundings 17.
  • the object orientation is represented by the viewing direction 32.
  • the living object 16, the pedestrian detects all the other objects 18 to 22 in the environment, the dog, the cyclist and the group of people. That is, a respective one of these objects 18 to 22 forms a source of information for the pedestrian, the living object 16, through which he can be influenced in his movement or is distractible. If the sensor unit 24 detects this state of the environment 17 in the measurement data, a movement model for the combination "pedestrian dog", "pedestrian cyclist” and “pedestrian bicycle group” flows into the equation of motion.
  • the pedestrian dog movement model may describe a pedestrian's response to a dog, for example, the dog may be repulsive to a pedestrian, in other words, a repulsive force imparted by the dog acts on the pedestrian, especially if, for example, a potential field approach is based a variant of the "Social Force Model" is adopted for the movement models.
  • the dog for example, has such an influence on the movement of the pedestrian that it will maintain a certain minimum distance to the dog. Thus, if the dog is at least near a route along which the pedestrian moves, the latter will correct his route and, for example, make an arc with at least the minimum distance around the dog before following the original route back to his destination.
  • the respective movement model is advantageously designed so that such situations can be taken into account. If a dog is to be monitored as a living object and the influence of an object of the object class "pedestrian" on the dog is included in the equation of motion, a "dog-pedestrian" movement model should be stored.
  • the respective movement models are described by a respective potential field.
  • a respective gradient of the potential field at the position of the pedestrian is determined from the respective potential field, for which purpose the relative positions can be used. That is, in the example shown, the relative positions to the living object 16 are "pedestrian to dog", “pedestrian to cyclist” and “pedestrian to human groups.”
  • a respective acceleration vector representing a respective part of the motion change of the The respective certification vector is used in the equation of motion for the prediction of the motion. tion of a potential field approach to improve the monitoring of the movement of living objects, especially pedestrians possible.
  • the movement models can be derived, for example, from the known "social force model” or from a similar model for describing pedestrian movements
  • the models of movement may take into account subtleties, such as attracting a child close to at least one adult, as it is often at least one parent of the child.
  • a respective position of the respective detected object can be checked by means of the method on the basis of an evaluation of the measured data.
  • movements of the respective objects can be determined, for example, by differentiating temporally successive measurement data. From which a respective speed and / or acceleration and / or direction of movement of the respective object can be determined, which can be incorporated into the equation of motion. For example, at a first time, the dog may rest and thereby have little influence on the movement of the pedestrian, the living object 16. However, if the dog moves in the direction of the pedestrian, its influence becomes greater and this can be taken into account by the procedure.
  • a map of the environment which may for example also be stored in the device 14, aligned with the determined equation of motion.
  • the movement of the pedestrian can be determined independently of the knowledge of his actual destination, the right sidewalk 30.
  • map information it is clear that the pedestrian, the living object 16, wants to cross the streets, which can be deduced from the viewing direction 32.
  • an intention of the pedestrian that is, the goal attainable by it, can be better determined.
  • the motor vehicle 10 itself is included in the method as a further object.
  • the human group, the further object 22, is an example of the fact that, if at least two further objects are detected and classified, a respective change of the respective movement of the respective further object, due to a reciprocal interaction between the at least two further objects, here
  • the interaction is determined from the respective stored movement models and from the respective relative position. This means that several pedestrians who are close to each other, as in the group of people, can develop a common dynamic in their movement and are thus advantageously no more than free-moving individual objects. By taking into account their reciprocal interaction, the equation of motion of the living object 16 is thus improved.
  • framework conditions a separation of dynamics and sources of information; a parameterization of dynamics and information sources relative to the intention of the living object; Use of the insights of the "Social Force Model" in the definition of the individual potential fields, which may, for example, result in very few intuitive parameters.
  • FIG. 2 shows a schematic diagram of an interaction of individual components of the method for the monitoring of the living object 16.
  • the monitoring takes place on the basis of map information 38, an intention 40 of the living object 16 and, in particular dynamic, other objects, such as the objects 18, 20 and 22, which are summarized in the block 42.
  • This dynamic objects pedestrians, Dogs, cyclists and / or motor vehicles.
  • semistatic objects such as mobile traffic lights and / or static objects such as a telephone booth or the like could be taken into account in the process. From the intention 40 of the living object 16 whose movement is derivable, this has a dynamic 44.
  • the dynamics of a pedestrian can describe its maximum achievable speed and / or deceleration and / or its speed when changing direction.
  • This information is advantageously stored in the respective movement model, which describes an influence on the change of the movement of the living object 16 due to another object from block 42.
  • a parameterization of, for example, the map information 38 and / or the further objects combined in block 42 takes place in each case.
  • the parameterization is indicated by the arrows 44, and should represent their possible, respective independence of the respective parameters.
  • the cards information 38 and the objects of the block 42 each have their own dynamics 46.
  • a dynamic 46 may be, for example, real-time information of the traffic situation, whereby, for example, road closures can be taken into account.
  • the examples show how the invention provides a method and / or a device 14 and / or a driver assistance system 12 and / or a motor vehicle 10 by means of which respectively a movement of at least one living object 16 is predicted in a particularly advantageous manner and
  • the driver assistance system 12 can be operated particularly advantageously by including this prediction.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Automation & Control Theory (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Traffic Control Systems (AREA)

Abstract

Die Erfindung betrifft ein Verfahren und eine Einrichtung (14) zum Betreiben eines Fahrerassistenzsystems (12), sowie ein Fahrerassistenzsystem (12) und ein Kraftfahrzeug (10), wobei bei dem Verfahren eine Bewegung zumindest eines lebenden Objekts (16) in einer Umgebung (17) des Kraftfahrzeugs (10) prädiziert wird, folgende Schritte umfasst: a) Hinterlegen von Bewegungen charakterisierende Bewegungsmodellen für eine Kombinationen von Objektklassen; b) Empfangen von Messdaten betreffend die Umgebung (17); c) Erkennen des lebenden Objekts (16) und zumindest eines weiteren Objekts (18, 20, 22) in der Umgebung (17) sowie Bestimmen einer Relativposition der Objekte (16, 18, 20, 22) zueinander; d) Identifizieren der Objektklassen der erkannten Objekte (16, 18, 20, 22); e) für das lebende Objekt (16): i) Erstellen einer Bewegungsgleichung zumindest in Abhängigkeit von der jeweiligen Relativposition des lebenden Objekts (16) zu dem weiteren Objekt (18, 20, 22) sowie dem für die Kombination der identifizierten Objektklassen hinterlegten Bewegungsmodell; ii) Prädiktion der Bewegung anhand der Bewegungsgleichung; und f) Betreiben des Fahrerassistenzsystems (12) unter Einbeziehen der prädizierten Bewegung.

Description

Verfahren und Einrichtung zum Betreiben eines Fahrerassistenzsystems sowie Fahrerassistenzsystem und Kraftfahrzeug
BESCHREIBUNG:
Die Erfindung betrifft Verfahren zum Betreiben eine Fahrerassistenzsystems eines Kraftfahrzeugs, bei welchem eine Bewegung zumindest eines lebenden Objekts in einer Umgebung des Kraftfahrzeugs pradiziert wird. Ferner betrifft die Erfindung eine Einrichtung zum Durchführen des Verfahrens so- wie ein Fahrerassistenzsystem und ein Kraftfahrzeug.
Heutige Kraftfahrzeuge sind häufig mit Fahrerassistenzsystemen ausgestattet, wie beispielsweise ein Navigationssystem oder ein Tempomat. Einige dieser Fahrerassistenzsysteme sind darüber hinaus für den Schutz von Fahrzeuginsassen und weiteren Verkehrsteilnehmern ausgebildet. Diese können einen Fahrer des Kraftfahrzeugs in bestimmten Gefahrensituationen unterstützen. So erkennt ein Auffahrwarner meist per Kamera oder auch via Radar- oder Lidarsensor, den Abstand, in Grenzen auch die Geschwindigkeitsdifferenz, zu anderen Fahrzeugen und warnt den Fahrer, wenn die Ge- fahr einer Kollision erkannt wird. Ferner gibt es Fahrerassistenzsysteme, welche dazu ausgebildet sind, das Kraftfahrzeug zumindest teilautonom oder in bestimmen Fällen sogar autonom zu fahren. Dabei sind aktuell die Einsatzszenarien des autonomen Fahrens sehr begrenzt, beispielsweise auf das Einparken oder Fahrsituationen mit sehr gut definierten Rahmenbedin- gungen wie auf Autobahnen. Je autonomer ein Kraftfahrzeug werden soll, desto höher sind die Anforderungen beim Erfassung und Überwachen der Umgebung des Kraftfahrzeugs. Das Kraftfahrzeug muss, mittels Sensoreinheiten, die Umgebung möglichst genau erfassen, um Objekte in der Umgebung zu erkennen. Je genauer das Kraftfahrzeug die Umgebung „kennt", desto besser können beispielsweise Unfälle vermieden werden.
Beispielsweise zeigt die DE 10 2014 215 372 A1 ein Fahrerassistenzsystem eines Kraftfahrzeugs mit einer Umfeldkamera und einer Bildaufbereitungseinheit, welche für eine Aufbereitung der Bilddaten der Umfeldkamera einge- richtet ist. Ferner umfasst das Fahrerassistenzsystem eine Bildauswerteeinheit, welche zur Auswertung der aufbereiteten Bilddaten ausgebildet ist.
Die Aufgabe der vorliegenden Erfindung besteht darin, eine Möglichkeit be- reitzustellen, um die Gefahr von Unfällen weiter zu reduzieren.
Die Aufgabe wird durch die Gegenstände der unabhängigen Patentansprüche gelöst. Vorteilhafte Weiterbildungen der Erfindung sind durch die abhängigen Patentansprüche, die folgende Beschreibung sowie die Figuren be- schrieben.
Die vorliegende Erfindung basiert auf der Erkenntnis, dass zwar im Stand der Technik große und/oder statische Objekte gut erkannt werden, die Erkennung und Überwachung von dynamischen Objekten, wie Fußgängern, je- doch schwierig ist. Insbesondere sind die sich daraus ergebenden positiven Folgen beim Betrieb eines Fahrerassistenzsystems noch nicht ausgeschöpft. Gelingt es also die Bewegung von Fußgängern zu prädizieren und beim Betrieb eines Fahrerassistenzsystems zu berücksichtigen, lässt sich die Gefahr von Unfällen deutlich senken.
Um eine Überwachung dynamischer, lebender Objekte, wie beispielweise Fußgänger, möglichst gut durchführen zu können, ist es hilfreich, wenn eine Prädiktion ihrer Bewegung getroffen, das heißt ihr zukünftiges Verhalten abgeschätzt werden kann. Für statische Überwachungskameras gibt es bereits Ansätze für die Überwachung. So wurde von Helbing für eine Simulation der Bewegungen von Fußgängern das sogenannte„Social Force Model" entwickelt [HELBING, Dirk; MOLNAR, Peter. Social force model for pedestri- an dynamics. Physical review E, 1995, 51 . Jg., Nr. 5, S. 4282.]. In diesem Modell befindet sich jeder Fußgänger in einem Kraftfeld, aus dem sich durch Addition der Kräfte eine Gesamtkraft ergibt, welche auf den Fußgänger wirkt. Dieses Modell hat sich bei der Simulation von Menschenmassen bewährt, weswegen es bereits in der Vergangenheit für das Tracking von Menschenmassen verwendet wurde. Gegenwärtig werden Implementierungen des„Social Force Models" bespielweise bei der Überwachung von Fußgängern mittels statischer Überwachungskameras angewendet, nicht jedoch bei Fahrerassistenzsystemen. Beispiele hierfür in der gegenwärtigen Literatur sind: [K. Yamaguchi, A. C. Berg, L. E. Ortiz, T. L. Berg, "Who are you with and where are you going?" in Computer Vision and Pattern Recognition (CVPR), 201 1 IEEE Conference on. IEEE, 201 1 , pp. 1345-1352.] oder [S. Yi, H. Li, X. Wang, "Understanding pedestrian behaviors from stationary crowd groups," in Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2015, pp. 3488-3496.].
Die Erfindung basiert darauf, dass sich die Erkenntnisse beim Prädizieren der Bewegung von Menschenmassen auf die Bewegung einzelner Menschen anwenden lassen und damit besonders vorteilhaft beim Betrieb eines Fahrerassistenzsystems ausnutzen lassen.
Durch die Erfindung ist dementsprechend ein Verfahren zum Betreiben eines Fahrerassistenzsystems eines Kraftfahrzeugs bereitgestellt, mittels welchem eine Bewegung zumindest eines lebenden Objekts, insbesondere eines Fußgängers, in einer Umgebung des Kraftfahrzeugs prädiziert wird. In einem Schritt a) des Verfahrens werden Bewegungsmodelle hinterlegt, wobei ein jeweiliges Bewegungsmodell zumindest eine von einem weiteren Objekt abhängige Änderung der Bewegung des lebenden Objekts beschreibt. Das lebende Objekt und das zumindest eine weitere Objekt gehören jeweils einer Objektklasse an. Die Bewegungsmodelle sind für Kombinationen der Objektklassen hinterlegt. In einem Schritt b) des Verfahrens werden Messdaten betreffend die Umgebung des Kraftfahrzeugs empfangen. In einem Schritt c) des Verfahrens werden das zumindest eine lebende Objekt und das zumindest einen weiteren Objekt in der Umgebung des Kraftfahrzeugs erkannt sowie eine Relativposition der Objekte zueinander anhand der empfangenen Messdaten bestimmt. In einem Schritt d) des Verfahrens werden die Objektklassen der erkannten Objekte identifiziert. In einem Schritt e) des Verfahrens wird für das zumindest eine erfasste, lebende Objekt in einem ersten Teilschritt e) i. eine Bewegungsgleichung des lebenden Objekts erstellt. Dabei hängt die Bewegungsgleichung zumindest von der jeweiligen Relativposition des lebenden Objekts relativ zu dem zumindest einen weiteren Objekt sowie dem zumindest einen für die Kombination der in Schritt d) identifizierten Objektklassen des lebenden Objekts und des zumindest einen weiteren Objekts hinterlegten Bewegungsmodells ab. In einem zweiten Teilschritt e) ii. wird eine Bewegung des lebenden Objekts anhand der im ersten Teilschritt e) i. erstellten Bewegungsgleichung prädiziert. In einem Schritt f) des Verfahren wird das Fahrerassistenzsystem unter Einbeziehen der in Schritt e) prädizierten Bewegung des wenigsten einen lebenden Objekts betrieben, das heißt die Prädiktion der Bewegung nimmt Einfluss auf ein Verhalten des Fahrerassistenzsystems. So kann beispielsweise in Situationen, in welchen mittels des erfindungsgemäßen Verfahrens prädiziert wird, dass ein sich bewegender Fußgänger mit dem fahrendem Kraftfahrzeug kollidieren wird, beispielsweise eine Bremsunterstützung und/oder eine Kurskorrektur bei einem zumindest teilautonomen Fahren erfolgen.
Unter dem zumindest einen lebenden Objekt ist insbesondere ein Fußgänger zu verstehen, dabei kann beispielsweise unterschieden zwischen einem Kind, einer erwachsenen Person und einer greisen Person werden. Auch kann beispielsweise eine Person mit einer körperlichen Beeinträchtigung, welche die Mobilität der Person einschränkt, berücksichtigt werden. Darüber hinaus kann berücksichtigt werden, ob beispielsweise das Kind auf einem Roller und/oder der Erwachsener mit einem Fahrrad oder dergleichen unterwegs ist. Dabei sind beliebige Kombinationen möglich. Ferner kann ein le- bendes Objekt ein Tier, wie beispielsweise ein Hund sein.
Das zumindest eine weitere Objekt kann eines der bisher genannten Objekte, also ein lebendes Objekt und/oder eine Gruppe von lebenden Objekten oder ein anderes Objekt wie beispielsweise ein Kraftfahrzeug, ein Ball, ein Roboter, ein Geldautomat und/oder eine Eingangstür sein. Insbesondere wird bei dem weiteren Objekt von einem dynamischen, also einem welches sich selbst bewegen kann ausgegangen. Jedoch kann das weitere Objekt ein semistatisches oder ein statisches Objekte sein. Jedes einzelne der genannten Objekte kann jeweils einer Objektklasse zugeordnet beziehungsweise in diese klassifiziert werden. Beispiele für Objektklassen sind: „erwachsener Fußgänger",„Hund" oder„Kraftfahrzeug".
Die in Schritt a) hinterlegten Bewegungsmodelle enthalten zumindest Informationen, wie das lebendes Objekt auf eines der weiteren Objekte reagiert, das heißt, welchen Einfluss das jeweilige weitere Objekt auf die Bewegung des lebenden Objekts ausübt beziehungsweise ausüben kann. Im Bild des „Social Force Model" gesprochen, welche Kraft das weitere Objekt auf das lebende Objekt ausübt. Mit anderen Worten charakterisiert das Bewegungsmodell den Einfluss eines Objekts, beispielsweise eines Hundes, auf das lebende Objekt, beispielsweise einen Fußgänger. Dazu werden jeweilige Bewegungsmodelle für Kombinationen hinterlegt, beispielsweise für die Kombination„Fußgänger-Hund". Kurz gesagt, findet in Schritt a) ein Hinterlegen von Bewegungsmodellen für Kombinationen einer Objektklasse zumindest eines lebenden Objekts und einer Objektklasse zumindest eines weiteren Objekts satt, wobei die Bewegungsmodelle jeweils eine Bewegungsänderung des der Objektklasse des jeweiligen Bewegungsmodells zugeordneten lebenden Objekts aufgrund des der Objektklasse des jeweiligen Bewegungsmodells zugeordneten weiteren Objekts beschreiben.
Ferner kann in dem jeweiligen Bewegungsmodell eine Information hinterlegt sein, welche beispielsweise bestimmte Grenzwerte in der Bewegung des lebenden Objekts vorgibt, wie beispielsweise eine Maximalgeschwindigkeit des lebenden Objekts und/oder eine maximal mögliche Bremsverzögerung und/oder eine freie beziehungsweise kräftefreie Bewegung des lebenden Objekts beschreibende Parameter. Dabei ist frei beziehungsweise kräftefrei hier so zu verstehen, dass keine Einflussnahme auf die Bewegung des lebenden Objekts durch ein anderes Objekt erfolgt, das heißt, es wirkt keine Kraft durch ein anderes Objekt auf das lebende Objekt. Diese zusätzlichen die Bewegung des lebenden Objekts charakterisierenden Informationen kann man zusammenfassend als eine Dynamik des lebenden Objekts bezeichnen. Diese Dynamik wird durch das zumindest eine weitere Objekt beeinflusst. Die Beeinflussung des lebenden Objekts, beispielsweise des Fußgängers, beruht auf der Kenntnis des lebenden Objekts über das jeweilige andere Objekt, und dient dem Fußgänger somit als jeweilige Informationsquelle, welche seine Dynamik beeinflusst.
Durch die hinterlegten Bewegungsmodelle kann die jeweilige Informationsquelle einzeln, das heißt ohne gegenseitige Einflussnahme, modelliert und parametriert werden. Durch das Verfahren findet eine Trennung der Dynamik und der Informationsquellen statt, was als eine Randbedingung des erfindungsgemäßen Verfahrens bezeichenbar ist. Dem lebenden Objekt wird eine Intention zugeschrieben, welche seine Bewegung charakterisiert beziehungsweise beeinflusst, beispielsweise ein Zielort, welchen es zu erreichen gilt. Es erfolgt eine Parametrisierung der Dynamik und der wenigsten einen weiteren Informationsquelle, das heißt der Einflussnahme des wenigstens einen weiteren Objekts durch das Bewegungsmodell, wodurch sich besonders vorteilhaft wenige Parameter ergeben. Dies ist im Schritt e) des erfindungsgemäßen Verfahrens bei dem Erstellen der Bewegungsgleichung vorteilhaft, weil das Verfahren dadurch beispielsweise besonders leicht skalierbar ist.
In dem Schritt b) des erfindungsgemäßen Verfahrens werden Messdaten, welche die Umgebung des Kraftfahrzeugs betreffen, empfangen. Dies kann beziehungsweise können beispielsweise ein Bild beziehungsweise mehrere, insbesondere zeitlich aufeinander folgende, Bilder wenigsten einer Kamera sein. In Schritt c) werden, beispielsweise durch wenigstens einen geeigneten Algorithmus, Objekte in den Messdaten, beispielsweise auf wenigstens einem Bild, erkannt. Dabei wird beim Erkennen das Objekt, insbesondere das zumindest eine lebende Objekt und eine Position des Objekts in der Umgebung des Kraftfahrzeugs erfasst. Damit im Schritt e) eine Bewegungsglei- chung erstellt werden kann, welche eine Änderung der Bewegung des lebenden Objekts aufgrund zumindest eines weiteren Objekts berücksichtigt, soll zumindest ein weiteres Objekt erkannt werden. Bei der Erkennung dieses weiteren Objekts wird dessen Position erfasst. Um mittels der Bewegungsgleichung im Schritt e) besonders vorteilhaft eine Einflussnahme auf die Bewegung des lebenden Objekts durch das weitere Objekt beschreiben zu können, wird aus den erkannten Positionen eine Relativposition der Objekte zueinander bestimmt.
Das Identifizieren der Objektklassen der erkannten Objekte findet in Schritt d) statt. Dazu wird beispielsweise, mittels einem geeigneten, als Klassifikator ausgebildeten Algorithmus, ein Abgleich der erkannten Objekte beziehungsweise von Merkmalen der erkannten Objekte mit den charakterisierenden Merkmalen einer Objektklasse durchgeführt. Im Schritt e) wird für das zumindest eine erfasste lebende Objekt, dessen Bewegung überwacht werden soll, in einem ersten Teilschritt die Bewegungsgleichung erstellt. Dies erfolgt in Abhängigkeit von der jeweiligen Relativposition des lebenden Objekts zu dem zumindest einen weiteren Objekt und der für die Kombination der Objektklassen der Objekte hinterlegten Be- wegungsmodelle.
In einem zweiten Teilschritt des Schritts e) wird die Bewegung des lebenden Objekts anhand der erstellten Bewegungsgleichung prädiziert, das heißt es wird eine, insbesondere dynamische, Bewegungsrichtung gegebenenfalls mit einer Geschwindigkeit und/oder Beschleunigung ausgegeben.
Angemerkt sei an dieser Stelle, dass das jeweilige Bewegungsmodell beispielsweise aus Erfahrungswerten von vorhergehenden Beobachtungen entwickelt wurde und keine allgemeine Gültigkeit haben muss. So ist es in der Realität möglich, dass Fußgänger vereinzelt von einem Hund angezogen werden, obwohl das Bewegungsmodell vorhersagt, dass Fußgänger generell Abstand von einem Hund halten. Daher kann das jeweilige Bewegungsmodell zusätzlich eine Wahrscheinlichkeit für das Auftreten der Reaktion des lebenden Objekts auf das weitere Objekt enthalten. Mittels dieser Wahrscheinlichkeit kann ein jeweiliger Gewichtungsfaktor in der Bewegungsgleichung berücksichtigt werden, sodass die auf die Bewegung einwirkenden jeweiligen Bewegungsmodelle in Abhängigkeit ihres statistischen Auftretens erfasst werden.
Im Schritt f) des Verfahrens wird das Fahrerassistenzsystem unter Einbeziehung der in dem Schritt e) prädizierten Bewegung des wenigstens einen lebenden Objekts betrieben. Dadurch kann das Fahrerassistenzsystem beispielsweise besonders sicher betrieben und Kollisionen des Kraftfahrzeugs mit den erkannten Objekten vermieden werden. Mittels des erfindungsgemäßen Verfahrens ist die Bewegungsgleichung und damit die Prädiktion der Bewegung des lebenden Objekts, insbesondere eines Fußgängers, besonders vorteilhaft möglich und das Fahrerassistenzsystem besonders vorteilhaft betreibbar.
Somit liefert das erfindungsgemäße Verfahren den Vorteil, dass für das lebende Objekt eine eigene Dynamik, welche durch die verschiedenen Informationsquellen beeinflusst wird, berücksichtigt wird. Das Verfahren ist besonders effizient und skalierbar, da beispielsweise die jeweilige Informati- onsquelle einzeln modelliert und parametriert wird. Insbesondere im Gegensatz zum Stand der Technik werden durch die Inbezugnahme der Informationsquellen zu einer Intention, das heißt einer gewünschten Bewegungsrichtung des lebenden Objekts, die Anzahl der Parameter minimiert und verständlich dargestellt. Des Weiteren wird die Dynamik unabhängig von jewei- ligen anderen Informationsquellen berechnet, wodurch das Verfahren, insbesondere hinsichtlich der zu verwendenden Informationsquellen beziehungsweise Bewegungsmodelle, skalierbar ist. Durch eine geschickte Wahl der Bewegungsmodelle folgt eine besonders gute Parametrisierungsmöglichkeit, welche insbesondere zu einem verbesserten Gesamtergebnis bei der Prädik- tion der Bewegung des lebenden Objekts führt. Ein weiterer Vorteil des Verfahrens ist, dass eine Prädiktion der Bewegung des lebenden Objekts bereits mit einem einzigen Satz Messdaten, welche die Umgebung des Kraftfahrzeugs charakterisieren, beispielsweise einem Bild zu einem ersten Zeitpunkt, möglich ist. In vorteilhafter Ausgestaltung des erfindungsgemäßen Verfahrens wird die Bewegungsgleichung in Schritt e) zusätzlich in Abhängigkeit von einer jeweiligen Objektorientierung bestimmt, wobei diese dazu in Schritt c) mit be- stimmt wird. Unter der Objektorientierung ist eine Orientierung des Objekts im Raum beziehungsweise eine räumliche Ausrichtung des Objekts in der Umgebung zu verstehen. Anhand der Objektorientierung des lebenden Objekts ist seine Intention durch das Verfahren besonders gut abschätzbar. Durch Einbeziehen der Objektorientierung kann die Bewegungsgleichung derart verändert werden, sodass eine besonders gute Prädiktion der Bewegung des lebenden Objekts möglich ist. Wird beispielsweise im Schritt c) erkannt, dass das lebende Objekt, beispielsweise der Fußgänger, in eine Richtung schaut, in welcher das weitere Objekt, beispielsweise der Hund, nicht sichtbar ist, nimmt der Hund keinen Einfluss auf die Bewegung des Fußgängers. Mit anderen Worten fehlt es dem Fußgänger dabei an einer Informationsquelle, welche Einfluss auf seine Dynamik nehmen könnte. Das zumindest eine erkannte weitere Objekt, welches sich in einem dem lebenden Objekt zugeordneten Sichtbereich beziehungsweise Blickfeld befindet, dient als Informationsquelle, aufgrund welcher das lebende Objekt seine Dynamik ändern kann. Die für die dem lebenden Objekt bekannten Objekte hinterlegten jeweiligen Bewegungsmodelle werden in die Bewegungsgleichung mit aufgenommen. Bewegungsmodelle von dem lebenden Objekt nicht bekannten Objekten können verworfen werden. Darüber hinaus kann die Objektorientierung des weiteren Objekts ebenso eine Rolle bei der Be- Stimmung der Bewegungsgleichung spielen.
In vorteilhafter Ausgestaltung des erfindungsgemäßen Verfahrens wird die Bewegungsgleichung in Schritt e) zusätzlich in Abhängigkeit von einer jeweiligen Bewegungsrichtung und/oder Geschwindigkeit und/oder Beschleuni- gung des lebenden Objekts und/oder des wenigstens einen weiteren Objekts erstellt. Dazu werden aus den Messdaten zu einem ersten Zeitpunkt ermittelte, jeweilige Positionen der erkannten Objekte mit aus Messdaten zu zumindest einem weiteren Zeitpunkt ermittelten, jeweiligen Positionen verglichen, wodurch eine jeweilige Bewegungsrichtung und/oder eine jeweilige Ge- schwindigkeit und/oder eine jeweilige Beschleunigung des jeweiligen Objekts bestimmbar wird. Zusätzlich zur jeweiligen Position kann dabei die jeweilige bestimmte Objektorientierung herangezogen werden, wodurch die Ermittlung der jeweiligen Bewegungsrichtung und/oder Geschwindigkeit und/oder Beschleunigung verbessert werden kann. Durch die Einbeziehung der ermittel- ten Bewegungsrichtungen und/oder Geschwindigkeiten und/oder Beschleunigungen aufgrund von Messdaten von zumindest zwei unterschiedlichen Zeitpunkten ist eine Verfeinerung der Bewegungsgleichung möglich, wodurch die Prädiktion der Bewegung besonders genau wird.
In weiterer vorteilhafter Ausgestaltung der Erfindung wird das jeweilige Bewegungsmodell mittels eines jeweiligen Potentialfelds beschrieben, welches insbesondere ein skalares Feld eines Potentials beschreibt. Mit anderen Worten wird die Einflussnahme des weiteren Objekts auf das lebende Objekt durch ein Potentialfeld beziehungsweise Potential bestimmt beziehungsweise beschrieben, welches beispielsweise attraktiven oder abstoßenden Charakter gegenüber dem lebenden Objekt aufweisen kann. Durch die Verwendung eines Potentialfelds kann das jeweilige Bewegungsmodell besonders einfach und dadurch beispielsweise leicht berechenbar in die Bewegungs- gleichung eingearbeitet werden.
In weiterer vorteilhafter Ausgestaltung wird ein jeweiliger Gradient aus dem jeweiligen Potentialfeld gebildet und die Bewegungsgleichung in Abhängigkeit von zumindest dem jeweiligen Gradienten erstellt. Mittels des jeweiligen Gradienten kann beispielsweise ein jeweiliger Beschleunigungsvektor des jeweiligen Potentialfelds ermittelt werden. Der jeweilige Beschleunigungsvektor kann besonders einfach zur Bildung der Bewegungsgleichung beziehungsweise zur Prädiktion der Bewegung verwendet werden. Je nach gewählten Bewegungsmodellen, wenn diese beispielsweise analog zu den Kräften des bekannten„Social Force Models" gewählt werden, kann durch Verwendung von Potenzialfeldern und Gradienten das Modell zu einem Potenzialansatz verallgemeinert werden. Dazu wird für jede Informationsquelle, das heißt jedes weitere Objekt, welches insbesondere durch das lebende Objekt wahrgenommen wird, ein Potenzial berechnet. Der jeweilige Be- schleunigungsvektor ist aus dem Potentialfeld beziehungsweise dem Gradienten des jeweiligen Potentialfelds ermittelbar. Dazu wird der Gradient des jeweiligen Potentialfelds an der Position des lebenden Objekts bestimmt. Die Beschleunigungsvektoren und die daraus prädizierbare Bewegung können somit als sogenannte Steuergröße bei der Überwachung, das heißt dem Tracking des lebenden Objekts, verwendet werden. Das jeweilige Potentialfeld kann beispielsweise unter Verwendung der Erkenntnisse des „Social Force Models" definierbar beziehungsweise abschätzbar sein. Durch die den Potentialfeldern zugrundeliegenden Potentiale erfolgt eine besonders einfache Parametrisierung der Dynamik des lebenden Objekts und des zumindest einen weiteren Objekts, der Informationsquelle, relativ zu einer von dem lebenden Objekt vorhandenen Intention. Dabei ist die Intention das eigentliche Ziel des lebenden Objekts, welches es mittels seiner Bewegung erreichen will. Ferner ist durch die Verwendung von wenigstens einem Potential- feld und dem zugehörigen Gradienten eine besonders einfache Trennung von Dynamik und Informationsquelle möglich.
In weiterer vorteilhafter Ausgestaltung der Erfindung ist im Schritt e) des Verfahrens ein weiterer Teilschritt durchführbar. Bei diesem weiteren Teil- schritt wird die Bewegungsgleichung mit einer Karte der Umgebung des Kraftfahrzeugs abgeglichen und falls mittels der in Schritt e) i. ermittelten Bewegungsgleichung die in Schritt e) ii. pradizierte Bewegung aufgrund der Karteninformationen als nicht ausführbar erkannt wird, wird die Bewegungsgleichung und die Prädiktion der Bewegung anhand der Karteinformationen korrigiert. Mit anderen Worten findet ein Kartenabgleich statt, wobei in der Karte Informationen enthalten sein können, welche nicht mittels der Messdaten erfassbar sind beziehungsweise aus den Messdaten abgeleitet werden können. Beispielsweise können Informationen über Objekte in der Karte enthalten sein, welche außerhalb der Reichweite wenigstens einer die Mess- daten erfassenden Sensoreinheit sind oder durch Objekte, welche durch ein erfasstes Objekt verdeckt werden. Solche Karten Informationen können beispielsweise Hindernisse wie Flüsse und/oder Straßensperrungen und dergleichen enthalten. Ferner können beispielsweise Informationen zu dem oben genannten Geldautomat und/oder beispielsweise Sehenswürdigkeiten, welche insbesondere attraktiv auf das lebende Objekt wirken können, enthalten sein. Dadurch kann beispielsweise die Intention des lebenden Objekts besonders gut abschätzbar sein. Diese Informationen der Karte können zusätzlich bei der Ermittlung der Bewegungsgleichung beziehungsweise bei der Prädiktion berücksichtigt werden. Durch den Abgleich der prädizierten Bewegung beziehungsweise der Bewegungsgleichung mit der Karte kann die Prädiktion besonders gute Ergebnisse liefern.
In weiterer vorteilhafter Ausgestaltung der Erfindung ist für den Fall, dass wenigstens zwei weitere Objekte erfasst und klassifiziert werden, eine jewei- lige Änderung der jeweiligen Bewegung des jeweiligen weiteren Objekts aufgrund einer gegenseitigen Wechselwirkung zwischen den wenigstens zwei weiteren Objekten und der Bewegungsgleichung des wenigstens einen lebenden Objekts berücksichtigt. Dabei wird die Wechselwirkung aus dem jeweiligen hinterlegten Bewegungsmodell und der jeweiligen Relativposition bestimmt. Das den geringsten Abstand zum Kraftfahrzeug aufweisende lebende Objekt kann das zu überwachende sein. Befinden sich beispielsweise zwei weitere Objekte in der Umgebung, deren Abstand zum Kraftfahrzeug größer ist, kann deren wechselseitiger Einfluss auf die jeweilige Bewegung des jeweils anderen Objekts ermittelt werden. Diese für die wenigstens zwei weiteren Objekte, insbesondere zusätzlich, ermittelten Bewegungen können bei der Bestimmung der Bewegungsgleichung berücksichtigt werden. Eines der beiden Objekte kann beispielsweise ein Kind und das andere Objekt ein Erwachsener sein. Für jedes dieser Objekte kann durch das jeweilige hinter- legte Bewegungsmodell mittels des Verfahrens eine Bewegung prädiziert werden. Damit kann der Einfluss auf die Bewegungsgleichung des lebenden Objekts durch die wenigsten zwei weiteren Objekte besonders realitätsnah berücksichtig werden und eine besonders guten Prädiktion der jeweiligen Bewegung der Objekte bestimmt werden. Dadurch ergibt sich der Vorteil, dass die Präzision der Prädiktion des zumindest einen lebenden Objekts weiter erhöht werden kann. Darüber hinaus besteht dadurch die Möglichkeit, mehrere Menschen zu einer Menschengruppe zusammen zu fassen. Ist eine Objektklasse, welche das Bewegungsmodell für beziehungsweise gegenüber einer Menschengruppe beschreibt hinterlegt, kann die Änderung der Bewe- gung aufgrund einer Menschengruppe in der Bewegungsgleichung erfasst werden. Menschengruppen können eine andere Bewegungsänderung des Fußgängers verursachen als mehrere einzelne Personen. Kann dies berücksichtigt werde, wird die Prädiktion dadurch verbessert. In weiterer vorteilhafter Ausgestaltung der Erfindung ist das zumindest eine weitere Objekt das Kraftfahrzeug selbst. Das heißt, das Kraftfahrzeug selbst wird als Einflussfaktor auf die Bewegung des lebenden Objekts berücksichtigt. Das Verfahren kennt die Objektklasse sowie Position und Bewegung des Kraftfahrzeugs. Dadurch ergibt sich ebenfalls eine verbesserte Prädiktion der Bewegung des lebenden Objekts. Dadurch kann beispielsweise ein unnötiges Bremsmanöver durch das Fahrerassistenzsystem vermieden werden, da das Kraftfahrzeug in der Regel abstoßend auf das lebende Objekt wirkt, wodurch das lebende Objekt von sich aus versucht zumindest einen Mindestabstand zu Kraftfahrzeug einzuhalten. Ohne die Einbeziehung des Kraft- fahrzeugs als Objekt könnte diese Informationen nicht in die Bewegungsgleichung einfließen, wodurch das Fahrerassistenzsystem Informationen enthält, welche eine Kollision als wahrscheinlicher vorhersagen, was zu dem Bremsmanöver führen könnte. Ferner umfasst die Erfindung eine Einrichtung zum Betreiben eines Fahrerassistenzsystems eines Kraftfahrzeugs, wobei die dem Fahrerassistenzsystem zugeordnete Einrichtung über wenigstens eine signalübertragende Schnittstelle mit wenigsten einer Sensoreinheit verbindbar ist. Die Einrich- tung ist dazu ausgebildet, zumindest ein lebendes Objekt sowie zumindest ein weiteres Objekt in einer Umgebung des Kraftfahrzeugs und deren jeweilige Objektposition anhand von durch die mindestens eine Sensoreinheit erzeugten und an der Schnittstelle empfangenen Messdaten zu erfassen. Die Einrichtung ist dazu ausgebildet die anhand der Messdaten erfassten Objekte in Objektklassen einzuteilen, wobei für eine jeweilige Kombination einer Objektklasse des lebenden Objekts und des weiteren Objekts ein jeweiliges Bewegungsmodell in der Einrichtung hinterlegt und/oder von dieser abrufbar ist. Das jeweilige Bewegungsmodell charakterisiert eine Bewegungsänderung eines Objekts der Objektklasse des lebenden Objekts auf- grund eines Objekts der Objektklasse des weiteren Objekts. Die Einrichtung ist dazu ausgebildet, eine Bewegungsgleichung des wenigstens einen lebenden Objekts in Abhängigkeit zumindest des der Kombination der Objektklassen zugeordneten Bewegungsmodells und der Objektposition des lebenden Objekts und des wenigstens einen weiteren Objekts zu erstellen. Ferner ist die Einrichtung dazu ausgebildet, die Bewegung des wenigstens einen lebenden Objekts anhand der Bewegungsgleichung zu prädizieren und die prädizierte Bewegung des lebenden Objekts charakterisierende Daten dem Fahrerassistenzsystems an einer weiteren Schnittstelle bereitzustellen. In weiterer Ausgestaltung der Erfindung sind die Messdaten wenigstens ein Bild wenigstens einer Kamera. Das heißt über die signalübertragende Schnittstelle empfängt die Einrichtung wenigstens ein Bild wenigstens einer als Kamera ausgebildeten Sensoreinheit. Vorteil davon ist, dass ein Bild leicht zu erzeugen ist und viele Informationen enthalten kann, das heißt mit einem Bild können auf einfache Weise viele Objekte erfasst werden.
In weiterer Ausgestaltung der Erfindung ist die Einrichtung dazu ausgebildet, bei einem Erfassen von Messdaten durch mehr als eine Sensoreinheit, die jeweiligen Messdaten der jeweiligen Sensoreinheit durch Fusion mit den jeweiligen anderen Messdaten der jeweiligen anderen Sensoreinheiten zu einem gemeinsamen Satz fusionierter Messdaten zusammenzufassen . Für die Überwachung des lebenden Objekts ist es von Vorteil alle verfügbaren Informationen des lebenden Objekts bestmöglich in vorhandenen Fusionsalgorithmen, wie z.B. Kaimanfilter oder Partikelfilter einfließen zu lassen. Durch die Fusion, beispielweise mittels Kaimanfilter, können Fehler unterschiedlicher Messdaten in dem gemeinsamen Satz fusionierter Messdaten möglichst klein gehalten werden. Gerade beispielsweise in Mehrkameraszenarien ist dies vorteilhaft, um die eindeutige Zuordnung beispielsweise von Fußgän- gern in Fußgängermengen zu gewährleisten.
Ferner umfasst die Erfindung ein Fahrerassistenzsystem, welches die erfindungsgemäße Einrichtung aufweist und/oder dazu ausgebildet ist das erfindungsgemäße Verfahren durchzuführen.
Darüber hinaus umfasst die Erfindung ein Kraftfahrzeug, welches die erfindungsgemäße Einrichtung und/oder das Fahrerassistenzsystem aufweist.
Zu der Erfindung gehören auch Weiterbildungen der erfindungsgemäßen Einrichtung, des Fahrerassistenzsystems und des Kraftfahrzeugs die Merkmale aufweisen, wie sie bereits im Zusammenhang mit den Weiterbildungen des erfindungsgemäßen Verfahrens beschrieben worden sind. Aus diesem Grund sind die entsprechenden Weiterbildungen der erfindungsgemäßen Einrichtung, dem Fahrerassistenzsystem und dem Kraftfahrzeug hier nicht noch einmal beschrieben. Ferner umfasst die Erfindung auch Weiterbildungen des erfindungsgemäßen Verfahrens, des Fahrerassistenzsystems und des Kraftfahrzeugs die Merkmale aufweisen, wie sie bereits im Zusammenhang mit den Weiterbildungen der erfindungsgemäßen Einrichtung beschrieben worden sind. Aus diesem Grund sind die entsprechenden Weiterbildun- gen des erfindungsgemäßen Verfahrens, dem Fahrerassistenzsystem und dem Kraftfahrzeug hier nicht noch einmal beschrieben.
Im Folgenden sind Ausführungsbeispiele der Erfindung beschrieben. Hierzu zeigt:
Fig. 1 schematische Draufsicht auf ein Kraftfahrzeug mit einem Fahrerassistenzsystem und einer erfindungsgemäßen Einrichtung, welche das erfindungsgemäße Verfahren durchführen kann, in einer Umgebung des Kraftfahrzeugs, in welcher sich zumindest ein lebendes Objekt sowie weitere Objekte befinden; und
Fig. 2 schematisches Diagramm eines Zusammenwirkens einzelner Komponenten des Verfahrens bei einer Überwachung des lebenden Objekts. Bei den im Folgenden erläuterten Ausführungsbeispielen handelt es sich um bevorzugte Ausführungsformen der Erfindung. Bei den Ausführungsbeispielen stellen die beschriebenen Komponenten der Ausführungsformen jeweils einzelne, unabhängig voneinander zu betrachtende Merkmale der Erfindung dar, welche die Erfindung jeweils auch unabhängig voneinander weiterbilden und damit auch einzeln oder in einer anderen als der gezeigten Kombination als Bestandteil der Erfindung anzusehen sind. Des Weiteren sind die beschriebenen Ausführungsformen auch durch weitere der bereits beschriebenen Merkmale der Erfindung ergänzbar.
In den Figuren sind funktionsgleiche Elemente jeweils mit denselben Bezugszeichen versehen.
Fig. 1 zeigt eine schematische Draufsicht auf ein Kraftfahrzeug 10 mit einem Fahrerassistenzsystem 12 und einer Einrichtung 14. Die Einrichtung 14 ist dazu ausgebildet ein Verfahren durchzuführen, mittels welchem das Fahrerassistenzsystem 12 des Kraftfahrzeugs 10 betrieben werden kann. Bei dem Verfahren wird eine Bewegung zumindest eines lebenden Objekts 16 in einer Umgebung 17 des Kraftfahrzeugs 10 prädiziert. Durch die Prädiktion lässt sich das Fahrerassistenzsystem besonders vorteilhaft betreiben, da beispielsweise eine Kollision mit dem lebenden Objekt 16 vermeidbar ist. Dafür ist die Einrichtung 14 so ausgebildet, dass das zumindest eine lebende Objekt 16 sowie zumindest ein weiteres Objekt 18, 20, 22 in der Umgebung 1 7 des Kraftfahrzeugs 10 und deren jeweilige Objektposition anhand von Mess- daten erfasst werden können. Die durch wenigstens eine Sensoreinheit 24 bereitgestellten Messdaten sind von der Einrichtung 14 an einer Schnittstelle 26 empfangbar.
In einem Schritt a) des Verfahrens erfolgt ein hinterlegen von Bewegungs- modellen, wobei ein jeweiliges Bewegungsmodell eine von zumindest einem weiteren Objekt 18, 20, 22 abhängige Änderung der Bewegung des lebenden Objekts 16 beschreibt, wobei das lebende Objekt 16 und das zumindest eine weitere Objekt 18, 20, 22 jeweils einer Objektklasse angehören und die Bewegungsmodelle für Kombinationen der Objektklassen hinterlegt sind.
Für eine Durchführung des Schritts a) ist die Einrichtung 14 derart ausgebildet, dass sie beispielsweise eine Speichereinrichtung aufweist, auf welcher die Bewegungsmodelle der Objektklassen beziehungsweise der Kombination der Objektklassen hinterlegt sind und/oder die Einrichtung kann über eine weitere Schnittstelle die hinterlegten Bewegungsmodelle abrufen. In einem Schritt b) des Verfahrens werden Messdaten betreffend die Umgebung 17 des Kraftfahrzeugs 10 empfangen, dazu weist die Einrichtung 14 die Schnittstelle 26 auf. In einem Schritt c) des Verfahrens erfolgt ein Erkennen des zumindest einen lebenden Objekts 16 und des zumindest einen weiteren Objekts 18, 20, 22 in der Umgebung 17 des Kraftfahrzeugs 10 sowie ein bestimmen einer Relativposition wenigstens des zumindest einen lebenden Objekts zu dem zumindest einen weiteren Objekt 18, 20, 22 anhand der über die Schnittstelle 26 empfangenen Messdaten. Zusätzlich sind die Relativpo- sitionen der weiteren Objekte 18, 20, 22 untereinander sowie eine jeweilige Objektorientierung der Objekte 16 bis 22 ebenfalls mittels des Verfahrens erfassbar beziehungsweis bestimmbar. In einem weiteren Schritt d) des Verfahrens werden die Objektklassen der erkannten Objekte 16, 18, 20, 22 identifiziert.
In einem Schritt e), welcher in wenigstens zwei Teilschritte unterteilt ist, erfolgt für das erfasste, lebende Objekt 16 in dem ersten Teilschritt ein Erstellen einer Bewegungsgleichung zumindest in Abhängigkeit von der jeweiligen Relativposition des lebenden Objekts 16 zu dem zumindest einem weiteren Objekt 18, 20, 22. Darüber hinaus ist die Bewegungsgleichung abhängig von dem für die Kombination der in Schritt d) identifizierten Objektklassen des lebenden Objekts 16 und des zumindest einen weiteren Objekts 18, 20, 22 jeweils hinterlegten Bewegungsmodell. Ferner können die jeweiligen Orientierungen der Objekte 16 bis 22 als zusätzliche Abhängigkeit in die Bewe- gungsgleichung einfließen. Im zweiten Teilschritt des Schritts e) erfolgt eine Prädiktion der Bewegung des lebenden Objekts 16 anhand der erstellten Bewegungsgleichung.
Im in Fig. 1 gezeigten Beispiel ist das weitere Objekte 18 ein Hund, das Ob- jekt 20 ein Fahrradfahrer und das Objekt 22 eine Menschengruppe. Im Beispiel gehört der Hund der Objektklasse„Hund" und der Fahrradfahrer der Objektklasse „Fahrradfahrer" an. Die einzelnen Personen der Menschengruppe können als eine Gesamtheit der Objektklasse „Menschengruppe" zugeordnet werden. Die Menschen könnten aber auch einzeln als jeweils ein Objekt einer Objektklasse "Fußgänger", welcher auch das lebende Objekt 16 angehört, zugeordnet werden. Auch könnte sich ihr Zustand zwischen zwei zu jeweils einem unterschiedlichen Zeitpunkt aufgenommen Messdaten ändern, falls sich die Menschengruppe beispielsweise auflöst. Im Schritt f) wird das Fahrerassistenzsystem 12 unter Einbeziehung der in Schritt e) prädizierten Bewegung des wenigstens einen lebenden Objekts 16, dem Fußgänger betrieben, sodass beispielsweise eine Kollision mit dem Fußgänger, aufgrund der im Verfahren prädizierten Bewegung, durch das Fahrerassistenzsystem 12 verhindert werden kann.
Die Sensoreinheit 24 der gezeigten Ausführungsform ist als eine Kamera ausgebildet. Es können mehrere Sensoreinheiten 24 verwendet werden, um beispielweise einen größeren Ausschnitt der Umgebung 17 zu erfassen und/oder bei widrigen Sichtverhältnissen möglichst viele Informationen über die Objekte in den Messdaten zu erfassen, beispielsweise durch die Verwendung von mehreren Kameras, welche jeweils in unterschiedlichen Lichtspektren Messdaten aufzeichnen. Bei der Verwendung mehrerer Sensoreinheiten können die Messdaten fusionierte werden, beispielsweise mit- tels Kaimanfilter, um beispielsweise Fehler in den Messdaten gering zu halten.
Damit die einzelnen Schritte a) bis f) des Verfahrens von der Einrichtung 14 durchgeführt werden können, weist diese beispielsweise eine elektronische Recheneinrichtung auf, auf welcher eine Auswertesoftware für die über die Schnittstelle 26 empfangenen Messdaten ausführbar ist, sodass die Objekte
16 bis 22 in den Messdaten erfasst werden und darüber hinaus deren Position und deren Objektorientierung im Raum beziehungsweise der Umgebung
17 des Fahrzeugs ermittelt werden. Zusätzlich ist mittels der elektronischen Recheneinrichtung beispielsweise ein Klassifikator ausführbar, welcher das
Ermitteln beziehungsweise Klassifizieren der Objekte 16 bis 22 in die Objektklassen übernimmt. Darüber hinaus kann die Einrichtung 14 eine weitere Schnittstelle 28 aufweisen, welche Informationen über die prädizierte Bewegung dem Fahrerassistenzsystem 12 bereitstellen kann, sodass dieses bei- spielsweise besonders verkehrssicher betreibbar ist.
Das lebende Objekt 16, der Fußgänger, ist derart orientiert, dass seine Blickrichtung, welche mit der Objektorientierung gleichgesetzt werden kann, auf einen rechten Bürgersteig 30 der Umgebung 17 gerichtet ist. Die Objektori- entierung ist durch die Blickrichtung 32 dargestellt. Durch diese Objektorientierung erfasst das lebende Objekt 16, der Fußgänger, alle in der Umgebung befindlichen weiteren Objekte 18 bis 22, den Hund, den Fahrradfahrer und die Menschengruppe. Das heißt, ein jeweiliges dieser Objekte 18 bis 22 bildet eine Informationsquelle für den Fußgänger, das lebende Objekt 16, durch welche er sich in seiner Bewegung beeinflussen lässt beziehungsweise ablenkbar ist. Falls die Sensoreinheit 24 diesen Zustand der Umgebung 17 in den Messdaten erfasst, fließt jeweils ein Bewegungsmodell, für die Kombination „Fußgänger-Hund", „Fußgänger-Fahrradfahrer" und „Fußgän- ger-Menschengruppe" in die Bewegungsgleichung ein.
So kann beispielsweise das Bewegungsmodell„Fußgänger-Hund" die Reaktion eines Fußgängers auf einen Hund beschreiben, beispielsweise wirkt der Hund abstoßend auf einen Fußgänger. Mit anderen Worten wirkt auf den Fußgänger eine durch den Hund vermittelte abstoßende Kraft, insbesondere wenn beispielsweise ein Potentialfeldansatz auf Grundlage einer Variante des „Social Force Models" für die Bewegungsmodelle angenommen wird. Der Hund nimmt beispielsweise derart Einfluss auf die Bewegung des Fußgängers, dass dieser eine gewissen Mindestabstand zu dem Hund einhalten wird. Befindet sich der Hund also zumindest in der Nähe einer Route, entlang welcher sich der Fußgänger bewegt, wird dieser seine Route korrigieren und beispielsweise einen Bogen mit zumindest dem Mindestabstand um den Hund machen, bevor er wieder der ursprünglichen Route zu seinem Ziel folgt. Dieser Mindestabstand könnte unterschritten werden, beispielsweise falls der Fußgänger mit großer Geschwindigkeit unterwegs ist und/oder den Hund nicht rechtzeitig bemerkt. Das jeweilige Bewegungsmodell ist vorteilhafterweise so ausgebildet, dass solche Situationen mit berücksichtigt werden können. Soll ein Hund als lebendes Objekt überwacht werden und der Einfluss eines Objekts der Objektklasse„Fußgänger" auf den Hund in die Bewegungsgleichung mit einfließen, sollte ein „Hund-Fußgänger" Bewegungsmodell hinterlegt sein.
Vorteilhafterweise wird das jeweilige Bewegungsmodelle durch ein jeweiliges Potentialfelds beschrieben. Aus dem jeweiligen Potentialfeld wird beispiels- weise ein jeweiliger Gradient des Potentialfelds an der Position des Fußgängers bestimmt, wozu die Relativpositionen verwendet werden können. Das heißt, im gezeigten Beispiel die Relativpositionen zu dem lebenden Objekt 16:„Fußgänger zu Hund",„Fußgänger zu Fahrradfahrer" und„Fußgänger zu Menschengruppen". Aus dem jeweiligen Gradienten kann ein jeweiliger Be- schleunigungsvektor, welcher einen jeweiligen Teil der Bewegungsänderung des lebenden Objekts 16 charakterisiert, ermittelt werden. Der jeweilige Bescheinigungsvektor wird in der Bewegungsgleichung für die Prädiktion der Bewegung verwendet. Aufgrund des Verfahrens ist eine intuitive Parametri- sierung eines Potentialfeldansatzes zur Verbesserung der Überwachung der Bewegung von lebenden Objekten, insbesondere Fußgängern, möglich.
Es gilt, je besser die hinterlegten Bewegungsmodelle und/oder die Messda- ten, desto besser die Prädiktion der Bewegung des lebenden Objekts 16. Die Bewegungsmodelle können beispielsweise aus dem bekannten „Social Force Model" oder aus einem ähnlichen Modell zur Beschreibung von Fußgängerbewegungen abgeleitet werden. Die Bewegungsmodelle können Feinheiten berücksichtigen, wie beispielweise, dass ein Kind in der Nähe zumindest eines Erwachsenen von diesen angezogen wird, da es sich dabei häufig um zumindest einen Elternteil des Kindes handelt.
Um die Prädiktion der Bewegung zu verbessern ist es von Vorteil, dass Messdaten von unterscheidbaren, aufeinanderfolgenden Zeitpunkten aus- gewertet werden und anhand dieser Messdaten das Verfahren zu jedem dieser Zeitpunkte wiederholt wird. Je nach Abstand der Zeitpunkte ist eine quasi-kontinuierliche Überwachung des Fußgängers, ein sogenanntes Fuß- gängertracking, möglich. Um bei solch einem kontinuierlichen Fußgängertra- cking die Genauigkeit der Prädiktion zu verbessern, kann, mittels des Verfah- rens anhand einer Auswertung der Messdaten, eine jeweilige Position des jeweiligen erkannten Objekts kontrolliert werden . Darüber hinaus können beispielsweise durch eine Differenzbildung zeitlich aufeinanderfolgender Messdaten Bewegungen der jeweiligen Objekte bestimmt werden. Woraus eine jeweilige Geschwindigkeit und/oder Beschleunigung und/oder Bewe- gungsrichtung des jeweiligen Objekts bestimmbar ist, welche in die Bewegungsgleichung einfließen können. So kann beispielsweise zu einem ersten Zeitpunkt der Hund ruhen und dadurch wenig Einfluss auf die Bewegung des Fußgängers, dem lebenden Objekt 16, nehmen. Setzt sich der Hund jedoch Richtung Fußgänger in Bewegung wird dessen Einfluss größer, dies kann von dem Verfahren berücksichtigt werden.
Vorteilhafterweise wird eine Karte der Umgebung, welche beispielsweise ebenfalls in der Vorrichtung 14 hinterlegt sein kann, mit der ermittelten Bewegungsgleichung abgeglichen. So kann für den Fall, dass auf der Karte beispielsweise Hindernisse und/oder Objekte von Interesse für den Fußgänger, wie beispielsweise ein Geldautomat erkannt werden, dies in die Prädiktion der Bewegung mittels der Bewegungsgleichung einfließen. So kann im Beispiel die Bewegung des Fußgängers unabhängig von der Kenntnis seines tatsächlichen Ziels, dem rechten Bürgersteig 30, bestimmt werden. Jedoch ist unter Zuhilfenahme von Karten Informationen deutlich, dass der Fußgänger, das lebende Objekt 16, die Straßen überqueren will, was aus der Blickrichtung 32 ableitbar ist. Somit kann eine Intention des Fußgängers, das heißt das von ihm erreichbare Ziel, besser bestimmt werden.
Vorteilhafterweise, insbesondere bei einer wie der in Fig. 1 gezeigten Situation, wenn der für das lebenden Objekts 16 prädizierte Weg die Fahrtrichtung 34 des Kraftfahrzeugs 10 kreuzt, wird das Kraftfahrzeug 10 selbst als weiteres Objekt in das Verfahren mit aufgenommen.
Die Menschengruppe, das weitere Objekt 22, ist ein Beispiel dafür, dass, wenn wenigstens zwei weitere Objekte erfasst und klassifiziert werden, eine jeweilige Änderung der jeweiligen Bewegung des jeweiligen weiteren Objekts, aufgrund einer gegenseitigen Wechselwirkung zwischen den wenigs- tens zwei weiteren Objekten, hier den gezeigten vier Fußgängern die die Menschengrupp bilden, ermittelt und in der Bewegungsgleichung des wenigstens einen lebenden Objekts 16 berücksichtigt wird. Dabei wird die Wechselwirkung aus dem jeweiligen hinterlegten Bewegungsmodelle und von der jeweiligen Relativposition bestimmt. Das heißt, mehrere nahe beiei- nander seiende Fußgänger, wie in der Menschengruppe, können eine gemeinsame Dynamik in ihrer Bewegung entwickeln und sind dadurch vorteilhafterweise nicht mehr als sich frei bewegende einzelne Objekte zu betrachten. In dem ihre gegenseitige Wechselwirkung berücksichtigt wird, verbessert sich somit die Bewegungsgleichung des lebenden Objekts 16. Bei dem ge- zeigten Verfahren können folgende, sogenannte Rahmenbedingungen eingehalten werden: eine Trennung von Dynamik und Informationsquellen; eine Parametrierung der Dynamik und der Informationsquellen relativ zu der Intention des lebenden Objekts; Verwendung der Erkenntnisse des „Social Force Model" bei der Definition der einzelnen Potentialfelder. Dadurch kön- nen sich beispielsweise besonders wenige dafür intuitive Parameter ergeben.
Fig. 2 zeigt ein schematisches Diagramm eines Zusammenwirkens einzelner Komponenten des Verfahrens für die Überwachung des lebenden Objekts 16. Dabei erfolgt die Überwachung, das sogenannte Tracking 36, beispielsweise auf Grundlage von Karten Informationen 38, einer Intention 40 des lebenden Objekts 16 sowie den, insbesondere dynamischen, weiteren Objekten, beispielsweise den Objekten 18, 20 und 22, welche in dem Block 42 zusammengefasst sind. Dabei können dynamische Objekte Fußgänger, Hunde, Fahrradfahrer und/oder Kraftfahrzeuge sein. Des Weiteren könnten statt der dynamischen Objekte semistatische Objekte, wie beispielsweise mobile Ampeln und/oder statische Objekte wie eine Telefonzelle oder Ähnliches im Verfahren berücksichtigt werden. Aus der Intention 40 des lebenden Objekts 16 ist dessen Bewegung ableitbar, diese weist eine Dynamik 44 auf. Beispielsweise kann die Dynamik eines Fußgängers dessen maximal erreichbare Geschwindigkeit und/oder ein Abbremsen und/oder seine Geschwindigkeit bei Richtungswechseln beschreiben. Diese Informationen sind vorteilhafterweise in dem jeweiligen Bewegungsmodelle hinterlegt, welches einen Einfluss auf die Änderung der Bewegung des lebenden Objekts 16 aufgrund eines weiteren Objekts aus Block 42 beschreibt, enthalten. Um die Bewegungsgleichung des Fußgängers möglichst einfach bestimmen zu können, erfolgt jeweils eine Parametrisierung beispielsweise der Karten Informationen 38 und/oder der im Block 42 zusammen gefassten weiteren Objekte. Die Parametrisierung ist durch die Pfeile 44 angedeutet, und soll deren mögliche, jeweilige Unabhängigkeit der jeweiligen Parameter darstellen. Ferner können die Karten Informationen 38 sowie die Objekte des Blocks 42 jeweils eine eigene Dynamik 46 aufweisen. Solch eine Dynamik 46 können im Fall der Karteninformationen 38 beispielsweise Echtzeitinformationen der Ver- kehrslage sein, wodurch beispielsweise Straßensperrungen berücksichtigt werden können.
Insgesamt zeigen die Beispiele, wie durch die Erfindung ein Verfahren und/oder eine Einrichtung 14 und/oder ein Fahrerassistenzsystem 12 und/oder ein Kraftfahrzeug 10 bereitgestellt wird, mittels jeweils welchem beziehungsweise welcher eine Bewegung zumindest eines lebenden Objekts 16 in besonders vorteilhafter Weise prädiziert und dadurch insbesondere das Fahrerassistenzsystem 12 unter Einbeziehung dieser Prädiktion besonders vorteilhaft betrieben werden kann.

Claims

PATENTANSPRÜCHE:
Verfahren zum Betreiben eines Fahrerassistenzsystems (12) eines Kraftfahrzeugs (10), bei welchem eine Bewegung zumindest eines lebenden Objekts (16) in einer Umgebung (17) des Kraftfahrzeugs (10) prädiziert wird, folgende Schritte umfassend:
a) Hinterlegen von Bewegungsmodellen, wobei ein jeweiliges Bewegungsmodell eine von zumindest einem weiteren Objekt (18, 20, 22) abhängige Änderung der Bewegung des lebenden Objekts
(16) beschreibt, wobei das lebende Objekt (16) und das zumindest eine weitere Objekt (18, 20, 22) jeweils einer Objektklasse angehören und die Bewegungsmodelle für Kombinationen der Objektklassen hinterlegt sind.
b) Empfangen von Messdaten betreffend die Umgebung (17) des Kraftfahrzeugs (10);
c) Erkennen des zumindest einen lebenden Objekts (16) und des zumindest einen weiteren Objekts (18, 20, 22) in der Umgebung
(17) des Kraftfahrzeugs (10) sowie Bestimmen einer Relativposition der Objekte (16, 18, 20, 22) zueinander anhand der empfangenen Messdaten;
d) Identifizieren der Objektklassen der erkannten Objekte (16 bis 22); e) für das zumindest eine erfasste, lebende Objekt (16):
i. Erstellen einer Bewegungsgleichung des lebenden Objekts (16) zumindest in Abhängigkeit von der jeweiligen Relativposition des lebenden Objekts (16) zu dem zumindest einem weiteren Objekt (18, 20, 22) sowie dem zumindest einen für die Kombination der in Schritt d) identifizierten Objektklassen hinterlegten Bewegungsmodell;
ii. Prädiktion der Bewegung des lebenden Objekts (16) anhand der in Schritt e) i. erstellten Bewegungsgleichung; und f) Betreiben des Fahrerassistenzsystems (12) unter Einbeziehen der in Schritt e) prädizierten Bewegung des wenigsten einen lebenden Objekts.
2. Verfahren nach Anspruch 1 ,
dadurch gekennzeichnet, dass
die Bewegungsgleichung in Schritt e) zusätzlich in Abhängigkeit von einer jeweiligen Objektorientierung bestimmt wird, wobei diese dazu in Schritt c) mit bestimmt
3. Verfahren nach Anspruch 1 oder 2;
dadurch gekennzeichnet, dass
die Bewegungsgleichung in Schritt e) zusätzlich in Abhängigkeit von einer jeweiligen Bewegungsrichtung und/oder Geschwindigkeit und/oder Beschleunigung des lebenden Objekts (16) und/oder des wenigstens einen weiteren Objekts (18, 20, 22) erstellt wird, wobei die aus Messdaten zu einem ersten Zeitpunkt ermittelten Positionen der erkannten Objekte (16 bis 22) mit aus Messdaten zu zumindest einem weiteren Zeitpunkt ermittelten Positionen verglichen werden, wodurch eine jeweilige Bewegungsrichtung und/oder eine jeweilige Geschwindigkeit und/oder eine jeweilige Beschleunigung des jeweiligen Objekts (16 bis 22) bestimmt wird.
Verfahren nach einem der vorhergehenden Ansprüche,
dadurch gekennzeichnet, dass
das jeweilige Bewegungsmodell mittels eines jeweiligen Potentialfelds beschrieben wird.
Verfahren nach Anspruch 3,
dadurch gekennzeichnet, dass
ein jeweiliger Gradient aus dem jeweiligen Potentialfeld gebildet wird und die Bewegungsgleichung in Abhängigkeit von zumindest dem jeweiligen Gradienten erstellt wird.
Verfahren nach einem der vorhergehenden Ansprüche,
dadurch gekennzeichnet, dass
das Verfahren in Schritt e) einen weiteren Teilschritt umfasst, bei welchem die Bewegungsgleichung mit einer Karte der Umgebung (17) des Kraftfahrzeugs (10) abgeglichen und falls mittels der in Schritt e) i. ermittelten Bewegungsgleichung die in Schritt e) ii prädizierte Bewegung aufgrund der Karten Information als nicht ausführbar erkannt wird, die Bewegungsgleichung und die Prädiktion der Bewegung anhand von Informationen der Karte korrigiert wird.
7. Verfahren nach einem der vorhergehenden Ansprüche,
dadurch gekennzeichnet, dass
für den Fall, dass wenigstens zwei weitere Objekte (18, 20, 22) erfasst und klassifiziert werden, eine jeweilige Änderung der jeweiligen Bewegung des jeweiligen weiteren Objekts (18, 20, 22) aufgrund einer gegenseitigen Wechselwirkung zwischen den wenigstens zwei weiteren Objekten (18, 20, 22) ermittelt und in der Bewegungsgleichung des wenigstens einen lebenden Objekts (16) berücksichtigt wird, wobei die Wechselwirkung aus dem jeweiligen hinterlegten Bewegungsmodell und der jeweiligen Relativposition bestimmt wird.
Verfahren nach einem der vorhergehenden Ansprüche,
dadurch gekennzeichnet, dass
das zumindest eine weitere Objekt das Kraftfahrzeug (10) selbst ist.
Einrichtung (14) zum Betreiben eines Fahrerassistenzsystems (12) eines Kraftfahrzeugs (10), wobei die dem Fahrerassistenzsystem (12) zugeordnete Einrichtung (14) über wenigstens eine signalübertragende Schnittstelle (26) mit wenigsten einer Sensoreinheit (24) verbindbar ist, dadurch gekennzeichnet, dass die Einrichtung (14) dazu ausgebildet ist:
- zumindest ein lebendes Objekt (16) sowie zumindest ein weiteres Objekt (18, 20, 22) in einer Umgebung (17) des Kraftfahrzeugs (10) und deren jeweilige Objektposition anhand von durch die mindestens eine Sensoreinheit (24) erzeugten und an der Schnittstelle (26) empfangenen Messdaten zu erfassen;
- die anhand der Messdaten erfassten Objekte (16 bis 22) in Objektklassen einzuteilen, wobei für eine jeweilige Kombination einer Objektklasse des lebenden Objekts (16) und des weiteren Objekts (18, 20, 22) ein jeweiliges Bewegungsmodell in der Einrichtung (14) hinterlegt und/oder von dieser abrufbar ist, wobei das jeweilige Bewegungsmodell eine Bewegungsänderung eines Objekts der Objektklasse des lebenden Objekts (16) aufgrund eines Objekts der Objektklasse des weiteren Objekts (18, 20, 22) charakterisiert;
- eine Bewegungsgleichung des wenigstens einen lebenden Objekts (16) in Abhängigkeit zumindest des der Kombination der Objektklassen zugeordneten Bewegungsmodells, der Objektposition des lebenden Objekts (16) und des wenigstens einen weiteren Objekts (18, 20, 22) zu erstellen;
- die Bewegung des wenigstens eine lebenden Objekts (16) anhand der Bewegungsgleichung zu prädizieren und die prädizierte Bewegung des lebenden Objekts (16) charakterisierende Daten dem Fahrerassistenzsystems (12) an einer weiteren Schnittstelle (28) bereitzustellen.
10. Einrichtung (14) nach Anspruch 9,
dadurch gekennzeichnet, dass
die Messdaten wenigstens ein Bild wenigstens einer Kamera sind.
1 1 . Einrichtung (14) nach einem der vorhergehenden Ansprüche,
dadurch gekennzeichnet, dass
die Einrichtung (14) dazu ausgebildet ist, bei einem Erfassen von Messdaten durch mehr als eine Sensoreinheit (24), die jeweiligen Messdaten der jeweiligen Sensoreinheit (24) durch Fusion mit den jeweiligen anderen Messdaten der jeweiligen anderen Sensoreinheiten (24) zu einem gemeinsamen Satz fusionierter Messdaten zusammenzufassen.
12. Fahrerassistenzsystem (12) aufweisend eine Einrichtung (14) nach Anspruch 9 und/oder dazu ausgebildet, ein Verfahren nach einem der Ansprüche 1 bis 8 durchzuführen.
13. Kraftfahrzeug (10) aufweisend eine Einrichtung (14) nach Anspruch 9 und/oder ein Fahrerassistenzsystem (12) nach Anspruch 12.
PCT/EP2018/075500 2017-09-26 2018-09-20 Verfahren und einrichtung zum betreiben eines fahrerassistenzsystems sowie fahrerassistenzsystem und kraftfahrzeug WO2019063416A1 (de)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US16/632,610 US20200211395A1 (en) 2017-09-26 2018-09-20 Method and Device for Operating a Driver Assistance System, and Driver Assistance System and Motor Vehicle
CN201880050181.5A CN111033510B (zh) 2017-09-26 2018-09-20 用于运行驾驶员辅助系统的方法和装置以及驾驶员辅助系统和机动车

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102017217056.5 2017-09-26
DE102017217056.5A DE102017217056B4 (de) 2017-09-26 2017-09-26 Verfahren und Einrichtung zum Betreiben eines Fahrerassistenzsystems sowie Fahrerassistenzsystem und Kraftfahrzeug

Publications (1)

Publication Number Publication Date
WO2019063416A1 true WO2019063416A1 (de) 2019-04-04

Family

ID=63685967

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2018/075500 WO2019063416A1 (de) 2017-09-26 2018-09-20 Verfahren und einrichtung zum betreiben eines fahrerassistenzsystems sowie fahrerassistenzsystem und kraftfahrzeug

Country Status (4)

Country Link
US (1) US20200211395A1 (de)
CN (1) CN111033510B (de)
DE (1) DE102017217056B4 (de)
WO (1) WO2019063416A1 (de)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112242069A (zh) * 2019-07-17 2021-01-19 华为技术有限公司 一种确定车速的方法和装置
WO2021043650A1 (de) * 2019-09-02 2021-03-11 Volkswagen Aktiengesellschaft VERFAHREN ZUM VORHERSAGEN EINER ZUKÜNFTIGEN FAHR-SITUATION EINES AM STRAßENVERKEHR TEILNEHMENDEN FREMD-OBJEKTES, VORRICHTUNG, FAHRZEUG

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019202627A1 (ja) * 2018-04-16 2019-10-24 三菱電機株式会社 障害物検出装置、障害物検出装置を利用した自動ブレーキ装置、障害物検出方法、および障害物検出方法を利用した自動ブレーキ方法
DE102018214635A1 (de) * 2018-08-29 2020-03-05 Robert Bosch Gmbh Verfahren zur Vorhersage zumindest eines zukünftigen Geschwindigkeitsvektors und/oder einer zukünftigen Pose eines Fußgängers
US11667301B2 (en) * 2018-12-10 2023-06-06 Perceptive Automata, Inc. Symbolic modeling and simulation of non-stationary traffic objects for testing and development of autonomous vehicle systems
GB202215836D0 (en) 2019-05-07 2022-12-07 Motional Ad Llc Systems and methods for planning and updating a vehicle's trajectory
US20220227367A1 (en) * 2019-06-06 2022-07-21 Mobileye Vision Technologies Ltd. Systems and methods for vehicle navigation
DE102019215141B4 (de) * 2019-10-01 2023-10-12 Volkswagen Aktiengesellschaft Verfahren zum Prognostizieren einer zukünftigen Verkehrssituation in einer Umgebung eines Kraftfahrzeugs durch Bestimmen mehrerer in sich konsistenter Gesamtszenarios für unterschiedliche Verkehrsteilnehmer; Kraftfahrzeug
DE102019127176A1 (de) * 2019-10-09 2021-04-15 Ford Global Technologies, Llc Steuern eines autonomen Fahrzeugs
US11756418B2 (en) * 2019-10-18 2023-09-12 Honda Motor Co., Ltd. Device, method, and storage medium
US11912271B2 (en) 2019-11-07 2024-02-27 Motional Ad Llc Trajectory prediction from precomputed or dynamically generated bank of trajectories
DE102019218455A1 (de) * 2019-11-28 2021-06-02 Volkswagen Aktiengesellschaft Verfahren zum Betreiben einer Fahrassistenzvorrichtung eines Fahrzeugs, Fahrassistenzvorrichtung und Fahrzeug, aufweisend zumindest eine Fahrassistenzvorrichtung
EP4077083B1 (de) * 2019-12-18 2024-07-03 Volvo Truck Corporation Verfahren zur erzeugung eines positiven entscheidungssignals für ein fahrzeug
CN112562314B (zh) * 2020-11-02 2022-06-24 福瑞泰克智能系统有限公司 基于深度融合的路端感知方法、装置、路端设备和系统
CN112581756B (zh) * 2020-11-16 2021-12-24 东南大学 一种基于混合交通的行车风险评估方法
CN113131981B (zh) * 2021-03-23 2022-08-26 湖南大学 一种混合波束成形方法、装置及存储介质
DE102021208191A1 (de) 2021-07-29 2023-02-02 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren zum zumindest teilautomatisierten Führen eines Kraftfahrzeugs
CN113306552B (zh) * 2021-07-31 2021-10-01 西华大学 混合道路拥堵状态下无人驾驶汽车的超低速蠕行方法
DE102021213304A1 (de) 2021-11-25 2023-05-25 Psa Automobiles Sa Soziale-Kräfte-Modelle zur Trajektorien-Prädiktion anderer Verkehrsteilnehmer
DE102021213538A1 (de) 2021-11-30 2023-06-01 Psa Automobiles Sa Simulation zur Validierung einer automatisierenden Fahrfunktion für ein Fahrzeug
CN114590248B (zh) * 2022-02-23 2023-08-25 阿波罗智能技术(北京)有限公司 行驶策略的确定方法、装置、电子设备和自动驾驶车辆

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2133851A1 (de) * 2007-04-02 2009-12-16 Panasonic Corporation Hilfseinrichtung für sicheres fahren
DE102014215372A1 (de) 2014-08-05 2016-02-11 Conti Temic Microelectronic Gmbh Fahrerassistenzsystem

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10325762A1 (de) * 2003-06-05 2004-12-23 Daimlerchrysler Ag Bildverarbeitungssystem für ein Fahrzeug
US20080065328A1 (en) * 2006-09-08 2008-03-13 Andreas Eidehall Method and system for collision avoidance
JP5172366B2 (ja) * 2008-01-22 2013-03-27 アルパイン株式会社 車両運転支援装置
DE102013202463A1 (de) * 2013-02-15 2014-08-21 Bayerische Motoren Werke Aktiengesellschaft Verfahren und Vorrichtung zum Ermitteln eines Bewegungsmodells
DE102013206023A1 (de) * 2013-04-05 2014-10-09 Bayerische Motoren Werke Aktiengesellschaft Verfahren und System zum Verbessern der Verkehrssicherheit von Kindern und Jugendlichen
DE102013013867A1 (de) * 2013-08-20 2015-03-12 Audi Ag Kraftfahrzeug und Verfahren zur Steuerung eines Kraftfahrzeugs
DE102013017626A1 (de) * 2013-10-23 2015-04-23 Audi Ag Verfahren zur Warnung weiterer Verkehrsteilnehmer vor Fußgängern durch ein Kraftfahrzeug und Kraftfahrzeug
DE102015206335A1 (de) * 2015-04-09 2016-10-13 Bayerische Motoren Werke Aktiengesellschaft Verfahren zum Warnen eines Verkehrsteilnehmers
DE102015015021A1 (de) * 2015-11-20 2016-05-25 Daimler Ag Verfahren zur Unterstützung eines Fahrers beim Führen eines Fahrzeugs

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2133851A1 (de) * 2007-04-02 2009-12-16 Panasonic Corporation Hilfseinrichtung für sicheres fahren
DE102014215372A1 (de) 2014-08-05 2016-02-11 Conti Temic Microelectronic Gmbh Fahrerassistenzsystem

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
DIRK HELBING ET AL: "Social Force Model for Pedestrian Dynamics", ARXIV.ORG, CORNELL UNIVERSITY LIBRARY, 201 OLIN LIBRARY CORNELL UNIVERSITY ITHACA, NY 14853, 20 May 1998 (1998-05-20), XP080633622, DOI: 10.1103/PHYSREVE.51.4282 *
HELBING, DIRK; MOLNAR, PETER: "Social force model for pedestrian dynamics", PHYSICAL REVIEW E, 1995, pages 4282
K. YAMAGUCHI; A. C. BERG; L. E. ORTIZ; T. L. BERG: "Computer Vision and Pattern Recognition (CVPR), 2011 IEEE Conference on", 2011, IEEE, article "Who are you with and where are you going?", pages: 1345 - 1352
KOTA YAMAGUCHI ET AL: "Who are you with and where are you going?", COMPUTER VISION AND PATTERN RECOGNITION (CVPR), 2011 IEEE CONFERENCE ON, IEEE, 20 June 2011 (2011-06-20), pages 1345 - 1352, XP032037970, ISBN: 978-1-4577-0394-2, DOI: 10.1109/CVPR.2011.5995468 *
S. YI; H. LI; X. WANG: "Understanding pedestrian behaviors from stationary crowd groups", PROCEEDINGS OF THE IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION, 2015, pages 3488 - 3496, XP032793799, DOI: doi:10.1109/CVPR.2015.7298971
YI SHUAI ET AL: "Understanding pedestrian behaviors from stationary crowd groups", 2015 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION (CVPR), IEEE, 7 June 2015 (2015-06-07), pages 3488 - 3496, XP032793799, DOI: 10.1109/CVPR.2015.7298971 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112242069A (zh) * 2019-07-17 2021-01-19 华为技术有限公司 一种确定车速的方法和装置
WO2021008605A1 (zh) * 2019-07-17 2021-01-21 华为技术有限公司 一种确定车速的方法和装置
CN112242069B (zh) * 2019-07-17 2021-10-01 华为技术有限公司 一种确定车速的方法和装置
US11273838B2 (en) 2019-07-17 2022-03-15 Huawei Technologies Co., Ltd. Method and apparatus for determining vehicle speed
WO2021043650A1 (de) * 2019-09-02 2021-03-11 Volkswagen Aktiengesellschaft VERFAHREN ZUM VORHERSAGEN EINER ZUKÜNFTIGEN FAHR-SITUATION EINES AM STRAßENVERKEHR TEILNEHMENDEN FREMD-OBJEKTES, VORRICHTUNG, FAHRZEUG

Also Published As

Publication number Publication date
DE102017217056B4 (de) 2023-10-12
US20200211395A1 (en) 2020-07-02
DE102017217056A1 (de) 2019-03-28
CN111033510B (zh) 2024-02-13
CN111033510A (zh) 2020-04-17

Similar Documents

Publication Publication Date Title
DE102017217056B4 (de) Verfahren und Einrichtung zum Betreiben eines Fahrerassistenzsystems sowie Fahrerassistenzsystem und Kraftfahrzeug
EP3155603B1 (de) Verfahren zur ermittlung von positionsdaten zur nutzung beim betrieb eines fahrzeugsystems eines kraftfahrzeugs und positionsdatenermittlungs- und -verteilungssystem
DE102019111414A1 (de) Steuerungssysteme, steuerungsverfahren und steuerungen für ein autonomes fahrzeug
DE102019112038A1 (de) Steuerungssysteme, steuerungsverfahren und steuerungen für ein autonomes fahrzeug
EP3044760B1 (de) Verfahren zur analyse der verteilung von objekten in freien warteschlangen
DE102019111402A1 (de) Steuerungssysteme, steuerungsverfahren und steuerungen für ein autonomes fahrzeug
DE112018005774T5 (de) Vorrichtung zur Vorhersage des Verhaltens eines sich bewegenden Körpers und Verfahren zur Vorhersage des Verhaltens eines sich bewegenden Körpers
DE602005003926T2 (de) System und verfahren zum erkennen eines vorbeikommenden fahrzeugs aus dynamischem hintergrund unter verwendung robuster informationsfusion
DE102017204404B3 (de) Verfahren und Vorhersagevorrichtung zum Vorhersagen eines Verhaltens eines Objekts in einer Umgebung eines Kraftfahrzeugs und Kraftfahrzeug
DE102013005362A1 (de) Verfahren zur Analyse einer Verkehrssituation
EP3014598A1 (de) Verfahren zum verarbeiten von messdaten eines fahrzeugs zur bestimmung des beginns einer parkplatzsuche
DE102019209736A1 (de) Verfahren zur Bewertung möglicher Trajektorien
DE102018104270A1 (de) Verfahren zum Vorhersagen des Verhaltens mindestens eines Fußgängers
DE102019122536A1 (de) Exzentrizitätskarten
EP3877231A1 (de) Prädiktion eines voraussichtlichen fahrverhaltens
DE102020112825A1 (de) Verfahren zum Erfassen von relevanten statischen Objekten innerhalb einer Fahrspur sowie Recheneinrichtung für ein Fahrerassistenzsystem eines Fahrzeugs
DE102016119729A1 (de) Steuern eines Personenbeförderungsfahrzeugs mit Rundumsichtkamerasystem
DE102021113651B3 (de) System zur Sensordatenfusion für die Umgebungswahrnehmung
DE102016220450A1 (de) Vorrichtung, Fortbewegungsmittel und Verfahren zur Abschätzung einer Kollisionswahrscheinlichkeit zwischen einem Fortbewegungsmittel und einem Umgebungsobjekt
DE102021003567A1 (de) Verfahren zur Erkennung von Objektbeziehungen und Attributierungen aus Sensordaten
DE102019204187A1 (de) Klassifizierung und temporale Erkennung taktischer Fahrmanöver von Verkehrsteilnehmern
WO2020043328A1 (de) VERFAHREN ZUR VORHERSAGE ZUMINDEST EINES ZUKÜNFTIGEN GESCHWINDIGKEITSVEKTORS UND/ODER EINER ZUKÜNFTIGEN POSE EINES FUßGÄNGERS
DE102017206396A1 (de) Steuerverfahren, Steuereinheit, Umfelderfassungssystem und mobile und/oder stationäre Einrichtung
DE102020200876B4 (de) Verfahren zum Verarbeiten von Sensordaten einer Sensorik eines Fahrzeugs
DE102004047122A1 (de) Verfahren zum Überwachen eines Fahrzeugs

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18778867

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 18778867

Country of ref document: EP

Kind code of ref document: A1