WO2018233931A1 - Umfeldüberwachung eines ego-fahrzeugs - Google Patents

Umfeldüberwachung eines ego-fahrzeugs Download PDF

Info

Publication number
WO2018233931A1
WO2018233931A1 PCT/EP2018/062454 EP2018062454W WO2018233931A1 WO 2018233931 A1 WO2018233931 A1 WO 2018233931A1 EP 2018062454 W EP2018062454 W EP 2018062454W WO 2018233931 A1 WO2018233931 A1 WO 2018233931A1
Authority
WO
WIPO (PCT)
Prior art keywords
ego vehicle
relevance
vehicle
display device
threshold
Prior art date
Application number
PCT/EP2018/062454
Other languages
English (en)
French (fr)
Inventor
Lutz Eckstein
Jan Bavendiek
Original Assignee
Zf Friedrichshafen Ag
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zf Friedrichshafen Ag filed Critical Zf Friedrichshafen Ag
Priority to CN201880040967.9A priority Critical patent/CN110770810A/zh
Priority to US16/624,693 priority patent/US20200168096A1/en
Publication of WO2018233931A1 publication Critical patent/WO2018233931A1/de

Links

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/28—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/09—Taking automatic action to avoid collision, e.g. braking and steering
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095—Predicting travel path or likelihood of collision
    • B60W30/0956—Predicting travel path or likelihood of collision the prediction being responsive to traffic or environmental parameters
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/10—Path keeping
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/168—Driving aids for parking, e.g. acoustic or visual feedback on parking space
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/167—Vehicle dynamics information
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/175—Autonomous driving
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/178—Warnings
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/179—Distances to obstacles or vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means

Definitions

  • the invention relates to a method for monitoring the surroundings of an ego vehicle and an assistance system for vehicles for reducing traffic hazards as well as an associated computer program product.
  • assistance systems which record environmental information by means of cameras and other sensors and recognize other vehicles therein. Detected vehicles are assessed for their relevance to the ego vehicle. If the relevance of a vehicle exceeds a threshold value, then a warning is issued to the driver of the ego vehicle, and / or it is actively intervened in the driving dynamics of the ego vehicle.
  • US 2017/120 907 A1 discloses an example of such an assistance system that is specifically designed to warn of a dangerously approaching vehicle from the rear of the ego vehicle and, if necessary, to initiate countermeasures such as accelerating the ego vehicle to avoid it a collision.
  • the present invention is based on the object to further develop assistance systems of the type described.
  • a method for monitoring the surroundings of an ego vehicle has been developed.
  • at least one object and / or a group of objects in the vicinity of the ego vehicle is detected by means of a sensor system and assessed with respect to its relevance to the ego vehicle, and / or its intended spatiotemporal trajectory.
  • autonomous vehicle is to be understood in accordance with the linguistic usage in the field of autonomous driving as that vehicle whose environment is to be monitored and whose behavior is influenced by the procedure or by the assistance system in particular a motor vehicle for traffic on roads, but also for example a ship.
  • the spatiotemporal trajectory of a vehicle is understood to mean a trajectory which links locations that are passed by the vehicle to the times at which the vehicle is located at these locations.
  • the relevance of an object is understood in particular to be an influence of the object on the safety of the ego vehicle.
  • Such an influence can exist, for example, in a risk of collision.
  • the at least one assistance system intervenes in the spatiotemporal trajectory of the ego vehicle and / or issues the driver of the ego vehicle with a recommendation to do so in order to avoid a collision with the object, or an object from the group, to prevent or mitigate.
  • the assistance system may be, for example, Adaptive Cruise Control (ACC) or a system that monitors the blind spot of a rearview mirror.
  • ACC Adaptive Cruise Control
  • the intervention may include, for example, evasion, deceleration and / or acceleration of the ego vehicle.
  • the object including its position relative to the ego vehicle is visualized on a display device, wherein the visual conspicuousness of the object on the display device is increased at least when the relevance of the object or group exceeds an announcement threshold, and wherein the Announcement threshold T1 is lower than the intervention threshold T2.
  • both the object and the ego vehicle are advantageously visualized simultaneously in the display device.
  • the driver of the ego vehicle receives the objects that are detected by the environmental monitoring system. the, so visualized that they require only a minimum of attention. This at least enables the driver to establish that the environmental monitoring system recognizes those objects that the driver himself sees, which considerably increases the sense of security in using the assistance system.
  • the functionality of the assistance system always becomes transparent to the driver and is not only evident in critical situations situations. This is all the more true the more the perspective of the display on the display device is similar to the perspective in which the driver directly perceives the surroundings of the vehicle. Therefore, the object is advantageously visualized in a three-dimensional representation on the display device.
  • the driver can already track how the situation is gradually escalating. The driver is no longer surprised that a sudden intervention in the behavior of the vehicle is made or a warning dictates an immediate action of the driver. Corresponding startle reactions that can cause a hazard are advantageously avoided. Rather, the driver can make his own picture of what reaction of the assistance system is likely to be appropriate due to the visualization, and compare this picture with the subsequent actual reaction of the assistance system.
  • the information that is ultimately processed by the assistance system for intervening in the spatio-temporal trajectory of the ego vehicle or for warnings is therefore not passed on to the driver 1: 1, but is filtered and processed so that the driver is under the boundary condition a limited, while the accomplishment of the driving task still available attention learns the most important.
  • the method can also be used to train a neural network or other artificial intelligence for autonomous driving.
  • a human driver can check in real driving situations whether the artificial intelligence reacts in the expected manner in the face of the situation detected by the environmental monitoring.
  • the fits The internal logic of artificial intelligence successively so that in real driving in any situation a rule-compliant and safe response is triggered.
  • the method can be used not only in flowing traffic, but also, for example, to assist with parking operations. It then highlights, for example, the object with the greatest visual conspicuity that the ego vehicle could soon trigger. This feedback is more helpful for the driver than the mere feedback of many parking aids, at which point of the ego vehicle threatens to initiate. If, for example, a bollard is recognized as an object and conspicuously highlighted, the driver can note that a bollard is present at this location. The next time the driver parks in the same location, he can be cautious from the outset.
  • the visualized object is part of a group classified as relevant for the ego vehicle, then, for example, all objects of the group can be visualized with a uniform visual conspicuity or else marked as belonging together. Alternatively or in combination, for example, be encoded in the representation that the ego vehicle should first dodge a first object and then a second object from the group.
  • the announcement threshold Ti is dimensioned so that the increase of the visual conspicuousness of the object takes place between 0.3 seconds and 1 second before reaching the intervention threshold T 2 .
  • a period of at least 0.3 seconds ensures that the driver has the opportunity to record the situation independently of the visualized objects before the intervention or before the instruction.
  • a time span of at most one second is advantageous, so that only for such situations an increased attention of the driver is claimed, which does not defuse itself again.
  • the visual conspicuousness is therefore increased substantially only if it is predominantly probable that the intervention threshold T 2 is actually reached as a result and the warning or the intervention takes place.
  • the object is visualized on the display device as soon as it has been detected in an environment outside the ego vehicle which corresponds to the representation on the display device.
  • the object does not appear until it has been recognized as being of particular relevance, but it is already visible with lower visual conspicuousness.
  • the object recognition can be made plausible. This increases the sense of security in dealing with the assistance system and also simplifies troubleshooting.
  • an unexpected or lacking response of the assistance system can be attributed, for example, to the fact that an object in the field of vision of the driver has been missing from the display on the display, or that an object has erroneously appeared at a place where there was in fact none.
  • the visual conspicuousness of the object on the display device is increased continuously or in several stages with the relevance of the object or of the group. In this way, the driver can be kept informed about the driving situation with the right amount of stressed attention.
  • the visual conspicuousness of the object is changed by abstracting the representation of the object to achieve a lower visual conspicuity and concretizing it to achieve a higher visual conspicuity.
  • the representation of the object can, for example, be abstracted into a box or other simplified representation, or be concretized into a representation that corresponds more closely to the real form. Any intermediate stages of the representation can be obtained, for example, by morphing, i. H. by representing the transitions between the individual intermediate stages in terms of image processing, to be won.
  • the object is visualized as an edge model, whereby the transparency of a surface of the edge model is increased in order to achieve a low conspicuousness and is reduced in order to achieve a higher conspicuousness.
  • This type of presentation also allows Any number of intermediate stages with which a different degree of relevance can be visualized.
  • the color in which the object is visualized can be changed to change the visual conspicuousness.
  • gray or pale shades may be used.
  • red or other distinct colors that prefer to stand out from the background can be used.
  • the colors used may be arranged in a color gradient scale between a first color with the lowest conspicuousness and a second color with the highest conspicuousness in order to visualize intermediate levels.
  • the relevance of the detected objects can be more or less fine-grained.
  • the objects can be in the three
  • Classes are classified as “irrelevant,” “potentially relevant,” and “relevant.” Alternatively, a continuous depiction of relevance is possible.
  • the relevance of the object, or the group is the higher, the greater the probability that the spatiotemporal trajectory of the ego vehicle must be changed in order to collide with the object, or an object from the group, to avoid or mitigate.
  • a stationary obstacle to which the ego vehicle is heading is particularly relevant because the collision occurs in any case unless the ego vehicle is braked and / or driven past the obstacle.
  • the object is another vehicle in motion, it will also depend on the behavior of that vehicle, or the driver of that vehicle, as to whether both vehicles will be meeting at the same time at the same time.
  • the probability can be determined, for example, on the basis of the observation by the sensor behavior expected behavior. For example, drives the ego vehicle on a priority road and approaches from a cruising Road A vehicle that is signaled by a traffic sign "stop" or "right of way", the relevance of this vehicle may depend on the speed with which this vehicle approaches the privileged area. If this speed is not reduced in time, this can be taken as an indication that the vehicle will not meet its obligation to wait.
  • the probability may also depend, for example, on the soft way in which the further vehicle is signaled the waiting period. For example, at a traffic light intersection, the likelihood of a driver deliberately ignoring his or her duty to look after is lower than at an intersection marked "stop” or "right of way", since a qualified red light offense is subject to significantly higher sanction than passing one of the mentioned signs.
  • the shorter the estimated time span the more highly the relevance of the object or group is assessed, until the spatiotemporal trajectory of the ego vehicle has to be changed. For example, a vehicle that is still far away but is approaching very quickly may be more relevant than a slowly approaching vehicle nearby.
  • the relevance of an object that is a vehicle is changed when this vehicle is a self-propelled vehicle, and / or a networked vehicle. This change can be either increasing or decreasing depending on the situation.
  • a self-propelled vehicle is understood, in particular, to mean a vehicle which can move autonomously in traffic and thereby react automatically to other road users or obstacles. It is also not excluded that an intervention possibility for a human driver is provided. Even a vehicle whose operating mode is completely or partially switchable between manual driving and autonomous driving is self-propelled when the driver is not exercising control.
  • a networked vehicle is to be understood, in particular, as a vehicle having at least one communication interface, via which the actual, intended or desired behavior of the vehicle in traffic, and / or information that is relevant for the behavior of other vehicles, compared to other vehicles or to a traffic infrastructure can be communicated.
  • a networked vehicle with the ego vehicle can automatically agree that both vehicles drive synchronously in close proximity to each other, coupled by an "electronic drawbar.”
  • the other networked vehicle is then very close to the ego vehicle and out of the
  • an inappropriately approaching off-the-street vehicle controlled by a human driver may be very relevant, so the display on the display device provides an "augmented reality". which corrects the intuitive impression of the relevance given by optical observation as such.
  • the object is detected by a first sensor system of the ego vehicle, and to assess its relevance, at least one second sensor system of the ego vehicle whose contrast mechanism differs from that of the first sensor system is used.
  • a vehicle can be recognized as an object in an optical survey image, and then its speed can be determined with a radar sensor.
  • each sensor can play its specific advantages optimally, and the sensors can also be at least partially plausible against each other.
  • both sensor systems do not necessarily have to belong to the same assistance system. Instead, several sensor systems belonging to different assistance systems can be interconnected for the purposes of the method, and the observations supplied by these sensor systems can be pooled.
  • sensor in particular, any device which outputs a signal which changes as a function of the presence of objects in the detection range of the sensor system.
  • a contrast mechanism is the physical interaction that bridges the presence or absence of an object to change the signal. For example, objects in camera images cause an optical contrast. Metallic objects create a contrast in radar measurements by reflecting the radar waves.
  • the objects detected by a plurality of sensor systems for example belonging to different assistance systems, and their relevances determined by an assistance system coupled to the respective sensor system are combined for the visualization.
  • the merging can in particular comprise that the union of the objects detected by the plurality of sensor systems, and / or the associated relevances, is formed.
  • one and the same object is recognized by the sensors belonging to several assistance systems and evaluated by the assistance systems in each case with regard to its relevance, the highest ascertained relevance for the visualization and the intervention or the warning being decisive.
  • the sensors belonging to several assistance systems are recognized by the sensors belonging to several assistance systems and evaluated by the assistance systems in each case with regard to its relevance, the highest ascertained relevance for the visualization and the intervention or the warning being decisive.
  • the associated logics can be bundled for evaluation.
  • the invention may be embodied, in particular, in one or more assistance systems for an ego vehicle.
  • the invention therefore also relates to an assistance system.
  • This assistance system is included designed to monitor the environment of the ego vehicle with at least one sensor.
  • the assistance system comprises recognition logic for recognizing objects in the vicinity of the ego vehicle, evaluation logic for assessing the relevance of recognized objects, and / or groups of recognized objects, for the ego vehicle, and / or for its spatiotemporal trajectory.
  • the assistance system is designed to visualize the objects on at least one display device arranged in the ego vehicle.
  • the assistance system comprises at least one actuator for engaging in the spatiotemporal trajectory of the ego vehicle, and / or a warning device for outputting a corresponding instruction to the driver of the ego vehicle.
  • An intervention logic is provided, which is designed to activate the actuator, and / or the warning device, if the relevance of the object exceeds an intervention threshold T 2 .
  • the sensor system and the display device can each be part of the assistance system, but this is not absolutely necessary.
  • an already existing in the ego vehicle sensor and / or display device can be shared.
  • one and the same sensor system, and / or one and the same display device can be shared by several assistance systems present in the ego vehicle.
  • the assistance system additionally has a visualization logic which is designed to increase the visual conspicuousness of an object on the display device at least when the relevance of the object exceeds an announcement threshold Ti, the announcement threshold Ti being lower than the intervention threshold T 2 .
  • the method can make use of sensors and logics for evaluation, which are already present in an ego vehicle equipped with assistance systems. These existing sensors and logics can be fed to the process for further use. In many cases, the hardware of the control units present in the ego vehicle already has sufficient capacity to carry out the method. Thus, it is conceivable to give the functionality of the method to an ego vehicle solely by implementing the method in software.
  • Such a software can be distributed, for example, as an update, as an upgrade or as a supplier product to an assistance system and thus an independent product. Therefore, the invention also relates to a computer program product with machine-readable instructions which, when executed on a computer, and / or on a controller, upgrade the computer, and / or the controller to a visualization logic of the assistance system according to the invention, and / or cause to carry out a method according to the invention.
  • FIG. 1 is a schematic representation of an embodiment of the method 100 according to the invention.
  • FIG. 4 shows an exemplary assistance system 4 according to the invention.
  • FIG. 1 illustrates the sequence of an exemplary embodiment of the method 100.
  • the ego vehicle 1 is located in an environment 2.
  • a region 21 of the environment 2 becomes observed by a sensor 11, 11a, 11b of a first assistance system 4a.
  • FIG. 1 shows the intended spatiotemporal trajectory 1a of the ego vehicle 1.
  • step 110 of the method 100 the vehicles 3a-3c are recognized as objects.
  • step 120 of the method 100 the relevance 31a-31c of the objects 3a-3c is evaluated. These relevances 31a-31c are optionally combined in step 125 with the relevances of further objects that have been recognized by a second assistance system 4b that is not further detailed.
  • the objects 3a-3c are displayed on the display device 5 in step 130 in a representation 51 which corresponds to the observed environment region 21.
  • step 139 it is checked whether the relevance 31a-31c of each object 3a-3c is greater than the announcement threshold T-
  • FIG. 2 shows, by way of example, different possibilities as to how the visual conspicuity 32a-32c of objects 3a-3c can be increased stepwise.
  • the arrow in FIG. 2 symbolizes that the visual conspicuity 32a-32c increases from top to bottom.
  • the representation of the object 3a-3c is abstracted to obtain a low visual conspicuity 32a-32c.
  • the object 3a-3c is visualized as an edge model 33a-33c.
  • a surface 34a-34c of this edge model 33a-33c is maximally transparent at low visual conspicuity 32a-32c. The higher the visual conspicuity 32a-32c, the less transparent that surface 34a-34c becomes.
  • the color in which the object 3a-3c is visualized is changed to change the visual conspicuousness.
  • the colors are replaced in Fig. 2 by different Strichelache.
  • the selected color is paler, with higher visual attention 32a-32c, the color chosen is more saturated and noticeable.
  • FIG. 3 shows by way of example a representation 51 of the surrounding area 21 on the display device 5.
  • This illustration 51 shows the ego vehicle 1, the spatiotemporal trajectory 1a of the ego vehicle 1, and three objects 3a-3c.
  • the current directions of movement of the objects 3a-3c are symbolized by arrows.
  • the visual abnormalities 32a-32c representing the objects 3a-3c are encoded according to option (b) of FIG.
  • the object 3a is located on a course that does not affect the spatiotemporal trajectory 1a of the ego vehicle 1. Accordingly, it has a low relevance 31a and is assigned a low visual conspicuity 32a.
  • the object 3b approaches the ego vehicle 1 from the front. According to spatiotemporal trajectory 1a, however, the ego vehicle 1 intends to turn left before the object 3b. Depending on the speeds of the ego vehicle 1 on the one hand and the object 3b on the other hand, a collision could occur. Therefore, the object 3b is assigned an average relevance 31b, and accordingly also a mean visual conspicuity 32b. The object 3c moves from the right to the ego vehicle 1. The ego vehicle 1 will not evade this object 3c by the intentional left turn. If, therefore, the spatiotemporal trajectory 1a of the ego vehicle 1 remains unchanged, the collision will most likely occur. Accordingly, the object 3c has a high relevance 31c and is assigned the highest visual conspicuity 32c.
  • FIG. 4 shows by way of example an assistance system 4, 4a, 4b for use in an ego vehicle 1.
  • the assistance system 4, 4a, 4b makes use of sensors 11a and 11b of the ego vehicle 1.
  • the data from the sensors 11a and 11b are evaluated by the recognition logic 41.
  • the recognition logic 41 recognizes the objects 3a-3c and reports them to the evaluation logic 42 as well as to the display device 5.
  • the evaluation logic 42 determines the relevances 31a-31c of the objects 3a-3c. These relevances 31a-31c are then first checked in block 139 within the visualization logic 46 to determine whether they exceed the announcement threshold ⁇ .
  • the visual conspicuity 32a-32c of the relevant object 3a-3c is increased according to the step 140 implemented in the visualization logic 46.
  • the relevances 31a-31c are checked in block 149 within the intervention logic as to whether the intervention threshold T2 has been exceeded. If this is the case (truth value 1), the actuator 43 is activated to intervene in the spatiotemporal trajectory 1 a of the ego vehicle 1. Alternatively or in combination with this, the warning device 44 can be activated in order to give an instruction for avoidance to the driver of the ego vehicle 1.

Landscapes

  • Engineering & Computer Science (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Human Computer Interaction (AREA)
  • Traffic Control Systems (AREA)

Abstract

Verfahren (100) zur Umfeldüberwachung eines Ego-Fahrzeugs (1), wobei mittels einer Sensorik (11, 11a, 11 b) mindestens ein Objekt (3a-3c), und/oder eine Gruppe von Objekten (3a-3c), im Umfeld (2) des Ego-Fahrzeugs erkannt (110) und hinsichtlich seiner Relevanz (31a-31c) für das Ego-Fahrzeug (1), und/oder für dessen beabsichtigte spatiotemporale Trajektorie (1a), bewertet (120) wird und wobei in Reaktion darauf, dass die Relevanz (31a-31c) eine Eingriffsschwelle T2 überschreitet (149), mittels mindestens eines Assistenzsystems (4, 4a, 4b) in die spatiotemporale Trajektorie (1a) des EgoFahrzeugs (1) eingegriffen und/oder dem Fahrer des Ego-Fahrzeugs (1) eine diesbezügliche Handlungsempfehlung erteilt wird (150), um eine Kollision mit dem Objekt (3a-3c), bzw. einem Objekt (3a-3c) aus der Gruppe, zu verhindern oder abzumildern, wobei das Objekt (3a-3c) einschließlich seiner Position relativ zum Ego-Fahrzeug (1) auf einer Anzeigeeinrichtung (5) im Ego-Fahrzeug (1) visualisiert wird (130), wobei die visuelle Auffälligkeit (32a-32c) des Objekts (3a-3c) auf der Anzeigeeinrichtung (5) mindestens dann erhöht wird (140), wenn die Relevanz 31a-31c) des Objekts (3a-3c), bzw. der Gruppe, eine Ankündigungsschwelle T1 überschreitet, und wobei die Ankündigungsschwelle T1 niedriger ist als die Eingriffsschwelle T2.

Description

Umfeldüberwachung eines Ego-Fahrzeugs
Die Erfindung betrifft ein Verfahren zur Umfeldüberwachung eines Ego-Fahrzeugs und ein Assistenzsystem für Fahrzeuge zur Gefahrenminderung im Verkehr sowie ein zugehöriges Computerprogrammprodukt.
Zur Gefahrenminderung im Straßenverkehr sind Assistenzsysteme bekannt, die Umgebungsinformationen mittels Kameras und anderer Sensoren aufnehmen und darin andere Fahrzeuge erkennen. Erkannte Fahrzeuge werden hinsichtlich ihrer Relevanz für das Ego-Fahrzeug bewertet. Überschreitet die Relevanz eines Fahrzeugs einen Schwellwert, so wird eine Warnung an den Fahrer des Ego-Fahrzeugs ausgegeben, und/oder es wird aktiv in die Fahrdynamik des Ego-Fahrzeugs eingegriffen.
Die US 2017/120 907 A1 offenbart ein Beispiel für ein solches Assistenzsystem, das speziell dafür ausgelegt ist, vor einem sich dem Ego-Fahrzeug von hinten gefährlich nähernden Fahrzeug zu warnen und gegebenenfalls auch Gegenmaßnahmen einzuleiten, wie etwa Beschleunigen des Ego-Fahrzeugs zur Vermeidung einer Kollision.
Der vorliegenden Erfindung liegt die Aufgabe zu Grunde, Assistenzsysteme der beschriebenen Gattung weiterzuentwickeln.
Im Rahmen der Erfindung wurde ein Verfahren zur Umfeldüberwachung eines Ego- Fahrzeugs entwickelt. Bei diesem Verfahren wird mittels einer Sensorik mindestens ein Objekt, und/oder eine Gruppe von Objekten, im Umfeld des Ego-Fahrzeugs erkannt und hinsichtlich seiner Relevanz für das Ego-Fahrzeug, und/oder für dessen beabsichtigte spatiotemporale Trajektorie, bewertet.
Der Begriff„Ego-Fahrzeug" ist entsprechend dem Sprachgebrauch auf dem Fachgebiet des autonomen Fahrens zu verstehen als dasjenige Fahrzeug, dessen Umfeld zu überwachen ist und auf dessen Verhalten mit dem Verfahren, bzw. mit dem Assistenzsystem, eingewirkt wird. Das Ego-Fahrzeug kann insbesondere ein Kraftfahrzeug für den Verkehr auf Straßen sein, aber auch beispielsweise ein Schiff. Unter der spatiotemporalen Trajektorie eines Fahrzeugs wird eine Trajektorie verstanden, welche Orte, die von dem Fahrzeug passiert werden, jeweils mit den Zeiten verknüpft, zu denen sich das Fahrzeug an diesen Orten befindet.
Unter der Relevanz eines Objekts ist insbesondere ein Einfluss des Objekts auf die Sicherheit des Ego-Fahrzeugs zu verstehen. Ein solcher Einfluss kann beispielsweise in einer Kollisionsgefahr bestehen.
In Reaktion darauf, dass die erkannte Relevanz eine Eingriffsschwelle T2 überschreitet, wird mittels mindestens eines Assistenzsystems in die spatiotemporale Trajektorie des Ego-Fahrzeugs eingegriffen und/oder dem Fahrer des Ego-Fahrzeugs eine diesbezügliche Handlungsempfehlung erteilt, um eine Kollision mit dem Objekt, bzw. einem Objekt aus der Gruppe, zu verhindern oder abzumildern.
Das Assistenzsystem kann beispielsweise ein Abstandsregeltempomat (Adaptive Cruise Control, ACC) oder ein System, das den toten Winkel eines Rückspiegels überwacht, sein.
Der Eingriff kann beispielsweise ein Ausweichen, eine Abbremsung und/oder eine Beschleunigung des Ego-Fahrzeugs umfassen.
Erfindungsgemäß wird das Objekt einschließlich seiner Position relativ zum Ego- Fahrzeug auf einer Anzeigeeinrichtung visualisiert, wobei die visuelle Auffälligkeit des Objekts auf der Anzeigeeinrichtung mindestens dann erhöht wird, wenn die Relevanz des Objekts, bzw. der Gruppe, eine Ankündigungsschwelle ΤΊ überschreitet, und wobei die Ankündigungsschwelle T1 niedriger ist als die Eingriffsschwelle T2. Um die relative Position des erkannten Objektes zum Ego-Fahrzeug besser erkennen zu können, wird vorteilhaft zeitgleich sowohl das Objekt als auch das Ego-Fahrzeug in der Anzeigeeinrichtung visualisiert.
Auf diese Weise wird es dem Fahrer des Ego-Fahrzeugs ermöglicht, das Verhalten des Assistenzsystems zu plausibilisieren. In einer konfliktfreien Fahrsituation bekommt der Fahrer diejenigen Objekte, die von der Umfeldüberwachung erkannt wer- den, so visualisiert, dass diese nur ein Minimum an Aufmerksamkeit beanspruchen. Dies ermöglicht dem Fahrer zumindest die Feststellung, dass die Umfeldüberwachung diejenigen Objekte erkennt, die auch der Fahrer selbst sieht, was das Sicherheitsgefühl im Umgang mit dem Assistenzsystem deutlich steigert: Die Funktionalität des Assistenzsystems wird für den Fahrer ständig transparent und zeigt sich nicht nur in kritischen Situationen. Dies gilt umso mehr, je mehr die Perspektive der Anzeige auf der Anzeigeeinrichtung der Perspektive, in der der Fahrer das Umfeld des Fahrzeugs direkt wahrnimmt, ähnelt. Daher wird das Objekt vorteilhaft in einer dreidimensionalen Darstellung auf der Anzeigeeinrichtung visualisiert.
Wenn ein Konflikt mit einem Objekt bevorsteht, kann der Fahrer bereits verfolgen, wie sich die Situation graduell zuspitzt. Der Fahrer wird nicht mehr damit überrascht, dass plötzlich ein Eingriff in das Verhalten des Fahrzeugs vorgenommen wird oder eine Warnung ein sofortiges Handeln des Fahrers gebietet. Entsprechende Schreckreaktionen, die eine Gefährdung verursachen können, werden vorteilhaft vermieden. Vielmehr kann der Fahrer sich auf Grund der Visualisierung ein eigenes Bild davon machen, welche Reaktion des Assistenzsystems voraussichtlich angemessen ist, und dieses Bild mit der anschließend tatsächlich erfolgenden Reaktion des Assistenzsystems vergleichen.
Die Informationen, die von dem Assistenzsystem letztendlich zu Eingriffen in die spa- tiotemporale Trajektorie des Ego-Fahrzeugs bzw. zu Warnungen verarbeitet werden, werden also nicht 1 :1 an den Fahrer weitergegeben, sondern dahingehend gefiltert und aufbereitet, dass der Fahrer unter der Randbedingung einer beschränkten, während der Bewältigung der Fahraufgabe noch verfügbaren Aufmerksamkeit das Wichtigste erfährt.
Somit kann das Verfahren beispielsweise auch genutzt werden, um ein neuronales Netz oder eine andere künstliche Intelligenz für das autonome Fahren zu trainieren. Beispielsweise kann bei einem solchen Training von einem menschlichen Fahrer in realen Fahrsituationen überprüft werden, ob die künstliche Intelligenz angesichts der von der Umfeldüberwachung erkannten Situation in der erwarteten Weise reagiert. Durch entsprechendes Feedback vom Fahrer in der Trainingsphase passt sich die interne Logik der künstlichen Intelligenz sukzessive so an, dass im realen Fahrbetrieb in jeder Situation eine regelkonforme und sichere Reaktion ausgelöst wird.
Das Verfahren kann nicht nur im fließenden Verkehr genutzt werden, sondern beispielsweise auch zur Unterstützung bei Parkvorgängen. Es wird dann beispielsweise dasjenige Objekt mit der größten visuellen Auffälligkeit hervorgehoben, an das das Ego-Fahrzeug demnächst anstoßen könnte. Diese Rückmeldung ist für den Fahrer hilfreicher als die bloße Rückmeldung vieler Einparkhilfen, an welcher Stelle des Ego-Fahrzeugs ein Anstoß droht. Wenn beispielsweise ein Poller als Objekt erkannt und auffällig hervorgehoben wird, so kann sich der Fahrer merken, dass an diesem Ort ein Poller vorhanden ist. Parkt der Fahrer das nächste Mal am gleichen Ort, kann er von vornherein entsprechend vorsichtig rangieren.
Ist das visualisierte Objekt Teil einer für das Ego-Fahrzeug als relevant eingestuften Gruppe, so können beispielsweise alle Objekte der Gruppe mit einer einheitlichen visuellen Auffälligkeit visualisiert oder in sonstiger Weise als zusammengehörig markiert werden. Alternativ oder in Kombination kann beispielsweise in die Darstellung einkodiert sein, dass das Ego-Fahrzeug zunächst einem ersten Objekt und anschließend einem zweiten Objekt aus der Gruppe ausweichen sollte.
In einer besonders vorteilhaften Ausgestaltung der Erfindung ist die Ankündigungsschwelle Ti so bemessen, dass die Erhöhung der visuellen Auffälligkeit des Objekts zwischen 0,3 Sekunden und 1 Sekunde vor dem Erreichen der Eingriffsschwelle T2 erfolgt. Eine Zeitspanne von mindestens 0,3 Sekunden stellt sicher, dass der Fahrer vor dem Eingriff bzw. vor der Handlungsanweisung Gelegenheit hat, die Situation eigenständig anhand der visualisierten Objekte zu erfassen. Eine Zeitspanne von höchstens einer Sekunde ist vorteilhaft, damit nur für solche Situationen eine erhöhte Aufmerksamkeit des Fahrers in Anspruch genommen wird, die sich nicht von selbst wieder entschärfen. Die visuelle Auffälligkeit wird also im Wesentlichen nur dann erhöht, wenn es überwiegend wahrscheinlich ist, dass in der Folge auch tatsächlich die Eingriffsschwelle T2 erreicht wird und die Warnung bzw. der Eingriff erfolgt. In einer weiteren besonders vorteilhaften Ausgestaltung der Erfindung wird das Objekt auf der Anzeigeeinrichtung visualisiert, sobald es in einem Umfeldbereich außerhalb des Ego-Fahrzeugs, der zu der Darstellung auf der Anzeigeeinrichtung korrespondiert, erkannt worden ist. Das Objekt erscheint also nicht erst dann, wenn es als besonders relevant erkannt worden ist, sondern es ist bereits vorher mit niedrigerer visueller Auffälligkeit sichtbar. Wie zuvor beschrieben, lässt sich damit die Objekterkennung plausibilisieren. Dies steigert das Sicherheitsgefühl im Umgang mit dem Assistenzsystem und vereinfacht außerdem die Fehlersuche. So lässt sich eine unerwartete oder ausbleibende Reaktion des Assistenzsystems beispielsweise darauf zurückführen, dass ein im Blickfeld des Fahrers befindliches Objekt in der Darstellung auf der Anzeigeeinrichtung gefehlt hat oder dass dort fälschlicherweise ein Objekt an einem Ort aufgetaucht ist, an dem in Wahrheit keines vorhanden war.
Besonders vorteilhaft wird die visuelle Auffälligkeit des Objekts auf der Anzeigeeinrichtung kontinuierlich oder in mehreren Stufen mit der Relevanz des Objekts, bzw. der Gruppe, erhöht. Auf diese Weise kann der Fahrer mit dem genau richtig dosierten Maß an beanspruchter Aufmerksamkeit über die Fahrsituation informiert gehalten werden.
In einer besonders vorteilhaften Ausgestaltung der Erfindung wird die visuelle Auffälligkeit des Objekts verändert, indem die Darstellung des Objekts zur Erzielung einer niedrigeren visuellen Auffälligkeit abstrahiert und zur Erzielung einer höheren visuellen Auffälligkeit konkretisiert wird. Die Darstellung des Objekts kann beispielsweise zu einer Box oder anderen vereinfachten Darstellung abstrahiert werden, bzw. zu einer Darstellung, die stärker der realen Form entspricht, konkretisiert werden. Beliebige Zwischenstufen der Darstellung können beispielsweise durch Morphing, d. h. durch das Darstellen der Übergänge zwischen den einzelnen Zwischenstufen im Sinne der Bildbearbeitung, gewonnen werden.
In einer weiteren besonders vorteilhaften Ausgestaltung der Erfindung wird das Objekt als Kantenmodell visualisiert, wobei die Transparenz einer Fläche des Kantenmodells zur Erzielung einer niedrigen Auffälligkeit hin erhöht und zur Erzielung einer höheren Auffälligkeit hin vermindert wird. Auch diese Art der Darstellung ermöglicht beliebig viele Zwischenstufen, mit denen ein unterschiedlicher Grad der Relevanz visualisiert werden kann.
Alternativ oder auch in Kombination kann beispielsweise auch die Farbe, in der das Objekt visualisiert wird, zur Änderung der visuellen Auffälligkeit geändert werden. Zur Erzielung einer niedrigen visuellen Auffälligkeit können beispielsweise graue oder blasse Farbtöne verwendet werden. Zur Erzielung einer höheren visuellen Auffälligkeit können beispielsweise Rot oder andere deutliche Farben, die sich bevorzugt vom Hintergrund absetzen, verwendet werden. Die verwendeten Farben können beispielsweise in einer Farbverlaufsskala zwischen einer ersten Farbe mit der niedrigsten Auffälligkeit und einer zweiten Farbe mit der höchsten Auffälligkeit angeordnet sein, um Zwischenstufen zu visualisieren.
Abhängig davon, wie viele Zwischenstufen der visuellen Auffälligkeit in der gewählten Darstellung verfügbar sind, kann die Relevanz der erkannten Objekte mehr oder weniger feinkörnig eingestellt werden. Die Objekte können beispielsweise in die drei
Klassen„irrelevant",„potentiell relevant" und„relevant" klassifiziert werden. Alternativ ist eine kontinuierliche Darstellung der Relevanz möglich.
In einer besonders vorteilhaften Ausgestaltung der Erfindung wird die Relevanz des Objekts, bzw. der Gruppe, um so höher bewertet, je größer die Wahrscheinlichkeit ist, dass die spatiotemporale Trajektorie des Ego-Fahrzeugs geändert werden muss, um eine Kollision mit dem Objekt, bzw. einem Objekt aus der Gruppe, zu vermeiden oder abzumildern. So ist beispielsweise ein ortsfestes Hindernis, auf das das Ego- Fahrzeug zusteuert, besonders relevant, weil die Kollision auf jeden Fall erfolgt, sofern das Ego-Fahrzeug nicht abgebremst und/oder an dem Hindernis vorbeigesteuert wird. Ist das Objekt hingegen ein anderes Fahrzeug, das in Bewegung ist, hängt es auch vom Verhalten dieses Fahrzeugs, bzw. des Fahrers dieses Fahrzeugs, ab, ob sich beide Fahrzeuge zur gleichen Zeit am gleichen Ort treffen werden.
Die Wahrscheinlichkeit kann beispielsweise anhand des auf Grund der Beobachtung durch die Sensorik zu erwartenden Verhaltens ermittelt werden. Fährt beispielsweise das Ego-Fahrzeug auf einer Vorfahrtstraße und nähert sich aus einer kreuzenden Straße ein Fahrzeug, dem durch ein Verkehrszeichen„Stopp" oder„Vorfahrt achten" signalisiert wird, so kann die Relevanz dieses Fahrzeugs etwa von der Geschwindigkeit abhängen, mit der sich dieses Fahrzeug der bevorrechtigten Stelle nähert. Wird diese Geschwindigkeit nicht rechtzeitig vermindert, so kann dies als Anzeichen gewertet werden, dass das Fahrzeug seiner Wartepflicht nicht nachkommen wird.
Die Wahrscheinlichkeit kann beispielsweise auch davon abhängen, auf weiche Weise dem weiteren Fahrzeug im Einzelnen die Wartepflicht signalisiert wird. So ist beispielsweise an einer Ampelkreuzung die Wahrscheinlichkeit, dass sich ein Fahrer bewusst über seine Wartepflicht hinwegsetzt, geringer als an einer mit„Stopp" oder „Vorfahrt achten" beschilderten Kreuzung, da ein qualifizierter Rotlichtverstoß mit deutlich höherer Sanktion belegt ist als das Überfahren eines der genannten Schilder.
Vorteilhaft wird die Relevanz des Objekts, bzw. der Gruppe, um so höher bewertet, je kürzer die voraussichtliche Zeitspanne ist, bis die spatiotemporale Trajektorie des Ego-Fahrzeugs geändert werden muss. Beispielsweise kann ein Fahrzeug, das noch weit entfernt ist, sich aber sehr schnell nähert, relevanter sein als ein sich langsam näherndes Fahrzeug in der Nähe.
In einer weiteren besonders vorteilhaften Ausgestaltung der Erfindung wird die Relevanz eines Objekts, das ein Fahrzeug ist, verändert, wenn dieses Fahrzeug ein selbstfahrendes Fahrzeug, und/oder ein vernetztes Fahrzeug, ist. Diese Veränderung kann je nach Situation erhöhend oder erniedrigend wirken.
Unter einem selbstfahrenden Fahrzeug wird insbesondere ein Fahrzeug verstanden, das sich im Verkehr autonom bewegen und dabei selbsttätig auf andere Verkehrsteilnehmer oder Hindernisse zu reagieren vermag. Dabei ist auch nicht ausgeschlossen, dass eine Eingriffsmöglichkeit für einen menschlichen Fahrer vorgesehen ist. Auch ein Fahrzeug, dessen Betriebsart zwischen dem manuellen Fahren und dem autonomen Fahren ganz oder teilweise umschaltbar ist, ist dann, wenn der Fahrer gerade keine Kontrolle ausübt, selbstfahrend. Unter einem vernetzten Fahrzeug wird insbesondere ein Fahrzeug mit mindestens einer Kommunikationsschnittstelle verstanden, über die das tatsächliche, beabsichtigte oder gewünschte Verhalten des Fahrzeugs im Verkehr, und/oder eine Information, die für das Verhalten anderer Fahrzeuge relevant ist, gegenüber anderen Fahrzeugen oder gegenüber einer Verkehrsinfrastruktur kommuniziert werden kann.
Es kann beispielsweise im Regelfall angenommen werden, dass selbstfahrende Fahrzeuge auf regelkonformes und kooperatives Verhalten programmiert sind. Es ist also nicht davon auszugehen, dass ein solches Fahrzeug bewusst etwa die Vorfahrt missachtet. Deuten allerdings andere Beobachtungen darauf hin, dass die Steuerung des selbstfahrenden Fahrzeugs eine Fehlfunktion hat, so kann dieses Fahrzeug im Gegenteil besonders relevant werden.
Weiterhin kann sich beispielsweise ein vernetztes Fahrzeug mit dem Ego-Fahrzeug automatisch darauf verständigen, dass beide Fahrzeuge in geringem Abstand synchron hintereinander her fahren, gekoppelt durch eine„elektronische Deichsel". Das weitere vernetzte Fahrzeug ist dann dem Ego-Fahrzeug sehr nah und aus dem Fenster heraus groß zu sehen, aber überhaupt nicht relevant für die Sicherheit des Ego- Fahrzeugs. Hingegen ist ein sich unauffällig aus der Seitenstraße näherndes, von einem menschlichen Fahrer gesteuertes Fahrzeug möglicherweise sehr relevant. Insofern stellt die Anzeige auf der Anzeigeeinrichtung eine„augmented reality" dar, die den intuitiven Eindruck von der Relevanz, den eine optische Beobachtung als solche vermittelt, korrigiert.
In einer weiteren besonders vorteilhaften Ausgestaltung der Erfindung wird das Objekt mit einer ersten Sensorik des Ego-Fahrzeugs erkannt, und zur Bewertung seiner Relevanz wird mindestens eine zweite Sensorik des Ego-Fahrzeugs, deren Kontrastmechanismus sich von dem der ersten Sensorik unterscheidet, herangezogen. Beispielsweise kann ein Fahrzeug als Objekt in einer optischen Übersichtsaufnahme erkannt werden, und anschließend kann seine Geschwindigkeit mit einem Radarsensor bestimmt werden. Auf diese Weise kann jede Sensorik ihre spezifischen Vorzüge optimal ausspielen, und die Sensoriken können auch zumindest teilweise gegeneinander plausibilisiert werden. Dabei müssen nicht beide Sensoriken zwangsläu- fig zum gleichen Assistenzsystem gehören. Stattdessen können für die Zwecke des Verfahrens mehrere zu unterschiedlichen Assistenzsystemen gehörige Sensoriken zusammengeschaltet und die von diesen Sensoriken gelieferten Beobachtungen ge- poolt werden.
Unter Sensorik ist insbesondere jede Einrichtung zu verstehen, die ein Signal ausgibt, welches sich in Abhängigkeit vom Vorhandensein von Objekten im Erfassungsbereich der Sensorik ändert. Unter einem Kontrastmechanismus ist diejenige physikalische Wechselwirkung zu verstehen, die die Brücke vom Vorhandensein bzw. Nichtvorhandensein eines Objekts zur Änderung des Signals schlägt. So bewirken beispielsweise Objekte in Kamerabildern einen optischen Kontrast. Metallische Objekte erzeugen in Radarmessungen einen Kontrast, indem sie die Radarwellen reflektieren.
In einer weiteren besonders vorteilhaften Ausgestaltung der Erfindung werden die von mehreren, beispielsweise zu unterschiedlichen Assistenzsystemen gehörigen, Sensoriken erkannten Objekte und deren von einem an die jeweilige Sensorik gekoppelten Assistenzsystem ermittelte Relevanzen für die Visualisierung zusammengeführt. Das Zusammenführen kann insbesondere umfassen, dass die Vereinigungsmenge der von den mehreren Sensoriken erkannten Objekte, und/oder der zugehörigen Relevanzen, gebildet wird.
In einer weiteren besonders vorteilhaften Ausgestaltung der Erfindung wird ein und dasselbe Objekt von den zu mehreren Assistenzsystemen gehörigen Sensoriken erkannt und von den Assistenzsystemen jeweils hinsichtlich seiner Relevanz bewertet, wobei die höchste festgestellte Relevanz für die Visualisierung und den Eingriff bzw. die Warnung maßgeblich ist. Auf diese Weise können nicht nur die in den Assistenzsystemen vorhandenen Sensoriken, sondern auch die zugehörigen Logiken zur Auswertung gebündelt werden.
Nach dem zuvor Beschriebenen kann die Erfindung insbesondere in einem oder mehreren Assistenzsystemen für ein Ego-Fahrzeug verkörpert sein. Die Erfindung bezieht sich daher auch auf ein Assistenzsystem. Dieses Assistenzsystem ist dazu ausgebildet, mit mindestens einer Sensorik das Umfeld des Ego-Fahrzeugs zu überwachen. Das Assistenzsystem umfasst eine Erkennungslogik zur Erkennung von Objekten im Umfeld des Ego-Fahrzeugs, eine Bewertungslogik zur Bewertung der Relevanz erkannter Objekte, und/oder von Gruppen erkannter Objekte, für das Ego- Fahrzeug, und/oder für dessen spatiotemporale Trajektorie. Das Assistenzsystem ist dazu ausgebildet, die Objekte auf mindestens einer im Ego-Fahrzeug angeordneten Anzeigeeinrichtung zu visualisieren. Weiterhin umfasst das Assistenzsystem mindestens ein Stellglied zum Eingriff in die spatiotemporale Trajektorie des Ego-Fahrzeugs, und/oder eine Warneinrichtung zur Ausgabe einer entsprechenden Handlungsanweisung an den Fahrer des Ego-Fahrzeugs. Es ist eine Eingriffslogik vorgesehen, die dazu ausgebildet ist, das Stellglied, und/oder die Warneinrichtung, zu aktivieren, wenn die Relevanz des Objekts eine Eingriffsschwelle T2 überschreitet.
Dabei können die Sensorik und die Anzeigeeinrichtung jeweils Teil des Assistenzsystems sein, dies ist jedoch nicht zwingend erforderlich. Es kann jeweils auch eine im Ego-Fahrzeug bereits vorhandene Sensorik und/oder Anzeigeeinrichtung mitbenutzt werden. Insbesondere kann ein und dieselbe Sensorik, und/oder ein und dieselbe Anzeigeeinrichtung, von mehreren im Ego-Fahrzeug vorhandenen Assistenzsystemen gemeinsam genutzt werden.
Erfindungsgemäß weist das Assistenzsystem zusätzlich eine Visualisierungslogik auf, die dazu ausgebildet ist, die visuelle Auffälligkeit eines Objekts auf der Anzeigeeinrichtung mindestens dann zu erhöhen, wenn die Relevanz des Objekts eine Ankündigungsschwelle Ti überschreitet, wobei die Ankündigungsschwelle Ti niedriger ist als die Eingriffsschwelle T2.
Wie zuvor erläutert, wird hierdurch gewährleistet, dass die Arbeit des Assistenzsystems durch den Fahrer plausibilisiert werden kann. Dadurch soll erreicht werden, dass Eingriffe bzw. Warnungen des Assistenzsystems nicht mehr überraschend für den Fahrer des Ego-Fahrzeugs kommen. Sämtliche für das Verfahren gegebene Offenbarung gilt ausdrücklich auch für das Assistenzsystem und umgekehrt. Wie zuvor erläutert, kann sich das Verfahren Sensoriken und Logiken zur Auswertung zu Nutze machen, die in einem mit Assistenzsystemen ausgerüsteten Ego- Fahrzeug ohnehin schon vorhanden sind. Diese vorhandenen Sensoriken und Logiken können für das Verfahren einer weiteren Nutzung zugeführt werden. Die Hardware der im Ego-Fahrzeug vorhandenen Steuergeräte hat vielfach bereits eine ausreichende Kapazität, um das Verfahren auszuführen. Somit ist es denkbar, einem Ego-Fahrzeug allein durch eine Implementierung des Verfahrens in Software die Funktionalität des Verfahrens zu verleihen. Eine derartige Software ist beispielsweise als Update, als Upgrade oder als Zulieferprodukt zu einem Assistenzsystem vertreibbar und insofern ein eigenständiges Produkt. Daher bezieht sich die Erfindung auch auf ein Computerprogrammprodukt mit maschinenlesbaren Anweisungen, die, wenn sie auf einem Computer, und/oder auf einem Steuergerät ausgeführt werden, den Computer, und/oder das Steuergerät, zu einer Visualisierungslogik des Assistenzsystems gemäß der Erfindung aufwerten, und/oder dazu veranlassen, ein Verfahren gemäß der Erfindung auszuführen.
Anhand der im Folgenden erläuterten Figuren werden verschiedene Ausführungsbeispiele und Details der Erfindung näher beschrieben. Es zeigen:
Fig. 1 eine schematische Darstellung eines Ausführungsbeispiels des Verfahrens 100 gemäß der Erfindung,
Fig. 2 verschiedene beispielhafte Möglichkeiten, die visuelle Auffälligkeit 32a-32c bei der Darstellung auf der Anzeigeeinrichtung 5 zu ändern,
Fig. 3 eine beispielhafte Anzeige auf der Anzeigeeinrichtung 5 in einer Fahrsituation, und
Fig. 4 ein beispielhaftes Assistenzsystem 4 gemäß der Erfindung.
Fig. 1 verdeutlicht den Ablauf eines Ausführungsbeispiels des Verfahrens 100. Das Ego-Fahrzeug 1 befindet sich in einem Umfeld 2. Ein Bereich 21 des Umfelds 2 wird von einer Sensorik 11 , 11a, 11 b eines ersten Assistenzsystems 4a beobachtet. In Fig. 1 ist die beabsichtigte spatiotemporale Trajektorie 1a des Ego-Fahrzeugs 1 eingezeichnet.
In dem Bereich 21 des Umfelds 2 befinden sich drei andere Fahrzeuge 3a-3c, deren aktuelle Bewegungsrichtungen durch Pfeile symbolisiert sind. In Schritt 110 des Verfahrens 100 werden die Fahrzeuge 3a-3c als Objekte erkannt. In Schritt 120 des Verfahrens 100 wird die Relevanz 31a-31c der Objekte 3a-3c bewertet. Diese Relevanzen 31 a-31c werden optional in Schritt 125 mit den Relevanzen weiterer Objekte zusammengeführt, die von einem nicht weiter detaillierten zweiten Assistenzsystem 4b erkannt worden sind. Die Objekte 3a-3c werden in Schritt 130 in einer Darstellung 51 , die zu dem beobachteten Umfeldbereich 21 korrespondiert, auf der Anzeigeeinrichtung 5 dargestellt.
In Block 139 wird geprüft, ob die Relevanz 31a-31c eines jeden Objekts 3a-3c größer ist als die Ankündigungsschwelle T-|. Ist dies der Fall (Wahrheitswert 1 ), dann wird gemäß Schritt 140 die visuelle Auffälligkeit 32a-32c, mit der die drei Objekte 3a-3c auf der Anzeigeeinrichtung 5 dargestellt werden, erhöht.
Unabhängig hiervon wird in Block 149 geprüft, ob die Relevanz 31 a-31c eines jeden Objekts 3a-3c größer ist als die Eingriffsschwelle T2. Ist dies der Fall (Wahrheitswert 1 ), wird gemäß Schritt 150 in die spatiotemporale Trajektorie 1a des Ego- Fahrzeugs 1 eingegriffen.
Fig. 2 zeigt beispielhaft verschiedene Möglichkeiten, wie die visuelle Auffälligkeit 32a-32c von Objekten 3a-3c stufenweise gesteigert werden kann. Der Pfeil in Fig. 2 symbolisiert, dass die visuelle Auffälligkeit 32a-32c von oben nach unten zunimmt.
Gemäß Möglichkeit (a) wird die Darstellung des Objekts 3a-3c zur Erzielung einer niedrigen visuellen Auffälligkeit 32a-32c abstrahiert. Je höher die beabsichtigte visuelle Auffälligkeit 32a-32c ist, desto mehr Details kommen hinzu, bis die Darstellung bei der höchsten visuellen Auffälligkeit 32a-32c schließlich annähernd der realen Form eines Fahrzeugs entspricht.
Gemäß Möglichkeit (b) wird das Objekt 3a-3c als Kantenmodell 33a-33c visualisiert. Eine Fläche 34a-34c dieses Kantenmodells 33a-33c ist bei niedriger visueller Auffälligkeit 32a-32c maximal transparent. Je höher die visuelle Auffälligkeit 32a-32c, desto weniger transparent wird diese Fläche 34a-34c.
Gemäß Möglichkeit (c) wird die Farbe, in der das Objekt 3a-3c visualisiert wird, zur Änderung der visuellen Auffälligkeit geändert. Die Farben sind in Fig. 2 durch unterschiedliche Strichelungen ersetzt. Bei niedriger visueller Aufmerksamkeit 32a-32c ist die gewählte Farbe blasser, bei höherer visueller Aufmerksamkeit 32a-32c ist die gewählte Farbe satter und auffälliger.
Fig. 3 zeigt beispielhaft eine Darstellung 51 des Umfeldbereichs 21 auf der Anzeigeeinrichtung 5. In dieser Darstellung 51 sind das Ego-Fahrzeug 1 , die spatiotemporale Trajektorie 1a des Ego-Fahrzeugs 1 sowie drei Objekte 3a-3c eingezeichnet. Die aktuellen Bewegungsrichtungen der Objekte 3a-3c sind durch Pfeile symbolisiert. Die visuellen Auffälligkeiten 32a-32c, mit denen die Objekte 3a-3c dargestellt sind, sind gemäß Möglichkeit (b) aus Fig. 2 kodiert.
Das Objekt 3a befindet sich auf einem Kurs, der die spatiotemporale Trajektorie 1a des Ego-Fahrzeugs 1 nicht tangiert. Dementsprechend hat es eine niedrige Relevanz 31a und bekommt eine niedrige visuelle Auffälligkeit 32a zugewiesen.
Das Objekt 3b fährt von vorn auf das Ego-Fahrzeug 1 zu. Gemäß der spatiotempora- len Trajektorie 1a beabsichtigt das Ego-Fahrzeug 1 jedoch, vor dem Objekt 3b links abzubiegen. Abhängig von den Geschwindigkeiten des Ego-Fahrzeugs 1 einerseits und des Objekts 3b andererseits könnte es zu einer Kollision kommen. Daher wird dem Objekt 3b eine mittlere Relevanz 31 b, und dementsprechend auch eine mittlere visuelle Auffälligkeit 32b, zugewiesen. Das Objekt 3c fährt von rechts auf das Ego-Fahrzeug 1 zu. Das Ego-Fahrzeug 1 wird diesem Objekt 3c durch das beabsichtigte Linksabbiegen nicht ausweichen. Bleibt also die spatiotemporale Trajektorie 1a des Ego-Fahrzeugs 1 unverändert, wird es mit hoher Wahrscheinlichkeit zur Kollision kommen. Dementsprechend hat das Objekt 3c eine hohe Relevanz 31c und bekommt die höchste visuelle Auffälligkeit 32c zugewiesen.
Fig. 4 zeigt beispielhaft ein Assistenzsystem 4, 4a, 4b zur Verwendung in einem Ego- Fahrzeug 1. Das Assistenzsystem 4, 4a, 4b macht sich Sensoriken 11a und 11 b des Ego-Fahrzeugs 1 zu Nutze. Die Daten von den Sensoriken 11a und 11 b werden von der Erkennungslogik 41 ausgewertet. Die Erkennungslogik 41 erkennt die Objekte 3a-3c und meldet diese an die Bewertungslogik 42 sowie an die Anzeigeeinrichtung 5. Die Bewertungslogik 42 ermittelt die Relevanzen 31a-31c der Objekte 3a-3c. Diese Relevanzen 31 a-31c werden nun zum einen in Block 139 innerhalb der Visua- liesierungslogik 46 daraufhin geprüft, ob sie die Ankündigungsschwelle ΤΊ überschreiten. Ist dies der Fall (Wahrheitswert 1 ), so wird gemäß dem in der Visualisierungslogik 46 implementierten Schritt 140 die visuelle Auffälligkeit 32a-32c des betreffenden Objekts 3a-3c erhöht. Zum anderen werden die Relevanzen 31a-31c in Block 149 innerhalb der Eingriffslogik dahingehend geprüft, ob die Eingriffsschwelle T2 überschritten ist. Ist dies der Fall (Wahrheitswert 1 ), wird das Stellglied 43 aktiviert, um in die spatiotemporale Trajektorie 1a des Ego-Fahrzeugs 1 einzugreifen. Alternativ oder in Kombination hierzu kann die Warneinrichtung 44 aktiviert werden, um eine Handlungsanweisung zum Ausweichen an den Fahrer des Ego-Fahrzeugs 1 zu geben.
Bezuqszeichen
1 Ego-Fahrzeug
1a spatiotemporale Trajektorie des Ego-Fahrzeugs 1
11 , 11a, 11 b Sensorik des Ego-Fahrzeugs 1
2 Umfeld des Ego-Fahrzeugs 1
21 beobachteter Bereich des Umfelds 2
3a-3c Objekte
31a-31c Relevanzen der Objekte 3a-3c
32a-32c visuelle Auffälligkeiten der Objekte 3a-3c
33a-33c Kantenmodelle der Objekte 3a-3c
34a-34c Flächen der Kantenmodelle 33a-33c
4, 4a, 4b Assistenzsystem des Ego-Fahrzeugs 1
41 Erkennungslogik des Assistenzsystems 4, 4a, 4b
42 Bewertungslogik des Assistenzsystems 4, 4a, 4b
43 Stellglied des Assistenzsystems 4, 4a, 4b
44 Warneinrichtung des Assistenzsystems 4, 4a, 4b
45 Eingriffslogik des Assistenzsystems 4, 4a, 4b
46 Visualisierungslogik des Assistenzsystems 4, 4a, 4b
5 Anzeige im Ego-Fahrzeug 1
51 Darstellung in Anzeige 5
100 Verfahren
110 Erkennung der Objekte 3a-3c
120 Ermittlung der Relevanzen 31a-31c der Objekte 3a-3c
125 Zusammenführen von Objekten 3a-3c und Relevanzen 31a-31c
130 Visualisierung der Objekte 3a-3c
139 Prüfung, ob Relevanz 31a-31c > Ankündigungsschwelle ΤΊ
140 Erhöhung der visuellen Auffälligkeit 32a-32c
149 Prüfung, ob Relevanz 31a-31c > Eingriffsschwelle T2
150 Eingriff in Trajektorie 1a oder Warnung an Fahrer
Ti Ankündigungsschwelle für Relevanz 31a-31c
T2 Eingriffsschwelle für Relevanz 31a-31c

Claims

Patentansprüche
1. Verfahren (100) zur Umfeldüberwachung eines Ego-Fahrzeugs (1 ), wobei mittels einer Sensorik (1 1 , 1 1a, 11 b) mindestens ein Objekt (3a-3c), und/oder eine Gruppe von Objekten (3a-3c), im Umfeld (2) des Ego-Fahrzeugs erkannt (110) und hinsichtlich seiner Relevanz (31a-31c) für das Ego-Fahrzeug (1 ), und/oder für dessen beabsichtigte spatiotemporale Trajektorie (1 a), bewertet (120) wird und wobei in Reaktion darauf, dass die Relevanz (31a-31c) eine Eingriffsschwelle T2 überschreitet (149), mittels mindestens eines Assistenzsystems (4, 4a, 4b) in die spatiotemporale Trajektorie (1a) des Ego-Fahrzeugs (1 ) eingegriffen und/oder dem Fahrer des Ego- Fahrzeugs (1 ) eine diesbezügliche Handlungsempfehlung erteilt wird (150), um eine Kollision mit dem Objekt (3a-3c), bzw. einem Objekt (3a-3c) aus der Gruppe, zu verhindern oder abzumildern, dadurch gekennzeichnet, dass das Objekt (3a-3c) einschließlich seiner Position relativ zum Ego-Fahrzeug (1 ) auf einer Anzeigeeinrichtung (5) im Ego-Fahrzeug (1 ) visualisiert wird (130), wobei die visuelle Auffälligkeit (32a-32c) des Objekts (3a-3c) auf der Anzeigeeinrichtung (5) mindestens dann erhöht wird (140), wenn die Relevanz (31 a-31 c) des Objekts (3a-3c), bzw. der Gruppe, eine Ankündigungsschwelle ΤΊ überschreitet, und wobei die Ankündigungsschwelle Ti niedriger ist als die Eingriffsschwelle T2.
2. Verfahren (100) nach Anspruch 1 , dadurch gekennzeichnet, dass die Ankündigungsschwelle Ti so bemessen ist, dass die Erhöhung (140) der visuellen Auffälligkeit (32a-32c) des Objekts (3a-3c) zwischen 0,3 Sekunden und 1 Sekunde vor dem Erreichen der Eingriffsschwelle T2 erfolgt.
3. Verfahren (100) nach einem der Ansprüche 1 bis 2, dadurch gekennzeichnet, dass das Objekt (3a-3c) auf der Anzeigeeinrichtung (5) visualisiert wird, sobald es in einem Umfeldbereich (21 ) außerhalb des Ego-Fahrzeugs (1 ), der zu der Darstellung (51 ) auf der Anzeigeeinrichtung (5) korrespondiert, erkannt (1 10) worden ist.
4. Verfahren (100) nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, dass die visuelle Auffälligkeit (32a-32c) des Objekts (3a-3c) auf der Anzeigeeinrichtung (5) kontinuierlich oder in mehreren Stufen mit der Relevanz (31a-31 c) des Objekts (3a-3c), bzw. der Gruppe, erhöht wird (140).
5. Verfahren (100) nach einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, dass die visuelle Auffälligkeit (32a-32c) des Objekts (3a-3c) verändert wird, indem die Darstellung des Objekts (3a-3c) zur Erzielung einer niedrigeren visuellen Auffälligkeit (32a-32c) abstrahiert und zur Erzielung einer höheren visuellen Auffälligkeit (32a-32c) konkretisiert wird.
6. Verfahren (100) nach einem der Ansprüche 1 bis 5, dadurch gekennzeichnet, dass das Objekt (3a-3c) als Kantenmodell (33a-33c) visualisiert wird, wobei die Transparenz einer Fläche (34a-34c) des Kantenmodells (33a-33c) zur Erzielung einer niedrigen visuellen Auffälligkeit (32a-32c) hin erhöht und zur Erzielung einer höheren visuellen Auffälligkeit (32a-32c) hin vermindert wird.
7. Verfahren (100) nach einem der Ansprüche 1 bis 6, dadurch gekennzeichnet, dass die Farbe, in der das Objekt (3a-3c) visualisiert wird, zur Änderung der visuellen Auffälligkeit (32a-32c) geändert wird.
8. Verfahren (100) nach einem der Ansprüche 1 bis 7, dadurch gekennzeichnet, dass die Relevanz (31a-31c) des Objekts (3a-3c), bzw. der Gruppe, um so höher bewertet wird (120), je größer die Wahrscheinlichkeit ist, dass die spatiotemporale Trajekto- rie (1a) des Ego-Fahrzeugs (1) geändert werden muss, um eine Kollision mit dem Objekt (3a-3c), bzw. einem Objekt (3a-3c) aus der Gruppe, zu vermeiden oder abzumildern.
9. Verfahren (100) nach einem der Ansprüche 1 bis 8, dadurch gekennzeichnet, dass die Relevanz (31a-31c) des Objekts (3a-3c), bzw. der Gruppe, um so höher bewertet wird (120), je kürzer die voraussichtliche Zeitspanne ist, bis die spatiotemporale Trajektorie (1a) des Ego-Fahrzeugs (1 ) geändert werden muss.
10. Verfahren (100) nach einem der Ansprüche 1 bis 9, dadurch gekennzeichnet, dass die Relevanz (31a-31c) eines Objekts (3a-3c), das ein Fahrzeug ist, verändert wird, wenn dieses Fahrzeug ein selbstfahrendes Fahrzeug, und/oder ein vernetztes Fahrzeug, ist.
11. Verfahren (100) nach einem der Ansprüche 1 bis 10, dadurch gekennzeichnet, dass das Objekt (3a-3c) mit einer ersten Sensorik (11a) des Ego-Fahrzeugs (1 ) erkannt wird und zur Bewertung (120) seiner Relevanz (31a-31c) mindestens eine zweite Sensorik (11 b) des Ego-Fahrzeugs (1 ), deren Kontrastmechanismus sich von dem der ersten Sensorik (11a) unterscheidet, herangezogen wird.
12. Verfahren (100) nach einem der Ansprüche 1 bis 11 , dadurch gekennzeichnet, dass die von mehreren Sensoriken (11a, 11 b) erkannten Objekte (3a-3c) und deren von einem an die jeweilige Sensorik (11a, 11 b) gekoppelten Assistenzsystem (4a, 4b) ermittelte Relevanzen (31a-31c) für die Visualisierung (130, 140) zusammengeführt werden (125).
13. Verfahren (100) nach einem der Ansprüche 1 bis 12, dadurch gekennzeichnet, dass ein und dasselbe Objekt (3a-3c) von den zu mehreren Assistenzsystemen (4a, 4b) gehörigen Sensoriken (11a, 11 b) erkannt (110) und von den Assistenzsystemen jeweils hinsichtlich seiner Relevanz bewertet wird (120), wobei die höchste festgestellte Relevanz für die Visualisierung (130, 140) und den Eingriff bzw. die Warnung (150) maßgeblich ist.
14. Assistenzsystem (4, 4a, 4b), ausgebildet zur Überwachung des Umfelds (2) eines Ego-Fahrzeugs (1 ) mit mindestens einer Sensorik (11 , 11a, 11b), umfassend eine Erkennungslogik (41 ) zur Erkennung von Objekten (3a-3c) im Umfeld (2) des Ego- Fahrzeugs (1 ), eine Bewertungslogik (42) zur Bewertung der Relevanz (31a-31c) erkannter Objekte (3a-3c), und/oder von Gruppen erkannter Objekte (3a-3c), für das Ego-Fahrzeug (1 ), und/oder für dessen spatiotemporale Trajektorie (1a), weiterhin ausgebildet zur Visualisierung der Objekte (3a-3c) auf einer im Ego-Fahrzeug (1) angeordneten Anzeigeeinrichtung (5) sowie umfassend mindestens ein Stellglied (43) zum Eingriff in die spatiotemporale Trajektorie (1a) des Ego-Fahrzeugs (1 ), um eine Kollision mit dem Objekt (3a-3c), bzw. einem Objekt (3a-3c) aus der Gruppe, zu verhindern oder abzumildern, und/oder eine Warneinrichtung (44) zur Ausgabe einer entsprechenden Handlungsanweisung an den Fahrer des Ego-Fahrzeugs (1 ), weiterhin umfassend eine Eingriffslogik (45), die dazu ausgebildet ist, das Stell- glied (43) und/oder die Warneinrichtung (44) zu aktivieren, wenn die Relevanz (31a-31c) des Objekts (3a-3c) eine Eingriffsschwelle T2 überschreitet (149), dadurch gekennzeichnet, dass das Assistenzsystem (4, 4a, 4b) zusätzlich eine Visualisierungslogik (46) aufweist, die dazu ausgebildet ist, die visuelle Auffälligkeit (32a-32c) eines Objekts (3a-3c) auf der Anzeigeeinrichtung (5) mindestens dann zu erhöhen, wenn die Relevanz (31a-31c) des Objekts (3a-3c) eine Ankündigungsschwelle Ti überschreitet (139), wobei die Ankündigungsschwelle Ti niedriger ist als die Eingriffsschwelle T2.
15. Computerprogrammprodukt, enthaltend maschinenlesbare Anweisungen, die, wenn sie auf einem Computer, und/oder auf einem Steuergerät ausgeführt werden, den Computer, und/oder das Steuergerät, zu einer Visualisierungslogik (44) des Assistenzsystems (4, 4a, 4b) nach Anspruch 14 aufwerten, und/oder dazu veranlassen, ein Verfahren (100) nach einem der Ansprüche 1 bis 13 auszuführen.
PCT/EP2018/062454 2017-06-20 2018-05-15 Umfeldüberwachung eines ego-fahrzeugs WO2018233931A1 (de)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201880040967.9A CN110770810A (zh) 2017-06-20 2018-05-15 自主车辆的周围环境监控
US16/624,693 US20200168096A1 (en) 2017-06-20 2018-05-15 Environmental monitoring of an ego vehicle

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102017210266.7A DE102017210266A1 (de) 2017-06-20 2017-06-20 Umfeldüberwachung eines Ego-Fahrzeugs
DE102017210266.7 2017-06-20

Publications (1)

Publication Number Publication Date
WO2018233931A1 true WO2018233931A1 (de) 2018-12-27

Family

ID=62217956

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2018/062454 WO2018233931A1 (de) 2017-06-20 2018-05-15 Umfeldüberwachung eines ego-fahrzeugs

Country Status (4)

Country Link
US (1) US20200168096A1 (de)
CN (1) CN110770810A (de)
DE (1) DE102017210266A1 (de)
WO (1) WO2018233931A1 (de)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113614810B (zh) * 2019-03-26 2024-04-09 索尼半导体解决方案公司 图像处理装置、车辆控制装置、方法和程序
DE102019205085A1 (de) * 2019-04-09 2020-10-15 Zf Friedrichshafen Ag Selbstüberwachung einer auf künstlicher Intelligenz basierenden Funktion
US11055997B1 (en) * 2020-02-07 2021-07-06 Honda Motor Co., Ltd. System and method for resolving ambiguous right of way

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110128138A1 (en) * 2009-11-30 2011-06-02 Fujitsu Ten Limited On-vehicle device and recognition support system
US20130321628A1 (en) * 2012-05-31 2013-12-05 GM Global Technology Operations LLC Vehicle collision warning system and method
US20170120907A1 (en) 2013-04-10 2017-05-04 Magna Electronics Inc. Collision avoidance system for vehicle

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5715454B2 (ja) * 2011-03-15 2015-05-07 富士重工業株式会社 車両の運転支援装置
DE102012200762A1 (de) * 2012-01-19 2013-07-25 Robert Bosch Gmbh Verfahren und Fahrerassistenzsystem zur Signalisierung einer Verkehrssituation in einem Umfeld eines Fahrzeuges
DE102012004791A1 (de) * 2012-03-07 2013-09-12 Audi Ag Verfahren zum Warnen des Fahrers eines Kraftfahrzeugs vor einer sich anbahnenden Gefahrensituation infolge eines unbeabsichtigten Driftens auf eine Gegenverkehrsfahrspur
CN107004362B (zh) * 2014-11-26 2018-11-23 三菱电机株式会社 驾驶辅助装置及驾驶辅助方法
DE102015002923B4 (de) * 2015-03-06 2023-01-12 Mekra Lang Gmbh & Co. Kg Anzeigeeinrichtung für ein Fahrzeug insbesondere Nutzfahrzeug
US11010934B2 (en) * 2016-12-09 2021-05-18 Kyocera Corporation Imaging apparatus, image processing apparatus, display system, and vehicle
KR102393436B1 (ko) * 2017-05-29 2022-05-03 현대모비스 주식회사 차량의 긴급 제동 준비 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110128138A1 (en) * 2009-11-30 2011-06-02 Fujitsu Ten Limited On-vehicle device and recognition support system
US20130321628A1 (en) * 2012-05-31 2013-12-05 GM Global Technology Operations LLC Vehicle collision warning system and method
US20170120907A1 (en) 2013-04-10 2017-05-04 Magna Electronics Inc. Collision avoidance system for vehicle

Also Published As

Publication number Publication date
DE102017210266A1 (de) 2018-12-20
CN110770810A (zh) 2020-02-07
US20200168096A1 (en) 2020-05-28

Similar Documents

Publication Publication Date Title
EP3426535B1 (de) Verfahren zum betreiben des fahrerassistenzsystems und fahrerassistenzsystem
EP2681085B1 (de) Verfahren und vorrichtung zur prädiktion und adaption von bewegungstrajektorien von kraftfahrzeugen
EP1486933B1 (de) Fahrerassistenzsystem
EP2755883B1 (de) Fahrerassistenzsystem zur unterstützung eines fahrers in kollisionsrelevanten situationen
EP2594446B1 (de) Vorrichtung und Verfahren zum Betreiben eines Fahrzeugs
DE102015004478A1 (de) Steuerungs-System und Verfahren zum Ermöglichen eines Einscherens eines anderen Kraftfahrzeugs aus einer Nachbarspur im ACC-Betrieb des eigenen Kraftfahrzeugs
DE102016223579A1 (de) Verfahren zum Ermitteln von Daten einer Verkehrssituation
DE102011083770A1 (de) Verfahren zur rechnergestützten Verarbeitung des Nahfeldes eines Fahrzeugs
EP1989094A1 (de) Assistenzsystem zur unterstützung eines fahrers
WO2014041023A1 (de) Verfahren und vorrichtungen zur kollisionswarnung bei fahrstreifenwechseln
DE102011010864A1 (de) Verfahren und System zur Vorhersage von Kollisionen
WO2018233931A1 (de) Umfeldüberwachung eines ego-fahrzeugs
DE102020112686A1 (de) Adaptives autonomes Notbremssystem unter Berücksichtigung des Lenkwegs und Steuerverfahren für selbiges
DE102013001326A1 (de) Kraftwagen mit Car-to-X-Funktionalität
DE102014215274A1 (de) Verfahren und Vorrichtung zum Betreiben eines Fahrzeugs
WO2022002901A1 (de) Verfahren zur umgebungserfassung mit wenigstens zwei unabhängigen bildgebenden umgebungserfassungssensoren, vorrichtung zur durchführung des verfahrens, fahrzeug sowie entsprechend ausgelegtes computerprogramm
EP2873577A2 (de) Verfahren zum Betrieb eines Fahrerassistenzsystems zum Schutz eines Kraftfahrzeugs vor Beschädigungen bei einem Rangiervorgang und Kraftfahrzeug
DE102013008946A1 (de) Vorrichtung und Verfahren zum Erkennen einer kritischen Fahrsituation eines Fahrzeugs
DE102017107484A1 (de) Verfahren zum Bereitstellen einer einen Fahrer eines Kraftfahrzeugs unterstützenden Anzeige, Fahrerassistenzsystem und Kraftfahrzeug
DE102010003375A1 (de) Umfeldbewertungssystem in einem Fahrzeug mit Sensormitteln zur Erfassung von Objekten im Umfeld des Fahrzeuges
EP2098431B1 (de) Kraftfahrzeug mit Fahrerassistenzsystemen
EP3816968A1 (de) Verfahren zum überwachen einer umgebung eines fahrzeugs und system zum überwachen einer umgebung eines fahrzeugs
DE102021214509A1 (de) Verfahren zur Steuerung einer abstandsabhängigen Geschwindigkeitsregelanlage
EP3706038A1 (de) Kraftfahrzeug mit einer mehrzahl von sensoreinrichtungen zur umfelderfassung
DE102018114628A1 (de) Auf tiefem Lernen basierende automatische oder halbautomatische Ausparkverfahren

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18726097

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 18726097

Country of ref document: EP

Kind code of ref document: A1