WO2022251890A1 - Verfahren und system zum testen eines fahrerassistenzsystems für ein fahrzeug - Google Patents

Verfahren und system zum testen eines fahrerassistenzsystems für ein fahrzeug Download PDF

Info

Publication number
WO2022251890A1
WO2022251890A1 PCT/AT2022/060183 AT2022060183W WO2022251890A1 WO 2022251890 A1 WO2022251890 A1 WO 2022251890A1 AT 2022060183 W AT2022060183 W AT 2022060183W WO 2022251890 A1 WO2022251890 A1 WO 2022251890A1
Authority
WO
WIPO (PCT)
Prior art keywords
scenario
parameter
driver assistance
combinations
assistance system
Prior art date
Application number
PCT/AT2022/060183
Other languages
English (en)
French (fr)
Inventor
Mihai NICA
Hermann FELBINGER
Jianbo Tao
Florian KLÜCK
Martin Zimmermann
Hrvoje GAZIBARA
Original Assignee
Avl List Gmbh
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Avl List Gmbh filed Critical Avl List Gmbh
Priority to DE112022001411.3T priority Critical patent/DE112022001411A5/de
Priority to CN202280037709.1A priority patent/CN117413257A/zh
Publication of WO2022251890A1 publication Critical patent/WO2022251890A1/de

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01M—TESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
    • G01M17/00—Testing of vehicles
    • G01M17/007—Wheeled or endless-tracked vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/36—Preventing errors by testing or debugging software
    • G06F11/3668—Software testing
    • G06F11/3672—Test management
    • G06F11/3684—Test management for test design, e.g. generating new test cases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/36—Preventing errors by testing or debugging software
    • G06F11/3668—Software testing
    • G06F11/3696—Methods or tools to render software testable
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/36—Preventing errors by testing or debugging software
    • G06F11/3668—Software testing
    • G06F11/3672—Test management
    • G06F11/3688—Test management for test execution, e.g. scheduling of test suites
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/36—Preventing errors by testing or debugging software
    • G06F11/3668—Software testing
    • G06F11/3672—Test management
    • G06F11/3692—Test management for test results analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/12—Computing arrangements based on biological models using genetic models
    • G06N3/126—Evolutionary algorithms, e.g. genetic algorithms or genetic programming
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/02—Knowledge representation; Symbolic representation
    • G06N5/022—Knowledge engineering; Knowledge acquisition

Definitions

  • the invention relates to a computer-implemented method for testing a driver assistance system of a vehicle in a simulated environment, a scenario model being provided which specifies input parameters which are necessary for defining a specific scenario and their respective relationship to the other parameters of the scenario model and which indicates those of the input parameters that are changeable to adapt the particular scenario and their possible parameter values.
  • the invention further relates to a corresponding system.
  • driver assistance systems Advanced Driver Assistance Systems - ADAS
  • autonomous Driving - AD autonomous driving
  • Driver assistance systems make an important contribution to increasing active traffic safety and serve to increase driving comfort.
  • ABS anti-lock braking system
  • ESP electronic stability program
  • Driver assistance systems that are already being used to increase active road safety include a parking assistant, an adaptive cruise control system, also known as adaptive cruise control (ACC), which adaptively regulates a desired speed selected by the driver based on the distance from the vehicle in front.
  • ACC stop-and-go systems which in addition to the ACC causes the vehicle to continue driving automatically in traffic jams or when vehicles are stationary
  • lane keeping or lane assist systems which automatically keep the vehicle in its lane hold
  • pre-crash systems which in the event of the possibility of a collision, for example, a Prepare or initiate braking to take the kinetic energy out of the vehicle and, if necessary, initiate other measures if a collision is unavoidable.
  • driver assistance systems both increase safety in traffic by warning the driver in critical situations and initiate independent intervention to avoid or reduce accidents, for example by activating an emergency braking function.
  • driving comfort is increased by functions such as automatic parking, automatic lane keeping and automatic distance control.
  • the safety and comfort gain of a driver assistance system is only perceived positively by the vehicle occupants if the support from the driver assistance system is safe, reliable and - as far as possible - comfortable.
  • each driver assistance system depending on its function, must manage scenarios that occur in traffic with maximum safety for the vehicle and without endangering other vehicles or other road users.
  • the respective degree of automation of vehicles is divided into so-called automation levels 1 to 5 (see, for example, the SAE J3016 standard).
  • the present invention relates in particular to vehicles with driver assistance systems of automation level 3 to 5, which is generally considered to be autonomous driving.
  • the challenges for testing such systems are manifold. In particular, a balance must be found between the test effort and the test coverage.
  • the main task when testing ADAS/AD functions is to demonstrate that the function of the driver assistance system is guaranteed in all conceivable situations, especially in critical driving situations. Such critical driving situations have a certain degree of danger, since no reaction or an incorrect reaction of the respective driver assistance system can lead to an accident.
  • the testing of driver assistance systems therefore requires a large number of driving situations that can arise in different scenarios to be taken into account.
  • the range of possible scenarios is generally spanned by many dimensions (e.g. different road properties, behavior of other road users, weather conditions, etc.). From this almost infinite and multidimensional parameter space, it is particularly relevant for testing driver assistance systems to extract such parameter constellations for critical scenarios that can lead to unusual or dangerous driving situations.
  • driver assistance systems in particular driver assistance systems for autonomous driving
  • scenarios that cover the entire multidimensional parameter space.
  • the scenarios tested should be representative of the entire multidimensional parameter space.
  • a first aspect of the invention is a computer-implemented method for testing a driver assistance system of a vehicle in a simulated environment, having the following work steps:
  • a second aspect of the invention relates to a system for testing a driver assistance system of a vehicle in a simulated environment, having:
  • Storage means for providing a scenario model which specifies input parameters which are necessary for the definition of a certain scenario and their respective relationship to the other parameters of the scenario model and which of the input parameters which are changeable for adapting the certain scenario and their indicates possible parameter values; Means for selecting combinations of parameter values, each of which characterizes a scenario, on the basis of the scenario model using an algorithm for combinatorial testing, wherein when selecting the combinations for an input parameter under consideration, only interactions with a predefined maximum number of other input parameters are taken into account;
  • Means for detecting a driving behavior of the at least one driver assistance system to be tested in the simulated environment Means for detecting a driving behavior of the at least one driver assistance system to be tested in the simulated environment.
  • An environment of the vehicle within the meaning of the invention is preferably formed at least by objects that are relevant for the vehicle guidance by the driver assistance system.
  • an area surrounding the vehicle includes scenery and dynamic elements.
  • the scenery preferably includes all stationary elements.
  • a scenario within the meaning of the invention is preferably formed from a chronological sequence of, in particular, static scenes.
  • the scenes indicate, for example, the spatial arrangement of the at least one other object relative to the ego object, e.g. B. the constellation of road users.
  • a scenario can contain a driving situation in which a driver assistance system at least partially controls the vehicle, which is called the ego vehicle and is equipped with the vehicle assistance system, e.g. B. performs at least one vehicle function of the ego vehicle auto nom.
  • a driving situation within the meaning of the invention preferably describes the circumstances that are to be taken into account for the selection of suitable behavior patterns of the driver assistance system at a specific point in time.
  • a driving situation is therefore preferably subjective in that it represents the view of the ego vehicle. It preferably further comprises relevant conditions, possibilities and Factors influencing actions.
  • a driving situation is more preferably derived from the scene by an information selection process based on transients, e.g. B. emission-specific as well as permanent goals and values.
  • a driving behavior within the meaning of the invention is preferably a behavior of the driver assistance system through action and reaction in the surroundings of the vehicle.
  • a means within the meaning of the invention can be configured as hardware and/or software and in particular a processing device, in particular a microprocessor device (CPU) and/or a or have several programs or program modules.
  • the CPU can be designed to process commands that are implemented as a program stored in a memory system, to detect input signals from a data bus and/or to emit output signals to a data bus.
  • a storage system can have one or more, in particular different, storage media, in particular optical, magnetic, solid and/or non-volatile media.
  • the program may be arranged to embody or be capable of performing the methods described herein such that the CPU can perform the steps of such methods.
  • the invention is based on the idea of delimiting or restricting the parameter space, in which parameter constellations for scenarios are possible, to the most relevant areas.
  • the method of combinatorial testing is used for this, in which an algorithm is used to generate relevant combinations of the input parameters.
  • the goal of combinatorial testing algorithms is to generate as much information as possible with as few tests as possible.
  • Empirical results show that at most sixfold interactions need to be taken into account in order to cause all errors in a driver assistance system to be tested. This takes into account the fact that not all parameters are relevant in order to cause errors in the driver assistance system to be tested.
  • the method according to the invention preferably runs fully automatically.
  • the scenario model is based on an ontology which specifies parameters with which scenarios can be characterized and relationships or interactions between the various parameters.
  • An ontology within the meaning of the invention is preferably a formally ordered representation of a set of parameters and the relationship or interaction existing between them in a traffic scenario.
  • the predefined maximum number of other input parameters depends on the input parameter considered in each case when the interaction is taken into account.
  • combinatorial testing generally takes into account all possible combinations of parameters or parameter values of a certain degree (combinatorial strength).
  • the number of interactions considered preferably depends on the criticality of the input parameter considered in each case.
  • the criticality is the relevance of a parameter in relation to a possible accident risk in relation to the driver assistance system.
  • hard and soft boundary conditions are set when selecting combinations of parameter values taken into account, where the hard boundary conditions exclude combinations of parameter values that are not physically possible and where the soft boundary conditions contradict combinations of parameter values that are physically possible but when the vehicle maneuvers in the simulated environment.
  • the scenario model has a format that can be processed by the algorithm.
  • Such a format can be, for example, OWL, a so-called Ontology Web Language.
  • the criticality of the considered input parameter or a parameter value of the considered input parameter is determined with the following work steps:
  • a quality of the scenario as a function of a predefined criterion in relation to a driving situation that has arisen, in particular a criticality of the driving situation that has arisen;
  • the method also has the following work step:
  • the varying is carried out by crossing and/or mutation, with parameter values of a part of the input parameters being replaced by parameter values of another scenario or a parameter value of at least one input parameter being replaced by a new value.
  • crossing or mutation the entire parameter space can be searched particularly reliably for possible parameter combinations with high criticality.
  • parameters of the scenario are selected from the following group, depending on the type of driver assistance system to be tested:
  • Speed in particular an initial speed, of a road user; a direction of movement, in particular a trajectory, of a road user; lighting conditions; Weather; road surface; Temperature; number and position of static and/or dynamic objects; state and appearance of static and/or dynamic objects; a speed and a direction of movement, in particular a trajectory, of the dynamic objects; condition of signaling installations, in particular light signaling installations; traffic signs, number of lanes; acceleration or deceleration of road users or objects; Signs of soiling and/or aging of the road surface, geographic orientation of the traffic situation.
  • FIG. 1 shows a diagram of the probability of occurrence of scenarios depending on their criticality
  • FIG. 2 shows a block diagram of an exemplary embodiment of a method for testing a driver assistance system of a vehicle in a simulated environment
  • FIG. 3a shows a first example of a simulated scenario of a first criticality
  • FIG. 3b shows a second example of a simulated virtual scenario with a second criticality
  • FIG. 4 shows an exemplary embodiment of a system for testing a driver assistance system of a vehicle in a simulated environment
  • Figure 5 shows an embodiment of a means for operating a driver assistance system to be tested in a simulated environment.
  • Figure 1 shows the probability of occurrence of scenarios depending on the criticality of the scenarios. The probability of occurrence is the probability with which scenarios will occur in real road traffic.
  • FIGS. 2 to 3b A method for testing a driver assistance system of a vehicle in a simulated environment, with which as many highly critical scenarios as possible are covered, is described below with reference to FIGS. 2 to 3b:
  • a scenario model based on an ontology is preferably provided.
  • This scenario model preferably specifies input parameters that are necessary to define a specific scenario and their respective relationship to the other parameters of the scenario model. More preferably, the scenario model indicates those of the input parameters that can be changed to adapt the specific scenario, and also their possible parameter values.
  • the relationship between the parameters of the scenario model and the strength of their respective interaction is preferably specified by the ontology.
  • the ontology is preferably set up by describing the environment of the system. This forms the basis for creating scenarios and represents a knowledge base in relation to all elements used to build a scenario can become.
  • the ontology is formed from two groups of elements: dynamic elements, such as people, moving objects, etc., and static objects, such as fixed elements, trees, road signs, etc.
  • the ontologies are based on concepts that describe the relationships between individual elements constrain, using a formal syntax to represent the structure and inheritance between the concepts. In detail, the individual work steps in the construction of an ontology can look like this:
  • a static part of the ontology is built. This refers to the static part of the concept and its elements including relationships.
  • the static part consists of the environment, road infrastructure and conditions.
  • the environmental part consists of the solid elements, such as the subsoil, houses, etc.
  • the road infrastructure part includes road sections, solid objects surrounding the road like buildings, trees, road signs.
  • the static part can also contain sub-concepts such as tracks.
  • Road markings can be part of a road section concept, for example.
  • Another step is the construction of the dynamic part.
  • a road segment has parameters such as course angle, radius, grade, length, etc.
  • the road marking has parameters such as color, type, style, elevation, width, etc.
  • the dynamic part is set up.
  • the main concepts are the ego vehicle, other vehicles, and other moving objects such as pedestrians or animals.
  • the moving objects in turn have sub-concepts, which in turn define properties and behavior.
  • relevant parameters are defined for each concept of the dynamic part and for each domain of the parameter.
  • the Parameters are, for example, acceleration, initial speed, initial position, speed when changing lanes, etc..
  • the parameters for each concept for dynamic parts and domains of parameters are defined. These are, for example, acceleration, initial speed, initial position, lane changing speed, etc..
  • a second work step 102 of the method 100 combinations of parameter values, which each represent a scenario, are selected on the basis of the scenario model using an algorithm for combinatorial testing and taking into account boundary conditions.
  • a single interaction with other input parameters is taken into account.
  • these combinations of parameter values are changed using an evolutionary algorithm, the change taking into account a cost function that favors interactions and parameter combinations that have not yet been taken into account, in which critical scenarios are to be expected.
  • a simulated environment is created based on the combination of parameter values.
  • the driver assistance system to be tested is operated in the simulated environment.
  • the driving behavior of the at least one driver assistance system to be tested is recorded in the simulated environment.
  • a criticality of the scenario is determined as a function of a predefined criterion in relation to the driver assistance system, in particular a system error or a collision or imminent collision.
  • an assessment of the criticality of the input parameter value under consideration or of the parameter value is established or increased, depending on the criticality of the scenario.
  • an eighth work step 108 the criticality of the scenario is compared with a threshold value.
  • combinations of parameter values are changed by means of an evolutionary algorithm, with the change taking into account a cost function, which favors interactions and parameter combinations that have not yet been taken into account, in which critical scenarios are to be expected.
  • Crossing or mutating, for example, can be considered as evolutionary algorithms, in which case parameter values of a part of the parameters are replaced by parameter values of another scenario or a parameter value of at least one parameter is replaced by a new value.
  • the sub-routine of steps 102 to 109 is repeated until a defined coverage with respect to the parameter space of the considered input parameter is achieved.
  • the subroutine is preferably repeated for each input parameter.
  • the method 100 can be used to analyze the parameter space for the input parameter considered in each case; in particular, the criticality of the input parameters or parameter range of the input parameter can be identified.
  • a tenth step 110 of the method 100 combinations of parameter values, each of which represents a scenario, are selected on the basis of the scenario model using an algorithm for combinatorial testing.
  • Soft and hard boundary conditions are preferably taken into account here.
  • the hard boundary conditions exclude combinations of parameter values that are not physically possible.
  • parameter values are preferably excluded by the boundary conditions which are physically possible, but contradict a maneuver of the vehicle in the simulated environment.
  • Examples of hard and soft boundary conditions result from FIG. 4.
  • the trajectory of the ego vehicle 1 cannot pass through the construction site.
  • the vehicle 1 cannot be located in the simulation at a location where other vehicles of the simulated traffic are located.
  • a soft boundary condition in Fig. 4 is that the ego Vehicle, when it wants to get from the starting position to the end position, does not drive in a completely different direction. In FIG. 4, therefore, a soft boundary condition is that the ego vehicle drives in the direction of the target position end and not in the opposite direction, which could also be taken from the point of view of hard boundary conditions.
  • FIG. 3a shows a first scenario 3, in which a pedestrian 6 crosses a street.
  • a motorcycle 4 approaches the pedestrian 6 on the lane facing the pedestrian 6 .
  • other vehicles 5b, 5c, 5d are parked, through which the pedestrian 6 is not or only poorly visible to the motorcycle 4.
  • another vehicle 5a drives on fleas of pedestrian 6.
  • the ego vehicle 1 whose longitudinal and lateral control is carried out by a driver assistance system 2 , approaches behind the other vehicle 5 a . Whether the motorcyclist 4 is visible to the ego vehicle 1 or its driver assistance system 2 is improbable according to the constellation according to FIG. 3a.
  • the other vehicles 5a, 5b, 5c, 5d, the pedestrian 6 and the motorcyclist 4 and the lanes form a simulated environment for the ego vehicle 1 or for the driver assistance system 2, which ds ego vehicle 1 controls.
  • Parameters of this scenario 3 are, for example, the number of other vehicles, their position, the number of other road users, their position and speed, the nature of the ground, the markings on the road, etc.
  • the ego vehicle 1 or its driver assistance system 2 for overtaking the other vehicle 5a participating in traffic.
  • the motorcycle 4 reduces its speed, as a result of which the ego vehicle 1 can pass by the other vehicle 5a.
  • the input parameter for the speed of the motorcycle 4 is changed in such a way that it does not reduce its speed but continues to drive at the same speed. Therefore, as shown in Fig. 3b, it comes along high probability of collision between the ego vehicle 1 and the motorcycle 4 when the ego vehicle 1 performs the overtaking operation with respect to the other vehicle 5a.
  • a scenario with high criticality is generated by changing the input parameter speed of the motorcycle 4 or its speed curve. Consequently, the speed of the motorcycle 4 has a high relevance with regard to the criticality and the speed of the motorcycle 4 assumed in FIG. 3b or its speed curve has a high criticality.
  • the number of combinations to be tested can be significantly reduced compared to fully factorial testing. For example, if only 21 parameters of a scenario are taken into account, the number of tests can be reduced from 1.7 trillion tests in the full factorial case to just 1,028,297 tests if interactions with other parameters, i.e. six-fold interactions among all parameters, are taken into account or even to 125 test cases if only double interactions, ie the parameter under consideration and one further other parameter are taken into account. Depending on the desired coverage, such a reduced number of interactions taken into account can contribute significantly to a reduced computational effort. The inventors have found that in most cases the consideration of triple interaction, ie the parameter under consideration with two other parameters in each case, is sufficient to adequately depict reality in general.
  • Such an approach therefore has a mixed combinatorial strength, which is selected depending on the input parameters considered.
  • those parameters which have a high criticality with regard to scenarios are preferably tested with a higher strength, ie with more interactions with other parameters, than parameters with a low criticality.
  • the speed of the motorcycle 4 has a significantly higher criticality than z.
  • the relevance or criticality of the individual input parameters can be determined here, as described in relation to the subroutine.
  • a simulated environment 3 is generated in an eleventh work step 111, as is shown, for example, in FIGS. 3a and 3b and has already been described in relation to these.
  • the driver assistance system 2 to be tested is operated in the simulated environment according to the respective scenario.
  • the ego vehicle 1 in FIGS. 3a and 3b which has the driver assistance system 2 to be tested, is overtaking. This overtaking maneuver is part of the scenario.
  • the driving behavior of the driver assistance system 2 to be tested in the simulated environment 3 is recorded.
  • the driver assistance system 2 Based on the recorded driving behavior of the driver assistance system 2 to be tested, it can be determined whether the driver assistance system has reacted or acted adequately with regard to aspects such as active and passive safety and comfort of the occupants.
  • FIG. 5 An exemplary embodiment of a system 20 for testing a driver assistance system of a vehicle in a simulated environment is shown in FIG. 5 .
  • Such a system preferably has storage means 11 for providing a scenario model which specifies input parameters which are necessary for the definition of a certain scenario and their respective relationship to the other parameters of the scenario model and which indicates those of the input parameters which are changeable for adapting the certain scenario are, and specifies their possible parameter values.
  • such a system 10 preferably comprises means 12 for selecting combinations of parameter values, each of which characterizes a scenario, on the basis of the scenario model using an algorithm for combinatorial testing, wherein when selecting the combination for an input parameter under consideration, only interactions with a predefined maximum number of other input parameters are taken into account.
  • such a system 10 preferably comprises means 13 for generating a simulated environment 3 on the basis of the selected combination of parameter values.
  • the means 13 for generating a simulated environment 3 preferably have a device 13-1 which is set up to generate a virtual environment 3 of the vehicle 1 on the basis of the selected combination of parameter values.
  • An interface 13 - 2 is set up in order to simulate or emulate the virtual environment on the driver assistance system 2 .
  • Such an interface 13-2 can be a screen, for example, if the driver assistance system 2 has an optical camera.
  • the sensor of driver assistance system 2 is a radar sensor, which emits a signal S.
  • This signal S is detected by the interface 13-2, which is designed as a radar antenna.
  • the means 13-1 for generating the simulated environment 3 calculate a response signal S' on the basis of the detected signal S and the simulated environment 3, which in turn is output to the radar of the driver assistance system 2 via the radar antennas 13-2.
  • the driver assistance system 2 can be tested in this way. Additional means 14 are provided for this in order to operate the driver assistance system 2 to be tested in the simulated environment 3 according to the respective scenario.
  • Such means 13 can be interfaces or other devices in order to give the driver assistance system 2 commands, based on which this guides the vehicle.
  • the system 10 preferably has means 15 for detecting a driving behavior of the at least one driver assistance system 2 to be tested in the simulated environment 3 .
  • the driver assistance system is operated in a real environment or in the vehicle 1 on a test bench, such means 15 can be speed sensors and sensors for determining the lateral guidance of the vehicle.
  • the driver assistance system 2 is operated in a virtual environment or only the software of the driver assistance system is tested (flardware-in-the-loop, software-in-the-loop), the means 15 can also be embodied as data interfaces.
  • the aforementioned means are preferably formed by a data processing system.
  • the means 14 for operating the driver assistance system 2 to be tested in an environment 3 of the vehicle 1 can, however, also be formed by a test bench, in particular a test bench for a driver assistance system 2 or a vehicle 1 .
  • the means 15 for detecting a driving behavior of the at least one driver assistance to be tested in the simulated environment 3 can in any case be partially formed by sensors.
  • A, B range of scenarios 1 vehicle 2 driver assistance system
  • 5a, 5b, 5c, 5d further vehicles 6 pedestrians 11 means for simulating 12 means for operating a driver assistance system

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Quality & Reliability (AREA)
  • General Engineering & Computer Science (AREA)
  • Traffic Control Systems (AREA)

Abstract

Computerimplementiertes Verfahren (100) zum Testen eines Fahrerassistenzsystems (2) eines Fahrzeugs (1) in einer simulierten Umgebung (3), folgende Arbeitsschritte aufweisend: Bereitstellen (101) eines Szenarienmodells, welches Eingangsparameter, welche zur Definition eines bestimmten Szenarios notwendig sind, und deren jeweilige Beziehung zu den anderen Parametern des Szenarienmodells angibt und welches jene der Eingangsparameter, die zum Anpassen des bestimmten Szenarios veränderbar sind, und deren mögliche Parameterwerte angibt; Auswählen (110) von Kombinationen von Parameterwerten, welche jeweils ein Szenario charakterisieren, auf der Grundlage des Szenarienmodells mittels eines Algorithmus zum kombinatorischem Testen, wobei beim Auswählen der Kombinationen für einen betrachteten Eingangsparameter ausschließlich Wechselwirkungen mit einer vordefinierten maximalen Anzahl an anderen Eingangsparametern berücksichtigt werden; Erzeugen (111) einer simulierten Umgebung (3) auf der Grundlage der ausgewählten Kombinationen von Parameterwerten; Betreiben (112) eines zu testenden Fahrerassistenzsystems (2) in der simulierten Umgebung (3) gemäß dem jeweiligen Scenario; und Erfassen (113) eines Fahrverhaltens des wenigstens einen zu testenden Fahrerassistenzsystems (2) in der simulierten Umgebung (3).

Description

Verfahren und System zum Testen eines Fahrerassistenzsystems für ein Fahrzeug
Die Erfindung betrifft ein computerimplementiertes Verfahren zum Testen eines Fah rerassistenzsystems eines Fahrzeugs in einer simulierten Umgebung, wobei ein Sze narienmodell bereitgestellt wird, welches Eingangsparameter, welche zur Definition ei nes bestimmten Szenarios notwendig sind, und deren jeweilige Beziehung zu den an deren Parametern des Szenarienmodells angibt und welches jene der Eingangspara meter, die zum Anpassen des bestimmten Szenarios veränderbar sind, und deren mögliche Parameterwerte angibt. Die Erfindung betrifft des Weiteren ein entsprechen des System.
Die Verbreitung von Fahrerassistenzsystemen (Advanced Driver Assistance Systems - ADAS), welche in einer Weiterentwicklung autonomes Fahren (Autonomous Driving - AD) ermöglichen, nehmen sowohl im Bereich der Personenkraftwagen als auch bei Nutzfahrzeugen ständig zu. Fahrerassistenzsysteme leisten einen wichtigen Beitrag zur Erhöhung der aktiven Verkehrssicherheit und dienen zur Steigerung des Fahrkom forts.
Neben den insbesondere der Fahrsicherheit dienenden Systemen wie ABS (Anti-Blo- ckier-System) und ESP (Elektronisches Stabilitätsprogramm) werden im Bereich der Personenkraftwagen und der Nutzfahrzeuge einer Vielzahl von Fahrerassistenzsyste men angeboten.
Fahrerassistenzsysteme, welche bereits zur Erhöhung der aktiven Verkehrssicherheit eingesetzt werden, sind ein Parkassistent, ein adaptiver Abstandsregeltempomat, der auch als Adaptive Cruise Control (ACC) bekannt ist, welcher eine vom Fahrer gewählte Wunschgeschwindigkeit adaptiv auf einen Abstand zu einem vorausfahrenden Fahr zeug einregelt. Ein weiteres Beispiel für solche Fahrerassistenzsysteme sind ACC- Stop-&-Go-Systeme, welche zusätzlich zum ACC die automatische Weiterfahrt des Fahrzeugs im Stau oder bei stehenden Fahrzeugen bewirkt, Spurhalte- oder Lane- Assist-Systeme, die das Fahrzeug automatisch auf der Fahrzeugspur halten, und Pre- Crash-Systeme, die im Fall der Möglichkeit einer Kollision beispielsweise eine Bremsung vorbereiten oder einleiten, um die kinetische Energie aus dem Fahrzeug zu nehmen, sowie gegebenenfalls weitere Maßnahmen einleiten, falls eine Kollision un vermeidlich ist.
Diese Fahrerassistenzsysteme erhöhen sowohl die Sicherheit im Verkehr, indem sie den Fahrer in kritischen Situationen warnen, bis zur Einleitung eines selbstständigen Eingriffs zur Unfallvermeidung oder Unfallverminderung, beispielsweise indem eine Notbremsfunktion aktiviert wird. Zusätzlich wird der Fahrkomfort durch Funktionen wie automatisches Einparken, automatische Spurhaltung und automatische Abstandskon trolle erhöht.
Der Sicherheits- und Komfortgewinn eines Fahrerassistenzsystems wird von den Fahr zeuginsassen nur dann positiv wahrgenommen, wenn die Unterstützung durch das Fahrerassistenzsystem sicher, verlässlich und in - soweit möglich - komfortabler Weise erfolgt.
Darüber hinaus muss jedes Fahrerassistenzsystem, je nach Funktion, im Verkehr auf tretende Szenarien mit maximaler Sicherheit für das eigene Fahrzeug und auch ohne Gefährdung anderer Fahrzeuge bzw. anderer Verkehrsteilnehmer bewerkstelligen.
Der jeweilige Automatisierungsgrad von Fahrzeugen wird dabei in sogenannte Auto- matisierungslevel 1 bis 5 unterteilt (vgl. beispielsweise Norm SAE J3016). Die vorlie gende Erfindung betrifft insbesondere Fahrzeuge mit Fahrerassistenzsystemen des Automatisierungslevels 3 bis 5, welches im Allgemeinen als autonomes Fahren be trachtet wird.
Die Herausforderungen zum Testen solcher Systeme sind vielfältig. Insbesondere muss ein Ausgleich zwischen dem Testaufwand und der Testabdeckung gefunden werden. Dabei ist die Hauptaufgabe beim Testen von ADAS/AD-Funktionen, zu de monstrieren, dass die Funktion des Fahrerassistenzsystems in allen vorstellbaren Si tuationen gewährleistet ist, insbesondere auch in kritischen Fahrsituationen. Solche kritischen Fahrsituationen weisen eine gewisse Gefährlichkeit auf, da keine oder eine falsche Reaktion des jeweiligen Fahrerassistenzsystems zu einem Unfall führen kann. Das Testen von Fahrerassistenzsystemen erfordert daher eine Berücksichtigung einer großen Anzahl von Fahrsituationen, welche sich in verschiedenen Szenarien ergeben können. Der Variationsraum von möglichen Szenarien wird dabei im Allgemeinen durch viele Dimensionen aufgespannt (z. B. verschiedene Straßeneigenschaften, ein Verhalten von anderen Verkehrsteilnehmern, Wetterbedingungen, etc.). Aus diesem nahezu unendlichen und multidimensionalen Parameterraum ist es zum Testen der Fahrerassistenzsysteme besonders relevant, solche Parameterkonstellationen für kri tische Szenarien zu extrahieren, welche zu ungewöhnlichen oder gefährlichen Fahrsi tuationen führen können.
Wie in Fig. 1 dargestellt, haben solche kritischen Szenarien eine weit geringere Auf trittswahrscheinlichkeit als übliche Szenarien.
Wissenschaftliche Veröffentlichungen gehen davon aus, dass ein Betrieb eines Fahr zeugs im autonomen Fährbetrieb nur dann statistisch sicherer als ein von Menschen gesteuertes Fahrzeug ist, wenn mit dem entsprechenden Fahrerassistenzsystem 275 Millionen Meilen unfallfreier Fahrzeit absolviert wurden, um das entsprechende Fah rerassistenzsystem zu validieren. Dies ist mittels realer Testfahrten eigentlich nicht zu realisieren, insbesondere vor dem Flintergrund, dass die Entwicklungszyklen und Qua litätsstandards, welche in der Automobilindustrie gefordert sind, schon einen sehr en gen Zeitrahmen setzen. Auch wäre es unwahrscheinlich, dass eine ausreichende Menge von kritischen Szenarien bzw. sich aus diesen Szenarien ergebenden Fahrsi tuationen aus dem vorgenannten Grund enthalten wären.
Aus dem Stand der Technik ist es bekannt, reale Testfahrdaten einer realen Flotte von Testfahrzeugen zum Validieren und Verifizieren von Fahrerassistenzsystemen einzu setzen und aus den aufgezeichneten Daten Szenarien zu extrahieren. Des Weiteren ist es bekannt, zum Validieren und Verifizieren vollfaktorielle Versuchspläne einzuset zen.
Es ist eine Aufgabe der Erfindung, Fahrerassistenzsysteme, insbesondere Fahreras sistenzsysteme für autonomes Fahren, in Szenarien prüfen zu können, welche den gesamten multidimensionalen Parameterraum abdecken. Insbesondere sollen die ge testeten Szenarien repräsentativ sein für den gesamten multidimensionalen Parameterraum. Diese Aufgabe wird durch die Lehre der unabhängigen Ansprüche gelöst. Vorteilhafte Ausgestaltungen finden sich in den abhängigen Ansprüchen.
Ein erster Aspekt der Erfindung ist ein computerimplementiertes Verfahren zum T esten eines Fahrerassistenzsystems eines Fahrzeugs in einer simulierten Umgebung, fol gende Arbeitsschritte aufweisend:
Bereitstellen eines Szenarienmodells, welches Eingangsparameter, welche zur Defi nition eines bestimmten Szenarios notwendig sind, und jene der Eingangsparameter, die zum Anpassen des Bestimmungsszenarios veränderbar sind, und deren mögliche Parameterwerte angibt;
Auswählen von Kombinationen von Parameterwerten, welche jeweils ein Szenario re präsentieren, auf der Grundlage des Szenarienmodells mittels eines Algorithmus zum kombinatorischen Testen und unter Berücksichtigung von Randbedingungen, wobei beim Auswählen der Kombination für einen betrachteten Eingangsparameter aus schließlich Wechselwirkungen mit einer vordefinierten maximalen Anzahl an anderen Eingangsparametern berücksichtigt werden;
Erzeugen einer simulierten Umgebung auf der Grundlage der Kombination von Para- meterwerten;
Betreiben eines zu testenden Fahrerassistenzsystems in der simulierten Umgebung; und
Erfassen eines Fahrverhaltens des wenigstens einen zu testenden Fahrerassistenz systems in der simulierten Umgebung.
Ein zweiter Aspekt der Erfindung betrifft ein System zum Testen eines Fahrerassis tenzsystems eines Fahrzeugs in einer simulierten Umgebung, aufweisend:
Speichermittel zum Bereitstellen eines Szenarienmodells, welches Eingangsparame ter, welche zur Definition eines bestimmten Szenarios notwendig sind, und deren je weilige Beziehung zu den anderen Parametern des Szenarienmodells angibt und wel ches jene der Eingangsparameter, die zum Anpassen des bestimmten Szenarios ver änderbar sind, und deren mögliche Parameterwerte angibt; Mittel zum Auswahlen von Kombinationen von Parameterwerten, welche jeweils ein Szenario charakterisieren, auf der Grundlage des Szenarienmodells mittels eines Al gorithmus zum kombinatorischem Testen, wobei beim Auswahlen der Kombinationen für einen betrachteten Eingangsparameter ausschließlich Wechselwirkungen mit einer vordefinierten maximalen Anzahl an anderen Eingangsparametern berücksichtigt wer den;
Mittel zum Erzeugen einer simulierten Umgebung auf der Grundlage der ausgewählten Kombinationen von Parameterwerten;
Mittel zum Betreiben eines zu testenden Fahrerassistenzsystems in der simulierten Umgebung gemäß dem jeweiligen Scenario; und
Mittel zum Erfassen eines Fahrverhaltens des wenigstens einen zu testenden Fahrer assistenzsysteme in der simulierten Umgebung.
Ein Umfeld des Fahrzeugs im Sinne der Erfindung wird vorzugsweise wenigstens durch für die Fahrzeugführung durch das Fahrerassistenzsystem relevante Objekte gebildet. Insbesondere umfasst ein Umfeld des Fahrzeugs eine Szenerie und dynami sche Elemente. Die Szenerie umfasst vorzugsweise alle stationären Elemente.
Ein Szenario im Sinne der Erfindung wird vorzugsweise aus einer zeitlichen Abfolge von insbesondere statischen Szenen gebildet. Die Szenen geben dabei beispielsweise die räumliche Anordnung von dem wenigstens einen anderen Objekt relativ zum Ego- Objekt, z. B. die Konstellation von Verkehrsteilnehmern, an. Ein Szenario kann insbe sondere eine Fahrsituation enthalten, in der ein Fahrerassistenzsystem das Ego-Fahr zeug genannte, mit dem Fahrzeugassistenzsystem ausgestattete Fahrzeug zumindest teilweise steuert, z. B. wenigstens eine Fahrzeugfunktion des Ego-Fahrzeugs auto nom ausführt.
Eine Fahrsituation im Sinne der Erfindung beschreibt vorzugsweise die Umstände, die für die Auswahl geeigneter Verhaltensmuster des Fahrerassistenzsystems zu einem bestimmten Zeitpunkt zu berücksichtigen sind. Eine Fahrsituation ist daher vorzugs weise subjektiv, indem sie die Sicht des Ego-Fahrzeugs repräsentiert. Sie umfasst weiter vorzugsweise relevante Bedingungen, Möglichkeiten und Beeinflussungsfaktoren von Handlungen. Eine Fahrsituation ist weiter vorzugsweise aus der Szene durch einen Prozess der Informationsauswahl abgeleitet, basierend auf Transienten, z. B. emissionsspezifischen, wie auch permanenten Zielen und Werten.
Ein Fahrverhalten im Sinne der Erfindung ist vorzugsweise ein Verhalten des Fahrer assistenzsystems durch Aktion und Reaktion in einem Umfeld des Fahrzeugs.
Ein Mittel im Sinne der Erfindung kann hard- und/oder softwaretechnisch ausgebildet sein und insbesondere eine, vorzugsweise mit einem Speicher- und/oder Bussystem daten- bzw. signalverbundene, insbesondere digitale, Verarbeitungs-, insbesondere Mikroprozessoreinrichtungen (CPU) und/oder ein oder mehrere Programme oder Pro- grammmodule aufweisen. Die CPU kann dazu ausgebildet sein, Befehle, die als ein in einem Speichersystem abgelegtes Programm implementiert sind, abzuarbeiten, Ein gangssignale von einem Datenbus zu erfassen und/oder Ausgangssignale an einen Datenbus abzugeben. Ein Speichersystem kann ein oder mehrere, insbesondere ver schiedene, Speichermedien, insbesondere optische, magnetische, Festkörper und/oder nicht-flüchtige Medien, aufweisen. Das Programm kann derart beschaffen sein, dass es die hier beschriebenen Verfahren verkörpert bzw. auszuführen imstande ist, sodass die CPU die Schritte solcher Verfahren ausführen kann.
Die Erfindung basiert auf der Idee, den Parameterraum, in welchem Parameterkons tellationen für Szenarien möglich sind, auf die relevantesten Bereiche einzugrenzen bzw. zu beschränken.
Hierfür kommt einerseits die Methode des kombinatorischen Testens zum Einsatz, bei welcher ein Algorithmus verwendet wird, um relevante Kombinationen der Ein gangsparameter zu erzeugen. Algorithmen des kombinatorischen Testens haben zum Ziel, mit möglichst wenig Tests eine möglichst hohe Aussagekraft zu generieren. Be züglich Details zum kombinatorischen Testen wird auf die Veröffentlichung „Practical Combinatorial Testing“, D. R. Kuhn et al., NIST Special Publication 800/142 verwiesen.
Darüber hinaus werden für einen jeweils betrachteten Eingangsparameter ausschließ lich Wechselwirkungen mit einer vordefinierten maximalen Anzahl an anderen Ein gangsparametern berücksichtigt. Die Erfinder haben festgestellt, dass es für eine realitätsgetreue Abbildung einer Simulation ausreicht, eine begrenzte Anzahl an Para metern bei der Betrachtung aller Wechselwirkungen zwischen diesen Parametern zu berücksichtigen. Vorzugsweise genügt es, jeweils nur die Wechselwirkung von insge samt drei Parametern zu berücksichtigen. Von dieser Wechselwirkung werden im Rah men des kombinatorischen Testens dann aber auch alle berücksichtigt. Insbesondere haben die Erfinder festgestellt, dass eine vollfaktorielle Berücksichtigung der Wechsel wirkungen zwischen den einzelnen Parametern nicht nötig ist.
Empirische Ergebnisse zeigen dagegen, dass höchstens die Berücksichtigung von sechsfachen Wechselwirkungen notwendig ist, um alle Fehler eines zu testenden Fah rerassistenzsystems hervorzurufen. Dies trägt der Tatsache Rechnung, dass nicht alle Parameter relevant sind, um Fehler des zu testenden Fahrerassistenzsystems hervor zurufen.
Vorzugsweise läuft das erfindungsgemäße Verfahren vollautomatisch ab.
In einer vorteilhaften Ausgestaltung des Verfahrens basiert das Szenarienmodell auf einer Ontologie, welche Parameter, mit welchen Szenarien charakterisiert werden kön nen und Beziehungen oder Wechselwirkungen zwischen den verschiedenen Parame tern angibt.
Flierdurch kann bereits in dem Szenarienmodell berücksichtigt werden, dass einzelne Parameter untereinander keine gegenseitige Beziehung aufweisen und mithin nicht wechselwirken. Dies führt zu einer weiteren Vereinfachung in der Simulation, sodass Rechenleistung oder Rechenzeit eingespart werden kann.
Eine Ontologie im Sinne der Erfindung ist vorzugsweise eine formal geordnete Dar stellung einer Menge von Parametern und der zwischen ihnen bestehenden Bezie hung oder Wechselwirkung in einem Verkehrsszenario.
In einerweiteren vorteilhaften Ausgestaltung der Erfindung hängt die vordefinierte ma ximale Anzahl anderer Eingangsparameter bei dem Berücksichtigen der Wechselwir kung von dem jeweils betrachteten Eingangsparameter ab. Wie oben dargestellt, werden beim kombinatorischen Testen im Allgemeinen alle mög lichen Kombinationen von Parametern bzw. Parameterwerten eines gewissen Grads berücksichtigt (englisch: combinatorial strength).
Gemäß der vorteilhaften Ausgestaltung wird vorgesehen, die Berücksichtigung von Wechselwirkungen von dem jeweiligen betrachteten Eingangsparameter abhängig zu machen. Hierdurch wird berücksichtigt, dass unterschiedliche Eingangsparameter in verschieden starken Beziehungen zu anderen Parametern des Szenarienmodells ste hen, d.h. ob eine gegenseitige Beeinflussung der Parameter existiert und wie stark diese Wechselwirkung ist.
Für Eingangsparameter, bei welchen solche Wechselwirkungen geringer ausgeprägt sind, brauchen nur weniger Wechselwirkungen berücksichtig zu werden. Insbeson dere kann die Anzahl der berücksichtigten Parameter in Bezug auf Wechselwirkungen von einem definierten Kriterium abhängig gemacht werden. Beispielsweise tragen nicht alle Parameterkombinationen dazu bei, beim Generieren von Szenarien Fehler des Fahrerassistenzsystems hervorzurufen. Solche Parameterkombinationen bzw. Wechselwirkungen können dann unberücksichtigt bleiben. Dies kann durch den in der vorteilhaften Ausgestaltung beanspruchten Ansatz von der Berücksichtigung von ver schiedenen Graden von Wechselwirkungen für den jeweiligen Eingangsparameter (englisch: mixed strength) verwirklicht werden.
Vorzugsweise hängt die Anzahl der betrachteten Wechselwirkungen von der Kritikali- tät des jeweils betrachteten Eingangsparameters ab. Die Kritikalität ist hierbei die Re levanz eines Parameters in Bezug auf ein mögliches Unfallrisiko in Bezug auf das Fahrerassistenzsystem.
Daher kann durch die Einführung der Berücksichtigung einer sogenannten gemischten Stärke, d. h. einer sich verändernden Anzahl von berücksichtigten Wechselwirkungen, je nach betrachtetem Eingangsparameter, eine weitere wesentliche Reduzierung an Testfällen erreicht werden.
In einer weiteren vorteilhaften Ausgestaltung des Verfahrens werden beim Auswählen von Kombinationen von Parameterwerten harte und weiche Randbedingungen berücksichtigt, wobei die harten Randbedingungen Kombinationen von Parameterwer ten ausschließen, welche physikalisch nicht möglich sind und wobei die weichen Rand bedingungen Kombinationen von Parameterwerten, welche physikalisch möglich sind, aber bei einem Manöver des Fahrzeugs in der simulierten Umgebung widersprechen. Durch die Berücksichtigung von Randbedingungen lässt sich die Anzahl von zu simu lierenden Szenarien weiter reduzieren. Insbesondere können diese Randbedingungen bei der Auswahl von Kombinationen von Parameterwerten in dem Algorithmus zum kombinatorischen Testen berücksichtigt werden.
In einer weiteren vorteilhaften Ausgestaltung weist das Szenarienmodell ein Format auf, welches durch den Algorithmus verarbeitet werden kann.
Ein solches Format kann beispielsweise OWL sein, eine sogenannte Ontology Web Language.
In einer weiteren vorteilhaften Ausgestaltung des Verfahrens wird die Kritikalität des betrachteten Eingangsparameters oder eines Parameterwerts des betrachteten Ein gangsparameters mit folgenden Arbeitsschritten bestimmt:
Auswahlen von Kombinationen von Parameterwerten, welche jeweils ein Szenario re präsentieren, auf der Grundlage des Szenarienmodells mittels eines Algorithmus zum kombinatorischen Testen und unter Berücksichtigung von Randbedingungen, wobei beim Auswählen der Kombinationen für einen betrachteten Eingangsparameter aus schließlich eine einzige Wechselwirkung mit anderen Eingangsparametern berück sichtigt wird;
Verändern der Kombination von Parameterwerten mittels eines evolutionären Algorith mus, wobei das Verändern eine Kostenfunktion berücksichtigt, welche noch nicht be rücksichtigte Wechselwirkungen und Parameterkombinationen begünstigt, bei wel chen kritische Szenarien zu erwarten sind;
Erzeugen einer simulierten Umgebung auf der Grundlage der veränderten Kombina tion von Parameterwerten;
Betreiben eines zu testenden Fahrerassistenzsystems in der simulierten Umgebung; Erfassen eines Fahrverhaltens des wenigstens einen zu testenden Fahrerassistenz systems in der Simulationsumgebung;
Ermitteln einer Güte des Szenarios in Abhängigkeit eines vordefinierten Kriteriums in Bezug auf eine entstandene Fahrsituation, insbesondere einer Kritikalität der entstan denen Fahrsituation;
Vergleichen der Güte des Szenarios mit einem Schwellenwert; und
Erhöhen einer Bewertung der Kritikalität des betrachteten Eingangsparameters oder des Parameterwerts des betrachteten Eingangsparameters, falls die Güte oberhalb des Schwellenwerts ist; und
Ausgeben der Bewertung der Kritikalität des betrachteten Eingangsparameters oder des Parameterwerts des betrachteten Eingangsparameters.
Die auf diese Weise erhaltenen Informationen über die Kritikalität des betrachteten Eingangsparameters oder eines Parameterbereichs des Eingangsparameters erlaubt es, die jeweilige Anzahl an berücksichtigten Wechselwirkungen mit anderen Parame tern zu bestimmen.
In einer weiteren vorteilhaften Ausgestaltung weist das Verfahren des Weiteren den folgenden Arbeitsschritt auf:
Variieren des Werts wenigstens eines der Eingangsparameter des Szenarios auf der Grundlage der ermittelten Güte, bis wenigstens eine Abbruchbedingung erfüllt ist.
Flierdurch können besonders kritische Parameterwerte oder Wertebereiche ermittelt werden.
In einerweiteren vorteilhaften Ausgestaltung des Verfahrens wird das Variieren mittels Kreuzen und/oder Mutation ausgeführt, wobei Parameterwerte eines Teils der Ein gangsparameter durch Parameterwerte eines anderen Szenarios ersetzt werden oder ein Parameterwert wenigstens eines Eingangsparameters durch einen neuen Wert er setzt wird. Durch Kreuzen oder Mutation lässt sich der gesamte Parameterraum besonders zu verlässig nach möglichen Parameterkombinationen mit hoher Kritikalität durchsuchen.
In einer weiteren vorteilhaften Ausgestaltung des Verfahrens sind Parameter des Sze narios, je nach Art des zu testenden Fahrerassistenzsystems, aus der folgenden Gruppe ausgewählt:
Geschwindigkeit, insbesondere eine initiale Geschwindigkeit, eines Verkehrsteilneh mers; eine Bewegungsrichtung, insbesondere eine Trajektorie, eines Verkehrsteilneh mers; Lichtverhältnisse; Witterung; Fahrbahnbeschaffenheit; Temperatur; Anzahl und Position statischer und/oder dynamischer Objekte; Zustand und Erscheinen statischer und/oder dynamischer Objekte; eine Geschwindigkeit und eine Bewegungsrichtung, insbesondere eine Trajektorie, der dynamischen Objekte; Zustand von Signalanlagen, insbesondere Lichtsignalanlagen; Verkehrszeichen, Anzahl der Fahrspuren; Be schleunigung oder Bremsverzögerung von Verkehrsteilnehmern oder Objekten; Ver- schmutzungs- und/oder Alterungserscheinungen der Fahrbahn, geografische Ausrich tung der Verkehrssituation.
- Figur 1 ein Diagramm der Auftrittswahrscheinlichkeit von Szenarien in Abhän gigkeit ihrer Kritikalität;
- Figur 2 ein Blockdiagramm eines Ausführungsbeispiels eines Verfahrens zum Testen eines Fahrerassistenzsystems eines Fahrzeugs in einer simulierten Um gebung;
- Figur 3a ein erstes Beispiel für ein simuliertes Szenario einer ersten Kritikalität;
- Figur 3b ein zweites Beispiel für ein simuliertes virtuelles Szenario mit einer zweiten Kritikalität; und
- Figur 4 ein Ausführungseispiel eines Systems zum Testen eines Fahrerassis tenzsystems eines Fahrzeugs in einer simulierten Umgebung; und
- Figur 5 ein Ausführungsbeispiel eines Mittels zum Betreiben eines zu testenden Fahrerassistenzsystems in einer simulierten Umgebung. Figur 1 zeigt die Auftrittswahrscheinlichkeit von Szenarien in Abhängigkeit der Kritika- lität der Szenarien. Die Auftrittswahrscheinlichkeit ist jene Wahrscheinlichkeit, mit wel cher Szenarien im realen Straßenverkehr auftreten.
Wie in der Fig. 1 gezeigt, weist die Mehrzahl an Szenarien im realen Straßenverkehr eine vergleichsweise geringe Kritikalität auf, was auch der allgemeinen Lebenserfah rung eines Autofahrers entspricht. Der Bereich dieser Szenarien ist in Fig. 1 mit „A“ bezeichnet. Szenarien von hoher Komplexität, deren Bereich in Fig. 1 mit „B“ bezeich net ist, kommen dagegen relativ selten vor. Gerade jene Szenarien „B“ mit großer Komplexität sind jedoch zum Untersuchen der Funktionstüchtigkeit von Fahrerassis tenzsystemen von hoher Relevanz.
Um eine ausreichende Anzahl und Diversität an verschiedenen Szenarien mit hoher Komplexität „B“ während des Tests eines Fahrerassistenzsystems zu erreichen, muss daher, unter Zugrundelegung der gezeigten Verteilungskurve, eine sehr hohe Anzahl an Szenarien durchlaufen werden.
Ein Verfahren zum Testen eines Fahrerassistenzsystems eines Fahrzeugs in einer si mulierten Umgebung, mit welchem möglichst viele Szenarien mit großer Kritikalität ab gedeckt werden, wird nachfolgend in Bezug auf die Fig. 2 bis 3b beschrieben:
In einem ersten Arbeitsschritt 101 wird vorzugsweise ein Szenarienmodell, welches auf einer Ontologie basiert, bereitgestellt. Dieses Szenarienmodell gibt vorzugsweise Eingangsparameter, welche zur Definition eines bestimmten Szenarios notwendig sind, und deren jeweilige Beziehung zu den anderen Parametern des Szenarienmo dells an. Weiter vorzugsweise gibt das Szenarienmodell jene der Eingangsparameter an, die zum Anpassen des bestimmten Szenarios veränderbar sind, und auch deren mögliche Parameterwerte. Die Beziehung zwischen den Parametern des Szenarien modells und die Stärke ihrer jeweiligen Wechselwirkung wird vorzugsweise durch die Ontologie vorgegeben.
Die Ontologie wird vorzugsweise durch Beschreiben der Umgebung des Systems auf gestellt. Diese bildet die Basis für das Erstellen von Szenarien und stellt eine Wissens basis in Bezug auf alle Elemente dar, welche zum Aufbauen eines Szenarios benutzt werden können. Die Ontologie wird aus zwei Gruppen von Elementen gebildet: dyna mische Elemente, wie Menschen, sich bewegende Objekte, etc. und statische Objekte, wie feste Elemente, Bäume, Straßenzeichen, etc. Die Ontologien beruhen auf Kon zepten, welche die Beziehungen zwischen einzelnen Elementen beschränken, wobei eine formale Syntax zum Einsatz kommt, um den Aufbau und eine Vererbung zwi schen den Konzepten darzustellen. Im Detail können die einzelnen Arbeitsschritte im Aufbau einer Ontologie wie folgt aussehen:
Zunächst wird ein statischer Teil der Ontologie aufgebaut. Dieser bezieht sich auf den statischen Teil des Konzepts und dessen Elemente samt Beziehungen. Der statische Teil besteht aus der Umwelt, der Straßeninfrastruktur und Bedingungen.
Der Teil der Umwelt besteht aus den festen Elementen, wie dem Untergrund, Häusern, etc.
Die Bedingungen umfassen das Wetter und die Lichtverhältnisse. Der Straßeninfra strukturteil umfasst Straßenabschnitte, feste Objekte, welche die Straße umgeben, wie Gebäude, Bäume, Straßenzeichen. Des Weiteren kann der statische Teil Unterkon zepte wie Spuren enthalten. Straßenmarkierungen können beispielsweise Teil eines Straßenabschnittskonzepts sein.
Ein weiterer Arbeitsschritt ist die Konstruktion des dynamischen Teils.
In einem weiteren Arbeitsschritt werden alle Parameter jedes Konzepts und der Do mäne von Parametern definiert. Zum Beispiel hat ein Straßenabschnitt Parameter so wie Kurswinkel, Radius, Gefälle, Länge, etc. Die Straßenmarkierung hat Parameter so wie Farbe, Art, Stil, Erhebung, Breite, etc..
In einem weiteren Arbeitsschritt wird der dynamische Teil aufgebaut. Dieser weist die sich bewegenden Objekte, ihre Verhaltensweisen und ihre Aktionen auf. Die Haupt konzepte sind das Ego-Fahrzeug, andere Fahrzeuge und andere sich bewegende Ob jekte, so wie Fußgänger oder Tiere. Die sich bewegenden Objekte weisen wiederum Unterkonzepte auf, welche wiederum Eigenschaften und Verhaltensweisen definieren.
Schließlich werden in einem weiteren Arbeitsschritt für jedes Konzept des dynami schen Teils und für jede Domäne der Parameter relevante Parameter definiert. Die Parameter sind beispielsweise Beschleunigung, initiale Geschwindigkeit, initiale Posi tion, Geschwindigkeit beim Spurwechsel, etc..
In einem weiteren Arbeitsschritt zum Bilden von Ontologien werden die Parameter für jedes Konzept für dynamische Teile und Domänen von Parametern definiert. Diese sind beispielsweise Beschleunigung, Anfangsgeschwindigkeit, Anfangsstellung, Spur wechselgeschwindigkeit, etc..
In einem zweiten Arbeitsschritt 102 des Verfahrens 100 werden Kombinationen von Parameterwerten, welche jeweils ein Szenario repräsentieren, auf der Grundlage des Szenarienmodells mittels eines Algorithmus zum kombinatorischen Testen und unter Berücksichtigung von Randbedingungen ausgewählt. Vorzugsweise werden beim Auswählen der Kombination für einen gedachten Eingangsparameter ausschließlich eine einzige Wechselwirkung mit anderen Eingangsparametern berücksichtigt.
In einem dritten Arbeitsschritt 103 werden diese Kombinationen von Parameterwerten mittels eines evolutionären Algorithmus verändert, wobei das Verändern eine Kosten funktion berücksichtigt, welche noch nicht berücksichtigte Wechselwirkungen und Pa rameterkombinationen begünstigt, bei welchen kritische Szenarien zu erwarten sind.
In einem dritten Arbeitsschritt wird eine simulierte Umgebung auf der Grundlage der Kombination von Parameterwerten erzeugt. In einem vierten Arbeitsschritt 104 wird das zu testende Fahrerassistenzsystem in der simulierten Umgebung betrieben. In ei nem fünften Arbeitsschritt 105 wird das Fahrverhalten des wenigstens einen zu tes tenden Fahrerassistenzsystems in der simulierten Umgebung erfasst. In einem sechs ten Arbeitsschritt 106 wird eine Kritikalität des Szenarios in Abhängigkeit eines vorde finierten Kriteriums in Bezug auf das Fahrerassistenzsystem, insbesondere ein Sys temfehler oder eine Kollision oder drohende Kollision ermittelt. In einem weiteren sieb ten Arbeitsschritt 107 wird eine Bewertung der Kritikalität des betrachteten Ein gangsparameterwerts oder des Parameterwerts festgelegt oder erhöht, in Abhängig keit der Kritikalität des Szenarios. In einem achten Arbeitsschritt 108 wird die Kritikalität des Szenarios mit einem Schwellenwert verglichen. In einem weiteren neunen Arbeits schritt 109 werden Kombinationen von Parameterwerten mittels eines evolutionären Algorithmus verändert, wobei das Verändern eine Kostenfunktion berücksichtigt, welche noch nicht berücksichtigte Wechselwirkungen und Parameterkombinationen begünstigt, bei welchen kritische Szenarien zu erwarten sind. Als evolutionäre Algo rithmen kommen beispielsweise Kreuzen oder Mutieren infrage, wobei Parameter werte eines Teils der Parameter durch Parameterwerte eines anderen Szenarios er setztwerden oder ein Parameterwert wenigstens eines Parameters durch einen neuen Wert ersetzt wird.
Vorzugsweise wird die Subroutine der Arbeitsschritte 102 bis 109 wiederholt, bis eine definierte Abdeckung in Bezug auf den Parameterraum des betrachteten Eingangspa rameters erreicht wird. Darüber hinaus wird die Subroutine vorzugsweise für jeden Eingangsparameter wiederholt.
Durch das Verändern der Kombination von Parameterwerten mittels evolutionärer Al gorithmen werden Wechselwirkungen untersucht, welche noch nicht abgedeckt waren. In Verbindung mit der Kostenfunktion kann mittels des Verfahrens 100 der Parameter raum für den jeweils betrachteten Eingangsparameter analysiert werden, insbeson dere kann identifiziert werden, welche Kritikalität der Eingangsparameter oder Para meterbereich des Eingangsparameters aufweisen.
In einem zehnten Arbeitsschritt 110 des Verfahrens 100 werden Kombinationen von Parameterwerten, welche jeweils ein Szenario repräsentieren auf der Grundlage des Szenarienmodells mittels eines Algorithmus zum kombinatorischen Testen ausge wählt. Hierbei werden vorzugsweise weiche und harte Randbedingungen berücksich tigt. Die harten Randbedingungen schließen Kombinationen von Parameterwerten aus, welche physikalisch nicht möglich sind. Darüber hinaus werden Parameterwerte durch die Randbedingungen vorzugsweise ausgeschlossen, welche physikalisch mög lich sind, aber einem Manöver des Fahrzeugs in der simulierten Umgebung widerspre chen.
Beispiele für harte und weiche Randbedingungen ergeben sich aus Fig. 4. So kann die Trajektorie des Ego-Fahrzeugs 1 beispielsweise nicht durch die Baustelle hin durchführen. Zusätzlich kann das Fahrzeug 1 sich in der Simulation nicht an einer Stelle befinden, an welcher sich andere Fahrzeuge des simulierten Verkehrs sich be finden. Eine weiche Randbedingung in Fig. 4 ist beispielsweise, dass das Ego- Fahrzeug, wenn es von der Startposition startet zu der Zielposition end gelangen will, nicht in eine völlig andere Richtung fährt. In Fig. 4 ist mithin eine weiche Randbedin gung, dass das Ego-Fahrzeug in Richtung der Zielposition end fährt und nicht in die entgegengesetzte Richtung, welche aus Sicht harter Randbedingungen auch einge schlagen werden könnte.
Der Begriff der Kritikalität wird anhand der Fig. 3a und 3b erläutert.
Figur 3a zeigt ein erstes Szenario 3, bei welchem ein Fußgänger 6 eine Straße über quert. Ein Motorrad 4 nähert sich dem Fußgänger 6 auf dem, dem Fußgänger 6 zuge wandten Fahrstreifen. Neben dem Fahrstreifen sind weitere Fahrzeuge 5b, 5c, 5d ge parkt, durch welche der Fußgänger 6 für das Motorrad 4 nicht oder nur schlecht sicht bar ist. Auf dem zweiten Fahrstreifen für den entgegenkommenden Verkehr fährt auf Flöhe des Fußgängers 6 ein weiteres Fahrzeug 5a. Hinter dem weiteren Fahrzeug 5a nähert sich das Ego-Fahrzeug 1 , dessen Längs- und Quersteuerung durch ein Fahrer assistenzsystem 2 ausgeführt wird. Ob der Motorradfahrer 4 für das Ego-Fahrzeug 1 bzw. dessen Fahrerassistenzsystem 2 sichtbar ist, ist gemäß der Konstellation nach Fig. 3a unwahrscheinlich.
Die weiteren Fahrzeuge 5a, 5b, 5c, 5d, der Fußgänger 6 sowie der Motorradfahrer 4 und die Fahrspuren bilden eine simulierte Umgebung für das Ego-Fahrzeug 1 bzw. für das Fahrerassistenzsystem 2, welches ds Ego-Fahrzeug 1 steuert.
Parameter dieses Szenarios 3 sind beispielsweise die Anzahl der weiteren Fahrzeuge, deren Position, die Anzahl der weiteren Verkehrsteilnehmer, deren Position und Ge schwindigkeit, die Beschaffenheit des Untergrunds, die Markierungen auf der Fahr bahn etc. In Fig. 3a setzt das Ego-Fahrzeug 1 bzw. dessen Fahrerassistenzsystem 2 zum Überholen des weiteren am Verkehr teilnehmenden Fahrzeugs 5a an. Das Mo torrad 4 verringert seine Geschwindigkeit, wodurch das Ego-Fahrzeug 1 an dem wei teren Fahrzeug 5a passieren kann.
In Fig. 3b ist der Eingangsparameter der Geschwindigkeit des Motorrads 4 dahinge hend verändert, dass dieses seine Geschwindigkeit nicht reduziert, sondern mit unver änderter Geschwindigkeit weiterfährt. Daher kommt es, wie in Fig. 3b dargestellt, mit hoher Wahrscheinlichkeit zu einer Kollision zwischen dem Ego-Fahrzeug 1 und dem Motorrad 4, wenn das Ego-Fahrzeug 1 den Überholvorgang in Bezug auf das weitere Fahrzeug 5a ausführt.
Durch die Veränderung des Eingangsparameters Geschwindigkeit des Motorrads 4 bzw. dessen Geschwindigkeitsverlauf wird ein Szenario mit hoher Kritikalität erzeugt. Mithin weist die Geschwindigkeit des Motorrads 4 eine hohe Relevanz in Bezug auf die Kritikalität auf und die in Fig. 3b angenommene Geschwindigkeit des Motorrads 4 bzw. dessen Geschwindigkeitsverlauf hat eine hohe Kritikalität.
Darüber hinaus werden beim Auswählen von Kombinationen von Parameterwerten vorzugsweise ausschließlich Wechselwirkungen des betrachteten Eingangsparame ters mit einer vordefinierten maximalen Anzahl an anderen Eingangsparametern be rücksichtigt. In dem in Fig. 3 gezeigten Beispiel würde beispielsweise der Einfluss des Parameters „Geschwindigkeit des Motorrads 4“ oder auch „Fahrbahnbeschaffenheit“ oder „Witterung“ auf den Parameter „Bremsweg des Motorrads 4“ berücksichtigt wer den. Der Parameter „Geschwindigkeit des Ego-Fahrzeugs 1 “ würde dagegen nicht be rücksichtigt werden für den Parameter „Bremsweg des Motorrads 4“.
Flierdurch kann die Anzahl an zu testenden Kombinationen gegenüber einem vollfak toriellen Testen wesentlich reduziert werden. Beispielsweise kann die Anzahl an Tests, wenn nur 21 Parameter eines Szenarios berücksichtigt werden, von 1 ,7 Trillionen Tests im vollfaktoriellen Fall auf nur 1 028 297 Tests reduziert werden, wenn jeweils Wechselwirkungen mit anderen Parametern, also sechsfache Wechselwirkungen un ter allen Parametern, berücksichtigt werden oder sogar auf 125 Testfälle, wenn nur Zweifachwechselwirkungen, d. h. des betrachteten Parameters und jeweils eines wei teren anderen Parameters berücksichtigt werden. Je nach gewünschter Abdeckung kann eine solche reduzierte Anzahl an berücksichtigten Wechselwirkungen wesentlich zu einem verringerten Rechenaufwand beitragen. Die Erfinder haben festgestellt, dass in den meisten Fällen die Berücksichtigung von Dreifachwechselwirkung, d. h. des be trachteten Parameters mit jeweils zwei anderen Parametern untereinander ausreicht, um die Realität im Allgemeinen ausreichend abzubilden. Vorzugsweise ist des Weiteren vorgesehen, dass die vordefinierte Maximalanzahl an derer Eingangsparameter bei der Berücksichtigung der Wechselwirkung von dem je weils betrachteten Eingangsparameter abhängt. Ein solcher Ansatz weist also eine gemischte kombinatorische Stärke auf, welche jeweils vom betrachteten Eingangspa rameter abhängig gewählt wird. Hierbei werden vorzugsweise solche Parameter, wel che eine hohe Kritikalität in Bezug auf Szenarien aufweisen, mit einer höheren Stärke, also mit mehr Wechselwirkungen mit anderen Parametern getestet als Parameter mit niedriger Kritikalität. In Bezug auf Fig. 4 weist beispielsweise die Geschwindigkeit des Motorrads 4 eine wesentlich höhere Kritikalität auf, als z. B. die Position der weiteren Fahrzeuge 5b, 5c, 5d.
Die Relevanz bzw. Kritikalität der einzelnen Eingangsparameter kann hierbei, wie in Bezug auf die Subroutine beschrieben, bestimmt werden.
Auf der Grundlage der ausgewählten Kombination von Parameterwerten wird in einem elften Arbeitsschritt 111 eine simulierte Umgebung 3 erzeugt, wie sie beispielsweise in den Fig. 3a und 3b dargestellt ist und bereits in Bezug auf diese beschrieben wurde.
In einem zwölften Arbeitsschritt 112 wird das zu testende Fahrerassistenzsystem 2 in der simulierten Umgebung gemäß dem jeweiligen Szenario betrieben. Beispielsweise führt das Ego-Fahrzeug 1 in den Fig. 3a und 3b, welches das zu testende Fahreras sistenzsystem 2 aufweist, einen Überholvorgang aus. Dieser Überholvorgang ist Teil des Szenarios. In einem dreizehnten Arbeitsschritt 113 wird schließlich das Fahrver halten des einen zu testenden Fahrerassistenzsystems 2 in der simulierten Umgebung 3 erfasst.
Anhand des erfassten Fahrverhaltens des zu testenden Fahrerassistenzsystems 2 kann festgestellt werden, ob das Fahrerassistenzsystem in Bezug auf Aspekte wie ak tive und passive Sicherheit sowie Komfort der Insassen adäquat reagiert oder agiert hat.
Ein Ausführungsbeispiel eines Systems 20 zum Testen eines Fahrerassistenzsystems eines Fahrzeugs in einer simulierten Umgebung ist in Fig. 5 dargestellt. Ein solches System weist vorzugsweise Speichermittel 11 zum Bereitstellen eines Szenarienmodells auf, welches Eingangsparameter, welche zur Definition eines be stimmten Szenarios notwendig sind, und deren jeweilige Beziehung zu den anderen Parametern des Szenarienmodells angibt und welches jene der Eingangsparameter, die zum Anpassen des bestimmten Szenarios veränderbar sind, und deren mögliche Parameterwerte angibt.
Des Weiteren umfasst ein solches System 10 vorzugsweise Mittel 12 zum Auswahlen von Kombinationen von Parameterwerten, welche jeweils ein Szenario charakterisie ren, auf der Grundlage des Szenarienmodells mittels eines Algorithmus zum kombina torischen Testen, wobei beim Auswahlen der Kombination für einen betrachteten Ein gangsparameter ausschließlich Wechselwirkungen mit einer vordefinierten maximalen Anzahl an anderen Eingangsparametern berücksichtigt werden.
Des Weiteren weist ein solches System 10 vorzugsweise Mittel 13 zum Erzeugen einer simulierten Umgebung 3 auf der Grundlage der ausgewählten Kombination von Para meterwerten auf. Die Mittel 13 zum Erzeugen einer simulierten Umgebung 3 weisen vorzugsweise eine Einrichtung 13-1 auf, welche eingerichtet ist, um ein virtuelles Um feld 3 des Fahrzeugs 1 auf der Grundlage der ausgewählten Kombination von Para meterwerten zu erzeugen. Eine Schnittstelle 13-2 ist eingerichtet, um das virtuelle Um feld an das Fahrerassistenzsystem 2 zu simulieren bzw. zu emulieren. Eine solche Schnittstelle 13-2 kann, wenn das Fahrerassistenzsystem 2 eine optische Kamera auf weist, beispielsweise ein Bildschirm sein.
In dem in Fig. 5 dargestellten Beispiel ist der Sensor des Fahrerassistenzsystems 2 ein Radarsensor, welcher ein Signal S aussendet. Dieses Signal S wird von der Schnittstelle 13-2, welche als Radarantennen ausgebildet ist, erfasst.
Die Mittel 13-1 zum Erzeugen der simulierten Umgebung 3 berechnen auf der Grund lage des erfassten Signals S und des simulierten Umfelds 3 ein Antwortsignal S', wel ches wiederum an das Radar des Fahrerassistenzsystems 2 über die Radarantennen 13-2 ausgegeben wird. Auf diese Weise kann das Fahrerassistenzsystem 2 getestet werden. Hierfür sind weitere Mittel 14 vorhergesehen, um das zu testende Fahrerassistenzsys tem 2 in der simulierten Umgebung 3 gemäß dem jeweiligen Szenario zu betreiben. Solche Mittel 13 können Schnittstellen sein oder auch andere Einrichtungen, um dem Fahrerassistenzsystem 2 Befehle zu geben, aufgrund dessen dieses das Fahrzeug führt.
Schließlich weist das System 10 vorzugsweise Mittel 15 zum Erfassen eines Fahrver haltens des wenigstens einen zu testenden Fahrerassistenzsystems 2 in der simulier ten Umgebung 3 auf. Wird das Fahrerassistenzsystem in einer realen Umgebung be trieben oder im Fahrzeug 1 auf einem Prüfstand, können solche Mittel 15 Geschwin digkeitssensoren und Sensoren zum Feststellen der lateralen Führung des Fahrzeugs sein. Wird das Fahrerassistenzsystem 2 in einer virtuellen Umgebung betrieben oder nur die Software des Fahrerassistenzsystems getestet (Flardware-in-the-Loop, Soft- ware-in-the-Loop), so können die Mittel 15 auch als Datenschnittstellen ausgebildet sein.
Vorzugsweise sind die vorgenannten Mittel durch eine Datenverarbeitungsanlage ge bildet. Das Mittel 14 zum Betreiben des zu testenden Fahrerassistenzsystems 2 in einem Umfeld 3 des Fahrzeugs 1 können jedoch auch durch einen Prüfstand, insbe sondere einen Prüfstand für ein Fahrerassistenzsystem 2 oder ein Fahrzeug 1 , gebil det werden. In diesem Fall können die Mittel 15 zum Erfassen eines Fahrverhaltens des wenigstens einen zu testenden Fahrerassistenz in der simulierten Umgebung 3 jedenfalls teilweise durch Sensoren gebildet sein.
Es wird darauf hingewiesen, dass es sich bei den Ausführungsbeispielen lediglich um Beispiele handelt, die den Schutzbereich, die Anwendung und den Aufbau in keiner Weise einschränken sollen. Vielmehr wird dem Fachmann durch die vorausgehende Beschreibung ein Leitfaden für die Umsetzung mindestens eines Ausführungsbei spiels gegeben, wobei diverse Änderungen, insbesondere im Hinblick auf die Funktion und Anordnung der beschriebenen Bestandteile, vorgenommen werden können, ohne den Schutzbereich zu verlassen, wie er sich aus den Ansprüchen und diesen äquiva lenten Merkmalskombinationen ergibt. Bezugszeichenliste
A, B Bereich von Szenarien 1 Fahrzeug 2 Fahrerassistenzsystem
3 Szenario
4 Motorrad
5a, 5b, 5c, 5d weitere Fahrzeuge 6 Fußgänger 11 Mittel zum Simulieren 12 Mittel zum Betreiben eines Fahrerassistenzsystems
13 Mittel zum Beobachten eines Fahrverhaltens
14 Mittel zum Bestimmen einer Fahrsituation
15 Mittel zum Ermitteln einer Güte
16 Mittel zum Ändern eines Szenarios
17 Mittel zum Prüfen einer Abbruchbedingung
18 Schnittstelle

Claims

Patentansprüche
1. Computerimplementiertes Verfahren (100) zum Testen eines Fahrerassistenz systems (2) eines Fahrzeugs (1 ) in einer simulierten Umgebung (3), folgende Ar beitsschritte aufweisend:
Bereitstellen (101) eines Szenarienmodells, welches Eingangsparameter, wel che zur Definition eines bestimmten Szenarios notwendig sind, und deren jewei lige Beziehung zu den anderen Parametern des Szenarienmodells angibt und welches jene der Eingangsparameter , die zum Anpassen des bestimmten Sze narios veränderbar sind, und deren mögliche Parameterwerte angibt;
Auswahlen (110) von Kombinationen von Parameterwerten, welche jeweils ein Szenario charakterisieren, auf der Grundlage des Szenarienmodells mittels eines Algorithmus zum kombinatorischem Testen, wobei beim Auswahlen der Kombi nationen für einen betrachteten Eingangsparameter ausschließlich Wechselwir kungen mit einer vordefinierten maximalen Anzahl an anderen Eingangsparame tern berücksichtigt werden;
Erzeugen (111) einer simulierten Umgebung (3) auf der Grundlage der ausge wählten Kombinationen von Parameterwerten;
Betreiben (112) eines zu testenden Fahrerassistenzsystems (2) in der simulierten Umgebung (3) gemäß dem jeweiligen Scenario; und
Erfassen (113) eines Fahrverhaltens des wenigstens einen zu testenden Fahrer assistenzsystems (2) in der simulierten Umgebung (3).
2. Verfahren nach Anspruch 1 , wobei das Szenarienmodell auf einer Ontologie ba siert, welche Parameter, mit welchen Szenarien charakterisiert werden können, und Beziehungen oder Wechselwirkungen zwischen den verschiedenen Para metern angibt.
3. Verfahren nach Anspruch 1 oder 2, wobei die vordefinierte maximale Anzahl an derer Eingangsparameter bei dem Berücksichtigen der Wechselwirkungen von dem jeweils betrachteten Eingangsparameter abhängt.
4. Verfahren nach einem der vorhergehenden Ansprüche, wobei die vordefinierte maximale Anzahl an anderen Eingangsparametern, deren Wechselwirkungen mit dem jeweils betrachten Parameter berücksichtigt werden, von dem jeweils be trachteten Parameter abhängt, insbesondere von der Kritikalität des betrachteten Eingangsparameters.
5. Verfahren nach einem der vorhergehenden Ansprüche, wobei beim Auswählen von Kombinationen von Parameterwerten harte und weiche Randbedingungen berücksichtigt werden, wobei die harten Randbedingungen Kombinationen von Parameterwerten ausschließen, welche physikalisch nicht möglich sind, und wo bei die weichen Randbedingungen Kombinationen von Parameterwerten sind, welche physikalisch möglich sind, aber einem Manöver des Fahrzeugs in der si mulierten Umgebung widersprechen.
6. Verfahren nach einem der vorhergehenden Ansprüche, wobei das Szenarienmo dell ein Format aufweist, welches durch den Algorithmus verarbeitet werden kann.
7. Verfahren nach einem der Ansprüche 4 bis 6, wobei die Kritikalität des betrach teten Eingangsparameters oder eines Parameterwerts des betrachteten Ein gangsparameters durch eine Subroutine mit folgenden Arbeitsschritten bestimmt wird: Auswählen (102) von Kombinationen von Parameterwerten, welche jeweils ein Szenario repräsentieren, auf der Grundlage des Szenarienmodells mittels eines Algorithmus zum kombinatorischen Testen und unter Berücksichtigung von Randbedingungen, wobei beim Auswahlen der Kombinationen für einen betrach teten Eingangsparameter ausschließlich eine einzige Wechselwirkung mit ande ren Eingangsparametern berücksichtigt wird;
Erzeugen (103) einer simulierten Umgebung auf der Grundlage der Kombinatio nen von Parameterwerten;
Betreiben (104) eines zu testenden Fahrerassistenzsystems in der simulierten Umgebung;
Erfassen (105) eines Fahrverhaltens des wenigstens einen zu testenden Fahrer assistenzsystems in der simulierten Umgebung;
Ermitteln (106) eine Kritikalität des Szenarios in Abhängigkeit eines vordefinier ten Kriteriums in Bezug auf das Fahrerassistenzsystem, insbesondere ein Sys temfehler oder eine Kollision oder drohende Kollision;
Festlegen oder Erhöhen (107) einer Bewertung der Kritikalität des betrachteten Eingangsparameters oder des Parameterwerts des betrachteten Eingangspara meters in Abhängigkeit der Kritikalität des Szenarios;
Vergleichen (108) der Kritikalität des Szenarios mit einem Schwellenwert; und
Verändern (109) der Kombinationen von Parameterwerten mittels eines evoluti onären Algorithmus, wobei das Verändern eine Kostenfunktion berücksichtigt, welche noch nicht berücksichtigte Wechselwirkungen und Parameterkombinati onen begünstigt, bei welchen kritische Szenarien zu erwarten sind, wobei die Subroutine wiederholt wird, bis eine definierte Abdeckung in Bezug auf den Pa rameterraum des betrachteten Eingangsparameters erreicht wird.
8. Verfahren nach Anspruch 7, wobei das Variieren mittels Kreuzen und/oder Mu tation ausgeführt wird, wobei Parameterwerte eines Teils der Parameter durch Parameterwerte eines anderen Szenarios ersetzt werden oder ein Parameter wert wenigstens eines Parameters durch einen neuen Wert ersetzt wird.
9. Verfahren (100) nach einem der vorhergehenden Ansprüche, wobei Parameter des Szenarios (3), je nach Art des zu testenden Fahrerassistenzsystems (2), aus der folgenden Gruppe ausgewählt sind:
Geschwindigkeit, insbesondere eine initiale Geschwindigkeit, eines Verkehrsteil nehmers; eine Bewegungsrichtung, insbesondere eine Trajektorie, eines Ver kehrsteilnehmers; Lichtverhältnisse; Witterung; Fahrbahnbeschaffenheit; Tem peratur; Anzahl und Position statischer und/oder dynamischer Objekte; Zustand und Erscheinen statischer und/oder dynamischer Objekte; eine Geschwindigkeit und eine Bewegungsrichtung, insbesondere eine Trajektorie, der dynamischen Objekte; Zustand von Signalanlagen, insbesondere Lichtsignalanlagen; Ver kehrszeichen; Anzahl der Fahrspuren; Beschleunigung oder Bremsverzögerung von Verkehrsteilnehmern oder Objekten; Verschmutzungs- und/oder Alterungs erscheinungen der Fahrbahn, geographische Ausrichtung der Verkehrssituation.
10. Computerprogramm, das Anweisungen umfasst, welche, wenn sie von einem Computer ausgeführt werden, diesen dazu veranlassen, die Schritte eines Ver fahrens gemäß einem der Ansprüche 1 bis 9 auszuführen.
11. Computer-lesbares Medium, auf dem ein Computerprogramm nach Anspruch 10 gespeichert ist.
12. System (10) zum Testen eines Fahrerassistenzsystems (2) eines Fahrzeugs (1) in einer simulierten Umgebung (3), aufweisend:
Speichermittel (11) zum Bereitstellen eines Szenarienmodells, welches Ein gangsparameter, welche zur Definition eines bestimmten Szenarios notwendig sind, und deren jeweilige Beziehung zu den anderen Parametern des Szenarienmodells angibt und welches jene der Eingangsparameter, die zum An passen des bestimmten Szenarios veränderbar sind, und deren mögliche Para meterwerte angibt;
Mittel (11 ) zum Auswahlen von Kombinationen von Parameterwerten, welche jeweils ein Szenario charakterisieren, auf der Grundlage des Szenarienmodells mittels eines Algorithmus zum kombinatorischem Testen, wobei beim Auswahlen der Kombinationen für einen betrachteten Eingangsparameter ausschließlich Wechselwirkungen mit einer vordefinierten maximalen Anzahl an anderen Ein gangsparametern berücksichtigt werden;
Mittel (12) zum Erzeugen einer simulierten Umgebung (3) auf der Grundlage der ausgewählten Kombinationen von Parameterwerten;
Mittel (13) zum Betreiben eines zu testenden Fahrerassistenzsystems (2) in der simulierten Umgebung (3) gemäß dem jeweiligen Scenario; und
Mittel (14) zum Erfassen eines Fahrverhaltens des wenigstens einen zu testen den Fahrerassistenzsystems (2) in der simulierten Umgebung (3).
PCT/AT2022/060183 2021-06-02 2022-06-01 Verfahren und system zum testen eines fahrerassistenzsystems für ein fahrzeug WO2022251890A1 (de)

Priority Applications (2)

Application Number Priority Date Filing Date Title
DE112022001411.3T DE112022001411A5 (de) 2021-06-02 2022-06-01 Verfahren und System zum Testen eines Fahrerassistenzsystems für ein Fahrzeug
CN202280037709.1A CN117413257A (zh) 2021-06-02 2022-06-01 用于测试车辆用司机辅助系统的方法和系统

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
ATA50449/2021 2021-06-02
ATA50449/2021A AT524932B1 (de) 2021-06-02 2021-06-02 Verfahren und System zum Testen eines Fahrerassistenzsystems für ein Fahrzeug

Publications (1)

Publication Number Publication Date
WO2022251890A1 true WO2022251890A1 (de) 2022-12-08

Family

ID=82258487

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/AT2022/060183 WO2022251890A1 (de) 2021-06-02 2022-06-01 Verfahren und system zum testen eines fahrerassistenzsystems für ein fahrzeug

Country Status (4)

Country Link
CN (1) CN117413257A (de)
AT (1) AT524932B1 (de)
DE (1) DE112022001411A5 (de)
WO (1) WO2022251890A1 (de)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116597690A (zh) * 2023-07-18 2023-08-15 山东高速信息集团有限公司 智能网联汽车的高速公路测试场景生成方法、设备及介质

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102018128890A1 (de) * 2018-11-16 2020-05-20 Bayerische Motoren Werke Aktiengesellschaft Verfahren und Testvorrichtung zum Testen eines Fahrassistenzsystems für ein Kraftfahrzeug
DE102019209538A1 (de) * 2019-06-28 2020-12-31 Robert Bosch Gmbh Verfahren und Vorrichtung zum Prüfen eines Systems, zur Auswahl realer Tests und zum Testen von Systemen mit Komponenten maschinellen Lernens
DE102019124018A1 (de) * 2019-09-06 2021-03-11 Iav Gmbh Ingenieurgesellschaft Auto Und Verkehr Verfahren zum Optimieren von Tests von Regelsystemen für automatisierte Fahrdynamiksysteme
DE102019126195A1 (de) * 2019-09-27 2021-04-01 Bayerische Motoren Werke Aktiengesellschaft Verfahren zur effizienten, simulativen Applikation automatisierter Fahrfunktionen

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
D. R. KUHN ET AL.: "Practical Combinatorial Testing", NIST SPECIAL PUBLICATION
FELBINGER HERMANN ET AL: "Comparing two systematic approaches for testing automated driving functions", 2019 IEEE INTERNATIONAL CONFERENCE ON CONNECTED VEHICLES AND EXPO (ICCVE), IEEE, 4 November 2019 (2019-11-04), pages 1 - 6, XP033692838, DOI: 10.1109/ICCVE45908.2019.8965209 *
RIEDMAIER STEFAN ET AL: "Survey on Scenario-Based Safety Assessment of Automated Vehicles", IEEE ACCESS, IEEE, USA, vol. 8, 8 May 2020 (2020-05-08), pages 87456 - 87477, XP011789435, DOI: 10.1109/ACCESS.2020.2993730 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116597690A (zh) * 2023-07-18 2023-08-15 山东高速信息集团有限公司 智能网联汽车的高速公路测试场景生成方法、设备及介质
CN116597690B (zh) * 2023-07-18 2023-10-20 山东高速信息集团有限公司 智能网联汽车的高速公路测试场景生成方法、设备及介质

Also Published As

Publication number Publication date
AT524932B1 (de) 2022-11-15
AT524932A4 (de) 2022-11-15
CN117413257A (zh) 2024-01-16
DE112022001411A5 (de) 2024-01-18

Similar Documents

Publication Publication Date Title
AT521607B1 (de) Verfahren und Vorrichtung zum Testen eines Fahrerassistenzsystem
DE102018128289B4 (de) Verfahren und vorrichtung für eine autonome systemleistung und zur einstufung
EP3543985A1 (de) Simulieren verschiedener verkehrssituationen für ein testfahrzeug
DE102007053501A1 (de) Verfahren zur Entwicklung und/oder zum Testen wenigstens eines Sicherheits- und/oder Fahrerassistenzsystems für ein Kraftfahrzeug und Simulationsumgebung
DE102005002760A1 (de) Vorrichtung und Verfahren zur Unfallvermeidung bei Kraftfahrzeugen
DE102016007899B4 (de) Verfahren zum Betreiben einer Einrichtung zur Verkehrssituationsanalyse, Kraftfahrzeug und Datenverarbeitungseinrichtung
DE102019103106A1 (de) Steuerungssystem und Steuerungsverfahren zur interaktionsbasierten Langzeitbestimmung von Trajektorien für Kraftfahrzeuge
AT523834B1 (de) Verfahren und System zum Testen eines Fahrerassistenzsystems
AT524822B1 (de) Verfahren zum Testen eines Fahrerassistenzsystems eines Fahrzeugs
DE102013019027A1 (de) Verfahren zum Betrieb eines Sicherheitssystems eines Kraftfahrzeugs und Kraftfahrzeug
WO2022077042A1 (de) Verfahren und ein system zum testen eines fahrerassistenzsystems für ein fahrzeug
WO2022251890A1 (de) Verfahren und system zum testen eines fahrerassistenzsystems für ein fahrzeug
EP3947075B1 (de) Fahrsystem und verfahren zum auswählen einer handlungsoption für ein automatisiertes kraftfahrzeug
EP3622451A1 (de) Produktreifebestimmung eines technischen systems und insbesondere eines autonom fahrenden fahrzeugs
DE102020214596A1 (de) Verfahren zum Erzeugen von Trainingsdaten für ein Erkennungsmodell zum Erkennen von Objekten in Sensordaten einer Umfeldsensorik eines Fahrzeugs, Verfahren zum Erzeugen eines solchen Erkennungsmodells und Verfahren zum Ansteuern einer Aktorik eines Fahrzeugs
DE102017208692A1 (de) Verfahren zum Bereitstellen von Trainingsdaten für eine Funktionsprüfung einer Erkennungseinrichtung sowie Datenbanksystem
DE102022102501B3 (de) Verfahren, System und Computerprogrammprodukt zur Ermittlung einer Bewertung über die Funktionsfähigkeit einer Komponente eines Kraftfahrzeugs
DE102019101613A1 (de) Simulieren verschiedener Verkehrssituationen für ein Testfahrzeug
DE102019212829A1 (de) Automatisierte Erkennung eines anormalen Verhaltens eines Verkehrsteilnehmers
WO2022183227A1 (de) Verfahren und system zum erzeugen von szenariendaten zum testen eines fahrerassistenzsystems eines fahrzeugs
WO2022184363A1 (de) Computerimplementiertes verfahren zum trainieren wenigstens eines algorithmus für eine steuereinheit eines kraftfahrzeugs, computerprogrammprodukt, steuereinheit sowie kraftfahrzeug
DE102022107338B3 (de) Verfahren zum Testen von automatisierten Fahrzeugfunktionen
DE102022132922A1 (de) Verfahren und System zur virtuellen Verifikation von automatisierten Fahrfunktionen
DE102021214095A1 (de) Verfahren und System zum Erkennen von kritischen Verkehrsszenarien und/oder Verkehrssituationen
WO2023046414A1 (de) Computerimplementiertes verfahren zum automatisierten testen und freigeben von funktionen eines fahrzeugs

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22734088

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 112022001411

Country of ref document: DE

WWE Wipo information: entry into national phase

Ref document number: 202280037709.1

Country of ref document: CN

REG Reference to national code

Ref country code: DE

Ref legal event code: R225

Ref document number: 112022001411

Country of ref document: DE

122 Ep: pct application non-entry in european phase

Ref document number: 22734088

Country of ref document: EP

Kind code of ref document: A1