WO2022028934A2 - Computerimplementiertes verfahren zur terminierung eines szenario-basierten testprozesses eines fahrassistenzsystems - Google Patents

Computerimplementiertes verfahren zur terminierung eines szenario-basierten testprozesses eines fahrassistenzsystems Download PDF

Info

Publication number
WO2022028934A2
WO2022028934A2 PCT/EP2021/070809 EP2021070809W WO2022028934A2 WO 2022028934 A2 WO2022028934 A2 WO 2022028934A2 EP 2021070809 W EP2021070809 W EP 2021070809W WO 2022028934 A2 WO2022028934 A2 WO 2022028934A2
Authority
WO
WIPO (PCT)
Prior art keywords
distance
test
critical
test cases
cycle
Prior art date
Application number
PCT/EP2021/070809
Other languages
English (en)
French (fr)
Inventor
Sebastian BANNENBERG
Rainer Rasche
Konstantin SONNTAG
Peitz SEBASTIAN
Original Assignee
Dspace Gmbh
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dspace Gmbh filed Critical Dspace Gmbh
Priority to CN202180046192.8A priority Critical patent/CN115735197A/zh
Priority to EP21749586.0A priority patent/EP4028890A2/de
Priority to US18/004,071 priority patent/US20240010210A1/en
Publication of WO2022028934A2 publication Critical patent/WO2022028934A2/de

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/02—Ensuring safety in case of control system failures, e.g. by diagnosing, circumventing or fixing failures
    • B60W50/0225—Failure correction strategy
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/36—Preventing errors by testing or debugging software
    • G06F11/3668—Software testing
    • G06F11/3672—Test management
    • G06F11/3688—Test management for test execution, e.g. scheduling of test suites
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/02—Ensuring safety in case of control system failures, e.g. by diagnosing, circumventing or fixing failures
    • B60W50/0205—Diagnosing or detecting failures; Failure detection models
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/02—Ensuring safety in case of control system failures, e.g. by diagnosing, circumventing or fixing failures
    • B60W50/023—Avoiding failures by using redundant parts

Definitions

  • the invention relates to a computer-implemented method for terminating a scenario-based test process of a driver assistance system according to the preamble of patent claim 1.
  • Driving assistance systems such as an adaptive cruise control and/or functions for highly automated driving can be verified or validated using various verification methods.
  • hardware-in-the-loop methods software-in-the-loop methods, simulations and/or test drives can be used.
  • DE 10 2017 200 180 A1 specifies a method for verifying and/or validating a vehicle function, which is provided for driving a vehicle autonomously in the longitudinal and/or transverse direction.
  • the method includes determining, on the basis of environmental data relating to an area surrounding the vehicle, a test control instruction to an actuator of the vehicle in order to implement a vehicle function, the test control instruction not being implemented by the actuator.
  • the method also includes simulating, on the basis of environment data and using a road user model with respect to at least one road user in the area surrounding the vehicle, a fictitious traffic situation that would exist if the test control instruction had been implemented.
  • the method also includes providing test data relating to the fictitious traffic situation. In this case, the vehicle function is operated passively in the vehicle in order to determine the test control instruction.
  • a disadvantage of this method is that verification and/or validation of the vehicle function requires actual operation of the vehicle to determine the required data.
  • the object is achieved according to the invention by a computer-implemented method for terminating a scenario-based test process of a driver assistance system according to patent claim 1, a computer program according to patent claim 14 and a computer-readable storage medium according to patent claim 15.
  • the invention relates to a method for terminating a scenario-based test process of a driver assistance system, critical test cases being indicated by parameter combinations leading to critical driving situations, for example a vehicle collision or a near-vehicle collision, of specific driving situation parameters spanning a metric parameter space.
  • the method also includes a cyclic test process that includes the determination of critical test cases and uses a distance metric for termination, ie as a condition for terminating the cycle.
  • the method includes the following steps: after each iteration n of the cycle, at least one test of the driver assistance system is carried out and a number of critical test cases are determined, • Based on this, a distance in the parameter space between a first set of critical test cases in iteration n and a second set of critical test cases from iteration n-1 or a previously defined set of critical test cases is determined and
  • the cycle of the testing process is terminated or continued such that the testing process is cyclically repeated.
  • scenarios are defined which can be described as an abstraction of a traffic situation.
  • a logical scenario here is the abstraction of a traffic situation with the road, driving behavior and the surrounding traffic without concrete parameter values.
  • the logical scenario becomes a concrete scenario.
  • Such a concrete scenario corresponds to an individual traffic situation.
  • the cut-in scenario can be described as a traffic situation in which a highly automated or autonomous vehicle drives in a specified lane and another vehicle moves from another lane into the lane of the ego vehicle at a reduced speed compared to the ego vehicle certain distance.
  • the ego vehicle refers here to the vehicle to be tested.
  • a parameter set of a scenario can consist of scenery parameters and driving situation parameters, with all parameters having a predefined definition range.
  • driving situation parameters can be determined by the number and type of road users. Driving situation parameters thus reflect moving objects in the scenario, such as the number of road users, type of road users, number of lane changes and/or maneuvers carried out by the road users.
  • the procedural test process includes an extended replacement model creation process in order to be able to efficiently specify an approximation of the described scenario.
  • the extended replacement model creation process in order to be able to efficiently specify an approximation of the described scenario.
  • Substitute modeling process includes a cycle of at least a design phase, a modeling phase and a test phase including the determination of critical test cases.
  • a distance metric is determined after each cycle.
  • the definition of a predetermined limit or threshold value controls the termination of the substitute model formation, that is to say of the cycle.
  • surrogate models can be employed to speed up the testing process, as indicated by the method of the present invention.
  • Surrogate models are simplified mathematical functions that predict the rating of a simulated test drive for at least a given set of parameters. As a rule, fewer simulations are required to create a substitute model than to identify critical test cases using other methods. If no simulations are then carried out when identifying critical test cases, but the Using surrogate model predictions saves time in the testing process.
  • the method according to the invention first runs through a design phase and a modeling phase for the formation of the replacement model.
  • the substitute modeling method is determined by a design and a modeling method.
  • the set S Q X of points from the domain for which evaluations are carried out is called the design.
  • the elements x e S are design points.
  • the f(s) e Y values are the associated evaluations of the computer model.
  • the term computer model is used because the functions studied in surrogate modeling cannot be written as a simple formula and a computer is required to efficiently determine an output.
  • the evaluation of computer models is also referred to as simulation.
  • a design can be created either sequentially or non-sequentially.
  • the design points are chosen in one step.
  • a design is sequential if the design points are chosen one after the other. Only one or more new design points can be selected in each step.
  • Sequential methods require a non-sequential starting design. This serves as a starting point for selecting new design points.
  • termination conditions can be formulated so that not too many design points are evaluated. Since computer models, i.e. simulations, have long evaluation times, this is an advantage. If no more evaluations are carried out than necessary, this accelerates the creation of substitute models. In addition, the step width between the steps or iterations of the selection of new design points can be varied.
  • Voronoi design An example of a design process is the Voronoi design. It is a sequential design and requires a starting design to gain new points Select. It is a sequential, space-filling design, so areas need to be identified where few dots are distributed. A description of these areas follows with the eponymous Voronoi diagram.
  • a Voronoi diagram is a decomposition of space into regions that are determined by a given set of points in space, referred to here as centers. Each region is determined by exactly one center and includes all points in space that are closer to the center of the region than to any other center in terms of the Euclidean metric.
  • Voronoi design An extension of the Voronoi design is the LOLA-Voronoi design.
  • the LOLA-Voronoi theme is sequential and requires a starting theme.
  • the design uses two evaluations of the previous design points to identify areas where new design points are chosen. One rating for exploration and one rating for exploitation.
  • the LOI_A algorithm is used for the exploitation.
  • LOLA stands for local linear approximation.
  • the LOLA algorithm selects new design points at points where the system deviates the most from a locally linear approximation.
  • Modeling processes form a substitute model from an existing design and the associated evaluations of the computer model/simulation.
  • An example method of modeling is the radial basis function.
  • the substitute model consists of a linear combination of basis functions. If the design has n points with evaluations / simulations, the linear combination consists of n basis functions. Radial basis functions are often used to model computer models.
  • test results can be approximated and, in particular, critical test cases can also be determined.
  • a termination condition is necessary to terminate the cyclical test process consisting of a design phase, a modeling phase and a test phase, including the determination of critical test cases, as efficiently as possible.
  • a big advantage of sequential designs is the possibility to formulate termination conditions.
  • the Hausdorff distance of the sets of critical test cases as a distance metric can be used as a termination condition.
  • critical test cases are determined by parameter combinations of specific, one metric parameter space leading to critical driving situations, for example a vehicle collision or a near vehicle collision spanning driving situation parameters specified. It is therefore relevant to identify exactly these parameter combinations and to integrate them into the formation of a substitute model.
  • the Hausdorff distance is used to determine a distance in the parameter space between a first set of critical test cases in iteration n and a second set of critical test cases from iteration n-1 or a previously defined set of critical test cases and based on the difference in the distance in metric space between the first set and the second set and a predetermined limit, the cycle of the testing process is terminated or continued.
  • a better surrogate model is formed as the number of design points increases, so that critical test cases can be better approximated with the surrogate model. If the Hausdorff distance between the set of critical test cases in the current iteration and the set of critical test cases from the previous iteration is small, there are enough design points and a good approximation of critical test cases is still achieved.
  • a better quality of the substitute model can thus be determined over a number of cycles with a consistently small distance metric such as in particular the Hausdorff distance between the considered sets of critical test cases.
  • Various evaluation functions of highly automated vehicles can be used as a basis for the approximation of critical test cases.
  • the method also includes that the evaluation function is a safety objective function which has a numerical value which has a minimum value at a distance between the motor vehicle and the other motor vehicle of >FELLOW X 0.55 a collision between the motor vehicle and the further motor vehicle has a maximum value, and at a distance between the motor vehicle and the further motor vehicle of ⁇ FELLOW X 0.55 has a numerical value which is greater than the minimum value.
  • the evaluation function is a safety objective function which has a numerical value which has a minimum value at a distance between the motor vehicle and the other motor vehicle of >FELLOW X 0.55 a collision between the motor vehicle and the further motor vehicle has a maximum value, and at a distance between the motor vehicle and the further motor vehicle of ⁇ FELLOW X 0.55 has a numerical value which is greater than the minimum value.
  • the safety objective function indicates how safe the traffic situation is for the ego vehicle. It is specified as follows: If the distance between the ego vehicle and the fellow vehicle is always greater than or equal to the safety distance, the function value of the safety objective function is 0.
  • the safety distance can be defined as a distance at which, depending on a speed difference between the ego vehicle and the fellow vehicle and the distance between the ego vehicle and the fellow vehicle, the ego vehicle can always be braked safely without a collision occurring the Fellow vehicle is possible.
  • Such a distance is defined in the present example by a value in meters which corresponds to the speed VFELLOW X 0.55.
  • the objective function value approaches the value 1 more and more. Consequently, if there is a collision of the ego vehicle and the fellow vehicle, the distance between the ego vehicle and the fellow vehicle is less than or equal to zero and the objective function value is 1.
  • the method according to the invention also has that the evaluation function is a comfort target function or an energy consumption target function which has a numerical value which has a minimum value in the case of no change in the acceleration of the motor vehicle in the event of a collision between the motor vehicle and the further motor vehicle has a maximum value, and when the acceleration of the motor vehicle changes depending on the amount of change in the acceleration, has a numerical value between the minimum value and the maximum value.
  • the evaluation function is a comfort target function or an energy consumption target function which has a numerical value which has a minimum value in the case of no change in the acceleration of the motor vehicle in the event of a collision between the motor vehicle and the further motor vehicle has a maximum value, and when the acceleration of the motor vehicle changes depending on the amount of change in the acceleration, has a numerical value between the minimum value and the maximum value.
  • the changes in acceleration are called jerks.
  • the driving situation is all the more comfortable the smaller the calculated value of the comfort target function is.
  • the fuel consumption in the event of a collision between the ego vehicle and the fellow vehicle is 1, i.e. the fuel consumption is set to a specified maximum value.
  • the reason for this is that the tank filling of a vehicle can no longer be used in the event of an accident.
  • the object of the invention is to specify a method that develops the prior art.
  • FIG. 1 shows a schematic view of different traffic scenarios with different driving maneuvers of an ego vehicle and a varying number of Fellow vehicles
  • Figure 2 is a schematic view showing a boundary between critical and non-critical test results
  • FIG. 3 shows a Voronoi diagram as an example of a design method
  • Figure 4 schematically the determination of a Hausdorff distance
  • FIG. 5 schematic view of the previous test method using a substitute model
  • FIG. 6 shows a schematic view of the test method according to the invention using a substitute model
  • FIG. 7 shows a schematic representation of a course of Hausdorff distances over a number of evaluations/simulations
  • FIG. 1 shows a schematic representation for distinguishing between scenarios (Si to S n ) according to the invention.
  • the scenarios Si and S2 can be completely different in relation to the subset of their parameter set, have overlapping parameters or also be the same in relation to the subset of their respective parameter set.
  • critical test cases are performed by parameter combinations of specific, one metric leading to critical driving situations, for example a vehicle collision or a near vehicle collision Parameter space spanning driving situation parameters specified. Therefore, these parameter combinations must be identified in a scenario.
  • FIG. 1 A scenario is shown on the left-hand side of FIG. 1, which shows a turning maneuver and has an Ego vehicle and four Fellow vehicles. The same intersection area is shown on the right-hand side of FIG. 1, but without a turning maneuver with only one ego vehicle.
  • FIG. 1 Various scenarios are shown in FIG. 1, which allow different combinations of parameters and also allow different critical test cases.
  • FIG. 2 shows the cut-in scenario using the driving situation parameters EGO, i.e. a speed of the ego vehicle, and on the vertical axis VFELLOW, i.e. the speed of the fellow vehicle driving ahead.
  • EGO driving situation parameters
  • VFELLOW vertical axis
  • the function shown in FIG. 2 forms the boundary between critical and non-critical test results (Crit_TF).
  • the points shown are approximate test results. Alternatively, the points shown can be simulated test results, for example.
  • the evaluation function (BF) shown is the safety target function, which has a numerical value that has a minimum value at a safety distance between the motor vehicle and the other motor vehicle of >VFELLOW ⁇ 0.55 in the event of a collision between the motor vehicle and the further motor vehicle has a maximum value, and with a safety distance between the motor vehicle and the further motor vehicle of ⁇ VFELLOW X 0.55 has a numerical value which is greater than the minimum value.
  • a comfort target function or an efficiency target function can be approximated, for example, which has a numerical value that has a minimum value if there is no change in the acceleration of the motor vehicle and a maximum value in the event of a collision between the motor vehicle and the other motor vehicle has, and with a change in the acceleration of the Motor vehicle depending on the amount of change in acceleration has a numerical value between the minimum value and the maximum value.
  • a Voronoi diagram is shown in FIG. 3 as an example of a design method in the design phase (D).
  • D design phase
  • the corresponding Voronoi cell is drawn around each of the points. Cells are smaller in areas with multiple design points. In the figure this is visible in the middle of the definition area.
  • the sequential Voronoi design consists of three steps:
  • the sizes of the cells are approximated in relation to the size of the domain in order to save time and computing effort. For this purpose, a number of random points in the domain of definition are chosen. For each randomly selected point, the design point that is closest is determined.
  • Each design point is assigned the number of random points that are closest to the design point.
  • the size of a Voronoi cell associated with a design point is equal to the number of random points closest to the design point divided by the total number of random points chosen.
  • FIG. 4 shows a schematic representation of a determination of a Hausdorff distance as an example of a distance metric (AM) between two sets.
  • the Hausdorff distance between sets of critical test cases (Crit_TF) as a distance metric (AM) can be used according to the invention as a termination condition.
  • a distance in the parameter space between a first set of critical test cases (Krit_TF, tn) in iteration n and a second set of critical test cases (Krit_TF, tn-1) from iteration n-1 or a previously defined set becomes more critical Test cases (Krit_TF) are determined and the cycle (Z) of the test process (TP) is terminated or continued on the basis of the difference in the distance in metric space between the first set and the second set and a previously defined limit.
  • Figure 4 shows how the Hausdorff distance of two sets results.
  • the figure shows two compact subsets B and A.
  • the point a e A is marked, whose distance B(a,B) to the set B is maximum.
  • the distance is marked with a black line.
  • B is marked with maximum distance B(4,ö).
  • FIG. 5 shows a schematic view of the previous test method using an equivalent model (EM).
  • the substitute modeling process (EBV) consists of a design phase (D) and a modeling phase (M).
  • D design phase
  • M modeling phase
  • a cycle between the design (D) and modeling phase (M) can be run through 1 to n times, depending on the methods used or termination criteria.
  • the test process can start using the substitute model.
  • tests are carried out and evaluated in the course of identifying critical test cases (Krit_TF).
  • Krit_TF critical test cases
  • FIG. 6 shows the computer-implemented method according to the invention.
  • an equivalent model (EM) is created using a method (EBMV) including a design phase (D) and a modeling phase (M).
  • the replacement model creation method (EBV) also includes the test process (TP).
  • a termination is based on a distance metric (AM) such as the Hausdoff distance, in the parameter space between a first set of critical test cases (Krit_TF, tn) in iteration n and a second set of critical test cases (Krit_TF, tn-1) from iteration n-1 or a previously defined set of critical test cases (Krit_TF).
  • AM distance metric
  • Z new cycle n + 1 is started with the design phase (D).
  • FIG. 7 shows a schematic representation of a course of distance metrics (AM) using the example of the Hausdorff distance over a number of evaluations/simulations.
  • the Hausdorff distances are shown in the vertical axis in FIG.
  • a sequential design is preferably used in the design phase (D), such as for example LOLA-Voronoi.
  • the design process uses a starting design and determines new design points in each iteration. After each iteration, the scenario used is simulated and the respective evaluation function (BF) is evaluated, for example a safety target function.
  • BF evaluation function
  • a termination (Ter) or termination condition is based on the Hausdorff distance of critical test cases (Crit_TF). With this, a sequential replacement model creation method (EBV) will terminate if no or only minor changes in the approximation of critical test cases (Crit_TF) take place in a step.
  • EBV sequential replacement model creation method
  • the Hausdorff distances of two successive approximations of the critical test cases (Crit_TF) are considered. This is not yet possible in the first run and new points are added to the design with the sequential design. With the second iteration, the pairwise comparison of the Hausdorff distances between the approximations of the critical test cases (Crit_TF) can be determined.
  • FIG. 7 shows the development of the Hausdorff distances between the iterations. If this value of the respective Hausdorff distance is smaller than a previously specified limit, the termination (Ter) or termination condition is met. Otherwise, new design points are chosen in the design phase (D) and the process is repeated until termination (Ter).

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Quality & Reliability (AREA)
  • Computer Hardware Design (AREA)
  • Traffic Control Systems (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Description

Computerimplementiertes Verfahren zur
Terminierung eines szenario-basierten Testprozesses eines Fahrassistenzsystems
Die Erfindung betrifft ein computerimplementiertes Verfahren zur Terminierung eines szenario-basierten Testprozesses eines Fahrassistenzsystems gemäß dem Oberbegriff des Patentanspruchs 1.
Fahrassistenzsysteme wie z.B. ein adaptiver Geschwindigkeitsregler und/oder Funktionen für das hochautomatisierte Fahren können mithilfe diverser Überprüfungsmethoden verifiziert bzw. validiert werden. Dabei können insbesondere Hardware-in-the-Loop Verfahren, Software-in-the-Loop Verfahren, Simulationen und/oder Testfahrten verwendet werden.
Der Aufwand, insbesondere der Zeit- und/oder Kostenaufwand, zum Testen derartiger Fahrzeugfunktionen unter Verwendung der oben genannten Überprüfungsmethoden ist dabei typischerweise sehr hoch, da eine große Anzahl potenziell möglicher Fahrsituationen getestet werden muss.
Dies kann insbesondere zu einem hohen Aufwand für Testfahrten als auch für Simulationen führen. DE 10 2017 200 180 Al gibt ein Verfahren zur Verifizierung und/oder Validierung einer Fahrzeugfunktion an, welche dafür vorgesehen ist, ein Fahrzeug in Längs- und/oder Querrichtung autonom zu führen.
Das Verfahren umfasst ein Ermitteln, auf Basis von Umfelddaten bezüglich eines Umfelds des Fahrzeugs, einer Test-Steueranweisung an einen Aktuator des Fahrzeugs, um eine Fahrzeugfunktion umzusetzen, wobei die Test- Steueranweisung nicht durch den Aktuator umgesetzt wird.
Das Verfahren umfasst des Weiteren ein Simulieren, auf Basis von Umfelddaten und unter Verwendung eines Verkehrsteilnehmer-Modells bezüglich zumindest eines Verkehrsteilnehmers im Umfeld des Fahrzeugs, einer fiktiven Verkehrssituation, die vorliegen würde, wenn die Test- Steueranweisung umgesetzt worden wäre. Das Verfahren umfasst ferner ein Bereitstellen von Testdaten in Bezug auf die fiktive Verkehrssituation. Die Fahrzeugfunktion wird hierbei zum Ermitteln der Test-Steueranweisung passiv im Fahrzeug betrieben.
Nachteilhaft an diesem Verfahren ist, dass zur Verifizierung und/oder Validierung der Fahrzeugfunktion ein tatsächlicher Betrieb des Fahrzeugs zum Ermitteln der benötigten Daten erforderlich ist.
Demzufolge besteht ein Bedarf, bestehende Verfahren und Testeinrichtungen dahingehend zu verbessern, dass sogenannte kritische Testfälle für Systeme und System komponenten im hochautomatisierten Fahren in effizienter Weise ermittelt werden können und darauf aufbauend effiziente Testverfahren angegeben werden können.
Die Aufgabe wird erfindungsgemäß gelöst durch ein computerimplementiertes Verfahren zur Terminierung eines szenariobasierten Testprozesses eines Fahrassistenzsystems nach Patentanspruch 1, ein Computerprogramm nach Patentanspruch 14 und einen computerlesbares Speichermedium nach Patentanspruch 15.
Die Erfindung betrifft ein Verfahren zur Terminierung eines szenariobasierten Testprozesses eines Fahrassistenzsystems, wobei kritische Testfälle durch zu kritischen Fahrsituationen, beispielsweise einer Fahrzeugkollision oder einer Beinahe-Fahrzeugkollision, führenden Parameterkombinationen von spezifischen, einen metrischen Parameterraum aufspannenden Fahrsituationsparametern angegeben werden. Das Verfahren umfasst des Weiteren einen zyklischen Testprozess, der die Bestimmung kritischer Testfälle beinhaltet und zur Terminierung, also als Abbruchbedingung des Zyklus, eine Abstandsmetrik verwendet. Das Verfahren beinhaltet folgende Schritte: nach jeder Iteration n des Zyklus wird zumindest ein Test des Fahrerassistenzsystems durchgeführt und eine Menge kritischer Testfälle bestimmt, • darauf aufbauend wird ein Abstand im Parameterraum zwischen einer ersten Menge der kritischen Testfälle in der Iteration n und einer zweiten Menge der kritischen Testfälle aus der Iteration n-1 oder einer zuvor definierten Menge kritischer Testfälle ermittelt und
• auf Basis der Differenz des Abstands im metrischen Raum zwischen der ersten Menge und der zweiten Menge und einer zuvor festgelegten Grenze wird der Zyklus des Testprozesses terminiert oder fortgeführt, so dass der Testprozess zyklisch wiederholt wird.
Beim Szenario-basierten Testen von Systemen und Systemkomponenten zur autonomen Führung eines Kraftfahrzeugs werden Szenarien definiert, welche als Abstraktion einer Verkehrssituation bezeichnet werden können. Ein logisches Szenario ist hierbei die Abstraktion einer Verkehrssituation mit der Straße, dem Fahrverhalten und dem umliegenden Verkehr ohne konkrete Parameterwerte.
Durch die Wahl konkreter Parameterwerte wird aus dem logischen Szenario ein konkretes Szenario. Ein solches konkretes Szenario entspricht einer jeweils einzelnen Verkehrssituation.
Eine solche Verkehrssituation bzw. ein solches Szenario ist das Cut-In- Szenario. Das Cut-In-Szenario kann als Verkehrssituation bezeichnet werden, bei welcher ein hochautomatisiertes bzw. autonomes Fahrzeug in einer vorgegebenen Fahrspur fährt und ein anderes Fahrzeug mit gegenüber dem Ego-Fahrzeug verringerter Geschwindigkeit von einer weiteren Fahrspur in die Fahrspur des Ego-Fahrzeugs in einem bestimmten Abstand einschert. Das Ego-Fahrzeug bezeichnet hier das zu testende Fahrzeug.
Die Geschwindigkeiten des Ego-Fahrzeugs und des weiteren Fahrzeugs, welches auch als Fellow-Fahrzeug bezeichnet wird, sind dabei anfangs konstant. Da die Geschwindigkeit des Ego-Fahrzeugs höher ist als die des Fellows, muss das Ego-Fahrzeug abgebremst werden, um eine Kollision der beiden Fahrzeuge zu vermeiden. Ein Parametersatz eines Szenario kann dabei aus Szenerie-Parametern und Fahrsituationsparametern bestehen, wobei alle Parameter einen vorgegebenen Definitionsbereich aufweisen.
Im Sinne der Szenerie-Parameter können zum Beispiel Straße mit verschiedenen Fahrspurmarkierungen, verschiedene Landschaften, Kreuzungen, Kurven und Straßenbeschränkungen eine Herausforderung sein. Darüber hinaus können Fahrsituationsparameter durch die Anzahl und Art der Verkehrsteilnehmer bestimmt werden. Fahrsituationsparameter spiegeln damit bewegliche Objekte im Szenario wider, wie die Anzahl der Verkehrsteilnehmer, Art der Verkehrsteilnehmer, Anzahl Spurwechsel und / oder durchgeführte Manöver der Verkehrsteilnehmer.
Der verfahrensgemäße Testprozess beinhaltet ein erweitertes Ersatzmodellbildungsverfahren, um eine Approximation des beschriebenen Szenarios effizient angeben zu können. Das erweiterte
Ersatzmodellbildungsverfahren umfasst einen Zyklus aus zumindest einer Designphase, einer Modellbildungsphase und Testphase inklusive der Bestimmung kritischer Testfälle. Nach jedem Zyklus wird erfindungsgemäß eine Abstandmetrik bestimmt. Durch die Definition einer vorgegebenen Grenze oder Schwellwert wird somit erfindungsgemäß eine Terminierung der Ersatzmodellbildung, also des Zyklus, gesteuert.
Durch die hohe Anzahl an Simulationsauswertungen ist die Identifikation kritischer Testfälle in anderen Verfahren zeitaufwändig. An dieser Stelle können Ersatzmodelle eingesetzt werden, um den Testprozess zu beschleunigen, wie von dem erfindungsgemäßen Verfahren angegeben. Ersatzmodelle sind vereinfachte mathematische Funktionen, die die Bewertung einer simulierten Testfahrt für zumindest einen gegebenen Parametersatz Vorhersagen. Für die Erstellung eines Ersatzmodells werden in der Regel weniger Simulationen benötigt als für die Identifikation kritischer Testfälle durch andere Verfahren. Werden im Anschluss bei der Identifikation kritischer Testfälle keine Simulationen durchgeführt, sondern die Vorhersagen des Ersatzmodells verwendet, wird Zeit im Testprozess eingespart.
Das erfindungsgemäße Verfahren durchläuft zunächst für die Bildung des Ersatzmodells eine Designphase und eine Modellbildungsphase. Das Ersatzmodellbildungsverfahren ist durch ein Design und ein Modellierungsverfahren bestimmt.
Die Menge S Q X der Punkte aus dem Definitionsbereich, für die Auswertungen durchgeführt werden, wird als Design bezeichnet. Die Elemente x e S sind Designpunkte. Die Werte f(s) e Y sind die zugehörigen Auswertungen des Computermodells. Es wird die Bezeichnung Computermodell verwendet, da die untersuchten Funktionen in der Ersatzmodellbildung nicht als einfache Formel geschrieben werden können und ein Computer benötigt wird, um eine Ausgabe effizient zu bestimmen. Die Auswertung von Computermodellen wird auch als Simulation bezeichnet.
Ein Design kann entweder Sequentiell oder Nicht-Sequentiell erstellt werden. In einem Nicht-Sequentiell Design werden die Designpunkte in einem Schritt gewählt. Ein Design ist sequentiell, wenn die Designpunkte nacheinander gewählt werden. Hierbei können in jedem Schritt nur ein oder mehrere neue Designpunkte gewählt werden. Sequentielle Verfahren benötigen ein Nicht- Sequentielles Startdesign. Dieses dient als Ausgangslage, um davon ausgehend neue Designpunkte zu wählen.
Bei Sequentiellen Designs können Abbruchbedingungen formuliert werden, durch die nicht zu viele Designpunkte ausgewertet werden. Da Computermodelle, also Simulationen, hohe Auswertungszeiten besitzen, stellt dies einen Vorteil da. Werden nicht mehr Auswertungen durchgeführt als notwendig, beschleunigt dies die Ersatzmodellbildung. Zudem kann die Schrittweite zwischen den Schritten bzw. Iterationen der Wahl neuer Designpunkte variiert werden.
Ein Beispiel für ein Designverfahren ist das Voronoi Design. Es ist ein Sequentielles Design und benötigt ein Startdesign, um neue Punkte zu wählen. Es ist ein Sequentielles, raumfüllendes Design, so dass Bereiche identifizieren werden müssen, in denen wenige Punkte verteilt sind. Eine Beschreibung dieser Bereiche erfolgt mit dem namensgebenden Voronoi- Diagramm. Als Voronoi-Diagramm wird eine Zerlegung des Raumes in Regionen bezeichnet, die durch eine vorgegebene Menge an Punkten des Raumes, hier als Zentren bezeichnet, bestimmt werden. Jede Region wird durch genau ein Zentrum bestimmt und umfasst alle Punkte des Raumes, die in Bezug zur euklidischen Metrik näher an dem Zentrum der Region liegen als an jedem anderen Zentrum.
Eine Erweiterung des Voronoi Design ist das LOLA-Voronoi Design. Das LOLA- Voronoi Design ist sequentiell und benötigt ein Startdesign. Das Design verwendet zwei Bewertungen der bisherigen Designpunkte, um Bereiche zu identifizieren in denen neue Designpunkte gewählt werden. Eine Bewertung für die Exploration und eine Bewertung für die Exploitation.
Die Bewertung für die Exploration wird durch das bereits erwähnte Voronoi Design realisiert.
Für die Exploitation wird der LOI_A Algorithmus verwendet. LOLA steht für local linear approximation (dt. lokale lineare Approximation). Der LOLA Algorithmus wählt an Stellen neue Designpunkte, an denen das System am stärksten von einer lokal linearen Approximation abweicht.
Im LOLA-Voronoi-Algorithmus werden intern die Umgebungen aller Punkte basierend auf den beiden genannten Kriterien, bewertet. Eine hohe Bewertung bedeutet, dass in der Umgebung entweder wenig Punkte sind oder, dass das System sich dort stark nichtlinear verhält. In diesen Bereichen werden im nächsten Schritt neue Punkte gewählt.
Neben dem hier vorgestellten Verfahren für die Designphase existieren viele weitere Verfahren, die nicht vollständig aufgeführt werden können, aber von dem erfindungsgemäßen Verfahren umfasst werden.
Modellbildungsverfahren bilden aus einem vorhandenen Design und die dazugehörigen Auswertungen des Computermodells / der Simulation ein Ersatzmodell. Ein Beispielverfahren der Modellbildung ist die radiale Basisfunktion. Bei einer Modellierung mit radialen Basisfunktionen besteht das Ersatzmodell aus einer Linearkombination von Basisfunktionen. Besitzt das Design n Punkte mit Auswertungen / Simulationen besteht die Linearkombination aus n Basisfunktionen. Radiale Basisfunktionen werden häufig zur Modellierung von Computermodellen verwendet.
Auch für die Modellbildungsphase existieren verschiedene Verfahren, die nicht vollständig aufgeführt werden können, aber von dem erfindungsgemäßen Verfahren umfasst werden.
Unter der Verwendung des Ersatzmodells lassen sich Testergebnisse approximieren und insbesondere auch kritische Testfälle bestimmen.
Beim Szenario-basierten Testen autonomer Fahrfunktionen liegt ein großes Interesse im Auffinden kritischer Testfälle. Die Simulation von virtuellen Testfahrten kann viel Zeit und Rechenleistung in Anspruch nehmen. Daraus resultiert ein großes Interesse, mit möglichst wenig durchgeführten Simulationen die kritischen Testfälle so genau wie möglich zu lokalisieren. Die erfindungsgemäße Ersatzmodellbildung kann in diesem Kontext genutzt werden.
Um den zyklischen Testprozess bestehend aus Designphase, einer Modellbildungsphase und Testphase inklusive der Bestimmung kritischer Testfälle so effizient wie möglich zu Terminieren ist eine Abbruchbedingung notwendig. Ein großer Vorteil von sequentiellen Designs ist die Möglichkeit, Abbruchbedingungen zu formulieren. Der Hausdorffabstand der Mengen von kritischen Testfällen als Abstandsmetrik kann erfindungsgemäß als Abbruchbedingung genutzt werden.
In einem szenario-basierten Testprozess eines Fahrassistenzsystems werden kritische Testfälle durch zu kritischen Fahrsituationen, beispielsweise einer Fahrzeugkollision oder einer Beinahe-Fahrzeugkollision, führenden Parameterkombinationen von spezifischen, einen metrischen Parameterraum aufspannenden Fahrsituationsparametern angegeben. Daher ist es relevant genau diese Parameterkombinationen zu identifizieren und in die Bildung eines Ersatzmodells zu integrieren.
Mit dem Hausdorffabstand wird ein Abstand im Parameterraum zwischen einer ersten Menge der kritischen Testfälle in der Iteration n und einer zweiten Menge der kritischen Testfälle aus der Iteration n-1 oder einer zuvor definierten Menge kritischer Testfälle ermittelt und auf Basis der Differenz des Abstands im metrischen Raum zwischen der ersten Menge und der zweiten Menge und einer zuvor festgelegten Grenze wird der Zyklus des Testprozesses terminiert oder fortgeführt.
Für den Hausdorffabstand gilt, wenn (M,d) ein metrischer Raum und A, B c M nichtleere kompakte Teilmengen sind, dann ist der Hausdorffabstand zwischen A undß :
Figure imgf000009_0001
In einem Ersatzmodellbildungsverfahren, das ein sequentielles Design verwendet, wird mit einer zunehmenden Anzahl an Designpunkten ein besseres Ersatzmodell gebildet, so dass kritische Testfälle mit dem Ersatzmodell besser approximiert werden können. Bei einem geringen Hausdorffabstand zwischen der Menge kritischer Testfälle in der aktuellen Iteration und der Menge kritischer Testfälle aus der vorhergehend Iteration sind ausreichend viele Designpunkte vorhanden und es werden dennoch eine gute Approximation von kritischen Testfällen erzielt.
Damit kann durch das erfindungsgemäße Verfahren bei einer gleichbleibend kleinen Abstandsmetrik wie insbesondere dem Hausdorffabstand zwischen den betrachteten Mengen von kritischen Testfällen über mehrere Zyklen hinweg eine bessere Güte des Ersatzmodells festgestellt werden. Als Grundlage für die Approximation von kritischen Testfällen können verschiedene Bewertungsfunktionen von hochautomatisierten Fahrzeugen verwendet werden.
Gemäß einem weiteren Aspekt der Erfindung weist das Verfahren ferner auf, dass die Bewertungsfunktion eine Sicherheits-Zielfunktion ist, welche einen numerischen Wert aufweist, der bei einem Abstand zwischen dem Kraftfahrzeug und dem weiteren Kraftfahrzeug von > FELLOW X 0,55 einen Minimalwert aufweist, bei einer Kollision zwischen dem Kraftfahrzeug und dem weiteren Kraftfahrzeug einen Maximalwert aufweist, und bei einem Abstand zwischen dem Kraftfahrzeug und dem weiteren Kraftfahrzeug von < FELLOW X 0,55 einen numerischen Wert aufweist, welcher größer als der Minimalwert ist.
Die Sicherheits-Zielfunktion gibt an, wie sicher die Verkehrssituation für das Ego-Fahrzeug abläuft. Sie wird folgendermaßen spezifiziert: Falls der Abstand zwischen dem Ego-Fahrzeug und dem Fellow-Fahrzeug immer größer oder gleich dem Sicherheitsabstand ist, ist der Funktionswert der Sicherheits- Zielfunktion 0.
Der Sicherheitsabstand kann als Abstand definiert werden, bei welchem in Abhängigkeit einer Geschwindigkeitsdifferenz des Ego-Fahrzeugs und des Fellow-Fahrzeugs sowie des Abstands zwischen dem Ego-Fahrzeug und dem Fellow-Fahrzeug stets eine sichere Bremsung des Ego-Fahrzeugs ohne das Auftreten einer Kollision mit dem Fellow-Fahrzeug möglich ist.
Ein solcher Abstand wird in vorliegendem Beispiel durch einen Wert in Metern definiert, der der Geschwindigkeit VFELLOW X 0,55 entspricht.
Umso geringer der Abstand zwischen dem Ego-Fahrzeug und dem Fellow- Fahrzeug ist bzw. ab dem Unterschreiten des Sicherheitsabstands, geht der Zielfunktionswert mehr und mehr auf den Wert 1 zu. Falls eine Kollision des Ego-Fahrzeugs und des Fellow-Fahrzeugs vorliegt, ist der Abstand zwischen dem Ego-Fahrzeug und dem Fellow-Fahrzeug demzufolge kleiner oder gleich null und der Zielfunktionswert beträgt 1. Gemäß einem weiteren Aspekt der Erfindung weist das erfindungsgemäße Verfahren ferner auf, dass die Bewertungsfunktion eine Komfort-Zielfunktion oder eine Energieverbrauchs-Zielfunktion ist, welche einen numerischen Wert aufweist, der im Falle keiner Änderung der Beschleunigung des Kraftfahrzeugs einen Minimalwert aufweist, bei einer Kollision zwischen dem Kraftfahrzeug und dem weiteren Kraftfahrzeug einen Maximalwert aufweist, und bei einer Änderung der Beschleunigung des Kraftfahrzeugs in Abhängigkeit des Betrags der Änderung der Beschleunigung einen numerischen Wert zwischen dem Minimalwert und dem Maximalwert aufweist.
Mithilfe der Komfort-Zielfunktion können Aussagen darüber getroffen werden, wie angenehm ein Fahrmanöver für den Fahrer des Ego-Fahrzeugs ist. Starkes Beschleunigen oder Abbremsen und häufiges Wiederholen dieser Vorgänge wird als nicht komfortabel angesehen.
Die Änderungen der Beschleunigung werden als Ruck bezeichnet. Die Fahrsituation ist umso komfortabler, je kleiner der berechnete Wert der Komfort-Zielfunktion ist.
In einer weiteren Bewertungsfunktion beträgt der Spritverbrauch im Falle einer Kollision des Ego-Fahrzeugs und des Fellow-Fahrzeugs 1, d.h. der Spritverbrauch wird auf einen festgelegten Maximalwert gesetzt. Der Grund dafür ist, dass die Tankfüllung eines Fahrzeugs bei einem Unfall nicht mehr weiterverwendet werden kann.
Vor diesem Hintergrund besteht die Aufgabe der Erfindung darin, ein Verfahren anzugeben, das den Stand der Technik weiterbildet.
Kurze Beschreibung der Zeichnungen
Zum besseren Verständnis der vorliegenden Erfindung und ihrer Vorteile wird nun auf die nachfolgende Beschreibung in Verbindung mit den zugehörigen Zeichnungen verwiesen. Nachfolgend wird die Erfindung anhand exemplarischer Ausführungsformen näher erläutert, die in den schematischen Abbildungen der Zeichnungen angegeben sind.
Es zeigen:
Figur 1 eine schematische Ansicht auf verschiedene Verkehrsszenarien mit unterschiedlichen Fahrmanöver eines Ego Fahrzeugs und variierender Anzahl an Fellow- Fahrzeugen,
Figur 2 eine schematische Ansicht die eine Grenze zwischen kritischen und nicht-kritischen Testergebnissen angibt,
Figur 3 beispielhaft für ein Designverfahren ein Voronoi Diagramm,
Figur 4 schematisch die Bestimmung eines Hausdorffabstand,
Figur 5 schematische Ansicht des bisherigen Testverfahrens mit Nutzung eines Ersatzmodells
Figur 6 schematische Ansicht des erfindungsgemäßen Testverfahrens mit Nutzung eines Ersatzmodells
Figur 7 schematische Darstellung eines Verlaufs von Hausdorffabständen über mehrere Auswertungen / Simulationen
Figur 1 zeigt eine schematische Darstellung zur erfindungsgemäßen Unterscheidung von Szenarien (Si bis Sn). Es können gemäß der Figur 1 die Szenarien Si und S2 vollständig abweichend sein bezogen auf der Teilmenge ihres Parametersatzes, überlappende Parameter aufweisen oder auch bezogen auf der Teilmenge ihres jeweiligen Parametersatzes gleich sein. In einem szenario-basierten Testprozess eines Fahrassistenzsystems werden kritische Testfälle durch zu kritischen Fahrsituationen, beispielsweise einer Fahrzeugkollision oder einer Beinahe-Fahrzeugkollision, führenden Parameterkombinationen von spezifischen, einen metrischen Parameterraum aufspannenden Fahrsituationsparametern angegeben. Daher müssen in einem Szenario diese Parameterkombinationen identifiziert werden.
Auf der linken Seite der Figur 1 ist ein Szenario dargestellt, was ein Abiegemanöver zeigt und ein Ego Fahrzeug und vier Fellow Fahrzeuge aufweist. Auf der rechten Seite der Figur 1 ist der gleiche Kreuzungsbereich gezeigt, allerdings ohne Abiegemanöver mit nur einem Ego Fahrzeug. Durch Figur 1 werden verschiedene Szenarien gezeigt, die unterschiedliche Parameterkombinationen zulassen und auch abweichende kritische Testfälle ermöglichen.
In Figur 2 ist beispielhaft das Cut-In-Szenario unter Verwendung der Fahrsituationsparameter EGO, d.h. eine Geschwindigkeit des Ego- Fahrzeugs, und auf der Hochachse VFELLOW, d.h. die Geschwindigkeit des vorausfahrenden Fellow-Fahrzeugs gezeigt.
Die in Figur 2 dargestellte Funktion bildet die Grenze zwischen kritischen und nicht-kritischen Testergebnissen (Krit_TF). Die dargestellten Punkte sind approximierte Testergebnisse. Alternativ können die dargestellten Punkte beispielsweise simulierte Testergebnisse sein.
Bei der dargestellten Bewertungsfunktion (BF) handelt es sich um die Sicherheits-Zielfunktion, welche einen numerischen Wert aufweist, der bei einem Sicherheitsabstand zwischen dem Kraftfahrzeug und dem weiteren Kraftfahrzeug von > VFELLOW X 0,55 einen Minimalwert aufweist, bei einer Kollision zwischen dem Kraftfahrzeug und dem weiteren Kraftfahrzeug einen Maximalwert aufweist, und bei einem Sicherheitsabstand zwischen dem Kraftfahrzeug und dem weiteren Kraftfahrzeug von < VFELLOW X 0,55 einen numerischen Wert aufweist, welcher größer als der Minimalwert ist.
Alternativ zur Sicherheits-Zielfunktion kann beispielsweise eine Komfort- Zielfunktion oder eine Effizienz-Zielfunktion approximiert werden, welche einen numerischen Wert aufweist, der im Falle keiner Änderung der Beschleunigung des Kraftfahrzeugs einen Minimalwert aufweist, bei einer Kollision zwischen dem Kraftfahrzeug und dem weiteren Kraftfahrzeug einen Maximalwert aufweist, und bei einer Änderung der Beschleunigung des Kraftfahrzeugs in Abhängigkeit des Betrags der Änderung der Beschleunigung einen numerischen Wert zwischen dem Minimalwert und dem Maximalwert aufweist.
In Figur 3 ist beispielhaft für ein Designverfahren in der Designphase (D) ein Voronoi Diagramm dargestellt. Im Definitionsbereich X = [0,l]2 sind 16 Punkte verteilt. Um jeden der Punkte ist die dazugehörige Voronoi-Zelle eingezeichnet. In Bereichen mit mehreren Designpunkten sind die Zellen kleiner. In der Abbildung ist dies in der Mitte des Definitionsbereiches sichtbar. Der Designpunkt s = (0, 0) liegt von den anderen Punkten weiter entfernt und besitzt eine größere Voronoi Zelle.
Das sequenzielle Voronoi-Design besteht aus drei Schritten:
• Approximiere die Größen der Voronoi-Zellen.
• Verteile in der größten Voronoi-Zelle zufällig Punkte als Kandidaten für neue Designpunkte.
• Wähle einen der Kandidaten und füge ihn dem Design hinzu.
Die Größen der Zellen werden um Zeit- und Rechenaufwand zu sparen im Verhältnis zur Größe des Definitionsbereiches approximiert. Dafür wird eine Anzahl an zufälligen Punkten im Definitionsbereich gewählt. Es wird für jeden zufällig gewählten Punkt der Designpunkt bestimmt, der sich am nächsten befindet.
Jedem Designpunkt wird die Anzahl an zufälligen Punkten zugeordnet, die zum Designpunkt am nächsten sind. Die Größe einer Voronoi-Zelle, die zu einem Designpunkt gehört, entspricht der Anzahl zufälliger Punkte, die dem Designpunkt am nächsten sind, geteilt durch die Gesamtanzahl zufällig gewählter Punkte.
Danach werden in der größten Voronoi-Zelle zufällig Punkte verteilt, von diesen wird der Punkt ausgewählt, dessen minimaler Abstand zu allen anderen Designpunkten am niedrigsten ist. Das Design ist auch mit einer größeren Schriftgröße umsetzbar. Wird eine Schriftgröße nnew gewählt, wird nacheinander in den nnew größten Voronoi-Zellen je ein Designpunkt gewählt. Figur 4 zeigt eine schematische Darstellung einer Bestimmung eines Hausdorffabstandes als ein Beispiel einer Abstandsmetrik (AM) zwischen zwei Mengen. Der Hausdorffabstand zwischen Mengen an kritischen Testfällen (Krit_TF) als Abstandsmetrik (AM) kann erfindungsgemäß als Abbruchbedingung genutzt werden.
Mit dem Hausdorffabstand wird ein Abstand im Parameterraum zwischen einer ersten Menge der kritischen Testfälle (Krit_TF, tn) in der Iteration n und einer zweiten Menge der kritischen Testfälle (Krit_TF, tn-1) aus der Iteration n-1 oder einer zuvor definierten Menge kritischer Testfälle (Krit_TF) ermittelt und auf Basis der Differenz des Abstands im metrischen Raum zwischen der ersten Menge und der zweiten Menge und einer zuvor festgelegten Grenze wird der Zyklus (Z) des Testprozesses (TP) terminiert oder fortgeführt.
Für den Hausdorffabstand gilt, wenn (M,d) ein metrischer Raum und A,B Q M nichtleere kompakte Teilmengen sind, dann ist der Hausdorffabstand zwischen A undß:
Figure imgf000015_0001
In Figur 4 ist dargestellt, wie sich der Hausdorffabstand zweier Mengen ergibt. In der Abbildung sind zwei Kompakte Teilmengen B und A abgebildet. In der Menge A ist der Punkt a e A markiert, dessen Abstand B(a,B) zur Menge B maximal ist. Der Abstand ist mit einer schwarzen Linie eingezeichnet. Analog ist in B der Punkt b e B mit maximalen Abstand B(4,ö) gekennzeichnet. Der Hausdorffabstand von A und B ergibt sich aus (A,B) = max { B(a, B), B(4,ö)},dem Maximum über beide Strecken.
Figur 5 zeigt eine schematische Ansicht des bisherigen Testverfahrens mit Nutzung eines Ersatzmodells (EM). Das Ersatzmodellbildungsverfahren (EBV) besteht in diesem Fall aus einer Designphase (D) und einer Modellbildungsphase (M). In diesen Phasen können wie bereits beschrieben verschiedene Methoden bzw. Verfahren zum Einsatz kommen. Die erwähnten Verfahren sind nicht als abschließende Auflistung zu betrachten. Ein Zyklus zwischen Design- (D) und Modellbildungsphase (M) kann 1 bis n- mal durchlaufen werden, abhängig von verwendeten Verfahren oder Abbruchkriterien. Nach der Erstellung eines Ersatzmodells (EM) durch das Ersatzmodellbildungsverfahrens (EBV) kann unter Verwendung des Ersatzmodells der Testprozess (TP) starten. Im Rahmen des Testprozesses (TP) werden Tests (T) durchgeführt und im Zuge der Identifikation kritischer Testfälle (Krit_TF) ausgewertet. Eine Rückkopplung zwischen kritischen Testfällen (krit_TF) und der Erstellung eines Ersatzmodell (EM) gibt es in bisherigen Verfahren nicht.
In Figur 6 ist das erfindungsgemäße computerimplementierte Verfahren dargestellt. Auch hier wird wie in Figur 6 gezeigt, ein Ersatzmodell (EM) durch ein Verfahren (EBMV) erstell inklusive einer Designphase (D) und einer Modellbildungsphase (M). Erfindungsgemäß umfasst das Ersatzmodellbildungsverfahren (EBV) aber auch den Testprozess (TP). Nach jedem Testen (T) und der Bestimmung kritischer Testfälle (Krit_TF) wird eine Terminierung (Ter) anhand einer Abstandsmetrik (AM) wie beispielsweise dem Hausdoffabstand, im Parameterraum zwischen einer ersten Menge der kritischen Testfälle (Krit_TF, tn) in der Iteration n und einer zweiten Menge der kritischen Testfälle (Krit_TF, tn-1) aus der Iteration n-1 oder einer zuvor definierten Menge kritischer Testfälle (Krit_TF) geprüft. Sollte die Bedingung einer Überschreitung und / oder Unterschreitung einer zuvor festgelegten Grenze nicht erfüllt sein, wird ein neuer Zyklus (Z) n + 1 mit der Designphase (D) begonnen.
Figur 7 zeigt eine schematische Darstellung eines Verlaufs von Abstandsmetriken (AM) am Beispiel des Hausdorffabstand über mehrere Auswertungen / Simulationen hinweg. Dabei sind in Figur 6 die Hausdorffabstände in der Hochachse gezeigt.
Bei der Betrachtung der Ersatzmodellbildungsverfahren (EBV), die ein Sequentielles Design verwenden, wird in der Regel mit zunehmender Anzahl an Designpunkten ein besseres Ersatzmodell (EM) gebildet. Jede neue Iteration erfordert aber weiteren Zeit- und Rechenaufwand. Erfindungsgemäß kann das in dieser Patentschrift beschriebene Verfahren eine Reduzierung von Zeit- und/oder Rechenaufwänden ermöglichen.
Im erfindungsgemäßen Ersatzmodellbildungsverfahren (EBV) wird vorzugsweise in der Designphase (D) ein Sequentielles Design verwendet, wie beispielsweise LOLA-Voronoi. Das Designverfahren verwendet ein Startdesign und bestimmt in jeder Iteration neue Designpunkte. Nach jeder Iteration wird das genutzte Szenario simuliert und die jeweilige Bewertungsfunktion (BF) beispielsweise eine Sicherheits-Zielfunktion ausgewertet.
Eine Terminierung (Ter) oder Abbruchbedingung basiert auf dem Hausdorffabstand kritischer Testfälle (Krit_TF). Mit diesem wird ein sequentielles Ersatzmodellbildungsverfahren (EBV) abbrechen, wenn in einem Schritt keine oder nur geringfügige Veränderungen der Approximation kritischer Testfälle (Krit_TF) stattfinden.
Im erfindungsgemäßen computerimplementierten Verfahren werden die Hausdorffabstände zweier aufeinanderfolgender Approximationen der kritischen Testfälle (Krit_TF) betrachtet. Dies ist im ersten Durchlauf noch nicht möglich und es werden mit dem sequentiellen Design neue Punkte zu dem Design hinzugefügt. Mit der zweiten Iteration kann der paarweise Vergleich der Hausdorffabstände zwischen den Approximationen der kritischen Testfälle (Krit_TF) bestimmt werden.
Figur 7 zeigt die Entwicklung der Hausdorffabstände zwischen den Iterationen auf. Ist dieser Wert des jeweiligen Hausdorffabstandes kleiner als eine zuvor festgelegte Grenze, ist die Terminierung (Ter) oder Abbruchbedingung erfüllt. Ansonsten werden neue Designpunkte in der Designphase (D) gewählt und das Verfahren wird bis zur Terminierung (Ter) wiederholt.

Claims

Patentansprüche:
1. Computerimplementiertes Verfahren zur Terminierung (Ter) eines szenario-basierten Testprozesses (TP) eines Fahrassistenzsystems, wobei kritische Testfälle (Krit_TF) durch zu kritischen Fahrsituationen, beispielsweise einer Fahrzeugkollision oder einer Beinahe- Fahrzeugkollision, führenden Parameterkombinationen von spezifischen, einen metrischen Parameterraum aufspannenden Fahrsituationsparametern angegeben werden, dadurch gekennzeichnet, dass der Testprozess (TP) einen Zyklus (Z) umfasst und die Bestimmung kritischer Testfälle (Krit_TF) und ihrer Parameterkombinationen beinhaltet, und zur Terminierung (Ter), also als Abbruchbedingung des Zyklus, eine Abstandsmetrik (AM) verwendet wird und das Verfahren folgende Schritte umfasst:
Nach jeder Iteration n des Zyklus (Z) wird zumindest ein Test des Fahrerassistenzsystems durchgeführt und eine Menge kritischer Testfälle (Krit_TF) bestimmt, darauf aufbauend wird ein Abstand (AM) im Parameterraum zwischen einer ersten Menge der kritischen Testfälle (Krit_TF, tn) in der Iteration n und einer zweiten Menge der kritischen Testfälle (Krit_TF, tn-1) aus der Iteration n-1 oder einer zuvor definierten Menge kritischer Testfälle (Krit_TF) ermittelt und auf Basis der Differenz des Abstands (AM) im metrischen Raum zwischen der ersten Menge und der zweiten Menge oder einer zuvor festgelegten Grenze wird der Zyklus (Z) des Testprozesses (TP) terminiert oder fortgeführt, so dass der Testprozess (TP) zyklisch wiederholt wird.
2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass der Testprozess (TP) ein erweitertes Ersatzmodellbildungsverfahren (EBV) umfasst mit einem Zyklus (Z) aus zumindest einer Designphase (D), einer Modellbildungsphase (M) und Testphase (T) inklusive der Bestimmung kritischer Testfälle (Krit_TF).
3. Verfahren nach Anspruch 1 und 2, dadurch gekennzeichnet, dass Tests unter Verwendung des aktuellen Ersatzmodells (EM) aus der jeweiligen Iteration n des Zyklus (Z) durchgeführt werden.
4. Verfahren nach einem der vorherigen Ansprüche, dadurch gekennzeichnet, dass das Ersatzmodell (EM) durch die Design (D)- und Modellbildungsphase (M) erzeugt wird.
5. Verfahren nach einem der vorherigen Ansprüche, dadurch gekennzeichnet, dass die Abstandsmetrik (AM) zur Terminierung des erweiterten Ersatzbildungsverfahrenes (EBV) und damit des Testprozesses (TP) der Hausdorffabstand ist.
6. Verfahren nach Anspruch 5, dadurch gekennzeichnet, dass der Hausdorffabstand, der Abstand zwischen zwei nicht-leeren kompakten Teilmengen in einem metrischen Raum angibt.
7. Verfahren nach einem der vorherigen Ansprüche, dadurch gekennzeichnet, dass bei Unterschreitung der Differenz zwischen dem errechneten Abstand (AM) und einer zuvor festgelegten Grenze der Zyklus (Z) des Testprozesses (TP) unterbrochen und das erweiterte Ersatzmodellbildungsverfahren (EBV) terminiert wird. 19 Verfahren nach einem der vorherigen Ansprüche, dadurch gekennzeichnet, dass bei Überschreitung der Differenz zwischen dem errechneten Abstand (AM) und einer zuvor festgelegten Grenze der Zyklus (Z) des Testprozesses (TP) fortgesetzt wird, beginnend mit der Designphase (D). Verfahren nach einem der vorstehenden Ansprüche, dadurch gekennzeichnet, dass die Güte des Ersatzmodells (EM) basierend auf einem gleichbleibend über mehrere Zyklen (Z) hinweg, kleinem Abstand zwischen den betrachteten Mengen von kritischen Testfällen (Krit_TF) bestimmt wird. Verfahren nach einem der vorstehenden Ansprüche, dadurch gekennzeichnet, dass die Verwendung eines Ersatzmodells zum Testen von Fahrerassistenzsystemen weniger Zeit- und / oder Rechenaufwände erfordert als bestehende virtuelle und / oder reale Tests. Verfahren nach einem der Ansprüche 1 bis 10, dadurch gekennzeichnet, dass der Testprozess (TP) mit dem erweiterten Ersatzmodellbildungsverfahren (EBV) zum Approximieren von Bewertungsfunktionen (BF) von hochautomatisierten Fahrzeugen verwendet wird. Verfahren nach Anspruch 11, dadurch gekennzeichnet, dass eine Bewertungsfunktion (BF) zumindest eine Sicherheits-Zielfunktion, eine Komfort-Zielfunktion oder Effizienz-Zielfunktion umfasst. Verfahren nach einem der vorstehenden Ansprüche, dadurch gekennzeichnet, dass der Testprozess (TP) mit erweitertem Ersatzmodellbildungsverfahren (EBV) in einem realen Fahrversuch und/oder auf entsprechenden Prüfständen mit einem zumindest 20 teilweise realen Fahrzeug und/oder auch vollständig virtuell durchgeführt werden kann. Computerprogrammprodukt mit einem Computerprogramm, das Software mittel zur Durchführung des Verfahrens nach einem der
Ansprüche 1 bis 13 umfasst, wobei das Computerprogramm auf einem Computer ausgeführt wird. Computerlesbares Speichermedium mit einem Computerprogramm, das Befehle umfasst, die bei Ausführung durch einen Computer diesen veranlassen, das Verfahren nach einem der Ansprüche 1 bis 13 auszuführen.
PCT/EP2021/070809 2020-08-04 2021-07-26 Computerimplementiertes verfahren zur terminierung eines szenario-basierten testprozesses eines fahrassistenzsystems WO2022028934A2 (de)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202180046192.8A CN115735197A (zh) 2020-08-04 2021-07-26 用于终止驾驶辅助系统的基于场景的测试过程的计算机实现的方法
EP21749586.0A EP4028890A2 (de) 2020-08-04 2021-07-26 Computerimplementiertes verfahren zur terminierung eines szenario-basierten testprozesses eines fahrassistenzsystems
US18/004,071 US20240010210A1 (en) 2020-08-04 2021-07-26 Computer-implemented method for terminating a scenario-based test process of a driving assistance system

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102020120500.7A DE102020120500A1 (de) 2020-08-04 2020-08-04 Computerimplementiertes Verfahren zur Terminierung eines szenario-basierten Testprozesses eines Fahrassistenzsystems
DE102020120500.7 2020-08-04

Publications (1)

Publication Number Publication Date
WO2022028934A2 true WO2022028934A2 (de) 2022-02-10

Family

ID=77179998

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2021/070809 WO2022028934A2 (de) 2020-08-04 2021-07-26 Computerimplementiertes verfahren zur terminierung eines szenario-basierten testprozesses eines fahrassistenzsystems

Country Status (5)

Country Link
US (1) US20240010210A1 (de)
EP (1) EP4028890A2 (de)
CN (1) CN115735197A (de)
DE (1) DE102020120500A1 (de)
WO (1) WO2022028934A2 (de)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102017200180A1 (de) 2017-01-09 2018-07-12 Bayerische Motoren Werke Aktiengesellschaft Verfahren und Testeinheit zur Bewegungsprognose von Verkehrsteilnehmern bei einer passiv betriebenen Fahrzeugfunktion

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102017200180A1 (de) 2017-01-09 2018-07-12 Bayerische Motoren Werke Aktiengesellschaft Verfahren und Testeinheit zur Bewegungsprognose von Verkehrsteilnehmern bei einer passiv betriebenen Fahrzeugfunktion

Also Published As

Publication number Publication date
DE102020120500A1 (de) 2022-02-10
CN115735197A (zh) 2023-03-03
US20240010210A1 (en) 2024-01-11
EP4028890A2 (de) 2022-07-20

Similar Documents

Publication Publication Date Title
EP2999998B1 (de) Methode zur ermittlung eines modells einer ausgangsgrösse eines technischen systems
WO2019206775A1 (de) Verfahren und vorrichtung zum ermitteln einer netzkonfiguration eines neurona-len netzes
DE102019124018A1 (de) Verfahren zum Optimieren von Tests von Regelsystemen für automatisierte Fahrdynamiksysteme
EP4193135A1 (de) Computerimplementiertes verfahren zum bereitstellen eines test-verlaufs zu testender verkehrsszenarien
WO2021058223A1 (de) Verfahren zur effizienten, simulativen applikation automatisierter fahrfunktionen
DE102017218851A1 (de) Verfahren, Vorrichtung und Computerprogramm zur Erstellung eines tiefen neuronalen Netzes
DE102018128890A1 (de) Verfahren und Testvorrichtung zum Testen eines Fahrassistenzsystems für ein Kraftfahrzeug
EP3783446B1 (de) Computerimplementiertes verfahren und testeinheit zum approximieren einer teilmenge von testergebnissen
DE102019134053A1 (de) Verfahren zur kontinuierlichen Absicherung im Fahrversuch applizierter automatisierter Fahrfunktionen
EP3627108A1 (de) Verfahren zur trajektorienplanung eines beweglichen objektes
WO2020207789A1 (de) Verfahren und vorrichtung zum ansteuern einer technischen einrichtung
WO2022028934A2 (de) Computerimplementiertes verfahren zur terminierung eines szenario-basierten testprozesses eines fahrassistenzsystems
EP4105811A1 (de) Computerimplementiertes verfahren zum szenariobasierten testen und/oder homologation von zu testenden zumindest teilweise autonomen fahrfunktionen durch key performance indicators (kpi)
WO2016050553A1 (de) Ein trajektorien-planungsverfahren zur ermittlung eines steuerprofils für ein kraftfahrzeug
AT524932B1 (de) Verfahren und System zum Testen eines Fahrerassistenzsystems für ein Fahrzeug
EP0813986B1 (de) Verfahren zur Abstandsregelung für ein Fahrzeug
EP3871052B1 (de) Verfahren zur kalibirierung eines technischen systems
EP4226248A1 (de) Verfahren und ein system zum testen eines fahrerassistenzsystems für ein fahrzeug
EP4027245A1 (de) Computerimplementiertes verfahren zur bestimmung von ähnlichkeitswerten von verkehrsszenarien
WO2021089499A1 (de) Verfahren und system zum prüfen einer automatisierten fahrfunktion durch reinforcement-learning
EP3783452A1 (de) Computerimplementiertes verfahren und testeinheit zum approximieren von testergebnissen und verfahren zum bereitstellen eines trainierten, künstlichen neuronalen netzes
DE102022002916A1 (de) Verfahren zum Ermitteln einer Schaltstrategie für ein Schaltgetriebe eines Fahrzeugs, sowie Verfahren zum Trainieren eines lernfähigen Systems zur Prädiktion einer Schaltstrategie und Fahrerassistenzsystem
DE102022129009A1 (de) Verfahren zum Testen von automatisierten Fahrzeugfunktionen
DE102022117839A1 (de) Computerimplementiertes Verfahren zur Optimierung von Parametern eines Fahrerassistenzsystems eines Kraftfahrzeugs
DE102021123597A1 (de) Verfahren und Steuergerät zur automatisierten Applikation von Fahrerassistenzsystemen im Serienbetrieb

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21749586

Country of ref document: EP

Kind code of ref document: A2

ENP Entry into the national phase

Ref document number: 2021749586

Country of ref document: EP

Effective date: 20220413

WWE Wipo information: entry into national phase

Ref document number: 18004071

Country of ref document: US