WO2021083785A1 - Method for training at least one algorithm for a control device of a motor vehicle, computer program product, and motor vehicle - Google Patents

Method for training at least one algorithm for a control device of a motor vehicle, computer program product, and motor vehicle Download PDF

Info

Publication number
WO2021083785A1
WO2021083785A1 PCT/EP2020/079764 EP2020079764W WO2021083785A1 WO 2021083785 A1 WO2021083785 A1 WO 2021083785A1 EP 2020079764 W EP2020079764 W EP 2020079764W WO 2021083785 A1 WO2021083785 A1 WO 2021083785A1
Authority
WO
WIPO (PCT)
Prior art keywords
motor vehicle
algorithm
simulation
computer program
program product
Prior art date
Application number
PCT/EP2020/079764
Other languages
German (de)
French (fr)
Inventor
Ulrich Eberle
Christoph THIEM
Original Assignee
Psa Automobiles Sa
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Psa Automobiles Sa filed Critical Psa Automobiles Sa
Priority to CN202080076990.0A priority Critical patent/CN114667545A/en
Priority to EP20796785.2A priority patent/EP4052178A1/en
Publication of WO2021083785A1 publication Critical patent/WO2021083785A1/en

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2155—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the incorporation of unlabelled data, e.g. multiple instance learning [MIL], semi-supervised techniques using expectation-maximisation [EM] or naïve labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Definitions

  • a method for training at least one algorithm for a control unit of a motor vehicle, a computer program product and a motor vehicle are described here.
  • a method for training self-learning algorithms for an automated drivable vehicle is known with a predetermined automation module by generating learning situations, the learning situations being generated as follows: Carrying out a traffic simulation in which a virtual Ego- Vehicle with the automation module of the real vehicle is set in a virtual scenario, the scenario comprising a route structure with a specified route, furthermore, further virtual moving objects generated comprehensively in an automated manner with individually specifiable object properties and behavior models, with the objects independently and with each other in the course of the ongoing simulation interact adaptively on the basis of the respective object properties and behavior models, - Carrying out a driving dynamics simulation on the basis of the automation module as well as virtual sensor signals of the moving objects of a virtual sensor system assigned to the ego vehicle, which corresponds to a sensor system of the real vehicle in which Reactions of the ego vehicle are generated, - Identification of a relevant learning situation using selection criteria that are determined on the basis of predeterminable metrics.
  • the task arises of developing methods, computer program products and motor vehicles of the type mentioned at the outset such that a trained algorithm can be better adapted to real traffic situations.
  • the object is achieved by a method for training at least one algorithm for a control unit of a motor vehicle according to claim 1, a computer program product according to the independent claim 12 and a motor vehicle according to the independent claim 13. Further refinements and developments are the subject of the dependent claims .
  • a method for training at least one algorithm for a control unit of a motor vehicle is described below, the control unit being provided for implementing an automated or autonomous driving function with intervention in units of the motor vehicle on the basis of input data using the at least one algorithm, with the algorithm is trained by a self-learning neural network, comprising the following steps: a) providing a computer program product module for the automated or autonomous driving function, the computer program product module containing the algorithm to be trained and the self-learning neural network, b) providing a simulation environment with simulation parameters , where the simulation environment contains map data of a real existing area of use, the motor vehicle and at least one other simulated road user, with a behavior of the motor vehicle as well as the few At least one other road user is determined by a rule set, the rule set containing behavior parameters determining permissible limits, c) providing a mission for the motor vehicle, d) modifying at least one behavior parameter of the motor vehicle so that the at least one behavior parameter is beyond the permissible limits, e ) Perform a simulation of the mission.
  • Corresponding behavior parameters can be, for example, the permissible speed, a distance to be observed, thresholds for exceeding the prohibition (e.g. a period within which a traffic light that changes to red can be passed, risk parameters at which a solid line can be passed, and / or when despite no right of way) may continue to be driven), a permitted variance of the position of the motor vehicle in the lane, a permitted overtaking side (in right-hand traffic only on the left or on both sides) and the like.
  • the permissible speed e.g. a period within which a traffic light that changes to red can be passed, risk parameters at which a solid line can be passed, and / or when despite no right of way
  • thresholds for exceeding the prohibition e.g. a period within which a traffic light that changes to red can be passed, risk parameters at which a solid line can be passed, and / or when despite no right of way
  • a permitted variance of the position of the motor vehicle in the lane e.g. a period within
  • a corresponding mission can be, for example, to get from a starting point in the shortest possible time or in an energy-efficient manner to a specified destination.
  • a suitably trained algorithm has a different driving behavior than a conventionally trained algorithm, even within narrower parameter limits, such as would then be used for use in a real motor vehicle.
  • the driving behavior of such an algorithm is more natural, so it corresponds more closely to the driving behavior of a person, which on the one hand benefits the occupants and on the other hand has a more natural effect on other road users.
  • An example of this is the passing of a delivery vehicle parked in the second row with the necessary crossing of a solid line.
  • An algorithm that was absolutely compliant with the rules would stop the motor vehicle and wait for the delivery vehicle to continue.
  • An algorithm trained in accordance with the method described here which may exceed applicable rules within narrow limits, e.g. if this is possible without risk due to the lack of oncoming traffic, continues at such a point.
  • the neural network learns through reinforcement learning processes (also known as the RFL algorithm.
  • RFL stands for: "reinforcement learning”
  • reinforcement learning also known as the RFL algorithm.
  • a further metric can be that it is not an indirect trigger of accidents with other road users, e.g. through sudden, unexpected hard braking.
  • the neural network learns better and better strategies for completing a given mission in successive simulations.
  • the at least one abnormal road user is a motor vehicle, motorcyclist or pedestrian.
  • the vehicles are driven by people, some of whom do not comply with the rules.
  • a simulation with such abnormally behaving road users is therefore particularly realistic.
  • the computer program product module has an algorithm that has already been trained with road users that conform to the rules.
  • the at least one behavior parameter is exceeded or fallen short of by a predetermined percentage.
  • the simulation is repeated several times, with at least one simulation parameter being changed in each case.
  • Such a simulation parameter can be a behavior parameter, for example.
  • a behavior parameter for example.
  • the variation can take place, for example, through modifications within the same traffic area (e.g. by changing road widths, right of way, traffic lights, road blocks, etc.) or by changing the traffic area as a whole.
  • At least one behavior parameter is varied.
  • Such behavior parameters cover the usual driving behavior of different types of drivers, for example drivers who tend to drive too fast, drivers whose driving precision is less, etc.
  • provision can be made for the number, positioning and / or missions of the other road users to be varied.
  • the algorithm is further trained by a self-learning neural network, comprising the following steps: a) Provision of the computer program product module for the automated or autonomous driving function, the computer program product module containing the algorithm to be trained and the self-learning neural network Network contains, b) providing a simulation environment with simulation parameters, wherein the simulation environment contains map data of a real existing application area, the motor vehicle and at least one other simulated road user, the other simulated road user being simulated by an algorithm that was trained according to the method described above, c) providing a mission for the motor vehicle, d) performing a simulation of the mission.
  • a self-learning neural network comprising the following steps: a) Provision of the computer program product module for the automated or autonomous driving function, the computer program product module containing the algorithm to be trained and the self-learning neural network Network contains, b) providing a simulation environment with simulation parameters, wherein the simulation environment contains map data of a real existing application area, the motor vehicle and at least one other simulated road user, the other simulated road user being simulated by an algorithm
  • the algorithm can also be applied to other road users, for example pedestrians or cyclists, in which case no computer program product module for an automated or autonomous driving function, but a computer program product module for a movement behavior simulation is used.
  • these agents can be designed more realistically and then used in future training missions of the type described above, which increases the quality of the simulation.
  • a first independent subject relates to a device for training at least one algorithm for a control unit of a motor vehicle, the control unit being provided for implementing an automated or autonomous driving function by intervening in aggregates of the motor vehicle on the basis of input data using the at least one algorithm, the algorithm being trained by a self-learning neural network, the following being provided: a) means for providing a computer program product module for the automated or autonomous driving function, the computer program product module containing the algorithm to be trained and the self-learning neural network, b) means to provide a simulation environment with simulation parameters, the simulation environment map data of a real area of use, the motor vehicle and at least one other si- contains mulated road user, a behavior of the motor vehicle and the at least one other road user is determined by a rule set, the rule set containing permissible limits defining behavior parameters, c) means for providing a mission for the motor vehicle, d) means for modifying at least a behavior parameter of the motor vehicle, so that the at least one behavior parameter lies beyond the permissible limits, e)
  • the neural network has means for learning through reinforcing learning processes, with at least one of the time to complete the mission and / or the number of accidents in which the motor vehicle is involved as the reward metric, during the mission, means are provided for repeating the simulation so that the simulation is repeated until a minimum metric is reached.
  • the at least one abnormal road user is a motor vehicle, motorcycle or pedestrian.
  • the computer program product module has an algorithm that has already been trained with road users that conform to the rules.
  • provision can be made for means to be provided for exceeding or falling below the at least one behavior parameter by a predetermined percentage.
  • provision can be made for means for varying the number, positioning and / or missions of the other road users to be provided.
  • means are provided for training the algorithm by a self-learning neural network, the following being provided: a) means for providing the computer program product module for the automated or autonomous driving function, the computer program product module providing the algorithm to be trained and the self-learning neural network contains, b) means for providing a simulation environment with simulation parameters, wherein the simulation environment contains map data of a real existing operational area, the motor vehicle and at least one other simulated road user, the other simulated road user being simulated by an algorithm, which has been trained according to the method described above, c) means for providing a mission for the motor vehicle, d) means for performing a simulation of the mission.
  • Another independent subject matter relates to a computer program product with a computer-readable storage medium on which instructions are embedded which, when executed by at least one processing unit, have the effect that the at least one processing unit is set up to execute the method of the type described above.
  • the method can be carried out distributed over one or more processing units, so that certain method steps are carried out on the one processing unit and other process steps are carried out on at least one further processing unit, with calculated data can be transmitted between the processing units if necessary.
  • Another independent subject matter relates to a motor vehicle with a computer program product of the type described above.
  • Fig. 1 shows a motor vehicle which is set up for automated or autonomous driving
  • FIG. 2 shows a computer program product for the motor vehicle from FIG. 1;
  • FIG. 3 shows a simulation environment for the motor vehicle from FIG. 1, and FIG. 4 shows a flow chart of the method.
  • Fig. 1 shows a motor vehicle 2, which is set up for automated or autonomous driving.
  • the motor vehicle 2 has a control device 4 with a computing unit 6 and a memory 8.
  • a computer program product is stored in the memory 8 and is described in more detail below in connection with FIGS.
  • the control unit 4 is connected, on the one hand, to a number of environmental sensors which allow the current position of the motor vehicle 2 and the respective traffic situation to be recorded. These include environmental sensors 10, 11 at the front of the motor vehicle 2, environmental sensors 12, 13 at the rear of the motor vehicle 2, a camera 14 and a GPS module 16.
  • the environmental sensors 10 to 13 can, for example, radar, lidar and / or ultrasonic sensors.
  • sensors for detecting the state of the motor vehicle 2 are provided, including wheel speed sensors 16, acceleration sensors 18 and pedal sensors 20, which are connected to the control unit 4. With the aid of this motor vehicle sensor system, the current state of motor vehicle 2 can be reliably detected.
  • the computing unit 6 has loaded the computer program product stored in the memory 8 and executes it. On the basis of an algorithm and the input signals, the computing unit 6 decides on the control of the motor vehicle 2, which the computing unit 6 would achieve by intervening in the steering 22, engine control 24 and brakes 26, which are each connected to the control unit 4.
  • Data from sensors 10 to 20 are continuously temporarily stored in memory 8 and discarded after a predetermined period of time so that these environmental data can be available for further evaluation.
  • the algorithm was trained according to the method described below.
  • FIG. 2 shows a computer program product 28 with a computer program product module 30.
  • the computer program product module 30 has a self-learning neural network 32 that trains an algorithm 34.
  • the self-learning neural network 32 learns according to methods of reinforcement learning, d. H.
  • the algorithm 34 By varying the algorithm 34, the neural network 32 tries to obtain rewards for improved behavior in accordance with one or more metrics or standards, that is to say for improvements to the algorithm 34.
  • known learning methods of supervised and unsupervised learning as well as combinations of these learning methods can be used.
  • the algorithm 34 can essentially consist of a complex filter with a matrix of values, usually called weights by those skilled in the art, that define a filter function that determines the behavior of the algorithm 34 as a function of input variables that are presently recorded by the environmental sensors 10 to 20 are determined and control signals for controlling the motor vehicle 2 are generated.
  • the computer program product module 30 can be used both in the motor vehicle 2 and outside the motor vehicle 2. It is thus possible to train the computer program product module 30 both in a real environment and in a simulation environment. In particular, according to the teaching described here, the training begins in a simulation environment, since this is safer than training in a real environment.
  • the computer program product module 30 is set up to set up a metric that is to be improved.
  • a metric can, for example, be a time until reaching a predetermined mission, for example a destination. If the metric has exceeded a certain threshold, e.g. a time less than a limit time, the metric can be considered fulfilled and the algorithm can be frozen in this regard. It can then either be optimized with regard to another metric and trained further, or the algorithm can be tested in a real environment.
  • FIG. 3 shows a simulation environment 36 for motor vehicle 2 from FIG. 1.
  • a road intersection 38 is provided in the simulation environment 36, at which a road 40 and a road 42 intersect.
  • the intersection 38 is based on real existing map data, so that the behavior of the algorithm 34 at this intersection 38 is simulated specifically.
  • a motor vehicle 44 is parked at the edge of the road 40 in such a way that it is not possible to drive past without crossing a solid line 46.
  • a motorcyclist 48 would like to turn from road 42 into road 40.
  • a pedestrian 50 moves without paying attention to the traffic at high speed in the direction of movement 52 towards the street 40 in order to apparently cross it.
  • the algorithm 34 has to make a large number of complex decisions.
  • the first decision that has to be made is whether the solid line 46 may be crossed at all. Since it is not possible to pass the parked motor vehicle 44 without crossing the solid line 46, the decision of the algorithm 34 will have to be answered with yes, but the question arises as to the driving parameters with which. For this purpose, the algorithm 34 must make a prediction of how the motorcyclist 48 will behave, possibly on his normal trajectory would come relatively close to the motor vehicle 2. In everyday life, however, it is often the case that corresponding motorcyclists can easily evade or drive further to the right in their lane due to the small width of the motorcycle and the low speed in the intersection area.
  • the speed of the motor vehicle 2 must be taken into account. If the motor vehicle 2 accelerates slightly in order to overtake the parked motor vehicle 44, the probability that the motor vehicle 2 will impair the planned trajectory of the motorcyclist 48 is reduced. However, this could lead to the motor vehicle 2 crossing the trajectory of the possibly inattentive pedestrian 50 who is just about to cross the street 40, which could result in an accident.
  • the algorithm 34 could therefore first try to pass the motor vehicle 44 without stopping.
  • the motor vehicle 2 could first of all increase its speed above the permitted maximum speed in order to pass the motor vehicle 44. However, this could lead to a minimum distance between the pedestrian 50 and the motor vehicle 2 being undershot.
  • the algorithm 34 could move the motor vehicle 2 more slowly, which, however, could pose a danger to the motorcyclist 48.
  • the algorithm 34 could then initially accelerate the motor vehicle 2 to pass the parked motor vehicle 44 and then brake it again.
  • This solution is to be preferred because on the one hand it enables the parked motor vehicle 44 to be passed and the present mission to be completed quickly and, on the other hand, it optimizes the metrics of the endangerment of other road users 48, 50.
  • the computer program product module is made available.
  • the computer program product module contains the algorithm to be trained and a self-learning neural network.
  • a simulation environment is then made available on the basis of real map data. In addition to roads and certain rules, the simulation environment can also contain other road users and their missions.
  • a set of rules for the ego vehicle can be varied, which contains rules of behavior, for example maintaining speeds, driving over solid lines, position in the lane, etc.
  • the simulation can then be carried out, using reinforcement learning methods to attempt to achieve individual metrics. As long as this is not the case, the strategy or the algorithm is varied and the simulation is carried out again until a certain individual metric is reached. This process is repeated for all metrics.
  • the rule set of the ego vehicle is varied and the process is repeated until the algorithm has matured sufficiently.
  • the algorithm can then be frozen.
  • the algorithm can be used, for example, in traffic simulations for simulated vehicles other than that of the motor vehicle to be trained.
  • the method can also be applied to other road users.
  • the training can be continued in a real environment that is fully or mixed real.

Abstract

The invention relates to a method for training at least one algorithm for a control device of a motor vehicle, said algorithm being trained by means of a self-learning neural network. The method has the following steps: a) providing a computer program product module for an automated or autonomous driving function, b) providing a simulation environment with simulation parameters, wherein the simulation environment contains map data of an actual existing area of operation, the motor vehicle, and at least one additional simulated traffic participant, and the behavior of the motor vehicle and the at least one additional traffic participant is determined by a rule set with behavior parameters, c) providing a mission for the motor vehicle, d) modifying at least one behavior parameter of the motor vehicle so that the at least one behavior parameter lies within permissible limits at all times, and e) carrying out a simulation of the mission.

Description

VERFAHREN ZUM TRAINIEREN WENIGSTENS EINES ALGORITHMUS FÜR EIN STEUERGERÄT EINES KRAFTFAHRZEUGS, COMPUTERPROGRAMMPRODUKT SOWIE KRAFTFAHRZEUG METHOD OF TRAINING AT LEAST ONE ALGORITHM FOR A CONTROL UNIT OF A MOTOR VEHICLE, COMPUTER PROGRAM PRODUCT, AND MOTOR VEHICLE
Vorliegend werden ein Verfahren zum Trainieren wenigstens eines Algorithmus für ein Steuergerät eines Kraftfahrzeugs, ein Computerprogrammprodukt sowie ein Kraftfahrzeug beschrieben. A method for training at least one algorithm for a control unit of a motor vehicle, a computer program product and a motor vehicle are described here.
Verfahren, Computerprogrammprodukte sowie Kraftfahrzeuge der eingangs genannten Art sind im Stand der Technik bekannt. Die ersten teilautomatisiert fahrenden Kraftfahr zeuge (entspricht SAE Level 2 gemäß SAE J3016) sind in den vergangenen Jahren zur Serienreife gelangt. Automatisiert (entspricht SAE Level >=3 gemäß SAE J3016) bzw., autonom (entspricht SAE Level 4/5 gemäß SAE J3016) fahrende Kraftfahrzeuge müssen anhand vielfältiger Vorgaben, zum Beispiel Fahrziel und Einhaltung gängiger Verkehrsre geln, mit maximaler Sicherheit auf unbekannte Verkehrssituationen selbständig reagieren können. Da die Verkehrswirklichkeit aufgrund der Unvorhersehbarkeit des Verhaltens an derer Verkehrsteilnehmer, insbesondere menschlicher Verkehrsteilnehmer, hoch komplex ist, gilt es als nahezu unmöglich, entsprechende Steuergeräte von Kraftfahrzeugen mit herkömmlichen Methoden und auf der Grundlage von menschengemachten Regeln zu programmieren. Methods, computer program products and motor vehicles of the type mentioned at the beginning are known in the prior art. The first partially automated vehicles (corresponds to SAE Level 2 in accordance with SAE J3016) have reached series production readiness in recent years. Automated (corresponds to SAE level> = 3 in accordance with SAE J3016) or autonomously (corresponds to SAE level 4/5 in accordance with SAE J3016) motor vehicles must be able to operate independently with maximum safety in unfamiliar traffic situations based on a variety of specifications, for example destination and compliance with current traffic rules can react. Since the reality of traffic is highly complex due to the unpredictability of the behavior of other road users, especially human road users, it is almost impossible to program corresponding control units of motor vehicles with conventional methods and on the basis of man-made rules.
Zur Bewältigung komplexer Probleme mittels Computern ist es darüber hinaus bekannt, mit Methoden des maschinellen Lernens bzw. der künstlichen Intelligenz Algorithmen zu entwickeln bzw. sich durch selbstlernende neuronale Netze entwickeln zu lassen. Solche Algorithmen können einerseits maßvoller auf komplexe Verkehrssituationen reagieren als traditionelle Algorithmen. Andererseits ist es mithilfe künstlicher Intelligenz prinzipiell mög lich, die Algorithmen während des Entwicklungsprozesses und im Alltag durch ständiges Lernen weiterzuentwickeln und kontinuierlich zu verbessern. Alternativ kann ein Stand des Algorithmus nach der Beendigung einer Trainingsphase im Entwicklungsprozess und einer Validierung durch den Hersteller eingefroren werden. In order to cope with complex problems by means of computers, it is also known to develop algorithms with methods of machine learning or artificial intelligence or to allow them to be developed by self-learning neural networks. On the one hand, such algorithms can react more moderately to complex traffic situations than traditional algorithms. On the other hand, with the help of artificial intelligence it is in principle possible to further develop and continuously improve the algorithms during the development process and in everyday life through constant learning. Alternatively, the state of the algorithm can be frozen after the end of a training phase in the development process and a validation by the manufacturer.
Aus der DE 102017 007 136 A1 ist ein Verfahren zum Trainieren selbstlernender Algo rithmen für ein automatisiert fahrbares Fahrzeug bekannt mit einem vorgegebenen Auto matisierungsmodul durch Erzeugung von Lernsituationen, wobei die Lernsituationen wie folgt erzeugt werden: - Durchführung einer Verkehrs-Simulation, bei der ein virtuelles Ego- Fahrzeug mit dem Automatisierungsmodul des realen Fahrzeugs in ein virtuelles Szenario gesetzt wird, das Szenario umfassend eine Fahrwegestruktur mit einer vorgegebenen Fahrtroute, ferner umfassend automatisiert erzeugte weitere virtuelle bewegte Objekte mit individuell vorgebbaren Objekteigenschaften und Verhaltensmodellen, wobei die Objekt im Zuge der fortschreitenden Simulation miteinander selbständig und adaptiv auf der Grundlage der jeweiligen Objekteigenschaften und Verhaltensmodelle interagieren, - Durchführung einer Fahrdynamik-Simulation auf der Grundlage des Automatisierungsmo duls sowie von virtuellen Sensorsignalen der bewegten Objekte einer dem Ego-Fahrzeug zugeordneten virtuellen Sensorik, die einer Sensorik des real existierenden Fahrzeugs entsprechen, bei der Reaktionen des Ego-Fahrzeugs erzeugt werden, - Identifikation einer relevanten Lernsituation anhand von Auswahlkriterien, die auf der Grundlage von vorgeb baren Metriken bestimmt werden. From DE 102017 007 136 A1 a method for training self-learning algorithms for an automated drivable vehicle is known with a predetermined automation module by generating learning situations, the learning situations being generated as follows: Carrying out a traffic simulation in which a virtual Ego- Vehicle with the automation module of the real vehicle is set in a virtual scenario, the scenario comprising a route structure with a specified route, furthermore, further virtual moving objects generated comprehensively in an automated manner with individually specifiable object properties and behavior models, with the objects independently and with each other in the course of the ongoing simulation interact adaptively on the basis of the respective object properties and behavior models, - Carrying out a driving dynamics simulation on the basis of the automation module as well as virtual sensor signals of the moving objects of a virtual sensor system assigned to the ego vehicle, which corresponds to a sensor system of the real vehicle in which Reactions of the ego vehicle are generated, - Identification of a relevant learning situation using selection criteria that are determined on the basis of predeterminable metrics.
Nachteilig hieran ist, dass die Simulation mit regelkonformen Verkehrsteilnehmern durch geführt wird. In der Realität kommt es hingegen häufig vor, dass Verkehrsteilnehmer sich nicht regelkonform verhalten, z.B. zu schnell fahren, Spurmarkierungen scheinbar grund los überfahren, unaufmerksam sind, rechts überholen etc. Ein nur mit sich regelkonform verhaltenden anderen Verkehrsteilnehmern trainierter Algorithmus ist daher schlechter auf menschliches Fahrverhalten vorbereitet. Dies führt zu einem unnatürlichen Fahrverhalten eines mit einem entsprechend trainierten Algorithmus ausgestatteten Kraftfahrzeugs, da das Kraftfahrzeug weniger flexibel reagiert. The disadvantage here is that the simulation is carried out with road users who conform to the rules. In reality, however, it often happens that road users do not comply with the rules, e.g. drive too fast, seemingly run over lane markings for no reason, are inattentive, overtake on the right, etc. An algorithm that is only trained with other road users who comply with the rules is therefore less sensitive to human driving behavior prepared. This leads to an unnatural driving behavior of a motor vehicle equipped with a suitably trained algorithm, since the motor vehicle reacts less flexibly.
Des Weiteren gibt es Situationen, in denen der Verkehrsfluss verbessert und ggf. sogar das Unfallrisiko reduziert werden können, wenn das Ego-Fahrzeug sich selbst nicht zu einhundert Prozent regelkonform verhält, z.B. wenn es eine durchgezogene Linie über fährt, um einem Hindernis auszuweichen, solange dies gefahrlos möglich ist, z.B. wenn kein Gegenverkehr herrscht. Ein Abbremsen könnte zur Folge haben, dass nachfolgend fahrende, unvorbereitete menschliche Fahrer durch die plötzliche Unterbrechung des Ver kehrsflusses einen Auffahrunfall bauen. Furthermore, there are situations in which the flow of traffic can be improved and possibly even the risk of an accident can be reduced if the ego vehicle does not behave one hundred percent according to the rules, e.g. if it drives over a solid line to avoid an obstacle for as long this can be done safely, e.g. if there is no oncoming traffic. Braking could have the consequence that unprepared human drivers who were driving afterwards could have a rear-end collision due to the sudden interruption of the flow of traffic.
Somit stellt sich die Aufgabe, Verfahren, Computerprogrammprodukte sowie Kraftfahr zeuge der eingangs genannten Art dahingehend weiterzubilden, dass eine bessere An passung eines trainierten Algorithmus auf reale Verkehrssituationen stattfinden kann. Die Aufgabe wird gelöst durch ein Verfahren zum Trainieren wenigstens eines Algorith mus für ein Steuergerät eines Kraftfahrzeugs gemäß Anspruch 1, ein Computerpro grammprodukt gemäß dem nebengeordneten Anspruch 12 sowie ein Kraftfahrzeug ge mäß dem nebengeordneten Anspruch 13. Weiterführende Ausgestaltungen und Weiterbil dungen sind Gegenstand der abhängigen Ansprüche. Thus, the task arises of developing methods, computer program products and motor vehicles of the type mentioned at the outset such that a trained algorithm can be better adapted to real traffic situations. The object is achieved by a method for training at least one algorithm for a control unit of a motor vehicle according to claim 1, a computer program product according to the independent claim 12 and a motor vehicle according to the independent claim 13. Further refinements and developments are the subject of the dependent claims .
Nachfolgend wird ein Verfahren zum Trainieren wenigstens eines Algorithmus für ein Steuergerät eines Kraftfahrzeugs beschrieben, wobei das Steuergerät zur Umsetzung ei ner automatisierten bzw. autonomen Fahrfunktion unter Eingriff in Aggregate des Kraft fahrzeugs auf der Grundlage von Eingangsdaten unter Verwendung des wenigstens einen Algorithmus vorgesehen ist, wobei der Algorithmus durch ein selbstlernendes neuronales Netz trainiert wird, umfassend folgende Schritte: a) Bereitstellen eines Computerprogrammproduktmoduls für die automati sierte bzw. autonome Fahrfunktion, wobei das Computerprogrammprodukt modul den zu trainierenden Algorithmus und das selbstlernende neuronale Netz enthält, b) Bereitstellen einer Simulationsumgebung mit Simulationsparametern, wo bei die Simulationsumgebung Kartendaten eines real existierenden Ein satzgebiets, das Kraftfahrzeug sowie wenigstens einen weiteren simulier ten Verkehrsteilnehmer enthält, wobei ein Verhalten des Kraftfahrzeugs so wie des wenigstens einen weiteren Verkehrsteilnehmers durch einen Re gelsatz bestimmt ist, wobei der Regelsatz zulässige Grenzen bestimmende Verhaltensparameter enthält, c) Bereitstellen einer Mission für das Kraftfahrzeug, d) Modifizieren wenigstens eines Verhaltensparameters des Kraftfahrzeugs, sodass der wenigstens eine Verhaltensparameter jenseits der zulässigen Grenzen liegt, e) Durchführen einer Simulation der Mission. A method for training at least one algorithm for a control unit of a motor vehicle is described below, the control unit being provided for implementing an automated or autonomous driving function with intervention in units of the motor vehicle on the basis of input data using the at least one algorithm, with the algorithm is trained by a self-learning neural network, comprising the following steps: a) providing a computer program product module for the automated or autonomous driving function, the computer program product module containing the algorithm to be trained and the self-learning neural network, b) providing a simulation environment with simulation parameters , where the simulation environment contains map data of a real existing area of use, the motor vehicle and at least one other simulated road user, with a behavior of the motor vehicle as well as the few At least one other road user is determined by a rule set, the rule set containing behavior parameters determining permissible limits, c) providing a mission for the motor vehicle, d) modifying at least one behavior parameter of the motor vehicle so that the at least one behavior parameter is beyond the permissible limits, e ) Perform a simulation of the mission.
Entsprechende Verhaltensparameter können beispielsweise die zulässige Geschwindig keit, einen einzuhaltenden Abstand, Verbotsüberschreitungsschwellwerte (z.B. ein Zeit raum, innerhalb dessen eine auf Rot wechselnde Ampel überfahren werden darf, Risiko parameter, bei denen eine durchgezogene Linie überfahren werden darf, und/oder wann trotz fehlender Vorfahrt weitergefahren werden darf), eine erlaubte Varianz der Position des Kraftfahrzeugs in der Spur, eine erlaubte Überholseite (bei Rechtsverkehr nur links oder beiderseits) und dergleichen mehr sein. Corresponding behavior parameters can be, for example, the permissible speed, a distance to be observed, thresholds for exceeding the prohibition (e.g. a period within which a traffic light that changes to red can be passed, risk parameters at which a solid line can be passed, and / or when despite no right of way) may continue to be driven), a permitted variance of the position of the motor vehicle in the lane, a permitted overtaking side (in right-hand traffic only on the left or on both sides) and the like.
Eine entsprechende Mission kann beispielsweise sein, von einem Ausgangspunkt in einer kürzest möglichen Zeit oder energieverbrauchsoptimiert zu einem festgelegten Ziel zu ge langen. A corresponding mission can be, for example, to get from a starting point in the shortest possible time or in an energy-efficient manner to a specified destination.
Es wurde festgestellt, dass ein entsprechend trainierter Algorithmus auch innerhalb enge rer Parametergrenzen, wie sie dann für einen Einsatz in einem realen Kraftfahrzeug ver wendet werden würden, ein anderes Fahrverhalten hat als ein herkömmlich trainierter Al gorithmus. Das Fahrverhalten eines solchen Algorithmus ist natürlicher, entspricht also e- her dem Fahrverhalten eines Menschen, was einerseits den Insassen zugutekommt und andererseits auf andere Verkehrsteilnehmer natürlicher wirkt. Ein Beispiel hierfür ist das Passieren eines in zweiter Reihe parkenden Lieferfahrzeuges mit notwendiger Über schreitung einer durchgezogenen Linie. Ein absolut regelkonformer Algorithmus würde das Kraftfahrzeug anhalten und so lange warten, bis das Lieferfahrzeug weiterfährt. Ein entsprechend dem vorliegend beschriebenen Verfahren trainierter Algorithmus, der in en gen Grenzen geltende Regeln überschreiten darf, z.B. wenn dies aufgrund fehlenden Ge genverkehrs gefahrlos möglich ist, fährt an einer solchen Stelle weiter. It was found that a suitably trained algorithm has a different driving behavior than a conventionally trained algorithm, even within narrower parameter limits, such as would then be used for use in a real motor vehicle. The driving behavior of such an algorithm is more natural, so it corresponds more closely to the driving behavior of a person, which on the one hand benefits the occupants and on the other hand has a more natural effect on other road users. An example of this is the passing of a delivery vehicle parked in the second row with the necessary crossing of a solid line. An algorithm that was absolutely compliant with the rules would stop the motor vehicle and wait for the delivery vehicle to continue. An algorithm trained in accordance with the method described here, which may exceed applicable rules within narrow limits, e.g. if this is possible without risk due to the lack of oncoming traffic, continues at such a point.
Hierdurch kann also erreicht werden, dass ein mit einem entsprechenden Algorithmus ausgerüstetes Kraftfahrzeug flexibler auf Verkehrssituationen reagieren kann als ein mit herkömmlichen Verfahren trainierter Algorithmus. It can thus be achieved that a motor vehicle equipped with a corresponding algorithm can react more flexibly to traffic situations than an algorithm trained with conventional methods.
In einer ersten weiterführenden Ausgestaltung kann vorgesehen sein, dass das neuronale Netz durch bestärkendes Lernen-Verfahren (auch bekannt als RFL-Algorithmus. RFL steht für: „reinforcement learning“) lernt, wobei als Belohnungsmetrik wenigstens eines von Zeit zur Erfüllung der Mission und/oder Anzahl der Unfälle, in die das Kraftfahrzeug involviert ist, während der Mission dient, wobei die Simulation so lange wiederholt wird, bis eine Mindestmetrik erreicht ist. In a first further refinement, it can be provided that the neural network learns through reinforcement learning processes (also known as the RFL algorithm. RFL stands for: "reinforcement learning"), with at least one of the time to fulfill the mission and / or number of accidents in which the motor vehicle is involved during the mission, the simulation being repeated until a minimum metric is reached.
Insbesondere kann vorgesehen sein, dass zum erfolgreichen Abschluss einer Mission er forderlich ist, keinen Unfall zu bauen. Eine weiterführende Metrik kann sein, nicht indirekt Auslöser von Unfällen anderer Verkehrsteilnehmer zu sein, z.B. durch plötzliches, uner wartetes hartes Bremsen. Durch Verwenden von bestärkendes Lernen-Verfahren lernt das neuronale Netzwerk bei aufeinanderfolgenden Simulationen immer bessere Strategien zum Absolvieren einer vor gegebenen Mission. In particular, it can be provided that in order to successfully complete a mission it is necessary not to cause an accident. A further metric can be that it is not an indirect trigger of accidents with other road users, e.g. through sudden, unexpected hard braking. By using reinforcing learning methods, the neural network learns better and better strategies for completing a given mission in successive simulations.
In einerweiteren weiterführenden Ausgestaltung kann vorgesehen sein, dass der wenigs tens eine anormale Verkehrsteilnehmer ein Kraftfahrzeug, Motorradfahrer oder Fußgän ger ist. In a further refinement, it can be provided that the at least one abnormal road user is a motor vehicle, motorcyclist or pedestrian.
Die Fahrzeuge werden von Menschen bewegt, die sich teilweise nicht regelkonform ver halten. Eine Simulation mit solchen sich anormal verhaltenen Verkehrsteilnehmern ist da her besonders realitätsnah. The vehicles are driven by people, some of whom do not comply with the rules. A simulation with such abnormally behaving road users is therefore particularly realistic.
In einerweiteren weiterführenden Ausgestaltung kann vorgesehen sein, dass das Compu terprogrammproduktmodul einen bereits mit regelkonformen Verkehrsteilnehmern vortrai nieren Algorithmus aufweist. In a further refinement, it can be provided that the computer program product module has an algorithm that has already been trained with road users that conform to the rules.
Auf diese Weise findet eine Verfeinerung der bereits erlernten Verhaltensweisen statt und das Training wird effizienter und schneller. In this way, the already learned behaviors are refined and the training becomes more efficient and faster.
In einerweiteren weiterführenden Ausgestaltung kann vorgesehen sein, dass der wenigs tens eine Verhaltensparameter um einen vorgegebenen Prozentsatz über- oder unter schritten wird. In a further refinement, it can be provided that the at least one behavior parameter is exceeded or fallen short of by a predetermined percentage.
Dies kann insbesondere bei in Zahlen ausdrückbaren Verhaltensparametern sinnvoll sein, beispielsweise einer Geschwindigkeit, einem Abstand, einer Abweichung von einer vorge gebenen Fahrlinie etc. This can be particularly useful for behavior parameters that can be expressed in numbers, for example a speed, a distance, a deviation from a specified driving line, etc.
In einerweiteren weiterführenden Ausgestaltung kann vorgesehen sein, dass die Simula tion mehrfach wiederholt wird, wobei jeweils wenigstens ein Simulationsparameter verän dert wird. In a further refinement, it can be provided that the simulation is repeated several times, with at least one simulation parameter being changed in each case.
Ein solcher Simulationsparameter kann beispielsweise ein Verhaltensparameter sein. Durch Variation der entsprechenden Parameter kann eine Überspezialisierung des Algo rithmus auf eine bestimmte Situation vermieden werden. In einerweiteren weiterführenden Ausgestaltung kann vorgesehen sein, dass die Simula tionsumgebung variiert wird. Such a simulation parameter can be a behavior parameter, for example. By varying the corresponding parameters, an over-specialization of the algorithm for a certain situation can be avoided. In a further refinement, it can be provided that the simulation environment is varied.
Auch hierdurch kann vermieden werden, dass der Algorithmus zu sehr auf die beste hende Simulationsumgebung trainiert wird. Die Variation kann beispielsweise durch Modi fikationen innerhalb des gleichen Verkehrsgebietes (z.B. durch Änderung von Straßen breiten, Vorfahrtsregeln, Ampelschaltungen, Straßensperren etc.) oder durch Änderung des Verkehrsgebietes als Ganzes erfolgen. This can also prevent the algorithm from being trained too much on the existing simulation environment. The variation can take place, for example, through modifications within the same traffic area (e.g. by changing road widths, right of way, traffic lights, road blocks, etc.) or by changing the traffic area as a whole.
In einerweiteren weiterführenden Ausgestaltung kann vorgesehen sein, dass wenigstens ein Verhaltensparameter variiert wird. In a further refinement, it can be provided that at least one behavior parameter is varied.
Solche Verhaltensparameter decken übliche Fahrverhalten von verschiedenen Fahrerty pen ab, zum Beispiel Fahrer, die tendenziell zu schnell fahren, Fahrer, deren Fahrpräzi sion geringer ist, etc. Such behavior parameters cover the usual driving behavior of different types of drivers, for example drivers who tend to drive too fast, drivers whose driving precision is less, etc.
In einerweiteren weiterführenden Ausgestaltung kann vorgesehen sein, dass die Anzahl, Positionierung und/oder Missionen der anderen Verkehrsteilnehmer variiert wird. In a further refinement, provision can be made for the number, positioning and / or missions of the other road users to be varied.
Hierdurch werden neue Situationen geschaffen, mithilfe deren der Algorithmus weiter trai niert werden kann. This creates new situations that can be used to further train the algorithm.
In einerweiteren weiterführenden Ausgestaltung kann vorgesehen sein, dass der Algorith mus weiterführend durch ein selbstlernendes neuronales Netz trainiert wird, umfassend folgende Schritte: a) Bereitstellen des Computerprogrammproduktmoduls für die automatisierte bzw. autonome Fahrfunktion, wobei das Computerprogrammproduktmodul den zu trai nierenden Algorithmus und das selbstlernende neuronale Netz enthält, b) Bereitstellen einer Simulationsumgebung mit Simulationsparametern, wobei die Simulationsumgebung Kartendaten eines real existierenden Einsatzgebiets, das Kraftfahrzeug sowie wenigstens einen weiteren simulierten Verkehrsteilnehmer enthält, wobei der weitere simulierte Verkehrsteilnehmer durch einen Algorithmus simuliert wird, der nach dem zuvor beschriebenen Verfahren trainiert wurde, c) Bereitstellen einer Mission für das Kraftfahrzeug, d) Durchführen einer Simulation der Mission. Auf diese Weise ist es möglich, nicht nur das eigene Kraftfahrzeug nicht verhaltenskon form auszugestalten, sondern auch andere Kraftfahrzeuge, wodurch sich die Robustheit des Algorithmus erhöht. In a further refinement, it can be provided that the algorithm is further trained by a self-learning neural network, comprising the following steps: a) Provision of the computer program product module for the automated or autonomous driving function, the computer program product module containing the algorithm to be trained and the self-learning neural network Network contains, b) providing a simulation environment with simulation parameters, wherein the simulation environment contains map data of a real existing application area, the motor vehicle and at least one other simulated road user, the other simulated road user being simulated by an algorithm that was trained according to the method described above, c) providing a mission for the motor vehicle, d) performing a simulation of the mission. In this way, it is possible not only to design your own motor vehicle that does not conform to behavior, but also other motor vehicles, which increases the robustness of the algorithm.
Der Algorithmus lässt sich auch auf andere Verkehrsteilnehmer anwenden, zum Beispiel Fußgänger oder Radfahrer, wobei in diesem Fall kein Computerprogrammproduktmodul für eine automatisiert bzw. autonome Fahrfunktion, sondern ein Computerprogrammpro duktmodul für eine Bewegungsverhaltenssimulation zum Einsatz kommt. Hierdurch kön nen diese Agenten realitätsnaher ausgestaltet werden und dann in zukünftigen Trainings missionen der zuvor beschriebenen Art zum Einsatz kommen, wodurch die Simulations qualität steigt. The algorithm can also be applied to other road users, for example pedestrians or cyclists, in which case no computer program product module for an automated or autonomous driving function, but a computer program product module for a movement behavior simulation is used. As a result, these agents can be designed more realistically and then used in future training missions of the type described above, which increases the quality of the simulation.
In einerweiteren weiterführenden Ausgestaltung kann vorgesehen sein, dass das Compu terprogrammproduktmodul in einem Steuergerät eines Kraftfahrzeuges integriert wird und wobei der Algorithmus im real existierenden Einsatzgebiet getestet und/oder trainiert wird. In a further refinement, provision can be made for the computer program product module to be integrated in a control unit of a motor vehicle and for the algorithm to be tested and / or trained in the real-world application.
Auf diese Weise können Einflüsse des realen Kraftfahrzeugs, die womöglich nicht voll ständig simulierbar sind, berücksichtigt werden. So kann ein real fahrendes Kraftfahrzeug anders reagieren als es simuliert wird. In this way, influences of the real motor vehicle, which possibly cannot be fully simulated, can be taken into account. A motor vehicle that is actually moving can react differently than it is simulated.
Ein erster unabhängiger Gegenstand betrifft eine Vorrichtung zum Trainieren wenigstens eines Algorithmus für ein Steuergerät eines Kraftfahrzeugs, wobei das Steuergerät zur Umsetzung einer automatisierten bzw. autonomen Fahrfunktion unter Eingriff in Aggre gate des Kraftfahrzeugs auf der Grundlage von Eingangsdaten unter Verwendung des wenigstens einen Algorithmus vorgesehen ist, wobei der Algorithmus durch ein selbstler nendes neuronales Netz trainiert wird, wobei vorgesehen sind: a) Mittel zum Bereitstellen eines Computerprogrammproduktmoduls für die automatisierte bzw. autonome Fahrfunktion, wobei das Computerpro grammproduktmodul den zu trainierenden Algorithmus und das selbstler nende neuronale Netz enthält, b) Mittel zum Bereitstellen einer Simulationsumgebung mit Simulationspara metern, wobei die Simulationsumgebung Kartendaten eines real existieren den Einsatzgebiets, das Kraftfahrzeug sowie wenigstens einen weiteren si- mulierten Verkehrsteilnehmer enthält, wobei ein Verhalten des Kraftfahr zeugs sowie des wenigstens einen weiteren Verkehrsteilnehmers durch ei nen Regelsatz bestimmt ist, wobei der Regelsatz zulässige Grenzen be stimmende Verhaltensparameter enthält, c) Mittel zum Bereitstellen einer Mission für das Kraftfahrzeug, d) Mittel zum Modifizieren wenigstens eines Verhaltensparameters des Kraft fahrzeugs, sodass der wenigstens eine Verhaltensparameter jenseits der zulässigen Grenzen liegt, e) Mittel zum Durchführen einer Simulation der Mission. A first independent subject relates to a device for training at least one algorithm for a control unit of a motor vehicle, the control unit being provided for implementing an automated or autonomous driving function by intervening in aggregates of the motor vehicle on the basis of input data using the at least one algorithm, the algorithm being trained by a self-learning neural network, the following being provided: a) means for providing a computer program product module for the automated or autonomous driving function, the computer program product module containing the algorithm to be trained and the self-learning neural network, b) means to provide a simulation environment with simulation parameters, the simulation environment map data of a real area of use, the motor vehicle and at least one other si- contains mulated road user, a behavior of the motor vehicle and the at least one other road user is determined by a rule set, the rule set containing permissible limits defining behavior parameters, c) means for providing a mission for the motor vehicle, d) means for modifying at least a behavior parameter of the motor vehicle, so that the at least one behavior parameter lies beyond the permissible limits, e) means for performing a simulation of the mission.
In einer ersten weiterführenden Ausgestaltung kann vorgesehen sein, dass das neuronale Netz Mittel zum Lernen durch bestärkendes Lernen-Verfahren aufweist, wobei als Beloh nungsmetrik wenigstens eines von Zeit zur Erfüllung der Mission und/oder Anzahl der Un fälle, in die das Kraftfahrzeug involviert ist, während der Mission vorgesehen ist, Mittel zum Wiederholen der Simulation vorgesehen sind, sodass die Simulation so lange wie derholt wird, bis eine Mindestmetrik erreicht ist. In a first further refinement, it can be provided that the neural network has means for learning through reinforcing learning processes, with at least one of the time to complete the mission and / or the number of accidents in which the motor vehicle is involved as the reward metric, during the mission, means are provided for repeating the simulation so that the simulation is repeated until a minimum metric is reached.
In einerweiteren weiterführenden Ausgestaltung kann vorgesehen sein, dass der wenigs tens eine anormale Verkehrsteilnehmer ein Kraftfahrzeug, Motorrad oder Fußgänger ist.In a further refinement, it can be provided that the at least one abnormal road user is a motor vehicle, motorcycle or pedestrian.
In einerweiteren weiterführenden Ausgestaltung kann vorgesehen sein, dass das Compu terprogrammproduktmodul einen bereits mit regelkonformen Verkehrsteilnehmern vortrai nieren Algorithmus aufweist. In a further refinement, it can be provided that the computer program product module has an algorithm that has already been trained with road users that conform to the rules.
In einerweiteren weiterführenden Ausgestaltung kann vorgesehen sein, dass Mittel zum Über- oder Unterschreiten der wenigstens eine Verhaltensparameter um einen vorgege benen Prozentsatz vorgesehen sind. In a further refinement, provision can be made for means to be provided for exceeding or falling below the at least one behavior parameter by a predetermined percentage.
In einerweiteren weiterführenden Ausgestaltung kann vorgesehen sein, dass Mittel zum mehrfachen Wederholen der Simulation, bei der jeweils wenigstens ein Simulationspara meter verändert ist, vorgesehen sind. In a further refinement, provision can be made for means to be provided for repeating the simulation several times, in which at least one simulation parameter is changed in each case.
In einerweiteren weiterführenden Ausgestaltung kann vorgesehen sein, dass Mittel zum Variieren der Simulationsumgebung vorgesehen sind. In a further refinement, provision can be made for means for varying the simulation environment to be provided.
In einerweiteren weiterführenden Ausgestaltung kann vorgesehen sein, dass Mittel zum Variieren wenigstens eines Verhaltensparameters vorgesehen sind. In a further refinement, it can be provided that means for Varying at least one behavior parameter are provided.
In einer weiteren weiterführenden Ausgestaltung kann vorgesehen sein, dass Mittel zum Variieren der Anzahl, Positionierung und/oder Missionen der anderen Verkehrsteilnehmer vorgesehen sind. In a further refinement, provision can be made for means for varying the number, positioning and / or missions of the other road users to be provided.
In einer weiteren weiterführenden Ausgestaltung kann vorgesehen sein, dass Mittel zum Trainieren des Algorithmus durch ein selbstlernendes neuronales Netz vorgesehen sind, wobei vorgesehen sind: a) Mittel zum Bereitstellen des Computerprogrammproduktmoduls für die automati sierte bzw. autonome Fahrfunktion, wobei das Computerprogrammproduktmodul den zu trainierenden Algorithmus und das selbstlernende neuronale Netz enthält, b) Mittel zum Bereitstellen einer Simulationsumgebung mit Simulationsparametern, wobei die Simulationsumgebung Kartendaten eines real existierenden Einsatzge biets, das Kraftfahrzeug sowie wenigstens einen weiteren simulierten Verkehrsteil nehmer enthält, wobei der weitere simulierte Verkehrsteilnehmer durch einen Al gorithmus simuliert wird, der nach dem zuvor beschriebenen Verfahren trainiert wurde, c) Mittel zum Bereitstellen einer Mission für das Kraftfahrzeug, d) Mittel zum Durchführen einer Simulation der Mission. In a further refinement, it can be provided that means are provided for training the algorithm by a self-learning neural network, the following being provided: a) means for providing the computer program product module for the automated or autonomous driving function, the computer program product module providing the algorithm to be trained and the self-learning neural network contains, b) means for providing a simulation environment with simulation parameters, wherein the simulation environment contains map data of a real existing operational area, the motor vehicle and at least one other simulated road user, the other simulated road user being simulated by an algorithm, which has been trained according to the method described above, c) means for providing a mission for the motor vehicle, d) means for performing a simulation of the mission.
In einer weiteren weiterführenden Ausgestaltung kann vorgesehen sein, dass das Compu terprogrammproduktmodul in einem Steuergerät eines Kraftfahrzeuges integriert ist und wobei Mittel zum Testen und/oder Trainieren des Algorithmus im real existierenden Ein satzgebiet vorgesehen sind. In a further refinement, provision can be made for the computer program product module to be integrated in a control unit of a motor vehicle, and means for testing and / or training the algorithm in a real area of use being provided.
Ein weiterer unabhängiger Gegenstand betrifft ein Computerprogrammprodukt, mit einem computerlesbaren Speichermedium, auf dem Befehle eingebettet sind, die, wenn sie von wenigstens einer Recheneinheit ausgeführt werden, bewirken, dass die wenigstens eine Recheneinheit dazu eingerichtet ist, das Verfahren der zuvor beschriebenen Art auszufüh ren. Another independent subject matter relates to a computer program product with a computer-readable storage medium on which instructions are embedded which, when executed by at least one processing unit, have the effect that the at least one processing unit is set up to execute the method of the type described above.
Das Verfahren kann auf einer oder auf mehreren Recheneinheiten verteilt ausgeführt wer den, sodass bestimmte Verfahrensschritte auf der einen Recheneinheit und andere Ver fahrensschritte auf wenigstens einer weiteren Recheneinheit ausgeführt werden, wobei berechnete Daten sofern notwendig zwischen den Recheneinheiten übermittelt werden können. The method can be carried out distributed over one or more processing units, so that certain method steps are carried out on the one processing unit and other process steps are carried out on at least one further processing unit, with calculated data can be transmitted between the processing units if necessary.
Ein weiterer unabhängiger Gegenstand betrifft ein Kraftfahrzeug mit einem Computerpro grammprodukt der zuvor beschriebenen Art. Another independent subject matter relates to a motor vehicle with a computer program product of the type described above.
Weitere Merkmale und Einzelheiten ergeben sich aus der nachfolgenden Beschreibung, in der - gegebenenfalls unter Bezug auf die Zeichnung - zumindest ein Ausführungsbei spiel im Einzelnen beschrieben ist. Beschriebene und/oder bildlich dargestellte Merkmale bilden für sich oder in beliebiger, sinnvoller Kombination den Gegenstand, gegebenenfalls auch unabhängig von den Ansprüchen, und können insbesondere zusätzlich auch Gegen stand einer oder mehrerer separater Anmeldung/en sein. Gleiche, ähnliche und/oder funk tionsgleiche Teile sind mit gleichen Bezugszeichen versehen. Dabei zeigen schematisch: Further features and details emerge from the following description in which - if necessary with reference to the drawing - at least one Ausführungsbei game is described in detail. Described and / or graphically represented features form the subject matter individually or in any meaningful combination, possibly also independently of the claims, and in particular can also be the subject matter of one or more separate applications. Identical, similar and / or functionally identical parts are provided with the same reference numerals. They show schematically:
Fig. 1 ein Kraftfahrzeug, das zum automatisierten bzw. autonomen Fahren einge richtet ist; Fig. 1 shows a motor vehicle which is set up for automated or autonomous driving;
Fig. 2 ein Computerprogrammprodukt für das Kraftfahrzeug aus Fig. 1; FIG. 2 shows a computer program product for the motor vehicle from FIG. 1; FIG.
Fig. 3 eine Simulationsumgebung dem Kraftfahrzeug aus Fig. 1, sowie Fig. 4 ein Ablaufdiagramm des Verfahrens. FIG. 3 shows a simulation environment for the motor vehicle from FIG. 1, and FIG. 4 shows a flow chart of the method.
Fig. 1 zeigt ein Kraftfahrzeug 2, das zum automatisierten bzw. autonomen Fahren einge richtet ist. Fig. 1 shows a motor vehicle 2, which is set up for automated or autonomous driving.
Das Kraftfahrzeug 2 weist ein Steuergerät 4 mit einer Recheneinheit 6 und einem Spei cher 8 auf. Im Speicher 8 ist ein Computerprogrammprodukt gespeichert, das im Nachfol genden im Zusammenhang mit den Fig. 2 bis 4 noch eingehender beschrieben wird. The motor vehicle 2 has a control device 4 with a computing unit 6 and a memory 8. A computer program product is stored in the memory 8 and is described in more detail below in connection with FIGS.
Das Steuergerät 4 ist einerseits mit einer Reihe von Umgebungssensoren verbunden, die eine Erfassung der aktuellen Lage des Kraftfahrzeugs 2 sowie der jeweiligen Verkehrssi tuation erlauben. Hierzu zählen Umgebungssensoren 10, 11 an der Front des Kraftfahr zeugs 2, Umgebungssensoren 12, 13 am Heck des Kraftfahrzeugs 2, eine Kamera 14 so wie ein GPS-Modul 16. Die Umgebungssensoren 10 bis 13 können z.B. Radar-, Lidar- und/oder Ultraschallsensoren umfassen. The control unit 4 is connected, on the one hand, to a number of environmental sensors which allow the current position of the motor vehicle 2 and the respective traffic situation to be recorded. These include environmental sensors 10, 11 at the front of the motor vehicle 2, environmental sensors 12, 13 at the rear of the motor vehicle 2, a camera 14 and a GPS module 16. The environmental sensors 10 to 13 can, for example, radar, lidar and / or ultrasonic sensors.
Des Weiteren sind Sensoren zur Erfassung des Zustands des Kraftfahrzeugs 2 vorgese hen, unter anderem Raddrehzahlsensoren 16, Beschleunigungssensoren 18 und Pe dalsensoren 20, die mit dem Steuergerät 4 verbunden sind. Mithilfe dieser Kraftfahr zeugsensorik kann der momentane Zustand des Kraftfahrzeuges 2 zuverlässig erfasst werden. Furthermore, sensors for detecting the state of the motor vehicle 2 are provided, including wheel speed sensors 16, acceleration sensors 18 and pedal sensors 20, which are connected to the control unit 4. With the aid of this motor vehicle sensor system, the current state of motor vehicle 2 can be reliably detected.
Während des Betriebs des Kraftfahrzeugs 2 hat die Recheneinheit 6 das im Speicher 8 abgelegte Computerprogrammprodukt geladen und führt dieses aus. Auf der Grundlage eines Algorithmus und der Eingangssignale entscheidet die Recheneinheit 6 über die Steuerung des Kraftfahrzeugs 2, die die Recheneinheit 6 über Eingriff in die Lenkung 22, Motorsteuerung 24 sowie Bremsen 26 erreichen würde, die jeweils mit dem Steuergerät 4 verbunden sind. During the operation of the motor vehicle 2, the computing unit 6 has loaded the computer program product stored in the memory 8 and executes it. On the basis of an algorithm and the input signals, the computing unit 6 decides on the control of the motor vehicle 2, which the computing unit 6 would achieve by intervening in the steering 22, engine control 24 and brakes 26, which are each connected to the control unit 4.
Daten der Sensoren 10 bis 20 werden fortlaufend im Speicher 8 zwischengespeichert und nach einer vorgegebenen Zeitdauer verworfen, damit diese Umgebungsdaten zur weite ren Auswertung zur Verfügung stehen können. Data from sensors 10 to 20 are continuously temporarily stored in memory 8 and discarded after a predetermined period of time so that these environmental data can be available for further evaluation.
Der Algorithmus wurde nach dem nachfolgend beschriebenen Verfahren trainiert. The algorithm was trained according to the method described below.
Fig. 2 zeigt ein Computerprogrammprodukt 28 mit einem Computerprogrammproduktmo dul 30. 2 shows a computer program product 28 with a computer program product module 30.
Das Computerprogrammproduktmodul 30 weist ein selbstlernendes neuronales Netz 32 auf, das einen Algorithmus 34 trainiert. Das selbstlernende neuronale Netz 32 lernt nach Methoden des bestärkenden Lernens, d. h. das neuronale Netz 32 versucht durch Varia tion des Algorithmus 34, Belohnungen für ein verbessertes Verhalten entsprechend einer oder mehrerer Metriken oder Maßstäbe, also für Verbesserungen des Algorithmus 34 zu erhalten. Alternativ können auch bekannte Lernverfahren des überwachten und unüber- wachten Lernens, sowie Kombinationen dieser Lernverfahren verwendet werden. The computer program product module 30 has a self-learning neural network 32 that trains an algorithm 34. The self-learning neural network 32 learns according to methods of reinforcement learning, d. H. By varying the algorithm 34, the neural network 32 tries to obtain rewards for improved behavior in accordance with one or more metrics or standards, that is to say for improvements to the algorithm 34. Alternatively, known learning methods of supervised and unsupervised learning as well as combinations of these learning methods can be used.
Der Algorithmus 34 kann im Wesentlichen ein komplexer Filter mit einer Matrix aus Wer ten, in der Regel von Fachmännern Gewichte genannt, bestehen, die eine Filterfunktion definieren, die das Verhalten des Algorithmus 34 abhängig von Eingangsgrößen, welche vorliegend über die Umgebungssensoren 10 bis 20 aufgenommen werden, bestimmt und Steuersignale zur Steuerung des Kraftfahrzeugs 2 generiert. Das Computerprogrammproduktmodul 30 kann sowohl im Kraftfahrzeug 2 als auch au ßerhalb des Kraftfahrzeugs 2 zum Einsatz gebracht werden. Somit ist es möglich, das Computerprogrammproduktmodul 30 sowohl in einer realen Umgebung als auch in einer Simulationsumgebung zu trainieren. Insbesondere beginnt das Training gemäß der hier beschriebenen Lehre in einer Simulationsumgebung, da dies sicherer ist als ein Training in einer realen Umgebung. The algorithm 34 can essentially consist of a complex filter with a matrix of values, usually called weights by those skilled in the art, that define a filter function that determines the behavior of the algorithm 34 as a function of input variables that are presently recorded by the environmental sensors 10 to 20 are determined and control signals for controlling the motor vehicle 2 are generated. The computer program product module 30 can be used both in the motor vehicle 2 and outside the motor vehicle 2. It is thus possible to train the computer program product module 30 both in a real environment and in a simulation environment. In particular, according to the teaching described here, the training begins in a simulation environment, since this is safer than training in a real environment.
Das Computerprogrammproduktmodul 30 ist dazu eingerichtet, eine Metrik aufzustellen, die verbessert werden soll. Eine solche Metrik kann beispielsweise eine Zeit bis zum Er reichen einer vorgegebenen Mission, beispielsweise eines Zielortes, sein. Wenn die Met rik eine gewisse Schwelle überschritten hat, z.B. eine Zeit kleiner als eine Grenzzeit, kann die Metrik als erfüllt gelten und der Algorithmus diesbezüglich eingefroren werden. Dann kann entweder hinsichtlich einer anderen Metrik optimiert und weiter trainiert werden oder der Algorithmus kann in einer realen Umgebung getestet werden. The computer program product module 30 is set up to set up a metric that is to be improved. Such a metric can, for example, be a time until reaching a predetermined mission, for example a destination. If the metric has exceeded a certain threshold, e.g. a time less than a limit time, the metric can be considered fulfilled and the algorithm can be frozen in this regard. It can then either be optimized with regard to another metric and trained further, or the algorithm can be tested in a real environment.
Fig. 3 zeigt eine Simulationsumgebung 36 dem Kraftfahrzeug 2 aus Fig. 1. FIG. 3 shows a simulation environment 36 for motor vehicle 2 from FIG. 1.
In der Simulationsumgebung 36 ist eine Straßenkreuzung 38 vorgesehen, an der sich eine Straße 40 mit einer Straße 42 kreuzen. Die Straßenkreuzung 38 basiert auf real exis tierenden Kartendaten, sodass konkret das Verhalten des Algorithmus 34 an dieser Stra ßenkreuzung 38 simuliert wird. A road intersection 38 is provided in the simulation environment 36, at which a road 40 and a road 42 intersect. The intersection 38 is based on real existing map data, so that the behavior of the algorithm 34 at this intersection 38 is simulated specifically.
An einem Straßenrand der Straße 40 parkt ein Kraftfahrzeug 44 derart, dass eine Vorbei fahrt nicht ohne Überfahren einer durchgezogenen Linie 46 möglich ist. Gleichzeitig möchte gemäß der Simulation ein Motorradfahrer 48 von der Straße 42 in die Straße 40 einbiegen. Zudem bewegt sich ein Fußgänger 50 ohne auf den Verkehr zu achten mit ho her Geschwindigkeit in Bewegungsrichtung 52 auf die Straße 40 zu, um diese augen scheinlich zu überqueren. A motor vehicle 44 is parked at the edge of the road 40 in such a way that it is not possible to drive past without crossing a solid line 46. At the same time, according to the simulation, a motorcyclist 48 would like to turn from road 42 into road 40. In addition, a pedestrian 50 moves without paying attention to the traffic at high speed in the direction of movement 52 towards the street 40 in order to apparently cross it.
In der betreffenden Situation gibt es für den Algorithmus 34 eine Vielzahl von komplexen Entscheidungen zu treffen. Die erste Entscheidung, die zu treffen ist, ist, ob die durchge zogene Linie 46 überhaupt überfahren werden darf. Da ein Passieren des geparkten Kraftfahrzeugs 44 ohne Überschreiten der durchgezogenen Linie 46 nicht möglich ist, wird die Entscheidung vom Algorithmus 34 mit ja zu beantworten sein, es stellt sich jedoch die Frage, mit welchen Fahrparametern. Der Algorithmus 34 muss dazu eine Vorhersage dar über treffen, wie sich der Motorradfahrer 48 verhalten wird, der möglicherweise auf seiner normalen Trajektorie relativ dicht an das Kraftfahrzeug 2 herankommen würde. Im Alltag ist es jedoch häufig so, dass entsprechende Motorradfahrer aufgrund der geringen Breite des Motorrades und der im Kreuzungsbereich geringen Geschwindigkeit problemlos aus- weichen bzw. weiter rechts auf ihrer Spur fahren können. In the situation in question, the algorithm 34 has to make a large number of complex decisions. The first decision that has to be made is whether the solid line 46 may be crossed at all. Since it is not possible to pass the parked motor vehicle 44 without crossing the solid line 46, the decision of the algorithm 34 will have to be answered with yes, but the question arises as to the driving parameters with which. For this purpose, the algorithm 34 must make a prediction of how the motorcyclist 48 will behave, possibly on his normal trajectory would come relatively close to the motor vehicle 2. In everyday life, however, it is often the case that corresponding motorcyclists can easily evade or drive further to the right in their lane due to the small width of the motorcycle and the low speed in the intersection area.
Des Weiteren ist die Geschwindigkeit des Kraftfahrzeuges 2 zu berücksichtigen. Wenn das Kraftfahrzeug 2 zum Überholen des geparkten Kraftfahrzeugs 44 leicht beschleunigt, reduziert sich die Wahrscheinlichkeit, dass das Kraftfahrzeug 2 die geplante Trajektorie des Motorradfahrers 48 beeinträchtigt. Dies könnte jedoch dazu führen, dass das Kraft fahrzeug 2 die Trajektorie des womöglich unaufmerksamen Fußgängers 50, der gerade dabei ist, die Straße 40 zu überqueren, kreuzt, wodurch sich ein Unfall ereignen könnte. Furthermore, the speed of the motor vehicle 2 must be taken into account. If the motor vehicle 2 accelerates slightly in order to overtake the parked motor vehicle 44, the probability that the motor vehicle 2 will impair the planned trajectory of the motorcyclist 48 is reduced. However, this could lead to the motor vehicle 2 crossing the trajectory of the possibly inattentive pedestrian 50 who is just about to cross the street 40, which could result in an accident.
In aufeinanderfolgenden Iterationen könnte der Algorithmus 34 also zunächst versuchen, das Kraftfahrzeug 44 ohne anzuhalten zu passieren. Dazu könnte das Kraftfahrzeug 2 zu nächst seine Geschwindigkeit über die erlaubte Höchstgeschwindigkeit hinaus zu erhö hen, um das Kraftfahrzeug 44 zu passieren. Dies könnte jedoch zu einer Unterschreitung eines Mindestabstandes zwischen den Fußgänger 50 und dem Kraftfahrzeug 2 führen. In successive iterations, the algorithm 34 could therefore first try to pass the motor vehicle 44 without stopping. For this purpose, the motor vehicle 2 could first of all increase its speed above the permitted maximum speed in order to pass the motor vehicle 44. However, this could lead to a minimum distance between the pedestrian 50 and the motor vehicle 2 being undershot.
In einer darauffolgenden Interaktion könnte der Algorithmus 34 das Kraftfahrzeug 2 lang samer bewegen, was jedoch eine Gefahr für den Motorradfahrer 48 hervorrufen könnte. In a subsequent interaction, the algorithm 34 could move the motor vehicle 2 more slowly, which, however, could pose a danger to the motorcyclist 48.
Anschließend könnte der Algorithmus 34 das Kraftfahrzeug 2 zunächst zum Passieren des geparkten Kraftfahrzeuges 44 beschleunigen und danach wieder abbremsen. Diese Lösung ist zu bevorzugen, da sie einerseits ein Passieren des geparkten Kraftfahrzeugs 44 und ein zügiges Abschließen der vorliegenden Mission ermöglicht und andererseits die Metriken der Gefährdung anderer Verkehrsteilnehmer 48, 50 optimiert. The algorithm 34 could then initially accelerate the motor vehicle 2 to pass the parked motor vehicle 44 and then brake it again. This solution is to be preferred because on the one hand it enables the parked motor vehicle 44 to be passed and the present mission to be completed quickly and, on the other hand, it optimizes the metrics of the endangerment of other road users 48, 50.
Anschließend kann ein Optimieren hinsichtlich anderer Kriterien und Metriken erfolgen, um den Reifegrad des Algorithmus 34 weiter zu erhöhen. Optimization with regard to other criteria and metrics can then take place in order to further increase the degree of maturity of the algorithm 34.
Fig. 4 zeigt ein Ablaufdiagramm des Verfahrens. 4 shows a flow chart of the method.
Zunächst wird nach dem Start das Computerprogrammproduktmodul bereitgestellt. Das Computerprogrammproduktmodul beinhaltet den zu trainierenden Algorithmus und ein selbstlernendes neuronales Netz. Anschließend wird auf der Basis von realen Kartendaten eine Simulationsumgebung be reitgestellt. Die Simulationsumgebung kann neben Straßen und bestimmten Regeln auch andere Verkehrsteilnehmer nebst deren Missionen enthalten. First, after the start, the computer program product module is made available. The computer program product module contains the algorithm to be trained and a self-learning neural network. A simulation environment is then made available on the basis of real map data. In addition to roads and certain rules, the simulation environment can also contain other road users and their missions.
Ausgehend von einem Basisalgorithmus kann ein Regelsatz des Ego-Fahrzeugs variiert werden, der Verhaltensregeln beinhaltet, zum Beispiel Einhalten von Geschwindigkeiten, Überfahren durchgezogener Linien, Position auf der Fahrspur etc. On the basis of a basic algorithm, a set of rules for the ego vehicle can be varied, which contains rules of behavior, for example maintaining speeds, driving over solid lines, position in the lane, etc.
Dann kann die Simulation durchgeführt werden, wobei nach Verfahren des bestärkenden Lernens versucht wird, einzelne Metriken zu erreichen. Solange dies nicht der Fall ist, wird die Strategie bzw. der Algorithmus variiert und die Simulation erneut solange durch geführt, bis eine bestimmte Einzelmetrik erreicht ist. Dieses Verfahren wird für sämtliche Metriken wiederholt. The simulation can then be carried out, using reinforcement learning methods to attempt to achieve individual metrics. As long as this is not the case, the strategy or the algorithm is varied and the simulation is carried out again until a certain individual metric is reached. This process is repeated for all metrics.
Sobald alle Metriken erreicht sind, wird der Regelsatz des Ego-Fahrzeuges variiert und das Verfahren so lange wiederholt, bis der Algorithmus ausreichend gereift ist. Anschlie ßend kann der Algorithmus eingefroren werden. As soon as all metrics have been reached, the rule set of the ego vehicle is varied and the process is repeated until the algorithm has matured sufficiently. The algorithm can then be frozen.
Der Algorithmus kann beispielsweise in Verkehrssimulationen für andere simulierte Fahr zeuge als den des zu trainierenden Kraftfahrzeugs verwenden werden. Auch kann das Verfahren auf andere Verkehrsteilnehmer angewendet werden. The algorithm can be used, for example, in traffic simulations for simulated vehicles other than that of the motor vehicle to be trained. The method can also be applied to other road users.
Das Training kann in einer realen Umgebung weitergeführt werden, die vollständig oder gemischt-real ist. The training can be continued in a real environment that is fully or mixed real.
Obwohl der Gegenstand im Detail durch Ausführungsbeispiele näher illustriert und erläu tert wurde, so ist die Erfindung nicht durch die offenbarten Beispiele eingeschränkt und andere Variationen können vom Fachmann hieraus abgeleitet werden. Es ist daher klar, dass eine Vielzahl von Variationsmöglichkeiten existiert. Es ist ebenfalls klar, dass bei spielhaft genannte Ausführungsformen nur Beispiele darstellen, die nicht in irgendeiner Weise als Begrenzung etwa des Schutzbereichs, der Anwendungsmöglichkeiten oder der Konfiguration der Erfindung aufzufassen sind. Vielmehr versetzen die vorhergehende Be schreibung und die Figurenbeschreibung den Fachmann in die Lage, die beispielhaften Ausführungsformen konkret umzusetzen, wobei der Fachmann in Kenntnis des offenbar ten Erfindungsgedankens vielfältige Änderungen beispielsweise hinsichtlich der Funktion oder der Anordnung einzelner, in einer beispielhaften Ausführungsform genannter Ele mente vornehmen kann, ohne den Schutzbereich zu verlassen, der durch die Ansprüche und deren rechtliche Entsprechungen, wie etwa einer weitergehenden Erläuterung in der Beschreibung, definiert wird. Although the subject matter was illustrated and explained in more detail by means of exemplary embodiments, the invention is not restricted by the examples disclosed and other variations can be derived therefrom by the person skilled in the art. It is therefore clear that there is a multitude of possible variations. It is also clear that the exemplary embodiments mentioned are only examples that are not to be understood in any way as a limitation, for example, of the scope of protection, the possible applications or the configuration of the invention. Rather, the preceding description and the description of the figures enable the person skilled in the art to specifically implement the exemplary embodiments, with the person skilled in the art knowing the inventive concept disclosed various changes, for example with regard to the function or the arrangement of individual elements mentioned in an exemplary embodiment without departing from the scope of protection which is defined by the claims and their legal equivalents, such as a more detailed explanation in the description.
Bezugszeichenliste List of reference symbols
2 Kraftfahrzeug 2 motor vehicle
4 Steuergerät 4 control unit
6 Recheneinheit 6 arithmetic unit
8 Speicher 8 memories
10 Umgebungssensor 10 environmental sensor
11 Umgebungssensor 11 Environment sensor
12 Umgebungssensor 12 environmental sensor
13 Umgebungssensor 13 Environment sensor
14 Kamera 14 camera
15 GPS-Modul 15 GPS module
16 Raddrehzahlsensor 16 wheel speed sensor
18 Beschleunigungssensor 18 accelerometer
20 Pedalsensor 20 pedal sensor
22 Lenkung 22 Steering
24 Motorsteuerung 24 Motor control
26 Bremsen 26 brakes
28 Computerprogrammprodukt 28 Computer program product
30 Computerprogrammproduktmodul 30 computer program product module
32 neuronales Netz 32 neural network
34 Algorithmus 34 algorithm
36 Simulationsumgebung 36 Simulation environment
38 Straßenkreuzung 38 intersection
40, 42 Straße 40, 42 street
44 geparktes Kraftfahrzeug 44 parked motor vehicle
46 durchgezogene Linie 46 solid line
48 Motorradfahrer 48 motorcyclists
50 Fußgänger 50 pedestrians
52 Bewegungsrichtung des Fußgängers 5052 Direction of movement of the pedestrian 50
54 geplante Trajektorie 54 planned trajectory

Claims

Patentansprüche Claims
1. Verfahren zum Trainieren wenigstens eines Algorithmus (34) für ein Steuergerät (4) eines Kraftfahrzeugs (2), wobei das Steuergerät (4) zur Umsetzung einer automati sierten bzw. autonomen Fahrfunktion unter Eingriff in Aggregate (22, 24, 26) des Kraftfahrzeugs (2) auf der Grundlage von Eingangsdaten unter Verwendung des wenigstens einen Algorithmus (34) vorgesehen ist, wobei der Algorithmus (34) durch ein selbstlernendes neuronales Netz (32) trainiert wird, umfassend folgende Schritte: a) Bereitstellen eines Computerprogrammproduktmoduls (30) für die automatisierte bzw. autonome Fahrfunktion, wobei das Computerprogrammproduktmodul (30) den zu trainierenden Algorithmus (34) und das selbstlernende neuronale Netz (32) ent hält, b) Bereitstellen einer Simulationsumgebung (36) mit Simulationsparametern, wobei die Simulationsumgebung (36) Kartendaten (38) eines real existierenden Einsatzge biets, das Kraftfahrzeug (2) sowie wenigstens einen weiteren simulierten Verkehrs teilnehmer (48, 50) enthält, wobei ein Verhalten des Kraftfahrzeugs (2) sowie des wenigstens einen weiteren Verkehrsteilnehmer (48, 50) durch einen Regelsatz be stimmt ist, wobei der Regelsatz zulässige Grenzen bestimmende Verhaltenspara meter enthält, c) Bereitstellen einer Mission für das Kraftfahrzeug (2), d) Modifizieren wenigstens eines Verhaltensparameters des Kraftfahrzeugs (2), so- dass der wenigstens eine Verhaltensparameter jenseits der zulässigen Grenzen liegt, e) Durchführen einer Simulation der Mission. 1. A method for training at least one algorithm (34) for a control unit (4) of a motor vehicle (2), the control unit (4) for implementing an automatized or autonomous driving function with intervention in units (22, 24, 26) of the Motor vehicle (2) is provided on the basis of input data using the at least one algorithm (34), the algorithm (34) being trained by a self-learning neural network (32), comprising the following steps: a) Providing a computer program product module (30) for the automated or autonomous driving function, the computer program product module (30) containing the algorithm (34) to be trained and the self-learning neural network (32), b) providing a simulation environment (36) with simulation parameters, the simulation environment (36) being map data (38) of a real existing operational area, the motor vehicle (2) and at least one other simulated traffic participant (48, 50) contains, wherein a behavior of the motor vehicle (2) and of the at least one other road user (48, 50) is determined by a rule set, the rule set containing permissible limits-determining behavior parameters, c) providing a mission for the motor vehicle (2), d) modifying at least one behavior parameter of the motor vehicle (2) so that the at least one behavior parameter lies beyond the permissible limits, e) performing a simulation of the mission.
2. Verfahren nach Anspruch 1, wobei das neuronale Netz (32) durch bestärkendes Lernen-Verfahren lernt, wobei als Belohnungsmetrik wenigstens eines von Zeit zur Erfüllung der Mission und/oder Anzahl der Unfälle, in die das Kraftfahrzeug (2) invol viert ist, während der Mission dient, wobei die Simulation so lange wiederholt wird, bis eine Mindestmetrik erreicht ist. 2. The method according to claim 1, wherein the neural network (32) learns by reinforcing learning method, with at least one of the time to fulfill the mission and / or number of accidents in which the motor vehicle (2) is involved as a reward metric, serves during the mission, with the simulation repeated until a minimum metric is reached.
3. Verfahren nach Anspruch 1 oder 2, wobei der wenigstens eine anormale Verkehrs teilnehmer ein Kraftfahrzeug (2), Motorradfahrer (48) oder Fußgänger (50) ist. 3. The method of claim 1 or 2, wherein the at least one abnormal traffic participant is a motor vehicle (2), motorcyclist (48) or pedestrian (50).
4. Verfahren nach einem der vorangegangenen Ansprüche, wobei das Computerpro grammproduktmodul (30) einen bereits mit regel konformen Verkehrsteilnehmern (48, 50) vortrainieren Algorithmus (34) aufweist. 4. The method according to any one of the preceding claims, wherein the computer program product module (30) has an algorithm (34) which has already been pre-trained with rule-compliant road users (48, 50).
5. Verfahren nach einem der vorangegangenen Ansprüche, wobei der wenigstens eine Verhaltensparameter um einen vorgegebenen Prozentsatz über- oder unterschritten wird. 5. The method according to any one of the preceding claims, wherein the at least one behavior parameter is exceeded or undercut by a predetermined percentage.
6. Verfahren nach einem der vorangegangenen Ansprüche, wobei die Simulation mehrfach wiederholt wird, wobei jeweils wenigstens ein Simulationsparameter ver ändert wird. 6. The method according to any one of the preceding claims, wherein the simulation is repeated several times, with at least one simulation parameter being changed in each case.
7. Verfahren nach Anspruch 6, wobei die Simulationsumgebung (36) variiert wird. 7. The method of claim 6, wherein the simulation environment (36) is varied.
8. Verfahren nach Anspruch 6 oder 7, wobei wenigstens ein Verhaltensparameter vari iert wird. 8. The method according to claim 6 or 7, wherein at least one behavior parameter is varied.
9. Verfahren nach einem der Ansprüche 6 bis 8, wobei die Anzahl, Positionierung und/oder Missionen der anderen Verkehrsteilnehmer (48, 50) variiert wird. 9. The method according to any one of claims 6 to 8, wherein the number, positioning and / or missions of the other road users (48, 50) is varied.
10. Verfahren nach einem der vorangegangenen Ansprüche, wobei der Algorithmus (34) durch ein selbstlernendes neuronales Netz (32) trainiert wird, umfassend fol gende Schritte: a) Bereitstellen des Computerprogrammproduktmoduls (30) für die automatisierte bzw. autonome Fahrfunktion, wobei das Computerprogrammproduktmodul (30) den zu trainierenden Algorithmus (34) und das selbstlernende neuronale Netz (32) ent hält, b) Bereitstellen einer Simulationsumgebung (36) mit Simulationsparametern, wobei die Simulationsumgebung (36) Kartendaten eines real existierenden Einsatzgebiets (38), das Kraftfahrzeug (2) sowie wenigstens einen weiteren simulierten Verkehrs teilnehmer (48, 50) enthält, wobei der weitere simulierte Verkehrsteilnehmer (48, 50) durch einen Algorithmus simuliert wird, der nach einem der Ansprüche 1 bis 9 trai niert wurde, c) Bereitstellen einer Mission für das Kraftfahrzeug (2), e) Durchführen einer Simulation der Mission. 10. The method according to any one of the preceding claims, wherein the algorithm (34) is trained by a self-learning neural network (32), comprising the following steps: a) providing the computer program product module (30) for the automated or autonomous driving function, the computer program product module (30) contains the algorithm (34) to be trained and the self-learning neural network (32), b) providing a simulation environment (36) with simulation parameters, the simulation environment (36) being map data of a real application area (38), the motor vehicle ( 2) and at least one further simulated traffic participant (48, 50), the further simulated traffic participant (48, 50) is simulated by an algorithm which was trained according to one of claims 1 to 9, c) providing a mission for the motor vehicle (2), e) performing a simulation of the mission.
11. Verfahren nach einem der vorangegangenen Ansprüche, wobei das Computerpro grammproduktmodul (30) in einem Steuergerät (4) eines Kraftfahrzeuges (2) inte griert wird und wobei der Algorithmus (34) im real existierenden Einsatzgebiet (38) getestet und/oder trainiert wird. 11. The method according to any one of the preceding claims, wherein the computer program product module (30) in a control unit (4) of a motor vehicle (2) is inte grated and wherein the algorithm (34) is tested and / or trained in the real existing application area (38) .
12. Computerprogrammprodukt, mit einem computerlesbaren Speichermedium (8), auf dem Befehle eingebettet sind, die, wenn sie von wenigstens einer Recheneinheit (6) ausgeführt werden, bewirken, dass die wenigstens eine Recheneinheit (6) dazu ein gerichtet ist, das Verfahren nach einem der vorangegangenen Ansprüche auszufüh ren. 12. Computer program product with a computer-readable storage medium (8) on which instructions are embedded which, when executed by at least one processing unit (6), cause the at least one processing unit (6) to be directed to the method according to one of the preceding claims auszufüh ren.
13. Kraftfahrzeug mit einem Computerprogrammprodukt nach Anspruch 12. 13. Motor vehicle with a computer program product according to claim 12.
PCT/EP2020/079764 2019-10-31 2020-10-22 Method for training at least one algorithm for a control device of a motor vehicle, computer program product, and motor vehicle WO2021083785A1 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202080076990.0A CN114667545A (en) 2019-10-31 2020-10-22 Method for training at least one algorithm for a control unit of a motor vehicle, computer program product and motor vehicle
EP20796785.2A EP4052178A1 (en) 2019-10-31 2020-10-22 Method for training at least one algorithm for a control device of a motor vehicle, computer program product, and motor vehicle

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102019216836.1 2019-10-31
DE102019216836.1A DE102019216836A1 (en) 2019-10-31 2019-10-31 Method for training at least one algorithm for a control unit of a motor vehicle, computer program product and motor vehicle

Publications (1)

Publication Number Publication Date
WO2021083785A1 true WO2021083785A1 (en) 2021-05-06

Family

ID=73013437

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2020/079764 WO2021083785A1 (en) 2019-10-31 2020-10-22 Method for training at least one algorithm for a control device of a motor vehicle, computer program product, and motor vehicle

Country Status (4)

Country Link
EP (1) EP4052178A1 (en)
CN (1) CN114667545A (en)
DE (1) DE102019216836A1 (en)
WO (1) WO2021083785A1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116424332A (en) * 2023-04-10 2023-07-14 重庆大学 Energy management strategy enhancement updating method for deep reinforcement learning type hybrid electric vehicle

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113345227B (en) * 2021-05-31 2022-09-20 上海涵润汽车电子有限公司 Random traffic flow generation method and device
CN113392467A (en) * 2021-06-15 2021-09-14 广东洪裕智能制造研究院有限公司 Automobile part complex product collaborative simulation platform based on HLATH _ RTI
DE102021206737A1 (en) * 2021-06-29 2022-12-29 Psa Automobiles Sa Designing an automation algorithm for a vehicle
CN114333493B (en) * 2021-12-31 2022-10-14 江苏普旭科技股份有限公司 Human body simulation system and method of driving simulator
DE102022208519A1 (en) 2022-08-17 2024-02-22 STTech GmbH Computer-implemented method and computer program for the movement planning of an ego driving system in a traffic situation, computer-implemented method for the movement planning of an ego driving system in a real traffic situation, control device for an ego vehicle
CN117246345A (en) * 2023-11-06 2023-12-19 镁佳(武汉)科技有限公司 Method, device, equipment and medium for controlling generating type vehicle

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102017007136A1 (en) 2017-07-27 2019-01-31 Opel Automobile Gmbh Method and device for training self-learning algorithms for an automated mobile vehicle

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102018217004A1 (en) * 2017-10-12 2019-04-18 Honda Motor Co., Ltd. Autonomous vehicle strategy generation
CN111919225B (en) * 2018-03-27 2024-03-26 辉达公司 Training, testing, and validating autonomous machines using a simulated environment

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102017007136A1 (en) 2017-07-27 2019-01-31 Opel Automobile Gmbh Method and device for training self-learning algorithms for an automated mobile vehicle

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
JINGCHU LIU ET AL: "Elements of Effective Deep Reinforcement Learning towards Tactical Driving Decision Making", ARXIV.ORG, CORNELL UNIVERSITY LIBRARY, 201 OLIN LIBRARY CORNELL UNIVERSITY ITHACA, NY 14853, 1 February 2018 (2018-02-01), XP081214071 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116424332A (en) * 2023-04-10 2023-07-14 重庆大学 Energy management strategy enhancement updating method for deep reinforcement learning type hybrid electric vehicle
CN116424332B (en) * 2023-04-10 2023-11-21 重庆大学 Energy management strategy enhancement updating method for deep reinforcement learning type hybrid electric vehicle

Also Published As

Publication number Publication date
EP4052178A1 (en) 2022-09-07
CN114667545A (en) 2022-06-24
DE102019216836A1 (en) 2021-05-06

Similar Documents

Publication Publication Date Title
EP4052178A1 (en) Method for training at least one algorithm for a control device of a motor vehicle, computer program product, and motor vehicle
DE102019206908B4 (en) Method for training at least one algorithm for a control unit of a motor vehicle, computer program product, motor vehicle and system
EP3543985A1 (en) Simulation of different traffic situations for a test vehicle
DE102018220865B4 (en) Method for training at least one algorithm for a control unit of a motor vehicle, computer program product and motor vehicle
DE102014216257A1 (en) Method for determining a driving strategy
DE102016007899B4 (en) Method for operating a device for traffic situation analysis, motor vehicle and data processing device
WO2021115918A1 (en) Method for creating a road user algorithm for computer simulation of road users, method for training at least one algorithm for a control unit of a motor vehicle, computer program product, and motor vehicle
AT523834B1 (en) Method and system for testing a driver assistance system
EP3942379A1 (en) Method for training at least one algorithm for a control unit of a motor vehicle, computer program product, motor vehicle and system
DE102017200580A1 (en) Method for optimizing a maneuver planning for autonomous vehicles
EP4111438A1 (en) Method for training at least one algorithm for a control device of a motor vehicle, computer program product, and motor vehicle
EP4107590A1 (en) Method for training at least one algorithm for a control device of a motor vehicle, method for optimising traffic flow in a region, computer program product, and motor vehicle
WO2010045903A1 (en) Apparatus and method for controlling and/or regulating a vehicle using data on vehicles driving in adjacent lanes
WO2019011536A1 (en) Method, device, computer program and a machine-readable storage medium for operating a vehicle
DE102020129802A1 (en) VEHICLE OPERATIONAL IDENTIFICATION
EP4226248A1 (en) Method and a system for testing a driver assistance system for a vehicle
DE102020110671A1 (en) Process for automated longitudinal control
DE102019101613A1 (en) Simulate different traffic situations for a test vehicle
DE102010025977A1 (en) Method for recognizing of driving maneuver of motor vehicle, involves defining of driving maneuver as sequence of base elements, where each base element is defined by fuzzy rule
DE102021202083A1 (en) Computer-implemented method for training at least one algorithm for a control unit of a motor vehicle, computer program product, control unit and motor vehicle
WO2024037812A1 (en) Method for evaluating the safety of a lane-change manoeuvre in the automated driving mode of a vehicle
DE102021003856A1 (en) Method for operating an automated vehicle
DE102020215781A1 (en) Method and device for determining a driving state of at least one moving target vehicle in the vicinity of an ego vehicle
DE112020007528T5 (en) Device and method for driving monitoring
WO2023245217A1 (en) Method for training an artificial neural network of a driver model

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20796785

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2020796785

Country of ref document: EP

Effective date: 20220531