WO2021037838A1 - Automatisierte erkennung eines anormalen verhaltens eines verkehrsteilnehmers - Google Patents

Automatisierte erkennung eines anormalen verhaltens eines verkehrsteilnehmers Download PDF

Info

Publication number
WO2021037838A1
WO2021037838A1 PCT/EP2020/073724 EP2020073724W WO2021037838A1 WO 2021037838 A1 WO2021037838 A1 WO 2021037838A1 EP 2020073724 W EP2020073724 W EP 2020073724W WO 2021037838 A1 WO2021037838 A1 WO 2021037838A1
Authority
WO
WIPO (PCT)
Prior art keywords
neural network
artificial neural
vehicle
road user
data
Prior art date
Application number
PCT/EP2020/073724
Other languages
English (en)
French (fr)
Inventor
Ulrich Eberle
Sven Hallerbach
Original Assignee
Psa Automobiles Sa
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Psa Automobiles Sa filed Critical Psa Automobiles Sa
Priority to EP20761802.6A priority Critical patent/EP4022589A1/de
Publication of WO2021037838A1 publication Critical patent/WO2021037838A1/de

Links

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0108—Measuring and analyzing of parameters relative to traffic conditions based on the source of data
    • G08G1/0112—Measuring and analyzing of parameters relative to traffic conditions based on the source of data from the vehicle, e.g. floating car data [FCD]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0108—Measuring and analyzing of parameters relative to traffic conditions based on the source of data
    • G08G1/0116—Measuring and analyzing of parameters relative to traffic conditions based on the source of data from roadside infrastructure, e.g. beacons
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0125—Traffic data processing
    • G08G1/0129—Traffic data processing for creating historical data or processing based on historical data
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0137—Measuring and analyzing of parameters relative to traffic conditions for specific applications
    • G08G1/0141—Measuring and analyzing of parameters relative to traffic conditions for specific applications for traffic information dissemination
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/04—Detecting movement of traffic to be counted or controlled using optical or ultrasonic detectors
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/164—Centralised systems, e.g. external to vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography

Definitions

  • the invention relates to a method for training an artificial neural network with regard to the detection of abnormal behavior of road traffic participants, a method for executing an artificial neural network trained in this way in a vehicle, a similar vehicle, a system with a test vehicle for training an artificial neural network for the detection of abnormal behavior of road traffic participants, as well as a computer program product and a computer-readable medium in each case for the execution of the respective method.
  • the object of the invention is to improve automated or autonomous driving with a vehicle in road traffic.
  • a first aspect of the invention relates to a method for training an artificial neural network with regard to the detection of abnormal behavior of road traffic participants, comprising the steps:
  • the external sensor unit is preferably arranged on an aircraft, in particular an unmanned aircraft such as a quadrocopter, a hexacopter, an octocopter, or on a fixed-wing drone.
  • the external sensor unit is arranged in a stationary manner in an area of a road on which the test vehicle is traveling, i.e. on a fixed device such as a street lamp, a warning beacon, a mast of a traffic sign, a traffic light, or other structures, in particular on a Intersection arranged.
  • the external sensor unit and the test vehicle sensor unit result in two sources of information in order to obtain data on the behavior of the first road user.
  • This advantageously facilitates the accurate training of the artificial neural network, since by means of the external sensor unit, which naturally looks down from above at the road and especially at the intersection at the first road user, approximately completely exact data about the behavior of the first road user are available Under certain circumstances, the mere observation by the test vehicle sensor unit would not be present to a sufficient extent, since it does not look down on the road and in particular the intersection with the first road user.
  • ground truth data can advantageously be obtained, this term being used in particular in the area of machine learning when complete and error-free data sets are used in the input for training purposes, so that an error in machine learning is due to incomplete or incorrect data sets can be practically ruled out and machine learning takes place in the best possible way.
  • An artificial neural network is essentially an adaptable function that can generate a mapping between the input data and the output data using input data and output data and using a cost function.
  • a large number of different neural network architectures are known in the prior art.
  • such artificial neural networks are used to establish a deterministic relationship between sensor-recorded data about the behavior of the first road user and a measure or a decision as to whether the behavior of the first road user is normal behavior or abnormal behavior Road user.
  • the behavior of the (first) road user is understood to mean, in particular, a trajectory guidance that preferably includes location information, a speed profile and an acceleration profile along the trajectory and optionally also preferably a lateral acceleration of the first road user.
  • What is normal behavior and what is abnormal behavior of the first road user is essentially a matter of free definition and it is the task of an engineer to define this.
  • Such a definition is part of the training of the artificial neural network and is assigned to the output of the neural network.
  • the neural network is fed for the purpose of training with the determined first data and the determined second data in the input channel of the neural network, so that the neural network calculates an output for these inputs, the output being a measure of normality or reflects the abnormality of the behavior of the first road user, and at least during the training of the artificial neural network, the output is assigned to a predetermined level or a decision on the normal or abnormal behavior of the first road user is assigned by default.
  • input values and output values are known, and in particular by minimizing a cost function that includes a difference between the output values calculated on the basis of the current parameters of the artificial neural network and the specified output values, the parameters are adjusted so that the artificial neural network, the relationship between the input values and output values during the training phase always better meets, until ultimately the neural network is trained to such an extent that it can reliably determine the extent of the normal or abnormal behavior of the first road user itself.
  • the usual methods of supervised and unsupervised learning are used.
  • the measure of normal or abnormal behavior can in particular be a numerical value or a symbolic value, whereupon a decision can be made, in particular by comparing the numerical value or the symbolic value with a limit value, whether normal or abnormal behavior of the first road user is present, or alternatively, the measure is preferably already a binary variable and directly contains the decision as to whether the behavior of the first road user is normal or abnormal, which is in particular due to a Activation function takes place, which maps the output of the artificial neural network to, in particular, 'O' or 'T'.
  • the training of the artificial neural network according to the first aspect of the invention is preferably carried out in a large number of repetitions in order to generate a sufficient number and sufficiently different types of first data and second data from the test vehicle sensor unit or the external sensor unit and a reliable mapping by the artificial generate neural network.
  • first data and second data are generated, in particular on a large number of first road users, and the artificial neural network is thus trained.
  • the artificial neural network is trained with practically complete and error-free data (so-called "ground truth” data) about the first road user, which significantly improves the quality of the training of the artificial neural network, whereas the trained artificial neural network in the vehicle can be operated reliably on the basis of current first data from the vehicle sensor unit.
  • Another advantage of the internal sensor unit is that, due to its natural arrangement above a road or on an aircraft, it is not evaluated directly by another road user, so that the training can go unnoticed by the other road user during the training phase of the artificial neural network determined data about the respective recorded road user result.
  • the method is also used to execute the artificial neural network in the vehicle and furthermore has the following steps:
  • an artificial neural network that has been trained according to the first aspect of the invention is used in another vehicle to to monitor the behavior of road users.
  • the additional vehicle is not necessarily the same as the test vehicle, but it can be. This explains why the vehicle can use the artificial neural network trained by means of the test vehicle, since the mapping which the artificial neural network reproduces is in principle independent of the carrier vehicle.
  • an artificial neural network, which was trained with a test vehicle and with an external sensor unit with respect to a first road user can advantageously be used on any vehicle in order to monitor the behavior of a second road user who is independent of the first road user .
  • Another aspect of the invention relates to a method for executing an artificial neural network in a vehicle, comprising the steps:
  • an artificial neural network the artificial neural network with first, one of which is arranged on a test vehicle
  • Test vehicle sensor unit determined, data about a first road user and with second, determined by an external and stationary sensor unit arranged in the area of a road or on an aircraft, data about the first road user has been trained as an input of the artificial neural network, and the artificial neural network Network has been trained with a predetermined level related to the behavior of the first road user for classification into normal or abnormal behavior of the first road user as a predetermined output of the artificial neural network,
  • the decision as to whether the behavior of the second road user is abnormal is made by comparing the output of the artificial neural network with a predefined metric.
  • the metric is preferably a limit value against which the output of the artificial neural network is compared. In this way, a binary statement is advantageously made based on a numerical value of the output of the artificial neural network about whether the second road user is behaving normally or abnormally.
  • the method furthermore has the step:
  • the reduction of the degree of autonomy with which the vehicle is currently operated can consist on the one hand of switching off some of the automating components of the vehicle, further up to handing over the complete and sole control authority over the vehicle to the driver of the vehicle.
  • the first data include kinematic information about the first road user and / or the second road user.
  • Kinematic information about the first road user relates in particular to information that reproduces a position or a time derivative of the position of the first road user.
  • Kinematic information can thus include a speed, an acceleration, a time derivative of the acceleration, in particular in the direction of travel, and furthermore in particular also at right angles to the current direction of travel.
  • the kinematic information can also be provided relative to restrictions and traffic rules, in particular speeds relative to a speed limit, steering movements relative to a lane, in particular to dashed or solid markings, and generally relative to other restrictions imposed by general rules or special traffic signs or illuminated displays.
  • the second data each include kinematic information about the first road user.
  • the respective kinematic data include at least one position and / or a trajectory of the respective road user.
  • the data about the first road user include information about a current lane in which the first road user is located and / or information about one or more lane changes by the first road user.
  • Another aspect of the invention relates to a vehicle having a vehicle sensor unit and a computing unit, the computing unit being designed to provide an artificial neural network, the artificial neural network having first data determined by a test vehicle sensor unit on a test vehicle via a first Traffic participant and with second, from an external sensor unit arranged stationary in the area of a road or arranged on an aircraft, data about the first traffic participant has been trained in each case as an input of the artificial neural network, and wherein the artificial neural network with a predetermined and based on the Behavior of the first road user related measure for classification into normal or abnormal behavior of the first road user has been trained as a predetermined output of the artificial neural network, the vehicle sensor unit for detection sen is executed from current first data about a second road user, and wherein the computing unit for executing the artificial neural network with the current first data as the only input of the artificial neural network and for deciding on the basis of the output of the artificial neural network whether an abnormal behavior of the second road user is present, is executed.
  • the vehicle sensor unit has at least one of the following:
  • Another aspect of the invention relates to a system with a test vehicle, with a calculation unit, and with an external sensor unit, for training an artificial neural network to detect abnormal behavior of road traffic participants, the test vehicle having a test vehicle sensor unit and the external sensor unit being stationary is arranged in the area of a road or is arranged on an aircraft, wherein
  • test vehicle sensor unit is designed to determine first data about a first road user
  • the external sensor unit is designed to determine second data about the first road user
  • the calculation unit for training the artificial neural network with the first data and with the second data in each case as an input of the artificial neural network and with a predetermined measure related to the behavior of the first road user for classification into normal or abnormal behavior of the road user as a predetermined output of the artificial neural network, and for storing the trained artificial neural network in a memory unit for later execution in the vehicle, the stored trained artificial neural network being designed to contain first data about a second road user currently recorded by a vehicle sensor unit of a vehicle to be executed as the only input of the artificial neural network.
  • the external sensor unit and / or the test vehicle sensor unit each have at least one of the following:
  • Another aspect of the invention relates to a computer program product, comprising instructions which, when the program is executed by a computer, cause the computer to execute the method as described above and below.
  • Another aspect of the invention relates to a computer-readable medium which comprises computer-controlled instructions for carrying out the method as described above and below.
  • FIG. 3 shows a system according to a further exemplary embodiment of the invention.
  • FIG. 4 shows a vehicle and a second road user according to a further exemplary embodiment of the invention.
  • FIG. 1 shows a method for training an artificial neural network with regard to the detection of abnormal behavior of road traffic participants and for executing the artificial neural network in a vehicle 20, comprising the steps:
  • FIG. 2 shows a method for executing an artificial neural network in a vehicle 20, comprising the steps:
  • Provision H1 of an artificial neural network the artificial neural network with first data about a first road user 1 determined by a test vehicle sensor unit 11 arranged on a test vehicle 10 and with second data about the first road user 1 determined by an external sensor unit 30 has been trained in each case as an input of the artificial neural network, the external sensor unit 30 being arranged stationary in the area of a road or being arranged on an aircraft, and the artificial neural network with a predetermined level related to the behavior of the first road user 1 for Classification into normal or abnormal behavior of the first road user 1 has been trained as a predetermined output of the artificial neural network,
  • Execution H5 of a predefined reaction if the decision about abnormal behavior of the second road user 2 is positive, the predefined reaction being the output of a visual and an acoustic warning to the driver of the vehicle 20.
  • FIGS. 1 and 2 are reflected in the system of FIG. 3 and the description of the vehicle 20 from FIG. 4. The descriptions of the figures can therefore be used reciprocally.
  • the test vehicle 10 is equipped with a test vehicle sensor unit 11 equipped with cameras.
  • the cameras of the test vehicle sensor unit 11 determine first data about a first road user 1, the first road user 1 being considered as an example pars per toto for a large number of other road users.
  • the external sensor unit 30 simultaneously determines - also by camera - second data about the first road user 1. Thus, redundant, but in particular also complementary first and second data about the behavior of the first road user 1 are available.
  • Both the first data and the second data are sent to the external calculation unit 101, the training of the artificial neural network with the first data and with the second data each as an input of the artificial neural network and with a predetermined and based on the behavior of the first Road user 1-related measure for classification into normal or abnormal behavior of the road user takes over as a predetermined output of the artificial neural network.
  • the calculation unit 101 stores a plurality of second ones Road users 1 from the trained artificial neural network in a memory unit 3 for later execution in the vehicle 20 of FIG. 4.
  • the stored, trained artificial neural network is configured by the calculation unit 101 in such a way that it can execute first data currently recorded by a vehicle sensor unit 21 of a vehicle 20 about a second road user 2 as the only input of the artificial neural network. See the description of FIG. 4 in this regard.
  • FIG. 4 shows a vehicle 20 having a vehicle sensor unit 21 and a computing unit 22, the computing unit 22 providing the artificial neural network trained according to FIG. 3.
  • the vehicle sensor unit 21 records current first data about a second road user 2 with cameras arranged on the front of the vehicle and on the rear of the vehicle.
  • the computing unit 22 then executes the already completed trained artificial neural network with the current first data from the cameras of the vehicle sensor unit 21 as the only input of the artificial neural network.
  • a decision is made as to whether the behavior of the second road user 2 is abnormal. If an abnormal behavior of the second road user 2 is determined, a warning is output to the driver of the vehicle 20.

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Analytical Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Traffic Control Systems (AREA)

Abstract

Die Erfindung betrifft ein Verfahren zum Trainieren eines künstlichen neuronalen Netzes, aufweisend die Schritte: - Ermitteln (S1) von ersten Daten über einen ersten Verkehrsteilnehmer (1) durch eine Versuchsfahrzeugsensoreinheit (11), - Ermitteln (S2) von zweiten Daten über den ersten Verkehrsteilnehmer (1) durch eine externe Sensoreinheit (30), - Trainieren (S3) des künstlichen neuronalen Netzes mit den ersten Daten und mit den zweiten Daten jeweils als Eingang und mit einem vorgegebenen Maß zur Einordnung in normales oder anormales Verhalten des Verkehrsteilnehmers als vorgegebener Ausgang, und - Abspeichern (S4) des trainierten neuronalen Netzes in einer Speichereinheit (3) zur späteren Ausführung in dem Fahrzeug (20), wobei das abgespeicherte trainierte künstliche neuronale Netz dazu ausgeführt ist, mit aktuell von einer Fahrzeugsensoreinheit (21) eines Fahrzeugs (20) erfassten ersten Daten über einen zweiten Verkehrsteilnehmer (2) als einziger Eingang des künstlichen neuronalen Netzes ausgeführt zu werden.

Description

AUTOMATISIERTE ERKENNUNG EINES ANORMALEN VERHALTENS EINES VERKEHRSTEILNEHMERS
Die Erfindung betrifft ein Verfahren zum Trainieren eines künstlichen neuronalen Netzes bezüglich einer Erfassung anormalen Verhaltens von Teilnehmern des Straßenverkehrs, ein Verfahren zum Ausführen eines so trainierten künstlichen neuronalen Netzes in einem Fahrzeug, ein ebensolches Fahrzeug, ein System mit einem Versuchsfahrzeug zum Trainieren eines künstlichen neuronalen Netzes zur Erfassung anormalen Verhaltens von Teilnehmern des Straßenverkehrs, sowie ein Computerprogrammprodukt und ein computerlesbares Medium jeweils zur Ausführung der jeweiligen Verfahren.
Aufgabe der Erfindung ist es, das automatisierte bzw. autonome Fahren mit einem Fahrzeug im Straßenverkehr zu verbessern.
Die Erfindung ergibt sich aus den Merkmalen der unabhängigen Ansprüche. Vorteilhafte Weiterbildungen und Ausgestaltungen sind Gegenstand der abhängigen Ansprüche.
Ein erster Aspekt der Erfindung betrifft ein Verfahren zum Trainieren eines künstlichen neuronalen Netzes bezüglich einer Erfassung anormalen Verhaltens von Teilnehmern des Straßenverkehrs, aufweisend die Schritte:
- Ermitteln von ersten Daten über einen ersten Verkehrsteilnehmer durch eine an einem Versuchsfahrzeug angeordnete Versuchsfahrzeugsensoreinheit,
- Ermitteln von zweiten Daten über den ersten Verkehrsteilnehmer durch eine externe Sensoreinheit, wobei die externe Sensoreinheit stationär im Bereich einer Straße angeordnet ist oder an einem Luftfahrzeug angeordnet ist,
- Trainieren des künstlichen neuronalen Netzes mit den ersten Daten und mit den zweiten Daten jeweils als Eingang des künstlichen neuronalen Netzes und mit einem vorgegebenen und auf das Verhalten des ersten Verkehrsteilnehmers bezogenen Maß zur Einordnung in normales oder anormales Verhalten des Verkehrsteilnehmers als vorgegebener Ausgang des künstlichen neuronalen Netzes, und
- Abspeichern des trainierten künstlichen neuronalen Netzes in einer Speichereinheit zur späteren Ausführung in dem Fahrzeug, wobei das abgespeicherte trainierte künstliche neuronale Netz dazu ausgeführt ist, mit aktuell von einer Fahrzeugsensoreinheit eines Fahrzeugs erfassten ersten Daten über einen zweiten Verkehrsteilnehmer als einziger Eingang des künstlichen neuronalen Netzes ausgeführt zu werden. Die externe Sensoreinheit ist bevorzugt an einem Luftfahrzeug, insbesondere einem unbemannten Luftfahrzeug wie einem Quadrocopter, einem Hexacopter, einem Oktocopter, oder an einer Starrflügel-Drohne angeordnet. Alternativ bevorzugt dazu ist die externe Sensoreinheit in einem Bereich einer Straße, auf der das Versuchsfahrzeug unterwegs ist, stationär angeordnet, das heißt an einer fixen Einrichtung wie einer Straßenlaterne, einer Warnbake, einem Masten eines Verkehrszeichens, einer Ampel, oder anderen Bauten insbesondere an einer Kreuzung angeordnet.
Durch die externe Sensoreinheit und die Versuchsfahrzeugsensoreinheit ergeben sich zwei Informationsquellen, um Daten über das Verhalten des ersten Verkehrsteilnehmers zu gewinnen. Dies erleichtert vorteilhaft das akkurate Trainieren des künstlichen neuronalen Netzes, da mittels der externen Sensoreinheit, die naturgemäß von oben herab auf die Fahrbahn und insbesondere auf die Kreuzung auf den ersten Verkehrsteilnehmer herab blickt, näherungsweise vollkommen exakte Daten über das Verhalten des ersten Verkehrsteilnehmers vorliegen, die unter Umständen durch die bloße Beobachtung durch die Versuchsfahrzeugsensoreinheit nicht in ausreichendem Maße vorliegen würden, da diese nicht auf die Straße und insbesondere die Kreuzung mit dem ersten Verkehrsteilnehmer herab blickt. So lassen sich vorteilhaft sogenannte "ground-truth" Daten gewinnen, wobei dieser Begriff insbesondere im Bereich des maschinellen Lernens dann verwendet wird, wenn zu Trainingszwecken vollständige und fehlerfreie Datensätze im Eingang verwendet werden, sodass ein Fehler im maschinellen Lernen aufgrund von unvollständigen oder fehlerhaften Datensätzen praktisch ausgeschlossen werden kann und das maschinelle Lernen bestmöglich erfolgt.
Ein künstliches neuronales Netz ist im Wesentlichen eine anpassbare Funktion, die mittels Eingangsdaten und Ausgangsdaten und mittels einer Kostenfunktion eine Abbildung zwischen den Eingangsdaten und den Ausgangsdaten erzeugen kann. Im Stand der Technik sind hierbei eine Vielzahl verschiedener Architekturen von neuronalen Netzen bekannt.
Solche künstliche neuronale Netze werden gemäß dem ersten Aspekt der Erfindung verwendet, um einen deterministischen Zusammenhang herzustellen zwischen sensorisch erfassten Daten über das Verhalten des ersten Verkehrsteilnehmers und einem Maß oder bereits einer Entscheidung, ob das Verhalten des ersten Verkehrsteilnehmers einem normalen Verhalten oder einem anormalen Verhalten eines Verkehrsteilnehmers entspricht. Unter dem Verhalten des (ersten) Verkehrsteilnehmers wird insbesondere eine Trajektorienführung verstanden, die bevorzugt eine Ortsinformation, einen Geschwindigkeitsverlauf und einen Beschleunigungsverlauf entlang der Trajektorie und optional weiterhin bevorzugt auch eine Seitenbeschleunigung des ersten Verkehrsteilnehmers umfasst.
Was ein normales Verhalten und was ein anormales Verhalten des ersten Verkehrsteilnehmers ist, ist dabei im Wesentlichen freie Definitionssache und es ist Aufgabe eines Ingenieurs, dies zu definieren. Eine solche Definition ist Teil des Trainieren des künstlichen neuronalen Netzes und ist dem Ausgang des neuronalen Netzes zugeordnet. Das heißt, dass das neuronale Netz zum Zwecke des Trainierens mit den ermittelten ersten Daten und den ermittelten zweiten Daten im Eingangskanal des neuronalen Netzes gespeist wird, sodass das neuronale Netz auf diese Eingänge hin einen Ausgang berechnet, wobei der Ausgang ein Maß für die Normalität oder die Anormalität des Verhaltens des ersten Verkehrsteilnehmers widerspiegelt, und zumindest während des Trainierens des künstlichen neuronalen Netzes der Ausgang einem vorgegebenen Maß oder bereits eine Entscheidung zum normalen oder anomalen Verhalten des ersten Verkehrsteilnehmers durch Vorgabe zugeordnet wird.
So sind beim Trainieren des neuronalen Netzes Eingangswerte und Ausgangswerte bekannt, und insbesondere durch Minimieren einer Kostenfunktion, die eine Differenz zwischen den auf Basis der aktuellen Parameter des künstlichen neuronalen Netzes berechneten Ausgangswerten und den vorgegebenen Ausgangswerten umfasst, werden die Parameter so angeglichen, dass das künstliche neuronale Netz den Zusammenhang zwischen den Eingangswerten und Ausgangswerten während der Trainingsphase immer besser trifft, bis letztendlich das neuronale Netz so weit trainiert ist, dass es zuverlässig das Maß bezüglich dem normalen oder anormalen Verhalten des ersten Verkehrsteilnehmers selbst bestimmen kann. Dabei finden übliche Methoden des überwachten bzw. unüberwachten Lernens Einsatz.
Das Maß zum normalen oder anormalen Verhalten kann dabei insbesondere ein numerischer Wert sein, oder ein symbolischer Wert, worauf hin jeweils eine Entscheidung insbesondere durch Abgleich des numerischen Wertes oder des symbolischen Wertes mit einem Grenzwert getroffen werden kann, ob normales oder anormales Verhalten des ersten Verkehrsteilnehmers vorliegt, oder alternativ bevorzugt ist das Maß bereits eine binäre Variable und enthält direkt die Entscheidung, ob normales oder anomales Verhalten des ersten Verkehrsteilnehmers vorliegt, was insbesondere durch eine Aktivierungsfunktion erfolgt, die den Ausgang des künstlichen neuronalen Netzes auf insbesondere 'O' oder auf ’T abbildet.
Bevorzugt wird das Trainieren des künstlichen neuronalen Netzes gemäß dem ersten Aspekt der Erfindung in einer großen Vielzahl an Wiederholungen ausgeführt, um ausreichend viele und ausreichend verschiedenartige erste Daten und zweite Daten von der Versuchsfahrzeugsensoreinheit bzw. der externen Sensoreinheit zu generieren und eine zuverlässige Abbildung durch das künstliche neuronale Netz zu erzeugen. Durch die Wiederholung des ersten Aspekts der Erfindung werden somit erste Daten und zweite Daten insbesondere an einer großen Vielzahl von ersten Verkehrsteilnehmern erzeugt und damit das künstliche neuronale Netz trainiert.
Es ist eine vorteilhafte Wirkung der Erfindung, dass mit praktisch gesehen vollständigen und fehlerfreien Daten (sogenannten "ground truth" Daten) über den ersten Verkehrsteilnehmer das künstliche neuronale Netz trainiert wird, was die Qualität des Trainings des künstlichen neuronalen Netzes erheblich verbessert, wohingegen das trainierte künstliche neuronale Netz im Fahrzeug auf Basis von aktuellen ersten Daten aus der Fahrzeugsensoreinheit zuverlässig betrieben werden kann. Ein weiterer Vorteil der internen Sensoreinheit ist, dass diese durch ihre naturgemäße Anordnung oberhalb einer Straße oder an einem Luftfahrzeug nicht direkt von einem anderen Verkehrsteilnehmer bewertet wird, sodass zur Trainingsphase des künstlichen neuronalen Netzes das Training von dem anderen Verkehrsteilnehmer unbemerkt bleiben kann, wodurch sich unbeeinflusste ermittelte Daten über den jeweiligen erfassten Verkehrsteilnehmer ergeben.
Gemäß einer vorteilhaften Ausführungsform dient das Verfahren weiterhin zum Ausführen des künstlichen neuronalen Netzes in dem Fahrzeug und weist weiterhin die Schritte auf:
- Ausführen des abgespeicherten trainierten künstlichen neuronalen Netzes in dem Fahrzeug während der Fahrt des Fahrzeugs mit aktuellen, von der am Fahrzeug angeordneten Fahrzeugsensoreinheit ermittelten, ersten Daten über den zweiten Verkehrsteilnehmer, wobei die aktuell ermittelten ersten Daten der Fahrzeugsensoreinheit als einziger Eingang des künstlichen neuronalen Netzes dienen, und
- Entscheiden auf Basis des Ausgangs des künstlichen neuronalen Netzes, ob ein anormales Verhalten des zweiten Verkehrsteilnehmers vorliegt.
Gemäß dieser Ausführungsform wird ein künstliches neuronales Netz, das gemäß dem ersten Aspekt der Erfindung trainiert wurde, in einem weiteren Fahrzeug verwendet, um damit das Verhalten der Verkehrsteilnehmer zu überwachen. Das weitere Fahrzeug ist nicht notwendigerweise gleich dem Versuchsfahrzeug, kann es jedoch sein. Insofern erklärt sich, dass das Fahrzeug das mittels des Versuchsfahrzeugs trainierte künstliche neuronale Netz verwenden kann, da die Abbildung, welche das künstliche neuronale Netz wiedergibt, prinzipiell vom Trägerfahrzeug unabhängig ist. Vorteilhaft kann daher durch diese Ausführungsform ein künstliches neuronales Netz, welches mittels eines Versuchsfahrzeuges und mit einer externen Sensoreinheit bezüglich eines ersten Verkehrsteilnehmers trainiert wurde, auf einem beliebigen Fahrzeug verwendet werden, um das Verhalten eines zweiten Verkehrsteilnehmers, der vom ersten Verkehrsteilnehmer unabhängig ist, zu überwachen.
Ein weiterer Aspekt der Erfindung betrifft ein Verfahren zum Ausführen eines künstlichen neuronalen Netzes in einem Fahrzeug, aufweisend die Schritte:
- Bereitstellen eines künstlichen neuronalen Netzes, wobei das künstliche neuronale Netz mit ersten, von einer an einem Versuchsfahrzeug angeordneten
Versuchsfahrzeugsensoreinheit ermittelten, Daten über einen ersten Verkehrsteilnehmer und mit zweiten, von einer externen und stationär im Bereich einer Straße oder an einem Luftfahrzeug angeordneten Sensoreinheit ermittelten, Daten über den ersten Verkehrsteilnehmer jeweils als Eingang des künstlichen neuronalen Netzes trainiert worden ist, und wobei das künstliche neuronale Netz mit einem vorgegebenen und auf das Verhalten des ersten Verkehrsteilnehmers bezogenen Maß zur Einordnung in normales oder anormales Verhalten des ersten Verkehrsteilnehmers als vorgegebener Ausgang des künstlichen neuronalen Netzes trainiert worden ist,
- Erfassen von aktuellen ersten Daten über einen zweiten Verkehrsteilnehmer durch eine am Fahrzeug angeordnete Fahrzeugsensoreinheit,
- Ausführen des trainierten künstlichen neuronalen Netzes in dem Fahrzeug während der Fahrt des Fahrzeugs mit aktuellen, von einer am Fahrzeug angeordneten Fahrzeugsensoreinheit ermittelten, ersten Daten über den zweiten Verkehrsteilnehmer, wobei die aktuell ermittelten ersten Daten der Fahrzeugsensoreinheit als einziger Eingang des künstlichen neuronalen Netzes dienen, und
- Entscheiden auf Basis des Ausgangs des künstlichen neuronalen Netzes, ob ein anormales Verhalten des zweiten Verkehrsteilnehmers vorliegt.
Die zum ersten Aspekt der Erfindung gemachten Erklärungen und die zur bevorzugten Ausführungsform des ersten Aspekts der Erfindung gemachten Erklärungen können uneingeschränkt auf den zweiten obigen Aspekt der Erfindung übertragen werden. Gemäß einerweiteren vorteilhaften Ausführungsform erfolgt das Entscheiden, ob ein anormales Verhalten des zweiten Verkehrsteilnehmers vorliegt, durch Vergleich des Ausgangs des künstlichen neuronalen Netzes mit einer vorgegeben Metrik. Bevorzugt ist die Metrik ein Grenzwert, gegen den der Ausgang des künstlichen neuronalen Netzes verglichen wird. Vorteilhaft wird hierdurch eine binäre Aussage ausgehend von einem numerischen Wert des Ausgangs des künstlichen neuronalen Netzes darüber getroffen, ob ein normales oder ein anomales Verhalten des zweiten Verkehrsteilnehmers vorliegt.
Gemäß einerweiteren vorteilhaften Ausführungsform weist das Verfahren weiterhin den Schritt auf:
- Ausführen einer vorgegeben Reaktion, wenn das Entscheiden über anormales Verhalten des zweiten Verkehrsteilnehmers positiv ausfällt, wobei die vorgegebene Reaktion zumindest eine aus den folgenden ist: Ausgeben einer Warnung an den Fahrer des Fahrzeugs, Vermindern des Grades der Autonomie, mit der das Fahrzeug aktuell betrieben wird, Ändern von Parametern eines automatischen oder autonomen Steueralgorithmus des Fahrzeugs derart, dass die Fahrweise des Fahrzeugs auf Basis des autonomen Steueralgorithmus defensiver wird, Ändern einer geplanten Trajektorie des Fahrzeugs.
Das Vermindern des Grades der Autonomie, mit der das Fahrzeug aktuell betrieben wird kann einerseits in einem Abschalten einiger automatisierenden Komponenten des Fahrzeugs bestehen, weitergehend bis zum Übergeben der vollständigen und alleinigen Kontrollautorität über das Fahrzeug an den Fahrer des Fahrzeugs.
Gemäß einerweiteren vorteilhaften Ausführungsform umfassen die ersten Daten kinematische Informationen über den ersten Verkehrsteilnehmer und/oder den zweiten Verkehrsteilnehmer. Kinematische Informationen über den ersten Verkehrsteilnehmer beziehen sich insbesondere auf Informationen, die eine Position oder eine zeitliche Ableitung der Position des ersten Verkehrsteilnehmers wiedergeben. So können kinematische Informationen eine Geschwindigkeit, eine Beschleunigung, eine zeitliche Ableitung der Beschleunigung, insbesondere in Fahrtrichtung, und weiterhin insbesondere auch rechtwinklig zur aktuellen Fahrtrichtung, umfassen. Auch können die kinematischen Informationen relativ zu Beschränkungen und Verkehrsregeln bereitgestellt werden, insbesondere Geschwindigkeiten relativ zu einer Geschwindigkeitsbeschränkung, Lenkbewegungen relativ zu einer Spur, insbesondere zu gestrichelten oder durchgezogenen Markierungen, und generell relativ zu anderen durch allgemeine Regeln oder speziellen Verkehrszeichen oder Leuchtanzeigen gemachten Beschränkungen. Gemäß einerweiteren vorteilhaften Ausführungsform umfassen die zweiten Daten jeweils kinematische Informationen über den ersten Verkehrsteilnehmer.
Gemäß einerweiteren vorteilhaften Ausführungsform umfassen die jeweiligen kinematischen Daten zumindest eine Position und/oder eine Trajektorie des jeweiligen Verkehrsteilnehmers.
Gemäß einerweiteren vorteilhaften Ausführungsform umfassen die Daten über den ersten Verkehrsteilnehmer Informationen über eine aktuelle Spur, auf der sich der erste Verkehrsteilnehmer befindet, und/oder Informationen über einen oder mehrere Spurwechsel des ersten Verkehrsteilnehmers.
Ein weiterer Aspekt der Erfindung betrifft ein Fahrzeug, aufweisend eine Fahrzeugsensoreinheit und eine Recheneinheit, wobei die Recheneinheit dazu ausgeführt ist, ein künstliches neuronalen Netzes bereitzustellen, wobei das künstliche neuronale Netz mit ersten, von einer an einem Versuchsfahrzeug angeordneten Versuchsfahrzeugsensoreinheit ermittelten, Daten über einen ersten Verkehrsteilnehmer und mit zweiten, von einer stationär im Bereich einer Straße angeordneten oder an einem Luftfahrzeug angeordneten externen Sensoreinheit ermittelten, Daten über den ersten Verkehrsteilnehmer jeweils als Eingang des künstlichen neuronalen Netzes trainiert worden ist, und wobei das künstliche neuronale Netz mit einem vorgegebenen und auf das Verhalten des ersten Verkehrsteilnehmers bezogenen Maß zur Einordnung in normales oder anormales Verhalten des ersten Verkehrsteilnehmers als vorgegebener Ausgang des künstlichen neuronalen Netzes trainiert worden ist, wobei die Fahrzeugsensoreinheit zum Erfassen von aktuellen ersten Daten über einen zweiten Verkehrsteilnehmer ausgeführt ist, und wobei die Recheneinheit zum Ausführen des künstlichen neuronalen Netzes mit den aktuellen ersten Daten als einziger Eingang des künstlichen neuronalen Netzes und zum Entscheiden auf Basis des Ausgangs des künstlichen neuronalen Netzes, ob ein anormales Verhalten des zweiten Verkehrsteilnehmers vorliegt, ausgeführt ist.
Gemäß einer vorteilhaften Ausführungsform weist die Fahrzeugsensoreinheit jeweils zumindest eine der folgenden auf:
- Kameraeinheit, insbesondere Stereokameraeinheit,
- Ultraschallsensoreinheit,
- Lidareinheit,
- Radareinheit, insbesondere Dopplerradareinheit. Vorteile und bevorzugte Weiterbildungen des vorgeschlagenen Fahrzeugs ergeben sich durch eine analoge und sinngemäße Übertragung der im Zusammenhang mit den vorgeschlagenen Verfahren vorstehend gemachten Ausführungen.
Ein weiterer Aspekt der Erfindung betrifft ein System mit einem Versuchsfahrzeug, mit einer Kalkulationseinheit, und mit einer externen Sensoreinheit, zum Trainieren eines künstlichen neuronalen Netzes bezüglich einer Erfassung anormalen Verhaltens von Teilnehmern des Straßenverkehrs, wobei das Versuchsfahrzeug eine Versuchsfahrzeugsensoreinheit aufweist und wobei die externe Sensoreinheit stationär im Bereich einer Straße angeordnet ist oder an einem Luftfahrzeug angeordnet ist, wobei
- die Versuchsfahrzeugsensoreinheit zum Ermitteln von ersten Daten über einen ersten Verkehrsteilnehmer ausgeführt ist,
- die externe Sensoreinheit zum Ermitteln von zweiten Daten über den ersten Verkehrsteilnehmer ausgeführt ist, und
- die Kalkulationseinheit zum Trainieren des künstlichen neuronalen Netzes mit den ersten Daten und mit den zweiten Daten jeweils als Eingang des künstlichen neuronalen Netzes und mit einem vorgegebenen und auf das Verhalten des ersten Verkehrsteilnehmers bezogenen Maß zur Einordnung in normales oder anormales Verhalten des Verkehrsteilnehmers als vorgegebener Ausgang des künstlichen neuronalen Netzes, und zum Abspeichern des trainierten künstlichen neuronalen Netzes in einer Speichereinheit zur späteren Ausführung in dem Fahrzeug ausgeführt ist, wobei das abgespeicherte trainierte künstliche neuronale Netz dazu ausgeführt ist, mit aktuell von einer Fahrzeugsensoreinheit eines Fahrzeugs erfassten ersten Daten über einen zweiten Verkehrsteilnehmer als einziger Eingang des künstlichen neuronalen Netzes ausgeführt zu werden.
Gemäß einerweiteren vorteilhaften Ausführungsform weisen die externe Sensoreinheit und/oder die Versuchsfahrzeugsensoreinheit jeweils zumindest eine der folgenden auf:
- Kamera, insbesondere Stereokamera,
- Ultraschallsensoreinheit,
- Lidareinheit,
- Radareinheit, insbesondere Dopplerradareinheit,
Vorteile und bevorzugte Weiterbildungen des vorgeschlagenen Systems ergeben sich durch eine analoge und sinngemäße Übertragung der im Zusammenhang mit den vorgeschlagenen Verfahren vorstehend gemachten Ausführungen. Ein weiterer Aspekt der Erfindung betrifft ein Computerprogrammprodukt, umfassend Befehle, die bei der Ausführung des Programms durch einen Computer diesen veranlassen, das Verfahren wie oben und im Folgenden beschrieben auszuführen.
Ein weiterer Aspekt der Erfindung betrifft ein computerlesbares Medium, das computergesteuerte Anweisungen zum Ausführen des Verfahrens wie oben und im Folgenden beschrieben umfasst.
Weitere Vorteile, Merkmale und Einzelheiten ergeben sich aus der nachfolgenden Beschreibung, in der - gegebenenfalls unter Bezug auf die Zeichnung - zumindest ein Ausführungsbeispiel im Einzelnen beschrieben ist. Gleiche, ähnliche und/oder funktionsgleiche Teile sind mit gleichen Bezugszeichen versehen.
Es zeigen:
Fig. 1 ein Verfahren gemäß einem Ausführungsbeispiel der Erfindung,
Fig. 2 ein Verfahren gemäß einem weiteren Ausführungsbeispiel der Erfindung,
Fig. 3 ein System gemäß einem weiteren Ausführungsbeispiel der Erfindung, und
Fig. 4 ein Fahrzeug und einen zweiten Verkehrsteilnehmer gemäß einem weiteren Ausführungsbeispiel der Erfindung.
Die Darstellungen in den Figuren sind schematisch und nicht maßstäblich.
Fig. 1 zeigt ein Verfahren zum Trainieren eines künstlichen neuronalen Netzes bezüglich einer Erfassung anormalen Verhaltens von Teilnehmern des Straßenverkehrs und zum Ausführen des künstlichen neuronalen Netzes in einem Fahrzeug 20, aufweisend die Schritte:
- Ermitteln S1 von ersten Daten über einen ersten Verkehrsteilnehmer 1 durch eine an einem Versuchsfahrzeug 10 angeordnete Versuchsfahrzeugsensoreinheit 11,
- Ermitteln S2 von zweiten Daten über den ersten Verkehrsteilnehmer 1 durch eine externe Sensoreinheit 30, wobei die externe Sensoreinheit 30 stationär im Bereich einer Straße angeordnet ist oder an einem Luftfahrzeug angeordnet ist,
- Trainieren S3 des künstlichen neuronalen Netzes mit den ersten Daten und mit den zweiten Daten jeweils als Eingang des künstlichen neuronalen Netzes und mit einem vorgegebenen und auf das Verhalten des ersten Verkehrsteilnehmers 1 bezogenen Maß zur Einordnung in normales oder anormales Verhalten des Verkehrsteilnehmers als vorgegebener Ausgang des künstlichen neuronalen Netzes, und
- Abspeichern S4 des trainierten künstlichen neuronalen Netzes in einer Speichereinheit 3 zur späteren Ausführung in dem Fahrzeug 20, wobei das abgespeicherte trainierte künstliche neuronale Netz dazu ausgeführt ist, mit aktuell von einer Fahrzeugsensoreinheit 21 eines Fahrzeugs 20 erfassten ersten Daten über einen zweiten Verkehrsteilnehmer 2 als einziger Eingang des künstlichen neuronalen Netzes ausgeführt zu werden,
- Ausführen S5 des abgespeicherten trainierten künstlichen neuronalen Netzes in dem Fahrzeug 20 während der Fahrt des Fahrzeugs 20 mit aktuellen, von der am Fahrzeug 20 angeordneten Fahrzeugsensoreinheit 21 ermittelten, ersten Daten über den zweiten Verkehrsteilnehmer 2, wobei die aktuell ermittelten ersten Daten der Fahrzeugsensoreinheit 21 als einziger Eingang des künstlichen neuronalen Netzes dienen,
- Entscheiden S6 auf Basis des Ausgangs des künstlichen neuronalen Netzes, ob ein anormales Verhalten des zweiten Verkehrsteilnehmers 2 vorliegt.
Fig. 2 zeigt ein Verfahren zum Ausführen eines künstlichen neuronalen Netzes in einem Fahrzeug 20, aufweisend die Schritte:
- Bereitstellen H1 eines künstlichen neuronalen Netzes, wobei das künstliche neuronale Netz mit ersten, von einer an einem Versuchsfahrzeug 10 angeordneten Versuchsfahrzeugsensoreinheit 11 ermittelten, Daten über einen ersten Verkehrsteilnehmer 1 und mit zweiten, von einer externen Sensoreinheit 30 ermittelten, Daten über den ersten Verkehrsteilnehmer 1 jeweils als Eingang des künstlichen neuronalen Netzes trainiert worden ist, wobei die externe Sensoreinheit 30 stationär im Bereich einer Straße angeordnet ist oder an einem Luftfahrzeug angeordnet ist, und wobei das künstliche neuronale Netz mit einem vorgegebenen und auf das Verhalten des ersten Verkehrsteilnehmers 1 bezogenen Maß zur Einordnung in normales oder anormales Verhalten des ersten Verkehrsteilnehmers 1 als vorgegebener Ausgang des künstlichen neuronalen Netzes trainiert worden ist,
- Erfassen H2 von aktuellen ersten Daten über einen zweiten Verkehrsteilnehmer 2 durch eine am Fahrzeug 20 angeordnete Fahrzeugsensoreinheit 21,
- Ausführen H3 des trainierten künstlichen neuronalen Netzes in dem Fahrzeug 20 während der Fahrt des Fahrzeugs 20 mit aktuellen, von einer am Fahrzeug 20 angeordneten Fahrzeugsensoreinheit 21 ermittelten, ersten Daten über den zweiten Verkehrsteilnehmer 2, wobei die aktuell ermittelten ersten Daten der Fahrzeugsensoreinheit 21 als einziger Eingang des künstlichen neuronalen Netzes dienen,
- Entscheiden H4 auf Basis des Ausgangs des künstlichen neuronalen Netzes, ob ein anormales Verhalten des zweiten Verkehrsteilnehmers 2 vorliegt, wobei das Entscheiden, ob ein anormales Verhalten des zweiten Verkehrsteilnehmers 2 vorliegt, durch Vergleich des Ausgangs des künstlichen neuronalen Netzes mit einer vorgegeben Metrik erfolgt, und
- Ausführen H5 einer vorgegeben Reaktion, wenn das Entscheiden über anormales Verhalten des zweiten Verkehrsteilnehmers 2 positiv ausfällt, wobei die vorgegebene Reaktion das Ausgeben einer visuellen und einer akustischen Warnung an den Fahrer des Fahrzeugs 20 ist.
Die Verfahren der Fig. 1 und Fig. 2 spiegeln sich in dem System der Fig. 3 und der Beschreibung des Fahrzeugs 20 aus der Fig. 4 wieder. Die Beschreibungen der Figuren können daher wechselseitig herangezogen werden.
Fig. 3 zeigt ein System 100 mit einem Versuchsfahrzeug 10, mit einer Kalkulationseinheit 101, und mit einer externen Sensoreinheit 30, zum Trainieren eines künstlichen neuronalen Netzes bezüglich einer Erfassung anormalen Verhaltens von Teilnehmern des Straßenverkehrs. Das Versuchsfahrzeug 10 ist mit einer mit Kameras ausgestatteten Versuchsfahrzeugsensoreinheit 11 ausgerüstet. Die externe Sensoreinheit 30, ein unbemanntes Luftfahrzeug, fliegt im Bereich um das Versuchsfahrzeug 10 seitlich oberhalb der Straße, auf dem das Versuchsfahrzeug 10 sich aktuell befindet. Die Kameras der Versuchsfahrzeugsensoreinheit 11 ermitteln hierbei erste Daten über einen einen ersten Verkehrsteilnehmer 1, wobei der erste Verkehrsteilnehmer 1 als pars pro toto für eine Vielzahl von weiteren Verkehrsteilnehmern exemplarisch betrachtet wird. Die externe Sensoreinheit 30 ermittelt gleichzeitig - ebenfalls per Kamera - zweite Daten über den ersten Verkehrsteilnehmer 1. Somit liegen redundante, insbesondere aber auch sich ergänzende erste und zweite Daten über das Verhalten des ersten Verkehrsteilnehmers 1 vor. Beide, die ersten Daten und die zweiten Daten werden an die externe Kalkulationseinheit 101 gesendet, die das Trainieren des künstlichen neuronalen Netzes mit den ersten Daten und mit den zweiten Daten jeweils als Eingang des künstlichen neuronalen Netzes und mit einem vorgegebenen und auf das Verhalten des ersten Verkehrsteilnehmers 1 bezogenen Maß zur Einordnung in normales oder anormales Verhalten des Verkehrsteilnehmers als vorgegebener Ausgang des künstlichen neuronalen Netzes übernimmt. Die Kalkulationseinheit 101 speichert nach zahlreichen Wiederholungen dieses Vorgehens an einer Vielzahl von zweiten Verkehrsteilnehmern 1 das trainierte künstliche neuronale Netz in einer Speichereinheit 3 zur späteren Ausführung in dem Fahrzeug 20 der Fig. 4 ab. Dabei ist das abgespeicherte trainierte künstliche neuronale Netz so konfiguriert von der Kalkulationseinheit 101, dass es aktuell von einer Fahrzeugsensoreinheit 21 eines Fahrzeugs 20 erfassten ersten Daten über einen zweiten Verkehrsteilnehmer 2 als einziger Eingang des künstlichen neuronalen Netzes ausgeführt werden kann. Siehe dazu die Beschreibung der Fig. 4.
Fig. 4 zeigt ein Fahrzeug 20, aufweisend eine Fahrzeugsensoreinheit 21 und eine Recheneinheit 22, wobei die Recheneinheit 22 das nach Fig. 3 trainierte künstliche neuronale Netz bereitstellt. Die Fahrzeugsensoreinheit 21 erfasst aktuelle erste Daten über einen zweiten Verkehrsteilnehmer 2 mit an der Fahrzeugfront und am Fahrzeugheck angeordneten Kameras. Die Recheneinheit 22 führt dann das bereits abgeschlossen trainierte künstliche neuronale Netz mit den aktuellen ersten Daten der Kameras der Fahrzeugsensoreinheit 21 als dem einzigen Eingang des künstlichen neuronalen Netzes aus. Je nach Ausgang des neuronalen Netzes wird entschieden, ob ein anormales Verhalten des zweiten Verkehrsteilnehmers 2 vorliegt. Wird ein anormales Verhalten des zweiten Verkehrsteilnehmers 2 bestimmt, wird eine Warnung an den Fahrer des Fahrzeugs 20 ausgegeben.
Obwohl die Erfindung im Detail durch bevorzugte Ausführungsbeispiele näher illustriert und erläutert wurde, so ist die Erfindung nicht durch die offenbarten Beispiele eingeschränkt und andere Variationen können vom Fachmann hieraus abgeleitet werden, ohne den Schutzumfang der Erfindung zu verlassen. Es ist daher klar, dass eine Vielzahl von Variationsmöglichkeiten existiert. Es ist ebenfalls klar, dass beispielhaft genannte Ausführungsformen wirklich nur Beispiele darstellen, die nicht in irgendeiner Weise als Begrenzung etwa des Schutzbereichs, der Anwendungsmöglichkeiten oder der Konfiguration der Erfindung aufzufassen sind. Vielmehr versetzen die vorhergehende Beschreibung und die Figurenbeschreibung den Fachmann in die Lage, die beispielhaften Ausführungsformen konkret umzusetzen, wobei der Fachmann in Kenntnis des offenbarten Erfindungsgedankens vielfältige Änderungen, beispielsweise hinsichtlich der Funktion oder der Anordnung einzelner, in einer beispielhaften Ausführungsform genannter Elemente, vornehmen kann, ohne den Schutzbereich zu verlassen, der durch die Ansprüche und deren rechtliche Entsprechungen, wie etwa weitergehende Erläuterungen in der Beschreibung, definiert wird. Bezugszeichenliste
1 erster Verkehrsteilnehmer
2 zweiter Verkehrsteilnehmer
3 Speichereinheit
10 Versuchsfahrzeug
11 Versuchsfahrzeugsensoreinheit
20 Fahrzeug
21 Fahrzeugsensoreinheit
22 Recheneinheit
30 externe Sensoreinheit
100 System
101 Kalkulationseinheit
51 Ermitteln
52 Ermitteln
53 Trainieren
54 Abspeichern
55 Ausführen
56 Entscheiden
H1 Bereitstellen
H2 Erfassen
H3 Ausführen
H4 Entscheiden
H5 Ausführen

Claims

Patentansprüche
1. Verfahren zum Trainieren eines künstlichen neuronalen Netzes bezüglich einer Erfassung anormalen Verhaltens von Teilnehmern des Straßenverkehrs, aufweisend die Schritte:
- Ermitteln (S1) von ersten Daten über einen ersten Verkehrsteilnehmer (1) durch eine an einem Versuchsfahrzeug (10) angeordnete Versuchsfahrzeugsensoreinheit (11),
- Ermitteln (S2) von zweiten Daten über den ersten Verkehrsteilnehmer (1) durch eine externe Sensoreinheit (30), wobei die externe Sensoreinheit (30) stationär im Bereich einer Straße angeordnet ist oder an einem Luftfahrzeug angeordnet ist,
- Trainieren (S3) des künstlichen neuronalen Netzes mit den ersten Daten und mit den zweiten Daten jeweils als Eingang des künstlichen neuronalen Netzes und mit einem vorgegebenen und auf das Verhalten des ersten Verkehrsteilnehmers (1) bezogenen Maß zur Einordnung in normales oder anormales Verhalten des Verkehrsteilnehmers als vorgegebener Ausgang des künstlichen neuronalen Netzes, und
- Abspeichern (S4) des trainierten künstlichen neuronalen Netzes in einer Speichereinheit (3) zur späteren Ausführung in dem Fahrzeug (20), wobei das abgespeicherte trainierte künstliche neuronale Netz dazu ausgeführt ist, mit aktuell von einer Fahrzeugsensoreinheit (21) eines Fahrzeugs (20) erfassten ersten Daten über einen zweiten Verkehrsteilnehmer (2) als einziger Eingang des künstlichen neuronalen Netzes ausgeführt zu werden.
2. Verfahren nach Anspruch 1 , wobei das Verfahren weiterhin zum Ausführen des künstlichen neuronalen Netzes in dem Fahrzeug (20) dient, weiterhin aufweisend den Schritt:
- Ausführen (S5) des abgespeicherten trainierten künstlichen neuronalen Netzes in dem Fahrzeug (20) während der Fahrt des Fahrzeugs (20) mit aktuellen, von der am Fahrzeug (20) angeordneten Fahrzeugsensoreinheit (21) ermittelten, ersten Daten über den zweiten Verkehrsteilnehmer (2), wobei die aktuell ermittelten ersten Daten der Fahrzeugsensoreinheit (21) als einziger Eingang des künstlichen neuronalen Netzes dienen,
- Entscheiden (S6) auf Basis des Ausgangs des künstlichen neuronalen Netzes, ob ein anormales Verhalten des zweiten Verkehrsteilnehmers (2) vorliegt.
3. Verfahren zum Ausführen eines künstlichen neuronalen Netzes in einem Fahrzeug (20), aufweisend die Schritte:
- Bereitstellen (H1) eines künstlichen neuronalen Netzes, wobei das künstliche neuronale Netz mit ersten, von einer an einem Versuchsfahrzeug (10) angeordneten Versuchsfahrzeugsensoreinheit (11) ermittelten, Daten über einen ersten Verkehrsteilnehmer (1) und mit zweiten, von einer externen und stationär im Bereich einer Straße oder an einem Luftfahrzeug angeordneten Sensoreinheit (30) ermittelten, Daten über den ersten Verkehrsteilnehmer (1) jeweils als Eingang des künstlichen neuronalen Netzes trainiert worden ist, und wobei das künstliche neuronale Netz mit einem vorgegebenen und auf das Verhalten des ersten Verkehrsteilnehmers (1) bezogenen Maß zur Einordnung in normales oder anormales Verhalten des ersten Verkehrsteilnehmers (1) als vorgegebener Ausgang des künstlichen neuronalen Netzes trainiert worden ist,
- Erfassen (H2) von aktuellen ersten Daten über einen zweiten Verkehrsteilnehmer (2) durch eine am Fahrzeug (20) angeordnete Fahrzeugsensoreinheit (21),
- Ausführen (H3) des trainierten künstlichen neuronalen Netzes in dem Fahrzeug (20) während der Fahrt des Fahrzeugs (20) mit aktuellen, von einer am Fahrzeug (20) angeordneten Fahrzeugsensoreinheit (21) ermittelten, ersten Daten über den zweiten Verkehrsteilnehmer (2), wobei die aktuell ermittelten ersten Daten der Fahrzeugsensoreinheit (21) als einziger Eingang des künstlichen neuronalen Netzes dienen, und
- Entscheiden (H4) auf Basis des Ausgangs des künstlichen neuronalen Netzes, ob ein anormales Verhalten des zweiten Verkehrsteilnehmers (2) vorliegt.
4. Verfahren nach Anspruch 3, wobei das Entscheiden, ob ein anormales Verhalten des zweiten Verkehrsteilnehmers (2) vorliegt, durch Vergleich des Ausgangs des künstlichen neuronalen Netzes mit einer vorgegeben Metrik erfolgt.
5. Verfahren nach einem der Ansprüche 2 oder 3 bis 4, weiterhin aufweisend den Schritt:
- Ausführen (H5) einer vorgegeben Reaktion, wenn das Entscheiden über anormales Verhalten des zweiten Verkehrsteilnehmers (2) positiv ausfällt, wobei die vorgegebene Reaktion zumindest eine aus den folgenden ist: Ausgeben einer Warnung an den Fahrer des Fahrzeugs (20), Vermindern des Grades der Autonomie, mit der das Fahrzeug (20) aktuell betrieben wird. Ändern von Parametern eines automatischen oder autonomen Steueralgorithmus des Fahrzeugs (20) derart, dass die Fahrweise des Fahrzeugs (20) auf Basis des autonomen Steueralgorithmus defensiver wird, Ändern einer geplanten Trajektorie des Fahrzeugs (20).
6. Verfahren nach einem der vorhergehenden Ansprüche, wobei die ersten Daten kinematische Informationen über den ersten Verkehrsteilnehmer (1) und/oder den zweiten Verkehrsteilnehmer (2) umfassen.
7. Verfahren nach einem der vorhergehenden Ansprüche, wobei die zweiten Daten jeweils kinematische Informationen über den ersten Verkehrsteilnehmer (1) umfassen.
8. Verfahren nach einem der Ansprüche 6 bis 7, wobei die jeweiligen kinematischen Daten zumindest eine Position und/oder eine Trajektorie des jeweiligen Verkehrsteilnehmers (1,2) umfassen.
9. Verfahren nach einem der vorhergehenden Ansprüche, wobei die Daten über den ersten Verkehrsteilnehmer (1) Informationen über eine aktuelle Spur, auf der sich der erste Verkehrsteilnehmer (1) befindet, und/oder Informationen über einen oder mehrere Spurwechsel des ersten Verkehrsteilnehmers (1) umfassen.
10. Fahrzeug (20), aufweisend eine Fahrzeugsensoreinheit (21) und eine Recheneinheit (22), wobei die Recheneinheit (22) dazu ausgeführt ist, ein künstliches neuronales Netzes bereitzustellen, wobei das künstliche neuronale Netz mit ersten, von einer an einem Versuchsfahrzeug (10) angeordneten Versuchsfahrzeugsensoreinheit (11) ermittelten, Daten über einen ersten Verkehrsteilnehmer (1) und mit zweiten, von einer stationär im Bereich einer Straße angeordneten oder an einem Luftfahrzeug angeordneten externen Sensoreinheit (30) ermittelten, Daten über den ersten Verkehrsteilnehmer (1) jeweils als Eingang des künstlichen neuronalen Netzes trainiert worden ist, und wobei das künstliche neuronale Netz mit einem vorgegebenen und auf das Verhalten des ersten Verkehrsteilnehmers (1) bezogenen Maß zur Einordnung in normales oder anormales Verhalten des ersten Verkehrsteilnehmers (1) als vorgegebener Ausgang des künstlichen neuronalen Netzes trainiert worden ist, wobei die Fahrzeugsensoreinheit (21) zum Erfassen von aktuellen ersten Daten über einen zweiten Verkehrsteilnehmer (2) ausgeführt ist, und wobei die Recheneinheit (22) zum Ausführen des künstlichen neuronalen Netzes mit den aktuellen ersten Daten als einziger Eingang des künstlichen neuronalen Netzes und zum Entscheiden auf Basis des Ausgangs des künstlichen neuronalen Netzes, ob ein anormales Verhalten des zweiten Verkehrsteilnehmers (2) vorliegt, ausgeführt ist.
11. Fahrzeug (20) nach Anspruch 10, wobei die Fahrzeugsensoreinheit (21) zumindest eine der folgenden aufweist:
- Kameraeinheit, insbesondere Stereokameraeinheit,
- Ultraschallsensoreinheit,
- Lidareinheit,
- Radareinheit, insbesondere Dopplerradareinheit.
12. System (100) mit einem Versuchsfahrzeug (10), mit einer Kalkulationseinheit (101), und mit einer externen Sensoreinheit (30), zum Trainieren eines künstlichen neuronalen Netzes bezüglich einer Erfassung anormalen Verhaltens von Teilnehmern des Straßenverkehrs, wobei das Versuchsfahrzeug (10) eine Versuchsfahrzeugsensoreinheit (11) aufweist und wobei die externe Sensoreinheit (30) stationär im Bereich einer Straße angeordnet ist oder an einem Luftfahrzeug angeordnet ist, wobei
- die Versuchsfahrzeugsensoreinheit (11) zum Ermitteln von ersten Daten über einen ersten Verkehrsteilnehmer (1) ausgeführt ist,
- die externe Sensoreinheit (30) zum Ermitteln von zweiten Daten über den ersten Verkehrsteilnehmer (1) ausgeführt ist, und
- die Kalkulationseinheit (101) zum Trainieren des künstlichen neuronalen Netzes mit den ersten Daten und mit den zweiten Daten jeweils als Eingang des künstlichen neuronalen Netzes und mit einem vorgegebenen und auf das Verhalten des ersten Verkehrsteilnehmers (1) bezogenen Maß zur Einordnung in normales oder anormales Verhalten des Verkehrsteilnehmers als vorgegebener Ausgang des künstlichen neuronalen Netzes, und zum Abspeichern des trainierten künstlichen neuronalen Netzes in einer Speichereinheit (3) zur späteren Ausführung in dem Fahrzeug (20) ausgeführt ist, wobei das abgespeicherte trainierte künstliche neuronale Netz dazu ausgeführt ist, mit aktuell von einer Fahrzeugsensoreinheit (21) eines Fahrzeugs (20) erfassten ersten Daten über einen zweiten Verkehrsteilnehmer (2) als einziger Eingang des künstlichen neuronalen Netzes ausgeführt zu werden.
13. System (100) nach Anspruch 12, wobei die externe Sensoreinheit (30) und/oder die Versuchsfahrzeugsensoreinheit (11) jeweils zumindest eine der folgenden aufweisen:
- Kamera, insbesondere Stereokamera,
- Ultraschallsensoreinheit,
- Lidareinheit,
- Radareinheit, insbesondere Dopplerradareinheit,
14. Computerprogrammprodukt, umfassend Befehle, die bei der Ausführung des Programms durch einen Computer diesen veranlassen, ein Verfahren nach einem der Ansprüche 1 bis 9 auszuführen.
15. Computerlesbares Medium, das computerausführbare Anweisungen zum Ausführen eines Verfahrens nach einem der Ansprüche 1 bis 9 umfasst.
PCT/EP2020/073724 2019-08-27 2020-08-25 Automatisierte erkennung eines anormalen verhaltens eines verkehrsteilnehmers WO2021037838A1 (de)

Priority Applications (1)

Application Number Priority Date Filing Date Title
EP20761802.6A EP4022589A1 (de) 2019-08-27 2020-08-25 Automatisierte erkennung eines anormalen verhaltens eines verkehrsteilnehmers

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102019212829.7 2019-08-27
DE102019212829.7A DE102019212829A1 (de) 2019-08-27 2019-08-27 Automatisierte Erkennung eines anormalen Verhaltens eines Verkehrsteilnehmers

Publications (1)

Publication Number Publication Date
WO2021037838A1 true WO2021037838A1 (de) 2021-03-04

Family

ID=72243116

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2020/073724 WO2021037838A1 (de) 2019-08-27 2020-08-25 Automatisierte erkennung eines anormalen verhaltens eines verkehrsteilnehmers

Country Status (3)

Country Link
EP (1) EP4022589A1 (de)
DE (1) DE102019212829A1 (de)
WO (1) WO2021037838A1 (de)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113392920B (zh) * 2021-06-25 2022-08-02 北京百度网讯科技有限公司 生成作弊预测模型的方法、装置、设备、介质及程序产品
CN114944057B (zh) * 2022-04-21 2023-07-25 中山大学 一种路网交通流量数据的修复方法与系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102016212700A1 (de) * 2016-07-13 2018-01-18 Robert Bosch Gmbh Verfahren und System zur Steuerung eines Fahrzeugs
US20190039545A1 (en) * 2017-08-02 2019-02-07 Allstate Insurance Company Event-Based Connected Vehicle Control And Response Systems
US10235882B1 (en) * 2018-03-19 2019-03-19 Derq Inc. Early warning and collision avoidance
DE102018218895A1 (de) * 2017-11-28 2019-05-29 Honda Motor Co., Ltd. System und Verfahren zum Bereitstellen eines infrastrukturbasierten Sicherheitsalarms im Zusammenhang mit wenigstens einer Fahrbahn

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10481044B2 (en) * 2017-05-18 2019-11-19 TuSimple Perception simulation for improved autonomous vehicle control
US20190101924A1 (en) * 2017-10-03 2019-04-04 Uber Technologies, Inc. Anomaly Detection Systems and Methods for Autonomous Vehicles

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102016212700A1 (de) * 2016-07-13 2018-01-18 Robert Bosch Gmbh Verfahren und System zur Steuerung eines Fahrzeugs
US20190039545A1 (en) * 2017-08-02 2019-02-07 Allstate Insurance Company Event-Based Connected Vehicle Control And Response Systems
DE102018218895A1 (de) * 2017-11-28 2019-05-29 Honda Motor Co., Ltd. System und Verfahren zum Bereitstellen eines infrastrukturbasierten Sicherheitsalarms im Zusammenhang mit wenigstens einer Fahrbahn
US10235882B1 (en) * 2018-03-19 2019-03-19 Derq Inc. Early warning and collision avoidance

Also Published As

Publication number Publication date
DE102019212829A1 (de) 2021-03-04
EP4022589A1 (de) 2022-07-06

Similar Documents

Publication Publication Date Title
EP3970077B1 (de) Verfahren zum trainieren wenigstens eines algorithmus für ein steuergerät eines kraftfahrzeugs, computerprogrammprodukt, kraftfahrzeug sowie system
DE102018128289B4 (de) Verfahren und vorrichtung für eine autonome systemleistung und zur einstufung
DE3820589C2 (de) Verfahren und Steuervorrichtung zum selbsttätigen Steuern eines Landfahrzeuges
DE102017214611B4 (de) Verfahren zum Überprüfen eines Reaktionssignals einer Fahrzeugkomponente sowie Überprüfungsvorrichtung und Kraftfahrzeug
DE102010013943B4 (de) Verfahren und Vorrichtung für eine Funktionsprüfung einer Objekt-Erkennungseinrichtung eines Kraftwagens
EP3695244B1 (de) Verfahren und vorrichtung zum erzeugen eines inversen sensormodells und verfahren zum erkennen von hindernissen
WO2016150590A1 (de) Verfahren und vorrichtung zum überwachen einer von einem fahrzeug abzufahrenden soll-trajektorie auf kollisionsfreiheit
DE102019105359B4 (de) Verfahren für ein Ultraschallmesssystem im Fahrzeug zur Erkennung und Klassifizierung von Objekten im Umfeld des Fahrzeugs mit Hilfe eines Deep-Learning Verfahrens und einem selbstlernenden Entscheider
WO2021037838A1 (de) Automatisierte erkennung eines anormalen verhaltens eines verkehrsteilnehmers
EP4073778A1 (de) Verfahren zum erstellen eines verkehrsteilnehmeralgorithmus zur computersimulation von verkehrsteilnehmern, verfahren zum trainieren wenigstens eines algorithmus für ein steuergerät eines kraftfahrzeugs, computerprogrammprodukt sowie kraftfahrzeug
DE102019134408A1 (de) Selbstlernendes Netzwerk neuronaler Netzwerkmodelle für sicherheitsrelevante Anwendungen im Fahrzeug zur Erkennung und Klassifizierung von Objekten im Umfeld des Fahrzeugs mit Hilfe eines Deep-Learning Verfahrens
EP3748453B1 (de) Verfahren und vorrichtung zum automatischen ausführen einer steuerfunktion eines fahrzeugs
DE102020210789A1 (de) Analyse eines neuronalen Netzes für ein Fahrzeug
DE102017201796A1 (de) Steuervorrichtung zum Ermitteln einer Eigenbewegung eines Kraftfahrzeugs sowie Kraftfahrzeug und Verfahren zum Bereitstellen der Steuervorrichtung
WO2022251890A1 (de) Verfahren und system zum testen eines fahrerassistenzsystems für ein fahrzeug
DE102019212830A1 (de) Analyse und Validierung eines neuronalen Netzes für ein Fahrzeug
DE102018206326B4 (de) Verfahren zum Erweitern einer Datenbasis eines Bayesschen Netzes
DE102020203829A1 (de) Verfahren zum Überwachen eines Fahrzeugsystems zum Erkennen einer Umgebung eines Fahrzeugs
DE102019209813A1 (de) Vorrichtung zum Navigieren eines Ist-Fahrzeugs durch zumindest einen Abschnitt einer Soll-Trajektorie, Verfahren und Verwendung
DE102022205174A1 (de) Kollektive Informationsbeschaffung für automatisierte Fahrsteuerfunktionen
WO2023193996A1 (de) Test einer automatischen fahrsteuerfunktion mittels semi-realer verkehrsdaten
WO2022122553A1 (de) Vergleich digitaler repräsentationen von fahrsituationen eines fahrzeugs
DE102020117811A1 (de) Verfahren zum Bereitstellen einer Einrichtung zum Ermitteln von Interessenregionen für eine automatisierte Fahrzeugfunktion und Assistenzeinrichtung für ein Kraftfahrzeug
WO2023025613A1 (de) Validieren einer fahrsteuerungsfunktion für den automatischen betrieb eines fahrzeugs
DE102021208204A1 (de) Optische Fahrspurerkennung

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20761802

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2020761802

Country of ref document: EP

Effective date: 20220328