ANALYSE DYNAMISSCHER RÄUMLICHER SZENARIEN
Die vorliegende Erfindung betrifft ein Verfahren und ein System zur Datenaufbereitung von dynamischen räumlichen Szenarien für die Verarbeitung durch ein künstliches neu- ronales Netz, ein Computer-gestütztes Verfahren und ein System zum Trainieren eines künstlichen neuronalen Netzes sowie ein Computer-gestütztes Verfahren und ein Sys- tem zum Analysieren von Sensordaten.
Moderne Fahrzeuge sind zunehmend mit Fahrerassistenzsystemen (engl. Advanced Driver Assistance Systems, ADAS) ausgestattet, welche den Fahrer in bestimmten Fahr- situationen unterstützen. Die Unterstützung reicht von reinem Anzeigen möglicherweise relevanter Information (z.B. Ausgeben einer Warnung durch einen Spurwechselassis- tent) über teilautonome Eingriffe (z.B. Regulierung des auf die Radachsen aufgebrachten Moments durch ein Antiblockiersystem) bis hin zu vollautonomen Eingriffen in die Steue- rung des Fahrzeugs (z.B. adaptive Geschwindigkeitsregelung durch einen Abstandsre- geltempomat, engl. Adaptive Cruise Control, ACC).
Die Grundlage für solche Fahrerassistenzsysteme bilden in der Regel Sensordaten, etwa bereitgestellte Signale von Ultraschallsensoren, Radarsensoren oder Kameras, anhand denen die gegenwärtige Fahrsituation bestimmt und in Reaktion darauf die Funktion des jeweiligen Fahrerassistenzsystems ausgeführt werden kann. Insbesondere bei Fahrer- assistenzsystem, die (autonom) in die Steuerung des Fahrzeugs eingreifen, muss an- hand der Sensordaten die gegenwärtige Fahrsituation höchst zuverlässig klassifiziert werden können.
Im Allgemeinen werden dabei bestimmte, einer Fahrsituation zugeordnete Regeln bzw. Kriterien aufgestellt, bei deren Erfüllung auf ein Vorliegen einer bekannten Fahrsituation geschlossen werden kann. Das Erfüllen der Regel bzw. Kriterien wirkt dabei z.B. als Auslöser für eine Aktion des Fahrerassistenzsystems. Beispielsweise kann ein Ver- kehrsszenario, in dem ein benachbartes Fahrzeug vor dem Ego-Fahrzeug genannten, mit dem Fahrerassistenzsystem ausgestatteten Fahrzeug in die gleiche Fahrspur ein-
schert, dadurch erkannt werden, dass ein sensorisch erfasster transversaler Abstand senkrecht zur Fahrtrichtung zum benachbarten Fahrzeug abnimmt und schließlich, zu- mindest im Wesentlichen, den Wert 0 annimmt, wenn das benachbarte Fahrzeug sich unmittelbar vor dem Ego-Fahrzeug befindet.
Das Programmieren von Algorithmen, die dazu geeignet sind, solche Fahrsituationen bzw. Szenarien (zuverlässig) zu erkennen, ist im Allgemeinen extrem aufwändig und insbesondere bei einer Vielzahl von zu berücksichtigenden Fahrsituationen gegebenen- falls sogar unmöglich. Daher wird verstärkt maschinelles Lernen eingesetzt, um Charak- teristika in Sensordaten, die auf eine Fahrsituation hinweisen, automatisch zu finden. Bei den zugrunde gelegten Sensordaten handelt es sich üblicherweise um, z.B. manuell, bezüglich verschiedener Fahrsituationen klassifizierte Sensordaten (engl labeled sensor data), anhand deren beispielsweise ein künstliches neuronales Netz die relevanten Krite- rien für die jeweilige Fahrsituation extrahieren kann. Dabei müssen die klassifizierten Sensordaten in der Regel in einer vorgegebenen Form vorliegen, d.h. entsprechend auf- bereitet sein, um von dem künstlichen neuronalen Netz sinnvoll verarbeitet werden zu können.
Einen Ansatz für eine solche Aufbereitung stellen so genannte Gitterkarten (engl grid maps) dar, welche die entsprechenden Fahrsituationen aus der Vogelperspektive zei- gen. Die Dynamik einer zu Grunde liegenden Fahrsituation wird dabei wiedergegeben, indem beispielsweise alle im Laufe der zeit eingenommen Positionen der jeweiligen Ver- kehrsteilnehmer in der entsprechenden Gitterkarte abgebildet werden.
Solche Gitterkarten werden beispielsweise in Grüner et. al. ,„Spatiotemporal Representa- tion of Driving Scenarios and Classification using Neural Networks“, 2017 IEEE Intelli- gent Vehicle Symposium, S. 1782-1788, diskutiert.
In Cara and de Gelder,„Classification for safety-critical car-cyclist scenarios using ma- chine learning“, 2015 IEEE 18th International Conference on Intelligent Transportation Systems, S. 1955-2000, werden verschiedene Algorithmen zur Klassifizierung von Fahr- zeug-Fahrradfahrer-Szenarien verglichen. Dabei wird bei einem angeleiteten Lernen (supervised learning) eine Trainingsmenge von ausgezeichneten Objekten (labeled ob- jects) verwendet, um sog. Klassifikatoren (classifier) zu trainieren. Nach dem Training
sind die Klassifikatoren in der Lage, ein neues unbekanntes Szenario auszuzeichnen, indem sie es einer geschätzten Klasse zuteilen.
Es ist eine Aufgabe der vorliegenden Erfindung, die Verarbeitung von Sensordaten, die geeignet sind, ein dynamisches räumliches Szenario in Bezug auf ein Ego-Objekt und wenigstens ein anderes Objekt zu charakterisieren, weiter zu verbessern. Es ist insbe- sondere eine Aufgabe der Erfindung, die Aufbereitung von solchen Sensordaten für die Verarbeitung durch ein künstliches neuronales Netz zu verbessern, insbesondere einen Informationsverlust bei der Aufbereitung zu verhindern oder zumindest zu reduzieren.
Diese Aufgabe wird gelöst durch ein Verfahren und ein System zur Datenaufbereitung, ein Verfahren und ein System zum Trainieren eines künstlichen neuronalen Netzes und ein Verfahren und ein System zum Analysieren von Sensordaten gemäß den unabhän- gigen Ansprüchen.
Ein erster Aspekt der Erfindung betrifft ein Verfahren zur Datenaufbereitung von dynami- schen räumlichen Szenarien, insbesondere Verkehrsszenarien, für die Verarbeitung durch ein künstliches neuronales Netz. Dabei wird eine Darstellung eines zeitlichen Ver- laufs eines Winkelsektors, welcher aus der Perspektive eines Ego-Objekts, insbesondere eines Ego-Fahrzeugs, durch ein anderes Objekt, insbesondere ein anderes Fahrzeug, abgedeckt wird, erzeugt. Der zeitliche Verlauf ist dazu aus Sensordaten ermittelt, wobei die Sensordaten geeignet sind, um ein dynamisches räumliches Szenario in Bezug auf das Ego-Objekt und wenigstens ein anderes Objekt zu charakterisieren.
Ein räumliches Szenario im Sinne der Erfindung wird insbesondere aus einer zeitlichen Abfolge von räumlichen, insbesondere statischen, Szenen gebildet. Die räumlichen Sze- nen geben dabei beispielsweise die räumliche Anordnung von dem wenigstens einen anderen Objekt relativ zum Ego-Objekt, z.B. die Konstellationen von Verkehrsteilneh- mern, an. Ein räumliches Szenario kann insbesondere eine Fahrsituation enthalten, in der ein Fahrerassistenzsystem das Ego-Fahrzeug genannte, mit dem Fahrerassistenz- system ausgestattete Fahrzeug zumindest teilweise steuert, z.B. wenigstens eine Fahr- zeugfunktion des Ego-Fahrzeugs autonom ausführt.
Dynamisch im Sinne der Erfindung bedeutet insbesondere zeitliche Abfolge bzw. zeitli- cher Verlauf. Verkehrsszenarien sind beispielsweise dynamisch, da die einzelnen Ver-
kehrsteilnehmer sich im Laufe der Zeit relativ zueinander bewegen, d.h. ihre Positionen relativ zueinander ändern.
Eine Darstellung im Sinne der Erfindung ist insbesondere eine graphische Darstellung, z.B. eine Grafik oder ein Diagramm. Die Darstellung enthält vorzugsweise eine, insbe- sondere zwei- oder dreidimensionale, Abbildung. Alternativ oder zusätzlich kann die Darstellung auch eine mathematische Darstellung enthalten, z.B. eine Zuordnungsvor- schrift bzw. eine Funktion. Die Darstellung kann beispielsweise den zeitlichen Verlauf eines Winkelsektors, der aus der Perspektive des Ego-Objekts von dem anderen Objekt abgedeckt wird, in einer kartenähnlichen Abbildung zeigen.
Sensordaten im Sinne der Erfindung sind insbesondere von realen oder simulierten Sen- soren, insbesondere Umgebungssensoren, erzeugte Daten, insbesondere in der Form von Signalen, d.h. reale oder simulierte Sensordaten. Die Sensoren sind dabei vorzugs- weise dazu eingerichtet, ein Umfeld des Ego-Fahrzeugs zu erfassen und entsprechende Sensordaten zu erzeugen, so dass die Sensordaten das Umfeld des Ego-Fahrzeugs charakterisieren. Bei den Sensordaten handelt es sich vorzugsweise um Sensor- Fusions-Daten, die aus einer Kombination von durch die Sensoren bereitgestellten Sig- nalen erhalten werden und gegebenenfalls bereits, zumindest bis zu einem gewissen Grad, aufbereitet sind.
Ein Ego-Objekt im Sinne der Erfindung ist insbesondere dasjenige Objekt, aus dessen Perspektive das dynamische räumliche Szenario betrachtet wird. Ein Ego-Objekt kann beispielsweise ein (Ego-)Fahrzeug sein, aus dessen Sicht ein Verkehrsszenario erfasst und gegebenenfalls analysiert und/oder bewertet wird, etwa um ein Fahrerassistenzsys- tem adäquat steuern bzw. auf das erfasste Verkehrsszenario reagieren lassen zu kön- nen. Daher werden Sensordaten, die beispielsweise zur weiteren Verarbeitung aufberei- tet werden, vorzugsweise von Umgebungssensoren des Ego-Fahrzeugs erzeugt, wobei die Umgebungssensoren wie etwa Ultraschallsensoren, Radarsensoren, Kameras und/oder dergleichen zur Erfassung des Umfelds des Ego-Fahrzeugs eingerichtet sind.
Ein Winkelsektor im Sinne der Erfindung ist insbesondere derjenige Bereich, welcher aus der Perspektive des Ego-Objekts von einem anderen Objekt eingenommen wird. Aus Sicht eines Ego-Fahrzeugs korrespondiert der Winkelsektor beispielsweise mit demjeni- gen Bereich, der durch ein anderes Fahrzeug abgedeckt wird. Vorzugsweise wird der
Winkelsektor dabei durch die Querschnittsfläche des Objekts bzw. dessen Kontur defi- niert. Beispielsweise kann der Winkelsektor durch eine maximale Ausdehnung der Quer- schnittsfläche bzw. Kontur entlang einer vorgegebenen Richtung, insbesondere in hori- zontaler Richtung, definiert sein.
Die Erfindung basiert insbesondere auf dem Ansatz, aus Sensordaten ermittelte Informa- tion bezüglich eines dynamischen räumlichen Szenarios, etwa einer Verkehrssituation, in einer Darstellung zu codieren. Die Darstellung kann daher auch als Abstraktion des Sze- narios aufgefasst werden und dient insbesondere dazu, verschiedene Informationstypen, beispielsweise Positionen, Translationen, Anzahl von Objekten und/oder dergleichen, zusammenzufassen.
Die Darstellung wird vorzugsweise auf Grundlage der zeitlichen Entwicklung eines Win- kelsektors erzeugt, in dem das Sichtfeld eines Ego-Objekts von einem anderen Objekt abgedeckt wird. Mit Hilfe des Winkelsektors können dabei insbesondere Konstellation von Objekten in räumlichen Szenen relativ zueinander beschrieben werden. Die Darstel- lung ist vorzugsweise eine grafische, insbesondere zwei- oder dreidimensionale, Abbil- dung, die - in abstrakter weise - sowohl die Position als auch die Bewegung der Objekte relativ zueinander zeigt. Beispielsweise kann die Bewegung eines Objekts in der Abbil- dung durch eine, insbesondere geometrische, Form repräsentiert werden.
Vorzugsweise kann auf der Grundlage seiner Analyse solch einer Abbildung eine cha- rakteristische Form gefunden werden. Dabei ist die Form insbesondere charakteristisch für das dynamische räumliche Szenario in Bezug auf das Ego-Objekt und wenigstens ein anderes Objekt. Mit anderen Worten stellt die charakteristische Form ein Muster dar, das z.B. mittels eines künstlichen neuronalen Netzes durch Analyse einer solchen Darstel- lung, gegebenenfalls auch mehrerer solcher Darstellungen, die auf Basis der Sensorda- ten erzeugt wurden, gefunden werden kann.
Im Umkehrschluss kann auch, wenn die charakteristischen Formen bzw. Muster für ver- schiedene dynamische räumliche Szenarien bekannt sind und z.B. als Schablonen vor- liegen, anhand einer Auswertung einer Darstellung das entsprechende dynamische räumliche Szenario ermittelt werden.
Die auf der zeitlichen Entwicklung des Winkelsektors basierende Darstellung eines dy- namischen räumlichen Szenarios hat den Vorteil, dass ihr Informationsgehalt nicht oder zumindest nur geringfügig von Variationen des Szenarios abhängt. Verschiedene Varian- ten des Szenarios, etwa ein besonders schnell oder besonders langsam ausgeführtes Fahrmanöver, erzeugen zwar unterschiedliche Abbildungen in der Darstellung, jedoch mit im Wesentlichen gleicher oder zumindest ähnlicher Form.
Beispielsweise erzeugt das Aufträgen des Winkelsektors, der bezüglich des Sichtfelds eines Ego-Fahrzeugs von einem anderen Fahrzeug abgedeckt wird und damit die Positi- on des anderen Fahrzeugs relativ zum Ego-Fahrzeug darstellt, gegen die Zeit ein Mus- ter, dessen Form für das vom anderen Fahrzeug durchgeführte Fahrmanöver charakte- ristisch ist. Entfernt sich das andere Fahrzeug z.B. vom Ego-Fahrzeug, wird der abge- deckte Winkelsektor etwa kleiner, während er sich bei einer Annäherung entsprechend vergrößert. Bewegt sich das andere Fahrzeug z.B. bezüglich der Fahrtrichtung seitlich zum Ego-Fahrzeug, verschiebt sich der abgedeckte Winkelsektor. Das dabei entstehen- de Muster, das beispielsweise eine charakteristische Krümmung aufweist, kann dann einem Fahrmanöver zuverlässig zugeordnet werden, auch wenn die Abbildung in Ab- hängigkeit der Durchführung des Fahrmanövers, etwa aggressiv oder defensiv, in der Regel variiert, z.B. gestaucht oder gestreckt ist.
Die Darstellung der zeitlichen Entwicklung des Winkelsektors erlaubt es somit, verschie- dene Typen von Information in kompakter Weise zusammenzufassen. Da hierbei ein Zeitablauf dargestellt wird, werden Überlappungen, z.B. von graphischen Elementen, und ein damit verbundener Informationsverlust vermieden oder zumindest reduziert. Zu- gleich kann in Folge beispielsweise Speicherplatz eingespart und das Auswerten von Sensordaten beschleunigt werden. Gleichzeitig ermöglicht die Darstellung eine zuverläs- sige Identifikation von dynamischen räumlichen Szenarien.
Gegenüber Gitterkarten hat die Darstellung der zeitlichen Entwicklung des Winkelsektors z.B. den Vorteil, dass die gleiche Information durch eine wesentlich geringere Daten- menge abgebildet werden kann. In einer Gitterkarte tragen einzelne Pixel, die nicht durch ein anderes Fahrzeug belegt sind (d.h.„leere“ Pixel), beispielsweise nicht zum Informati- onsgehalt, der etwa von einem künstlichen neuronalen Netz genutzt werden kann, bei. Insbesondere kann die benötigte Datenmenge, um ein künstliches neuronales Netz zu
trainieren, durch die Verwendung der Darstellung der zeitlichen Entwicklung des Winkel- sektors um einen Faktor 27 reduziert werden.
Insgesamt ermöglicht es die vorliegende Erfindung, die Verarbeitung von Sensordaten weiter zu verbessern. Es kann insbesondere die Aufbereitung von Sensordaten für die Verarbeitung durch ein künstliches neuronales Netz verbessert werden, beispielsweise indem ein Informationsverlust bei der Aufbereitung verhindert oder zumindest reduziert wird.
Nachfolgend werden bevorzugte Ausführungsformen der Erfindung und deren Weiterbil- dungen beschrieben, die jeweils, soweit dies nicht ausdrücklich ausgeschlossen wird, beliebig miteinander sowie mit den im Weiteren beschriebenen Aspekten der Erfindung kombiniert werden können.
In einer bevorzugten Ausführungsform wird die Darstellung an ein künstliches neurona- les Netz ausgegeben oder für die Verarbeitung durch das künstliche neuronale Netz be- reitgestellt. Beispielsweise kann die Darstellung als Datenpaket, insbesondere als digita- les Bild, auf einem Speichermedium gespeichert oder über eine Schnittstelle direkt an das künstliche neuronale Netz übertragen werden. Dadurch können auch große Mengen an Sensordaten zum Trainieren des künstlichen neuronalen Netzes, insbesondere zum Ermitteln von für ein vorgegebenes Szenario charakteristischen Mustern in der Darstel- lung, wie etwa der Form einer Figur in der Darstellung, herangezogen werden.
Ein zweiter Aspekt der Erfindung betrifft ein Computer-gestütztes Verfahren zum Trainie- ren eines künstlichen neuronalen Netzes auf der Grundlage von Sensordaten, welche geeignet sind, um ein bekanntes dynamisches räumliches Szenario in Bezug auf ein Ego-Objekt und wenigstens ein anderes Objekt zu charakterisieren. Dabei wird eine Darstellung eines zeitlichen Verlaufs eines Winkelsektors, welcher aus der Perspektive eines Ego-Objekts, insbesondere eines Ego-Fahrzeugs, durch ein anderes Objekt, ins- besondere ein anderes Fahrzeug, abgedeckt ist, auf der Grundlage der Sensordaten erzeugt. Die erzeugte Darstellung zusammen wird mit einer Information über das räumli- che Szenario dem künstlichen neuronalen Netz zugeführt. Dadurch kann das künstliche neuronale Netz besonders schnell und zuverlässig auf das Erkennen von für verschie- dene Szenarios charakteristischen Mustern trainiert werden.
Die Information über das räumliche Szenario enthält dabei in bevorzugter Weise einen Hinweis auf eine Klassifizierung (engl label) des Szenarios, mit dessen Hilfe das Szena- rio, vorzugsweise eindeutig, identifiziert werden kann. Die Information kann dabei bereits in den Sensordaten enthalten sein, etwa wenn es sich um simulierte Sensordaten han- delt, die von einem Simulator bei der Simulation eines bestimmten Szenarios erzeugt wurden. Alternativ kann die Information dem künstlichen neuronalen Netz aber auch als separater Datenstrom zugeführt werden, etwa wenn die Sensordaten zuvor bereits ana- lysiert und bezüglich wenigstens eines Szenarios klassifiziert wurden. Diese Klassifizie- rung kann insbesondere manuell durchgeführt worden sein, beispielsweise durch die Analyse eines mit den Sensordaten korrespondierenden Bilderstroms.
Ein dritter Aspekt der Erfindung betrifft ein Computer-gestütztes Verfahren zum Analysie- ren von Sensordaten, welche geeignet sind, um ein dynamisches räumliches Szenario in Bezug auf ein Ego-Objekt und wenigstens ein anderes Objekt zu charakterisieren. Dabei wird eine Darstellung eines zeitlichen Verlaufs eines Winkelsektors, welcher aus der Perspektive eines Ego-Objekts, insbesondere eines Ego-Fahrzeugs, durch ein anderes Objekt, insbesondere ein anderes Fahrzeug, abgedeckt ist, auf der Grundlage der Sens- ordaten erzeugt. Die erzeugte Darstellung wird mit wenigstens einer vordefinierten Schablone eines bekannten dynamischen räumlichen Szenarios verglichen. Dadurch kann anhand eines Sensordatenstroms, wie er beispielsweise von Umgebungssensoren eines Fahrzeugs bereitgestellt wird, ein Vorliegen eines bekannten Szenarios besonders schnell und zuverlässig erkannt werden.
Die vordefinierte Schablone ist in bevorzugter Weise eine generische Darstellung der zeitlichen Entwicklung des Winkelsektors, die z.B. alle wesentlichen charakteristischen Muster eines Szenarios enthält. Beispielsweise kann die vordefinierte Schablone eine Darstellung sein, die wenigstens eine Figur enthält, deren Form charakteristisch für ein Fahrmanöver eines Fahrzeugs ist, das im Rahmen eines Verkehrsszenarios ausgeführt wird.
Vorzugsweise wird die vordefinierte Schablone auf der Grundlage von mehreren Darstel- lungen, die charakteristisch für das bekannte dynamische räumliche Szenario sind, er- mittelt. Insbesondere können die mehreren Darstellungen, die charakteristisch für das bekannte Szenario sind, gemittelt werden. Diese Darstellungen können dabei beispiels- weise zuvor aus Sensordaten, die bezüglich des Szenarios klassifiziert wurden, erzeugt
worden sein. Dadurch kann ein hohes Maß an Zuverlässigkeit beim Vergleichen der er- zeugten Darstellung mit der vordefinierten Schablone erreicht werden.
In einer bevorzugten Ausführungsform wird das dynamische räumliche Szenario auf der Grundlage des Vergleichens klassifiziert, etwa indem die ermittelte Darstellung der we- nigstens einen vordefinierten Schablone zugeordnet wird. Dadurch kann das Szenario zuverlässig identifiziert und gegebenenfalls Reaktionen eines Fahrerassistenzsystem ausgelöst werden.
Vorzugsweise wird beim Vergleichen der erzeugten Darstellung mit der vordefinierten Schablone ein Ähnlichkeitsmaß ermittelt, auf dessen Grundlage das Szenario beispiels- weise klassifiziert und die erzeugte Darstellung einem Szenario zugeordnet werden kann. Es ist z.B. denkbar, die erzeugte Darstellung demjenigen Szenario zuzuordnen, auf dessen vordefinierte Schablonen sich die erzeugte Darstellung mittels eines Verfah- rens zur elastischen Anpassung (engl elastic matching oder nonlinear template mat- ching) am besten abbilden lässt, d.h. für die ein durch das Verfahren erhaltenes Ähnlich- keitsmaß maximal wird. Dadurch kann das Szenario besonders zuverlässig identifiziert werden.
In einer weiteren bevorzugten Ausführungsform wird eine Schablone für ein neues dy- namischen räumliches Szenarios definiert, wenn die erzeugte Darstellung nicht der we- nigstens einen vordefinierten Schablone eines bekannten dynamischen räumlichen Sze- narios zugeordnet werden kann. Dadurch können neue dynamische Szenarien identifi- ziert, insbesondere klassifiziert, werden. Insbesondere können neue dynamische Szena- rien somit im Wesentlichen in Echtzeit identifiziert werden.
Beispielsweise kann eine Schablone für ein neues dynamisches räumliches Szenario definiert werden, wenn ein beim Vergleichen der erzeugten Darstellung ermitteltes Ähn- lichkeitsmaß einen vorgegebenen Schwellenwert nicht erreicht. Dadurch kann auf einfa- che Weise, insbesondere in Echtzeit, ein Katalog von vordefinierten Schablonen von bekannten dynamischen räumlichen Szenarien erzeugt werden.
In einer weiteren bevorzugten Ausführungsform gibt die erzeugte Darstellung des Weite- ren einen, insbesondere transversalen, Abstand des Ego-Objekts zu dem anderen Ob- jekt und/oder einer, insbesondere transversalen, Geschwindigkeit des Ego-Objekts wie-
der, wobei der Abstand und/oder die Geschwindigkeit ebenfalls aus Sensordaten ermit- telt ist oder sind. Dabei ist die entsprechende Abstandsinformation bzw. Geschwindig- keitsinformation vorzugsweise derart in der Darstellung encodiert, dass sie unabhängig wenigstens von der räumlichen Anordnung des anderen Objekts relativ zum Ego-Objekt ausgelesen werden kann. Durch Berücksichtigung des Abstands und/oder der Ge- schwindigkeit kann ein vorliegendes dynamisches räumliches Szenario besonders zuver- lässig identifiziert werden. Insbesondere ermöglicht die Berücksichtigung des Abstands und/oder der Geschwindigkeit auch eine besonders feine Unterscheidung zwischen ver- schiedenen dynamischen räumlichen Szenarien.
Die Geschwindigkeit des Ego-Objekts kann insbesondere eine Transversalgeschwindig- keit, d.h. eine Geschwindigkeitskomponente im Wesentlichen senkrecht zur dominanten (longitudinalen) Bewegungsrichtung, z.B. einer Fahrtrichtung, des Ego-Objekts, aufwei- sen. Vorzugsweise ist die in der erzeugten Darstellung wiedergegebene Geschwindigkeit des Ego-Objekts ausschließlich aus der Transversalgeschwindigkeit gebildet.
Bei Geradeausfahrt ist Transversalgeschwindigkeit des Ego-Fahrzeugs beispielsweise Null, während sie bei einem Spurwechsel bis auf einen maximalen Wert anwächst und dann wieder auf Null abfällt.
Anhand der in der Darstellung wiedergegebenen Geschwindigkeit kann z.B. zwischen einem Spurwechsel, der vom Ego-Fahrzeug durchgeführt wird, und einem Spurwechsel, der von einem anderen Fahrzeug durchgeführt wird, unterschieden werden. Da sich die- se beiden Fahrmanöver bezüglich der relativen Bewegung des Ego-Fahrzeugs und des anderen Fahrzeugs zueinander nicht unterscheiden, d.h. die Darstellung in beiden Fällen beispielsweise die gleiche Figur zeigt, ermöglicht erst die Berücksichtigung der Trans- versalgeschwindigkeit des Ego-Fahrzeugs eine zuverlässige Aussage, welches Fahr- zeug die Fahrspur wechselt.
Der Abstand des Ego-Objekts zum anderen Objekt kann insbesondere einen Transver- salabstand, d.h. eine Abstandskomponente im Wesentlichen senkrecht zur dominanten (longitudinalen) Bewegungsrichtung, z.B. einer Fahrtrichtung, des Ego-Objekts, aufwei- sen. Vorzugsweise ist der in der erzeugten Darstellung wiedergegebene Abstand des Ego-Objekts zum anderen Objekt ausschließlich aus dem Transversalabstand gebildet.
Wird das Ego-Fahrzeug beispielsweise von einem anderen Fahrzeug auf einer benach- barten Fahrspur überholt, ändert sich der absolute Abstand zwischen dem Ego-Fahrzeug und dem anderen Fahrzeug. Der Transversalabstand bleibt jedoch konstant, solange weder das Ego-Fahrzeug noch andere Fahrzeugs seine jeweilige Fahrspur verlässt. Die Änderung des Transversalabstands erlaubt daher (weitere) Rückschlüsse auf das, etwa im Rahmen eines Szenarios, durchgeführte Manöver.
In einer weiteren bevorzugten Ausführungsform wird der zeitliche Verlauf eines Winkel- sektors durch eine Linie dargestellt, deren Breite einen Wert des jeweils vorliegenden Winkelsektors angibt. Alternativ oder zusätzlich wird oder werden ein Abstand des Ego- Objekts zu dem anderen Objekt und/oder eine Geschwindigkeit des Ego-Objekts durch einen hinterlegten Wert oder eine Einfärbung an der jeweiligen Stelle der Linie, welche dem Zeitpunkt des Vorliegens des Abstands und/oder der Geschwindigkeit entspricht, dargestellt.
Der hinterlegte Wert bzw. die Einfärbung der Linie kann alternativ oder zusätzlich durch eine, insbesondere generische, Funktion ermittelt werden, in die als Eingangsgrößen z.B. der, insbesondere transversale, Abstand zwischen dem Ego-Objekt und dem ande- ren Objekt und/oder die, insbesondere transversale, Geschwindigkeit des Ego-Objekts eingehen. Anhand der Funktion kann beispielsweise der Abstand und die Geschwindig- keit, gegebenenfalls unter Berücksichtigung einer Gewichtung, addiert oder multipliziert werden. Insbesondere kann die Geschwindigkeit mit dem Abstand oder der Abstand mit der Geschwindigkeit gewichtet werden. Die dadurch erhalte, in der Darstellung oder durch den hinterlegten Wert wiedergegebene Information ermöglicht eine besonders zu- verlässige und detaillierte Unterscheidung von Fahrmanövern bzw. den damit korres- pondierenden dynamischen räumlichen Szenarien.
Die Funktion wird dabei vorzugsweise dazu verwendet, um die Wahrnehmung eines künstlichen neuronalen Netzes zu manipulieren. Mit anderen Worten kann die Funktion so gewählt werden, dass die daraus resultierenden Darstellungen das von dem künstli- chen neuronalen Netz erkannte Muster beeinflussen. Dadurch können unterschiedliche dynamische räumliche Szenarien besonders zuverlässig unterschieden werden.
Alternativ oder zusätzlich können auch andere Parameter als der Abstand zwischen dem Ego-Objekt und dem anderen Objekt und/oder die Geschwindigkeit des Ego-Objekts als
Eingangsgrößen der Funktion gewählt werden. Die Parameter können z.B. in Abhängig- keit von dem, insbesondere bekannten, dynamischen räumlichen Szenario gewählt wer- den. Vorzugsweise werden Parameter als Eingangsgrößen gewählt, die das dynamische räumliche Szenario zumindest teilweise charakterisieren.
Ein vierter Aspekt der Erfindung betrifft ein System zur Datenaufbereitung von dynami- schen räumlichen Szenarien, insbesondere Verkehrsszenarien, für die Verarbeitung durch ein künstliches neuronales Netz. Das System weist ein Ermittlungsmodul auf, wel- ches dazu eingerichtet ist, einen zeitlichen Verlauf eines Winkelsektors, welcher aus der Perspektive eines Ego-Objekts, insbesondere eines Ego-Fahrzeugs, durch ein anderes Objekt, insbesondere ein anderes Fahrzeug, abgedeckt wird, aus Sensordaten zu ermit- teln. Die Sensordaten sind dabei geeignet, um ein dynamisches räumliches Szenario in Bezug auf das Ego-Objekt und wenigstens ein anderes Objekt zu charakterisieren. Das System weist zudem ein Erzeugungsmodul auf, welches dazu eingerichtet ist, eine Dar- stellung des ermittelten zeitlichen Verlaufs zu erzeugen.
Ein fünfter Aspekt der Erfindung betrifft ein System zum Trainieren eines künstlichen neuronalen Netzes auf der Grundlage von Sensordaten, welche geeignet sind, um ein bekanntes dynamisches räumliches Szenario in Bezug auf ein Ego-Objekt und wenigs- tens ein anderes Objekt zu charakterisieren. Das System weist ein Erzeugungsmodul auf, welches dazu eingerichtet ist, eine Darstellung eines zeitlichen Verlaufs eines Win- kelsektors, welcher aus der Perspektive eines Ego-Objekts, insbesondere eines Ego- Fahrzeugs, durch ein anderes Objekt, insbesondere ein anderes Fahrzeug, abgedeckt ist, auf der Grundlage der Sensordaten zu erzeugen. Das System weist zudem eine Schnittstelle auf, die dazu eingerichtet ist, die erzeugte Darstellung zusammen mit einer Information über das räumliche Szenario dem künstlichen neuronalen Netz zuzuführen.
Ein sechster Aspekt der Erfindung betrifft ein System zum Analysieren von Sensordaten, welche geeignet sind, um ein dynamisches räumliches Szenario in Bezug auf ein Ego- Objekt und wenigstens ein anderes Objekt zu charakterisieren. Das System weist ein Erzeugungsmodul auf, welches dazu eingerichtet ist, eine Darstellung eines zeitlichen Verlaufs eines Winkelsektors, welcher aus der Perspektive eines Ego-Objekts, insbe- sondere eines Ego-Fahrzeugs, durch ein anderes Objekt, insbesondere ein anderes Fahrzeug, abgedeckt ist, auf der Grundlage der Sensordaten zu erzeugen. Das System weist zudem ein Vergleichsmodul auf, welches dazu eingerichtet ist, die erzeugte Dar-
Stellung mit wenigstens einer vordefinierten Schablone eines bekannten dynamischen räumlichen Szenarios zu vergleichen.
Die in Bezug auf den ersten Aspekt der Erfindung und dessen vorteilhafte Ausgestaltung beschriebenen Merkmale und Vorteile gelten, zumindest wo technisch sinnvoll, auch für den zweiten, dritten, vierten, fünften und sechsten Aspekt der Erfindung und dessen vor- teilhafte Ausgestaltung sowie umgekehrt.
Weitere Merkmale, Vorteile und Anwendungsmöglichkeiten der Erfindung ergeben sich aus der nachfolgenden Beschreibung im Zusammenhang mit den Figuren, in denen durchgängig dieselben Bezugszeichen für dieselben oder einander entsprechende Ele- mente der Erfindung verwendet werden. Es zeigen wenigstens teilweise schematisch:
Fig. 1 jeweils ein bevorzugtes Ausführungsbeispiel eines erfindungsgemäßen Systems zur Datenaufbereitung und eines erfindungsgemäßen Systems zum Trainieren ei- nes künstlichen neuronalen Netzes;
Fig. 2 ein bevorzugtes Ausführungsbeispiel eines erfindungsgemäßen Systems zur Ana- lyse von Sensordaten;
Fig. 3 ein Beispiel für das Ermitteln eines Winkelsektors in einem Verkehrsszenario;
Fig. 4 ein erstes Beispiel zur Erläuterung des Zusammenhangs zwischen einer erfin- dungsgemäßen Darstellung und einem korrespondieren dynamischen räumlichen Szenario;
Fig. 5 ein zweites Beispiel zur Erläuterung des Zusammenhangs zwischen einer erfin- dungsgemäßen Darstellung und einem korrespondieren dynamischen räumlichen Szenario;
Fig. 6 jeweils ein bevorzugtes Ausführungsbeispiel eines erfindungsgemäßen Verfah- rens zur Datenaufbereitung und eines erfindungsgemäßen Verfahrens zum Trai- nieren eines künstlichen neuronalen Netzes; und
Fig. 7 ein bevorzugtes Ausführungsbeispiel eines erfindungsgemäßen Verfahrens zur Datenauswertung.
Fig. 1 zeigt jeweils ein bevorzugtes Ausführungsbeispiel eines erfindungsgemäßen Sys- tems 100 zur Datenaufbereitung von dynamischen räumlichen Szenarien und eines er- findungsgemäßen Systems 200 zum Trainieren eines künstlichen neuronalen Netzes 1. Das System 100 zur Datenaufbereitung weist ein Ermittlungsmodul 2 und ein Erzeu- gungsmodul 3 auf, wobei das Ermittlungsmodul 2 dazu eingerichtet ist, einen zeitlichen Verlauf eines Winkelsektors, der aus der Perspektive eines Ego-Objekts durch ein ande- res Objekt abgedeckt wird, aus Sensordaten S zu ermitteln, und wobei das Erzeu- gungsmodul 3 dazu eingerichtet ist, eine Darstellung des ermittelten zeitlichen Verlaufs zu erzeugen. Das System 200 zum Trainieren des künstlichen neuronalen Netzes 1 weist das Erzeugungsmodul 3 und eine Schnittstelle 4 auf, wobei die Schnittstelle 4 dazu eingerichtet ist, die erzeugte Darstellung zusammen mit einer Information über ein dy- namisches räumliches Szenario dem künstlichen neuronalen Netz 1 zuzuführen.
Die Sensordaten S werden beispielsweise von Umgebungssensoren eines Ego- Fahrzeugs beim Erfassen eines Verkehrsszenarios erzeugt und charakterisieren etwa die Anzahl benachbarter Fahrzeuge, die relative Anordnung, insbesondere die relativen Abstände, der anderen Fahrzeuge zum Ego-Fahrzeug, die Geschwindigkeit des Ego- Fahrzeugs, und/oder dergleichen. Aus diesen Sensordaten S kann das Ermittlungsmo- dul 2 in bevorzugter weise ermitteln, wie breit wenigstens ein von den anderen Fahrzeu- gen verdeckter Winkelsektor im Sichtfeld des Ego-Fahrzeugs ist und in welcher Lage dieser Winkelsektor, beispielsweise relativ zur Fahrtrichtung des Ego-Fahrzeugs, ange- ordnet ist.
Da die Umgebungssensoren das Umfeld des Ego-Fahrzeugs vorzugsweise kontinuier- lich, zumindest aber mit hoher Frequenz, erfassen, kann aus den resultierenden Sensor- daten S auch der zeitliche Verlauf des Winkelsektors, insbesondere eine Änderung sei- ner Breite und/oder seiner Lage aus der Perspektive des Ego-Fahrzeugs ermittelt wer- den. Der zeitliche Verlauf kann vom Erzeugungsmodul 3 verwendet werden, um eine graphische Darstellung, die das Verkehrsszenario in einer abstrakten Weise abbildet, zu erzeugen. Mit anderen Worten ist das Erzeugungsmodul 3 dazu eingerichtet, die in den Sensordaten S enthaltene Information bezüglich des Verkehrsszenarios in der Darstel- lung, insbesondere in komprimierter Form, zu encodieren.
Vorzugsweise handelt es sich bei den Sensordaten S in Bezug auf dynamische räumli- che Szenarien klassifizierte Sensordaten, d.h. die Sensordaten S sind beispielsweise einer von mehreren Klassen von Verkehrsszenarien, etwa Überholmanövern oder Spur- wechselmanövern, zugeordnet. Diese Klassifizierung kann beispielsweise manuell, etwa durch Sichten eines Bilddatenstroms, erfolgt sein. Die auf Grundlage des ermittelten zeit- lichen Verlaufs des Winkelsektors erzeugte Darstellung kann daher mit einer Information über das dynamische räumliche Szenario von der Schnittstelle 4 an das künstliche neu- ronale Netz 1 übermittelt werden.
Das künstliche neuronale Netz 1 ist vorzugsweise dazu eingerichtet, jeweils wenigstens ein Muster in allen Darstellungen, die der gleichen Verkehrsszenarioklasse zugeordnet sind, zu erkennen. Anhand eines solchen erkannten Musters kann eine Schablone defi- niert werden, die ein bekanntes Verkehrsszenario charakterisiert. Die derart definierten Schablonen können in einer Datenbank 5 zur weiteren Verwendung, etwa zur Auswer- tung von im regulären Betrieb eines Fahrzeugs erzeugten Sensordaten, gespeichert werden.
Fig. 2 zeigt eine bevorzugte Ausführungsform eines Systems 300 zum Analysieren von Sensordaten S, die geeignet sind, ein dynamisches räumliches Szenario in Bezug auf ein Ego-Objekt und wenigstens ein anderes Objekt zu charakterisieren. Das System 300 weist ein Erzeugungsmodul 3 auf, welches dazu eingerichtet ist, auf Grundlage der Sen- sordaten S eine Darstellung eines zeitlichen Verlaufs eines Winkelsektors, welcher aus der Perspektive das Ego-Objekts durch ein anderes Objekt abgedeckt ist, zu erzeugen. Das System 300 weist zudem ein Vergleichsmodul 6 auf, welches dazu eingerichtet ist, die erzeugte Darstellung mit wenigstens einer vordefinierten Schablone eines bekannten dynamischen räumlichen Szenarios zu vergleichen. Dazu hat das Vergleichsmodul 6 vorzugsweise Zugriff auf eine Datenbank 5, in der wenigstens eine vordefinierte Schab- lone gespeichert ist.
Das Ergebnis des Vergleichs wird vom Vergleichsmodul 6 in bevorzugter Weise ausge- geben und kann etwa zum Steuern eines Fahrerassistenzsystems, mit dem ein Ego- Fahrzeug ausgestattet ist, verwendet werden. Wird zwischen der erzeugten Darstellung und der wenigstens einen vordefinierten Schablone beispielsweise wenigstens ein vor- gegebenes Maß an Übereinstimmung festgestellt, etwa durch Analyse eines beim Ver-
gleichen erzeugten Ähnlichkeitsmaßes, kann darauf geschlossen werden, dass das be- kannte Szenario vorliegt, und das Vergleichsmodul 6 kann als Ausgangssignal etwa eine Szenarioklasse ausgeben. Alternativ oder zusätzlich kann auch der Beginn und/oder das Ende eines identifizierten Fahrmanövers ausgegeben, insbesondere signalisiert, werden.
Fig. 3 zeigt ein Beispiel für das Ermitteln eines Winkelsektors F in einem dynamischen räumlichen Szenario 10, bei dem sich ein Ego-Objekt 1 1 entlang einer Bewegungsrich- tung, hier entlang der x-Achse eines Koordinatensystems, bewegt und von anderen Ob- jekten 12 umgeben ist. Im vorliegenden Beispiel handelt es sich bei dem räumlichen Szenario 10 um einen Verkehrsszenario mit einem Ego-Fahrzeug 1 1a, das sich in Fahrt- richtung auf einer mittleren Fahrspur bewegt und von anderen Fahrzeugen 12a, 12b auf benachbarten Fahrspuren umgeben ist.
Fig. 3A zeigt das Verkehrsszenario aus der Vogelperspektive, wobei in der gezeigten Darstellung eine zeitliche Abfolge von räumlichen Szenen zusammengefasst ist. Zu ver- schiedenen Zeitpunkten befinden sich die anderen Fahrzeuge 12a, 12b in verschiedenen Positionen relativ zum Ego-Fahrzeug 1 1a, die durch unterschiedliche Füllungen der die Fahrzeuge 12a, 12b repräsentierenden Rechtecke angedeutet sind. Dabei korrespon- diert eine dichtere Füllung mit einer zeitlich weiter zurückliegenden Position. Wie in die- ser Darstellung gut zu erkennen ist, führt ein erstes Fahrzeug 12a einen Spurwechsel von einer äußeren Fahrspur auf die vom Ego-Fahrzeug 1 1a benutzte Fahrspur aus und schert dabei vor dem Ego-Fahrzeug 1 1a ein. Ein zweites Fahrzeug 12b, das sich zu- nächst etwa auf gleicher Höhe mit dem Ego-Fahrzeug 1 1 a in Bezug auf die Bewegungs- richtung befindet, fällt im zeitlichen Verlauf nach hinten ab. Dadurch, dass die Positions- änderung des zweiten Fahrzeugs 12b verhältnismäßig klein ist, überlappen sich die vom zweiten Fahrzeug 12b zu den unterschiedlichen Zeitpunkten eingenommenen Positionen in dieser Darstellung.
Um eine alternative Darstellung des Verkehrsszenarios zu erzeugen, kann für jedes der beiden Fahrzeuge 12a, 12b ein Wnkelsektor ermittelt werden, der denjenigen Bereich im Sichtfeld des Ego-Fahrzeugs 11 a angibt, der vom jeweiligen Fahrzeug 12a, 12b ab- gedeckt wird. Dies ist in Fig. 3B beispielhaft für das erste Fahrzeug 12a gezeigt. Die sich in Bezug auf die Perspektive des Ego-Fahrzeugs 1 1 a ergebende Kontur 13 des ersten Fahrzeugs 12a ist als durchgezogene Linie angedeutet und spannt den Winkelsektor F auf. Eine Lage cp des Winkelsektors F, und damit auch des ersten Fahrzeugs 12a, aus
Sicht des Ego-Fahrzeugs 1 1 a kann dabei relativ zu einer vorgegebenen Richtung, bei- spielsweise der Bewegungsrichtung, angegeben werden. Verschiebt sich die Position des Fahrzeugs 12a relativ zum Ego-Fahrzeug 1 1 a, kann sich sowohl die Breite des Win- kelsektors F als auch seine Lage cp ändern.
Dies ist in Fig. 3C gezeigt. Das dort abgebildete Balkendiagramm, in dem der inverse, in Fig. 3A als schwarzer Pfeil angedeutete Abstand d zwischen dem Egofahrzeug 1 1a und den anderen Fahrzeugen 12a, 12b gegen die Lage cp des Winkelsektors F aufgetragen ist, bildet eine abstrakte Darstellung des in Fig. 3A gezeigten Verkehrsszenarios. Die drei rechts liegenden Balken korrespondieren mit dem vom ersten Fahrzeug 12a abgedeck- ten Winkelbereich F, während die drei links liegenden Balken mit dem vom zweiten Fahrzeug 12b abgedeckten Winkelbereich F korrespondieren. Die unterschiedlichen Zeitpunkte sind, wie auch in Fig. 3A, durch die entsprechende Füllung der Balken ange- deutet.
Demnach wandert der vom ersten Fahrzeug 12a abgedeckte Winkelbereich F beim Ein- scheren vor dem Ego-Fahrzeug 11 a in Richtung einer 0°-Lage, wobei die 0°-Lage des Winkelsektors F mit einer Position vor dem Ego-Fahrzeug 1 1 a korrespondiert. In dem Maße, wie der Abstand d zwischen dem ersten Fahrzeug 12a und dem Ego- Fahrzeug 1 1 a dabei wie in Fig. 3A gezeigt abnimmt, nimmt auch die Breite des vom ers- ten Fahrzeug 12a abgedeckten Winkelbereichs F zu. Neben der Breite des Winkelbe- reichs F ist der Abstand d zwischen dem ersten Fahrzeug 12a und dem Ego- Fahrzeug 1 1 a auch in der Höhe der Balken encodiert, die mit fortschreitender Zeit zu- nimmt.
Der vom zweiten Fahrzeug 12b abgedeckte Winkelbereich F entfernt sich dagegen von der 0°-Lage in dem Maße, wie das zweite Fahrzeug 12b hinter dem Ego-Fahrzeug 1 1a zurückfällt. Da sich hierbei der Abstand zwischen dem zweiten Fahrzeug 12b und dem Ego Fahrzeug 1 1a vergrößert, nimmt auch die Höhe der Balken sowie deren Breite ab.
Fig. 4 zeigt ein erstes Beispiel zur Erläuterung des Zusammenhangs zwischen einem bevorzugten Ausführungsbeispiel einer erfindungsgemäßen Darstellung 20 und einem korrespondierenden dynamischen räumlichen Szenario 10. Dazu zeigt Fig. 4A die Dar- stellung 20 zeitlicher Verläufe von Winkelsektoren FQ, F^ FO, die von anderen Objek- ten aus der Perspektive eines Ego-Objekts, etwa eines Ego-Fahrzeugs 1 1a, abgedeckt
werden. In der Darstellung 20 ist die Zeit t gegen die Lage cp der Winkelsektoren Oa, Ob, Oc aufgetragen, wobei die 0°-Lage mit einer Position vor dem Ego-Objekt korrespon- diert.
Die zeitlichen Verläufe der Winkelsektoren Oa, Ob, Oc werden als Linien dargestellt, deren Breite mit dem Abstand des jeweiligen Objekts zum Ego-Objekt korrespondiert. Ein erstes Objekt, etwa ein erstes Fahrzeug 12a, befindet sich demnach zu Beginn bei t = 0 in einiger Entfernung vor dem Ego-Objekt. Ein zweites Objekt, etwa ein zweites Fahrzeug 12b, befindet sich zu Beginn dagegen näher am Ego-Objekt, allerdings in einer Position seitlich vom Ego-Objekt. Bei etwa t = 40 ändert das zweite Objekt seine Position und schiebt sich zwischen das Ego-Objekt und das erste Objekt. Der zeitliche Verlauf des Winkelsektors Ob, der vom zweiten Objekt abgedeckt wird, überlappt ab diesem Zeitpunkt den Verlauf des Wnkelsektors Oa, der vom ersten Objekt abgedeckt wird.
Bei etwa t = 70 wird ein weiterer Winkelsektor Oc von einem dritten Objekt, etwa einem dritten Fahrzeug 12c, abgedeckt. Das dritte Objekt befindet sich seitlich vom Ego-Objekt, und zwar auf einer Seite des Ego-Objekts, die derjenigen Seite, auf der sich das zweite Objekt bei t = 0 befand, gegenüberliegt. Die Lage cp des vom dritten Objekt abgedeckten Winkelsektors Oc verschiebt sich darauffolgend in Richtung der 0°-Lage. Dieser zeitliche Verlauf kann beispielsweise durch eine Bewegung des dritten Objekts parallel zur Bewe- gungsrichtung des Ego-Objekts verursacht werden, wobei der Abstand des dritten Ob- jekts zum Ego-Objekt zunimmt.
Derartige zeitliche Verläufe der Winkelsektoren Oa, Ob, Oc können beispielsweise cha- rakteristisch für das in Fig. 4B gezeigte räumliche dynamisches Szenario 10, hier ein Verkehrsszenario, sein. Die zeitliche Entwicklung ist in Fig. 4B durch mit Punkten ge- kennzeichnete Trajektorien der Fahrzeuge auf der Fahrbahn angedeutet.
Zu Beginn befindet sich das Ego-Fahrzeug 1 1a an der Position (x = 0, y = 0), und das erste Fahrzeug 12a befindet sich etwa an der Position (x = 60, y = 0). Demnach fährt das erste Fahrzeug 12a dem Ego-Fahrzeug 1 1 a auf einer mittleren Fahrspur etwa im Ab- stand Dc = 60 voraus. Das zweite Fahrzeug 12b befindet sich zu Beginn etwa an der Position (x = 45, y = -4), wobei es demnach auf einer Nachbarspur, d.h. bezüglich des Ego-Fahrzeugs 11 a seitlich versetzt, zwischen dem Ego-Fahrzeug 1 1a und dem ersten Fahrzeug 12a fährt.
Im weiteren zeitlichen Verlauf schert das zweite Fahrzeug 12b zwischen das Ego- Fahrzeug 11 a und das erste Fahrzeug 12a auf der mittleren Fahrspur ein. Die Einscher- bewegung des zweiten Fahrzeugs 12b beginnt etwa an der Position (x = 100, y = -4) und endet etwa an der Position (x = 150, y = 0). Nach dem einscheren des weiteren Fahr- zeugs 12b bewegen sich das Ego-Fahrzeug 1 1a, das erste Fahrzeug 12a und das zwei- te Fahrzeug 12b gemeinsam auf der mittleren Fahrspur weiter. Dadurch, dass hierbei das zweite Fahrzeug 12b aus der Perspektive des Ego-Fahrzeugs 1 1 a nun die Sicht auf das erste Fahrzeug 12a verdeckt, ist in der korrespondierenden Darstellung 20 in Fig. 4A nur noch eine Linie in der 0°-Lage sichtbar.
Das dritte Fahrzeug 12c befindet sich zu Beginn hinter dem Ego-Fahrzeug 1 1a, so dass es, etwa durch Umgebungssensoren des Ego-Fahrzeugs 1 1a, zunächst nicht erfasst wird. Das dritte Fahrzeug 12c bewegt sich jedoch mit einer höheren Geschwindigkeit als das Ego-Fahrzeug 1 1 a, so dass es das Ego-Fahrzeug 1 1 a im weiteren Verlauf auf einer weiteren Nachbarspur bei y = 4 überholt. Erst ab dem Überholzeitpunkt wird das dritte Fahrzeug 12c für das Ego-Fahrzeug 11 a sichtbar, so dass der zeitliche Verlauf des vom dritten Fahrzeug 12c abgedeckten Winkelbereichs <t>c in der korrespondierenden Dar- stellung 20 in Fig. 4A erst ab diesem Zeitpunkt beginnt.
Die durch die zeitlichen Verläufe der Winkelsektoren entstandene Darstellung 20 in Fig. 4A weist ein für das beschriebene räumliche dynamische Szenario 10 charakteristi- sches Muster auf. Werden auf der Grundlage von Sensordaten, die wiederholt beim Er- fassen eines solchen Szenarios gesammelt wurden, viele solcher Darstellungen erzeugt, kann ein künstliches neuronales Netz dieses Muster erlernen bzw. auf das Erkennen dieses Musters trainiert werden. Im regulären Betrieb eines Fahrzeugs kann dann aus den dabei erzeugten Sensordaten im Wesentlichen in Echtzeit der zeitliche Verlauf von Winkelsektoren dargestellt und von dem trainierten künstlichen neuronalen Netz analy- siert, insbesondere mit dem erlernten Muster verglichen, werden. Dadurch wird vor- zugsweise ermittelt, ob bzw. zu welchem Zeitpunkt ein bekanntes Verkehrsszenario vor- Negt.
In Fig. 4C ist dazu das Ergebnis eines solchen Vergleichs, etwa zwischen der in Fig. 4A gezeigten Darstellung 20 und einer entsprechenden Schablone, gezeigt, wobei ein Aus- gangssignal a gegen die Zeit t aufgetragen ist. Etwa zum Zeitpunkt t = 30 springt das
Ausgangssignal a auf den Wert 6, wodurch das Vorliegen des bekannten Verkehrssze- narios, in diesem Fall das Einscheren eines zweiten Fahrzeugs 12b, signalisiert wird. Etwa zum Zeitpunkt t = 85 fällt das Ausgangssignal a zurück auf den Wert null, wodurch das Ende des Einschermanövers signalisiert wird.
Zusätzlich zu dem Beginn und der Dauer des Fahrmanövers kann durch den Wert des Ausgangssignals a auch die Klassifizierung des Verkehrsszenarios ausgegeben werden. In einem anderen, nicht gezeigten Beispiel könnte der Vergleich der erzeugten Darstel- lung mit verschiedenen Schablonen etwa die höchste Übereinstimmung mit einer Schab- lone, die einem Ausschermanöver zugeordnet ist, zeigen und das Ausgangssignal a ent- sprechend einen anderen Wert annehmen.
Fig. 5 zeigt ein zweites Beispiel zur Erläuterung des Zusammenhangs zwischen einem bevorzugten Ausführungsbeispiel einer erfindungsgemäßen Darstellung 20 und einem korrespondierenden dynamischen räumlichen Szenario 10. Dazu zeigt Fig. 5A eine Szene aus der dem dynamischen räumlichen Szenario 10 entsprechenden Verkehrssi- tuation, in diesem Fall ein durch den Pfeil angedeutetes Einscheren eines Ego- Fahrzeugs 1 1a auf eine Fahrspur, auf der bereits ein anderes erstes Fahrzeug 12a fährt. Neben dem ersten Fahrzeug 12a fährt ein weiteres, zweites Fahrzeug 12b auf einer wei- teren Fahrspur.
Die zeitliche Entwicklung des dynamischen räumlichen Szenarios 10 ist in Fig. 5B durch anhand von Punkten gekennzeichnete Trajektorien der Fahrzeuge 1 1 a, 12a, 12b ge- zeigt. Zu Beginn befindet sich das Ego-Fahrzeug 1 1 a etwa an der Position (x = 0, y = 2,5), und das erste Fahrzeug 12a fährt dem Ego-Fahrzeug 1 1 a etwa an der Position (x = 35, y = 0) auf einer mittleren Fahrspur voraus, d.h. etwa im Abstand Dc = 35. Das zweite Fahrzeug 12b befindet sich zu Beginn etwa an der Position (x = 25, y = -2,5).
Im weiteren zeitlichen Verlauf beginnt das Ego-Fahrzeug 1 1 a etwa an der Position (x = 60, y = 2) mit dem Einscheren auf die mittlere Fahrspur und beendet das Fahrma- növer etwa an der Position (x = 100, y = 0). Die anderen beiden Fahrzeuge 12a, 12b fahren dabei mit etwas höherer Geschwindigkeit weiter geradeaus, so dass das Ego- Fahrzeug 11 a langsam weiter zurückfällt.
In Fig. 5C sind die zeitlichen Verläufe der Winkelsektoren Oa, Ob, die jeweils vom ersten Fahrzeug 12a bzw. zweiten Fahrzeug 12b aus der Perspektive des Ego-Fahrzeugs 1 1a abgedeckt werden, in einer Darstellung 20 gezeigt. Dabei ist die Zeit t gegen eine La- ge f der Winkelsektoren Oa, Ob aufgetragen. Eine in Fig. 5c eingezeichnete 0°-Lage korrespondiert mit einer Position vor dem Ego-Fahrzeug 1 1 a.
Im zeitlichen Verlauf verschieben sich die Winkelsektoren Oa, Ob in Richtung der 0°- Lage, da sich das erste und zweite Fahrzeug 12a, 12b wie vorangehend beschrieben aufgrund ihrer höheren Geschwindigkeit vom Ego-Fahrzeug 1 1 a entfernen. Zum Zeit- punkt des Einscherens des Ego-Fahrzeugs 1 1a, hier etwa zum Zeitpunkt t = 30, krüm- men sich die zeitlichen Verläufe der Winkelsektoren Oa, Ob zusätzlich in Richtung der 0°-Lage. Der durch das erste Fahrzeug 12a abgedeckte Winkelsektor Oa verläuft im Folgenden entlang der 0°-Lage, da wie in Fig. 5A und 5B gezeigt das erste Fahr- zeug 12a dem Ego-Fahrzeug 11 a auf derselben Fahrspur vorausfährt.
Aufgrund des entstandenen Musters können zunächst nur Aussagen über die relative Bewegung des Ego-Fahrzeugs 1 1a bezüglich des ersten und zweiten Fahrzeugs 12a, 12b getroffen werden, d.h. es geht aus der Form des zeitlichen Verlaufs der Winkelsek- toren Oa, Ob zunächst nicht eindeutig hervor, ob das Ego-Fahrzeug 1 1 a auf die mittlere Fahrspur wechselt oder ob das erste und das zweite Fahrzeug 12a, 12b, insbesondere im Wesentlichen zeitgleich, jeweils einen Fahrspurwechsel durchführen, wobei das erste Fahrzeug 12a auf die Fahrspur des Ego-Fahrzeugs 1 1 a und das zweite Fahrzeug 12b auf die zuvor vom ersten Fahrzeug 12a benutzte Fahrspur einschwenkt.
Um diese beiden Fälle voneinander unterscheiden zu können, zeigt die Darstellung 20 neben den Winkelsektoren Oa, Ob zusätzlich einen Wert, der charakteristisch für den, insbesondere transversalen, Abstand zwischen dem Ego-Fahrzeug 1 1 a und dem jeweils anderen Fahrzeug 12a, 12b und/oder für die, insbesondere transversale, Geschwindig- keit des Ego-Fahrzeugs 11 a zur Zeit t ist. Der transversale Abstand oder die transversale Geschwindigkeit beziehen sich hierbei auf eine transversale Komponente des Abstands bzw. der Geschwindigkeit, d.h. der y-Komponenten in der in Fig. 5B gezeigten Darstel- lung.
Der für den Abstand und/oder die Geschwindigkeit charakteristische Wert ist in der Dar- stellung 20 als eine durch die Tönung angedeutete Farbgebung des zeitlichen Verlaufs
der Winkelsektoren gezeigt. Dabei korrespondiert eine dunkle Tönung beispielsweise mit einer hohen transversalen Geschwindigkeit des Ego-Fahrzeugs 1 1 a. Somit kann der Darstellung 20 in Fig. 5C entnommen werden, dass das Ego-Fahrzeug etwa zum Zeit- punkt t = 20 eine Transversalbewegung, d.h. eine Bewegung senkrecht zum Fahrspur- verlauf, beginnt, wobei das Ego-Fahrzeug 1 1 a bei etwa t = 30 die höchste Transversal- geschwindigkeit erreicht, und die Transversalbewegung bei etwa t = 40 beendet.
Da das Ego-Fahrzeug 11 a bei einem durch eines der anderen Fahrzeuge 12a, 12b durchgeführten Spurwechsel seine (transversale) Geschwindigkeit nicht ändert, kann im vorliegenden Fall auf ein Einschwenken des Ego-Fahrzeugs 1 1 a auf die durch das erste Fahrzeug 12a genutzte Fahrspur geschlossen werden.
Fig. 6 zeigt jeweils ein bevorzugtes Ausführungsbeispiel eines erfindungsgemäßen Ver- fahrens V1 zur Datenaufbereitung und eines erfindungsgemäßen Verfahrens V2 zum Trainieren eines künstlichen neuronalen Netzes.
In einem Verfahrensschritt S1 werden Sensordaten erzeugt, etwa durch sensorisches Erfassen des Umfelds eines Ego-Objekts, und klassifiziert, d.h. verschiedenen dynami- schen räumlichen Szenarien zugeordnet. Die Klassifizierung kann beispielsweise manu- ell durchgeführt werden, etwa durch Auswertung eines Bilddatenstroms. Alternativ kön- nen die Sensordaten auch automatisch klassifiziert werden, insbesondere wenn es sich um Sensordaten handelt, die von einem Simulator bei der Simulation verschiedener dy- namischer räumlicher Szenarien erzeugt wurden.
Anhand der Sensordaten kann in einem weiteren Verfahrensschritt S2 ein zeitlicher Ver- lauf eines Winkelsektors, welcher aus der Perspektive des Ego-Objekts durch ein ande- res Objekt abgedeckt wird, ermittelt werden. Beispielsweise kann die Kontur, insbeson- dere die Querschnittsfläche, des anderen Objekts ermittelt und deren Breite im bzw. den Anteil am Sichtfeld des Ego-Objekts bestimmt werden. Zudem kann ein geometrischer Schwerpunkt der Kontur bzw. der Querschnittsfläche ermittelt und dessen Lage im Sicht- feld des Ego-Objekts, insbesondere relativ zur Bewegungsrichtung des Ego-Objekts, bestimmt werden.
In einem weiteren Verfahrensschritt S3 wird aus dem zeitlichen Verlauf des Winkelsek- tors in bevorzugter Weise eine, insbesondere grafische, Darstellung erzeugt, die den
zeitlichen Verlauf abbildet. In einer solchen Darstellung kann der zeitliche Verlauf des Winkelsektors beispielsweise ein Muster, etwa eine Figur, bilden. Vorzugsweise wird dabei für jeden Zeitpunkt, zu dem Sensordaten erzeugt werden oder zumindest ein von einem anderen Objekt abgedeckter Winkelsektor ermittelt wird, die Breite des Winkelsek- tors, insbesondere dessen Anteil am Sichtfeld des Ego-Objekts, und dessen Lage im Sichtfeld des Ego-Objekts, insbesondere relativ zur Bewegungsrichtung des Ego- Objekts, abgebildet.
In bevorzugter Weise wird im Verfahrensschritt S3 bei der Erzeugung der Darstellung auch eine Geschwindigkeit des Ego-Objekts, insbesondere eine Transversalgeschwin- digkeit, und/oder ein Abstand, insbesondere ein Transversalabstand, des Ego-Objekts zum anderen Objekt berücksichtigt. Insbesondere kann, etwa anhand einer Funktion, in die als Eingangsgrößen vorzugsweise das dynamische räumliche Szenario charakteri- sierende Parameter wie etwa die Geschwindigkeit und/oder der Abstand eingehen, ein Wert ermittelt und hinterlegt werden oder die Darstellung entsprechend eingefärbt wer- den. Vorzugsweise liefert die erzeugte Darstellung somit Information bezüglich der Breite und Lage des vom anderen Objekt abgedeckten Winkelsektors im Sichtfeld des Ego- Objekts und der Geschwindigkeit des Ego-Objekts und/oder des Abstands zum anderen Objekt.
In einem weiteren Verfahrensschritt S4 wird die erzeugte Darstellung, etwa mittels einer Schnittstelle, einem künstlichen neuronalen Netz zugeführt, welches dadurch insbeson- dere zum Erkennen von Mustern in der erzeugten Darstellung trainiert wird. Zu diesem Zweck wird dem künstlichen neuronalen Netz zudem in bevorzugter weise eine Informa- tion über die dynamischen räumlichen Szenarien, gemäß denen die Sensordaten im Ver- fahrensschritt S1 klassifiziert wurden, zugeführt, so dass das künstliche neuronale Netz die erzeugte Darstellung bzw. die erkannten Muster jeweils mit einem der dynamischen räumlichen Szenarien korrelieren kann.
Fig. 7 zeigt ein bevorzugtes Ausführungsbeispiel eines erfindungsgemäßen Verfahrens V3 zum Analysieren von Sensordaten, welche geeignet sind, um ein dynamisches räum- liches Szenario in Bezug auf ein Ego-Objekt und wenigstens ein anderes Objekt zu cha- rakterisieren. Bei den Sensordaten handelt es sich in bevorzugter weise um von Umge- bungssensoren eines Ego-Fahrzeugs erzeugte Sensordaten.
In Verfahrensschritt S3 wird aus den Sensordaten eine Darstellung eines zeitlichen Ver- laufs eines Winkelsektors erzeugt. Der Winkelsektor entspricht dabei dem Bereich im Sichtfeld des Ego-Objekts, der von dem anderen Objekt abgedeckt wird. Bei einer sol- chen Darstellung kann es sich beispielsweise um eine Abbildung handeln, in welcher der zeitliche Verlauf des Winkelsektors ein Muster, etwa eine Figur, bildet.
Der zeitliche Verlauf des Winkelsektors kann dabei gegebenenfalls auch in einem sepa- raten, vorangehenden Verfahrensschritt (nicht gezeigt) auf Grundlage der Sensordaten ermittelt werden.
In einem weiteren Verfahrensschritt S5 wird die erzeugte Darstellung mit wenigstens einer vordefinierten Schablone eines bekannten dynamischen räumlichen Szenarios verglichen. Dadurch kann ermittelt werden, in welchem dynamischen räumlichen Szena- rio sich das Ego-Objekt gegenwärtig befindet und gegebenenfalls ein Fahrerassistenz- system entsprechend gesteuert werden.
Optional kann in einem weiteren Verfahrensschritt S6 die erzeugte Darstellung als weite- re vordefinierte Schablone, beispielsweise in einer Datenbank, gespeichert werden, wenn keine oder zumindest keine ausreichende Übereinstimmung der erzeugten Dar- stellung mit der wenigstens einen vordefinierten Schablone, die einem bekannten dyna- mischen räumlichen Szenarios zugeordnet ist, ermittelt werden kann. Auf diese Weise kann ein Katalog mit vordefinierten Schablonen, die zum Identifizieren von dynamischen räumlichen Szenarien geeignet sind, insbesondere im Wesentlichen in Echtzeit, erzeugt werden.
Bezuqszeichenliste
1 künstliches neuronales Netz
2 Erzeugungsmodul
3 Ermittlungsmodul
4 Schnittstelle
5 Datenbank
6 Vergleichsmodul
10 räumliches dynamisches Szenario
1 1 Ego-Objekt
1 1 a Ego-Fahrzeug
12 anderes Fahrzeug
12a erstes Fahrzeug
12b zweites Fahrzeug
12c drittes Fahrzeug
13 Kontur
20 Darstellung
100 System zur Datenaufbereitung
200 System zum Trainieren eines künstlichen neuronalen Netzes
300 System zum Analysieren von Sensordaten
F Winkelsektor
F Lage des Winkelsektors
S Sensordaten y Bewegungsrichtung
d Abstand
a Ausgangssignal
V1 Verfahren zur Datenaufbereitung
V2 Verfahren zum Trainieren eines künstlichen neuronalen Netzes
V3 Verfahren zum Analysieren von Sensordaten
S1 - S6 Verfahrensschritte