WO2019057252A1

WO2019057252A1 - Verfahren und vorrichtung zum erkennen von fahrspuren, fahrerassistenzsystem und fahrzeug

Info

Publication number: WO2019057252A1
Application number: PCT/DE2018/200078
Authority: WO
Inventors: Christopher Bayer; Claudio Heller; Claudia Loy; Alexey ABRAMOV
Original assignee: Continental Teves Ag & Co. Ohg
Priority date: 2017-09-22
Filing date: 2018-08-31
Publication date: 2019-03-28
Also published as: JP2020534600A; US11417117B2; DE102017216802A1; CN111066024A; US20200410256A1; DE112018003499A5

Abstract

Die Erfindung betrifft ein Verfahren zum Erkennen von Fahrspuren (F), mit den Schritten: Erfassen (S1) eines Kamerabildes (K) eines Fahrzeugumfelds mittels einer Kameravorrichtung (2) eines Fahrzeugs (5); Ermitteln (S2) von Merkmalspunkten (P1 bis P15) in dem erfassten Kamerabild (K), welche Bereichen möglicher Fahrbahnbegrenzungen (M1, M2) entsprechen; Erzeugen (S3) von Bildausschnitten des erfassten Kamerabildes (K) um einen jeweiligen Merkmalspunkt (P1 bis P15) herum; Analysieren (S4) der Bildausschnitte unter Verwendung eines neuronalen Netzes zur Klassifikation der Merkmalspunkte (P1 bis P15); und Ermitteln (S5) von Fahrspuren im Fahrzeugumfeld unter Berücksichtigung der klassifizierten Merkmalspunkte (P1 bis P15).

Description

VERFAHREN UND VORRICHTUNG ZUM ERKENNEN VON FAHRSPUREN, FAHRERASSISTENZSYSTEM UND FAHRZEUG

Die Erfindung betrifft ein Verfahren zum Erkennen von Fahrspuren, eine Vorrichtung zum Erkennen von Fahrspuren, ein Fahrerassistenzsystem und ein Fahrzeug.

Fahrerassistenzsysteme generieren auf Basis einer Vielzahl von Sensordaten ein Modell der Umgebung des Fahrzeugs. Neben der Detektion von Hindernissen und weiteren Verkehrsteilnehmern ist die Erkennung von Fahrspuren von besonderer Relevanz. Durch Bestimmen der Bewegung des Fahrzeugs in den Fahrspuren kann der Fahrer beim unabsichtlichen Verlassen einer Fahrspur frühzeitig gewarnt werden. Weiter können Fahrerassistenzsysteme den Fahrer beim Halten der Spur unterstützen oder das Fahrzeug autonom entlang der Fahrspur steuern.

Die Erkennung der Fahrspuren erfolgt üblicherweise durch die Bestimmung von Fahrbahnbegrenzungen, worunter insbesondere Fahrspurmarkierungen und Bordsteinkanten zu verstehen sind. Die Druckschrift DE 10 2015 209467 AI offenbart ein Verfahren zur Schätzung von Fahrstreifen unter Verwendung von Merkmalsvektoren, welche auf Basis verschiedener Sensoren unabhängig voneinander bestimmt werden.

Da sich die meist weißen oder gelben Fahrspurmarkierungen von der dunkleren Fahrbahn absetzen, können zur Bestimmung der Fahrspurmarkierungen Kantendetektionsverfahren eingesetzt werden, welche den Übergang zwischen den helleren und dunkleren Regionen erfassen. Verbreitet ist die Verwendung von Sobel-Filtern, wobei im Wesentlichen eine Differenz der Helligkeitswerte zweier benachbarter Gebiete berechnet wird. Bei einer konstanten Helligkeit mittelt sich diese Differenz zu Null, während sich an Kanten von Null verschiedene Werte ergeben.

Zunehmende Verbreitung findet der Einsatz von neuronalen Netzen zur Objekterkennung und insbesondere zur Erkennung von Fahrspurmarkierungen. Derartige Verfahren haben den Vorteil, dass ^

unterschiedliche Umgebungsbedingungen, etwa tageszeit- oder witterungsbedingte Variationen der Helligkeit besser berück^¬ sichtigt werden können, als dies für die statischen Sobel-Filter der Fall ist.

Da die Auswertung von erkannten Bildern mittels neuronaler Netze jedoch typischerweise pixelweise erfolgt, ist der Rechenaufwand relativ hoch, was zu einem erhöhten Energieverbrauch und einer reduzierten Schnelligkeit der Auswertung führt.

Es ist daher eine Aufgabe der vorliegenden Erfindung, eine schnelle und präzise Erkennung von Fahrspuren zu ermöglichen.

Diese Aufgabe wird durch ein Verfahren zum Erkennen von

Fahrspuren mit den Merkmalen des Patentanspruchs 1, durch eine Vorrichtung zum Erkennen von Fahrspuren mit den Merkmalen des Patentanspruchs 10, durch ein Fahrerassistenzsystem mit den Merkmalen des Patentanspruchs 14 und ein Fahrzeug mit den Merkmalen des Patentanspruchs 15 gelöst.

Weitere bevorzugte Ausführungsformen sind Gegenstand der Un^¬ teransprüche .

Gemäß einem ersten Aspekt schafft die vorliegende Erfindung demnach ein Verfahren zum Erkennen von Fahrspuren, wobei ein Kamerabild eines Fahrzeugumfelds eines Fahrzeugs mittels einer Kameravorrichtung des Fahrzeugs erfasst wird. Merkmalspunkte, welche Bereichen möglicher Fahrbahnbegrenzungen entsprechen, werden ermittelt. Um einen jeweiligen Merkmalspunkt herum werden Bildausschnitte des erfassten Kamerabildes erzeugt. Der

Bildausschnitt wird unter Verwendung eines neuronalen Netzes zur Klassifikation der Merkmalspunkte analysiert. Schließlich werden Fahrspuren im Fahrzeugumfeld unter Berücksichtigung der klassifizierten Merkmalspunkte erkannt.

Gemäß einem zweiten Aspekt schafft die vorliegende Erfindung demnach eine Vorrichtung zum Erkennen von Fahrspuren, welche eine Schnittstelle zum Empfangen eines mittels einer Kameravor- richtung eines Fahrzeugs erfassten Kamerabildes eines Fahr^¬ zeugumfelds des Fahrzeugs aufweist. Die Vorrichtung umfasst weiter eine Recheneinrichtung, welche in dem mittels der Schnittstelle empfangenen Kamerabild Merkmalspunkte ermittelt, welche Bereichen möglicher Fahrbahnbegrenzungen entsprechen. Die Recheneinrichtung erzeugt um einen Merkmalspunkt herum Bildausschnitte des erfassten Kamerabildes, analysiert die Bildausschnitte unter Verwendung eines neuronalen Netzes zur Klassifikation der Merkmalspunkte und ermittelt Fahrspuren im Fahrzeugumfeld unter Berücksichtigung der klassifizierten Merkmalspunkte .

Gemäß einem dritten Aspekt betrifft die Erfindung ein Fahrerassistenzsystem für ein Fahrzeug, mit einer Kameravor- richtung, welche ein Kamerabild eines Fahrzeugumfelds des

Fahrzeugs erfasst, und mit einer Vorrichtung zum Erkennen von Fahrspuren anhand des von der Kameravorrichtung erfassten Kamerabildes . Gemäß einem vierten Aspekt betrifft die Erfindung ein Fahrzeug mit einem Fahrerassistenzsystem.

Die Erfindung stellt eine zweistufige Erkennung von Fahrspuren bereit. In einer ersten Stufe wird das Kamerabild mittels vorzugsweise klassischer Verfahren zur Merkmalserkennung analysiert und Merkmalspunkte werden ermittelt, welche Bereichen möglicher Fahrbahnbegrenzungen entsprechen. In diesem ersten Schritt werden in einer groben Auswertung bereits weniger relevante Bereiche ausgesondert, d. h. solche Bereiche, in welchen mit hoher Wahrscheinlichkeit keine Fahrbahnbegrenzungen zu erwarten sind. Dies reduziert den Rechenaufwand in der weiteren Verarbeitung der Daten.

In einer nachfolgenden zweiten Stufe wird eine detailliertere Analyse der aufgefundenen Merkmalspunkte durchgeführt. Hierzu werden Bildausschnitte um die Merkmalspunkte herum mittels eines neuronalen Netzes ausgewertet. Dadurch kann eine Klassifikation der Merkmalspunkte durchgeführt werden, d. h. eine Einordnung, ob der Merkmalspunkt einer Fahrbahnbegrenzung entspricht oder nicht. Die Fahrspuren werden anhand derjenigen Merkmalspunkte ermittelt, welche als Fahrbahnbegrenzungen entsprechende Merkmalspunkte klassifiziert wurden.

Ein weiterer Vorteil neuraler Netzwerke gegenüber Sobel-Filter besteht in der Berücksichtigung größerer Bildausschnitte. So hat ein Sobel-Filter im Allgemeinen einen Erfassungsbereich von etwa 3x3 Pixeln, während der Bildausschnitt für das neurale Netzwerk beispielsweise einen Erfassungsbereich von 128x128 Pixel aufweisen kann. Durch diese größeren Bildausschnitte ist es für das neurale Netzwerk möglich, den Kontext der Umgebung zu erfassen, um den Merkmalspunkt zu klassifizieren. So können beispielsweise Büsche innerhalb des Bildausschnitts auf eine Leitplanke und damit eine Fehlidentifikation bzw. einen Outlier hindeuten. Vorteilhafterweise wird somit ein Umgebungsbereich des Bildausschnittes mit ausgewertet.

Die Erfindung kombiniert somit vorzugsweise klassische Verfahren mit der Verwendung neuronaler Netze. Aufgrund der Vorfilterung müssen jedoch nur noch bestimmte Bereiche des Kamerabildes mittels des neuronalen Netzes analysiert werden und eine Ge^¬ samtauswertung sämtlicher Pixel kann entfallen. Die Fahrspurerkennung ist dadurch schnell und effizient durchführbar. Gleichzeitig werden die hohen Erkennungsgenauigkeiten der neuronalen Netze voll ausgeschöpft.

Um zu verhindern, dass Fahrbahnbegrenzungen nicht erkannt werden, werden die Schwellwerte, welche überschritten werden müssen, um ein Pixel als Merkmalspunkt zu detektieren, vorzugsweise relativ niedrig angesetzt. Die dadurch entstehenden falschen Identifizierungen werden anschließend mittels des neuronalen Netzes wieder ausgefiltert. Bei ausschließlicher Verwendung von Sobel-Filtern werden die Schwellwerte typi- scherweise derart gewählt, dass möglichst wenige Fehlidenti^¬ fizierungen entstehen. Dadurch können jedoch kontrastarme Fahrbahnbegrenzungen nicht erkannt werden. Durch das erfindungsgemäße zweistufige Verfahren muss kein derartiger Korn- promiss eingegangen werden und die Erkennungsgenauigkeit ist höher .

Gemäß einer bevorzugten Weiterbildung des Verfahrens werden die Merkmalspunkte unter Verwendung von Algorithmen zur Kanten- detektion ermittelt. Die Kantendetektion erfolgt somit mittels klassischer Verfahren und vorzugsweise mittels Verwendung von Sobel-Filtern .

Gemäß einer bevorzugten Weiterbildung des Verfahrens umfassen die möglichen Fahrbahnbegrenzungen Fahrspurmarkierungen.

Insbesondere können ausschließlich Fahrspurmarkierungen als mögliche Fahrbahnbegrenzungen erkannt werden. Unter Fahrspurmarkierungen bzw. Fahrbahnmarkierungen sind farbliche Kennzeichnungen auf der Oberfläche der Fahrbahnen zu verstehen, welche die einzelnen Fahrspuren unterteilen bzw. abgrenzen. Gemäß weiteren Ausführungsformen können die Fahrbahnbegrenzungen jedoch auch Bordsteinkanten, Leitplanken oder Vegetation umfassen, insbesondere falls Fahrbahnmarkierungen fehlen.

Gemäß einer bevorzugten Weiterbildung des Verfahrens ist das neuronale Netz ein Convolutional Neural Network.

Gemäß einer bevorzugten Weiterbildung des Verfahrens wird das neuronale Netz mittels vorgegebener Trainingsdaten aus einer Datenbank eingelernt.

Gemäß einer Weiterbildung umfassen die Trainingsdaten Abbildungen von Fahrbahnbegrenzungen. Die Trainingsdaten können weiter Abbildungen von Strukturen umfassen, welche keine Fahrbahnmarkierungen darstellen. Diese Abbildungen werden vorzugsweise derart gewählt, dass sie Strukturen und Objekte abbilden, welche typischerweise mittels klassischer Kanten^¬ detektion fälschlich als Fahrbahnmarkierungen identifiziert werden können. Beispiele können Abbildungen von Fahrzeugen oder von Leitplanken sein, welche keine Fahrbahnbegrenzung darstellen. Das neuronale Netz wird dadurch derart eingelernt, dass Abbildungen von Fahrbahnbegrenzungen von Abbildungen unterschieden werden, welche keine Fahrbahnbegrenzungen zeigen.

Die zur Analyse mittels des neuronalen Netzes verwendeten Bildausschnitte weisen vorzugsweise eine vorgegebene Pixel^¬ anzahl bzw. eine vorgegebene Größe auf. Die als Trainingsdaten gewählten Abbildungen entsprechen vorzugsweise typischen Abbildungen von mittels einer Kameravorrichtung eines Fahrzeugs erfassten Bildern des Fahrzeugumfelds dieser vorgegebenen Pixelanzahl bzw. Größe.

Vorzugsweise werden die Abbildungen zumindest teilweise bei unterschiedlichen Helligkeiten erzeugt. Beispielweise können die Abbildungen zu verschiedenen Tageszeiten erzeugt werden. Die Abbildungen können auch unter verschiedenen Beleuchtungsbedingungen erzeugt werden, etwa auf schlecht ausgeleuchteten oder gut ausgeleuchteten Straßen. Weiter können die Abbildungen unter verschiedenen Witterungsbedingungen, etwa Sonnenschein, Nebel, Regen oder Schnee, erfasst werden.

Gemäß einer bevorzugten Weiterbildung des Verfahrens werden die Verläufe von Fahrbahnbegrenzungen ermittelt, indem benachbarte Merkmalspunkte interpoliert werden, welche als zu einer

Fahrbahnbegrenzung gehörend klassifiziert wurden. Anhand der Verläufe der Fahrbahnbegrenzungen werden die für das Fahrzeug befahrbaren Fahrspuren bestimmt.

Gemäß einer bevorzugten Weiterbildung der Vorrichtung ermittelt die Recheneinrichtung die Merkmalspunkte unter Verwendung von Algorithmen zur Kantendetektion .

Gemäß einer bevorzugten Weiterbildung der Vorrichtung verwendet die Recheneinrichtung zur Kantendetektion Sobel-Filter . Gemäß einer bevorzugten Weiterbildung ist die Recheneinrichtung der Vorrichtung dazu ausgebildet, durch Interpolation benachbarter Merkmalspunkte, welche als einer Fahrbahnbegrenzung entsprechend klassifiziert wurden, Verläufe von Fahrbahnbe- grenzungen zu ermitteln. Die Recheneinrichtung bestimmt anhand der Verläufe der Fahrbahnbegrenzungen die für das Fahrzeug befahrbaren Fahrspuren.

Die vorliegende Erfindung wird nachfolgend anhand der in den schematischen Figuren der Zeichnungen angegebenen Ausführungsbeispiele näher erläutert.

Es zeigen: ein schematisches Blockschaltbild einer Vorrichtung zum Erkennen von Fahrspuren gemäß einer Ausführungsform der Erfindung;

ein schematisches von einer Kameravorrichtung er- fasstes Kamerabild;

Abbildungen als Trainingsdaten für ein neuronales Netz;

in einem Kamerabild erkannte Fahrbahnbegrenzungen; ein schematisches Blockschaltbild eines Fahreras^¬ sistenzsystems ;

ein schematisches Blockschaltbild eines Fahrzeugs; und

ein Flussdiagramm eines Verfahrens zum Erkennen von Fahrspuren .

Weitere mögliche Ausgestaltungen, Weiterbildungen und Implementierungen der Erfindung umfassen auch nicht explizit genannte Kombinationen von zuvor oder im Folgenden bezüglich der Ausführungsbeispiele beschriebenen Merkmale der Erfindung.

Die beiliegenden Zeichnungen sollen ein weiteres Verständnis der Ausführungsformen der Erfindung vermitteln. Sie veranschaulichen Ausführungsformen und dienen im Zusammenhang mit der Beschreibung der Erklärung von Prinzipien und Konzepten der Erfindung. Andere Ausführungsformen und viele der genannten Vorteile ergeben sich im Hinblick auf die Zeichnungen. Gleiche Bezugszeichen bezeichnen dabei gleiche oder ähnlich wirkende Komponenten .

Figur 1 zeigt ein schematisches Blockdiagramm einer Vorrichtung 1 zum Erkennen von Fahrspuren.

Die Vorrichtung 1 umfasst eine Schnittstelle 11, welche dazu ausgebildet ist, drahtlos oder über eine Drahtverbindung Daten zu empfangen und auszusenden. Die Schnittstelle 11 empfängt insbesondere Kameradaten und überträgt diese an eine Rechen^¬ einrichtung 12 der Vorrichtung 1. Die Kameradaten umfassen mindestens ein Kamerabild, welches von einer Kameravorrichtung 2 eines Fahrzeugs erzeugt wurde. Das Kamerabild kann auch aus mehreren Einzelbildern einer Fahrzeugkamera der Kameravor- richtung 2 oder von mehreren Bildern einer Vielzahl von

Fahrzeugkameras der Kameravorrichtung 2 kombiniert werden.

Die Recheneinrichtung 12 analysiert das Kamerabild mittels Bilderkennungsverfahren, um Merkmalspunkte zu extrahieren, welche Bereichen mit Fahrbahnbegrenzungen im Fahrzeugumfeld entsprechen. Die Recheneinrichtung 12 umfasst mindestens einen Mikroprozessor zum Durchführen der Berechnungsschritte.

Die Recheneinrichtung 12 erzeugt um jeden der Merkmalspunkte herum einen jeweiligen Bildausschnitt. Dieser Bildausschnitt dient als Eingangsgröße für ein neuronales Netz, welches den Bildausschnitt bewertet. Bei dem neuronalen Netz handelt es sich vorzugsweise um ein Convolutional Neural Network. Mittels des neuronalen Netzes wird eine Wahrscheinlichkeit berechnet, mit welcher der Bildabschnitt eine Fahrbahnbegrenzung abbildet.

Falls die Wahrscheinlichkeit einen vorgegebenen Schwellenwert überschreitet, erkennt die Recheneinrichtung 12, dass der Merkmalspunkt des Bildausschnittes zu einer Fahrbahnbegrenzung korrespondiert .

Die derart klassifizierten Merkmalspunkte werden von der Recheneinrichtung 12 weiter ausgewertet, um Fahrspuren im

Fahrzeugumfeld des Fahrzeugs zu ermitteln. So kann die Re- cheneinrichtung 12 durch Interpolation von zueinander benachbarten Merkmalspunkten, welche zu Fahrbahnbegrenzungen korrespondieren, den Verlauf der Fahrbahnbegrenzungen im Kamerabild ermitteln. Die zwischen Fahrbahnbegrenzungen ver- laufenden Bereiche können als Fahrbahnen identifiziert werden, und die Recheneinrichtung 12 kann ein Umfeldmodell erzeugen.

Einzelne Aspekte der Vorrichtung 1 werden im Folgenden anhand der Figuren 2 bis 4 genauer illustriert.

So zeigt die Figur 2 ein von einer Kameravorrichtung 2 erfasstes Kamerabild K. Die abgebildeten Objekte umfassen eine rechte Fahrbahnmarkierung 51, eine mittlere Fahrbahnmarkierung 52, eine am rechten Fahrbahnrand befindliche Leitplanke 53 und ein auf einer parallelen Fahrbahn fahrendes Fahrzeug 54.

Die Recheneinrichtung 12 analysiert die Pixel des Kamerabildes K mittels klassischer Verfahren zur Erkennung von Kanten. Insbesondere kann die Recheneinrichtung 12 auf jeden Pixel einen Sobel-Filter anwenden, um eine Kante am bzw. in der Umgebung des Pixels zu erkennen. Der Sobel-Filter kann 3x3 Pixel in der Umgebung des zu untersuchenden Pixels berücksichtigen, kann jedoch auch einen größeren Umgebungsbereich des Pixels einberechnen .

Die Recheneinrichtung 12 kann für jedes Pixel bestimmen, ob das Pixel an oder in der Nähe einer Kante liegt. Insbesondere kann die Recheneinrichtung 12 den durch den mittels des Sobel-Filter berechneten Wert mit einem vorgegebenen Schwellenwert ver- gleichen. Falls der Schwellenwert überschritten wird, bestimmt die Recheneinrichtung 12, dass es sich bei dem Pixel um einen Merkmalspunkt handelt, welcher einer möglichen Fahrbahnbe^¬ grenzung entspricht. In dem in Figur 2 gezeigten Kamerabild K ermittelt die Re^¬ cheneinrichtung 12 eine Gesamtheit von 15 Merkmalspunkten PI bis P15. Dies ist nur beispielhaft zu verstehen. Im Allgemeinen wird eine größere Anzahl von Merkmalspunkten erzeugt werden. ₁

Für jeden Merkmalspunkt PI bis P15 erzeugt die Recheneinrichtung 12 einen Bildausschnitt Bl bis B3, welche in Figur 2 der An^¬ schaulichkeit halber nur für die ersten drei Merkmalspunkte PI bis P3 eingezeichnet sind. Die Bildausschnitte Bl bis B3 können eine vorgegebene Größe aufweisen, beispielsweise von 128x128 Pixeln. Der Merkmalspunkt PI bis P15 ist jeweils vorzugsweise im Zentrum des jeweiligen Bildausschnitts Bl bis B3 angeordnet.

In Figur 3 wird die Erzeugung des zum weiteren Analysieren der Bildausschnitte Bl bis B3 verwendeten neuronalen Netzes genauer erläutert. Demnach wird zuerst eine Datenbank DB mit Trai^¬ ningsdaten generiert. Die Trainingsdaten umfassen Abbildungen, welche mittels einer Fahrzeugkamera erfasst wurden. Diese werden vorzugsweise manuell in zwei Gruppen klassifiziert. Eine erste Gruppe Tal bis Ta4 umfasst Abbildungen, welche Fahrbahnbe^¬ grenzungen zeigen. Die Abbildungen können ausschließlich Bilder von Fahrbahnmarkierungen umfassen. Die Abbildungen können gemäß weiteren Ausführungsformen jedoch auch Bordsteinkanten oder weitere Fahrbahnbegrenzungen abbilden. Die Abbildungen können hierzu bei verschiedenen Helligkeiten oder Witterungsbedingungen generiert werden. Die zweite Gruppe umfasst Abbildungen Tbl bis Tb4, welche Objekte mit Kanten zeigen, welche jedoch keine Fahrbahnbegrenzungen sind. Hierbei kann es sich um Abbildungen von Fahrzeugen Tbl, Tb3, Leitplanken Tb2 oder Brücken Tb4 handeln .

Das neuronale Netz wird nun derart trainiert, dass die Ab^¬ bildungen der ersten Gruppe Tal bis Ta4 als Abbildungen von Fahrbahnbegrenzungen klassifiziert werden, während die Ab^¬ bildungen der zweiten Gruppe Tbl bis Tb4 als Abbildungen klassifiziert werden, welche keine Fahrbahnbegrenzungen zeigen. Nach der Trainingsphase kann die Recheneinrichtung 12 mittels des neuronalen Netzes beliebige Bildausschnitte Bl bis B3 klas- sifizieren. Hierzu kann zuerst mittels des neuronalen Netzes eine Wahrscheinlichkeit ausgegeben werden, dass es sich bei dem Bildausschnitt Bl bis B3 um eine Abbildung einer Fahrbahnbe^¬ grenzung handelt. Falls die berechnete Wahrscheinlichkeit einen vorgegebenen Schwellenwert, beispielsweise 0,5 überschreitet, klassifiziert die Recheneinrichtung 12 den Bildausschnitt Bl bis B3 als zu einer Fahrbahnbegrenzung korrespondierend. Für die Merkmalspunkte PI bis P15 des Kamerabildes K erkennt die Recheneinrichtung 12 beispielsweise, dass es sich bei den Merkmalspunkten P2, P5 bis P8 der mittleren Fahrbahnmarkierung 52 und bei den Merkmalspunkten PI, P9 bis P13 der rechten Fahrbahnmarkierung 51 um Merkmalspunkte handelt, welche

Fahrbahnbegrenzungen entsprechen. Umgekehrt werden die Messpunkte P4, P3, P14, P15 der Leitplanke 53 und des Fahrzeugs 54 als Fehlidentifikationen verworfen, da es sich bei den abgebildeten Objekten nicht um Fahrbahnbegrenzungen handelt. Zur Ermittlung der Fahrspuren bezieht die Recheneinrichtung 12 vorzugsweise lediglich diejenigen Merkmalspunkte PI bis P15 ein, welche als zu Fahrbahnbegrenzungen korrespondierend erkannt wurden . Die Recheneinrichtung 12 kann nun durch Interpolation von benachbarten verbleibenden Merkmalspunkten PI bis P15 bzw. Pixeln die entsprechenden Fahrbahnbegrenzungen ermitteln.

Wie in Figur 4 gezeigt, erkennt die Recheneinrichtung 12 für das in Figur 2 abgebildete Kamerabild K beispielsweise eine erste Fahrbahnbegrenzung Ml und eine zweite Fahrbahnbegrenzung M2. Entsprechend ermittelt die Recheneinrichtung 12, dass zwischen den Fahrbahnbegrenzungen Ml, M2 eine Fahrbahn F verläuft. Vorzugsweise wird die beschriebene Erkennung der Fahrbahnen iterativ durchgeführt, wobei die bereits erkannten Fahrbahn^¬ begrenzungen und Fahrbahnen aktualisiert werden.

In Figur 5 ist ein Blockschaltbild eines Fahrerassistenzsystem 4 für ein Fahrzeug gemäß einer Ausführungsform der Erfindung illustriert. Das Fahrerassistenzsystem 4 umfasst eine Kame^¬ ravorrichtung 2, welche eine oder eine Vielzahl von Fahr- zeugkameras aufweist, welche an dem Fahrzeug angeordnet oder anordenbar sind.

Das Fahrerassistenzsystem 4 umfasst weiter eine oben be- schriebene Vorrichtung 1 zum Erkennen von Fahrspuren. Die

Vorrichtung umfasst eine oben beschriebene Schnittstelle 12, welche die von der Kameravorrichtung 2 erfassten Kamerabilder empfängt, sowie eine Recheneinrichtung 12, welche anhand der Kamerabilder Fahrbahnen F ermittelt.

Das Fahrerassistenzsystem 4 kann eine Steuervorrichtung 3 umfassen, welche bestimmte Fahrfunktionen des Fahrzeugs steuern kann. So kann die Steuervorrichtung 3 in Abhängigkeit von den erkannten Fahrspuren das Fahrzeug derart ansteuern, dass das Fahrzeug beschleunigt, abgebremst oder gelenkt wird. Das

Fahrerassistenzsystem 4 kann dadurch eine halbautonome oder autonome Steuerung des Fahrzeugs ermöglichen. Die Steuervorrichtung 3 kann weiter dazu ausgebildet sein, ein Warnsignal auszugeben, falls das Fahrzeug die erkannte Fahrbahn F verlässt, um den Fahrer vor einem unbeabsichtigten Abkommen von der Fahrbahn F zu warnen.

In Figur 6 ist ein Blockschaltbild eines Fahrzeugs 5 gemäß einer Ausführungsform der Erfindung illustriert. Bei dem Fahrzeug 5 kann es sich etwa um einen PKW, LKW oder ein Motorrad handeln. Das Fahrzeug 5 umfasst ein oben beschriebenes Fahrerassis^¬ tenzsystem 4 mit einer Vorrichtung 1 zum Erkennen von Fahrspuren F in der Fahrzeugumgebung des Fahrzeugs 5. Figur 7 zeigt ein Flussdiagramm eines Verfahrens zum Erkennen von Fahrspuren F gemäß einer Ausführungsform der Erfindung.

In einem Verfahrensschritt Sl wird ein Kamerabild eines

Fahrzeugumfelds mittels einer Kameravorrichtung 2 erfasst. Hierzu können auch mehrere Einzelbilder kombiniert werden.

Im weiteren Verfahrensschritt S2 werden die einzelnen Pixel des Kamerabildes mittels eines Verfahrens zur Kantendetektion ausgewertet, um Merkmalspunkte PI bis P15 zu ermitteln. Hierzu können beispielsweise Sobel-Filter zur Kantendetektion verwendet werden. Falls die mittels des Sobel-Filters berechneten Werte einen vorgegebenen Schwellenwert überschreiten, werden die Pixel als Merkmalspunkte PI bis P15 identifiziert, welche Fahrbahnbegrenzungen entsprechen können.

Um jeden Merkmalspunkt PI bis P15 herum wird in einem Ver^¬ fahrensschritt S3 ein Bildausschnitt Bl bis B3 erzeugt. Der Merkmalspunkt PI bis P15 kann vorzugsweise in einem Zentrum eines quadratischen Bildausschnitts Bl bis B3 liegen. Die Größe des Bildausschnitts kann beispielsweise 128x128 Pixel betragen. Die Erfindung ist jedoch nicht hierauf beschränkt. So muss der Bildausschnitt nicht zwingend quadratisch oder rechteckig ausgebildet sein. Die Form des Bildausschnitts kann bei^¬ spielsweise in Abhängigkeit von der perspektivischen Darstellung der Kameravorrichtung 2 gewählt werden.

In einem Verfahrensschritt S4 wird der Bildausschnitte unter Verwendung eines neuronalen Netzes analysiert. Das neuronale Netz wird hierzu anhand von Trainingsdaten aus einer Datenbank generiert bzw. eingelernt. Die Trainingsdaten umfassen die im Zusammenhang mit der Figur 3 beschriebenen Abbildungen von Fahrbahnbegrenzungen bzw. von Fahrbahnumgebungen ohne Fahr- bahnbegrenzungen . Nach der Trainingsphase ist das neuronale Netz dazu ausgebildet, beliebige Bildausschnitte zu analysieren und zu klassifizieren. Für jeden Bildausschnitt wird erkannt, ob der abgebildete Bereich des Fahrzeugumfelds eine Fahrbahnbegrenzung abbildet oder nicht. Die Merkmalspunkte werden entsprechend klassifiziert. Diejenigen Merkmalspunkte, welche mittels des neuronalen Netzes als einer Fahrbahnbegrenzung entsprechend klassifiziert werden, werden weiter ausgewertet, während die verbleibenden Merkmalspunkte verworfen werden. Anhand der verbleibenden Merkmalspunkte werden in einem Verfahrensschritt S5 die Verläufe von Fahrbahnbegrenzungen Ml, M2 ermittelt. Anhand der Verläufe der Fahrbahnbegrenzungen Ml, M2 werden Fahrbahnen F erkannt, welche für das Fahrzeug 5 befahrba sind .

Anhand der erkannten Fahrbahnen F können weiter Warnsignale ausgegeben werden oder eine halbautonome oder autonome Steuerun des Fahrzeugs 5 durchgeführt werden.

BEZUGSZEICHEN

1 Vorrichtung zum Erkennen von Fahrspuren

2 Kameravorrichtung

3 Steuervorrichtung

4 Fahrerassistenzsystem

5 Fahrzeug

11 Schnittstelle

12 Recheneinrichtung

51 rechte Fahrspurmarkierung

52 mittlere Fahrspurmarkierung

53 Leitplanke

54 Fahrzeug

F Fahrbahn

Ml, M2 Fahrbahnbegrenzungen

PI bis P15 Merkmalspunkte

Bl bis B3 Bildausschnitte

Tal bis Ta4 Abbildungen von Fahrbahnbegrenzungen

Tbl bis Tb4 Abbildungen von Objekten, welche keine Fahrbahnbegrenzungen sind

Claims

PATENTANSPRÜCHE

Verfahren zum Erkennen von Fahrspuren (F) , mit den Schritten :

Erfassen (Sl) eines Kamerabildes (K) eines Fahr^¬ zeugumfelds mittels einer Kameravorrichtung (2) eines Fahrzeugs (5) ;

Ermitteln (S2) von Merkmalspunkten (PI bis P15) in dem erfassten Kamerabild (K) , welche Bereichen möglicher Fahrbahnbegrenzungen (Ml, M2) entsprechen;

Erzeugen (S3) von Bildausschnitten des erfassten Kamerabildes (K) um einen j eweiligen Merkmalspunkt (PI bis PI 5) herum;

Analysieren (S4) der Bildausschnitte unter Verwendung eines neuronalen Netzes zur Klassifikation der Merkmalspunkte (PI bis P15) ; und

Ermitteln (S5) von Fahrspuren im Fahrzeugumfeld unter Berücksichtigung der klassifizierten Merkmalspunkte (PI bis P15) .

Verfahren nach Anspruch 1, wobei die Merkmalspunkte (PI bis P15) unter Verwendung von Algorithmen zur Kantendetektion ermittelt werden.

Verfahren nach Anspruch 2, wobei die Kantendetektion die Verwendung von Sobel-Filtern umfasst.

Verfahren nach einem der vorangehenden Ansprüche, wobei die möglichen Fahrbahnbegrenzungen (Ml, M2) Fahrspurmarkierungen (51, 52) umfassen. Verfahren nach einem der vorangehenden Ansprüche, wobei das neuronale Netz ein Convolutional Neural Network ist.

Verfahren nach einem der vorangehenden Ansprüche, wobei das neuronale Netz mittels vorgegebener Trainingsdaten aus einer Datenbank eingelernt wird.

Verfahren nach Anspruch 6, wobei die Trainingsdaten Abbildungen von Fahrbahnbegrenzungen (Ml, M2) und Abbildungen von Strukturen umfassen, welche keine Fahrbahnbegrenzungen (Ml, M2) darstellen.

Verfahren nach Anspruch 7, wobei die Abbildungen zumindest teilweise bei unterschiedlichen Helligkeiten und/oder Tageszeiten und/oder Witterungsbedingungen erzeugt wurden.

Verfahren nach einem der vorangehenden Ansprüche, wobei durch Interpolation benachbarter Merkmalspunkte (PI bis P15) , welche als einer Fahrbahnbegrenzung entsprechend klassifiziert wurden, Verläufe von Fahrbahnbegrenzungen

(Ml, M2) ermittelt werden, und wobei anhand der Verläufe der Fahrbahnbegrenzungen (Ml, M2) die für das Fahrzeug

(5) befahrbaren Fahrspuren (F) bestimmt werden.

Vorrichtung (1) zum Erkennen von Fahrspuren (F) , mit: einer Schnittstelle (11) zum Empfangen eines mittels einer Kameravorrichtung (2) eines Fahrzeugs (5) er- fassten Kamerabildes (K) eines Fahrzeugumfelds des Fahrzeugs (5) ; und einer Recheneinrichtung (12), welche dazu ausgebildet ist :

- Merkmalspunkte (PI bis P15) in dem mittels der Schnittstelle (11) empfangenen Kamerabild (K) zu er^¬ mitteln, welche Bereichen möglicher Fahrbahnbegren- zungen (Ml, M2) entsprechen,

- Bildausschnitte des erfassten Kamerabildes (K) um einen jeweiligen Merkmalspunkt (PI bis P15) herum zu erzeugen,

- die Bildausschnitte unter Verwendung eines neuronalen Netzes zur Klassifikation der Merkmalspunkte (PI bis P15) zu analysieren, und

- Fahrspuren (F) im Fahrzeugumfeld unter Berücksichtigung der klassifizierten Merkmalspunkte (PI bis P15) zu ermitteln.

11. Vorrichtung (1) nach Anspruch 10, wobei die Recheneinrichtung (12) die Merkmalspunkte (PI bis P15) unter Verwendung von Algorithmen zur Kantendetektion ermittelt .

12. Vorrichtung (1) nach Anspruch 10 oder 11, wobei die Recheneinrichtung (12) zur Kantendetektion Sobel-Filter verwendet .

13. Vorrichtung (1) nach einem der Ansprüche 10 bis 12, wobei die Recheneinrichtung dazu ausgebildet ist, durch Interpolation benachbarter Merkmalspunkte (PI bis P15) , welche als einer Fahrbahnbegrenzung (Ml, M2) entsprechend klassifiziert wurden, Verläufe von Fahr^¬ bahnbegrenzungen (Ml, M2) zu ermitteln, und anhand der Verläufe der Fahrbahnbegrenzungen (Ml, M2) die für das Fahrzeug (5) befahrbaren Fahrspuren (F) zu bestimmen.

14. Fahrerassistenzsystem (4) für ein Fahrzeug (5), mit einer Kameravorrichtung (2), welche dazu ausgebildet ist, ein Kamerabild (K) eines Fahrzeugumfelds des Fahrzeugs (5) zu erfassen; und einer Vorrichtung (1) zum Erkennen von Fahrspuren (F) anhand des von der Kameravorrichtung (2) erfassten Kamerabildes (K) nach einem der Ansprüche 10 bis 13.

Fahrzeug (5) mit einem Fahrerassistenzsystem (4) nach Anspruch 14.