WO2013152929A1 - Lernverfahren zur automatisierten erkennung von verkehrszeichen, verfahren zur bestimmung eines aktualisierten parametersatzes für eine klassifikation von einem verkehrszeichen und verkehrszeichenerkennungssystem - Google Patents

Lernverfahren zur automatisierten erkennung von verkehrszeichen, verfahren zur bestimmung eines aktualisierten parametersatzes für eine klassifikation von einem verkehrszeichen und verkehrszeichenerkennungssystem Download PDF

Info

Publication number
WO2013152929A1
WO2013152929A1 PCT/EP2013/055695 EP2013055695W WO2013152929A1 WO 2013152929 A1 WO2013152929 A1 WO 2013152929A1 EP 2013055695 W EP2013055695 W EP 2013055695W WO 2013152929 A1 WO2013152929 A1 WO 2013152929A1
Authority
WO
WIPO (PCT)
Prior art keywords
classification
parameter set
traffic sign
vehicle
detected image
Prior art date
Application number
PCT/EP2013/055695
Other languages
English (en)
French (fr)
Inventor
Steffen Abraham
Florian Baumann
Original Assignee
Robert Bosch Gmbh
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to DE102012206037.5 priority Critical
Priority to DE102012206037A priority patent/DE102012206037A1/de
Application filed by Robert Bosch Gmbh filed Critical Robert Bosch Gmbh
Publication of WO2013152929A1 publication Critical patent/WO2013152929A1/de

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06KGRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K9/00Methods or arrangements for recognising patterns
    • G06K9/62Methods or arrangements for pattern recognition using electronic means
    • G06K9/6217Design or setup of recognition systems and techniques; Extraction of features in feature space; Clustering techniques; Blind source separation
    • G06K9/6262Validation, performance evaluation or active pattern learning techniques
    • G06K9/6263Validation, performance evaluation or active pattern learning techniques based on the feedback of a supervisor
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/582Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs

Abstract

Die Erfindung betrifft ein Lernverfahren zur automatisierten Erkennung von Verkehrszeichen für ein Fahrzeug (100) mit einem Schritt des Ausgebens eines detektierten Bildausschnitts und eines Klassifikationsergebnisses an eine Sendeschnittstelle zu einer zentralen Rechnereinheit, wobei der detektierte Bildausschnitt einen Teilbereich eines von einer Bilderfassungseinrichtung (120) des Fahrzeugs (100) aufgenommenen Bildes, welcher ein Verkehrszeichen darstellt, repräsentiert, und wobei das Klassifikationsergebnis das Ergebnis einer Klassifikation des detektierten Bildausschnittes auf Basis eines Parametersatzes repräsentiert.

Description

Beschreibung
Titel
Lernverfahren zur automatisierten Erkennung von Verkehrszeichen, Verfahren zur Bestimmung eines aktualisierten Parametersatzes für eine Klassifikation von einem Verkehrszeichen und Verkehrszeichenerkennungssvstem
Stand der Technik
Die vorliegende Erfindung bezieht sich auf ein Lernverfahren zur automatisierten Erkennung von Verkehrszeichen für ein Fahrzeug, auf ein Verfahren zur Bestimmung eines aktualisierten Parametersatzes für eine Klassifikation von einem Verkehrszeichen, auf ein Verkehrszeichenerkennungssystem sowie auf ein entsprechendes Computerprogrammprodukt. Die videobasierte Verkehrszeichenerkennung kann Bestandteil von fest verbauten Fahrerassistenzsystemen in Kraftfahrzeugen sein. Dabei kann der Fahrer z. B. über die aktuell zulässige Höchstgeschwindigkeit informiert werden. Zunehmend werden auch mobile Geräte, wie z. B. Smartphones, für die Verkehrszeichenerkennung eingesetzt. Diese dienen der Fahrerinformation und bieten aufgrund der Mobilfunkanbindung die Möglichkeit, Kartendaten direkt online zu aktualisieren. Das allgemeine Vorgehen in einem System zur videobasierten Verkehrszeichenerkennung ist, dass zunächst ein oder mehrere Videobilder mit einer Kamera aufgenommen werden. Anschließend findet die Erkennung der Verkehrszeichen aus den Videobildern in einer Recheneinheit statt.
Für die Erkennung der Verkehrszeichen werden in einem Teilschritt Verfahren aus der Mustererkennung oder aus dem maschinellen Lernen eingesetzt. Diese beinhalten eine Klassifikation eines Bildbereiches, ob der Bereich ein Verkehrszeichen enthält und wenn ja, welches Verkehrszeichen. Die Klassifikatoren benö- tigen eine Parametrisierung mit einer Menge von numerischen Parametern, nachfolgend als Parametersatz bezeichnet. Dies können z. B. numerische Entscheidungsschwellen sein.
Während des Entwicklungsprozesses für ein Fahrerassistenzsystem sind diese Parameter zu ermitteln. Dazu werden in Regel zunächst Trainingsdaten mit einem Videosystem, das dem späteren Seriensystem ähnlich ist, aufgenommen. Diese Trainingsdaten werden anschließend, zumeist manuell, klassifiziert. Das Training der Parameter des Klassifikators findet zumeist zentral, außerhalb des Fahrzeuges auf speziellen Rechnern, vor dem Einsatz des Klassifikators statt. Anschließend werden die Parameter des Klassifikators in die Recheneinheit eingebracht. Dies kann z. B. durch Flashen der Hardware erfolgen.
Die WO 2011 038 714 A1 offenbart ein Verfahren zur Verkehrszeichenerkennung, welches die Bilddaten eines Sensors in einer Informationsverarbeitungseinheit analysiert und klassifiziert
Offenbarung der Erfindung
Vor diesem Hintergrund wird mit der vorliegenden Erfindung ein Lernverfahren zur automatisierten Erkennung von Verkehrszeichen für ein Fahrzeug, ein Verfahren zur Bestimmung eines aktualisierten Parametersatzes für eine Klassifikation von einem Verkehrszeichen auf einer zentralen Rechnereinheit, eine Lernvorrichtung zur automatisierten Erkennung von Verkehrszeichen für ein Fahrzeug, ein Informationssystem zur Bestimmung eines aktualisierten Parametersatzes für eine Klassifikation von einem Verkehrszeichen auf einer zentralen Rechnereinheit, weiterhin ein Verkehrszeichenerkennungssystem sowie schließlich ein entsprechendes Computerprogrammprodukt gemäß den Hauptansprüchen vorgestellt. Vorteilhafte Ausgestaltungen ergeben sich aus den jeweiligen Unteransprüchen und der nachfolgenden Beschreibung.
Eine zur Verkehrszeichenerkennung erforderliche Klassifikation kann mit einem vorläufigen Parametersatz gestartet werden. Durch die Einbindung der Anwender eines Systems zur Verkehrszeichenerkennung und der Verwendung vieler Systeme parallel zueinander, kann schnell ein zuverlässigerer Parametersatz generiert werden, der den vorläufigen Parametersatz ersetzen oder ergänzen kann und allen Anwendern zur Verfügung gestellt werden kann. Dabei kann ein Ver- fahren zur Generierung eines zuverlässigen Parametersatzes auch iterativ durchgeführt werden. Auf diese Weise kann die Erkennungsrate schnell im Fahrzeug verbessert werden und fortlaufend ein jeweils noch robusterer Parametersatz generiert werden. Zur Generierung eines zuverlässigeren Parametersatzes kann einem Anwender ein aufgenommenes Bild eines Verkehrszeichens und die eine durchgeführte Klassifikation desselben vorgelegt, bzw. auf einem Anzeigeelement dargestellt werden. Der Anwender, beispielsweise ein Beifahrer eines Fahrzeugs, kann die Klassifikation kontrollieren und eine Rückkopplung über ein positives, das heißt korrekt erkanntes Verkehrszeichen, und eine Rückkoppelung über ein negatives, das heißt ein nicht erkanntes Verkehrszeichen geben. Ein auf diese Art und Weise erzeugter Trainingsdatensatz kann an einen zentralen Rechner übermittelt werden und kann dann dort zur Bestimmung eines verbesserten Parametersatzes dienen. Das Ziel des Lernverfahrens zur Verkehrszeichenerkennung besteht darin, die Ablehnungsquote, also den Anteil der nicht oder falsch erkannten Zeichen zu minimieren. Auf diese Art und Weise lässt sich schneller und kostengünstiger ein robuster Parametersatz für die Klassifikation von Verkehrszeichen finden.
Ein entsprechendes Verkehrszeichenerkennungssystem kann in einem ersten Schritt eine Bildregion in einem Kamerabild identifizieren, die potenziell ein Verkehrszeichen enthalten kann. In einem zweiten Verfahrensschritt kann der ermittelte Bildausschnitt einem Klassifikator vorgelegt werden, der entscheidet, ob sich in dem Bildausschnitt ein Verkehrszeichen befindet und um welches Verkehrszeichen es sich handelt. Dabei erfordern Verkehrszeichenerkennungssysteme für die Klassifikations-Verfahren aus dem maschinellen Lernen in der Regel ein Training des Klassifikators. Aus dem Training geht dann ein Parametersatz für die Klassifikation hervor. Die Bereitstellung von Trainingsdaten für das maschinelle Lernen ist aufgrund der manuellen Klassifikation der Trainingsdaten sehr arbeits- und zeitaufwendig. Dabei sind für jeden Gerätetyp spezifische Trainingsdaten erforderlich, was den Aufwand im Entwicklungsprozess zusätzlich erhöht. Das in der vorliegenden Erfindung vorgeschlagene Lernverfahren kann den Anwender in die Bereitstellung der Trainingsdaten für den Klassifikator mit einbeziehen. Somit kann der aufwendige Prozess des Generierens eines zuverlässigen Parametersatzes auf viele Anwender verteilt werden. Dies ermöglicht es, in kurzer Zeit eine große Menge an Trainingsdaten zu generieren. Zur Erkennung eines Verkehrszeichens aus einem oder mehreren Videobildern können Verfahrensschritte der Detektion und der Klassifikation des Verkehrszeichens durchgeführt werden. Bei der Klassifikation kann ein Teilausschnitt des Bildes dahin gehend bewertet werden, ob er ein Verkehrszeichen enthält oder nicht und wenn ja welches Verkehrszeichen.
Bei der Klassifikation können Verfahren aus dem maschinellen Lernen, wie z. B. AdaBoost, eingesetzt werden. Die Verfahren aus dem maschinellen Lernen erfordern in der Regel zunächst ein erstes Training des Klassifikators [T. Hastie, R. Tibshirani, J. Friedman, The Elements of Statistical Learning, Springer-Verlag,
New York, 2009]. Im Schritt des ersten Trainings können Bildausschnitte mit oder ohne Verkehrszeichen, die zuvor manuell oder automatisch korrekt klassifiziert wurden, als Eingangsgrößen verwendet werden. Als Ergebnis des ersten Trainings können Parameter des Klassifikators in Form eines vorläufigen Parameter- satz bestimmt werden. Im Einsatz beim Anwender kann dann das Erkennungssystem über den Klassifikator mit der trainierten Parametrisierung einen Teilausschnitt des Bildes klassifizieren. Durch eine Überprüfung der durchgeführten Klassifizierung durch den Anwender kann der vorläufige Parametersatz während des Betriebs des Erkennungssystems beim Anwender fortlaufend verbessert werden.
Durch den erfindungsgemäßen Ansatz wird eine Reduzierung des Aufwandes im Systementwicklungsprozess für die Bereitstellung von Trainingsdaten für das maschinelle Lernen ermöglicht, die aufgrund der manuellen Klassifikation der Trainingsdaten sehr arbeits- und zeitaufwendig ist. Der Einsatz von verschiedenartigen Geräten, wie z. B. Smartphones, für die Verkehrszeichenerkennung erfordert in der Regel eine geräteindividuelle Parametrisierung des Klassifikators. Für den Anbieter einer Softwarelösung zur Verkehrszeichenerkennung erfordert dies zusätzlich die individuelle Bereitstellung von Trainingsdaten für jeden Gerä- tetyp, was den Aufwand im Entwicklungsprozess zusätzlich erhöht.
Dazu kann eine Einbindung des Nutzers oder Anwenders in den Trainingspro- zess zur Bewertung des Klassifikators erfolgen. Ferner kann ein Austausch der Trainingsdaten, der Klassifikationsergebnisse und der Bewertungen zwischen dem System im Fahrzeug und einem zentralen Datenserver durchgeführt werden. Dadurch kann ein fortlaufendes Training und eine Verbesserung der Para- meter des Klassifikators mit den Nutzerdaten sowie die Aktualisierung der Parameter des Klassifikators im Fahrzeug mit dem Ergebnis des zentralen Trainings erfolgen. Von Vorteil ist dabei die kostengünstige Bereitstellung von Trainingsdaten für das
Lernen von Klassifikatoren zur Verkehrszeichenerkennung für die Entwicklung und unabhängig von der Systementwicklung. Dadurch können die Entwicklungszyklen deutlich verkürzt werden. Aufgrund der großen Zahl an Trainingsdaten wird die Klassifikationsgüte der Systeme sich deutlich verbessern und es können in sehr kurzen Zeiträumen neue, unbekannte Verkehrszeichen in die Systeme eingelernt werden.
Bei dem Einsatz von verschiedenartigen Geräten, wie z. B. Smartphones, für die Verkehrszeichenerkennung ist eine individuelle Anpassung der Parameter der Klassifikatoren an die Eigenschaften der Geräteklasse, wie optische Abbildung etc., sehr leicht möglich. Dies erleichtert auch die kurzfristige Bereitstellung der Verkehrszeichenerkennung auf einem neuen Gerät oder einem bisher unbekannten Gerät.
Für den Trainingsvorgang kann eine große Anzahl bereits klassifizierter und von Anwendern überprüfte Bildausschnitte verwendet werden, aus denen in einem Optimierungsverfahren die numerischen Parameter des Klassifikators bestimmt werden können.
Somit ist es nicht erforderlich, für Fahrerassistenzsysteme im Rahmen der Systementwicklung die für den Trainingsvorgang notwendigen Bilddaten mit Prototypen aufzunehmen, aus denen die für den Klassifikator notwendigen Trainingsdaten erstellt werden. Es ist somit keine oder nur eine geringe manuelle Klassifikation von Bildausschnitten während der Systementwicklung erforderlich, wodurch relativ arbeitsintensive und kostenaufwendige Arbeitsschritte eingespart werden können. Auch ist es nicht erforderlich, simulierte Bilddaten für den Trainingspro- zess zu verwenden, deren Eigenschaften sich häufig von den Eigenschaften realer Bilddaten unterscheiden. Das Verfahren gemäß der vorliegenden Erfindung kann den Anwender in die Bereitstellung der Trainingsdaten für den Klassifikator einbeziehen. Der arbeitsintensive Prozess wird auf eine große Anzahl von Nutzern verteilt. Dass die Einbeziehung der Nutzer in Prozesse zur Datengewinnung erfolgreich möglich ist, zeigen Open-Source Projekte, wie Open-Street Map oder öffentliche Verkehrstelematikprojekte.. Die Motivation der Nutzer kann durch geeignete spielerische Animation, Belohnungen, wie Update des Klassifikators, Bonuspunkte mit verknüpften Ranglisten, Statuserhöhungen etc. oder Rabatte auf bestimmte Produkte erfolgen.
Die vorliegende Erfindung schafft ein Lernverfahren zur automatisierten Erkennung von Verkehrszeichen für ein Fahrzeug, wobei das Lernverfahren den folgenden Schritt aufweist:
Ausgeben eines detektierten Bildausschnitts und eines Klassifikationsergebnisses an eine Sendeschnittstelle zu einer zentralen Rechnereinheit, wobei der de- tektierte Bildausschnitt einen Teilbereich eines von einer Bilderfassungseinrichtung des Fahrzeugs aufgenommenen Bildes, welcher ein Verkehrszeichen dar- stellt, repräsentiert, und wobei das Klassifikationsergebnis das Ergebnis einer
Klassifikation des detektierten Bildausschnittes auf Basis eines Parametersatzes repräsentiert.
Bei dem Fahrzeug kann es sich um ein Kraftfahrzeug, beispielsweise einen Per- sonenkraftwagen, einen Lastkraftwagen oder ein sonstiges Nutzfahrzeug handeln. Das Fahrzeug kann mit einer Bilderfassungseinheit ausgestattet sein, wobei unter einer Bilderfassungseinheit eine Kamera, eine Frontkamera und/oder eine Multi-Purpose-Camera (MPC) verstanden werden kann. Die Bilderfassungseinheit kann ein Bild des Umfelds vor dem Fahrzeug aufnehmen. Der de- tektierte Bildausschnitt kann ein Teilbereich eines von einem Kamerasystem aufgenommenen Bildes sein. Der detektierte Bildausschnitt kann ein Abbild eines Verkehrszeichens darstellen. Ein Verkehrszeichen kann einer bestimmten Klasse von Verkehrszeichen zugehörig sein. Ein Klassifikationsergebnis kann ein Verkehrszeichen einer Klasse von Verkehrszeichen zuordnen. Weiterhin kann eine Klassifikation ein Verkehrszeichen identifizieren und das Ergebnis ausgeben. Für die Klassifikation können einfache Klassifikationsverfahren, wie z. B. die Kreuzkorrelation, Nearest-Neighbour Klassifikation, oder aber auch komplexere Verfahren aus dem maschinellen Lernen, wie Boosting oder Random-Forest eingesetzt werden. Die Klassifikation kann direkt mit Helligkeitswerten im Bild als Merkmal oder mit aus den Helligkeitswerten berechneter Merkmale erfolgen.
Beispielsweise kann die Haar-Transformation für die Berechnung von Merkmalen verwendet werden. Für die Klassifikation kann der Klassifikator numerische Parameter verwenden, die entsprechend des gewählten Verfahrens zur Berechnung des Klassifikationsergebnisses benötigt werden können. Die Klassifikationsverfahren aus dem maschinellen Lernen können gegenüber den einfachen Klassifikationsverfahren eine bessere Klassifikationsgüte aufweisen. Eine Sendeschnittstelle kann hard- und/oder softwaremäßig ausgebildet sein. Bei einer hardwaremäßigen Ausbildung kann die Sendeschnittstelle beispielsweise Teil eines sogenannten System-ASICs sein, der verschiedenste Funktionen beinhaltet. Es ist jedoch auch möglich, dass die Sendeschnittstelle ein eigener, integrierter Schaltkreis ist oder zumindest teilweise aus diskreten Bauelementen besteht. Bei einer softwaremäßigen Ausbildung kann die Sendeschnittstelle ein Softwaremodul sein, das beispielsweise auf einem Mikrocontroller neben anderen Softwaremodulen vorhanden ist. Eine zentrale Rechnereinheit kann ein sogenannter Host, Server oder Server-Computer sein. Auf der zentralen Rechnereinheit können ein oder mehrere Server-Programme laufen. Auf der zentralen Rechnereinheit kann ein Verfahren zur Bestimmung eines Parametersatzes für eine Klassifikation von einem Verkehrszeichen ablaufen.
In einem Schritt des Erzeugens kann ein Visualisierungssignal zum Visualisieren des detektierten Bildausschnitts und des Klassifikationsergebnisses erzeugt werden. Dabei kann das Visualisierungssignal den detektierten Bildausschnitt und das Klassifikationsergebnis repräsentieren. Ferner kann das Verfahren einen Schritt des Empfangens eines Klassifikationsbewertungssignals über eine Anwenderschnittstelle umfassen, wobei das Klassifikationsbewertungssignal eine von einem Anwender eingegebene Übereinstimmung von dem Klassifikationsergebnis mit dem detektierten Bildausschnitt repräsentiert. Im Schritt des Ausgebens kann weiterhin das Klassifikationsbewertungssignal an die zentrale Rechnereinheit ausgegeben werden. Unter einem Visualisierungssignal kann ein Signal zur Ansteuerung eines Anzeigeelements verstanden werden. Dabei kann das Anzeigeelement einen Monitor und/oder ein Display darstellen. Das Visualisierungssignal kann dabei ein analoges Signal wie beispielsweise ein Videosignal darstellen oder es kann ein digitales Signal darstellen, welches die notwendigen Informationen zur Darstellung des detektierten Bildausschnittes und des Klassifikationsergebnisses enthält. Mittels des Visualisierungssignals können dem Anwender der detektierte Bildausschnitt und das Klassifikationsergebnis angezeigt beziehungsweise visualisiert werden. Über eine Anwenderschnittstelle kann der Anwender eine Übereinstimmung des im detektierten Bildausschnitt abgebildeten Verkehrszeichens mit dem Klassifikationsergebnis positiv und/oder negativ bewerten. Dies ist vorteilhaft, da so eine unmittelbare Rückkopplung durch den Anwender erreicht werden kann.
Ferner kann das Verfahren einen Schritt des Empfangens eines aktualisierten Parametersatzes und einen Schritt des Ersetzens des Parametersatzes zur Klassifikation durch den aktualisierten Papametersatz umfassen. Durch einen ak- tualisierten Parametersatz kann die Klassifikation robuster werden und direkt von dem Lernverfahren profitieren.
Gemäß einer Ausführungsform schafft die vorliegende Erfindung ein Verfahren zur Bestimmung eines aktualisierten Parametersatzes für eine Klassifikation von einem Verkehrszeichen auf einer zentralen Rechnereinheit, wobei das Verfahren die folgenden Schritte aufweist:
Empfangen eines detektierten Bildausschnitts und eines Klassifikationsergebnisses an einer Empfangsschnittstelle der zentralen Rechnereinheit, wobei der de- tektierte Bildausschnitt einen Teilbereich eines von einer Bilderfassungseinrichtung eines Fahrzeugs aufgenommenen Bildes, welcher ein Verkehrszeichen darstellt, repräsentiert, und wobei das Klassifikationsergebnis das Ergebnis einer Klassifikation des detektierten Bildausschnittes auf Basis eines Parametersatzes repräsentiert;
Empfangens eines Klassifikationsbewertungssignals, wobei das Klassifikations- bewertungssignal die Übereinstimmung von dem Klassifikationsergebnis und dem detektierten Bildausschnitt repräsentiert; Trainieren des aktualisierten Parametersatzes zur Klassifikation von einem Verkehrszeichen unter Verwendung des detektierten Bildausschnittes, des Klassifikationsergebnisses und des Klassifikationsbewertungssignals;
Ausgeben des aktualisierten Parametersatzes an eine Sendeschnittstelle, um den aktualisierten Parametersatz für die Klassifikation von Verkehrszeichen an ein Fahrzeug zur Verfügung zu stellen.. Durch den Einsatz des Verfahrens zur Bestimmung eines aktualisierten Parametersatzes für eine Klassifikation von einem Verkehrszeichen auf einer zentralen Rechnereinheit kann auf Trainingsdatensätze von einer Mehrzahl an Fahrzeugen zurückgegriffen werden und durch die Vielzahl an Trainingsdatensätzen ein aktualisierter Parametersatz für eine robuste Klassifikation erzeugt werden. Hierbei kann das Verfahren unabhängig vom Ort des Erzeugens eines Klassifikations- bewertungssignals sein, das heißt, an welchem Ort eine Interaktion mit einem Anwender erfolgt und an welchem Ort ein Klassifikationsbewertungssignal er- zeugt wird. In einem ersten Ausführungsbeispiel kann der Anwender wie bereits in einem Ausführungsbeispiel aufgezeigt in einem Fahrzeug das Klassifikationsergebnis bewerten.
Ferner kann im Schritt des Trainierens unter Verwendung eines Systemtyps des Fahrzeugs und/oder der Bilderfassungseinrichtung trainiert werden. Bei einem
Einsatz verschiedenartige Geräte für die Verkehrszeichenerkennung kann eine individuelle Anpassung der Parameter der Klassifikation an die Eigenschaften der Geräteklasse, wie beispielsweise die optische Abbildung, erforderlich sein. Durch die Verwendung des Systemtyps im Schritt des Trainierens kann den un- terschiedlichen Geräteklassen einfach Rechnung getragen werden.
Das Verfahren kann einen Schritt des Erzeugens eines Visualisierungssignals zum Visualisieren des detektierten Bildausschnitts und des Klassifikationsergebnisses umfassen, wobei das Visualisierungssignal den detektierten Bildausschnitt und das Klassifikationsergebnis repräsentiert. Mittels des Visualisierungssignals können dem Anwender der detektierte Bildausschnitt und das Klassifikationsergebnis angezeigt beziehungsweise visualisiert werden. Über eine Anwenderschnittstelle kann der Anwender eine Übereinstimmung des im detektierten Bildausschnitt abgebildeten Verkehrszeichens mit dem Klassifikationsergebnis posi- tiv und/oder negativ bewerten. Dies ist vorteilhaft, da so eine Rückkopplung zur
Qualität des Klassifikationsergebnisses durch einen Anwender unabhängig von einem Fahrzeug gegeben werden kann. Beispielsweise können Datensätze mit fehlendem Klassifikationsbewertungssignal noch um dieses ergänzt werden und damit zur Verbesserung des Parametersatzes für die Klassifikation beitragen. Vorteilhaft kann auch ein Schritt des Bereitstellens des Visualisierungssignals im Internet sein. Durch eine solche Ausführungsform kann die manuelle Rückkopplung beziehungsweise Datenanreicherung der Trainingsdatensätze durch ein Klassifikationsbewertungssignal unabhängig vom Standort der zentralen Rech- nereinheit erfolgen. Auch können durch das Bereitstellen der Daten im Internet
Synergieeffekte erzeugt werden, wie diese bei Open Source Projekten zu finden sind. Hierbei können Mechanismen zur Motivation von Anwendern geschaffen werden. Die vorliegende Erfindung schafft ferner eine Lernvorrichtung zur automatisierten
Erkennung von Verkehrszeichen für ein Fahrzeug, die ausgebildet ist, um die Schritte des Lernverfahrens zur automatisierten Erkennung von Verkehrszeichen für ein Fahrzeug in entsprechenden Einrichtungen durchzuführen bzw. umzusetzen. Auch durch diese Ausführungsvariante der Erfindung in Form einer Lernvor- richtung kann die der Erfindung zugrunde liegende Aufgabe schnell und effizient gelöst werden.
Unter einer Lernvorrichtung kann vorliegend ein elektrisches Gerät verstanden werden, das Sensorsignale verarbeitet und in Abhängigkeit davon Steuer- und/oder Datensignale ausgibt. Die Lernvorrichtung kann eine Schnittstelle aufweisen, die hard- und/oder softwaremäßig ausgebildet sein kann. Bei einer hardwaremäßigen Ausbildung können die Schnittstellen beispielsweise Teil eines sogenannten System-ASICs sein, der verschiedenste Funktionen der Lernvorrichtung beinhaltet. Es ist jedoch auch möglich, dass die Schnittstellen eigene, in- tegrierte Schaltkreise sind oder zumindest teilweise aus diskreten Bauelementen bestehen. Bei einer softwaremäßigen Ausbildung können die Schnittstellen Softwaremodule sein, die beispielsweise auf einem Mikrocontroller neben anderen Softwaremodulen vorhanden sind. Die vorliegende Erfindung schafft ferner ein Informationssystem zur Bestimmung eines Parametersatzes für eine Klassifikation von einem Verkehrszeichen auf einer zentralen Rechnereinheit, wobei das Informationssystem Einrichtungen aufweist, die ausgebildet sind, um die Schritte eines Verfahrens zur Bestimmung eines aktualisierten Parametersatzes für eine Klassifikation von einem Verkehrs- zeichen auf einer zentralen Rechnereinheit in entsprechenden Einrichtungen durchzuführen bzw. umzusetzen. Auch durch diese Ausführungsvariante der Er- findung in Form eines Informationssystems kann die der Erfindung zugrunde liegende Aufgabe schnell und effizient gelöst werden.
Unter einem Informationssystem kann vorliegend ein elektrisches Gerät verstan- den werden, das Sensorsignale verarbeitet und in Abhängigkeit davon Steuer- und/oder Datensignale ausgibt. Das Informationssystem kann eine Schnittstelle aufweisen, die hard- und/oder softwaremäßig ausgebildet sein kann. Bei einer hardwaremäßigen Ausbildung können die Schnittstellen beispielsweise Teil eines sogenannten System-ASICs sein, der verschiedenste Funktionen des Informati- onssystems beinhaltet. Es ist jedoch auch möglich, dass die Schnittstellen eigene, integrierte Schaltkreise sind oder zumindest teilweise aus diskreten Bauelementen bestehen. Bei einer softwaremäßigen Ausbildung können die Schnittstellen Softwaremodule sein, die beispielsweise auf einem Mikrocontroller neben anderen Softwaremodulen vorhanden sind.
Die vorliegende Erfindung schafft ferner ein Verkehrszeichenerkennungssystem, welches folgende Merkmale aufweist: zumindest eine Lernvorrichtung zur automatisierten Erkennung von Verkehrszei- chen für ein Fahrzeug, wobei das Fahrzeug eine Bilderfassungseinrichtung zur
Aufnahme von einem Bild aufweist; und ein Informationssystem zur Bestimmung eines Parametersatzes für eine Klassifikation von einem Verkehrszeichen auf einer zentralen Rechnereinheit.
Von Vorteil ist auch ein Computerprogrammprodukt mit Programmcode, der auf einem maschinenlesbaren Träger wie einem Halbleiterspeicher, einem Festplattenspeicher oder einem optischen Speicher gespeichert sein kann und zur Durchführung des Verfahrens nach einer der vorstehend beschriebenen Ausfüh- rungsformen verwendet wird, wenn das Programmprodukt auf einem Computer oder einer Vorrichtung ausgeführt wird.
Die Erfindung wird nachstehend anhand der beigefügten Zeichnungen beispielhaft näher erläutert. Es zeigen: Fig. 1 eine schematische Darstellung eines Fahrzeugs mit einer videobasierten Erkennung von Verkehrszeichen gemäß einem Ausführungsbeispiel der vorliegenden Erfindung;
Fig. 2a ein Ablaufdiagramm eines Ausführungsbeispiels der vorliegenden Erfindung;
Fig. 2b ein erweitertes Ablaufdiagramm eines Ausführungsbeispiels der vorliegenden Erfindung;
Fig. 3 ein Ablaufdiagramm eines Verfahrens zur Bestimmung eines Parametersatzes für eine Klassifikation von einem Verkehrszeichen auf einer zentralen Rechnereinheit gemäß einem Ausführungsbeispiel der vorliegenden Erfindung;
Fig. 4 eine schematische Darstellung eines Verfahrens zur videobasierten Erkennung von Verkehrszeichen gemäß einem Ausführungsbeispiel der vorliegenden Erfindung;
Fig. 5 ein um Nutzerbewertung des Klassifikationsergebnisses erweitertes Verfahren zur videobasierten Erkennung von Verkehrszeichen gemäß einem Ausführungsbeispiel der vorliegenden Erfindung;
Fig. 6 eine schematische Darstellung eines nutzerunterstützten Lernverfahrens für die videobasierte Erkennung von Verkehrszeichen gemäß einem Ausführungsbeispiel der vorliegenden Erfindung; und
Fig. 7 eine weitere schematische Darstellung eines nutzerunterstützten Lernverfahrens für die videobasierte Erkennung von Verkehrszeichen gemäß einem Ausführungsbeispiel der vorliegenden Erfindung.
In der nachfolgenden Beschreibung bevorzugter Ausführungsbeispiele der vorliegenden Erfindung werden für die in den verschiedenen Figuren dargestellten und ähnlich wirkenden Elemente gleiche oder ähnliche Bezugszeichen verwendet, wobei auf eine wiederholte Beschreibung dieser Elemente verzichtet wird. Fig. 1 zeigt eine schematische Darstellung eines Fahrzeugs 100 mit einer videobasierten Erkennung von Verkehrszeichen gemäß einem Ausführungsbeispiel der vorliegenden Erfindung. Das Fahrzeug 100 weist eine Lernvorrichtung 1 10, die in diesem Ausführungsbeispiel als Rechnereinheit 110 ausgeführt ist, eine
Bilderfassungseinrichtung 120, eine kombinierte Anzeige- und Bedieneinheit 130 sowie eine Kommunikationseinheit 140 auf, die wiederum eine Sendeschnittstelle und eine Empfangsschnittstelle aufweist. Beispielsweise kann die Kommunikationseinheit 140 mit einer Außenantenne des Fahrzeugs 100 gekoppelt sein. Ge- mäß einem Ausführungsbeispiel zeigt Fig. 1 ein Fahrzeug 100 mit einer videobasierten Verkehrszeichenerkennung, die eine Kamera 120, eine Auswerteeinheit 1 10, eine Anzeigeeinheit 130 und eine Einheit für die Mobilfunkkommunikation 140 enthält. In dem Fahrzeug 100 mit videobasierter Erkennung von Verkehrszeichen ist die
Bilderfassungseinrichtung 120, welche eine Kamera darstellen kann, ausgebildet, um ein Bild des Umfeldes vor dem Fahrzeug 100 aufzunehmen und das Bild der Rechnereinheit 1 10 zur Verfügung zu stellen. In der Rechnereinheit 1 10 wird das digitalisierte Bild von einem entsprechenden Verfahren beziehungsweise Algo- rithmus nach Bildbereichen mit möglichen Verkehrszeichen durchsucht. Die Bildbereiche beziehungsweise detektierten Bildausschnitte werden einem Klassifikationsalgorithmus zugeführt, der eine Klassifikation des abgebildeten Verkehrszeichens vornimmt. Die Rechnereinheit 1 10 ist verbunden mit der kombinierten Anzeige- und Bedieneinheit 130. Auf der kombinierten Anzeige- und Bedieneinheit 130, welche in einem Ausführungsbeispiel als Display mit Bedieneinheit, z. B.
Touch ausgeführt ist, kann der detektierte Bildausschnitt und das Klassifikationsergebnis dargestellt werden und anschließend von einem Anwender auf seine Korrektheit überprüft werden. Durch eine Eingabe des Anwenders kann eine Rückkopplung des Anwenders in Form eines Klassifikationsbewertungssignals generiert werden. Das Klassifikationsbewertungssignal kann eine Information darüber umfassen, ob der Anwender der Auffassung ist, dass das Klassifikationsergebnis korrekt oder nicht korrekt ist. Die Rechnereinheit 1 10 ist weiterhin verbunden mit der Kommunikationseinheit 140, welche als ein Kommunikationsgerät, beispielsweise mittels Mobilfunk mit einer zentralen Rechnereinheit kommunizie- ren kann. Dabei sind in anderen Ausführungsbeispielen andere Kommunikationsmittel und -wege denkbar. Über die Sendeschnittstelle der Kommunikations- einheit 140 können der detektierte Bildausschnitt, das Klassifikationsergebnis sowie das Klassifikationsbewertungssignal ausgegeben werden beziehungsweise an eine zentrale Rechnereinheit übermittelt werden. Fig. 2a zeigt ein Ablaufdiagramm eines Lernverfahrens 200 zur automatisierten
Erkennung von Verkehrszeichen gemäß einem Ausführungsbeispiel der vorliegenden Erfindung. Das Lernverfahren 200 zur automatisierten Erkennung von Verkehrszeichen weist einen Schritt 210 des Ausgebens eines detektierten Bildausschnitts 220 und eines Klassifikationsergebnisses 230 an eine Sendeschnitt- stelle zu einer zentralen Rechnereinheit auf. Der detektierte Bildausschnitt 220 kann dabei beispielsweise einen Teilbereich eines von der in Fig. 1 gezeigten Bilderfassungseinrichtung 120 aufgenommenen Bildes darstellen. Die Sendeschnittstelle kann Teil der in Fig. 1 gezeigten Kommunikationseinheit 140 sein. Fig. 2b zeigt ein erweitertes Ablaufdiagramm eines Lernverfahrens 200 zur automatisierten Erkennung von Verkehrszeichen gemäß einem Ausführungsbeispiel der vorliegenden Erfindung. Schritte des Lernverfahrens 200 können beispielsweise von Einrichtungen des anhand von Fig. 1 beschriebenen Fahrzeugs ausgeführt werden. Das Lernverfahren 200 zur automatisierten Erkennung von Verkehrszeichen weist einen Schritt 240 des Erzeugens eines Visualisierungssignals 245 zum Visualisieren des detektierten Bildausschnitts 220 und des Klassifikationsergebnisses 230 auf. Das Visualisierungssignal 245 repräsentiert den detektierten Bildausschnitt 220 und das Klassifikationsergebnis 230. Der Schritt 240 des Erzeugens eines Visualisierungssignals 245 wird gefolgt von einem Schritt 250 des Empfangens eines Klassifikationsbewertungssignals 255 über eine Anwenderschnittstelle. Das Klassifikationsbewertungssignal 255 repräsentiert eine von einem Anwender eingegebene Übereinstimmung von dem Klassifikationsergebnis 230 mit dem detektierten Bildausschnitt 220. Der Schritt 240 des Erzeugens eines Visualisierungssignals 245 wird gefolgt von dem Schritt 210 des Ausgebens des detektierten Bildausschnitts 220, des Klassifikationsergebnisses
230 und des Klassifikationsbewertungssignals 255 an die Sendeschnittstelle zu der zentralen Rechnereinheit. Der Schritt 210 des Ausgebens wird gefolgt von einem Schritt 260 des Empfangens eines aktualisierten Parametersatzes 265 und von einem Schritt 270 des Ersetzens des Parametersatzes zur Klassifikation durch den aktualisierten Papametersatz 265. Fig. 3 zeigt ein Ablaufdiagramm eines Verfahrens 300 zur Bestimmung eines Parametersatzes für eine Klassifikation von einem Verkehrszeichen auf einer zentralen Rechnereinheit gemäß einem Ausführungsbeispiel der vorliegenden Erfindung. Das Verfahren 300 zur Bestimmung eines Parametersatzes für eine Klas- sifikation von einem Verkehrszeichen weist vier Verfahrensschritte auf. Ein
Schritt 310 des Empfangens empfängt an einer Empfangsschnittstelle der zentralen Rechnereinheit einen detektierten Bildausschnitt 220 und ein Klassifikationsergebnis 230, beispielsweise von der in Fig 1 gezeigten Kommunikationseinheit des gezeigten Fahrzeugs. Im darauf folgenden Schritt 320 des Empfangens wird ein Klassifikationsbewertungssignal 255 empfangen. Die Schritte 310, 320 des
Empfangens werden gefolgt von einem Schritt 330 des Trainierens des Parametersatzes 265 zur Klassifikation von einem Verkehrszeichen unter Verwendung des detektierten Bildausschnittes 220, des Klassifikationsergebnisses 230 und des Klassifikationsbewertungssignals 255. Zum Abschluss wird der Parameter- satz 265 in einem Schritt 340 des Ausgebens an eine Sendeschnittstelle ausgegeben. Dadurch kann der Parametersatz 265 für die Klassifikation von Verkehrszeichen an ein Fahrzeug oder an mehrere Fahrzeuge zur Verfügung gestellt werden. Beispielsweise kann der Parametersatz 265 von der in Fig 1 gezeigten Kommunikationseinheit des gezeigten Fahrzeugs empfangen werden und in der Folge zur Klassifikation eines abgebildeten Verkehrszeichens genutzt werden.
Fig. 4 zeigt eine schematische Darstellung eines Verfahrens zur videobasierten Erkennung von Verkehrszeichen gemäß einem Ausführungsbeispiel der vorliegenden Erfindung. In einem Schritt wird ein digitales Bild 410 aufgenommen. Die Bildaufnahme kann in der in Fig. 1 gezeigten Bilderfassungseinrichtung erfolgen.
In einem Ausführungsbeispiel kann das aufgenommene Bild 410 an eine Rechnereinheit übertragen werden. Im darauf folgenden Schritt wird mit einem Detektor 420 in dem aufgenommenen digitalen Bild 410 nach Bildausschnitten 220 gesucht, welche ein Verkehrszeichen enthalten könnten. Dies entspricht dem in Fig. 2a gezeigten Schritt 210 und dem dort ausgegebenen Bildausschnitt 220. In Fig.
4 sind vier Bildausschnitte 220 dargestellt. Die gefundenen Bildausschnitte 430a, 430b, 430c, 430d werden an einen Klassifikator 440 übergeben. Im Schritt 440 der Klassifikation werden unter Verwendung eines Parametersatzes 450 die vier Bildausschnitte 220 klassifiziert und ein Klassifikationsergebnis 230 ausgegeben. Für jeden gefundenen Bildausschnitt 430a, 430b, 430c, 430d wird ein dazugehöriges Klassifikationsergebnis 460a, 460b, 460c, 460d ermittelt. In dem in Fig. 4 dargestellten Ausführungsbeispiel zeigt der Bildausschnitt 430b ein Verkehrszeichen für eine Geschwindigkeitsbegrenzung auf 80 km/h, die weiteren Bildausschnitte 460a, 460c, 460d sind leer. Dementsprechend ist das Klassifikationsergebnis 460b für den Bildausschnitt 430b mit dem Verkehrszeichen eine Zahl „80".
Gemäß einem Ausführungsbeispiel zeigt Fig. 4 schematisch ein computerbasiertes Verfahren zur Verkehrszeichenerkennung. Die Videokamera nimmt ein Farboder Grauwertbild auf. In dem digitalisierten Bild erfolgt in der Recheneinheit eine Detektion von Bildausschnitten 430a, 430b, 430c, 430d, die mit gewisser Wahrscheinlichkeit ein Verkehrszeichen enthalten. Dies kann z. B. über eine Suche nach kreisförmigen Objekten erfolgen. Anschließend erfolgt eine Klassifikation der detektierten Bildausschnitte. Im Beispiel ist die Klassifikation der Bildausschnitte in„kein Verkehrszeichen" und„Geschwindigkeitsbeschränkung 80km/h" dargestellt. Hierfür können einfache Klassifikationsverfahren, wie z. B. die Kreuzkorrelation, Nearest-Neighbour-Klassifikation, oder aber auch komplexere Verfahren aus dem maschinellen Lernen, wie Boosting oder Random-Forest eingesetzt werden. Die Klassifikation kann direkt mit den Helligkeitswerten als Merkmale oder mit aus den Helligkeitswerten berechneten Merkmalen erfolgen. Ein Beispiel ist die Nutzung der Haar-Transformation für die Berechnung von Merkmalen. Für die Klassifikation benötigt der Klassifikator numerische Parameter, die entsprechend des gewählten Verfahrens zur Berechnung des Klassifikationsergebnisses benötigt werden. Die Klassifikationsverfahren aus dem maschinellen Lernen haben gegenüber den einfachen Klassifikationsverfahren eine bessere Klassifikationsgüte. Nachteil ist jedoch, dass die numerischen Parameter des
Klassifikators zunächst in einem vorgestellten Trainingsvorgang zu bestimmen sind.
Fig. 5 zeigt ein um eine Nutzerbewertung des Klassifikationsergebnisses erwei- tertes Verfahren zur videobasierten Erkennung von Verkehrszeichen gemäß einem Ausführungsbeispiel der vorliegenden Erfindung. Das in Fig. 5 dargestellte Verfahren ist zu dem in Fig. 4 gezeigten Verfahren bis auf eine Erweiterung zur Bewertung des Klassifikationsergebnisses ähnlich.
Gemäß dem in Fig. 5 gezeigten Ausführungsbeispiel wird ein digitales Bild 410 ' einem Detektor 420 auf Bildbereiche untersucht, die ein Verkehrszeichen abbil- den. Die gefundenen Bildausschnitte 430 werden in einem Klassifikator 440 einem Klassifikationsverfahren übergeben und es wird ein Klassifikationsergebnis 460 erzeugt. Ein gefundenes Verkehrszeichen im Klassifikationsergebnis wird an eine Anzeigeeinrichtung 570 zusammen mit dem Bildausschnitt übergeben und angezeigt. Ein Anwender kann manuell den angezeigten Bildausschnitt 430b und das Klassifikationsergebnis 460b miteinander vergleichen und die Übereinstimmung mit einem Betätigen einer Taste„Ja" 572 bestätigen oder mit einem Betätigen einer Taste„Nein" 574 ablehnen. Die Bewertung des Klassifikationsergebnisses durch den Anwender steht als Klassifikationsergebnissignal 255 am Aus- gang der Anzeigeeinrichtung 570 bereit.
Gemäß einem Ausführungsbeispiel zeigt Fig. 5 den Ablauf eines Vorgehens für eine Verkehrszeichenerkennung in einem Fahrzeug, wie es beispielsweise in Fig. 1 gezeigt ist. Das System zur Verkehrszeichenerkennung enthält einen Klassifi- kator 440 mit einem initialen Parametersatz 450. Während der Nutzung visuali- siert das Fahrerassistenzsystem zu einem Zeitpunkt eine ausgewählte Detektion und das Klassifikationsergebnis. Der Fahrer bewertet die Korrektheit der Klassifikation, z. B. durch Tastendruck, als korrekt oder falsch klassifiziert. Das Ergebnis wird vom System gespeichert. Der Schritt der Visualisierung und Bewertung des Klassifikationsergebnisses kann vom System dem Fahrer zu einem geeigneten
Zeitpunkt, wie bei Stillstand des Fahrzeuges oder ereignisarmen Fahrsituationen, angeboten werden. Oder die Bewertung der Klassifikationsergebnisse kann auch durch den Beifahrer erfolgen. Im beschriebenen Verfahren werden die Bildausschnitte oder daraus abgeleitete
Merkmale, die Klassifikation des Systems und das Ergebnis der manuellen Bewertung der Klassifikation aus dem Fahrzeug an einen zentralen Server verschickt. Dies kann z. B. per Mobilfunk erfolgen. Fig. 6 zeigt eine schematische Darstellung eines nutzerunterstützten Lernverfahrens für die videobasierte Erkennung von Verkehrszeichen gemäß einem Ausführungsbeispiel der vorliegenden Erfindung. Drei Fahrzeuge 100a, 100b, 100c erfassen mit einer Kamera die Umgebung vor dem Fahrzeug und werten mit einem Verfahren zur videobasierten Erkennung von Verkehrszeichen gemäß der vorgestellten Erfindung die erfassten Videobilder aus. Die Fahrzeuge 100a, 100b, 1 10c können entsprechend dem in Fig. 1 gezeigten Fahrzeug ausgeführt sein.
Dargestellt sind drei Schritte eines nutzerunterstützten Lernverfahrens. Die drei Fahrzeuge 100a, 100b, 100c erfassen, wie in Fig. 5 dargestellt, ein digitales Bild, suchen einen Bildausschnitt mit einem Verkehrszeichen und klassifizieren dieses. Ein Anwender bewertet die korrekte Erkennung des Verkehrszeichens. In dem in Fig. 6 dargestellten Verfahren sendet in einem ersten Verfahrensschritt 610 der Datenübermittlung jedes Fahrzeug 100a, 100b, 100c einen Datensatz 620a, respektive 620b, 620c an eine zentrale Rechnereinheit 630. Die zentrale
Rechnereinheit ist in einem Ausführungsbeispiel als Server realisiert. Auf dem Server 630 wird der zweite Verfahrensschritt 640 des Trainings ausgeführt. Ziel ist es einen Parametersatz für den Klassifikator im Fahrzeug 100a, 100b, 100c zu erhalten. In einem dritten Verfahrensschritt 650 wird der neu bestimmte Pa- rametersatz für den Klassifikator an die Fahrzeuge 100a, 100b, 100c übermittelt und im dort ablaufenden Verfahren aktualisiert.
Gemäß einem Ausführungsbeispiel werden in Fig. 6 Vorgänge innerhalb eines Verkehrszeichenerkennungssystems schematisch dargestellt. Der zentrale Ser- ver 630 erhält die Daten einer größeren Anzahl von Fahrzeugen 100a, 100b,
100c. Damit kann auf dem zentralen Server 630 ein Trainingsvorgang mit einer großen Menge an gesammelten Trainingsdaten durchgeführt werden. Die Systeme in den Fahrzeugen 100a, 100b, 100c können anschließend im Schritt 650 die verbesserten Parameter für den Klassifikator wiederum vom zentralen Server abrufen. Das Vorgehen kann mehrmals iterativ durchgeführt werden. Es ist damit eine starke Verbesserung der Klassifkationsgüte zu erzielen. Weiterhin kann anschließend sogar der Nutzer selbst bewertet werden, wie weit seine Bewertungen korrekt waren. Es können damit Nutzer mit vielen Fehlmeldungen vom System ausgeschlossen werden. Beispielsweise kann ein Nutzer eines der Fahrzeu- ge 100a, 1 10b, 1 10c als unzuverlässig bewertet werden, und es können in der
Folge von dem entsprechenden Fahrzeug 100a, 100b, 100c empfangene Daten bei der Generierung eines aktualisierten Parametersatzes ausgeschlossen werden. Die Eigenschaften der Bilddaten, wie Auflösung, Bildschärfe oder Sensorrauschen sind häufig stark abhängig von dem verwendeten Aufnahmesystem. Daher kann gemäß einem Ausführungsbeispiel eine Sammlung, das Lernen und die Verteilung der Klassifikatordaten systemtypspezifisch gestaltet werden. Beispielsweise kann eine Datensammlung und/oder ein Klassifikator für ein Smartphone eines ersten Typs oder eines ersten Herstellers, für ein Smartphone eines zweiten Typs oder eines zweiten Herstellers, usw. durchgeführt bzw. generiert werden.
Fig. 7 zeigt eine weitere schematische Darstellung eines nutzerunterstützten Lernverfahrens für die videobasierte Erkennung von Verkehrszeichen gemäß ei- nem Ausführungsbeispiel der vorliegenden Erfindung. Im Unterschied zu Fig. 6 findet die Unterstützung durch einen Anwender nicht im Fahrzeug 100a, 100b, 100c statt, sondern wird vom Server 630 initiiert. Die Fahrzeuge 100a, 100b, 100c senden in einem ersten Verfahrensschritt 610 der Datenübermittlung einen Datensatz 720a, 720b, 720c, der sich aus einem detektierten Bildausschnitt und einem Klassifikationsergebnis zusammensetzt, an eine zentrale Rechnereinheit
630. In einem zweiten Schritt gibt der Server ein Visualisierungssignal 245 aus, welches von einer Anzeigeeinrichtung 570 angezeigt wird. Ein Anwender kann die Übereinstimmung von detektiertem Bildausschnitt und Klassifikationsergebnis mit einem Betätigen einer Taste„Ja" 572 bestätigen oder mit einem Betätigen ei- ner Taste„Nein" 574 ablehnen. Das so erhaltene Klassifikationsbewertungssig- nal 255 wird von der Anzeigeeinrichtung 570 zurück an die zentrale Rechnereinheit 630 übermittelt. In der zentralen Rechnereinheit 630 wird der dritte Verfahrensschritt 640 des Trainings ausgeführt. Der im Training 640 bestimmte Parametersatz wird in einem vierten Verfahrensschritt 650 von der zentralen Rech- nereinheit 630 an die Fahrzeuge 100a, 100b, 100c übermittelt. In den Fahrzeugen 100a, 100b, 100c findet ein Update der Parameter im Klassifikator statt.
In einer Variante schickt das Fahrerassistenzsystem die Bildausschnitte und die zugehörige Klassifikation an den Server 630. Die manuelle Bewertung des Klas- sifikationsergebnisses erfolgt getrennt vom Fahrzeug 100a, 100b, 100c. Dies kann auch wiederum dezentral verteilt auf mehrere Nutzer über das Internet erfolgen.
Das Verfahren ermöglicht relativ einfach die Erweiterung des Satzes an Verkehrszeichen, die von den Systemen in den Fahrzeugen 100a, 100b, 100c erkannt werden. Die Erweiterung erfolgt zentral durch Erweiterung des Klassifika- tors auf dem Server 630, der anschließend in die Fahrzeuge 100a, 100b, 100c transferiert wird. Auch eine Erweiterung der vom Server 630 unterstützten Systeme im Fahrzeug 100a, 100b, 100c ist relativ einfach zu gestalten.
Generell kann auf halb überwachte Lernverfahren zurückgegriffen werden, in denen der Klassifikator zusätzlich bewertet, wie zuverlässig das Klassifikationsergebnis ist. Dies erlaubt die Auswahl von Beispielen, die dem Nutzer zur Bewertung gezeigt werden. Klassifikationsergebnisse, die vom System als sehr sicher erkannt wurden, werden nicht durch den Benutzer bewertet. Dagegen werden Ergebnisse, bei denen die Wahrscheinlichkeit einer Fehlklassifikation relativ groß ist, vom System an den Nutzer zur Bewertung gegeben.
Die beschriebenen und in den Figuren gezeigten Ausführungsbeispiele sind nur beispielhaft gewählt. Unterschiedliche Ausführungsbeispiele können vollständig oder in Bezug auf einzelne Merkmale miteinander kombiniert werden. Auch kann ein Ausführungsbeispiel durch Merkmale eines weiteren Ausführungsbeispiels ergänzt werden. Ferner können erfindungsgemäße Verfahrensschritte wiederholt sowie in einer anderen als in der beschriebenen Reihenfolge ausgeführt werden. Umfasst ein Ausführungsbeispiel eine„und/oder"-Verknüpfung zwischen einem ersten Merkmal und einem zweiten Merkmal, so ist dies so zu lesen, dass das Ausführungsbeispiel gemäß einer Ausführungsform sowohl das erste Merkmal als auch das zweite Merkmal und gemäß einer weiteren Ausführungsform entweder nur das erste Merkmal oder nur das zweite Merkmal aufweist.

Claims

Ansprüche
1. Lernverfahren (200) zur automatisierten Erkennung von Verkehrszeichen für ein Fahrzeug (100), wobei das Lernverfahren (200) den folgenden Schritt aufweist:
Ausgeben (210) eines detektierten Bildausschnitts (220) und eines Klassifikationsergebnisses (230) an eine Sendeschnittstelle zu einer zentralen Rechnereinheit (630), wobei der detektierte Bildausschnitt (220) einen Teilbereich eines von einer Bilderfassungseinrichtung (120) des Fahrzeugs (100) aufgenommenen Bildes (410), welcher ein Verkehrszeichen darstellt, repräsentiert, und wobei das Klassifikationsergebnis (230) das Ergebnis einer Klassifikation (440) des detektierten Bildausschnittes (220) auf Basis eines Parametersatzes (265) repräsentiert.
2. Lernverfahren (200) gemäß Anspruch 1 , mit einem Schritt (240) des Erzeu- gens eines Visualisierungssignals (245) zum Visualisieren des detektierten Bildausschnitts (220) und des Klassifikationsergebnisses (230), wobei das Visualisierungssignal (245) den detektierten Bildausschnitt (220) und das Klassifikationsergebnis (230) repräsentiert, und mit einem Schritt (250) des Empfangens eines Klassifikationsbewertungssignals (255) über eine Anwenderschnittstelle, wobei das Klassifikationsbewertungssignal (255) eine von einem Anwender eingegebene Übereinstimmung von dem Klassifikationsergebnis (230) mit dem detektierten Bildausschnitt (220) repräsentiert, und wobei im Schritt (210) des Ausgebens weiterhin das Klassifikationsbe- wertungssignal (255) an die zentrale Rechnereinheit (630) ausgegeben wird.
3. Lernverfahren (200) gemäß einem der vorangegangenen Ansprüche, mit einem Schritt (260) des Empfangens eines aktualisierten Parametersatzes (265) und mit einem Schritt (270) des Ersetzens des Parametersatzes (450) zur Klassifikation (440) durch den aktualisierten Papametersatz (265). Verfahren (300) zur Bestimmung eines aktualisierten Parametersatzes (265) für eine Klassifikation (440) von einem Verkehrszeichen auf einer zentralen Rechnereinheit (630), wobei das Verfahren (300) die folgenden Schritte aufweist:
Empfangen (310) eines detektierten Bildausschnitts (220) und eines Klassifikationsergebnisses (230) an einer Empfangsschnittstelle der zentralen Rechnereinheit (630), wobei der detektierte Bildausschnitt (220) einen Teilbereich eines von einer Bilderfassungseinrichtung (120) eines Fahrzeugs (100) aufgenommenen Bildes (410), welcher ein Verkehrszeichen darstellt, repräsentiert, und wobei das Klassifikationsergebnis (230) das Ergebnis einer Klassifikation (440) des detektierten Bildausschnittes (220) auf Basis eines Parametersatzes (450) repräsentiert;
Empfangens (320) eines Klassifikationsbewertungssignals (255), wobei das Klassifikationsbewertungssignal (255) eine Übereinstimmung von dem Klassifikationsergebnis (230) und dem detektierten Bildausschnitt (220) repräsentiert;
Trainieren (330) des aktualisierten Parametersatzes (265) zur Klassifikation (440) von einem Verkehrszeichen unter Verwendung des detektierten Bildausschnittes (220), des Klassifikationsergebnisses (230) und des Klassifika- tionsbewertungssignals (255);
Ausgeben (340) des aktualisierten Parametersatzes (265) an eine Sendeschnittstelle, um den aktualisierten Parametersatz (265) für die Klassifikation (440) von Verkehrszeichen an ein Fahrzeug (100) zur Verfügung zu stellen.
Verfahren (300) gemäß Anspruch 4, bei dem im Schritt (330) des Trainierens unter Verwendung eines Systemtyps des Fahrzeugs (100) und/oder der Bilderfassungseinrichtung (120) trainiert wird.
Verfahren (300) gemäß Anspruch 4 oder 5, mit einem Schritt des Erzeugens eines Visualisierungssignals (245) zum Visualisieren des detektierten Bildausschnitts (220) und des Klassifikationsergebnisses (230), wobei das Visu- alisierungssignal (245) den detektierten Bildausschnitt (220) und das Klassifikationsergebnis (230) repräsentiert.
Verfahren (300) gemäß Anspruch 6, mit einem Schritt des Bereitstellens des Visualisierungssignals (245) im Internet.
Lernvorrichtung (1 10) zur automatisierten Erkennung von Verkehrszeichen für ein Fahrzeug (100), die Einrichtungen aufweist, die ausgebildet sind, um die Schritte eines Verfahrens (200) gemäß einem der Ansprüche 1 bis 3 durchzuführen.
Informationssystem zur Bestimmung eines aktualisierten Parametersatzes (265) für eine Klassifikation (440) von einem Verkehrszeichen auf einer zentralen Rechnereinheit (630), wobei das Informationssystem Einrichtungen aufweist, die ausgebildet sind, um die Schritte eines Verfahrens (300) gemäß einem der Ansprüche 4 bis 7 durchzuführen.
I 0. Verkehrszeichenerkennungssystem, welches folgende Merkmale aufweist: zumindest eine Lernvorrichtung (1 10) zur automatisierten Erkennung von Verkehrszeichen für ein Fahrzeug (100) gemäß Anspruch 8, wobei das Fahrzeug (100) eine Bilderfassungseinrichtung (120) zur Aufnahme von einem Bild (410) aufweist; und ein Informationssystem zur Bestimmung eines aktualisierten Parametersatzes (265) für eine Klassifikation (440) von einem Verkehrszeichen auf einer zentralen Rechnereinheit (630) gemäß Anspruch 9.
1. Computer-Programmprodukt mit Programmcode zur Durchführung des Verfahrens nach einem der Ansprüche 1 bis 7, wenn das Programmprodukt auf einer Vorrichtung ausgeführt wird.
PCT/EP2013/055695 2012-04-13 2013-03-19 Lernverfahren zur automatisierten erkennung von verkehrszeichen, verfahren zur bestimmung eines aktualisierten parametersatzes für eine klassifikation von einem verkehrszeichen und verkehrszeichenerkennungssystem WO2013152929A1 (de)

Priority Applications (2)

Application Number Priority Date Filing Date Title
DE102012206037.5 2012-04-13
DE102012206037A DE102012206037A1 (de) 2012-04-13 2012-04-13 Lernverfahren zur automatisierten Erkennung von Verkehrszeichen, Verfahren zur Bestimmung eines aktualisierten Parametersatzes für eine Klassifikation von einem Verkehrszeichen und Verkehrszeichenerkennungssystem

Publications (1)

Publication Number Publication Date
WO2013152929A1 true WO2013152929A1 (de) 2013-10-17

Family

ID=47913421

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2013/055695 WO2013152929A1 (de) 2012-04-13 2013-03-19 Lernverfahren zur automatisierten erkennung von verkehrszeichen, verfahren zur bestimmung eines aktualisierten parametersatzes für eine klassifikation von einem verkehrszeichen und verkehrszeichenerkennungssystem

Country Status (2)

Country Link
DE (1) DE102012206037A1 (de)
WO (1) WO2013152929A1 (de)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014032660A1 (de) * 2012-08-27 2014-03-06 Continental Teves Ag & Co. Ohg Verfahren zur elektronischen erkennung von verkehrszeichen
WO2015149971A1 (de) * 2014-03-31 2015-10-08 Robert Bosch Gmbh Verfahren zur analyse einer verkehrsumfeldsituation eines fahrzeugs
DE102015205524A1 (de) 2015-03-26 2016-09-29 Mando Corporation Verfahren und Vorrichtung zum Klassifizieren eines Objekts in einem Bild
CN110603021A (zh) * 2017-02-03 2019-12-20 漫游机械人技术公司 用于用户意图识别的系统和方法

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102016003676A1 (de) 2016-03-24 2016-09-08 Daimler Ag Verfahren zur Bildsegmentierung und Verfahren zur Darstellung eines Bilds
DE102020205825A1 (de) 2020-05-08 2021-11-11 Zf Friedrichshafen Ag System zur Täuschungserkennung, -vermeidung und -schutz von ADAS Funktionen

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19938256A1 (de) * 1999-08-12 2001-02-15 Volkswagen Ag Verfahren und Einrichtung zur elektronischen Erkennung von Verkehrszeichen
WO2011038714A1 (de) 2009-10-01 2011-04-07 Conti Temic Microelectronic Gmbh Verfahren zur verkehrszeichenerkennung

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19938256A1 (de) * 1999-08-12 2001-02-15 Volkswagen Ag Verfahren und Einrichtung zur elektronischen Erkennung von Verkehrszeichen
WO2011038714A1 (de) 2009-10-01 2011-04-07 Conti Temic Microelectronic Gmbh Verfahren zur verkehrszeichenerkennung

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
T. HASTIE; R. TIBSHIRANI; J. FRIEDMAN: "The Elements of Statistical Learning", 2009, SPRINGER-VERLAG

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014032660A1 (de) * 2012-08-27 2014-03-06 Continental Teves Ag & Co. Ohg Verfahren zur elektronischen erkennung von verkehrszeichen
WO2015149971A1 (de) * 2014-03-31 2015-10-08 Robert Bosch Gmbh Verfahren zur analyse einer verkehrsumfeldsituation eines fahrzeugs
DE102015205524A1 (de) 2015-03-26 2016-09-29 Mando Corporation Verfahren und Vorrichtung zum Klassifizieren eines Objekts in einem Bild
KR20160115858A (ko) 2015-03-26 2016-10-06 주식회사 만도 이미지의 대상물을 분류하기 위한 방법 및 장치
US10115028B2 (en) 2015-03-26 2018-10-30 Mando Corporation Method and device for classifying an object in an image
CN110603021A (zh) * 2017-02-03 2019-12-20 漫游机械人技术公司 用于用户意图识别的系统和方法

Also Published As

Publication number Publication date
DE102012206037A1 (de) 2013-10-17

Similar Documents

Publication Publication Date Title
WO2013152929A1 (de) Lernverfahren zur automatisierten erkennung von verkehrszeichen, verfahren zur bestimmung eines aktualisierten parametersatzes für eine klassifikation von einem verkehrszeichen und verkehrszeichenerkennungssystem
DE102015111671A1 (de) Verfahren und Gerät zum Bestimmen von relativen Fahreigenschaften unter Verwendung von partizipativen Messsystemen
DE112010002232T5 (de) Semantische Szenensegmentierung mittels Random multinominalem Logit (RML)
DE102019102866A1 (de) Identifizierung eines Herstellungsteils unter Verwendung von Computervision und Maschinenlernen
DE112018005089T5 (de) Inferenzvorrichtung, Inferenzverfahren, Programm und nicht transitorisches greifbares computerlesbares Medium
DE102017006155A1 (de) Verfahren zum Betreiben eines Sensorsystems eines Fahrzeugs
DE102018205561A1 (de) Vorrichtung zur Klassifizierung von Signalen
DE102018213268A1 (de) Verfahren zur anwendung in einem fahrzeug
DE102019212020A1 (de) Verfahren zum Erkennen einer adversarialen Störung in Eingangsdaten eines Neuronalen Netzes
DE102021203020A1 (de) Generative-adversarial-network-modelle zur detektion kleiner strassenobjekte
EP3973455A1 (de) Verfahren zum beurteilen einer funktionsspezifischen robustheit eines neuronalen netzes
DE102019108722A1 (de) Videoverarbeitung für maschinelles Lernen
DE102017207658A1 (de) Verfahren zum Identifizieren eines Fahrzeugs mit einem Zu-satzkennzeichen, und eine Vorrichtung zur Durchführung des Verfahrens
DE102020208008A1 (de) Bildklassifikation und zugehöriges Training für sicherheitsrelevante Klassifikationsaufgaben
DE102009009904A1 (de) Verfahren zur Identifizierung von Objekten
WO2021122337A1 (de) Verfahren und vorrichtung zum erkennen einer entfremdung einer sensordatendomäne von einer referenzdatendomäne
DE102019208735B4 (de) Verfahren zum Betreiben eines Fahrassistenzsystems eines Fahrzeugs und Fahrerassistenzsystem für ein Fahrzeug
DE102019204139A1 (de) Training für künstliche neuronale Netzwerke mit besserer Ausnutzung der Lern-Datensätze
DE102019213458A1 (de) Verfahren zum Komprimieren eines Neuronalen Netzes
EP3985565A1 (de) Verfahren und vorrichtung zum überprüfen eines beim teilautomatisierten oder vollautomatisierten steuern eines fahrzeugs verwendeten ki-basierten informationsverarbeitungssystems
EP3754544A1 (de) Erkennungssystem, arbeitsverfahren und trainingsverfahren
DE102020203705A1 (de) Plausibilisierung der Ausgabe neuronaler Klassifikatornetzwerke anhand von Zusatzinformationen über Merkmale
DE102020130646A1 (de) Verfahren, System und Computerprogrammprodukt zur Erkennung einer Änderung eines Radlenkwinkels bei einem Kraftfahrzeug
WO2022043204A1 (de) Trainingsverfahren für einen generator zur erzeugung realistischer bilder
DE102020215698A1 (de) Synthetische Erzeugung von Bildern mit gegebenem semantischen Inhalt

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13711030

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 13711030

Country of ref document: EP

Kind code of ref document: A1