WO2008135295A1 - Verfahren und vorrichtung zur verkehrszeichenerkennung - Google Patents

Verfahren und vorrichtung zur verkehrszeichenerkennung Download PDF

Info

Publication number
WO2008135295A1
WO2008135295A1 PCT/EP2008/003745 EP2008003745W WO2008135295A1 WO 2008135295 A1 WO2008135295 A1 WO 2008135295A1 EP 2008003745 W EP2008003745 W EP 2008003745W WO 2008135295 A1 WO2008135295 A1 WO 2008135295A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
traffic sign
components
images
motor vehicle
Prior art date
Application number
PCT/EP2008/003745
Other languages
English (en)
French (fr)
Inventor
Lars-Peter Becker
Original Assignee
Hella Kgaa Hueck & Co.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hella Kgaa Hueck & Co. filed Critical Hella Kgaa Hueck & Co.
Priority to EP08758434A priority Critical patent/EP2149107A1/de
Publication of WO2008135295A1 publication Critical patent/WO2008135295A1/de

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G06T3/4076—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution using the original low-resolution images to iteratively correct the high-resolution images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/582—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs

Definitions

  • the invention relates to a method and a device for traffic sign recognition, in which at least two images, each with an image of a region of the surroundings of a motor vehicle, are detected as an image sequence by an image acquisition system of a motor vehicle.
  • the image acquisition system generates corresponding image data for each captured image of the image that is processed and evaluated for traffic sign recognition.
  • the images provided by an image acquisition system for traffic sign recognition have insufficient quality, particularly in unfavorable environmental conditions, unfavorable exposure angles, distant traffic signs and / or high vehicle speed, to perform traffic sign recognition with high recognition accuracy.
  • Various systems for traffic sign recognition are known, for example, from the documents EP 1 145 186 B1, EP 1 383 098 B1 and EP 1 131 803 B1. These systems analyze the captured images and perform traffic sign recognition for the traffic signs contained in the images.
  • the object of the invention is to provide the traffic signal recognition images provided by an image acquisition system of the traffic signs. improve their quality and to achieve a high recognition quality in traffic sign recognition.
  • a classification of the object by means of a known classification method is carried out for traffic sign recognition.
  • the classification method for classifying the object as a traffic sign it is first determined whether the object belongs to the group of relevant traffic signs and, if so, to which specific traffic sign it is.
  • the object detected in each of the images is a traffic sign or could be a traffic sign.
  • the determination of the image components of the object in the individual images and the superimposition of the image components is preferably carried out only when it has been determined that the object is or could be a traffic sign.
  • the pictorial components particular super-resolution procedure.
  • the object is assumed to be stationary, since the relevant objects are fixed traffic signs. This makes it possible to determine the position and size change of the object between the first and the second image due to the known proper motion of the motor vehicle between two images.
  • the position change in the image of an object can be determined by comparing specific features, such as shape, color and / or texture properties, of the object in the first image with candidates of objects in the second image, wherein the object in the second image is selected has the most similar properties and thus has the greatest agreement with the object found in the first image.
  • the image components assigned to the object in the first image and the image components assigned to the object in at least one second image are adjusted by scaling and translation such that differences in size and / or position of the image components are compensated. Furthermore, when superimposing the image constituents, the local image resolution or image quality of the image constituents of the object, preferably by means of a super-resolution method, can be increased. Through the over- storing the image components of the object, in particular, the image sharpness of the image of the object is increased in the image generated by the superimposition of the image components of the object.
  • the device with the features of claim 9 can be further developed in the same manner as specified for the method according to claim 1.
  • the device with the features of claim 9 can be further developed with the features specified for further development of the method according to claim 1 in the dependent claims or corresponding device features.
  • Fig. 1 is a block diagram of a system for image recording
  • FIGS. 2a to 2e show a plurality of successively recorded images with the image of the same traffic sign
  • Figures 2a to 2f generated illustration of the traffic sign; F ig. 3 a to 3 e successively taken pictures of a traffic sign; and
  • Fig. 3f is a composite of image components of the images 3a to 3e illustration of the traffic sign.
  • FIG. 1 shows a block diagram of an image acquisition and evaluation system 10 which is integrated in a motor vehicle, in particular in a car or a truck.
  • the image acquisition and evaluation system 10 has a camera system 12 which captures an image sequence with images of at least one area in front of the vehicle and respectively generates corresponding image data.
  • This image data is transmitted to an image processing unit 14 of the system 10 and analyzed and processed by means of control and processing modules 16a to 16d of the image processing unit 14.
  • the image processing unit 14 is connected via a vehicle bus 18 of the vehicle with further control and processing units 20 to 26, such as the navigation system, the speed detection and / or control system of the vehicle, the image processing unit 14 via the vehicle bus 18 data with these other control units 20 to 26 can exchange.
  • the image processing unit 14 is further connected via a suitable data line with a display and warning unit 28 and with a speed control and / or limiting controller 30.
  • the image processing unit 14 is connected to a non-volatile memory 32 via a data line.
  • a non-volatile memory 32 may be, for example, a hard disk memory, a flash memory or another control unit.
  • the permanent memory 32 can also be replaced by a database system of the motor vehicle be provided.
  • the camera system 12 can comprise a monocamera, a plurality of monocameras, a stereo camera system and / or a plurality of stereo camera systems, wherein the individual cameras generate grayscale images or color images.
  • a vehicle bus 18 conventional known bus systems, such as a LIN bus, a CAN bus and / or a Flexray bus can be used.
  • the optics of the camera or of the cameras of the camera system 12 can in particular have different fixed focal lengths or a focal length which is adjustable in particular via a revolving objective system or a variable objective system.
  • the image processing unit 14 also communicates with other sensors and receiving units, which can in particular record an ad hoc communication with other vehicles and / or with traffic facilities, such as traffic lights, gantries and / or individual traffic signs. Furthermore, information about signal states of individual actuators and sensors, in particular about the activation of the turn signals of the vehicle, is transmitted via the vehicle bus 18.
  • the traffic signs in the detection area of the camera system 12 are determined and classified by an analysis of the image data with the aid of the image processing unit 14.
  • the imaged traffic sign is identified as a concrete traffic sign.
  • the display and warning unit 28 displays the image of the traffic sign and / or a symbol corresponding to this traffic sign. Additionally or alternatively, text information and / or acoustic information can also be output.
  • traffic information is transmitted to the speed control and / or limiting control 30, in particular via a speed limit or a minimum speed, wherein the speed control and / or limiting control 30 can output a warning signal when the permissible maximum speed is exceeded and / or the minimum speed is not reached.
  • the speed limits may be used as the maximum limit values of a speed control and / or limit possibly with an offset.
  • a further processing and control module 16a to 16d of the image processing unit 14 determines the current lane of the vehicle based on the images of the image sequence.
  • a further processing module 16a to 16d allocates the traffic signs which can be assigned to one of the determined lanes only to this traffic lane, and these lane traffic signals assigned to the traffic lane are stored in the permanent memory 32. Further, in the non-volatile memory 32, comparison data for a pattern comparison for recognizing road signs, particularly country-specific patterns of traffic signs, symbols that can be output instead of the images of the recognized traffic signs on the display unit 28, as well as texts and / or acoustic information to be output are stored.
  • the traffic sign is detected as an object in a plurality of images taken one after the other as an image sequence. This is done in particular by means of a known tracking method. In each of these images or at least in a part of these images, image elements of the traffic sign are determined, which are then superimposed so that an improved overall image of the traffic sign is generated. Image data of the improved overall image is then further processed, the traffic sign being classified based on the image data of the improved overall image. By classifying a recognition of the traffic sign takes place. The superposition of the image components is carried out in particular by means of a super-resolution method.
  • a size and / or positional adjustment takes place in order to compensate for the size and positional differences resulting from the vehicle movement during and between the image recordings.
  • the determined object can be preclassified, the further processing for traffic sign recognition or for image improvement being carried out with the help of the superposition of the image components only if the object is or could be a traffic sign.
  • FIGS. 2 a to 2 e show successively recorded images with the aid of the camera system 12 of the vehicle, which have a relatively large image noise as a consequence of the relatively small image of the traffic sign in the respective overall image recorded by the camera system 12.
  • the distance between the traffic sign and the vehicle or the camera system 12 is continuously reduced between the images 2a to 2e recorded at the same time intervals, preferably with a constant vehicle speed between the recording times of the images 2a to 2e.
  • FIGS. 3 a to 3 e show further images of other images taken by the camera system 12 under different recording conditions. 2a to 2e shown, wherein the images shown in Figures 3a to 3e have a relatively large motion blur, especially as a result of relatively large exposure times and the proper movement of the camera system 12 during exposure.
  • the image components of the images associated with the traffic sign of the images shown in FIGS. 3a to 3e are superimposed to the image shown in FIG. 3f. Both the image shown in FIG. 2f and in FIG.
  • the objects to be classified located in the driving path of the vehicle move due to the relative movement of the vehicle between the recording times of the images with respect to the image plane of the camera system 12. This movement is visible through the different positions of the same object in several sequentially recorded images.
  • the position and / or size of the image constituents is therefore preferably adjusted such that an overlaying of an improved representation of the traffic sign is achieved.
  • high-quality images of a traffic signal arranged in the driving lane can be generated for traffic sign recognition.
  • the objects in the individual images are often displayed only blurred as a result of the described relative movement between the vehicle and the object.
  • image signal-specific information is utilized in the corresponding local image sections, the object being in particular the traffic sign to be classified and thus causing a qualitative improvement of the image of the traffic sign.
  • an advantageous utilization of the local image area e.g with respect to a pixel or a limited plurality of pixels
  • the image signal always being derived from the image signal same location of an object is emitted.
  • the image data of several independent images of the image sequence are used to determine the image signal and the variation.
  • the variation of the image signal superimposed at least parts of an undisturbed image signal or an undisturbed image.
  • the determination of all undistorted local image signals as a whole results in a qualitatively improved image component.
  • image signal-specific information which is contained in the individual images of the image sequence, when localizing the image components of the object, in particular a local image resolution can be increased and the motion blur of the image of the object can be reduced (eliminated).
  • the image enhancement can in particular be carried out with the aid of a suitable program by a data processing unit, in particular a signal processor or another control unit, and is fundamentally applicable to any camera system 12 or any other image acquisition system.
  • a data processing unit in particular a signal processor or another control unit
  • the image enhancement can be done both for traffic signs and for additional traffic signs.
  • a robust classification with a higher performance and better probability of detection and recognition can be achieved.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Traffic Control Systems (AREA)
  • Image Processing (AREA)

Abstract

Die Erfindung betrifft ein Verfahren und eine Vorrichtung zur Verkehrszeichenerkennung. Mindestens zwei Bilder mit jeweils einer Abbildung eines Bereichs der Umgebung eines Kraftfahrzeugs werden durch ein Bilderfassungssystem (12) des Kraftfahrzeugs als Bildfolge erfasst. Das Bilderfassungssystem (12) erzeugt zu jedem erfassten Bild der Abbildung entsprechende Bilddaten. Die Bilddaten werden verarbeitet, wobei für mindestens ein Objekt die diesem Objekt in jedem Bild zuordenbaren Bildbestandteile ermittelt werden. Die ermittelten Bildbestandteile der Bilder werden überlagert, wobei mit Hilfe der überlagerten Bildbestandteile eine verbesserte Abbildung des Objekts erzeugt wird. Mit Hilfe der verbesserten Abbildung des Objekts wird eine Verkehrszeichenerkennung durchgeführt.

Description

Verfahren und Vorrichtung zur Verkehrszeichenerkennung
Die Erfindung betrifft ein Verfahren und eine Vorrichtung zur Verkehrszeichenerkennung, bei dem mindestens zwei Bilder mit jeweils einer Abbildung eines Bereichs der Umgebung eines Kraftfahrzeugs durch ein Bilderfassungssystem eines Kraftfahrzeugs als Bildfolge erfasst werden. Das Bilderfassungssystem erzeugt zu jedem erfassten Bild der Abbildung entsprechende Bilddaten, die verarbeitet und zur Verkehrszeichenerkennung ausgewertet werden.
Die durch ein Bilderfassungssystem zur Verkehrszeichenerkennung bereit gestellten Bilder haben insbesondere bei ungünstigen Umgebungsbedingungen, bei ungünstigen Aufnahmewinkeln, bei weit entfernten Verkehrszeichen und/oder bei hoher Eigengeschwindigkeit des Fahrzeugs nur eine ungenügende Qualität, um die Verkehrszeichenerkennung mit einer hohen Erkennungsgenauigkeit durchzuführen. Verschiedene Systeme zur Verkehrszeichenerkennung sind beispielsweise aus den Dokumenten EP 1 145 186 B l, EP 1 383 098 B l und EP 1 131 803 B l bekannt. Diese Systeme analysieren die erfassten Bilder und führen eine Verkehrszeichenerkennung für die in den Bildern enthaltenen Verkehrszeichen durch.
Ferner sind zur Verarbeitung von Bilddaten eine Vielzahl von Verfahren bekannt. Solche Verfahren sind beispielsweise im Dokument "Image su- per-resolution survey", J. D. van Ouwerkerk, Image Vision Computing Volume 24, Issue 10, Oktober 2006, beschrieben.
Aufgabe der Erfindung ist es, die zur Verkehrszeichenerkennung von einem Bilderfassungssystem bereitgestellten Abbildungen der Verkehrszei- chen zu verbessern und eine hohe Erkennungsgüte bei der Verkehrszeichenerkennung zu erreichen.
Diese Aufgabe wird durch ein Verfahren mit den Merkmalen des Patentanspruchs 1 und einer Vorrichtung mit den Merkmalen des Patentanspruchs 9 gelöst. Vorteilhafte Weiterbildungen der Erfindung sind in den abhängigen Patentansprüchen angegeben.
Durch ein Verfahren zur Verkehrszeichenerkennung mit den Merkmalen des Patentanspruchs 1 sowie durch eine Vorrichtung mit den Merkmalen des Patentanspruchs 9 wird erreicht, dass aus einzeln aufgenommenen Bildern einer Bildfolge eine verbesserte Abbildung des Verkehrszeichens erzeugt wird, die dann als Grundlage für die Verkehrszeichenerkennung genutzt wird.
Bei einer Weiterbildung der Erfindung wird zur Verkehrszeichenerkennung eine Klassifizierung des Objekts mit Hilfe eines bekannten Klassifizierungsverfahrens durchgeführt. Mit Hilfe des Klassifizierungsverfahrens zum Klassifizieren des Objekts als Verkehrszeichen wird zunächst ermittelt, ob das Objekt zur Gruppe der relevanten Verkehrszeichen gehört und wenn ja, um welches konkrete Verkehrszeichen es sich handelt.
Ferner kann überprüft werden, ob das in jedem der Bilder ermittelte Objekt ein Verkehrszeichen ist oder ein Verkehrszeichen sein könnte. Das Ermitteln der Bildbestandteile des Objekts in den einzelnen Bildern und die Überlagerung der Bildbestandteile wird vorzugsweise nur dann durchgeführt, wenn festgestellt worden ist, dass es sich bei dem Objekt um ein Verkehrszeichen handelt oder handeln könnte. Die Bildbestandteile kön- nen insbesondere mit Hilfe eines Super-Resolution- Verfahrens überlagert werden.
Um die relevanten Bildbestandteile überlagern zu können, kann eine eindeutige Zuordnung ein und desselben Objektes in zeitlich geordneten Bildern erfolgen, wobei die Bilder nicht zwingend unmittelbar aufeinander folgen müssen. Für diese optische Zuordnung existieren verschiedene Möglichkeiten, wie nachfolgend beispielhaft erläutert wird.
Zur Vereinfachung wird das Objekt als ortsfest angenommen, da es sich bei den relevanten Objekten um ortsfeste Verkehrszeichen handelt. Dadurch ist es möglich aufgrund der bekannten Eigenbewegung des Kraftfahrzeugs zwischen zwei Bildern die Positions- und Größenänderung des Objekts zwischen dem ersten und dem zweiten Bild zu ermitteln. Alternativ oder zusätzlich kann die Positionsänderung im Bild eines Objektes durch Vergleich von spezifischen Merkmalen, wie Form, Farbe und/oder Textureigenschaften, des Objektes im ersten Bild mit Kandidaten von Objekten im zweiten Bild ermittelt werden, wobei dasjenige Objekt im zweiten Bild ausgewählt wird, welches die ähnlichsten Eigenschaften besitzt und dadurch die größte Übereinstimmung mit dem im ersten Bild ermittelten Objekt aufweist.
Die dem Objekt im ersten Bild zugeordneten Bildbestandteile und die dem Objekt in mindestens einem zweiten Bild zugeordneten Bildbestandteile werden durch Skalierung und Translation derart angepasst, dass Größen- und/oder Positionsunterschiede der Bildbestandteile kompensiert werden. Ferner kann beim Überlagern der Bildbestandteile die lokale Bildauflösung bzw. Bildqualität der Bildbestandteile des Objekts, vorzugsweise mit Hilfe eines Super-Resolution- Verfahrens, erhöht werden. Durch das Über- lagern der Bildbestandteile des Objekts wird insbesondere die Bildschärfe der Abbildung des Objekts in der durch das Überlagern der Bildbestandteile des Objekts erzeugten Abbildung erhöht.
Die Vorrichtung mit den Merkmalen des Patentanspruchs 9 kann auf die gleiche Weise weitergebildet werden wie für das Verfahren nach Patentanspruch 1 angegeben. Insbesondere kann auch die Vorrichtung mit den Merkmalen des Patentanspruchs 9 mit den zur Weiterbildung des Verfahrens nach Patentanspruch 1 in den abhängigen Patentansprüchen angegebenen Merkmalen bzw. entsprechenden Vorrichtungsmerkmalen weitergebildet werden.
Weitere Merkmale und Vorteile der Erfindung ergeben sich aus der folgenden Beschreibung, welche in Verbindung mit den beigefügten Figuren die Erfindung anhand eines Ausführungsbeispieles näher erläutert.
Es zeigen:
Fig. 1 ein Blockdiagramm eines Systems zur Bildaufnahme und
Bildauswertung der Umgebung eines Kraftfahrzeugs;
Fig. 2a bis 2e mehrere nacheinander aufgenommene Bilder mit der Abbildung desselben Verkehrszeichens;
Fig. 2f eine durch die Überlagerung von Bildbestandteilen der
Bilder 2a bis 2f erzeugte Abbildung des Verkehrszeichens; F ig. 3 a bis 3e nacheinander aufgenommene Abbildungen eines Verkehrszeichens; und
Fig. 3f eine aus Bildbestandteilen der Bilder 3a bis 3e zusammengesetzte Abbildung des Verkehrszeichens.
In Fig. 1 ist ein Blockdiagramm eines Bildaufnahme- und Auswertesystems 10 dargestellt, das in ein Kraftfahrzeug, insbesondere in einen PKW oder einen LKW, integriert ist. Das Bildaufnahme- und Auswertesystem 10 hat ein Kamerasystem 12, das eine Bildfolge mit Abbildungen zumindest eines Bereichs vor dem Fahrzeug erfasst und jeweils entsprechende Bilddaten erzeugt. Diese Bilddaten werden zu einer Bildverarbeitungseinheit 14 des Systems 10 übertragen und mit Hilfe von Steuerungs- und Verarbeitungsmodulen 16a bis 16d der Bildverarbeitungseinheit 14 analysiert und verarbeitet.
Die Bildverarbeitungseinheit 14 ist über einen Fahrzeugbus 18 des Fahrzeugs mit weiteren Steuer- und Verarbeitungseinheiten 20 bis 26, wie dem Navigationssystem, dem Geschwindigkeitserfassungs- und/oder Regelungssystem, des Fahrzeugs verbunden, wobei die Bildverarbeitungseinheit 14 über den Fahrzeugbus 18 Daten mit diesen weiteren Steuereinheiten 20 bis 26 austauschen kann. Die Bildverarbeitungseinheit 14 ist weiterhin über eine geeignete Datenleitung mit einer Anzeige- und Warneinheit 28 sowie mit einer Geschwindigkeitsregel- und/oder Begrenzungssteuerung 30 verbunden. Ferner ist die Bildverarbeitungseinheit 14 über eine Datenleitung mit einem Permanentspeicher 32 verbunden. Ein solcher Permanentspeicher 32 kann beispielsweise ein Festplattenspeicher, ein Flashspeicher oder eine weitere Steuereinheit sein. Ferner kann der Permanentspeicher 32 auch durch ein Datenbanksystem des Kraftfahr- zeugs bereitgestellt werden. Das Kamerasystem 12 kann eine Monokame- ra, mehrere Monokameras, ein Stereokamerasystem und/oder mehrere Stereokamerasysteme umfassen, wobei die einzelnen Kameras Graustufenbilder oder Farbbilder erzeugen. Als Fahrzeugbus 18 können übliche bekannte Bussysteme, wie ein LIN-Bus, ein CAN-Bus und/oder ein Flexray- Bus eingesetzt werden. Die Optiken der Kamera bzw. der Kameras des Kamerasystems 12 können insbesondere verschiedene Festbrennweiten oder eine insbesondere über ein Revolver-Objektivsystem oder ein Vari- oobjektivsy stem einstellbare Brennweite aufweisen.
Über den Fahrzeugbus 18 kommuniziert die Bildverarbeitungseinheit 14 auch mit weiteren Sensoren und Empfangseinheiten, die insbesondere eine ad hoc Kommunikation mit weiteren Fahrzeugen und/oder mit Verkehrseinrichtungen, wie Lichtsignalanlagen, Schilderbrücken und/oder einzelnen Verkehrsschildern, aufnehmen können. Ferner werden über den Fahrzeugbus 18 Informationen über Signalzustände einzelner Aktoren und Sensoren, insbesondere über die Aktivierung der Fahrtrichtungsanzeiger des Fahrzeugs, übertragen.
Mit Hilfe der durch das Kamerasystem 12 aufgenommenen Bildfolge werden durch eine Analyse der Bilddaten mit Hilfe der Bildverarbeitungseinheit 14 die Verkehrszeichen im Erfassungsbereich des Kamerasystems 12 ermittelt und klassifiziert. Durch das Klassifizieren der Verkehrszeichen mit Hilfe eines geeigneten Erkennungsverfahrens wird das abgebildete Verkehrszeichen als konkretes Verkehrszeichen identifiziert. Über die Anzeige- und Warneinheit 28 wird die Abbildung des Verkehrszeichens und/oder ein diesem Verkehrszeichen entsprechendes Symbol angezeigt. Zusätzlich oder alternativ kann auch eine Textinformation und/oder eine akustische Information ausgegeben werden. Ferner wird eine Verkehrsinformation insbesondere über eine Geschwindigkeitsbegrenzung oder eine Mindestgeschwindigkeit an die Geschwindigkeitsregel- und/oder Begrenzungssteuerung 30 übergeben, wobei die Geschwindigkeitsregel- und/oder Begrenzungssteuerung 30 ein Warnsignal bei Überschreitung der zulässigen Höchstgeschwindigkeit und/oder Unterschreitung einer Mindestgeschwindigkeit ausgeben kann. Alternativ können die Geschwindigkeitsbegrenzungen als maximale Begrenzungswerte einer Geschwindigkeitsregelung und/oder -begrenzung ggf. mit einem Offset zugrunde gelegt werden.
Ein weiteres Verarbeitungs- und Steuerungsmodul 16a bis 16d der Bildverarbeitungseinheit 14 ermittelt aufgrund der Abbildungen der Bildfolge die aktuelle Fahrspur des Fahrzeugs. Ein weiteres Verarbeitungsmodul 16a bis 16d ordnet die einer der ermittelten Fahrspuren eindeutig zuor- denbaren Verkehrszeichen nur dieser Fahrspur zu, wobei diese nur einer Fahrspur zugeordneten Verkehrszeichen der Fahrspur zugeordnet im Permanentspeicher 32 gespeichert werden. Ferner können in dem Permanentspeicher 32 Vergleichsdaten für einen Mustervergleich zur Erkennung von Verkehrsschildern, insbesondere länderspezifische Muster von Verkehrszeichen, Symbole, die anstatt der Abbildungen der erkannten Verkehrszeichen auf der Anzeigeeinheit 28 ausgegeben werden können, sowie auszugebende Texte und/oder akustische Informationen gespeichert werden.
Die negativen Einflüsse der Eigenschaften des abbildenden optischen Systems der Kamera (Windschutzscheibe, Abbildungsoptik, Bildsensor) auf die Bildqualität müssen entsprechend reduziert oder ganz beseitigt werden, um eine Verbesserung von Bildern mit einer Abbildung eines Verkehrszeichens auch bei unterschiedlichen Umgebungsbedingungen sicher zu erreichen. Jedoch sind diese Einflussfaktoren oft nur mit einem relativ hohen Aufwand dahingehend zu verbessern, dass Bilder mit einer konstant hohen Qualität von der Umgebung des Fahrzeugs, insbesondere von der Abbildung eines zu klassifizierenden Verkehrszeichens, aufgenommen werden können. Andere Einflussfaktoren, wie die Eigenschaften des Verkehrszeichens, können nicht durch Maßnahmen am Fahrzeug selbst beein- flusst werden. In der Praxis können aber insbesondere relativ schlechte Bildaufnahmen des Verkehrszeichens in Folge von Regen, Nebel, Nebelschwaden sowie von Schneefall nicht vermieden werden. Auch die Einflüsse der Fahrzeugbewegung in Folge des Fahrbahnverlaufs können nicht vermieden jedoch bei der Verarbeitung der Bilder zumindest teilweise berücksichtigt werden.
Veränderungen bzw. Verbesserungen der Optik, des Bildsensors und zusätzliche Maßnahmen zur Ausleuchtung des Bereichs, von dem mit Hilfe der Bilderfassungseinheit eine Abbildung erzeugt werden soll, sind oft mit hohen Kosten verbunden und führen nicht immer zum gewünschten Erfolg.
Zur Bildverbesserung der Abbildung des Verkehrszeichens wird das Verkehrszeichen als Objekt in mehreren nacheinander als Bildfolge aufgenommenen Bildern detektiert. Dies erfolgt insbesondere mit Hilfe eines bekannten Trackingverfahrens. In jedem dieser Bilder oder zumindest in einem Teil dieser Bilder werden Bildelemente des Verkehrszeichens ermittelt, die dann überlagert werden, sodass ein verbessertes Gesamtbild des Verkehrszeichens erzeugt wird. Bilddaten des verbesserten Gesamtbildes werden dann weiterverarbeitet, wobei das Verkehrszeichen ausgehend von den Bilddaten des verbesserten Gesamtbildes klassifiziert wird. Durch das Klassifizieren erfolgt eine Erkennung des Verkehrszeichens. Das Überlagern der Bildbestandteile erfolgt insbesondere mit Hilfe eines Super-Resolution- Verfahrens. Vorzugsweise erfolgt vor oder bei der Ü- berlagerung der Bildbestandteile eine Größen- und/oder Positionsanpassung, um die aus der Fahrzeugbewegung während und zwischen den Bildaufnahmen resultierenden Größen- und Positionsunterschiede zu kompensieren. Ferner kann mit Hilfe eines Vorklassifizierungsverfahrens das ermittelte Objekt vorklassifiziert werden, wobei die weitere Verarbeitung zur Verkehrszeichenerkennung bzw. zur Bildverbesserung mit Hilfe der Überlagerung der Bildbestandteile nur durchgeführt wird, wenn es sich bei dem Objekt um ein Verkehrszeichen handelt oder handeln könnte.
In den Figuren 2a bis 2e sind nacheinander mit Hilfe des Kamerasystems 12 des Fahrzeugs aufgenommene Bilder dargestellt, die in Folge der relativ kleinen Abbildung des Verkehrszeichens in dem jeweiligen durch das Kamerasystem 12 aufgenommenen Gesamtbild ein relativ großes Bildrauschen aufweisen. Die Entfernung zwischen dem Verkehrszeichen und dem Fahrzeug bzw. dem Kamerasystem 12 reduziert sich zwischen den in gleichen Zeitabständen aufgenommenen Bildern 2a bis 2e kontinuierlich, wobei vorzugsweise eine konstante Fahrzeuggeschwindigkeit zwischen den Aufnahmezeitpunkten der Bilder 2a bis 2e vorliegt. Mit Hilfe eines SuperResolution-Verfahrens werden Bildbestandteile der einzelnen Bilder 2a bis 2e nach einer entsprechenden Größenänderung der einzelnen Bildbestandteile des Verkehrszeichens überlagert und zu einem neuen Gesamtbild des Verkehrszeichens zusammengefügt, wobei aufgrund der Redundanz und der Ergänzung von lokalen Informationen eine Bildverbesserung erreicht wird, wie dies in Figur 2f dargestellt ist.
In den Figuren 3a bis 3 e sind weitere unter anderen Aufnahmebedingungen durch das Kamerasystem 12 aufgenommene Bilder anderer Abbildun- gen des in den Figuren 2a bis 2e dargestellten Verkehrszeichens gezeigt, wobei die in den Figuren 3a bis 3e gezeigten Bilder eine relativ große Bewegungsunschärfe, insbesondere in Folge relativ großer Belichtungszeiten und der Eigenbewegung des Kamerasystems 12 während der Belichtung, aufweisen. Durch eine entsprechende Überlagerung, die im Wesentlichen auf die gleiche Weise wie die Überlagerung der in den Figuren 2a bis 2e erfolgt, werden die dem Verkehrszeichen zugeordneten Bildbestandteile der in den Figuren 3a bis 3e gezeigten Bilder zu dem in Figur 3f gezeigten Bild überlagert. Sowohl das in Figur 2f als auch in Figur 3f gezeigte Bild haben eine für die Klassifizierung des Verkehrszeichens erheblich verbesserte Bildqualität gegenüber den jeweiligen Ursprungsbildern, sodass durch die Bilder der Figuren 2f und 3f eine wesentlich höhere Erkennungsqualität bei der Erkennung des Verkehrszeichens erreicht werden kann. Somit wird auch die Wahrscheinlichkeit erhöht, dass das durch die Klassifizierung erkannte Verkehrszeichen mit dem tatsächlich vorhandenen Verkehrszeichen übereinstimmt.
Die sich im Fahrschlauch des Fahrzeugs befindenden zu klassifizierenden Objekte bewegen sich auf Grund der Relativbewegung des Fahrzeugs zwischen den Aufnahmezeitpunkten der Bilder bezogen auf die Bildebene des Kamerasystems 12. Diese Bewegung ist durch die unterschiedlichen Positionen desselben Objekts in mehreren nacheinander aufgenommenen Bildern sichtbar. Zur Überlagerung der Bildbestandteile eines Objekts aus mehreren Bildern der Bildfolge wird aus diesem Grund vorzugsweise die Position und/oder Größe der Bildbestandteile so angepasst, dass bei einer Überlagerung eine verbesserte Darstellung des Verkehrszeichens erreicht wird. Dadurch können zur Verkehrszeichenerkennung qualitativ hochwertige Bilder eines im Fahrschlauch angeordneten Verkehrszeichens erzeugt werden. Die Objekte in den Einzelbildern werden in Folge der beschriebenen Relativbewegung zwischen Fahrzeug und Objekt oft nur unscharf dargestellt. Dies ist insbesondere dann der Fall, wenn bei einer dunklen Umgebung eine relativ lange Belichtungszeit zur Bildaufnahme erforderlich ist. Durch das Überlagern von Aufnahmen einer Bildfolge und der dadurch erreichten Überlagerung von Bildbestandteilen desselben Objekts werden bildsignalspezifische Informationen in den entsprechenden lokalen Bildausschnitten ausgenutzt, wobei das Objekt insbesondere das zu klassifizierende Verkehrszeichen ist und somit eine qualitative Verbesserung des Bildes des Verkehrszeichens bewirkt.
Bei der Verwendung von überlagerten bildsignalspezifischen Informationen zur qualitativen Verbesserung eines Bildes oder eines Bildbereiches erfolgt insbesondere eine vorteilhafte Ausnutzung der lokalen (z.B. bzgl. eines Pixels oder eines begrenzten mehrer Pixel umfassenden lokalen Bildbereiches) Variation eines Bildsignals in einer Bildfolge, wobei das Bildsignal stets von der gleichen Stelle eines Objektes emittiert wird. Dabei werden die Bilddaten mehrerer unabhängiger Bilder der Bildfolge genutzt, um das Bildsignal und die Variation zu ermitteln. Die Variation des Bildsignals überlagert zumindest Teile eines ungestörten Bildsignals bzw. eines ungestörten Bildes. Durch eine Analyse dieser Variationen kann mittels bekannter statistischer Methoden auf den ungestörten lokalen Bildsignalwert geschlossen werden. Im Kontext der relevanten Bildbestandteile eines Objektes ergibt dann die Ermittelung aller ungestörten lokalen Bildsignale in der Gesamtheit einen qualitativ verbesserten Bildbestandteil. Insbesondere ist es durch die Erfindung nicht zwingend erforderlich, sehr hochwertige teure Optiken mit einer hohen Lichtempfindlichkeit und niedriger Blendenzahl oder einen Bildsensor mit hoher Lichtempfindlichkeit einzusetzen oder eine Modifizierung der Windschutzscheibe, insbesondere durch lokale Verwendung von Klarglas, durchzuführen, um die erforderliche Bildverbesserung der Abbildung des Objekts zu erzielen. Durch eine vorteilhafte Ausnutzung bildsignalspezifischer Informationen, die in den einzelnen Bildern der Bildfolge enthalten sind, kann beim Ü- berlagern der Bildbestandteile des Objekts insbesondere eine lokale Bildauflösung erhöht und die Bewegungsunschärfe der Abbildung des Objekts reduziert (herausgerechnet) werden.
Die Bildverbesserung kann insbesondere mit Hilfe eines geeigneten Programms von einer Datenverarbeitungseinheit, insbesondere einem Signalprozessor oder einer anderen Steuereinheit, durchgeführt werden und ist für jedes Kamerasystem 12 bzw. jedes andere Bilderfassungssystem grundsätzlich anwendbar. Durch die erläuterte Vorgehensweise kann auch eine sichere Erkennung von Verkehrszeichen bei Dunkelheit sichergestellt werden. Die Bildverbesserung kann sowohl für Verkehrszeichen als auch für Verkehrszusatzzeichen erfolgen. Mit Hilfe der durchgeführten Bildverbesserung der Abbildung des Verkehrszeichens kann eine robuste Klassifikation mit einer höheren Performance und besserer Treffer- und Erkennungswahrscheinlichkeit erreicht werden.

Claims

Ansprüche
1. Verfahren zur Verkehrszeichenerkennung,
bei dem mindestens zwei Bilder mit jeweils einer Abbildung eines Bereichs der Umgebung eines Kraftfahrzeugs durch ein Bilderfassungssystem (12) des Kraftfahrzeugs als Bildfolge erfasst werden, wobei das Bilderfassungssystem (12) zu jedem erfassten Bild der Abbildung entsprechende Bilddaten erzeugt,
die Bilddaten verarbeitet werden, wobei für mindestens ein Objekt die diesem Objekt in jedem Bild zuordenbaren Bildbestandteile ermittelt werden,
die ermittelten Bildbestandteile der Bilder überlagert werden, wobei mit Hilfe der überlagerten Bildbestandteile Bilddaten einer verbesserten Abbildung des Objekts erzeugt werden,
und bei dem mit Hilfe der Bilddaten der verbesserten Abbildung des Objekts eine Verkehrszeichenerkennung durchgeführt wird.
2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass überprüft wird, ob das ermittelte Objekt ein Verkehrszeichen ist oder sein könnte, wobei das Ermitteln der Bildbestandteile des Objekts in den einzelnen Bildern und/oder die Überlagerung der Bildbestandteile vorzugsweise nur durchgeführt wird, wenn festgestellt worden ist, dass es sich bei dem Objekt um ein Verkehrszeichen handelt oder handeln könnte.
3. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Bildbestandteile mit Hilfe eines SuperResolution-Verfahrens überlagert werden.
4. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Objekt als ortsfest angenommen wird und dass die Positionsänderung eines Objekts im zweiten Bild gegenüber dem ersten Bild in Folge einer Eigenbewegung des Kraftfahrzeugs und/oder eine Größenänderung der Größe des Objekts in der Abbildung des zweiten Bildes gegenüber der Größe des Objekts im ersten Bild in Folge der Eigenbewegung des Kraftfahrzeugs ermittelt wird, wobei die Größe und/oder Position der Bildbestandteile derart angepasst wird, dass Größen- und/oder Positionsunterschiede der Bildbestandteile kompensiert werden.
5. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass bei dem Überlagern der Bildbestandteile die lokale Bildauflösung der Bildbestandteile des Objekts im durch die Überlagerung resultierenden Bild des Objekts gegenüber den Einzelbildern vorzugsweise mit Hilfe eines Super-Resolution- Verfahrens erhöht wird.
6. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass mit Hilfe der durch die Überlagerung der Bildbestandteile erzeugten Abbildung des Objekts eine Klassifizierung des Objekts mit Hilfe eines Klassifizierungsverfahrens zur Verkehrszeichenerkennung durchgeführt wird.
7. Verfahren nach Anspruch 6, dadurch gekennzeichnet, dass mit Hilfe des Klassifizierungsverfahrens ermittelt wird, ob das Objekt ein Verkehrszeichen ist und/oder ob das Objekt ein konkretes Verkehrszeichen ist.
8. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Bildschärfe der durch das Überlagern der Bildbestandteile des Objekts erzeugten Abbildung erhöht wird.
9. Vorrichtung zur Verkehrszeichenerkennung
mit einer Bilderfassungseinheit eines Kraftfahrzeugs, die mindestens zwei Bilder mit jeweils einer Abbildung eines Bereichs der Umgebung des Kraftfahrzeugs einer Bildfolge erfasst, wobei das Bilderfassungssystem (12) zu jedem erfassten Bild der Abbildung entsprechende Bilddaten erzeugt,
mit einer Verarbeitungseinheit (14),
die die Bilddaten verarbeitet, wobei für mindestens ein Objekt die diesem Objekt in jedem Bild zuordenbaren Bildbestandteile ermittelt werden,
die die ermittelten Bildbestandteile der Bilder überlagert,
und die mit Hilfe der überlagerten Bildbestandteile einer Verkehrszeichenerkennung durchführt.
PCT/EP2008/003745 2007-05-08 2008-05-08 Verfahren und vorrichtung zur verkehrszeichenerkennung WO2008135295A1 (de)

Priority Applications (1)

Application Number Priority Date Filing Date Title
EP08758434A EP2149107A1 (de) 2007-05-08 2008-05-08 Verfahren und vorrichtung zur verkehrszeichenerkennung

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102007021577A DE102007021577A1 (de) 2007-05-08 2007-05-08 Verfahren und Vorrichtung zur Verkehrszeichenerkennung
DE102007021577.2 2007-05-08

Publications (1)

Publication Number Publication Date
WO2008135295A1 true WO2008135295A1 (de) 2008-11-13

Family

ID=39687083

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2008/003745 WO2008135295A1 (de) 2007-05-08 2008-05-08 Verfahren und vorrichtung zur verkehrszeichenerkennung

Country Status (3)

Country Link
EP (1) EP2149107A1 (de)
DE (1) DE102007021577A1 (de)
WO (1) WO2008135295A1 (de)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102015210117A1 (de) 2015-06-02 2016-12-08 Conti Temic Microelectronic Gmbh Fahrerassistenzvorrichtung zur Verkehrszeichenerkennung für ein Kraftfahrzeug sowie ein Verfahren zur Überprüfung einer etwaigen Fehlerkennung eines mit der Fahrerassistenzvorrichtung erkannten Verkehrszeichens

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102009030594A1 (de) 2009-06-26 2010-12-30 Volkswagen Ag Kraftfahrzeug mit Verkehrszeichenerkennung

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1131803B1 (de) 1998-11-14 2002-06-05 DaimlerChrysler AG Vorrichtung und verfahren zur verkehrszeichenerkennung
EP1492051A2 (de) * 2003-06-27 2004-12-29 Yonsei University Verfahren zur Wiederherstellung und Rekonstruktion des "super resolution"-Bildes aus niedrig aufgelöstem, komprimiertem Bild
EP1383098B1 (de) 2002-07-09 2006-05-17 Accenture Global Services GmbH Vorrichtung zur automatischen Erkennung von Verkehrszeichen
EP1758058A1 (de) * 2005-08-25 2007-02-28 Delphi Technologies, Inc. System und Verfahren zur Kontrastverbesserung eines Bildes

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7466841B2 (en) * 2004-08-16 2008-12-16 Siemens Corporate Research, Inc. Method for traffic sign detection

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1131803B1 (de) 1998-11-14 2002-06-05 DaimlerChrysler AG Vorrichtung und verfahren zur verkehrszeichenerkennung
EP1145186B1 (de) 1998-11-14 2004-02-18 DaimlerChrysler AG Verfahren und vorrichtung zur leistungssteigerung eines verkehrszeichenerkennungssystems
EP1383098B1 (de) 2002-07-09 2006-05-17 Accenture Global Services GmbH Vorrichtung zur automatischen Erkennung von Verkehrszeichen
EP1492051A2 (de) * 2003-06-27 2004-12-29 Yonsei University Verfahren zur Wiederherstellung und Rekonstruktion des "super resolution"-Bildes aus niedrig aufgelöstem, komprimiertem Bild
EP1758058A1 (de) * 2005-08-25 2007-02-28 Delphi Technologies, Inc. System und Verfahren zur Kontrastverbesserung eines Bildes

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
FLETCHER L ET AL: "Correlating driver gaze with the road scene for driver assistance systems", ROBOTICS AND AUTONOMOUS SYSTEMS, ELSEVIER SCIENCE PUBLISHERS, AMSTERDAM, NL, vol. 52, no. 1, 31 July 2005 (2005-07-31), pages 71 - 84, XP004952757, ISSN: 0921-8890 *
FLETCHER, L. ET AL.: "Correlating driver gaze with the road scene for driver assistance systems", ROBOTICS AND AUTONOMOUS SYSTEMS, vol. 52, 2005, pages 71 - 84
J. D. VAN OUWERKERK: "Image super-resolution survey", IMAGE VISION COMPUTING, vol. 24, no. 10, October 2006 (2006-10-01)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102015210117A1 (de) 2015-06-02 2016-12-08 Conti Temic Microelectronic Gmbh Fahrerassistenzvorrichtung zur Verkehrszeichenerkennung für ein Kraftfahrzeug sowie ein Verfahren zur Überprüfung einer etwaigen Fehlerkennung eines mit der Fahrerassistenzvorrichtung erkannten Verkehrszeichens

Also Published As

Publication number Publication date
EP2149107A1 (de) 2010-02-03
DE102007021577A1 (de) 2008-11-13

Similar Documents

Publication Publication Date Title
EP2150939B1 (de) Verfahren und vorrichtung zum bestimmen der position eines verkehrszeichens
EP2179381B1 (de) Verfahren und vorrichtung zur verkehrszeichenerkennung
EP3053097A1 (de) Verfahren und vorrichtung zur erkennung von verkehrszeichen
EP2573709A2 (de) Verfahren und Vorrichtung zur Identifikation von Kraftfahrzeugen zur Verkehrsüberwachung
DE102018212655A1 (de) Erkennung der Bewegungsabsicht eines Fußgängers aus Kamerabildern
DE102014106506A1 (de) Verfahren zum Durchführen einer Diagnose eines Kamerasystems eines Kraftfahrzeugs, Kamerasystem und Kraftfahrzeug
EP3488607A1 (de) Kameravorrichtung zur aufnahme eines umgebungsbereichs eines eigenen fahrzeugs sowie verfahren zur bereitstellung einer fahrerassistenzfunktion
DE102017215718B4 (de) Verfahren zum Auswerten eines optischen Erscheinungsbildes in einer Fahrzeugumgebung und Fahrzeug
DE102011082477A1 (de) Verfahren und System zur Erstellung einer digitalen Abbildung eines Fahrzeugumfeldes
DE102006037600B4 (de) Verfahren zur auflösungsabhängigen Darstellung der Umgebung eines Kraftfahrzeugs
DE102011005780A1 (de) Verfahren und Vorrichtung zur Bestimmung einer Entfernung zwischen einem Fahrzeug und einem Objekt
DE102017208994A1 (de) Verfahren zur Ermittlung von Ergebnisbilddaten
WO2008135295A1 (de) Verfahren und vorrichtung zur verkehrszeichenerkennung
DE102018004782A1 (de) Verfahren und Vorrichtung zum Erfassen einer Umgebung, sowie Fahrzeug mit einer solchen Vorrichtung
DE102007021579A1 (de) Verfahren und Vorrichtung zur Klassifikation mindestens eines Verkehrszeichens
WO2014146864A1 (de) Verfahren und vorrichtung zum erstellen einer aufnahme eines gepulst aufleuchtenden objekts
DE102016103037A1 (de) Verfahren zum Überprüfen einer Funktionstüchtigkeit eines Kamera-Monitor-Systems, Kamera-Monitor-System sowie Kraftfahrzeug
DE102019003061B4 (de) Vorrichtung zum Prüfen eines optischen Erfassungssystems für ein Kraftfahrzeug, sowie ein Verfahren hierzu
DE102007008543A1 (de) Verfahren und Vorrichtung zum Ermitteln des Bewegungszustands von Objekten
DE102009047437A1 (de) Verfahren und Vorrichtung zur Anpassung von Bildinformationen eines optischen Systems
DE102008014630A1 (de) Verfahren und Vorrichtung zum Verarbeiten von Bilddaten
DE102014218627A1 (de) Verfahren und Steuergerät zum Betreiben eines Bildsensors
DE102020213267A1 (de) Helligkeits-Umwandlung von Stereobildern
DE102022127906A1 (de) Verfahren zum Betrieb zumindest eines Assistenzsystems eines Fahrzeuges
DE102015005363A1 (de) Verfahren und Vorrichtung zur augmentierten Darstellung sowie Fahrzeug

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 08758434

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2008758434

Country of ref document: EP