WO2015048954A1 - Verfahren und vorrichtung zur erkennung von verkehrszeichen - Google Patents

Verfahren und vorrichtung zur erkennung von verkehrszeichen Download PDF

Info

Publication number
WO2015048954A1
WO2015048954A1 PCT/DE2014/200444 DE2014200444W WO2015048954A1 WO 2015048954 A1 WO2015048954 A1 WO 2015048954A1 DE 2014200444 W DE2014200444 W DE 2014200444W WO 2015048954 A1 WO2015048954 A1 WO 2015048954A1
Authority
WO
WIPO (PCT)
Prior art keywords
traffic sign
image area
image
motion blur
traffic
Prior art date
Application number
PCT/DE2014/200444
Other languages
English (en)
French (fr)
Inventor
Steen Kristensen
Original Assignee
Conti Temic Microelectronic Gmbh
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Conti Temic Microelectronic Gmbh filed Critical Conti Temic Microelectronic Gmbh
Priority to EP14777257.8A priority Critical patent/EP3053097A1/de
Priority to US14/902,246 priority patent/US9697430B2/en
Priority to JP2016546142A priority patent/JP6445024B2/ja
Priority to DE112014002543.7T priority patent/DE112014002543A5/de
Publication of WO2015048954A1 publication Critical patent/WO2015048954A1/de

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/582—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/30—Noise filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/63—Scene text, e.g. street names

Definitions

  • the invention relates to a method and a device for detecting the content of traffic signs according to the preamble of the independent claims.
  • Modern driver assistance systems are increasingly equipped with an electronic traffic sign recognition system, for example, to warn the driver when exceeding the maximum speed limit.
  • an electronic traffic sign recognition system typically takes a camera on the environment in front of the vehicle and delivers corresponding image data to a
  • Image evaluation device that uses an algorithm to analyze and classify the image data to identify a traffic sign. Such a method is e.g. known from DE 198 52 631 AI.
  • the information from such detected traffic signs can then be incorporated into a driver assistance function, eg. B. as an indication of the currently permissible maximum speed in the instrument cluster of the vehicle.
  • WO 2009/135460 Al shows a method for
  • Exposure control for a camera in a motor vehicle which makes it possible to realize two driver assistance functions with different exposure requirements, such as a lane detection and traffic character recognition at night, with a common camera.
  • a sufficiently short exposure time can be used for traffic sign recognition image data, in particular at high driving speeds, in order to avoid or minimize "motion-blur", ie motion blur, so that the statement of the traffic sign can be recognized.
  • the traffic signs or signs erected in the road are provided with one or more additional symbols which concretize the meaning of the main character or limit it situationally.
  • WO 2013/017125 A1 shows a method for recognizing traffic signs in which additional characters are classified as far as possible by means of a pattern recognition method, additional character text is read and interpreted by means of a text recognition method, if the classification was not or not completely possible and a relevance assessment is made the recognized text is compared with situation data.
  • a fundamental difficulty in reading textual content and, in particular, variable text elements on road signs, is that it requires images that have sufficient resolution and sharpness.
  • the invention has for its object to meet this difficulty and to provide a method for fast and reliable detection of the content of traffic signs with variable text component.
  • a starting point of the invention are the following considerations: Although cameras today can offer basically a good resolution and sharpness, this is when using cameras in the moving vehicle, with different
  • the approach to determine the motion blur of a traffic sign from an image or from an image sequence Since it will not be possible for economic reasons in the foreseeable future to increase the image quality, ie the optics and the resolution and sensitivity of the imager, in vehicle cameras so that a reading of traffic signs or signs with a variable text component will be immediately possible the present invention, the approach to determine the motion blur of a traffic sign from an image or from an image sequence.
  • An inventive method for detecting a traffic sign by means of a camera from a moving vehicle has the following steps:
  • the camera is in particular a forward-facing monocamera, preferably with color-resolving
  • CMOS complementary metal-oxide-semiconductor
  • CCD Image recording sensor
  • a stereo camera has the advantage that it provides spatial information about the vehicle environment.
  • further camera-based driver assistance functions can preferably be implemented in addition to traffic sign recognition, such as e.g. a lane departure warning, a lane keeping assistance, an automatic high beam control, a collision warning, a precipitation detection, an automatic longitudinal control, a parking assistance, automatic emergency braking and / or emergency steering systems.
  • traffic sign recognition such as e.g. a lane departure warning, a lane keeping assistance, an automatic high beam control, a collision warning, a precipitation detection, an automatic longitudinal control, a parking assistance, automatic emergency braking and / or emergency steering systems.
  • the determination of the motion blur comprises the estimation of the motion blur, but also the calculation of the motion blur, in particular one
  • the influence of the motion blur on the recorded image can be calculated out by equalizing the blurred image or a blurred image area (deconvolution). This leads to a sharpened image (area).
  • the recognition of the traffic sign taking into account the sharpened image area can take place via pattern recognition, classification or text recognition (OCR).
  • a method according to the invention has the advantage that the influence of the motion blur on surrounding images of a camera of a moving vehicle, which contain traffic signs, can be attenuated or even eliminated, whereby a reliable and complete detection of traffic signs is possible.
  • the step of "recognizing the traffic sign taking into account the sharpened image area" comprises a text recognition in the sharpened
  • Image area This allows complete recognition of variable text components in traffic signs.
  • data are evaluated which characterize the proper motion of the vehicle.
  • the motion blur of traffic signs recorded while driving stems only from the camera movement, so typically in a fixed camera in the vehicle only from the vehicle's own movement ago. This cause can be taken into account by knowing about the current proper motion of the vehicle optionally in combination with imaging properties of the camera system and the geometry between the camera and traffic signs.
  • Such data may, for example, provide vehicle motion sensors.
  • Image data evaluations can also provide indications of the vehicle's own motion, in particular in the case of a stereo camera. According to a preferred embodiment, edges in this image area are determined and evaluated in order to determine the motion blur in the image area in which the existing traffic signs are located.
  • Traffic sign used from the recorded image A predefined template traffic sign corresponding to the partially recognized traffic sign is taken into account in determining the motion blur in the image area. Taking into account the sharpened image area, the variable content of the traffic sign is recognized. As a result, the traffic sign, in particular a main character, already partially or even completely recognized at the time ofsecuritysun2020rfeCt tion, so its appearance without motion blur (template traffic sign) is known and can be taken into account in determining the motion blur.
  • the static content comprises the form and outline of a main traffic sign.
  • the variable content is then the content included in the image area of the border of the main traffic sign.
  • the image area is formed in such a way that it contains at least one main traffic sign and all auxiliary signs assigned to this main traffic sign.
  • this can only be a single additional character if only one additional character is assigned to the main traffic sign.
  • the at least one main traffic sign can then be completely recognized and the contents of the additional sign (s) identified as variable content.
  • a separate image area is formed for each individual traffic sign (main character or additional sign) in the image. It is then checked whether at least two traffic signs are assigned to each other, in particular based on their geometric arrangement to each other.
  • the motion blur is determined only for the first image area and then adopted for the second and the further image areas.
  • the first image area can advantageously contain a main traffic sign, in particular a
  • Main traffic sign which can be completely recognized without text recognition.
  • a synthetic high-definition image area is created from a plurality of successive ones with the camera Recorded images extracted sharpened image areas in each of which is the same traffic sign.
  • the traffic sign is then recognized taking into account the synthetic high-definition image area, which increases the reliability and availability of the
  • the invention further relates to a device for detecting traffic signs comprising a camera for recording at least one image of a vehicle environment from a moving vehicle and an image evaluation unit, wherein the image evaluation unit is designed such that it detects the presence of one or more traffic signs (Hz, Zz) from the detected motion picture data detects a motion blur in the image area in which the existing traffic sign (Hz, Zz) is located, which calculates motion blur in this image area, resulting in a sharpened image area, the traffic sign (Hz, Zz) recognizes taking into account the sharpened image area and can generate a corresponding output signal.
  • the image evaluation unit is designed such that it detects the presence of one or more traffic signs (Hz, Zz) from the detected motion picture data detects a motion blur in the image area in which the existing traffic sign (Hz, Zz) is located, which calculates motion blur in this image area, resulting in a sharpened image area
  • the traffic sign (Hz, Zz) recognizes taking into account the sharpened image area and can generate a corresponding output
  • Fig. 1 Examples of traffic signs with variable
  • Fig. 2 a main character with variable text content
  • Fig. 3 a speed-limiting
  • Fig. 4 a main character with associated
  • FIG. 1 shows traffic signs with variable contents, in particular variable text contents:
  • FIG. 1a shows main characters with variable text content, namely a prohibition for vehicles (starting from the left) over 5.5 tons actual mass, over 2 meters actual width (including outside mirrors) resp over 8 tons of actual axle load.
  • Fig. Lb shows additional characters with variable text content, which limit the validity of the associated main character (not shown in Fig. 1), namely to a distance from the main character of 600 meters, a period of 8-11 clock and 16-18 clock or for vehicles with an actual mass of 7.5 tonnes or more. 1, in particular, the numerical values are "variable text contents.”
  • Complete recognition of such traffic signs, in particular by means of pattern recognition, is difficult, and requires text recognition (eg, OCR) Images of these traffic signs, which have a sufficient resolution and sharpness.
  • images taken with a vehicle camera from a moving car have a blurring that results from the movement of the vehicle and thus the camera relative to the traffic sign. In English, this motion blur is referred to as "motion blur.”
  • This motion blur is referred to as "motion blur.” The shorter the exposure time when taking a picture of a camera, the lower the motion blur is, but in the dark a minimum exposure time is required to see anything from the captured image data.
  • Hz, Zz traffic signs
  • an image of the vehicle environment recorded by the camera is searched for existing traffic signs (Hz, Zz). If traffic signs (Hz, Zz) are determined in an image area, the motion blur in this image area is determined (calculated or at least estimated). This calculation or estimation is the subject of current research, especially in hand-held cell phone / photo cameras that often provide shaky images when triggered.
  • the motion blur is typically determined as a "blur kernel" (motion blur core) or as a "point spread function”.
  • Fig. 2 shows the first traffic sign of Fig. La: a ban on vehicles with an actual mass of over 5, 5 tons.
  • This traffic sign can be subdivided into a static component (S), namely its shape and outline, ie essentially the red ring which is indicative of prohibition signs, and a variable component (V), here the text "5,5t"
  • S static component
  • V variable component
  • this traffic sign (Hz) is a prohibition sign
  • Image data with motion blur are not immediately recognized because they are too noisy than that a text recognition would be successful. Therefore, the motion blur for the image area in which the traffic sign (Hz) is included is estimated. This is possible because the circular shape and the red border of the prohibition sign are very well detectable, and especially at the time ofuploadssun2020rfeush can already be detected, whereby their appearance is known without motion blur.
  • This motion blur estimate is then used to sharpen the image area within the circular red border (V) by excluding motion blur. Subsequently, a recognition or text recognition of this inner image area (V) is possible, which results in the fact that the characters "5.5 t" are contained there, thereby completely detecting the regulatory content of this traffic sign, namely a prohibition for vehicles with an actual mass of over
  • This can now be communicated to the driver of a vehicle (eg display of a corresponding symbol in the instrument cluster) or with vehicle-specific data such as the current or maximum actual mass of the vehicle adjusted and discarded if not relevant (eg for a car) or even be output from the traffic sign recognition to a vehicle navigation device or an autonomous vehicle control device.
  • FIG. 3 shows a main character (Hz) which restricts the maximum permissible speed to 50 km / h with an additional character (Zz) with the French text "par temps de man dioxide", which means that the cruise control of the associated main traffic sign can only be used in the event of rain or rain
  • this text is not variable in France, but for a traffic sign recognition, the In as many different countries or languages as possible the content of additional characters can be recognized and interpreted, it would be desirable that such texts can be read as single letters without prior knowledge of possible textual content. Therefore, within the scope of the invention, this is the variable text component (V) which it is to be recognized. Upon recognizing this variable text component, it is nevertheless possible to display to the driver this text as additional information about the speed limitation in the instrument cluster, or to search in vehicle databases or in the cloud for the meaning or a translation of the recognized words.
  • V variable text component
  • the image area is designed such that it comprises the main traffic sign (Hz) and the additional sign (Zz) assigned here individually. Then, the motion blur for this entire image area can be determined from the motion blur for the main character (Hz). The entire main character can be assumed as static content (S), because the possible values for
  • V variable content
  • Zz additional character
  • Fig. 4 shows a main traffic sign (Hz), namely the danger sign "game change” with an associated additional character (Zz), which limits the period of validity of the danger symbol "to 3 km”.
  • Hz main traffic sign
  • Zz additional character
  • the main character (Hz) and the additional character (Zz) are recognized as two separate traffic signs and correspondingly formed two separate image areas. Subsequently, it is checked whether the two traffic signs (Hz, Zz) are assigned to each other. Based on the present arrangement, in which the main character is located directly above the additional character, their assignment is detected. The motion blur is now determined only for the first image area in which the main character (Hz) is located. This can be fully recognized without text recognition: possibly already from the recorded (blurred) image, we assume, however, that the recognition succeeds only after the estimation of the motion blur and subsequent deconvolution. In any case, the calculation / estimation of the
  • Motion blur for the image area of the main character (Hz) much easier and more accurate.
  • the main character is larger and due to its strong red border, here triangular, very well detectable. Since the main character (Hz) and the additional character (Zz) are placed directly above or next to each other and captured in the same image, the motion blur parameters are almost identical for both characters and can thus be transferred from the main character (Hz) to the auxiliary character (Zz) become. The deconvolution of the image area with the additional character (Zz) is thus directly feasible and then the content of the additional character (Zz) can be recognized or read in the sharpened image detail.

Abstract

Die Erfindung betrifft ein Verfahren und eine Vorrichtung zur Erkennung eines Verkehrszeichens (Hz, Zz) mittels einer Kamera aus einem fahrenden Fahrzeug. Das Verfahren weist folgende Schritte auf: - Aufnahme mindestens eines Bildes einer Fahrzeugumgebung mit der Kamera, - Ermittlung des Vorhandenseins mindestens eines Verkehrszeichens (Hz, Zz) in dem mindestens einen aufgenommenen Bild der Fahrzeugumgebung, - Ermitteln (auch Schätzen) einer Bewegungsunschärfe in dem Bildbereich, in dem sich das vorhandene Verkehrszeichen (Hz, Zz) befindet, - Herausrechnen der Bewegungsunschärfe in diesem Bildbereich, was zu einem geschärften Bildbereich führt, und - Erkennung des Verkehrszeichens (Hz, Zz) unter Berücksichtigung des geschärften Bildbereichs.

Description

Verfahren und Vorrichtung zur Erkennung von Verkehrszeichen
Die Erfindung betrifft ein Verfahren und eine Vorrichtung zur Erkennung des Inhalts von Verkehrszeichen gemäß dem Oberbegriff der unabhängigen Ansprüche.
Moderne Fahrerassistenzsysteme werden zunehmend mit einem elektronischen Verkehrszeichenerkennungssystem ausgerüstet, um beispielsweise den Fahrer bei einer Überschreitung der zulässigen Höchstgeschwindigkeit zu warnen. Hierzu nimmt typischerweise eine Kamera die Umgebung vor dem Fahrzeug auf und liefert entsprechende Bilddaten an eine
Bildauswertungsvorrichtung, die mittels eines Algorithmus die Bilddaten analysiert und klassifiziert, um hieraus ein Verkehrszeichen zu identifizieren. Ein solches Verfahren ist z.B. aus der DE 198 52 631 AI bekannt.
Die Information aus derart erkannten Verkehrszeichen kann anschließend in eine Fahrerassistenzfunktion einfließen, z. B. als Anzeige der aktuell zulässigen Höchstgeschwindigkeit im Kombiinstrument des Fahrzeugs.
WO 2009/135460 AI zeigt ein Verfahren zur
Belichtungssteuerung für eine Kamera in einem Kraftfahrzeug, die es ermöglicht zwei Fahrerassistenzfunktionen mit unterschiedlichen Belichtungsanforderungen, wie z.B. eine Spurerkennung und eine Verkehrs Zeichenerkennung bei Nacht, mit einer gemeinsamen Kamera zu realisieren. Damit kann insbesondere bei hohen Fahrgeschwindigkeiten eine hinreichend kurze Belichtungszeit für Verkehrszeichenerkennungsbilddaten eingesetzt werden, um „motion-blur" , also eine Bewegungsunschärfe zu vermeiden bzw. zu minimieren, so dass die Aussage des Verkehrszeichens erkannt werden kann. Vielfach sind die im Straßenverkehr aufgestellten Verkehrsschilder bzw. -zeichen mit einem oder mehreren Zusatzzeichen versehen, die die Bedeutung des Hauptzeichens konkretisieren oder situativ beschränken.
WO 2013/017125 AI zeigt ein Verfahren zur Erkennung von Verkehrszeichen, bei dem Zusatzzeichen mittels einem Mustererkennungsverfahren soweit wie möglich klassifiziert werden, Zusatzzeichentext mittels eines Texterkennungsverfahrens gelesen und interpretiert wird, sofern die Klassifikation nicht oder nicht vollständig möglich war und eine Relevanzeinschätzung vorgenommen wird, bei der der erkannte Text mit Situationsdaten verglichen wird .
Eine grundlegende Schwierigkeit beim Lesen von Textinhalten und insbesondere von variablen Textelementen auf Verkehrszeichen besteht darin, dass dafür Bilder erforderlich sind, die eine ausreichende Auflösung und Schärfe aufweisen.
Der Erfindung liegt die Aufgabe zugrunde, dieser Schwierigkeit zu begegnen und ein Verfahren zur schnellen und zuverlässigen Erkennung des Inhalts von Verkehrszeichen mit variablem Textbestandteil anzugeben.
Diese Aufgabe wird durch die Merkmale der unabhängigen Ansprüche gelöst. Vorteilhafte Weiterbildungen der Erfindung sind Gegenstand der Unteransprüche, wobei auch Kombinationen und Weiterbildungen einzelner vorteilhafter Merkmale miteinander denkbar sind.
Ein Ausgangspunkt der Erfindung sind folgende Überlegungen: Obwohl Kameras heutzutage grundsätzlich eine gute Auflösung und Schärfe bieten können, ist dies beim Einsatz von Kameras im bewegten Fahrzeug, mit unterschiedlichen
Belichtungszeiten, insbesondere bei Dunkelheit, der Güte der eingesetzten Optik bzw. des eingesetzten Objektivs und der eingesetzten Auflösung des Bildaufnahmesensors für die vollständige Erkennung von Verkehrszeichen nicht immer ausreichend .
Da es aus wirtschaftlichen Gründen in absehbarer Zukunft nicht möglich sein wird, bei Fahrzeugkameras die Bildqualität, sprich die Optik und die Auflösung und Sensitivität des Bildgebers, so zu steigern, dass ein Lesen von Verkehrszeichen bzw. Schildern mit variablem Textbestandteil unmittelbar möglich sein wird, verfolgt die vorliegende Erfindung den Ansatz die Bewegungsunschärfe eines Verkehrszeichens aus einem Bild bzw. aus einer Bildfolge zu bestimmen .
Ein erfindungsgemäßes Verfahren zur Erkennung eines Verkehrszeichens mittels einer Kamera aus einem fahrenden Fahrzeug weist folgende Schritte auf:
- Aufnahme mindestens eines Bildes einer Fahrzeugumgebung mit der Kamera,
- Ermittlung des Vorhandenseins mindestens eines Verkehrszeichens in dem mindestens einen aufgenommenen Bild der Fahrzeugumgebung,
- Ermitteln einer Bewegungsunschärfe in dem Bildbereich, in dem sich das vorhandene Verkehrszeichen befindet,
- Herausrechnen der Bewegungsunschärfe in diesem Bildbereich, was zu einem geschärften Bildbereich führt, und
- Erkennung des Verkehrszeichens unter Berücksichtigung des geschärften Bildbereichs. Die Kamera ist insbesondere eine nach vorne gerichtete Monokamera, vorzugsweise mit farbauflösenden
Bildaufnahmesensor (CMOS oder CCD) , welche beispielsweise hinter der Windschutzscheibe etwa im Bereich des Innenspiegels angeordnet sein. Alternativ bietet eine Stereokamera den Vorteil, dass sie räumliche Informationen zur Fahrzeugumgebung bereitstellt.
Aus einem Bild oder aus einer Bildfolge der Fahrzeugkamera können vorzugsweise neben der Verkehrszeichenerkennung weitere kamerabasierte Fahrerassistenzfunktionen realisiert werden, wie z.B. eine Spurverlassenswarnung, eine Spurhalteunterstützung, eine automatische Fernlichtsteuerung, eine Kollisionswarnung, eine Niederschlagserkennung, eine automatische Längsregelung, eine Einparkunterstützung, automatische Notbrems- und/oder Notlenksysteme .
Das Ermitteln der Bewegungsunschärfe umfasst die Schätzung der Bewegungsunschärfe, aber auch die Berechnung der Bewegungsunschärfe, insbesondere eines
Bewegungsunschärfekerns („blur kernel") oder einer Punktbildverwaschungsfunktion/Punktspreizfunktion („point spread function") .
Anschließend kann der Einfluss der Bewegungsunschärfe auf das aufgenommene Bild herausgerechnet werden, indem das unscharfe Bild oder ein unscharfer Bildbereich entzerrt wird (Dekonvolution) . Das führt zu einem geschärften Bild (-bereich) .
Die Erkennung des Verkehrszeichens unter Berücksichtigung des geschärften Bildbereichs kann über eine Mustererkennung, Klassifikation bzw. eine Texterkennung (OCR) erfolgen.
Ein erfindungsgemäßes Verfahren bietet den Vorteil, dass der Einfluss der Bewegungsunschärfe auf Umgebungsbilder einer Kamera eines fahrenden Fahrzeugs, die Verkehrszeichen enthalten, abgeschwächt oder sogar eliminiert werden kann, wodurch eine zuverlässige und vollständige Erkennung von Verkehrszeichen möglich ist.
In einer bevorzugten Ausführungsform umfasst der Schritt der „Erkennung des Verkehrszeichens unter Berücksichtigung des geschärften Bildbereichs" eine Texterkennung im geschärften
Bildbereich. Damit ist eine vollständige Erkennung von variablen Textbestandteilen in Verkehrszeichen möglich. Vorteilhaft werden zur Ermittlung der Bewegungsunschärfe Daten ausgewertet, die die Eigenbewegung des Fahrzeugs charakterisieren. Die Bewegungsunschärfe von während der Fahrt aufgenommenen Verkehrszeichen rührt nur von der Kamerabewegung, also typischerweise bei einer im Fahrzeug fixierten Kamera nur von der Fahrzeugeigenbewegung her. Dieser Ursache kann durch ein Wissen über die aktuelle Eigenbewegung des Fahrzeugs optional in Kombination mit Abbildungseigenschaften des Kamerasystems und der Geometrie zwischen Kamera und Verkehrszeichen Rechnung getragen werden. Derartige Daten können z.B. Fahrzeugbewegungssensoren liefern. Auch Bilddatenauswertungen können Anhaltspunkte zur Fahrzeugeigenbewegung liefern, insbesondere bei einer Stereokamera . Gemäß einer bevorzugten Ausführungsform werden zur Ermittlung der Bewegungsunschärfe im Bildbereich, in dem sich das vorhandene Verkehrszeichen befindet, Kanten in diesem Bildbereich ermittelt und ausgewertet. Einen möglichen Weg zur Schätzung der Bewegungsunschärfe aus Kanten im unscharfen Bild liefern T. S. Cho, S. Paris, W. T. Freeman und B. Horn in "Blur kernel estimation using the Radon transform", 2011 IEEE Conference on Computer Vision and Pattern Recognition (CVPR) . Vorzugsweise wird ein statischer Inhalt eines Verkehrszeichens zur teilweisen Erkennung des
Verkehrszeichens aus dem aufgenommenen Bild genutzt. Ein dem teilweise erkannten Verkehrszeichen entsprechendes vorgegebenes Template-Verkehrszeichen wird bei der Ermittlung der Bewegungsunschärfe im Bildbereich berücksichtigt. Unter Berücksichtigung des geschärften Bildbereichs wird der veränderliche Inhalt des Verkehrszeichens erkannt. Dadurch ist das Verkehrszeichen, insbesondere ein Hauptzeichen, bereits zum Zeitpunkt der Bewegungsunschärfeschät zung teilweise oder sogar vollständig erkannt, womit dessen Aussehen ohne Bewegungsunschärfe (Template-Verkehrszeichen) bekannt ist und bei der Ermittlung der Bewegungsunschärfe berücksichtigt werden kann.
In einer vorteilhaften Weiterbildung umfasst der statische Inhalt Form und Umrandung eines Hauptverkehrszeichens. Der veränderliche Inhalt ist dann der Inhalt, der im Bildbereich von der Umrandung des Hauptverkehrszeichens eingeschlossen ist.
Bevorzugt wird der Bildbereich derart gebildet, dass er mindestens ein Hauptverkehrszeichen und sämtliche diesem Hauptverkehrszeichen zugeordnete Zusatzzeichen enthält. Das kann natürlich auch nur ein einzelnes Zusatzzeichen sein, wenn dem Hauptverkehrszeichen nur ein Zusatzzeichen zugeordnet ist. Als statischer Inhalt kann dann das mindestens ein Hauptverkehrszeichen vollständig erkannt und als veränderlicher Inhalt der Inhalt des oder der Zusatzzeichen (s) erkannt werden. Dies ist u.a. vorteilhaft, da die Umrandung (klare Kanten) von Zusatzzeichen häufig nicht gut detektierbar ist, und Zusatzzeichen häufig veränderliche Inhalte aufweisen, die nicht alle vorab trainiert werden können. In einer alternativen vorteilhaften Ausführungsform wird für jedes einzelne Verkehrszeichen (Hauptzeichen oder Zusatzzeichen) im Bild ein separater Bildbereich gebildet. Anschließend wird überprüft, ob mindestens zwei Verkehrszeichen einander zugeordnet sind, insbesondere anhand deren geometrischer Anordnung zueinander. Bei erkannter Zuordnung zweier Verkehrszeichen in einem ersten und einem zweiten bzw. weiteren Bildbereich (en) wird die Bewegungsunschärfe nur für den ersten Bildbereich ermittelt und dann für den zweiten bzw. die weiteren Bildbereiche übernommen. Der erste Bildbereich kann vorteilhaft ein Hauptverkehrszeichen enthalten, insbesondere ein
Hauptverkehrszeichen, welches ohne Texterkennung vollständig erkannt werden kann.
Häufig ist die Erkennung eines Zusatzzeichens aus unscharfen Bildbereichen sehr schwierig. Indem die Bewegungsunschärfe nicht auf das noch unbekannte Zusatzzeichen, sondern auf das dazugehörige Hauptzeichen (z.B. eine Geschwindigkeitsbegrenzung oder ein Überholverbotszeichen) berechnet wird, gestaltet sich diese Berechnung erheblich einfacher und genauer. Denn Hauptzeichen sind größer und durch ihre kräftige rote Umrandung sehr gut detektierbar . Da das Hauptzeichen und das Zusatzzeichen direkt oberhalb oder neben einander aufgestellt sind, und im gleichen Bild erfasst werden, sind die Parameter der Bewegungsunschärfe für beide Zeichen nahezu identisch und können somit vom Hauptzeichen auf das Zusatzzeichen übertragen werden. Vorzugsweise wird, falls die Erkennung des Verkehrszeichens unter Berücksichtigung des geschärften Bildbereichs eines einzelnen Bilds nicht erfolgreich oder nicht sicher ist, ein synthetischer hochscharfer Bildbereich erstellt aus einer Mehrzahl von aufeinander folgenden mit der Kamera aufgenommenen Bildern extrahierten geschärften Bildbereichen, in denen sich jeweils dasselbe Verkehrszeichen befindet. Es werden also bis auf den Schritt „Erkennung des Verkehrszeichens unter Berücksichtigung des geschärften Bildbereichs" sämtliche Hauptverfahrensschritte für
Folgebilder wiederholt. Aus dieser Mehrzahl von geschärften Bildbereichen, die dasselbe Verkehrszeichen wiedergeben, wird nun ein synthetischer hochscharfer Bildbereich berechnet. Derartige Verfahren Zur Erstellung höheraufgelöster synthetischer Bilder sind an sich bekannt, siehe z.B. „Improving resolution by image registration" von M. Irani, S. Peleg in CVGIP: Graphical Models and Image Processing, Vol. 53, No . 3, S. 231-239, 1991. Aus einer Folge von mehreren, realen Kameraaufnahmen z.B. von Zusatzzeichen mit niedriger Qualität kann also ein hochqualitatives, synthetisches Bild errechnet werden, welches dann mittels einer Texterkennung gelesen werden kann.
Das Verkehrszeichen wird dann unter Berücksichtigung des synthetischen hochscharfen Bildbereichs erkannt, was die Zuverlässigkeit und Verfügbarkeit der
Verkehrs Zeichenerkennung weiter steigert.
Die Erfindung betrifft zudem eine Vorrichtung zur Erkennung von Verkehrszeichen umfassend eine Kamera zur Aufnahme mindestens eines Bildes einer Fahrzeugumgebung aus einem fahrenden Fahrzeug und eine Bildauswertungseinheit, wobei die Bildauswertungseinheit derart ausgebildet ist, dass sie das Vorhandensein eines oder mehrerer Verkehrszeichen (Hz, Zz) aus den aufgenommenen Bilddaten erkennt, eine Bewegungsunschärfe in dem Bildbereich, in dem sich das vorhandene Verkehrszeichen (Hz, Zz) befindet ermittelt, die Bewegungsunschärfe in diesem Bildbereich herausrechnet, was zu einem geschärften Bildbereich führt, das Verkehrszeichen (Hz, Zz) unter Berücksichtigung des geschärften Bildbereichs erkennt und ein entsprechendes Ausgabesignal erzeugen kann.
Weitere Vorteile der Erfindung gehen aus der Beschreibung und den Zeichnungen hervor. Ausführungsbeispiele sind in der Zeichnung vereinfacht dargestellt und in der nachfolgenden Beschreibung näher erläutert.
Es zeigen:
Fig. 1: Beispiele für Verkehrszeichen mit variablem
Inhalt (a) Haupt- und b) Zusatzzeichen) ,
Fig. 2: ein Hauptzeichen mit variablem Textinhalt, Fig. 3: ein geschwindigkeitsbeschränkendes
Hauptzeichen mit einem Zusatzzeichen mit französischem Text und
Fig. 4: ein Hauptzeichen mit zugeordnetem
Zusatzzeichen .
Fig. 1 zeigt Verkehrszeichen mit variablen Inhalten, insbesondere variablen Textinhalten: Fig. la zeigt Hauptzeichen mit variablem Textinhalt, nämlich ein Verbot für Fahrzeuge (von links beginnend) über 5,5 Tonnen tatsächlicher Masse, über 2 Metern tatsächlicher Breite (inklusive Außenspiegel) bzw. über 8 Tonnen tatsächlicher Achslast.
Fig. lb zeigt Zusatzzeichen mit variablem Textinhalt, die die Gültigkeit des zugeordneten Hauptzeichens (in Fig. 1 nicht dargestellt) einschränken, nämlich auf eine Distanz ab dem Hauptzeichen von 600 Metern, einen Zeitraum von 8-11 Uhr sowie von 16-18 Uhr bzw. für Fahrzeuge ab einer tatsächlichen Masse von 7,5 Tonnen. Bei den Verkehrszeichen aus Fig. 1 sind also insbesondere die Zahlenwerte „variable Textinhalte". Eine vollständige Erkennung derartiger Verkehrszeichen, insbesondere mittels einer Mustererkennung, gestaltet sich schwierig. Eine Texterkennung (z.B. OCR) erfordert Bildaufnahmen dieser Verkehrszeichen, die eine ausreichende Auflösung und Schärfe aufweisen. Mit einer Fahrzeugkamera aus einem fahrenden Auto aufgenommene Bilder weisen jedoch eine Unschärfe auf, die aus der Bewegung des Fahrzeugs und damit der Kamera gegenüber dem Verkehrszeichen resultiert. Im Englischen wird diese Bewegungsunschärfe als „motion blur" bezeichnet. Je kürzer die Belichtungszeit bei der Aufnahme eines Kamerabilds ist, desto geringer ist die Bewegungsunschärfe . Bei Dunkelheit ist jedoch eine Mindestbelichtungszeit erforderlich, damit aus den aufgenommenen Bilddaten überhaupt etwas zu erkennen ist.
Gerade die in Fig. 1 exemplarisch gezeigten Verkehrszeichen (Hz, Zz) sind aufgrund der Bewegungsunschärfe der Bildaufnahmen von einem kamerabasierten Fahrerassistenzsystem nicht immer vollständig zu erkennen. Um dem zu begegnen, wird in einem erfindungsgemäßen Ausführungsbeispiel in einem von der Kamera aufgenommenen Bild der Fahrzeugumgebung nach vorhandenen Verkehrszeichen (Hz, Zz) gesucht. Sofern Verkehrszeichen (Hz, Zz) in einem Bildbereich ermittelt werden, wird die Bewegungsunschärfe in diesem Bildbereich ermittelt (berechnet oder zumindest geschätzt). Diese Berechnung bzw. Schätzung ist Gegenstand aktueller Forschung, insbesondere bei Handy-/Photokameras , die in der Hand gehalten werden und beim Auslösen häufig verwackelte Bilder liefern. Die Bewegungsunschärfe wird typischerweise als „blur kernel" (Bewegungsunschärfekern) oder als „point spread function" (Punktbildverwaschungsfunktion) bestimmt. Erst mit deren Hilfe kann das unscharfe Bild zielgerichtet entzerrt werden (Dekonvolution) , was zu einem geschärften Bild führt. Ein möglicher Weg schätzt den Kern aus Kanten im unscharfen Bild: "Blur kernel estimation using the Radon transform" T. S. Cho, S. Paris, W. T. Freeman, B. Horn, 2011 IEEE Conference on Computer Vision and Pattern Recognition (CVPR) . Die Verkehrszeichenerkennung bietet hier zwei Gegebenheiten, die diesen Ansatz vorteilhaft erscheinen lassen: Verkehrszeichen (Hz, Zz) weisen klare Kanten auf und (bis auf veränderliche Inhalte (V) ) sind scharfe Abbildungen der statischen Verkehrszeicheninhalte (S) bekannt, z.B. das generelle Verbotszeichen, welches als Template für alle speziellen Verbotszeichen angesehen werden kann. Beides ermöglicht eine effiziente Anwendung z.B. der von Cho et al . Vorgeschlagenen Lösung zur Schätzung der Bewegungsunschärfe und der darauf aufbauenden Dekonvolution .
Anschließend wird also der Einfluss der ermittelten Bewegungsunschärfe auf diesen Bildbereich herausgerechnet, was zu einem geschärften Bildbereich führt. Die vollständige Erkennung des Verkehrszeichens (Hz, Zz), insbesondere mittels einer Texterkennung zum Lesen des variablen Textinhalts, erfolgt dann unter Berücksichtigung des derart geschärften Bildbereichs . Anhand der Fig. 2 bis 4 werden bevorzugte Ausführungsbeispiele der Erfindung näher erläutert.
Fig. 2 zeigt das erste Verkehrszeichen aus Fig. la: ein Verbot für Fahrzeuge mit einer tatsächlichen Masse von über 5 , 5 Tonnen .
Dieses Verkehrszeichen kann in einen statischen Bestandteil (S), nämlich seine Form und Umrandung, also im Wesentlichen den roten Ring, der für Verbotsschilder kennzeichnend ist, und einen variablen Bestandteil (V), hier der Text „5,5t" aufgeteilt werden. Im Rahmen der kamerabasierten Verkehrszeichenerkennung ist es häufig möglich, aus den aufgenommenen Bilddaten mit Bewegungsunschärfe zu erkennen, dass es sich bei diesem Verkehrszeichen (Hz) um ein Verbotsschild handelt. Was bzw. für wen dieses Verbotsschild verbietet, kann dagegen häufig aus den aufgenommenen Bilddaten mit Bewegungsunschärfe nicht unmittelbar erkannt werden, da diese zu verrauscht sind als dass eine Texterkennung erfolgreich wäre. Daher wird die Bewegungsunschärfe für den Bildbereich, in dem das Verkehrszeichen (Hz) enthalten ist, ermittelt bzw. geschätzt. Dies ist möglich, da die Kreisform und die rote Umrandung des Verbotszeichens sehr gut detektierbar sind, und vor allem zum Zeitpunkt der Bewegungsunschärfeschätzung schon erkannt werden können, womit deren Aussehen ohne Bewegungsunschärfe bekannt ist. Diese Bewegungsunschärfeschätzung wird dann verwendet, um den Bildbereich innerhalb der kreisförmigen roten Umrandung (V) zu schärfen, indem hierfür die Bewegungsunschärfe herausgerechnet wird. Anschließend ist eine Erkennung bzw. Texterkennung dieses inneren Bildbereichs (V) möglich, die ergibt, dass dort die Zeichen „5,5t" enthalten sind. Dadurch wird der Regelungsgehalt dieses Verkehrszeichen vollständig erfasst, nämlich ein Verbot für Fahrzeuge mit einer tatsächlichen Masse von über 5,5 Tonnen. Dies kann nun dem Fahrer eines Fahrzeugs mitgeteilt werden (z.B. Anzeige eines entsprechenden Symbols im Kombiinstrument) oder mit fahrzeugspezifischen Daten wie der aktuellen oder maximalen tatsächlichen Masse des Fahrzeugs abgeglichen und bei Nichtrelevanz (z.B. für einen Pkw) verworfen werden oder auch von der Verkehrszeichenerkennung an eine Fahrzeugnavigationseinrichtung oder eine autonome Fahrzeugsteuerungseinrichtung ausgegeben werden.
Fig. 3 zeigt ein Hauptzeichen (Hz), welches die zulässige Höchstgeschwindigkeit auf 50 km/h einschränkt mit einem Zusatzzeichen (Zz) mit dem französischem Text „par temps de pluie", was bedeutet, dass die Geschwindigkeitsregelung des zugeordneten Hauptverkehrszeichens nur bei Regen bzw. bei Nässe gilt. Strenggenommen ist dieser Text zwar in Frankreich nicht variabel, aber für eine Verkehrszeichenerkennung, die in möglichst vielen verschiedenen Länder bzw. in mehreren Sprachen den Inhalt von Zusatzzeichen erkennen und interpretieren kann, wäre es wünschenswert, dass derartige Texte ohne vorherige Kenntnis möglicher Textinhalte als Einzelbuchstaben gelesen werden können. Deshalb ist dies im Rahmen der Erfindung der variable Textbestandteil (V) , den es zu erkennen gilt. Bei Erkennen dieses variablen Textbestandteils ist es immerhin möglich, dem Fahrer diesen Text als Zusatzinfo zur Geschwindigkeitsbeschränkung im Kombiinstrument anzuzeigen, oder in Fahrzeugdatenbanken oder in der Cloud nach dem Sinn oder einer Übersetzung der erkannten Wörter zu suchen.
Gemäß einer Ausführungsform des Verfahrens ist der Bildbereich derart ausgebildet, dass er das Hauptverkehrszeichen (Hz) und das hier einzelne zugeordnete Zusatzzeichen (Zz) umfasst. Dann kann die Bewegungsunschärfe für diesen gesamten Bildbereich anhand der Bewegungsunschärfe für das Hauptzeichen (Hz) ermittelt werden. Das gesamte Hauptzeichen kann hierzu als statischer Inhalt (S) angenommen werden, da die möglichen Werte für
Geschwindigkeitsbegrenzungen überschaubar sind. Analog zum Vorgehen bei Fig. 2 kann nun der variable Inhalt (V), also hier das Zusatzzeichen (Zz) aus dem unter Berücksichtigung der ermittelten Bewegungsunschärfe geschärften Bildbereich erkannt bzw. gelesen werden.
Fig. 4 zeigt ein Hauptverkehrszeichen (Hz), nämlich das Gefahrzeichen „Wildwechsel" mit einem zugeordneten Zusatzzeichen (Zz), welches die Geltungsdauer des GefahrZeichens „auf 3 km" eingrenzt.
Gemäß einer vorteilhaften Ausführungsform werden das Hauptzeichen (Hz) und das Zusatzzeichen (Zz) als zwei separate Verkehrszeichen erkannt und entsprechend zwei separate Bildbereiche gebildet. Anschließend wird überprüft, ob die beiden Verkehrszeichen (Hz, Zz) einander zugeordnet sind. Anhand der vorliegenden Anordnung, bei der sich das Hauptzeichen direkt oberhalb des Zusatzzeichens befindet, wird deren Zuordnung erkannt. Die Bewegungsunschärfe wird nun nur für den ersten Bildbereich ermittelt, in dem sich das Hauptzeichen (Hz) befindet. Dieses kann ohne Texterkennung vollständig erkannt werden: Möglicherweise bereits aus dem aufgenommenen (unscharfen) Bild, nehmen wir jedoch an, dass die Erkennung erst nach der Schätzung der Bewegungsunschärfe und anschließender Dekonvolution gelingt. In jedem Fall gestaltet sich die Berechnung/Schätzung der
Bewegungsunschärfe für den Bildbereich des Hauptzeichens (Hz) erheblich einfacher und genauer. Das Hauptzeichen ist größer und durch seine kräftige rote Umrandung, hier dreieckförmig, sehr gut detekt ierbar . Da das Hauptzeichen (Hz) und das Zusatzzeichen (Zz) direkt übereinander oder nebeneinander aufgestellt sind und im gleichen Bild erfasst werden, sind die Parameter der Bewegungsunschärfe für beide Zeichen nahezu identisch und können somit vom Hauptzeichen (Hz) auf das Zusatzzeichen (Zz) übertragen werden. Die Dekonvolution des Bildbereichs mit dem Zusatzzeichen (Zz) ist somit direkt durchführbar und anschließend kann der Inhalt des Zusatzzeichens (Zz) im geschärften Bildausschnitt erkannt bzw. gelesen werden.
Sofern das Zusatzzeichen (Zz) trotzdem noch nicht vollständig gelesen werden kann, bietet sich in einer Weiterbildung des Verfahrens an, einen synthetischen hochscharfen Bildbereich zu erstellen aus einer Mehrzahl von aufeinander folgenden mit der Kamera aufgenommenen Bildern wie beschrieben extrahierten geschärften Bildbereichen, in denen sich jeweils das Zusatzzeichen (Zz) befindet. Dieser synthetische hochscharfe Bildbereich ermöglicht dann die vollständige Erkennung des Zusatzzeichens (Zz) und damit des Regelungsgehalts der Kombination aus Haupt- (Hz) und Zusatzzeichen (Zz.)

Claims

Patentansprüche
Verfahren zur Erkennung eines Verkehrszeichens (Hz, Zz) mittels einer Kamera aus einem fahrenden Fahrzeug mit den Schritten
- Aufnahme mindestens eines Bildes einer Fahrzeugumgebung mit der Kamera,
- Ermittlung des Vorhandenseins mindestens eines Verkehrszeichens (Hz, Zz) in dem mindestens einen aufgenommenen Bild der Fahrzeugumgebung,
- Ermitteln einer Bewegungsunschärfe in dem Bildbereich, in dem sich das vorhandene Verkehrszeichen (Hz, Zz) befindet,
- Herausrechnen der Bewegungsunschärfe in diesem Bildbereich, was zu einem geschärften Bildbereich führt, und
- Erkennung des Verkehrszeichens (Hz, Zz) unter
Berücksichtigung des geschärften Bildbereichs.
2. Verfahren nach Anspruch 1, wobei die Erkennung des Verkehrszeichens (Hz, Zz) unter Berücksichtigung des geschärften Bildbereichs eine Texterkennung im geschärften Bildbereich umfasst.
3. Verfahren nach Anspruch 1 oder 2, wobei zur Ermittlung der Bewegungsunschärfe Daten, die die Eigenbewegung des
Fahrzeugs charakterisieren, ausgewertet werden.
4. Verfahren nach einem der vorhergehenden Ansprüche, wobei zur Ermittlung der Bewegungsunschärfe im Bildbereich, in dem sich das vorhandene Verkehrszeichen (Hz, Zz) befindet, Kanten ermittelt und ausgewertet werden.
5. Verfahren nach einem der vorhergehenden Ansprüche, wobei ein statischer Inhalt (S) eines Verkehrszeichens (Hz, Zz) zur teilweisen Erkennung des Verkehrszeichens aus dem aufgenommenen Bild genutzt und ein dem teilweise erkannten Verkehrszeichen entsprechendes vorgegebenes Template- Verkehrszeichen bei der Ermittlung der Bewegungsunschärfe im Bildbereich berücksichtigt, und unter Berücksichtigung des geschärften Bildbereichs der veränderliche Inhalt (V) des Verkehrszeichens (Hz, Zz) erkannt wird.
6. Verfahren nach Anspruch 5, wobei der statische Inhalt (S) Form und Umrandung eines Hauptverkehrszeichens (Hz) umfasst .
7. Verfahren nach Anspruch 5, wobei der Bildbereich derart gebildet wird, dass mindestens ein Hauptverkehrszeichen (Hz) und sämtliche diesem Hauptverkehrszeichen zugeordnete Zusatzzeichen (Zz) enthält, wobei als statischer Inhalt mindestens ein gesamtes Hauptverkehrszeichen (Hz) und als veränderlicher Inhalt der Inhalt des oder der
Zusatzzeichen (s) (Zz) erkannt wird.
8. Verfahren nach einem der Ansprüche 1 bis 6, wobei für
jedes einzelne Verkehrszeichen (Hz oder Zz) im Bild ein separater Bildbereich gebildet wird, wobei anschließend überprüft wird, ob mindestens zwei Verkehrszeichen (Hz, Zz) einander zugeordnet sind, und bei erkannter Zuordnung die Bewegungsunschärfe nur für einen ersten Bildbereich ermittelt und dann für die weiteren diesem zugeordnete Bildbereiche übernommen wird.
9. Verfahren nach einem der vorhergehenden Ansprüche, wobei falls die Erkennung des Verkehrszeichens (Hz, Zz) unter Berücksichtigung des geschärften Bildbereichs nicht erfolgreich oder nicht sicher ist, ein synthetischer hochscharfer Bildbereich erstellt wird aus einer Mehrzahl von aufeinander folgenden mit der Kamera aufgenommenen Bildern extrahierten geschärften Bildbereichen, in denen sich jeweils dasselbe Verkehrszeichen (Hz, Zz) befindet, wobei das Verkehrszeichen (Hz, Zz) unter Berücksichtigung des synthetischen hochscharfen Bildbereichs erkannt wird.
10. Vorrichtung zur Erkennung von Verkehrszeichen umfassend eine Kamera zur Aufnahme mindestens eines Bildes einer Fahrzeugumgebung aus einem fahrenden Fahrzeug und eine Bildauswertungseinheit, wobei die Bildauswertungseinheit derart ausgebildet ist, dass sie das Vorhandensein eines oder mehrerer Verkehrszeichen (Hz, Zz) aus den
aufgenommenen Bilddaten erkennt, eine Bewegungsunschärfe in dem Bildbereich, in dem sich das vorhandene
Verkehrszeichen (Hz, Zz) befindet ermittelt, die
Bewegungsunschärfe in diesem Bildbereich herausrechnet, was zu einem geschärften Bildbereich führt, das
Verkehrszeichen (Hz, Zz) unter Berücksichtigung des geschärften Bildbereichs erkennt und ein entsprechendes Ausgabesignal erzeugen kann.
PCT/DE2014/200444 2013-10-01 2014-09-04 Verfahren und vorrichtung zur erkennung von verkehrszeichen WO2015048954A1 (de)

Priority Applications (4)

Application Number Priority Date Filing Date Title
EP14777257.8A EP3053097A1 (de) 2013-10-01 2014-09-04 Verfahren und vorrichtung zur erkennung von verkehrszeichen
US14/902,246 US9697430B2 (en) 2013-10-01 2014-09-04 Method and apparatus for identifying road signs
JP2016546142A JP6445024B2 (ja) 2013-10-01 2014-09-04 交通標識認識方法と装置
DE112014002543.7T DE112014002543A5 (de) 2013-10-01 2014-09-04 Verfahren und Vorrichtung zur Erkennung von Verkehrszeichen

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102013219909.0 2013-10-01
DE102013219909.0A DE102013219909A1 (de) 2013-10-01 2013-10-01 Verfahren und Vorrichtung zur Erkennung von Verkehrszeichen

Publications (1)

Publication Number Publication Date
WO2015048954A1 true WO2015048954A1 (de) 2015-04-09

Family

ID=51627910

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/DE2014/200444 WO2015048954A1 (de) 2013-10-01 2014-09-04 Verfahren und vorrichtung zur erkennung von verkehrszeichen

Country Status (5)

Country Link
US (1) US9697430B2 (de)
EP (1) EP3053097A1 (de)
JP (1) JP6445024B2 (de)
DE (2) DE102013219909A1 (de)
WO (1) WO2015048954A1 (de)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9436879B2 (en) 2011-08-04 2016-09-06 Conti Temic Microelectronic Gmbh Method for recognizing traffic signs
US10325339B2 (en) 2016-04-26 2019-06-18 Qualcomm Incorporated Method and device for capturing image of traffic sign

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170098213A (ko) * 2014-10-14 2017-08-29 도요타 모터 유럽 교통 표지 지원을 위한 시스템 및 방법
DE102014221803A1 (de) * 2014-10-27 2016-04-28 Robert Bosch Gmbh Verfahren und Vorrichtung zum Bestimmen einer momentan vorliegenden Fahrsituation
DE102015217621A1 (de) 2015-09-15 2017-03-16 Robert Bosch Gmbh Verfahren und Vorrichtung zum Betreiben wenigstens eines Fahrzeugs
JP6540482B2 (ja) * 2015-12-04 2019-07-10 株式会社デンソー 情報処理システム、情報処理装置及び出力制御方法
JP6255002B2 (ja) * 2015-12-22 2017-12-27 本田技研工業株式会社 車両用標識表示装置及び方法
DE102016003424B4 (de) * 2016-03-21 2023-09-28 Elektrobit Automotive Gmbh Verfahren und Vorrichtung zum Erkennen von Verkehrszeichen
US10845199B2 (en) * 2016-06-10 2020-11-24 Apple Inc. In-venue transit navigation
DE102016118538A1 (de) * 2016-09-29 2018-03-29 Valeo Schalter Und Sensoren Gmbh Verfahren zum Klassifizieren eines Verkehrszeichens in einem Umgebungsbereich eines Kraftfahrzeugs, Rechenvorrichtung, Fahrerassistenzsystem sowie Kraftfahrzeug
US10607094B2 (en) * 2017-02-06 2020-03-31 Magna Electronics Inc. Vehicle vision system with traffic sign recognition
DE102017208854A1 (de) 2017-05-24 2018-11-29 Volkswagen Aktiengesellschaft Verfahren, Vorrichtungen und computerlesbares Speichermedium mit Instruktionen zum Ermitteln von geltenden Verkehrsregeln für ein Kraftfahrzeug
DE102017007055A1 (de) * 2017-07-26 2019-01-31 Trw Automotive Gmbh System und Verfahren zur Unterstützung eines Fahrers eines Kraftfahrzeuges bei der Erkennung von Verkehrszeichen
US10699141B2 (en) 2018-06-26 2020-06-30 Waymo Llc Phrase recognition model for autonomous vehicles
US10928828B2 (en) * 2018-12-14 2021-02-23 Waymo Llc Detecting unfamiliar signs
TWI745752B (zh) 2019-09-23 2021-11-11 神達數位股份有限公司 行車輔助方法及系統與電腦程式產品
US11183055B2 (en) * 2020-03-12 2021-11-23 Here Global B.V. Methods and systems for classifying a speed sign
JP2022155283A (ja) * 2021-03-30 2022-10-13 パナソニックＩｐマネジメント株式会社 車両用表示制御装置及び車両用表示制御方法
US11861915B2 (en) 2021-09-03 2024-01-02 Waymo Llc Pipeline architecture for road sign detection and evaluation
WO2024043485A1 (ko) * 2022-08-26 2024-02-29 삼성전자주식회사 텍스트를 포함하는 이미지를 처리하기 위한 전자 장치 및 방법

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19852631A1 (de) 1998-11-14 2000-05-25 Daimler Chrysler Ag Vorrichtung und Verfahren zur Verkehrszeichenerkennung
EP2103984A2 (de) * 2008-03-17 2009-09-23 Hella KGaA Hueck & Co. Verfahren und Vorrichtung zum Verarbeiten von Bilddaten
WO2009135460A1 (de) 2008-05-03 2009-11-12 Adc Automotive Distance Control Systems Gmbh Verfahren zur belichtungssteuerung für eine kamera in einem kraftfahrzeug
WO2013017125A1 (de) 2011-08-04 2013-02-07 Conti Temic Microelectronic Gmbh Verfahren zur erkennung von verkehrszeichen

Family Cites Families (71)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5930179A (ja) 1982-08-10 1984-02-17 Agency Of Ind Science & Technol パタ−ンの線分近似方式
EP0149457B1 (de) 1984-01-13 1993-03-31 Kabushiki Kaisha Komatsu Seisakusho Identifizierungsverfahren von Konturlinien
JPH0610838B2 (ja) * 1985-11-15 1994-02-09 日本電装株式会社 走行する車両からの標識認識装置
US4901362A (en) 1988-08-08 1990-02-13 Raytheon Company Method of recognizing patterns
US5054094A (en) 1990-05-07 1991-10-01 Eastman Kodak Company Rotationally impervious feature extraction for optical character recognition
US5740274A (en) 1991-09-12 1998-04-14 Fuji Photo Film Co., Ltd. Method for recognizing object images and learning method for neural networks
US5594806A (en) 1994-06-20 1997-01-14 Personnel Identification & Entry Access Control, Inc. Knuckle profile indentity verification system
US6408109B1 (en) 1996-10-07 2002-06-18 Cognex Corporation Apparatus and method for detecting and sub-pixel location of edges in a digital image
DE19842176A1 (de) * 1998-09-15 2000-03-16 Bosch Gmbh Robert Verfahren und Vorrichtung zur Verkehrszeichenerkennung und Navigation
DE19938256B4 (de) 1999-08-12 2010-07-15 Volkswagen Ag Verfahren und Einrichtung zur elektronischen Erkennung von Verkehrszeichen
DE19948734A1 (de) 1999-10-09 2001-04-12 Volkswagen Ag Verfahren und Einrichtung zum navigationsgestützten Befahren von Straßenstrecken
US7034848B2 (en) 2001-01-05 2006-04-25 Hewlett-Packard Development Company, L.P. System and method for automatically cropping graphical images
US6937747B2 (en) 2001-09-24 2005-08-30 Hewlett Packard Development Company, L.P. System and method for capturing non-audible information for processing
US6888892B2 (en) 2001-12-10 2005-05-03 University Of Washington Method for padding macroblocks
US6842177B2 (en) 2001-12-14 2005-01-11 University Of Washington Macroblock padding
US20030202683A1 (en) 2002-04-30 2003-10-30 Yue Ma Vehicle navigation system that automatically translates roadside signs and objects
DE10311240B4 (de) 2003-03-14 2017-03-02 Robert Bosch Gmbh Verfahren und Einrichtung für die Spurführung eines Fahrzeugs
DE10334620B4 (de) 2003-07-30 2023-07-06 Robert Bosch Gmbh Generierung von Verkehrshinweisen durch die Interpretation von Verkehrszeichenszenarien und Navigationsinformation in einem Fahrzeug
DE60318430T2 (de) 2003-08-14 2009-01-02 Harman Becker Automotive Systems Gmbh Computergestütztes System und Verfahren zur Informationsausgabe an einen Fahrer eines Fahrzeuges
DE10338455A1 (de) 2003-08-21 2005-04-14 Robert Bosch Gmbh Fahrerinformationsvorrichtung
DE10343941A1 (de) 2003-09-23 2005-05-12 Bosch Gmbh Robert Verfahren zur Ausgabe von Verkehrsregeln und Fahrerinformationsvorrichtung
JP3922245B2 (ja) 2003-11-20 2007-05-30 日産自動車株式会社 車両周辺監視装置および方法
DE102004013440A1 (de) 2004-03-18 2005-10-06 Siemens Ag Verfahren und Vorrichtung zur Präzisierung der Fahranweisungen eines Navigationssystems
US7526103B2 (en) 2004-04-15 2009-04-28 Donnelly Corporation Imaging system for vehicle
JP4389708B2 (ja) 2004-07-21 2009-12-24 株式会社デンソー 車両用表示装置およびその表示方法
US7466841B2 (en) * 2004-08-16 2008-12-16 Siemens Corporate Research, Inc. Method for traffic sign detection
US20060098877A1 (en) 2004-11-09 2006-05-11 Nick Barnes Detecting shapes in image data
US7346222B2 (en) * 2005-02-07 2008-03-18 Motorola, Inc. Object-of-interest image de-blurring
DE102005017541A1 (de) 2005-04-16 2006-10-19 Adc Automotive Distance Control Systems Gmbh Verfahren zur Erkennung von kreisförmigen Objekten
JP4645516B2 (ja) 2005-08-24 2011-03-09 株式会社デンソー ナビゲーション装置及びプログラム
US20070081739A1 (en) 2005-10-11 2007-04-12 International Business Machines Corporation Modifying text or images when defect pixels are found on a display
DE102005052175A1 (de) 2005-11-02 2007-05-24 Robert Bosch Gmbh Verfahren und System zur Ausgabe von Informationen zu spezifischen Bestimmungen und/oder Beschränkungen für Fahrzeuge
DE102005062154B4 (de) 2005-12-22 2007-10-31 Daimlerchrysler Ag Erzeugung großer realistischer Trainingsproben für Klassifikatoren aus wenigen Beispielen
JP4694397B2 (ja) 2006-03-28 2011-06-08 株式会社トヨタマップマスター 案内システム
DE102006023544A1 (de) 2006-05-19 2007-11-22 GM Global Technology Operations, Inc., Detroit Verfahren und Vorrichtung zum Betrieb eines Kraftfahrzeugs mit einer Unterstützungsfunktion
US7831098B2 (en) 2006-11-07 2010-11-09 Recognition Robotics System and method for visual searching of objects using lines
DE102006053289A1 (de) 2006-11-13 2008-05-15 Robert Bosch Gmbh Verfahren und Vorrichtung zur Bestimmung einer Durchfahrmöglichkeit in einem Fahrzeug
EP1930863B1 (de) 2006-12-06 2011-08-03 Mobileye Technologies Limited Detektion und Erkennung von Verkehrszeichen
DE102006059663B4 (de) 2006-12-18 2008-07-24 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung, Verfahren und Computerprogramm zum Identifizieren eines Verkehrszeichens in einem Bild
JP2008176357A (ja) 2007-01-16 2008-07-31 Fujitsu Ten Ltd 異常診断システム及び診断情報管理装置
DE102007002562A1 (de) 2007-01-17 2008-07-24 Audi Ag Verfahren und Vorrichtung zur dynamischen Klassifikation von Objekten und/oder Verkehrssituationen
JP2008203992A (ja) 2007-02-16 2008-09-04 Omron Corp 検出装置および方法、並びに、プログラム
DE102007010013A1 (de) 2007-03-01 2008-09-04 Siemens Ag Fahrerassistenzsystem zur Einhaltung von örtlich unterschiedlichen Verkehrsregelungen
DE102007021576A1 (de) 2007-05-08 2008-11-13 Hella Kgaa Hueck & Co. Verfahren und Vorrichtung zum Bestimmen der Position eines Verkehrszeichens
JP2010535367A (ja) 2007-05-25 2010-11-18 コンチネンタル・テーヴエス・アクチエンゲゼルシヤフト・ウント・コンパニー・オツフエネハンデルスゲゼルシヤフト 交通にとって重要な情報を認識するための方法及び装置
DE602007012687D1 (de) 2007-08-17 2011-04-07 Magneti Marelli Spa Verfahren und System zur Erkennung von Verkehrszeichen mit Zusatztafeln
US8233670B2 (en) 2007-09-13 2012-07-31 Cognex Corporation System and method for traffic sign recognition
JP5194679B2 (ja) 2007-09-26 2013-05-08 日産自動車株式会社 車両用周辺監視装置および映像表示方法
EP2048597A1 (de) 2007-10-10 2009-04-15 Delphi Technologies, Inc. Verfahren zur Objekterfassung
EP2048599B1 (de) 2007-10-11 2009-12-16 MVTec Software GmbH System und Verfahren zur 3D-Objekterkennung
JP4985362B2 (ja) 2007-11-30 2012-07-25 アイシン・エィ・ダブリュ株式会社 ナビゲーション装置、ナビゲーション方法およびナビゲーションプログラム
US8370755B2 (en) 2007-12-27 2013-02-05 Core Wireless Licensing S.A.R.L. User interface controlled by environmental cues
DE102008010968A1 (de) 2008-02-25 2009-09-17 Robert Bosch Gmbh Anzeige eines relevanten Verkehrszeichens oder einer relevanten Verkehrseinrichtung
DE102008001677A1 (de) 2008-05-09 2009-11-12 Robert Bosch Gmbh Assistenzsystem zur Fahrerunterstützung in Fahrzeugen
DE102008057675A1 (de) 2008-11-17 2009-07-02 Daimler Ag Verfahren zur Verkehrszeichenerkennung
CN101482920B (zh) 2008-12-30 2010-12-22 广东国笔科技股份有限公司 一种手写字符识别方法及系统
JP5361541B2 (ja) 2009-06-02 2013-12-04 三菱電機株式会社 標識認識装置
US8374390B2 (en) 2009-06-24 2013-02-12 Navteq B.V. Generating a graphic model of a geographic object and systems thereof
EP2293247B1 (de) 2009-07-29 2012-09-05 Harman Becker Automotive Systems GmbH Randerkennung mit einstellbarer Schwelle
DE102009036196A1 (de) 2009-08-05 2010-05-06 Daimler Ag Verfahren und Vorrichtung zur Verkehrszeichenerkennung für ein Fahrzeug
DE102009039450A1 (de) 2009-08-31 2010-05-12 Daimler Ag Verfahren und Vorrichtung zur Fahrspurerkennung für ein Fahrzeug
DE102009048066A1 (de) 2009-10-01 2011-04-07 Conti Temic Microelectronic Gmbh Verfahren zur Verkehrszeichenerkennung
US8340420B2 (en) 2009-10-05 2012-12-25 National Taiwan University Method for recognizing objects in images
DE102009057553A1 (de) 2009-12-09 2011-06-16 Conti Temic Microelectronic Gmbh Verfahren zur Unterstützung des Fahrers eines straßengebundenen Fahrzeugs bei der Fahrzeugführung
JP5479082B2 (ja) 2009-12-25 2014-04-23 キヤノン株式会社 情報処理装置及びその制御方法並びにプログラム
US8509526B2 (en) 2010-04-13 2013-08-13 International Business Machines Corporation Detection of objects in digital images
DE102010020330A1 (de) 2010-05-14 2011-11-17 Conti Temic Microelectronic Gmbh Verfahren zur Erkennung von Verkehrszeichen
US9177212B2 (en) 2010-06-15 2015-11-03 Conti Temic Microelectronic Gmbh Method for combining a road sign recognition system and a lane detection system of a motor vehicle
US8509982B2 (en) 2010-10-05 2013-08-13 Google Inc. Zone driving
US8731244B2 (en) 2011-07-28 2014-05-20 Xerox Corporation Systems and methods for improving image recognition
US9160993B1 (en) 2013-07-18 2015-10-13 Amazon Technologies, Inc. Using projection for visual recognition

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19852631A1 (de) 1998-11-14 2000-05-25 Daimler Chrysler Ag Vorrichtung und Verfahren zur Verkehrszeichenerkennung
EP2103984A2 (de) * 2008-03-17 2009-09-23 Hella KGaA Hueck & Co. Verfahren und Vorrichtung zum Verarbeiten von Bilddaten
WO2009135460A1 (de) 2008-05-03 2009-11-12 Adc Automotive Distance Control Systems Gmbh Verfahren zur belichtungssteuerung für eine kamera in einem kraftfahrzeug
WO2013017125A1 (de) 2011-08-04 2013-02-07 Conti Temic Microelectronic Gmbh Verfahren zur erkennung von verkehrszeichen
DE102011109387A1 (de) * 2011-08-04 2013-02-07 Conti Temic Microelectronic Gmbh Verfahren zur Erkennung von Verkehrszeichen

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
CHAUDHURI, BIDYUT B.: "Digital Document Processing, Major Directions and Recent Advances", 2007, SPRINGER VERLAG, London, GB, ISBN: 978-1-84628-501-1, article MANCAS-THILLOU, CÉLINE; MIRMEHDI, MAJID: "Chapter 14: "An Introduction to Super-Resolution Text"", pages: 305 - 327, XP002732930, 348410 *
JOHANNES BRAUERS, CLAUDE SEILER, TIL ACH: "Direct PSF estimation using a random noise target", PROCEEDINGS OF SPIE, vol. 7537, 17 January 2010 (2010-01-17), pages B-1 - B-10, XP055154644, ISSN: 0277-786X, DOI: 10.1117/12.837591 *
JUNG HAK AN ET AL: "Traffic Sign Detection by Dominant Color Transform and Symbol Recognition by Circular Shift of Distribution on Concentric Circles", PROCEEDINGS OF ITC-CSCC '97, 1 January 1997 (1997-01-01), Okinawa, Japan, pages 287 - 290, XP055154657, Retrieved from the Internet <URL:http://www.dbpia.co.kr/Journal/ArticleDetail/284358> [retrieved on 20141124] *
M. IRANI; S. PELEG: "Improving resolution by image registration", CVGIP: GRAPHICAL MODELS AND IMAGE PROCESSING, vol. 53, no. 3, 1991, pages 231 - 239, XP000200576, DOI: doi:10.1016/1049-9652(91)90045-L
T. S. CHO; S. PARIS; W. T. FREEMAN; B. HORN: "Blur kernel estimation using the Radon transform", IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION (CVPR, 2011
XING YU QI ET AL: "Motion Deblurring for Optical Character Recognition", EIGHTS INTERNATIONAL PROCEEDINGS ON DOCUMENT ANALYSIS AND RECOGNITION, IEEE, 31 August 2005 (2005-08-31), pages 389 - 393, XP010877977, ISBN: 978-0-7695-2420-7, DOI: 10.1109/ICDAR.2005.162 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9436879B2 (en) 2011-08-04 2016-09-06 Conti Temic Microelectronic Gmbh Method for recognizing traffic signs
US10325339B2 (en) 2016-04-26 2019-06-18 Qualcomm Incorporated Method and device for capturing image of traffic sign

Also Published As

Publication number Publication date
US20170017849A1 (en) 2017-01-19
US9697430B2 (en) 2017-07-04
JP6445024B2 (ja) 2018-12-26
JP2016538665A (ja) 2016-12-08
EP3053097A1 (de) 2016-08-10
DE112014002543A5 (de) 2016-03-24
DE102013219909A1 (de) 2015-04-02

Similar Documents

Publication Publication Date Title
EP3053097A1 (de) Verfahren und vorrichtung zur erkennung von verkehrszeichen
EP2740076B1 (de) Verfahren zur erkennung von verkehrszeichen
EP2150939B1 (de) Verfahren und vorrichtung zum bestimmen der position eines verkehrszeichens
DE102018203807A1 (de) Verfahren und Vorrichtung zur Erkennung und Bewertung von Fahrbahnzuständen und witterungsbedingten Umwelteinflüssen
DE102014208617A1 (de) Verfahren und Steuer- und Erfassungseinrichtung zum Plausibilisieren einer Falschfahrt eines Kraftfahrzeugs
DE102012023867A1 (de) Verkehrsampelerkennung
EP3044727B1 (de) Verfahren und vorrichtung zur objekterkennung aus tiefenaufgelösten bilddaten
DE102007034505A1 (de) Verfahren und Vorrichtung zur Verkehrszeichenerkennung
EP2033165B1 (de) Verfahren für die erfassung eines verkehrsraums
DE102016210632A1 (de) Verfahren zum Überprüfen eines Medienverlustes eines Kraftfahrzeuges sowie Kraftfahrzeug und System zum Ausführen eines solchen Verfahrens
DE102014106506A1 (de) Verfahren zum Durchführen einer Diagnose eines Kamerasystems eines Kraftfahrzeugs, Kamerasystem und Kraftfahrzeug
EP2416115A1 (de) Verfahren und Vorrichtung zum Bestimmen eines Abstands eines Fahrzeugs zu einem benachbarten Fahrzeug
DE102014201158A1 (de) Verfahren und Vorrichtung zum Überprüfen eines von einer Objekterkennung erkannten relevanten Objekts
DE112016003429T5 (de) Schilderkennungs- und Anzeigevorrichtung
EP3488607A1 (de) Kameravorrichtung zur aufnahme eines umgebungsbereichs eines eigenen fahrzeugs sowie verfahren zur bereitstellung einer fahrerassistenzfunktion
AT518940B1 (de) Verfahren und Vorrichtung zum Messen eines Abstands zwischen einem ersten Fahrzeug und einem zweiten, dem ersten Fahrzeug unmittelbar vorausfahrenden, Fahrzeug
DE102009014437A1 (de) Objekterkennungssystem und -verfahren
DE102013022076A1 (de) Verfahren zum Bestimmen einer Breite eines Zielfahrzeugs mittels eines Kamerasystems eines Kraftfahrzeugs, Kamerasystem und Kraftfahrzeug
DE102011055441A1 (de) Verfahren und Vorrichtung zur Abstandsermittlung zwischen Fahrzeugen
DE102017211887A1 (de) Verfahren und Vorrichtung zum Lokalisieren und automatisierten Betreiben eines Fahrzeugs
DE102016209242B4 (de) Einheiteneinstellvorrichtung und einheiteneinstellverfahren
DE102015006569A1 (de) Verfahren zur bildbasierten Erkennung des Straßentyps
DE102009036196A1 (de) Verfahren und Vorrichtung zur Verkehrszeichenerkennung für ein Fahrzeug
DE102011100820A1 (de) Verfahren zum Detektieren eines Hindernisses in der Umgebung eines Kraftfahrzeugs, Fahrerassistenzeinrichtung und Kraftfahrzeug
DE102016107530A1 (de) Vorschriftsgeschwindigkeitsanzeigevorrichtung eines Fahrzeugs

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14777257

Country of ref document: EP

Kind code of ref document: A1

REEP Request for entry into the european phase

Ref document number: 2014777257

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2014777257

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 112014002543

Country of ref document: DE

WWE Wipo information: entry into national phase

Ref document number: 14902246

Country of ref document: US

ENP Entry into the national phase

Ref document number: 2016546142

Country of ref document: JP

Kind code of ref document: A

REG Reference to national code

Ref country code: DE

Ref legal event code: R225

Ref document number: 112014002543

Country of ref document: DE