WO2018202261A1 - Verfahren und vorrichtung zur verbesserung von kameraaufnahmen für fahrerassistenzsysteme - Google Patents

Verfahren und vorrichtung zur verbesserung von kameraaufnahmen für fahrerassistenzsysteme Download PDF

Info

Publication number
WO2018202261A1
WO2018202261A1 PCT/DE2018/200044 DE2018200044W WO2018202261A1 WO 2018202261 A1 WO2018202261 A1 WO 2018202261A1 DE 2018200044 W DE2018200044 W DE 2018200044W WO 2018202261 A1 WO2018202261 A1 WO 2018202261A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
scattered light
vehicle
intensity
lower limit
Prior art date
Application number
PCT/DE2018/200044
Other languages
English (en)
French (fr)
Inventor
Lars Ulveland
Original Assignee
Conti Temic Microelectronic Gmbh
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Conti Temic Microelectronic Gmbh filed Critical Conti Temic Microelectronic Gmbh
Priority to US16/479,677 priority Critical patent/US11025834B2/en
Priority to EP18733504.7A priority patent/EP3619913A1/de
Priority to JP2019540448A priority patent/JP7219710B2/ja
Publication of WO2018202261A1 publication Critical patent/WO2018202261A1/de

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation

Definitions

  • the invention relates to a method and a device for removing a lightening generated by scattered light from an image of a vehicle camera.
  • Camera systems for vehicles are known.
  • camera systems are known in which a front camera for detecting a variety of objects in an external environment of the vehicle is used.
  • Typical applications for such camera systems are, for example, the detection of traffic signs,
  • the vehicle camera of a camera system is usually arranged behind a windshield of the vehicle and looks in the direction of travel through it.
  • stray light funnels or stray light diaphragms are typically used, which are intended to hide these disturbances.
  • straylight apertures may tend to scatter possible backlight directly into the vehicle camera.
  • Mechanical countermeasures are limited effective and can be associated with higher production costs. In addition, these mechanical countermeasures can also have aesthetic effects, which can adversely affect a design of the interior of the vehicle. The opening angle of today produced vehicle cameras is typically about 50 °. There is a need, other road users, especially crossing
  • an opening angle of an inserted camera of the camera system is at least 100 °.
  • stray light apertures are larger than the aperture angle of the camera so as not to restrict the field of view of the camera.
  • Opening angle of the camera and the distance between a camera lens and the windshield and the inclination of the windshield define a necessary width of the lens hoods.
  • the required increasing geometric size of the straylight diaphragms can be an all-round view of the
  • the present invention proposes a computational solution for the removal of a lightening produced by scattered light from an image of a vehicle camera, wherein this computational solution can be realized with known hardware, e.g. with local contrast enhancement integrated in the ISP (Image Signal Processor) or tone mapping (dynamic compression to reduce the ISP (Image Signal Processor) or tone mapping (dynamic compression to reduce the ISP (Image Signal Processor) or tone mapping (dynamic compression to reduce the ISP (Image Signal Processor) or tone mapping (dynamic compression to reduce the ISP (Image Signal Processor) or tone mapping (dynamic compression to reduce the ISP (Image Signal Processor) or tone mapping (dynamic compression to reduce the ISP (Image Signal Processor) or tone mapping (dynamic compression to reduce the ISP (Image Signal Processor) or tone mapping (dynamic compression to reduce the ISP (Image Signal Processor) or tone mapping (dynamic compression to reduce the ISP (Image Signal Processor) or tone mapping (dynamic compression to reduce the ISP (Image Signal Processor) or tone mapping (dynamic compression to reduce the ISP (Image Signal Processor) or tone mapping
  • a solution according to the invention enables several parameters to be monitored and made plausible in order to stabilize and secure an associated system.
  • the invention takes advantage of the fact that there are several types of artifacts caused by backlighting in a camera.
  • the present invention counteracts in particular a lightening, the existing through
  • an estimation of stray light can always be influenced by the content of the respective image.
  • the present invention allows parameters that are time-invariant or predicted to be estimated, thereby making it possible to plausibilize an estimate over time, in particular.
  • a method of removing a lightening produced by stray light from an image of a vehicle camera is provided.
  • an image of an external environment of a vehicle is taken by a vehicle camera disposed in or on the vehicle.
  • the viewing direction of the vehicle camera can be chosen arbitrarily.
  • the vehicle camera for example, in the field of
  • the vehicle camera can be arranged, for example, in the region of a rear window of the vehicle and look through it in the backward direction.
  • the vehicle is, for example, a motor vehicle, such as a car, Bus or truck. Within the picture is a progression of the total intensity (including the unwanted
  • the scattered light intensity is caused by scattered light, which enters the detection range of the vehicle camera.
  • the scattered light is caused by light from the sun, which is in the image or near the image, with a significant amount of sunlight is scattered through the lens hood in the vehicle camera.
  • the determination (estimation) of the course of the scattered light intensity can take place, for example, by means of a minfilter, erosion or similar methods, in particular over the entire image, line by line or block by block.
  • An approximate function of a course of the lower limit of the scattered light intensity is estimated.
  • an approximation function is determined which describes the lower limit of the course of the scattered light intensity.
  • the term "lower limit of the scattered light intensity” can be understood to mean, in particular, an intensity profile of the scattered light intensity in the horizontal direction which is not undershot from the determined overall intensity The closer the estimated approximation function is to the approximate one
  • the estimated approximation function is subtracted or subtracted from the determined course of the (total) intensity, wherein the subtracting or subtracting takes place in particular line by line.
  • the determined light intensity can be locally reduced, in particular at a horizontal position in a line of a relevant image, by a value which the estimated approximation function assumes at the relevant point.
  • This image is provided, it may e.g. output, further processed and / or displayed, e.g. on a display inside the vehicle. From the stray-light-reduced or stray-corrected image, image processing can be used, for example. Objects in the vehicle environment can be detected and classified.
  • a Gaussian distribution is chosen as the approximation function of the lower limit of the scattered light intensity.
  • a Gaussian distribution particularly accurately describes the scattered light intensity within the image caused by sunlight.
  • Proximity function of the determined course of the intensity can also be done accordingly over the whole picture, line by line or block by block.
  • the lower limit of the scattered light intensity is interpolated in regions. This is especially advantageous in situations where an estimate in blocks or rows is missing or fails.
  • a representation of the sky or an environment of the sun can particularly disturb an estimate.
  • the estimation of the course of the proximity function of the lower limit of the scattered light intensity can be achieved by several
  • the estimated parameters i.e., the estimate of the
  • Scattered light intensity can also be tracked from image to image.
  • the estimated approximation function of the course of the lower limit of the scattered light intensity within a the first image is tracked in at least one subsequently recorded second image of the external environment of the vehicle. It is exploited that a position of the sun, taking into account the proper motion of the vehicle or the
  • Self-movement of the vehicle camera in particular by means of a filter, e.g. by means of a Kalman filter, a position of the sun which causes the scattered light, in which at least one subsequently recorded second image of the external environment of the vehicle is estimated.
  • a filter e.g. by means of a Kalman filter
  • This is particularly advantageous when the sun disappears and then reappears, which is e.g. in the presence of tree shadows, buildings or underpasses.
  • This additionally solves a problem occurring with known methods: not all parameters have to be re-estimated from image to image, but only the intensity, if only from the previous first image a contribution has to be estimated.
  • a vignetting of the scattered light is taken into account. This makes it possible to make the estimation of the lower limit of the scattered light intensity more robust.
  • an apparatus for removing a lightening produced by stray light from an image of a vehicle camera comprises a vehicle camera and a processor unit, wherein the vehicle camera can be arranged on a vehicle such that the vehicle camera can take at least one image of an external environment of the vehicle, and wherein the
  • Processor unit is adapted to the process steps according to the method according to the first aspect of the invention.
  • Fig. 1 is a side view of a vehicle with a
  • Fig. 2 is a graphical comparison of a determined
  • Fig. 1 shows a vehicle 1, in the embodiment shown, an automobile.
  • the vehicle 1 comprises a device 2 for removing a lightening generated by scattered light from an image of a vehicle camera 3.
  • the device has a vehicle camera 3 and a processor unit 4 in the embodiment shown.
  • the vehicle camera 3 can be arranged in an interior space 5 of the vehicle 1, in particular in an area behind a windshield of the vehicle 1
  • Vehicle camera 3 can be taken through the windshield, an image or a sequence of images from an external environment 6 of the vehicle 1, wherein the image sequence may include a plurality of outdoor shots, and wherein the outdoor shots in time
  • Fig. 2 shows a diagram, wherein a horizontal position is indicated on a horizontal axis, and wherein on a horizontal axis vertical axis is given a linear intensity.
  • the following three graphs are plotted for a row of an image recorded by means of the vehicle camera 3, which images the external environment 6 of the vehicle 1:
  • the intensity is caused by light, which enters the detection range of the vehicle camera 3.
  • the determination of the course of the proximity function 8 of the scattered light intensity can be carried out by means of the processor unit 4, e.g. by means of a minfilter, erosion or similar methods.
  • Scattered light intensity (second graph 8) is based in the illustrated embodiment on a Gaussian curve and represents a line by line intensity curve of the scattered light intensity in the horizontal direction, the estimated
  • Scattered light intensity can be interpolated in certain areas, especially where an estimate is missing or fails.
  • the estimation of the approximation function can be done by several
  • Proximity function 8 are checked whether the position of the maximum of the total intensity 7 and the determined stray-light corrected intensity 9 is constant along a vertical course of the image. If this test gives a positive result, i. that the position of the maximum remains constant along the vertical course of the image, it can be assumed that not too much has been subtracted.
  • the graph 9 in FIG. 2 is relatively constant in the horizontal ranges 0 to 250, 550 to 750, and 800 to 900
  • Stray light within the captured image has the same color.
  • This image can be output, processed and / or displayed, e.g. on a display inside the vehicle.
  • Scattered light intensity 8 can also be tracked from image to image.
  • the estimated approximation function of the lower limit of the scattered light intensity 8 within a first track image in at least one subsequently captured second image of the external environment of the vehicle to be tracked is exploited that a position of the sun, taking into account the proper motion of the vehicle or the
  • Tree shadows, buildings or an underpass may be the case.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

Die Erfindung betrifft ein Verfahren zur Entfernung einer durch Streulicht erzeugten Aufhellung aus einem Bild einer Fahrzeugkamera. Es wird ein Bild einer äußeren Umgebung eines Fahrzeugs mittels einer Fahrzeugkamera aufgenommen, welche in oder an dem Fahrzeug angeordnet ist. Weiterhin wird ein Verlauf (7) einer Gesamtintensität innerhalb des Bilds ermittelt, wobei die Gesamtintensität durch gewünschtes Licht und Streulicht verursacht wird, welches in den Erfassungsbereich der Fahrzeugkamera gelangt. Ferner wird eine Näherungsfunktion (8) eines Verlaufs einer unteren Begrenzung der Streulichtintensität geschätzt, und die geschätzte Näherungsfunktion (8) wird von dem ermittelten Verlauf (7) der Gesamtintensität subtrahiert. Das streulichtkorrigierte Bild wird bereitgestellt.

Description

Verfahren und Vorrichtung zur Verbesserung von Kameraaufnahmen für Fahrerassistenzsysteme
Die Erfindung betrifft ein Verfahren und eine Vorrichtung zur Entfernung einer durch Streulicht erzeugten Aufhellung aus einem Bild einer Fahrzeugkamera.
Kamerasysteme für Fahrzeuge sind bekannt. Insbesondere sind Kamerasysteme bekannt, bei denen eine Frontkamera zur Erkennung verschiedenster Objekte in einem äußeren Umfeld des Fahrzeugs zum Einsatz kommt. Typische Anwendungen für derartige Kamerasysteme sind beispielsweise die Erkennung von Verkehrszeichen,
Spurdetektion und Lichterkennung. Die Fahrzeugkamera eines Kamerasystems ist in der Regel hinter einer Windschutzscheibe des Fahrzeugs angeordnet und blickt in Fahrtrichtung durch diese hindurch. Neben dem äußeren Umfeld des Fahrzeugs werden dabei üblicherweise auch Objekte, welche sich innerhalb des Fahrzeugs befinden, durch eine Reflexion an beiden Brechungskanten (an den Medien Luft-Glas-Luft) der
Windschutzscheibe in von der Kamera aufgenommenen Bildern abgebildet. Diese Reflexbilder der Objekte überlagern sich mit dem eigentlichen Nutzsignal und stören die Detektion des äußeren Umfelds des Fahrzeugs. Zur Lösung dieses Problems werden typischerweise Streulichttrichter bzw. Streulichtblenden genutzt, welche diese Störungen ausblenden sollen. Allerdings können derartige Streulichtblenden dazu neigen, mögliches Gegenlicht direkt in die Fahrzeugkamera zu streuen. Mechanische Gegenmaßnahmen sind dabei begrenzt wirkungsvoll und können mit höheren Produktionskosten verbunden sein. Zusätzlich können diese mechanischen Gegenmaßnahmen auch ästhetische Auswirkungen haben, was sich negativ auf ein Design des Innenraums des Fahrzeugs auswirken kann. Der Öffnungswinkel von heute hergestellten Fahrzeugkameras beträgt typischerweise etwa 50°. Es besteht das Bedürfnis, auch andere Verkehrsteilnehmer, insbesondere querende
Verkehrsteilnehmer wie Fahrzeuge, Fahrräder oder Fußgänger rechtzeitig zu erkennen. Dazu ist es erforderlich, dass ein Öffnungswinkel einer eingesetzten Kamera des Kamerasystems wenigstens 100° beträgt. Der Öffnungswinkel der
Streulichtblenden ist dabei herkömmlicherweise größer als der Öffnungswinkel der Kamera, um das Sichtfeld der Kamera nicht einzuschränken.
Durch die weiter oben erwähnte erforderliche Vergrößerung der Öffnungswinkel, um auch querende Verkehrsteilnehmer rechtzeitig mittels des Kamerasystems zu erkennen, steigt auch die erforderliche Größe von Streulichttrichtern. Sowohl der
Öffnungswinkel der Kamera als auch der Abstand zwischen einem Kameraobjektiv und der Windschutzscheibe sowie die Neigung der Windschutzscheibe definieren dabei eine notwendige Breite der Streulichtblenden. Die erforderliche steigende geometrische Größe der Streulichtblenden kann dabei eine Rundumsicht des
Fahrzeugführers behindern und somit zu einer Verschlechterung einer Sichtbarkeit von Objekten und anderen Verkehrsteilnehmern führen. Ein Ansatz liegt nun darin, teilweise auf die
Streulichtblende zu verzichten. In die Kamera eintretendes Streulicht führt zu unerwünschten Hintergrundsignalen in
Kamerabildern. Eintretendes Sonnenlicht hebt insgesamt das Nutzsignal an und zu erkennende Strukturen verwischen. Dabei sinkt wegen der nichtlinearen Kennlinie der hochdynamischen (HDR) Imager der Kontrast der zu erkennenden Strukturen überproportional ab.
Es sind weiterhin Verfahren bekannt , welche Kontrastverhältnisse aus einem vorherigen Bild schätzen und darauf basierend in einem nachfolgenden Bild eine lokale Kontrastverstärkung vorsehen, um auf diese Weise Streulicht aus dem nachfolgenden Bild zu entfernen .
Es ist die Aufgabe der vorliegenden Erfindung, ein Verfahren und eine Vorrichtung der eingangs genannten Art bereitzustellen, welche insbesondere eine quasi homogene Aufhellung innerhalb eines Bilds auch bei einer nur teilweise ausgebildeten
Streulichtblende mit minimalen Nebenwirkungen ermöglichen. Die Aufgabe wird gelöst durch die Gegenstände der unabhängigen Patentansprüche. Vorteilhafte Ausführungsformen sind Gegenstand der abhängigen Ansprüche, der folgenden Beschreibung sowie der Figuren . Die vorliegende Erfindung schlägt eine rechnerische Lösung zur Entfernung einer durch Streulicht erzeugten Aufhellung aus einem Bild einer Fahrzeugkamera vor, wobei diese rechnerische Lösung mit bekannter Hardware realisiert werden kann, z.B. mit einer im ISP (Image Signal Processor, Bildsignalverarbeitende Einheit) integrierten lokalen Kontrastverstärkung oder eines Tone Mappings (Dynamikkompression zur Verringerung des
Kontrastumfangs eines HDR-Bildes) . Mittels der
erfindungsgemäßen Lösung wird ermöglicht, dass mehrere Parameter überwacht und plausibilisiert werden können, um ein zugehöriges System zu stabilisieren und abzusichern.
Die Erfindung macht sich zu Nutze, dass es mehrere Arten von Artefakten gibt, welche durch Gegenlicht in einer Kamera verursacht werden. Die vorliegende Erfindung wirkt insbesondere einer Aufhellung entgegen, die durch vorhandene
Streulichtblenden verursacht wird. Andere Streulicht-Artefakte, wie etwa sogenannte „Lens Flares", werden hingegen nicht behandelt . Insbesondere wird berücksichtigt, dass in Kameraaufnahmen, in denen eine Sonne im Bild steht oder nahe am Bild steht, eine erhebliche Menge Licht über die Streulichtblende in die Kamera gestreut wird. Die Form des Streulichts wird dabei von einer Komponente dominiert, nämlich von einer additiven, an den Rändern abgedunkelten Gauß-ähnlichen Verteilung, deren Maximum im Bildverlauf konstant ist, und in einem direkten Bezug zu dem Sonnenstand steht. Dieses Verhältnis lässt sich auch dann beobachten, wenn die Sonne rechts oder links am Bildrand steht, obwohl eine erhebliche Randabdunklung die Einschätzung des Maximums erschwert, aber nicht ausschließt.
Es ist zu beachten, dass eine Schätzung von Streulicht stets von einem Inhalt des jeweiligen Bilds beeinflusst werden kann. Die vorliegende Erfindung erlaubt jedoch, dass Parameter geschätzt werden können, die zeitlich invariant sind oder prädiziert werden können, wodurch ermöglicht wird, eine Schätzung über die Zeit zu insbesondere zu plausibilisieren . Gemäß einem ersten Aspekt der Erfindung wird ein Verfahren zur Entfernung einer durch Streulicht erzeugten Aufhellung aus einem Bild einer Fahrzeugkamera bereitgestellt.
Gemäß dem Verfahren wird ein Bild einer äußeren Umgebung eines Fahrzeugs mittels einer Fahrzeugkamera aufgenommen, welche in oder an dem Fahrzeug angeordnet ist. Die Blickrichtung der Fahrzeugkamera kann dabei beliebig gewählt werden. So kann die Fahrzeugkamera beispielsweise im Bereich einer
Windschutzscheibe des Fahrzeugs angeordnet sein und durch diese in Fahrtrichtung hindurchblicken. Dies ist jedoch rein beispielhaft. Ebenso kann die Fahrzeugkamera beispielsweise im Bereich einer Heckscheibe des Fahrzeugs angeordnet sein und durch diese in Rückwärtsrichtung hindurchblicken. Bei dem Fahrzeug handelt es sich beispielsweise um ein Kraftfahrzeug, wie Auto, Bus oder Lastkraftwagen. Innerhalb des Bilds wird ein Verlauf der Gesamtintensität (inklusive der unerwünschten
Streulichtintensität) ermittelt, beispielsweise in horizontaler Richtung. Die Gesamtintensität wird also durch gewünschtes Licht und Streulicht verursacht. Die Streulichtintensität wird dabei durch Streulicht verursacht, welches in den Erfassungsbereich der Fahrzeugkamera gelangt. Insbesondere wird das Streulicht durch Licht der Sonne verursacht, welche im Bild steht oder nahe am Bild steht, wobei eine erhebliche Menge Sonnenlicht über die Streulichtblende in die Fahrzeugkamera gestreut wird.
Das Ermitteln (Schätzen) des Verlaufs der Streulichtintensität kann beispielsweise mittels eines Minfilters, Erosion oder ähnlicher Methoden erfolgen, und zwar insbesondere über das ganze Bild, zeilenweise oder blockweise.
Es wird eine Näherungsfunktion eines Verlaufs der unteren Begrenzung der Streulichtintensität geschätzt. Mit anderen Worten wird eine Näherungsfunktion bestimmt, welche die untere Begrenzung des Verlaufs der Streulichtintensität beschreibt. Unter dem Merkmal „untere Begrenzung der StreulichtIntensität" kann in diesem Zusammenhang insbesondere ein Intensitäts-Verlauf der Streulichtintensität in horizontaler Richtung verstanden werden, welcher nicht von der ermittelten Gesamtintensität unterschritten wird. Insbesondere kann die untere Begrenzung der Streulichtintensität unterhalb und im Wesentlichen parallel zu der ermittelten Gesamtintensität verlaufen. Je näher die geschätzte Näherungsfunktion dabei dem ermittelten
tatsächlichen Verlauf der Streulichtintensität kommt, desto mehr Streulicht kann anschließend, wie im Folgenden beschrieben, korrekt aus dem aufgenommenen Bild entfernt werden.
Ferner wird die geschätzte Näherungsfunktion von dem ermittelten Verlauf der (Gesamt-) Intensität subtrahiert bzw. abgezogen, wobei das Subtrahieren bzw. Abziehen insbesondere zeilenweise erfolgt. Dabei kann die ermittelte Lichtintensität lokal, insbesondere an einer horizontalen Stelle in einer Zeile eines betreffenden Bilds, jeweils um einen Wert reduziert werden, welchen die geschätzte Näherungsfunktion an der betreffenden Stelle annimmt. Durch das Subtrahieren bzw. Abziehen (und insbesondere Wiederholen der vorstehend beschriebenen Vorgänge für mehrere, bevorzugt alle Zeilen des aufgenommenen Bilds) entsteht aus dem aufgenommenen Bild der Bildfolge ein verändertes Bild, aus dem Streulicht entfernt worden ist
(streulichtkorrigiertes Bild) . Dieses Bild wird bereitgestellt, es kann z.B. ausgegeben, weiterverarbeitet und/oder angezeigt werden, z.B. auf einem Display innerhalb des Fahrzeugs. Aus dem streulichtreduzierten bzw. streulichtkorrigierten Bild können mittels Bildverarbeitung z.B. Objekte im Fahrzeugumfeld detektiert und klassifiziert werden.
Gemäß einer Ausführungsform wird als Näherungsfunktion der unteren Begrenzung der Streulichtintensität eine Gaußverteilung gewählt. Eine Gaußverteilung beschreibt die durch Sonnenlicht verursachte Streulichtintensität innerhalb des Bilds besonders genau .
Weiterhin kann vorteilhaft vorgesehen sein, dass das Ermitteln des Verlaufs der Streulichtintensität über das ganze Bild, zeilenweise oder blockweise erfolgt. Das Schätzen der
Näherungsfunktion und das Subtrahieren der geschätzten
Näherungsfunktion von dem ermittelten Verlauf der Intensität kann dabei ebenfalls entsprechend über das ganze Bild, zeilenweise oder blockweise erfolgen.
Gemäß einer weiteren Ausführungsform ist vorgesehen, dass zum Schätzen der Näherungsfunktion der unteren Begrenzung der Streulichtintensität bereichsweise interpoliert wird. Dies ist insbesondere in Situationen vorteilhaft, in denen eine Schätzung in Blöcken oder Zeilen fehlt oder fehlschlägt. Insbesondere kann eine Darstellung des Himmels oder einer Umgebung der Sonne eine Schätzung besonders stark stören.
Die Schätzung des Verlaufs der Näherungsfunktion der unteren Begrenzung der Streulichtintensität kann durch mehrere
Bedingungen unterstützt und plausibilisiert werden, um das Risiko zu reduzieren, zu viel zu subtrahieren bzw. abzuziehen, oder unter einem Einfluss des Bildinhalts Fehler zu begehen. In diesem Sinne ist gemäß einer weiteren Ausführungsform
vorgesehen, dass geprüft wird, ob entlang eines vertikalen Verlaufs des Bilds die Position des Maximums der ermittelten Gesamtintensität konstant ist. Sofern diese Prüfung ein positives Ergebnis liefert, d.h. dass entlang des vertikalen Verlaufs des Bilds die Position des Maximums konstant bleibt, kann davon ausgegangen werden, dass nicht zu viel subtrahiert worden ist. Auf diese Weise können zu starke Schwankungen der Stärke oder der Lichtintensität entlang der Bildhöhe
ausgeschlossen werden.
Alternativ oder zusätzlich kann weiterhin vorgesehen sein, dass geprüft wird, ob das Streulicht innerhalb des aufgenommenen Bilds die gleiche Farbe aufweist. Gemäß dieser Ausführungsform wird ausgenutzt, dass Streulicht überall die gleiche Farbe hat, nämlich die Farbe des Sonnenlichts. Insbesondere ist die Sonne gelblich weiß bis orange.
Die geschätzten Parameter (d.h. die Schätzung der
Näherungsfunktion des Verlaufs der unteren Begrenzung der
Streulichtintensität) können auch von Bild zu Bild getrackt werden. In diesem Sinne ist gemäß einer weiteren Ausführungsform vorgesehen, dass die geschätzte Näherungsfunktion des Verlaufs der unteren Begrenzung der Streulichtintensität innerhalb eines ersten Bilds in wenigstens einem nachfolgend aufgenommenen zweiten Bild der äußeren Umgebung des Fahrzeugs getrackt wird. Dabei wird ausgenutzt, dass sich eine Lage der Sonne unter Beachtung der Eigenbewegung des Fahrzeugs bzw. der
Fahrzeugkamera über die Zeit sehr langsam verändert.
In diesem Zusammenhang kann unter Berücksichtigung der
Eigenbewegung der Fahrzeugkamera, insbesondere mittels eines Filters, z.B. mittels eines Kaimanfilters, eine Position der Sonne, welche das Streulicht verursacht, in dem wenigstens einen nachfolgend aufgenommenen zweiten Bild der äußeren Umgebung des Fahrzeugs geschätzt werden. Dies ist insbesondere dann von Vorteil, wenn die Sonne verschwindet und anschließend wieder auftaucht, was z.B. bei Vorhandensein von Baumschatten, Gebäuden oder einer Unterführung der Fall sein kann. Dadurch wird zusätzlich ein bei bekannten Verfahren auftretendes Problem gelöst: Es müssen nicht alle Parameter von Bild zu Bild neu geschätzt werden, sondern lediglich die Stärke, wenn nur aus dem vorherigen ersten Bild ein Beitrag geschätzt werden muss.
Gemäß einer weiteren Ausführungsform des Verfahrens wird eine Vignettierung des Streulichts berücksichtigt. Dies ermöglicht, die Schätzung der unteren Begrenzung der Streulichtintensität robuster zu gestalten.
Gemäß einem zweiten Aspekt der Erfindung wird eine Vorrichtung zur Entfernung einer durch Streulicht erzeugten Aufhellung aus einem Bild einer Fahrzeugkamera bereitgestellt. Die Vorrichtung umfasst eine Fahrzeugkamera und eine Prozessoreinheit, wobei die Fahrzeugkamera derart an einem Fahrzeug angeordnet werden kann, dass die Fahrzeugkamera wenigstens ein Bild einer äußeren Umgebung des Fahrzeugs aufnehmen kann, und wobei die
Prozessoreinheit dazu eingerichtet ist, die Verfahrensschritte gemäß dem Verfahren nach dem ersten Aspekt der Erfindung aus zuführen .
Im Folgenden werden Ausführungsbeispiele der Erfindung anhand der schematischen Zeichnung näher erläutert. Hierbei zeigt
Fig. 1 eine Seitenansicht eines Fahrzeugs mit einem
Ausführungsbeispiel einer erfindungsgemäßen Vorrichtung und
Fig. 2 eine graphische Gegenüberstellung eines ermittelten
Verlaufs einer Gesamtintensität, einer
Näherungsfunktion eines Verlaufs einer unteren Begrenzung der Streulichtintensität und einer
Differenz der vorgenannten Verläufe.
Fig .1 zeigt ein Fahrzeug 1, in dem gezeigten Ausführungsbeispiel ein Automobil. Das Fahrzeug 1 umfasst eine Vorrichtung 2 zur Entfernung einer durch Streulicht erzeugten Aufhellung aus einem Bild einer Fahrzeugkamera 3. Die Vorrichtung weist in dem gezeigten Ausführungsbeispiel eine Fahrzeugkamera 3 und eine Prozessoreinheit 4 auf.
Die Fahrzeugkamera 3 kann in einem Innenraum 5 des Fahrzeugs 1 angeordnet sein, und zwar insbesondere in einem Bereich hinter einer Windschutzscheibe des Fahrzeugs 1. Mittels der
Fahrzeugkamera 3 kann durch die Windschutzscheibe ein Bild oder eine Bildfolge von einer äußeren Umgebung 6 des Fahrzeugs 1 aufgenommen werden, wobei die Bildfolge mehrere Außenaufnahmen umfassen kann, und wobei die Außenaufnahmen zeitlich
aufeinanderfolgend gemacht werden.
Fig . 2 zeigt ein Diagramm, wobei auf einer horizontalen Achse eine horizontale Position angegeben ist, und wobei auf einer vertikalen Achse eine lineare Intensität angegeben ist. In dem Diagramm sind für eine Zeile eines mittels der Fahrzeugkamera 3 aufgenommenen Bilds, welches die äußere Umgebung 6 des Fahrzeugs 1 abbildet, folgende drei Graphen aufgetragen: Ein erster Graph 7, welcher einem ermittelten Verlauf der erfassten
(Gesamt-) Intensität entspricht, ein zweiter Graph 8, welcher einer geschätzten Näherungsfunktion eines Verlaufs einer unteren Begrenzung der Streulichtintensität entspricht, und ein dritter Graph 9, welcher für jede horizontale Position der Bildzeile einer Differenz zwischen dem ersten Graph 7 und dem zweiten Graph 8 entspricht. Der dritte Graph 9 entspricht also dem
streulichtkorrigierten Bild.
Die Intensität wird durch Licht verursacht, welches in den Erfassungsbereich der Fahrzeugkamera 3 gelangt. Das Ermitteln des Verlaufs der Näherungsfunktion 8 der Streulichtintensität kann mittels der Prozessoreinheit 4 erfolgen, z.B. mittels eines Minfilters, Erosion oder ähnlicher Methoden. Der geschätzte Verlauf der unteren Begrenzung der
Streulichtintensität (zweiter Graph 8) basiert in dem gezeigten Ausführungsbeispiel auf einer Gauß-Kurve und stellt einen zeilenweisen Intensitäts-Verlauf der Streulichtintensität in horizontaler Richtung dar, wobei die geschätzte
Streulichtintensität nicht von der ermittelten Intensität (erster Graph 7) unterschritten wird. Zum Schätzen der
Näherungsfunktion 8 der unteren Begrenzung der
Streulichtintensität kann bereichsweise interpoliert werden, insbesondere dort, wo eine Schätzung fehlt oder fehlschlägt.
Die Schätzung der Näherungsfunktion kann durch mehrere
Bedingungen unterstützt und plausibilisiert werden, um das Risiko zu reduzieren, zu viel zu subtrahieren bzw. abzuziehen, oder unter einem Einfluss des Bildinhalts Fehler zu begehen. So kann zur Bewertung der Plausibilität der geschätzten
Näherungsfunktion 8 geprüft werden, ob entlang eines vertikalen Verlaufs des Bilds die Position des Maximums der Gesamtintensität 7 und der ermittelten streulichtkorrigierten Intensität 9 konstant ist. Sofern diese Prüfung ein positives Ergebnis liefert, d.h. dass entlang des vertikalen Verlaufs des Bilds die Position des Maximums konstant bleibt, kann davon ausgegangen werden, dass nicht zu viel subtrahiert worden ist.
Des Weiteren können durch eine entsprechende Schätzung der Näherungsfunktion zumindest abschnittsweise zu starke
Schwankungen der Stärke oder der Lichtintensität entlang der Bildhöhe ausgeschlossen werden. Der Graph 9 in Fig. 2 ist beispielsweise die Intensität in den horizontalen Bereichen 0 bis 250, 550 bis 750 und 800 bis 900 relativ konstant
(Intensitätswerte zwischen etwa 500 und 1500).
Alternativ oder zusätzlich kann zur Bewertung der Plausibilität der geschätzten Näherungsfunktion geprüft werden, ob das
Streulicht innerhalb des aufgenommenen Bilds die gleiche Farbe aufweist .
Durch das Subtrahieren bzw. Abziehen für jede Bildzeile des Bilds entsteht aus dem aufgenommenen Bild der Bildfolge ein verändertes Bild, aus dem Streulicht entfernt worden ist
(streulichtkorrigiertes Bild, dritter Graph 9) . Dieses Bild kann ausgegeben, weiterverarbeitet und/oder angezeigt werden, z.B. auf einem Display innerhalb des Fahrzeugs.
Die Schätzung des Verlaufs der unteren Begrenzung der
Streulichtintensität 8, kann auch von Bild zu Bild getrackt werden. In diesem Sinne kann die geschätzte Näherungsfunktion der unteren Begrenzung der Streulichtintensität 8 innerhalb eines ersten Bilds in wenigstens einem nachfolgend aufgenommenen zweiten Bild der äußeren Umgebung des Fahrzeugs getrackt werden. Dazu wird ausgenutzt, dass sich eine Lage der Sonne unter Beachtung der Eigenbewegung des Fahrzeugs bzw. der
Fahrzeugkamera über die Zeit fast nicht verändert. In diesem Zusammenhang kann unter Berücksichtigung der Eigenbewegung der Fahrzeugkamera insbesondere mittels eines Filters, z.B. mittels eines Kaimanfilters, eine Position der Sonne, welche das Streulicht verursacht, in dem zweiten Bild geschätzt werden . Dies ist insbesondere dann von Vorteil, wenn die Sonne verschwindet und wieder auftaucht, was z.B. bei Vorhandensein von
Baumschatten, Gebäuden oder einer Unterführung der Fall sein kann .

Claims

Verfahren zur Entfernung einer durch Streulicht erzeugten Aufhellung aus einem Bild einer Fahrzeugkamera (3) , das Verfahren umfassend die Verfahrensschritte:
Aufnehmen eines Bilds einer äußeren Umgebung (6) eines Fahrzeugs (1) mittels einer Fahrzeugkamera (3), welche in oder an dem Fahrzeug (1) angeordnet ist, Ermitteln eines Verlaufs (7) einer Gesamtintensität innerhalb des Bilds, wobei die Gesamtintensität durch gewünschtes Licht und Streulicht verursacht wird, welches in den Erfassungsbereich der Fahrzeugkamera (3) gelangt,
Schätzen einer Näherungsfunktion (8) eines Verlaufs einer unteren Begrenzung der Streulichtintensität, und
Subtrahieren der geschätzten Näherungsfunktion (8) der unteren Begrenzung der Streulichtintensität von dem ermittelten Verlauf (7) der Gesamtintensität und Bereitstellen des streulichtkorrigierten Bildes.
Verfahren nach Anspruch 1, wobei als Näherungsfunktion (8) der unteren Begrenzung der Streulichtintensität eine Gaußverteilung gewählt wird.
Verfahren nach Anspruch 1 oder 2, wobei das Ermitteln des Verlaufs (7) der Gesamtintensität über das ganze Bild, zeilenweise oder blockweise erfolgt.
Verfahren nach einem der vorstehenden Ansprüche, wobei zum Schätzen der Näherungsfunktion (8) der unteren Begrenzung der Streulichtintensität bereichsweise interpoliert wird. Verfahren nach einem der vorstehenden Ansprüche, wobei zum Schätzen der Näherungsfunktion (8) der unteren Begrenzung der Streulichtintensität geprüft wird, ob entlang eines vertikalen Verlaufs des Bilds die Position des Maximums der ermittelten Gesamtintensität (7) und der
streulichtkorrigierten Intensität (9) konstant ist.
Verfahren nach einem der vorstehenden Ansprüche, wobei geprüft wird, ob das Streulicht innerhalb des aufgenommenen Bilds die gleiche Farbe aufweist.
Verfahren nach einem der vorstehenden Ansprüche, wobei die geschätzte Näherungsfunktion (8) des Verlaufs der unteren Begrenzung der Streulichtintensität innerhalb eines ersten Bilds in wenigstens einem nachfolgend aufgenommenen zweiten Bild der äußeren Umgebung (6) des Fahrzeugs (1) getrackt wird .
Verfahren nach Anspruch 7, wobei unter Berücksichtigung einer Eigenbewegung der Fahrzeugkamera (3) mittels eines Filters eine Position einer Sonne, welche das Streulicht verursacht, in dem wenigstens einen nachfolgend
aufgenommenen zweiten Bild der äußeren Umgebung (6) des Fahrzeugs (1) geschätzt wird.
Verfahren nach einem der vorstehenden Ansprüche, wobei eine Vignettierung des Streulichts berücksichtigt wird.
Verfahren nach einem der vorstehenden Ansprüche, wobei das Schätzen der Näherungsfunktion (8) der unteren Begrenzung der Streulichtintensität derart erfolgt, dass zumindest abschnittsweise starke Schwankungen der reduzierten Intensität entlang eines vertikalen Verlaufs des Bilds ausgeschlossen sind. Vorrichtung (2) zur Entfernung einer durch Streulicht erzeugten Aufhellung aus einem Bild einer Fahrzeugkamera (3), die Vorrichtung (2) umfassend eine Fahrzeugkamera (3) und eine Prozessoreinheit (4), wobei die Fahrzeugkamera (3) derart an einem Fahrzeug (1) angeordnet werden kann und dazu eingerichtet ist, dass die Fahrzeugkamera (3) wenigstens ein Bild einer äußeren Umgebung (6) des Fahrzeugs (1) aufnimmt,
und wobei die Prozessoreinheit (4) dazu eingerichtet ist, einen Verlaufs (7) einer Gesamtintensität innerhalb des Bilds zu ermitteln, wobei die Gesamtintensität durch gewünschtes Licht und Streulicht verursacht wird, welches in den Erfassungsbereich der
Fahrzeugkamera (3) gelangt,
eine Näherungsfunktion (8) eines Verlaufs einer unteren Begrenzung der Streulichtintensität zu schätzen,
die geschätzte Näherungsfunktion (8) der unteren Begrenzung der Streulichtintensität von dem
ermittelten Verlauf (7) der Gesamtintensität zu subtrahieren, und
ein auf diese Weise ermitteltes
streulichtkorrigiertes Bild bereitzustellen.
PCT/DE2018/200044 2017-05-03 2018-05-02 Verfahren und vorrichtung zur verbesserung von kameraaufnahmen für fahrerassistenzsysteme WO2018202261A1 (de)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US16/479,677 US11025834B2 (en) 2017-05-03 2018-05-02 Method and device for improving camera images for driver assistance systems
EP18733504.7A EP3619913A1 (de) 2017-05-03 2018-05-02 Verfahren und vorrichtung zur verbesserung von kameraaufnahmen für fahrerassistenzsysteme
JP2019540448A JP7219710B2 (ja) 2017-05-03 2018-05-02 ドライバー・アシスタント・システム用のカメラ撮影を改善するための方法と装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102017207376.4A DE102017207376A1 (de) 2017-05-03 2017-05-03 Verfahren und Vorrichtung zur Verbesserung von Kameraaufnahmen für Fahrerassistenzsysteme
DE102017207376.4 2017-05-03

Publications (1)

Publication Number Publication Date
WO2018202261A1 true WO2018202261A1 (de) 2018-11-08

Family

ID=62712700

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/DE2018/200044 WO2018202261A1 (de) 2017-05-03 2018-05-02 Verfahren und vorrichtung zur verbesserung von kameraaufnahmen für fahrerassistenzsysteme

Country Status (5)

Country Link
US (1) US11025834B2 (de)
EP (1) EP3619913A1 (de)
JP (1) JP7219710B2 (de)
DE (1) DE102017207376A1 (de)
WO (1) WO2018202261A1 (de)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102011016652A1 (de) * 2011-04-09 2012-10-11 Conti Temic Microelectronic Gmbh Automatische Sonnenblende
DE102014217749A1 (de) * 2014-09-04 2016-03-10 Conti Temic Microelectronic Gmbh Streulichtblende
US20160252905A1 (en) * 2014-08-28 2016-09-01 Google Inc. Real-time active emergency vehicle detection

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004015597A (ja) 2002-06-10 2004-01-15 Minolta Co Ltd 電子カメラ
JP2007028540A (ja) 2005-07-21 2007-02-01 Nissan Motor Co Ltd 車両外状況提示システム及び車両外状況提示方法
WO2008127685A1 (en) * 2007-04-13 2008-10-23 John Kesterson Filter assembly and image enhancement system for a surveillance camera and method of using the same
WO2011078199A1 (en) * 2009-12-25 2011-06-30 Ricoh Company, Ltd. Object identifying apparatus, moving body control apparatus, and information providing apparatus
US8730356B2 (en) * 2011-03-07 2014-05-20 Sony Corporation System and method for automatic flash removal from images
EP3149656B1 (de) 2014-05-27 2020-01-15 Robert Bosch GmbH Nachweis, identifizierung und verringerung von der linsenkontamination für fahrzeugmontierte kamerasysteme
US9953210B1 (en) * 2017-05-30 2018-04-24 Gatekeeper Inc. Apparatus, systems and methods for improved facial detection and recognition in vehicle inspection security systems

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102011016652A1 (de) * 2011-04-09 2012-10-11 Conti Temic Microelectronic Gmbh Automatische Sonnenblende
US20160252905A1 (en) * 2014-08-28 2016-09-01 Google Inc. Real-time active emergency vehicle detection
DE102014217749A1 (de) * 2014-09-04 2016-03-10 Conti Temic Microelectronic Gmbh Streulichtblende

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
CHO MYUNGJIN ET AL: "Three-dimensional imaging of objects in scattering medium by using statistical image processing", THREE-DIMENSIONAL IMAGING, VISUALIZATION, AND DISPLAY 2011, SPIE, 1000 20TH ST. BELLINGHAM WA 98225-6705 USA, vol. 8043, no. 1, 13 May 2011 (2011-05-13), pages 1 - 8, XP060014183, DOI: 10.1117/12.883714 *

Also Published As

Publication number Publication date
JP2020520486A (ja) 2020-07-09
US11025834B2 (en) 2021-06-01
DE102017207376A1 (de) 2018-11-08
US20200195856A1 (en) 2020-06-18
EP3619913A1 (de) 2020-03-11
JP7219710B2 (ja) 2023-02-08

Similar Documents

Publication Publication Date Title
DE112014005160T5 (de) Verfahren zum Erkennen eines verdeckten Zustands einer Kamera, Kamerasystem und Kraftfahrzeug
DE102010030044A1 (de) Wiederherstellvorrichtung für durch Wettereinflüsse verschlechterte Bilder und Fahrerunterstützungssystem hiermit
EP1706773A1 (de) Nachtsichtsystem für kraftfahrzeuge mit partiellem optischem filter
WO2014094941A1 (de) Kraftfahrzeug mit kamera-monitor-system
DE102013114996A1 (de) Bildsuperauflösung für dynamischen Rückspiegel
DE102016121755A1 (de) Verfahren zum Bestimmen eines zusammengesetzten Bilds eines Umgebungsbereichs eines Kraftfahrzeugs mit Anpassung von Helligkeit und/oder Farbe, Kamerasystem sowie Krafzfahrzeug
DE102014006153A1 (de) Verfahren zur Bilddarstellung eines indirekten Sichtfeldes im Fahrzeugumfeld eines Fahrzeugs, insbesondere eines Nutzfahrzeugs, mit einem Kamera-Monitor-System
DE102008042537A1 (de) Verfahren zum Kalibrieren eines Bilderfassunssystems in einem Kraftfahrzeug
DE102009001122A1 (de) Kameraanordnung und Verfahren zum Ermitteln von Bildsignalen mit Farbwerten
DE102013012778A1 (de) Verfahren zum Detektieren eines sich bewegenden Fußgängers anhand von charakteristischen Merkmalen und optischen Flussvektoren eines Bilds, Kamerasystem und Kraftfahrzeug
DE102013222304A1 (de) Verfahren zur Bestimmung von Objektentfernungen mit einer in einem Kraftfahrzeug verbauten Kamera
WO2018202261A1 (de) Verfahren und vorrichtung zur verbesserung von kameraaufnahmen für fahrerassistenzsysteme
DE102008045007A1 (de) Verfahren zur bildgestützten Überwachung einer Fahrzeugumgebung, insbesondere einer Umgebung eines Nutzfahrzeuges
DE102006040349B4 (de) Verfahren und Vorrichtung zur Erkennung von defekten Pixeln eines Bildaufnahmesensors in einem Fahrerassistenzsystem
DE102015217265A1 (de) Stereokameravorrichtung zur Umgebungserfassung eines Kraftfahrzeugs, Kraftfahrzeug mit einer solchen Stereokameravorrichtung sowie ein Verfahren zur Erkennung von Regentropfen oder Ablagerungen
DE102021004337A1 (de) Vorrichtung und Verfahren zur Filterung von Spiegelungen in Bilddaten
DE102012024650A1 (de) Verfahren zur Reduktion einer HDR-Bewegungsunschärfe bei einem HDR-Bild, HDR-Kameraeinrichtung und Kraftfahrzeug
DE102013011844A1 (de) Verfahren zum Anpassen einer Gammakurve eines Kamerasystems eines Kraftfahrzeugs, Kamerasystem und Kraftfahrzeug
WO2022122240A1 (de) Verfahren und vorrichtung zum detektieren einer störpflanzenabbildung in einem kamerarohbild und bildverarbeitungseinrichtung
DE102015216907A1 (de) Digitaler Rückspiegel
DE102012016865B4 (de) Verbessertes Alpha-Blending von Bildern eines Kamerasystems eines Kraftfahrzeugs
DE102013020949A1 (de) Verbessertes Alpha-Blending von Bildern eines Kamerasystems eines Kraftfahrzeugs
DE102016112483A1 (de) Verfahren zum Reduzieren von Störsignalen in einem Draufsichtbild, das ein Kraftfahrzeug und einen Umgebungsbereich des Kraftfahrzeugs zeigt, Fahrerassistenzsystem sowie Kraftfahrzeug
DE102018212179A1 (de) Bildverarbeitungsvorrichtung und verfahren zur bildverarbeitung
DE102019003562A1 (de) Verfahren zur Auswertung von mittels einer Kamera eines Fahrzeugs erfassten Bildern

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18733504

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019540448

Country of ref document: JP

Kind code of ref document: A

ENP Entry into the national phase

Ref document number: 2018733504

Country of ref document: EP

Effective date: 20191203