WO2019185304A1 - Verfahren zur objekterkennung für ein fahrzeug mit einer thermografiekamera und modifizierter entrauschungsfilter - Google Patents

Verfahren zur objekterkennung für ein fahrzeug mit einer thermografiekamera und modifizierter entrauschungsfilter Download PDF

Info

Publication number
WO2019185304A1
WO2019185304A1 PCT/EP2019/055370 EP2019055370W WO2019185304A1 WO 2019185304 A1 WO2019185304 A1 WO 2019185304A1 EP 2019055370 W EP2019055370 W EP 2019055370W WO 2019185304 A1 WO2019185304 A1 WO 2019185304A1
Authority
WO
WIPO (PCT)
Prior art keywords
filter
image signal
vehicle
entrauschungsfilter
noise
Prior art date
Application number
PCT/EP2019/055370
Other languages
English (en)
French (fr)
Inventor
Dennis Tim KELLER
Andreas Krutz
Kristian Weiß
Original Assignee
Siemens Mobility GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Siemens Mobility GmbH filed Critical Siemens Mobility GmbH
Priority to EP19713359.8A priority Critical patent/EP3714398A1/de
Publication of WO2019185304A1 publication Critical patent/WO2019185304A1/de

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/30—Noise filtering

Definitions

  • thermographic camera A method of object recognition for a vehicle with a thermographic camera and a modified noise filter
  • the invention relates to a method for object recognition for a vehicle with a thermographic camera and a modifi ed de-noise filter for editing at least egg nem vehicle-internally detected image signal, comprising a non-local means based unit for noise of image files ent with a finite range of action within the at least one Image signal.
  • cameras are used for object recognition. Especially in the field of vehicles, cameras are often used to detect possible obstacles around the vehicle.
  • rail vehicles represent an important area of application for object detection by cameras. For rail vehicles special precautions must be taken due to high speeds, the number of people promoted and the mass of rail vehicles and long braking distances.
  • thermographic cameras do not require any ambient light or active illumination by the headlights of their own vehicle. This makes them suitable for obstacle detection in the near and far fields, even at night.
  • thermography cameras have a very poor image quality due to a strong noise due to their measuring principle. Furthermore, a steady state of tion of the infrared sensor, a high blur and a very low triggering of thermographic cameras severely restrict the object or person recognition in the environment of the vehicle.
  • the object of the invention is to propose a method and a filter which allow reliable detection of obstacles in the surrounding area of a vehicle
  • a method for object recognition is provided for a vehicle with a thermographic camera.
  • a surrounding area of the vehicle is detected by the thermography camera and converted into at least one image signal.
  • the at least one image signal can be analog or digital.
  • the image signal may include information from one or more static or moving images.
  • the at least one image signal is processed by a first filter and by at least one second filter. At closing, the at least one processed image signal for object detection is displayed by a driver or analyzed by a processing unit, being used as the first filter a modified non-local-means Entrauschungsfilter Be to work the at least one image signal.
  • the method can be used to improve the image of image signals recorded by thermographic cameras for the detection of obstacle detection in the area of vehicles.
  • less powerful thermography cameras with a high noise can be processed by the post-processing with the first filter and the at least one second filter to the effect that with the recorded image data detection of obstacles be made possible by automated processing units or by the driver of the vehicle.
  • the detection rate of obstacles can be increased by the preprocessing step with at least one denoising process.
  • the non-local-means (NLM) denoising filter may preferably be modified in such a way that a weighting or a weighting is used. a limitation of the effective range within at least one image signal is not used statically by a defined radius, but by a weighting factor of a bilateral noise filter.
  • a bilateral denoising filter can have a high demand on the computing power depending on a refresh rate.
  • a high power in the denoising of an image signal can be combined with a higher processing speed.
  • a noise reduction filter for shot peening, a sharpness filter and / or a color correction filter for processing the at least one image signal is applied.
  • a median filter can be used as a second filter.
  • the median filter belongs to the class of ranking filters and is non-linear, that is, it can not be described by a convolution operation.
  • the median filter may be used to compensate for shotgun rust before it is used.
  • the details of edges of an image can be maintained before softening during denoudation.
  • the at least one second filter may also be configured as a sharpness filter to counteract blur by denoising filters or as a color filter to adjust exposures and increase contrast.
  • the first filter is set before or after the at least one second filter for processing the at least one image signal.
  • the usable as a second filter processing processing of the image signals do not correlate with the first fil ter, whereby the image processing can be performed in any order.
  • Image signals are applied.
  • a calibration of an infrared sensor of the Therm conductingkame ra is performed based on at least one noise model.
  • a noise model can be determined on the basis of defined test bodies in advance. This noise model may preferably be designed depending on environmental conditions.
  • the ambient conditions may include a temperature, weather conditions, a time of day, ambient light conditions and the like.
  • the noise model may additionally Have disturbing influences in the amplitude range per pixel or pixel group of the sensor of the thermographic camera and geometric distortion of the sensor or optics of the thermographic camera.
  • At least one local is used to perform the calibration
  • Noise model applied for at least a portion of the infrared sensor can be defined for each area of the infrared sensor and stored in a control unit or the processing unit.
  • a local sensor drift of the infrared sensor can be determined.
  • the local noise models can then be used to provide a fitted noise reduction.
  • noise models in particular sensor areas with a high noise reduction or a high sensor drift can be denser by the use of the filter.
  • the amplitude values of the individual sensor pixels can be scaled and thus the influence of the sensordrifts of the infrared sensor optimally compensated.
  • the at least one noise model is adapted on the basis of recognized objects and / or ambient conditions.
  • the noise model can additionally be adapted in at least one deployment situation by means of recognized real objects, such as persons.
  • the method can thereby be adapted to a high variation of obstacles and environmental conditions. be aligned.
  • further actions may be initiated in this case. have an influence on the vehicle.
  • the reaction of the driver to an action of the processing unit can be taken into account.
  • a warning is generated to a driver of the vehicle or an action of the vehicle is initiated.
  • the processing unit can carry out an automated analysis of the processed image signals and independently decide whether there is a real danger, for example by a person on the road or the tracks or by dangerous objects in the Traj ektorie the vehicle.
  • a warning signal, an evasive maneuver or a Bremsma can be initiated növer depending on a driving speed, a distance to the risk and the nature of the danger.
  • a modified noise filter for processing at least one image signal determined in-vehicle.
  • the denoising filter has a non-local averaging unit for denoising image signals having a finite range of action within the at least one
  • Image signal wherein the limited effective range is designed as a weighting factor of a bilateral Entrauschungsfilters.
  • the non-local averaging unit may preferably be a so-called “non-local-mean” (NLM) borrowing algorithm,
  • NLM filters have an effective suppression of white noise while preserving edges and fine structures
  • mean values for "smoothing out" the pixels in the image signals are not locally formed but, for example, in an entire image file or image. within the searched for and used the entire image signal. It can Pi xel sought with a similar color or similar brightness to perform an averaging.
  • a bilateral Entrauschungsfilter acts only in a local environment of a pixel.
  • the bilateral Entrauschungsfilter evaluates a geographic and a photometric similarity.
  • the photometric similarity can be based on colors or brightnesses.
  • the implementation, as well as the Gaussian mean value filter, can take into account the distance of the pixels to be compared by assigning a pixel to be deafened having a greater geographic distance to an adjacent pixel less weight than one having a lower geographic Distance.
  • the denoudation filter according to the invention can combine the properties of the NLM filter and those of the bilateral denoudation filter. In natural scenes or.
  • thermography camera Vehicle environments that are recorded by the thermography camera can be assumed that gray values of pixels far apart from one another correlate very little.
  • the basic approach of the theoretical NLM filter to search for similar pixels in the entire image signal is not considered.
  • a limitation of the search window can circumvent this question.
  • the effective range has definite limits, such as a defined radius around a pixel of the image signal to be emptied.
  • the bilateral denoudation filter has advantages in that far-distant pixels receive a lower weighting than closer pixels of the at least one image signal. This can Thus, an optimized de-noise of image signals Runaway leads, which combines the advantages of an NLM filter with the benefits of a bilateral filter.
  • the weighting factor of the bilateral noise filter is a multiplication of a geographic weight and a photometric weight. It can thus be realized so-wei wei effective ranges for applying a de-noise. Sharp edges and lines can be protected against de-noise due to the photo metric weighting, so that essential details of an image signal are retained despite the use of the noise filter.
  • the modified noise filter is based on the algorithm: with a normalization constant Z - ill) w (l, i)
  • v (j) corresponds to the image signal or. the pixels of the image signal, which is to be denouched.
  • the variable w (i, j) is the weighting factor, which is designed as a multiplication of the photometric weighting and the geographical weighting.
  • G e ( I ij I) corresponds to the Gaussian kernel resp. the Gaussian normal distribution function.
  • the Entrauschungsfilter is a stand-alone hardware filter or integrated into a control unit of a vehicle ter filter.
  • the Entrauschungsfilter both in existing software-controlled or hardware-controlled control units can be integrated or configured as an independent extension of a system or a device.
  • the denoising filter may be arranged serially in an image processing circuit.
  • FIG. 1 shows a schematic representation of a vehicle for carrying out a method according to an embodiment of the invention
  • FIG. 2 shows a schematic flowchart of the method according to an embodiment of the invention.
  • FIG. 1 shows a schematic representation of a vehicle 1 for carrying out a method 2 according to an embodiment of the invention.
  • the vehicle 1 is designed here as a rail vehicle and has a direction aligned in the direction of travel Therm conducting lamb mera 4. With the help of the thermography camera 4, a vehicle environment can be monitored independently of external light conditions.
  • thermographic camera 4 with a processing unit 6 or. coupled to a control unit 6.
  • the images generated by the thermography camera 4 can thus be received as analog or digi tale image signals from the processing unit 6.
  • the image signals can be single images or moving Images, such as real-time recordings of a driving convincing environment be.
  • the image signals are previously processed by a modified entrainment filter 8.
  • the Entrauschungsfilter 8 is designed as a hardware filter and connected in series between the Ther m making note 4 and the processing unit 6.
  • the processing unit 6 can analyze the preprocessed image signals and, in particular, perform object recognition.
  • FIG. 2 shows a schematic flow diagram of the proceedings 2 in accordance with an embodiment of the invention illustrated.
  • thermography camera 4 In a first step 10, a vehicle environment is detected by the thermography camera 4.
  • the first filter 8 is a modified Ent noise filter 8, which is a non-local-median Entrau filter with weighting factors of a bilateral Ent noise filter.
  • the first filter 8 can thereby compensate for white noise of the image signals 14. Subsequently, the filtered image signals are forwarded to the processing unit 6.
  • a second filter is arranged as the first instance.
  • the second filter is a software filter which is configured as a module in the processing unit. According to the embodiment, the second filter is a median filter for removing shot noise.
  • the image signals processed by the two filters are then displayed 16 to the driver of the vehicle 1, that the driver can even survey the vehicle environment.
  • the processed image signals can be analyzed by the processing unit 6 and checked for obstacles or dangers.
  • a feedback message 20 to the driver or a person can be provided
  • Vehicle action 22 are performed.
  • the vehicle action 22 may be, for example, a braking operation.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

Offenbart ist ein Verfahren zur Objekterkennung für ein Fahrzeug mit einer Thermografiekamera, wobei ein Umgebungsbereich des Fahrzeugs durch die Thermografiekamera erfasst und in mindestens ein Bildsignal umgewandelt wird, das mindestens eine Bildsignal durch einen ersten Filter und durch mindestens einen zweiten Filter bearbeitet wird und das mindestens eine bearbeitete Bildsignal zur Objekterkennung durch einen Fahrer dargestellt oder durch eine Verarbeitungseinheit analysiert wird, wobei als erster Filter ein modifizierter nonlocal-means Entrauschungsfilter zum Bearbeiten des mindestens einen Bildsignals angewandt wird. Des Weiteren ist ein modifizierter Entrauschungsfilter offenbart.

Description

Beschreibung
Verfahren zur Objekterkennung für ein Fahrzeug mit einer Thermografiekamera und modifizierter Entrauschungsfilter
Die Erfindung betrifft ein Verfahren zur Objekterkennung für ein Fahrzeug mit einer Thermografiekamera sowie einen modifi zierten Entrauschungsfilter zum Bearbeiten von mindestens ei nem fahrzeugintern ermittelten Bildsignal, aufweisend eine auf nicht-lokalen Mittelwerten basierende Einheit zum Ent rauschen von Bilddateien mit einem begrenzbaren Wirkbereich innerhalb des mindestens einen Bildsignals .
In vielen Bereichen des täglichen Lebens kommen Kameras zur Objekterkennung zum Einsatz . Insbesondere im Bereich von Fahrzeugen, werden häufig Kameras zur Erkennung möglicher Hindernisse im Umfeld des Fahrzeugs verwendet . Neben Automo bilen stellen Schienenfahrzeuge einen wichtigen Einsatzbe reich für Objekterkennung durch Kameras dar . Für Schienen fahrzeuge sind aufgrund hoher Geschwindigkeiten, der beför derten Personenanzahl und der Masse von Schienenfahrzeugen sowie langer Bremswege besondere Vorkehrungen zu treffen .
Immer wieder kommt es vor, dass Personen bewusst oder unbe wusst Schienenstrecken aufsuchen oder sich Objekte auf den Gleisen befinden, die schlimmsten Falls zu einer Entgleisung führen können . Bisher eingesetzte visuell-optischen Kameras können nur tagsüber eingesetzt werden und sind stark abhängig von den vorliegenden Lichtverhältnissen . Im Gegensatz zu vi suell- optischen Kamerasystemen benötigen Thermografiekameras kein Umgebungslicht oder eine aktive Beleuchtung durch die Scheinwerfer des eigenen Fahrzeugs . Damit sind sie für eine Hinderniserkennung im Nah- und Fernfeld auch bei Nacht geeig net .
Insbesondere ungekühlte Thermografiekameras weisen aufgrund Ihres Messprinzips eine sehr schlechte Bildqualität durch ein starkes Rauschen auf . Des Weiteren kann eine stetige Erhit- zung des Infrarotsensors , eine hohe Unschärfe und eine sehr geringe Auslösung von Thermografiekameras die Objekt- oder Personenerkennung im Umfeld des Fahrzeugs stark einschränken .
Aufgabe der Erfindung ist es ein Verfahren und einen Filter vorzuschlagen, welche eine zuverlässige Erkennung von Hinder nissen im Umgebungsbereich eines Fahrzeugs ermöglichen
Gelöst wird die Aufgabe durch den Gegenstand des unabhängigen Patentanspruchs 1 und des unabhängigen Patentanspruchs 8. Vorteilhafte Ausgestaltungen der Erfindung sind Gegenstand von j eweils abhängigen Unteransprüchen .
Nach einem Aspekt der Erfindung wird ein Verfahren zur Ob jekterkennung für ein Fahrzeug mit einer Thermografiekamera bereitgestellt . In einem Schritt wird ein Umgebungsbereich des Fahrzeugs durch die Thermografiekamera erfasst und in mindestens ein Bildsignal umgewandelt . Das mindestens eine Bildsignal kann dabei analog oder digital sein . Das Bildsig nal kann beispielsweise Informationen von einem oder von meh reren statischen oder bewegten Bildern aufweisen .
Das mindestens eine Bildsignal wird durch einen ersten Filter und durch mindestens einen zweiten Filter bearbeitet . An schließend wird das mindestens eine bearbeitete Bildsignal zur Objekterkennung durch einen Fahrer angezeigt oder durch eine Verarbeitungseinheit analysiert, wobei als erster Filter ein modifizierter non-local-means Entrauschungsfilter zum Be arbeiten des mindestens einen Bildsignals angewandt wird.
Durch das Verfahren kann eine Bildverbesserung von durch Thermografiekameras aufgezeichneten Bildsignalen für den Ein satz der Hinderniserkennung im Bereich von Fahrzeugen erzielt werden . Dabei können hauptsächlich weniger leistungsfähige Thermografiekameras mit einem hohen Rauschen durch die Nach bearbeitung mit dem ersten Filter und dem mindestens einen zweiten Filter dahingehend aufgearbeitet werden, dass mit dem aufgezeichneten Bilddaten eine Erkennung von Hindernissen durch automatisierte Verarbeitungseinheiten oder durch den Fahrer des Fahrzeugs ermöglicht werden .
Die Erkennungsrate von Hindernissen kann durch den Vorverar beitungsschritt mit mindestens einem Entrauschungsverfahren gesteigert werden .
Der non-local-means (NLM) Entrauschungsfilter kann bevorzug terweise dahingehend modifiziert sein, dass eine Gewichtung bzw . eine Begrenzung des Wirkbereichs innerhalb mindestens einen Bildsignals nicht statisch durch einen definierten Ra dius , sondern durch einen Gewichtungsfaktor eines bilateralen Entrauschungsfilters verwendet wird.
Ein bilateraler Entrauschungsfilter kann abhängig von einer Bildwiederholrate eine hohe Anforderung an die Rechenleistung aufweisen . Durch den Einsatz der Gewichtung des bilateralen Filters in einem NLM Filter kann eine hohe Leistung bei der Entrauschung eines Bildsignals mit einer höheren Verarbei- tungsgeschwindigkeit kombiniert werden .
Gemäß einem Ausführungsbeispiel des Verfahrens wird als der mindestens eine zweite Filter ein Entrauschungsfilter für Schrotrausehen, eine Schärfefilter und/oder einen Farbkorrek turfilter zum Bearbeiten des mindestens einen Bildsignals an gewandt . Beispielsweise kann ein Medianfilter als ein zweiter Filter eingesetzt werden .
Der Medianfilter gehört zur Klasse der Rangordnungsfilter und ist nichtlinear, das heißt, er lässt sich nicht durch eine FaltungsOperation beschreiben . Der Medianfilter kann bevor zugterweise zum Kompensieren von Schrotrausehen eingesetzt werden . Die Details von Kanten eines Bildes können dabei vor einer Weichzeichnung während der Entrauschung aufrechterhal ten werden .
Bei als natürliche Bilder ausgestalteten Bildsignalen einer Fahrzeugumgebung können zueinander benachbarte Pixel eines Bildes oft ähnliche Färb- bzw . Helligkeitswerte aufweisen .
Als Schrotrausehen werden zufällige, starke Ausreißer be zeichnet . Beispielsweise können Schmutzpartikel auf einer Linse der Thermografiekamera Schrotrausehen in den Bildsigna len verursachen .
Der mindestens eine zweite Filter kann darüber hinaus als ein Schärfefilter zum Entgegenwirken einer Weichzeichnung durch Entrauschungsfilter oder als ein Farbfilter zum Anpassen von Belichtungen und zum Erhöhen eines Kontrasts ausgestaltet sein . Hier
Nach einem weiteren Ausführungsbeispiel des Verfahrens wird der erste Filter vor oder nach dem mindestens einen zweiten Filter zum Bearbeiten des mindestens einen Bildsignals einge setzt . Die als zweite Filter einsetzbaren Verarbeitungspro zesse der Bildsignale korrelieren nicht mit dem ersten Fil ter, wodurch die Bildverarbeitung in einer beliebigen Reihen folge durchgeführt werden kann .
Im Falle eines Medianfilters als zweiten Filter, ist dieser zwar für Schrotrausehen effizient einsetzbar, j edoch weist der Medianfilter eine geringe Effizienz bei weißem Rauschen auf . Hierdurch kann der für weißes Rauschen vorgesehene modi fizierte NLM Filter unabhängig vom Medianfilter auf die
Bildsignale angewandt werden .
Gemäß einem weiteren Ausführungsbeispiel des Verfahrens wird eine Kalibrierung eines Infrarotsensors der Thermografiekame ra anhand mindestens eines Rauschmodells durchgeführt . Für das System kann ein Rauschmodell anhand von definierten Test körpern im Vorfeld bestimmt werden . Dieses Rauschmodell kann vorzugsweise abhängig von Umgebungsbedingungen ausgestaltet sein .
Die Umgebungsbedingungen können dabei eine Temperatur, Witte- rungsverhältnisse, eine Tageszeit, Umgebungslichtverhältnisse und dergleichen umfassen . Das Rauschmodell kann zusätzlich Störeinflüsse im Amplitudenbereich pro Pixel oder Pixelgruppe des Sensors der Thermografiekamera sowie geometrische Verzer rungen des Sensors oder einer Optik der Thermografiekamera aufweisen .
Nach einem weiteren Ausführungsbeispiel des Verfahrens wird zum Durchführen der Kalibrierung mindesten ein lokales
Rauschmodell für mindestens einen Bereich des Infrarotsensors angewandt . Es können somit für j eden Bereich des Infra rotsensors lokale Rauschmodelle definiert und in einer Steu ereinheit oder der Verarbeitungseinheit hinterlegt werden .
Über eine zeitliche Beobachtung der Testkörper kann auch ein lokaler Sensordrift des Infrarotsensors ermittelt werden . Mithilfe der lokalen Rauschmodelle kann anschließend eine an gepasste Rauschreduzierung vorgenommen werden . Durch die Ver wendung von Rauschmodellen können insbesondere Sensorbereiche mit einer hohen Rauschneigung oder einem hohen Sensordrift stärker durch den Einsatz der Filter entrauscht werden . Mit hilfe des global und lokal bestimmten Sensordrifts können die Amplitudenwerte der einzelnen Sensorpixel skaliert und damit der Einfluss der Sensordrifts des Infrarotsensors optimal ausgeglichen werden .
Gemäß einem weiteren Ausführungsbeispiel des Verfahrens wird das mindestens eine Rauschmodell anhand von erkannten Objek ten und/oder Umgebungsbedingungen adaptiert . Hierdurch kann das Rauschmodell zusätzlich in mindestens einer EinsatzSitua tion anhand von erkannten realen Objekten, wie beispielsweise Personen, adaptiert werden . Somit kann eine situationsabhän gige Wahl eines Rauschmodells mit einer entsprechend ange passten Kopplung des ersten und des mindestens einen zweiten Filters vorgenommen werden .
Das Verfahren kann dadurch an eine hohe Variation von Hinder nissen und Umgebungsbedingungen adaptiert bzw . ausgerichtet werden . Hierbei können abhängig von der Ausführung der Verar beitungseinheit weitergehende Aktionen initiiert werden, wel- che einen Einfluss auf das Fahrzeug haben . Dabei kann die Re aktion des Fahrers auf eine Aktion der Verarbeitungseinheit berücksichtigt werden .
Nach einem weiteren Ausführungsbeispiel des Verfahrens wird basierend auf einem Ergebnis der Objekterkennung eine Warnung an einen Fahrer des Fahrzeugs erzeugt oder eine Aktion des Fahrzeugs eingeleitet . Die Verarbeitungseinheit kann eine au tomatisierte Analyse der bearbeiteten Bildsignale durchführen und selbstständig entscheiden, ob eine reale Gefahr, bei spielsweise durch eine Person auf der Straße oder den Gleisen oder durch gefährliche Gegenstände in der Traj ektorie des Fahrzeugs , vorliegt .
Wenn die Verarbeitungseinheit eine entsprechende gefährliche Situation feststellen konnte, kann abhängig von einer Fahr zeuggeschwindigkeit, einem Abstand zur Gefahr und der Art der Gefahr ein Warnsignal, ein Ausweichmanöver oder ein Bremsma növer eingeleitet werden .
Gemäß einem weiteren Aspekt der Erfindung wird ein modifi zierter Entrauschungsfilter zum Bearbeiten von mindestens ei nem fahrzeugintern ermittelten Bildsignal bereitgestellt . Der Entrauschungsfilter weist eine auf nicht-lokalen Mittelwerten basierende Einheit zum Entrauschen von Bildsignalen mit einem begrenzbaren Wirkbereich innerhalb des mindestens einen
Bildsignals auf, wobei der begrenzbare Wirkbereich als ein Gewichtungsfaktor eines bilateralen Entrauschungsfilters aus gestaltet ist .
Die auf nicht-lokalen Mittelwerten basierende Einheit kann vorzugsweise ein sogenannter „Non-Local-Means" (NLM) Entrau schalgorithmus sein . Derartige NLM Filter weisen eine effek tive Unterdrückung von weißem Rauschens bei gleichzeitigem Erhalt von Kanten und feinen Strukturen auf . Anders als bei einer gaußschen Entrauschung werden Mittelwerte zum „glätten" der Pixel in den Bildsignalen nicht lokal gebildet, sondern beispielsweise in einer gesamten Bilddatei bzw . innerhalb des gesamten Bildsignals gesucht und verwendet . Dabei können Pi xel mit einer ähnlichen Farbe oder einer ähnlichen Helligkeit zum Durchführen einer Mittelung gesucht .
Im Gegensatz zum NLM Filter wirkt ein bilateraler Entrau- schungsfilter nur in einer lokalen Umgebung eines Pixels . Mit dem NLM Filter gemein ist dabei die Idee, ähnliche Pixel mit einander zu mittein . Dazu wertet der bilaterale Entrau- schungsfilter eine geographische sowie eine photometrische Ähnlichkeit aus . Die photometrische Ähnlichkeit kann dabei auf Farben oder Helligkeiten basieren . Die Implementierung kann dabei, genauso wie der Gaußsche Mittelwertfilter, den Abstand der miteinander zu vergleichenden Pixel berücksichti gen, indem ein zu entrauschendes Pixel mit einem größeren ge ographischen Abstand zu einem benachbarten Pixel, ein gerin geres Gewicht zugewiesen bekommt als eines mit einem geringe ren geographischen Abstand.
Der erfindungsgemäße Entrauschungsfilter kann die Eigenschaf ten des NLM Fiters und die des bilateralen Entrauschungsfil- ters miteinander kombinieren . In natürlichen Szenen bzw .
Fahrzeugumgebungen, welche von der Thermografiekamera aufge- zeichnet werden, kann angenommen werden, dass Grauwerte weit voneinander entfernter Pixel wenig miteinander korrelieren .
Aus diesem Grund wird der Grundansatz des theoretischen NLM Filters , ähnliche Pixel in dem gesamten Bildsignal zu suchen, nicht berücksichtigt . In einer realen Implementierung des NLM Filters kann durch eine Beschränkung des Suchfensters diese Fragestellung umgangen werden . Die Beschränkung des Suchfens ters bzw . des Wirkbereichs weist j edoch eindeutige Grenzen, wie beispielsweise einen definierten Radius um ein zu entrau schendes Pixel des Bildsignals , auf .
Der bilaterale Entrauschungsfilter weist im Hinblick auf den Wirkbereich dahingehend Vorteile auf, als dass weiter ent fernte Pixel eine geringere Gewichtung erhalten als näher ge legene Pixel des mindestens einen Bildsignals . Hierdurch kann somit eine optimierte Entrauschung von Bildsignalen durchge führt werden, welche die Vorzüge eines NLM Filters mit den Vorzügen eines bilateralen Filters kombiniert .
Nach einem Ausführungsbeispiel des Entrauschungsfilters ist der Gewichtungsfaktor des bilateralen Entrauschungsfilters eine Multiplikation aus einem geographischen Gewicht und ei nem photometrischen Gewicht . Es können somit sogenannte wei che Wirkbereiche zum Anwenden einer Entrauschung realisiert werden . Scharfe Kanten und Linien können aufgrund der photo metrischen Gewichtung vor einer Entrauschung geschützt wer den, sodass essentielle Details eines Bildsignals trotz der Anwendung des Entrauschungsfilters erhalten bleiben .
Gemäß einem weiteren Ausführungsbeispiel des Entrauschungs- filters ist der modifizierte Entrauschungsfilter basierend auf dem Algorithmus :
Figure imgf000009_0001
mit einer Normalisierungskonstante Z — ill)w(l,i)
Figure imgf000009_0002
zum Reduzieren eines Bildrauschens des mindestens einen
Bildsignals betreibbar . Dabei entspricht v (j ) dem Bildsignal bzw . den Pixeln des Bildsignals , welche entrauscht werden soll . Die Variable w (i, j ) der Gewichtungsfaktor, welcher als eine Multiplikation der photometrischen Gewichtung und der geografischen Gewichtung ausgestaltet ist . Ge ( I i-j I ) ent spricht dem gaußschen Kernel bzw . der gaußschen NormalVertei lungsfunktion .
Nach einem weiteren Ausführungsbeispiel des Entrauschungsfil ters ist der Entrauschungsfilter ein eigenständiger Hardware filter oder ein in ein Steuergerät eines Fahrzeugs integrier- ter Filter . Hierdurch kann der Entrauschungsfilter sowohl in bestehende softwaregesteuerte oder hardwaregesteuerte Steuer einheiten integriert werden oder als eine eigenständige Er weiterung eines Systems oder einer Vorrichtung ausgestaltet sein . Insbesondere kann der Entrauschungsfilter seriell in einer BildverarbeitungsSchaltung angeordnet sein .
Die oben beschriebenen Eigenschaften, Merkmale und Vorteile dieser Erfindung sowie die Art und Weise, wie diese erreicht werden, werden klarer und deutlicher verständlich durch die Erläuterung der folgenden stark vereinfachten schematischen Darstellungen bevorzugter Ausführungsbeispiele . Hierbei zei gen :
FIG 1 eine schematische Darstellung eines Fahrzeugs zum Aus- führen eines Verfahrens gemäß einer Ausführungsform der Erfindung und
FIG 2 ein schematisches Ablaufdiagramm des Verfahrens gemäß einer Ausführungsform der Erfindung .
In den Figuren weisen dieselben konstruktiven Elemente je weils dieselben BezugsZiffern auf .
Die FIG 1 zeigt eine schematische Darstellung eines Fahrzeugs 1 zum Ausführen eines Verfahrens 2 gemäß einer Ausführungs- form der Erfindung .
Das Fahrzeug 1 ist hier als ein Schienenfahrzeug ausgestaltet und weist eine in Fahrtrichtung ausgerichtete Thermografiekä mera 4 auf . Mit Hilfe der Thermografiekamera 4 kann eine Fahrzeugumgebung unabhängig von äußeren Lichtverhältnissen überwacht werden .
Die Thermografiekamera 4 mit einer Verarbeitungseinheit 6 bzw . einem Steuergerät 6 gekoppelt . Die von der Thermografie kamera 4 erzeugten Bilder können somit als analoge oder digi tale Bildsignale von der Verarbeitungseinheit 6 empfangen werden . Die Bildsignale können einzelne Bilder oder bewegte Bilder, wie beispielsweise EchtZeitaufnahmen einer Fahr zeugumgebung sein .
Die Bildsignale werden zuvor von einem modifizierten Entrau- schungsfilter 8 bearbeitet . Der Entrauschungsfilter 8 ist als ein Hardwarefilter ausgeführt und seriell zwischen der Ther mografiekamera 4 und der Verarbeitungseinheit 6 geschaltet .
Die Verarbeitungseinheit 6 kann die vorverarbeiteten Bildsig nale analysieren und insbesondere eine Objekterkennung durch führen .
In der FIG 2 ist ein schematisches Ablaufdiagramm des Verfah rens 2 gemäß einer Ausführungsform der Erfindung veranschau licht .
In einem ersten Schritt 10 wird eine Fahrzeugumgebung von der Thermografiekamera 4 erfasst .
Anschließend werden die Daten der Thermografiekamera 4 in Form von digitalen Bildsignalen an einen ersten Filter 8 übertragen 12. Der erste Filter 8 ist ein modifizierter Ent rauschungsfilter 8, welcher ein non-local-median Entrau schungsfilter mit Gewichtungsfaktoren eines bilateralen Ent rauschungsfilters ist .
Der erste Filter 8 kann dabei weißes Rauschen der Bildsignale kompensieren 14. Anschließend erfolgt eine Weiterleitung der gefilterten Bildsignale an die Verarbeitungseinheit 6. In der Verarbeitungseinheit 6 ist als erste Instanz ein zweiter Fil ter angeordnet . Der zweite Filter ist ein Softwarefilter, welcher in der Verarbeitungseinheit als ein Modul ausgestal tet ist . Gemäß dem Ausführungsbeispiel ist der zweite Filter ein Medianfilter zum Entfernen von Schrotrauschen .
Die durch die beiden Filter bearbeiteten Bildsignale werden anschließend dem Fahrer des Fahrzeugs 1 dargestellt 16, so- dass der Fahrer selbst über die Fahrzeugumgebung überblicken kann .
Alternativ oder zusätzlich können die bearbeiteten Bildsigna- le von der Verarbeitungseinheit 6 analysiert 18 und auf Hin dernisse oder Gefahren hin geprüft werden .
Sollte die Verarbeitungseinheit 6 beispielsweise eine erfolg reiche Personenerkennung während der Analyse durchgeführt ha- ben, so kann eine Rückmeldung 20 an den Fahrer oder eine
Fahrzeugaktion 22 durchgeführt werden . Die Fahrzeugaktion 22 kann beispielsweise ein BremsVorgang sein .

Claims

Patentansprüche
1. Verfahren (2) zur Objekterkennung für ein Fahrzeug (1) mit einer Thermografiekamera (4), wobei
- ein Umgebungsbereich des Fahrzeug (1) durch die Thermogra- fiekamera (4) erfasst ( 10 ) und in mindestens ein Bildsignal umgewandelt wird,
- das mindestens eine Bildsignal durch einen ersten Filter (8, 12 ) und durch mindestens einen zweiten Filter bearbei tet ( 14 ) wird und
- das mindestens eine bearbeitete Bildsignal zur Objekterken nung durch einen Fahrer dargestellt (16) oder durch eine Verarbeitungseinheit analysiert ( 18 ) wird,
dadurch gekennzeichnet, dass als erster Filter (8) ein modi fizierter non-local-means Entrauschungsfilter zum Bearbeiten des mindestens einen Bildsignals angewandt wird.
2. Verfahren nach Anspruch 1 , wobei als der mindestens eine zweite Filter ein Entrauschungsfilter für Schrotrausehen, ei ne Schärfefilter und/oder einen Farbkorrekturfilter zum Bear beiten des mindestens einen Bildsignals angewandt wird ( 14 ) .
3. Verfahren nach Anspruch 1 oder 2 , wobei der erste Filter (8) vor oder nach dem mindestens einen zweiten Filter zum Be arbeiten des mindestens einen Bildsignals eingesetzt wird.
4. Verfahren nach einem der Ansprüche 1 bis 3, wobei eine Ka librierung eines Infrarotsensors der Thermografiekamera (4) anhand mindestens eines Rauschmodells durchgeführt wird.
5. Verfahren nach Anspruch 4 , wobei zum Durchführen der Ka librierung mindesten ein lokales Rauschmodell für mindestens einen Bereich des Infrarotsensors angewandt wird.
6. Verfahren nach Anspruch 4 oder 5, wobei das mindestens ei ne Rauschmodell anhand von erkannten Objekten und/oder Umge- bungsbedingungen adaptiert wird.
7. Verfahren nach einem der Ansprüche 1 bis 6, wobei basie rend auf einer Analyse der Verarbeitungseinheit (6) eine War nung an den Fahrer des Fahrzeugs (1) ausgegeben (20) oder ei ne Aktion des Fahrzeugs (1) eingeleitet (22) wird.
8. Modifizierter Entrauschungsfilter (8) zum Bearbeiten von mindestens einem fahrzeugintern ermittelten Bildsignal, auf weisend eine auf nicht-lokalen Mittelwerten basierende Ein heit zum Entrauschen von Bildsignalen mit einem begrenzbaren Wirkbereich innerhalb des mindestens einen Bildsignals , dadurch gekennzeichnet, dass der begrenzbare Wirkbereich als ein Gewichtungsfaktor eines bilateralen Entrauschungsfilters ausgestaltet ist .
9. Entrauschungsfilter nach Anspruch 8 , wobei der Gewich tungsfaktor (w) des bilateralen Entrauschungsfilters eine Multiplikation einer geographischen Gewichtung und einer pho tometrischen Gewichtung ist .
10. Entrauschungsfilter nach Anspruch 8 oder 9, wobei der mo difizierte Entrauschungsfilter (8) basierend auf dem Algo rithmus :
Figure imgf000014_0001
mit einer Normalisierungskonstante Z :
Figure imgf000014_0002
zum Reduzieren eines Bildrauschens des mindestens einen Bildsignals betreibbar ist .
11. Entrauschungsfilter nach einem der Ansprüche 8 bis 10 , wobei der Entrauschungsfilter (8) ein eigenständiger Hard warefilter oder ein in ein Steuergerät eines Fahrzeugs ( 1 ) integrierter Filter ist .
PCT/EP2019/055370 2018-03-29 2019-03-05 Verfahren zur objekterkennung für ein fahrzeug mit einer thermografiekamera und modifizierter entrauschungsfilter WO2019185304A1 (de)

Priority Applications (1)

Application Number Priority Date Filing Date Title
EP19713359.8A EP3714398A1 (de) 2018-03-29 2019-03-05 Verfahren zur objekterkennung für ein fahrzeug mit einer thermografiekamera und modifizierter entrauschungsfilter

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102018204881.9 2018-03-29
DE102018204881.9A DE102018204881A1 (de) 2018-03-29 2018-03-29 Verfahren zur Objekterkennung für ein Fahrzeug mit einer Thermografiekamera und modifizierter Entrauschungsfilter

Publications (1)

Publication Number Publication Date
WO2019185304A1 true WO2019185304A1 (de) 2019-10-03

Family

ID=65911107

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2019/055370 WO2019185304A1 (de) 2018-03-29 2019-03-05 Verfahren zur objekterkennung für ein fahrzeug mit einer thermografiekamera und modifizierter entrauschungsfilter

Country Status (3)

Country Link
EP (1) EP3714398A1 (de)
DE (1) DE102018204881A1 (de)
WO (1) WO2019185304A1 (de)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102022208821A1 (de) 2022-08-25 2024-03-07 Siemens Mobility GmbH Konzept zum Detektieren einer sich in einer Umgebung eines Schienenfahrzeugs befindenden Anomalie

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2003063468A1 (de) * 2002-01-22 2003-07-31 Robert Bosch Gmbh Verfahren und vorrichtung zur bildverarbeitung sowie nachtsichtsystem für kraftfahrzeuge
EP1975673A2 (de) * 2007-03-30 2008-10-01 Ford Global Technologies, LLC Anzeige für ein Automobilnachtsichtsystem
US20110227944A1 (en) * 2010-03-16 2011-09-22 Honeywell International Inc. Display systems and methods for displaying enhanced vision and synthetic images

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2213019B (en) * 1980-08-19 1989-10-25 Elliott Brothers London Ltd Head-up display systems
LU92673B1 (en) * 2015-03-05 2016-09-06 Iee Int Electronics & Eng Sa Method and system for real-time noise removal and image enhancement of high-dynamic range images
DE102016104043A1 (de) * 2016-03-07 2017-09-07 Connaught Electronics Ltd. Verfahren zum Erzeugen eines rauschreduzierten Bilds anhand eines Rauschmodells von mehreren Bildern, sowie Kamerasystem und Kraftfahrzeug

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2003063468A1 (de) * 2002-01-22 2003-07-31 Robert Bosch Gmbh Verfahren und vorrichtung zur bildverarbeitung sowie nachtsichtsystem für kraftfahrzeuge
EP1975673A2 (de) * 2007-03-30 2008-10-01 Ford Global Technologies, LLC Anzeige für ein Automobilnachtsichtsystem
US20110227944A1 (en) * 2010-03-16 2011-09-22 Honeywell International Inc. Display systems and methods for displaying enhanced vision and synthetic images

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
"Thermal Infrared Sensors : Theory, Optimisation and Practice", 2011, JOHN WILEY & SONS, article HELMUT BUDZIER ET AL: "Chapter 7.3. Thermal Imaging Cameras", pages: 260 - 270, XP055598500 *
LIU FENG-LIAN ET AL: "A novel denoising method for infrared image based on bilateral filtering and non-local means", OPTOELECTRONICS LETTERS, SPRINGER, GERMANY, vol. 13, no. 3, 24 May 2017 (2017-05-24), pages 237 - 240, XP036243532, ISSN: 1673-1905, [retrieved on 20170524], DOI: 10.1007/S11801-017-7007-8 *

Also Published As

Publication number Publication date
DE102018204881A1 (de) 2019-10-02
EP3714398A1 (de) 2020-09-30

Similar Documents

Publication Publication Date Title
DE102018116111B4 (de) Ein einheitliches tiefes faltendes neuronales Netzwerk für die Abschätzung von Freiraum, die Abschätzung der Objekterkennung und die der Objektstellung
DE112012001318B4 (de) Redundante Objektdetektion für Fahrerassistenzsysteme
WO2005048195A2 (de) Verfahren zur korrespondenzanalyse in bilddatensätzen
DE102017203276B4 (de) Verfahren und Vorrichtung zur Ermittlung einer Trajektorie in Off-road-Szenarien
DE102013205854B4 (de) Verfahren zum Detektieren eines freien Pfads mittels temporärer Koherenz
DE102018133441A1 (de) Verfahren und System zum Bestimmen von Landmarken in einer Umgebung eines Fahrzeugs
DE102018204451A1 (de) Verfahren und Vorrichtung zur Autokalibrierung eines Fahrzeugkamerasystems
WO2022128014A1 (de) Korrektur von bildern eines rundumsichtkamerasystems bei regen, lichteinfall und verschmutzung
DE102017123982A1 (de) Fahrerassistenzsystem zur Bestimmung einer Entfernung zwischen zwei Fahrzeugen mit einer Kamera
WO2019185304A1 (de) Verfahren zur objekterkennung für ein fahrzeug mit einer thermografiekamera und modifizierter entrauschungsfilter
DE102018121866A1 (de) Verfahren zur Tiefenabschätzung von zweidimensionalen Sensordaten
DE102016216962B3 (de) Verfahren und Steuerungseinheit zur Nachführung eines Bildausschnitts
EP2037407B1 (de) Verfahren zur Objekterfassung
DE102022212343A1 (de) Autonom-fahrsystem
DE102018208481A1 (de) Abschätzen eines Verlaufs eines Schienenpfads
DE102017221381A1 (de) Verfahren, Vorrichtung und Computerprogramm zum Ermitteln eines Abstandes zu einem Objekt
DE102014009522A1 (de) Verfahren zur Erfassung einer Umgebung eines Fahrzeugs
DE102020208080A1 (de) Erkennung von Objekten in Bildern unter Äquivarianz oder Invarianz gegenüber der Objektgröße
WO2022128013A1 (de) Korrektur von bildern einer kamera bei regen, lichteinfall und verschmutzung
EP4053593A1 (de) Verarbeitung von sensordaten in einem fortbewegungsmittel
DE102019008081A1 (de) Verfahren zu einer kamerabasierten dreidimensionalen Rekonstruktion
DE102018126506A1 (de) Regenerkennung mit einem Umgebungssensor zur punktweisen Erfassung einer Umgebung eines Fahrzeugs, insbesondere mit einem LiDAR-basierten Umgebungssensor
WO2018188700A1 (de) Surround-view-system für ein fahrzeug
DE102017214731A1 (de) Verfahren und Vorrichtung zum Bestimmen einer hochgenauen Position und zum Betreiben eines automatisierten Fahrzeugs
DE102010009620A1 (de) Verfahren und Vorrichtung zur Detektion mindestens eines Hindernisses in einem Fahrzeugumfeld

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19713359

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019713359

Country of ref document: EP

Effective date: 20200623

NENP Non-entry into the national phase

Ref country code: DE