WO2016177372A1 - Verfahren und vorrichtung zur erkennung und bewertung von umwelteinflüssen und fahrbahnzustandsinformationen im fahrzeugumfeld - Google Patents

Verfahren und vorrichtung zur erkennung und bewertung von umwelteinflüssen und fahrbahnzustandsinformationen im fahrzeugumfeld Download PDF

Info

Publication number
WO2016177372A1
WO2016177372A1 PCT/DE2016/200208 DE2016200208W WO2016177372A1 WO 2016177372 A1 WO2016177372 A1 WO 2016177372A1 DE 2016200208 W DE2016200208 W DE 2016200208W WO 2016177372 A1 WO2016177372 A1 WO 2016177372A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
condition information
vehicle
road condition
changes
Prior art date
Application number
PCT/DE2016/200208
Other languages
English (en)
French (fr)
Inventor
Bernd Hartmann
Sighard SCHRÄBLER
Manuel AMTHOR
Joachim Denzler
Original Assignee
Continental Teves Ag & Co. Ohg
Friedrich-Schiller-Universität Jena
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Continental Teves Ag & Co. Ohg, Friedrich-Schiller-Universität Jena filed Critical Continental Teves Ag & Co. Ohg
Priority to DE112016001213.6T priority Critical patent/DE112016001213A5/de
Publication of WO2016177372A1 publication Critical patent/WO2016177372A1/de
Priority to US15/802,868 priority patent/US20180060676A1/en

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/06—Road conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/24323—Tree-organised classifiers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00—Input parameters relating to infrastructure
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking

Definitions

  • the invention relates to a method for detecting and assessing environmental influences in the environment of a vehicle. Furthermore, the invention relates to a device for carrying out the aforementioned method and a vehicle with such a device.
  • Image capture allows the use of camera-based
  • Driver assistance systems that are placed behind the windshield capture the visual perception of the driver corresponding to the apron of the vehicle.
  • the functional scope of these systems extends from the high-beam automatic lighting system to the detection and display of speed limits to the warning of lane departure errors or imminent collision. Starting from the pure apron detection up to the
  • the task of digital image processing as a stand-alone function or in fusion with radar or lidar sensors is primarily to recognize objects, to classify them and to follow them in the image section.
  • Classic objects are usually a variety of vehicles such as cars, trucks, two-wheelers or pedestrians.
  • cameras take over the capture of signs, Lane markings, crash barriers, open spaces or other generic objects.
  • the inertial sensors provide a good impression of the current driving condition of the vehicle and the entire driving situation. From this the criticality of driving situations can be deduced and the
  • the design of the warning and intervention times is basically based on a dry roadway with high traction potential between the tire and the road.
  • the object of the present invention can therefore be to provide a method and a device of the aforementioned type, by means of which the road condition or even the available coefficient of friction can be determined or at least estimated by the system, so that driver warnings and system interventions can be carried out in a correspondingly more targeted manner and thereby the effectiveness of accident-avoidance driver assistance systems can be increased.
  • the inventive method for detecting and assessing environmental influences in the environment of a vehicle according to claim 1 comprises the method steps
  • Image sharpness changes from the center of the image sections is carried out to the outside, Determining an environmental status information as a function of the detected image sharpness changes between the image sections using methods of machine learning and
  • Image processing algorithms are searched for specific features, which allow to infer environmental conditions in the environment of the vehicle and thus on the current road condition.
  • the selected image section represents the so-called “region of interest (ROI)” which is evaluated, and it is possible to extract features which are suitable for the ROI
  • the method according to the invention uses algorithms of digital image processing with the aim of recognizing and evaluating environmental influences in the immediate surroundings of a vehicle.
  • Environmental influences such as rain, heavy rain or snowfall but also their effects such as splashing water,
  • Water spray or even snow towing from own but also from other vehicles traveling in front or from the side can be detected or detected, from which a corresponding environmental status information can be determined.
  • the procedure is characterized in particular by the fact that the temporal context is included by a sequence of at least two images and thus the feature space is extended by the temporal dimension.
  • the provision of the camera can take place in particular within the vehicle, preferably behind the windshield, so that a visual
  • Perception of a driver of the vehicle according to the apron of the vehicle can be detected.
  • a digital camera is provided with which the at least two images can be recorded directly digitally and evaluated by means of digital image processing algorithms.
  • a monocamera or a stereo camera can be used to generate the images, since depth information from the image can also be used for the algorithm, depending on the severity.
  • the method is particularly robust because the temporal context is included. It is assumed that an image sequence of successive images has little change in the image sharpness in the scene and large changes in the calculated feature values of incident and / or disappearing environmental influences (for example, raindrops or
  • successive pictures of interest and not the whole Change within the sequence eg tunnel entrances or passing objects.
  • the calculation of individual image features is weighted in descending order from the inside to the outside. In other words, changes in the center of the selected region are weighted more heavily than changes that occur away from the center.
  • a sudden change which should find no or only a subordinate input in the determination of the environmental state information, for example, can be caused by a laterally passing vehicle.
  • the individual features form a feature vector, which combines the various information from the ROI, in order to be able to decide more robustly and more accurately on the presence of such environmental influences in the classification step.
  • Different feature types yield a set of feature vectors. The resulting set of feature vectors is called
  • Feature descriptor may be by simple concatenation, weighted combination, or other non-linear mapping.
  • the feature descriptor can then be of a classification system (classifier) at least one
  • Environmental status classes are, for example, "environmental influences yes / no” or “(heavy) rain” and "remainder.”
  • a classifier is a mapping of the feature descriptor to a discrete number representing the classes to be recognized
  • Decision Forest used. Decision trees are hierarchically arranged Classifiers that split the classification problem like a tree. Beginning in the root, the path to a leaf node is made on the basis of the decisions made, in which the final classification decision takes place. Due to the learning complexity, very simple classifiers, the so-called decision stumps, which separate the input space orthogonally to a coordinate axis, are preferably used for the inner nodes. Decision forests are collections of decision trees that contain randomized elements in training trees, preferably at two sites. First, each tree is trained with a random selection of training data, and second, for each binary decision, only a random selection of allowed dimensions is used. In the leaf nodes, class histograms are stored that contain a
  • Class histograms store the number of times a feature descriptor of particular information about environmental impact when traversing the decision tree reaches the appropriate leaf node. As a result, each class may preferably be assigned a probability calculated from the class histograms.
  • Class histogram used as the current state, or other methods to transfer the information from the decision trees, for example, in a rain presence decision or other environmental decision.
  • An optimization can follow this decision per input image. This optimization may take into account temporal context or other information provided by the vehicle. Temporal context is preferably taken into account by using the most common class from a previous time period or by means of a so-called hysteresis threshold method. In the hysteresis threshold method, the change from one road condition to the other is regulated by means of threshold values. A change takes place only when the hysteresis threshold method.
  • the image section may advantageously be a central image section, which preferably comprises a center image section around the optical vanishing point of the images.
  • This central image section is preferably directed forward in the vehicle direction and forms the ROI.
  • the choice of such a central image section has the advantage that disturbances in the detection of changes in the region can be kept particularly low, in particular because the lateral area of the vehicle is particularly little taken into account when driving straight ahead.
  • this embodiment is characterized in particular by the fact that for the purpose of judging
  • Vanishing point is used around.
  • the image section can advantageously also comprise a recognized, moving obstacle, eg focused on a vehicle or a two-wheeler, in order to display indicators for spray water, spray, spray mist, snowflakes etc in the immediate vicinity, in particular in the lower area of these objects to detect.
  • the moving obstacles each form an ROI.
  • weather-related environmental influences eg spray water,
  • Spray, mist and snow) dedicated image excerpts are used, which are determined based on available object hypotheses - preferably preceding or laterally moving vehicles.
  • the weighting can be realized with different approaches, e.g. the exclusive viewing of the
  • Vanishing point in the picture or looking at a moving vehicle can advantageously also be weighted in accordance with a Gaussian function with a normally distributed weighting.
  • the calculation of the image sharpness can be realized by means of numerous methods, preferably based on homomorphic filtering.
  • the homomorphic filtering provides
  • Gauss filtered be approximated and thereby the required computing time can be reduced.
  • the sharpness calculation can be on different
  • Image representations are done (RGB, Lab, gray value, etc.) preferably on HSI channels.
  • the values thus calculated, as well as their mean and variance, can serve as individual image features.
  • accident avoidance driver assistance system e.g. for one
  • Autonomous Emergency Brake function in order to be able to adjust the warning and intervention times of the driver assistance system in a particularly effective manner.
  • ADAS Advanced Driver Assistance Systems
  • the device according to the invention for carrying out the method described above comprises a camera which is set up to produce at least two successive images.
  • the device is further configured to select a same image detail on the at least two images, to determine changes in the image sharpness between the at least two image sections by means of digital image processing algorithms and thereby to weight a weighting of the image sharpness changes from the center of the image sections to the outside, an environmental status information Depending on the detected changes in image sharpness between the image sections with the help of methods of machine learning to determine and a Determine road condition information in dependence of the determined environmental state information.
  • the vehicle according to the invention comprises an above
  • FIG. 1 and 2 each show a representation of calculated image intensities for a central image detail (FIG. 1) and a dedicated image detail (FIG. 2) according to two
  • Embodiments of the method according to the invention. 1 and 2 the front part of an embodiment of a vehicle 1 according to the invention is shown, which is equipped with an embodiment of a device according to the invention, not shown, comprising a camera.
  • the camera is provided inside the vehicle behind the windshield, so that a visual perception of a driver of the vehicle 1 corresponding to the apron of the vehicle
  • the camera has consecutively generated two digital images and the device has the in Figs. 1 and
  • Image sections 2 calculated on the basis of the homomorphic filtering, the result of which is shown by Fig. 1 and 2.
  • the image section 2 according to FIG. 1 is a central image section which comprises a center image section around the optical vanishing point of the images.
  • This central image section 2 is directed ahead in the vehicle direction and forms the region of interest.
  • the image detail according to FIG. 2, on the other hand, comprises a recognized, moving obstacle and in this case is focused on another vehicle 3 in order to display indicators for spray water, spray, spray mist, snowflakes, etc.
  • the moving further vehicle 3 forms the region of interest.
  • Changes in image sharpness between the image sections 2 are decreasing from the inside to the outside in accordance with a Gaussian function, i. weighted normally distributed. In other words, changes in the center of the image sections 2 are most heavily weighted and changes in the edge region are taken into account only extremely small when comparing the image sections 2.
  • the device recognizes that only slight changes in image sharpness exist between the image sections and determines therefrom an environmental status information, which includes that there is no rain, spray, spray or snow.
  • the environmental status information is determined by means of machine learning methods and not by manual methods
  • a corresponding classification system is supplied here with data from the changes in the image sharpness of at least 2 images, but preferably of several images. It is not only relevant, how big the change is, but how the change in the temporal context changes. And exactly this course is learned here and found in later recordings. How exactly this course must look, for example, to be dry, is not known. This information is quasi hidden in the classifier and difficult or impossible to predict.
  • the device From the determined environmental state information, the device further determines road condition information, which includes that the roadway is dry.
  • road condition information which includes that the roadway is dry.
  • Driver assistance system of the vehicle communicates, which in this case refrains from adapting warning and intervention times depending on the road condition information.
  • the device would therefrom determine environmental status information which includes, e.g. Rain is present. From the determined
  • the device would then determine road condition information, which implies that the road surface is wet.
  • the lane state information would be communicated to the driver assistance system of the vehicle, which would then adjust warning and intervention times depending on the lane state information.

Abstract

Die Erfindung betrifft ein Verfahren zur Erkennung und Bewertung von Umwelteinflüssen und Fahrbahnzustandsinformationen im Umfeld eines Fahrzeugs (1). Mittels einer Kamera werden aufeinanderfolgend mindestens zwei digitale Bilder erzeugt, auf welchen jeweils ein gleicher Bildausschnitt (2) ausgewählt wird. Mittels Algorithmen digitaler Bildverarbeitung werden Veränderungen der Bildschärfe zwischen den Bildausschnitten (2) der mindestens zwei aufeinander folgenden Bilder erkannt, wobei eine Gewichtung der Bildschärfeveränderungen vom Zentrum der Bildausschnitte (2) nach außen hin abfallend durchgeführt wird. In Abhängigkeit der erkannten Bildschärfeveränderungen zwischen den Bildausschnitten (2) der mindestens zwei aufeinander folgenden Bilder wird eine Umweltzustands-Information mit Hilfe von Methoden des maschinellen Lernens ermittelt und in Abhängigkeit der ermittelten Umwelt-Zustandsinformation wird eine Fahrbahnzustands-Information bestimmt. Weiterhin betrifft die Erfindung eine Vorrichtung zur Durchführung des vorgenannten Verfahrens und ein Fahrzeug (1) mit einer solchen Vorrichtung.

Description

Verfahren und Vorrichtung zur Erkennung und Bewertung von Umwelteinflüssen und Fahrbahnzustandsinformationen im
Fahrzeugumfeld
Gebiet der Erfindung
Die Erfindung betrifft ein Verfahren zur Erkennung und Bewertung von Umwelteinflüssen im Umfeld eines Fahrzeugs. Weiterhin betrifft die Erfindung eine Vorrichtung zur Durchführung des vorgenannten Verfahrens und ein Fahrzeug mit einer solchen Vorrichtung .
Hintergrund der Erfindung
Der technologische Fortschritt im Bereich der optischen
Bilderfassung erlaubt den Einsatz von kamerabasierten
Fahrerassistenzsystemen, die hinter der Windschutzscheibe platziert der visuellen Wahrnehmung des Fahrers entsprechend das Vorfeld des Fahrzeugs erfassen. Die funktionalen Umfange dieser Systeme erstrecken sich dabei von der Fernlichtautomatik über Erkennung und Anzeige von Geschwindigkeitsbegrenzungen bis hin zur Warnung bei Spurhaltefehlern oder drohender Kollision. Ausgehend von der reinen Vorfelderfassung bis hin zum
vollständigen 360° Rundumblick sind heute Kameras in
vielfältigen Applikationen und unterschiedlichen Funktionen für Fahrerassistenzsysteme in modernen Fahrzeugen zu finden. Aufgabe der digitalen Bildverarbeitung als Stand-alone Funktion oder in Fusion mit Radar- oder Lidarsensoren ist es dabei primär Objekte zu erkennen, zu klassifizieren und im Bildausschnitt zu verfolgen. Klassische Objekte sind in der Regel verschiedenste Fahrzeuge wie PKW, LKW, Zweiräder oder Fußgänger. Darüber hinaus übernehmen Kameras die Erfassung von Schildern, Fahrspurmarkierungen, Leitplanken, Freiräumen oder sonstigen generischen Objekten.
Das automatische Erlernen und Erkennen von Objektkategorien und deren Instanzen gehört zu den wichtigsten Aufgaben der digitalen Bildverarbeitung und stellt den aktuellen Stand der Technik dar. Aufgrund der aktuell sehr weit fortgeschrittenen Verfahren, die diese Aufgaben beinahe so gut wie ein Mensch erfüllen können, hat sich inzwischen der Schwerpunkt von einer groben auf eine genaue Lokalisierung der Objekte verlagert.
Im Bereich moderner Fahrerassistenz werden unterschiedliche Sensoren u.a. auch Videokameras eingesetzt um das Fahrzeugumfeld möglichst genau und robust zu erfassen. Diese
Umfeldinformationen zusammen mit den fahrdynamischen
Informationen des Fahrzeugs über z.B. die Inertialsensorik verschaffen einen guten Eindruck über den aktuellen Fahrzustand des Fahrzeugs und die gesamte Fahrsituation. Daraus lässt sich die Kritikalität von Fahrsituationen ableiten und die
entsprechenden Fahrerinformationen/-warnungen bis hin zu fahrdynamischen Eingriffen über Bremse und Lenkung initiieren.
Da der zur Verfügung stehende Reibbeiwert oder Fahrbahnzustand für Fahrerassistenzsysteme jedoch nicht zur Verfügung steht bzw. nicht benannt werden kann, erfolgt die Auslegung der Warn- und Eingriffszeitpunkte grundsätzlich auf Basis einer trockenen Fahrbahn mit hohem Kraftschlusspotential zwischen Reifen und Fahrbahn . Die Fahrerwarnung bzw. der systemseitige Eingriff bei
unfallvermeidenden oder -abschwächenden Systemen erfolgt so spät, dass es bei tatsächlich trockener Fahrbahn - entsprechend der Systemauslegung im Zielkonflikt zwischen rechtzeitiger Warnung und zu früher Fehlwarnung - gerade noch zur Unfallvermeidung oder zur akzeptablen Unfallfolgenminderung reicht. Ist die Fahrbahn jedoch bei Nässe, Schnee oder gar Eis weniger griffig, kann der Unfall nicht mehr verhindert werden und auch die Minderung der Unfallfolgen erzielt nicht den gewünschten Effekt.
Zusammenfassung der Erfindung
Die Aufgabe der vorliegenden Erfindung kann daher darin bestehen, ein Verfahren und eine Vorrichtung der eingangs genannten Art bereitzustellen, mittels welcher der Fahrbahnzustand oder gar der zur Verfügung stehende Reibbeiwert systemseitig bestimmt oder zumindest abgeschätzt werden kann, damit Fahrerwarnungen und auch Systemeingriffe entsprechend zielgerichteter erfolgen können und dadurch die Wirksamkeit von unfallvermeidenden Fahrerassistenzsystemen erhöht werden kann.
Die Aufgabe wird gelöst durch die Gegenstände der unabhängigen Patentansprüche. Bevorzugte Ausführungsformen sind Gegenstand der abhängigen Ansprüche.
Das erfindungsgemäße Verfahren zur Erkennung und Bewertung von Umwelteinflüssen im Umfeld eines Fahrzeugs nach Anspruch 1 umfasst die Verfahrensschritte
- Bereitstellen einer Kamera in dem Fahrzeug,
aufeinander folgendes Erzeugen mindestens zweier digitaler
Bilder mittels der Kamera,
Auswählen eines gleichen Bildausschnitts auf den zwei Bildern,
- Erkennen von Veränderungen der Bildschärfe zwischen den Bildausschnitten mittels Algorithmen digitaler
Bildverarbeitung, wobei eine Gewichtung der
Bildschärfeveränderungen vom Zentrum der Bildausschnitte nach außen hin durchgeführt wird, Ermitteln einer Umweltzustands-Information in Abhängigkeit der erkannten Bildschärfeveränderungen zwischen den Bildausschnitten mit Hilfe von Methoden des maschinellen Lernens und
- Bestimmen einer Fahrbahnzustands-Information in
Abhängigkeit der ermittelten Umwelt-Zustandsinformation.
Gemäß dem erfindungsgemäßen Verfahren wird in den von der Kamera erzeugten Bildern durch Verwendung digitaler
Bildverarbeitungsalgorithmen nach bestimmten Merkmalen gesucht, welche es erlauben, auf Umweltbedingungen im Umfeld des Fahrzeugs und damit auf den aktuellen Fahrbahnzustand zu schließen. Dabei stellt der ausgewählte Bildausschnitt die sogenannte „Region of Interest (ROI)" dar, welche ausgewertet wird. Aus der ROI können Merkmale extrahiert werden, die geeignet sind, die
unterschiedliche Erscheinung der Umgebung in den Bildern der Kamera in Abhängigkeit der Präsenz von solchen Umwelteinflüssen bzw. Umweltbedingungen zu erfassen. In diesem Zusammenhang ist vorteilhaft vorgesehen das Extrahieren von Merkmalen, welche die Bildschärfeveränderung zwischen den Bildausschnitten der mindestens zwei aufeinander folgenden Bilder erfassen, das Bilden eines Merkmalsvektors aus den extrahierten Merkmalen und das Zuweisen des Merkmalsvektors zu einer Klasse mittels eines Klassifikators.
Das erfindungsgemäße Verfahren verwendet Algorithmen der digitalen Bildverarbeitung mit dem Ziel, Umwelteinflüsse im direkten Umfeld eines Fahrzeugs zu erkennen und zu bewerten. Umwelteinflüsse wie beispielsweise Regen, Stark-Regen oder Schneefall aber auch deren Auswirkungen wie Spritzwasser,
Wassergischt oder auch Schneeschleppen vom eigenen aber auch von anderen vorausfahrenden oder seitlich fahrenden Fahrzeugen können detektiert bzw. erkannt werden, woraus eine entsprechende Umweltzustands-Information ermittelt werden kann. Das Verfahren zeichnet sich insbesondere dadurch aus, dass der zeitliche Kontext durch eine Abfolge von mindestens zwei Bildern einbezogen und so der Merkmalsraum um die zeitliche Dimension erweitert wird. Die Entscheidung über das Vorhandensein von
Umwelteinflüssen und/oder den daraus resultierenden Effekten wird somit nicht anhand von absoluten Werten getroffen, was insbesondere dann Fehlklassifikationen verhindert, wenn wenig Bildschärfe vorhanden ist, z.B. bei starkem Regen oder Nebel. Das erfindungsgemäße Verfahren findet bevorzugt in einem
Fahrzeug Anwendung. Das Bereitstellen der Kamera kann dabei insbesondere innerhalb des Fahrzeugs erfolgen, vorzugsweise hinter der Windschutzscheibe, so dass einer visuellen
Wahrnehmung eines Fahrers des Fahrzeugs entsprechend das Vorfeld des Fahrzeugs erfasst werden kann.
Bevorzugt wird eine Digitalkamera bereitgestellt, mit welcher die wenigstens zwei Bilder direkt digital aufgenommen und mittels Algorithmen digitaler Bildverarbeitung ausgewertet werden können. Insbesondere kann eine Monokamera oder eine Stereokamera zum Erzeugen der Bilder zum Einsatz kommen, da je nach Ausprägung auch Tiefeninformationen aus dem Bild für den Algorithmus verwendet werden können. Das Verfahren ist besonders robust, da der zeitliche Kontext einbezogen wird. Es wird angenommen, dass eine Bildsequenz aufeinanderfolgender Bilder wenig Veränderung der Bildschärfe in der Szene aufweist und starke Veränderungen der berechneten Merkmalswerte von auftreffenden und/oder verschwindenden Umwelteinflüssen (beispielsweise Regentropfen oder
Spritzwasser, Sprühnebel, Gischt) verursacht werden. Diese Information wird als weiteres Merkmal verwendet. Dabei ist die sprunghafte Veränderung von Einzelbildmerkmalen
aufeinanderfolgender Bilder von Interesse und nicht die gesamte Veränderung innerhalb der Sequenz, z.B. Tunneleinfahrten oder sich vorbeibewegende Objekte.
Um ungewollte sprunghafte Veränderungen im Randbereich der Bilder, insbesondere im seitlichen Randbereich der Bilder, robust zu entfernen, wird die Berechnung von Einzelbildmerkmalen von innen nach außen absteigend gewichtet. Mit anderen Worten werden Veränderungen im Zentrum der ausgewählten Region stärker gewichtet, als Veränderungen, welche vom Zentrum entfernt auftreten. Eine sprunghafte Veränderung, welche möglichst keinen oder nur einen untergeordneten Eingang in die Ermittlung der Umweltzustands-Information finden soll, kann beispielsweise durch ein seitlich vorbeifahrendes Fahrzeug verursacht werden. Die einzelnen Merkmale bilden einen Merkmalsvektor, welcher die verschiedenen Informationen aus der ROI kombiniert, um im Schritt der Klassifikation robuster und genauer über die Präsenz von derartigen Umwelteinflüssen entscheiden zu können. Verschiedene Merkmalstypen ergeben eine Menge von Merkmalsvektoren. Die so entstandene Menge an Merkmalsvektoren wird als
Merkmalsdeskriptor bezeichnet. Das Zusammensetzen des
Merkmalsdeskriptors kann durch einfache Konkatenation, gewichtete Kombination, oder andere nicht-lineare Abbildungen erfolgen. Der Merkmalsdeskriptor kann anschließend von einem Klassifikationssystem (Klassifikator) mindestens einer
Umweltzustandsklasse zugewiesen werden. Diese
Umweltzustandsklassen sind beispielsweise „Umwelteinflüsse ja/nein" oder „( Stark- ) Regen" und „Rest". Ein Klassifikator ist eine Abbildung des Merkmalsdeskriptors auf eine diskrete Zahl, die die zu erkennenden Klassen repräsentiert. Als Klassifikator wird vorzugsweise ein zufälliger
Entscheidungswald (engl. Random Decision Forest) verwendet. Entscheidungsbäume sind hierarchisch angeordnete Klassifikatoren, die das Klassifikationsproblem baumartig aufspalten. Beginnend in der Wurzel wird auf Basis der getroffenen Entscheidungen der Pfad zu einem Blattknoten beschritten, in welchem die finale Klassifikationsentscheidung stattfindet. Aufgrund der Lernkomplexität werden vorzugsweise für die inneren Knoten sehr einfache Klassifikatoren, die sogenannten decision stumps verwendet, welche den Eingaberaum orthogonal zu einer Koordinatenachse separieren. Entscheidungswälder sind Kollektionen von Entscheidungsbäumen, die an vorzugsweise zwei Stellen randomisierte Elemente beim Trainieren der Bäume enthalten. Als erstes wird jeder Baum mit einer zufälligen Auswahl an Trainingsdaten trainiert und zweitens für jede binäre Entscheidung nur eine zufällige Auswahl zulässiger Dimensionen verwendet. In den Blattknoten werden Klassenhistogramme gespeichert, die eine
Maximum-Likelihood-Schätzung über die den Blattknoten im Training erreichenden Merkmalsvektoren erlauben.
Klassenhistogramme speichern die Häufigkeit, mit der ein Merkmalsdeskriptor einer bestimmten Information über einen Umwelteinfluss beim Durchlaufen des Entscheidungsbaumes den entsprechenden Blattknoten erreicht. Als Ergebnis kann jeder Klasse vorzugsweise eine Wahrscheinlichkeit zugeordnet werden, die sich aus den Klassenhistogrammen berechnet.
Um für einen Merkmalsdeskriptor eine Entscheidung über die Präsenz von solchen Umwelteinflüssen zu treffen, wird
vorzugsweise die wahrscheinlichste Klasse aus dem
Klassenhistogramm als der aktuelle Zustand verwendet, oder andere Methoden, um die Information aus den Entscheidungsbäumen beispielsweise in eine Regenpräsenzentscheidung oder eine andere Umwelteinflussentscheidung zu übertragen. An diese Entscheidung pro Eingabebild kann sich eine Optimierung anschließen. Diese Optimierung kann zeitlichen Kontext berücksichtigen oder weitere Information, die vom Fahrzeug zur Verfügung gestellt werden. Zeitlicher Kontext wird vorzugsweise dadurch berücksichtigt, dass die häufigste Klasse aus einem vorangegangenen Zeitabschnitt verwendet oder mittels eines sogenannten Hysterese-Schwellwertverfahrens berechnet wird. Bei dem Hysterese-Schwellwertverfahren wird der Wechsel von einem Fahrbahnzustand in den anderen anhand von Schwellwerten geregelt. Ein Wechsel erfolgt erst dann, wenn die
Wahrscheinlichkeit für den neuen Zustand hoch genug und für den alten Zustand dementsprechend gering ist.
Gemäß einer bevorzugten Ausführungsform kann der Bildausschnitt vorteilhaft ein zentraler Bildausschnitt sein, welcher bevorzugt einen Mittenbildausschnitt um den optischen Fluchtpunkt der Bilder herum umfasst. Dieser zentrale Bildausschnitt ist bevorzugt in Fahrzeugfahrtrichtung vorausschauend gerichtet und bildet die ROI. Die Auswahl eines solchen Mittenbildausschnitts hat den Vorteil, dass Störungen beim Erkennen von Veränderungen in der Region besonders gering gehalten werden können, insbesondere deshalb, weil der seitliche Bereich des Fahrzeugs bei Geradeausfahrten besonders wenig berücksichtigt wird. Mit anderen Worten ist diese Ausführungsform insbesondere dadurch gekennzeichnet, dass zum Zweck einer Beurteilung von
witterungsbedingten Umwelteinflüssen bzw. Umweltbedingungen wie beispielsweise Regen, Starkregen oder Nebel ein insbesondere größtmöglicher Mittenbildausschnitt um den optischen
Fluchtpunkt herum herangezogen wird. Dabei kann in einer besonders vorteilhaften Form der Einfluss der darin befindlichen Pixel - insbesondere normalverteilt (siehe unten) - von innen nach außen absteigend gewichtet werden, um die Robustheit gegenüber Randerscheinungen wie beispielsweise sich schnell vorbeibewegende Objekte oder Infrastruktur weiter zu steigern. Der Bildausschnitt kann gemäß einer weiteren bevorzugten Ausführungsform vorteilhaft auch ein erkanntes, sich bewegendes Hindernis umfassen, z.B. auf ein Fahrzeug oder ein Zweirad fokussiert sein, um im direkten Umfeld - insbesondere im unteren Bereich dieser Objekte - Indikatoren für Spritzwasser, Gischt, Sprühnebel, Schneefahnen etc. zu detektieren. Die sich bewegenden Hindernisse bilden jeweils eine ROI. Mit anderen Worten werden zum Zweck einer Beurteilung von Effekten aus witterungsbedingten Umwelteinflüssen (z.B. Spritzwasser,
Gischt, Sprühnebel und Schneefahnen) dedizierte Bildausschnitte herangezogen, welche anhand von verfügbaren Objekthypothesen - vorzugsweise vorausfahrende oder seitlich fahrende Fahrzeuge - bestimmt werden.
Die Gewichtung kann mit verschiedenen Ansätzen realisiert werden, wie z.B. das ausschließliche Betrachten des
Fluchtpunktes im Bild oder das Betrachten eines sich bewegenden Fahrzeugs. Weiterhin können Bildschärfeveränderungen zwischen den Bildausschnitten der mindestens zwei aufeinanderfolgenden Bilder von innen nach außen abfallend auch vorteilhaft gemäß einer Gauß-Funktion mit einer normalverteilten Gewichtung gewichtet werden. So ist insbesondere vorgesehen, dass eine normalverteilte Gewichtung um den Fluchtpunkt des
Mittenbildausschnitts oder um das sich bewegende Hindernis erfolgt. Dies hat insbesondere den Vorteil, dass ein zeitliches Bewegungsmuster einzelner Bildbereiche durch den Algorithmus berücksichtigt werden kann. Das Erkennen von Veränderungen der Bildschärfe zwischen den mindestens zwei Bildausschnitten erfolgt anhand einer Berechnung der Veränderung der Bildschärfe innerhalb des Bildausschnitts. Dabei wird ausgenutzt, dass auftreffende unfokussierte
Regentropfen in der betrachteten Region die Schärfe im Kamerabild verändern. Ähnliches gilt für erkannte, sich bewegende Objekte im direkten Umfeld, deren Erscheinungsbild - insbesondere Bildschärfe - sich im Falle von Regen, Spritzwasser, Gischt oder Schneefahnen im zeitlichen Kontext verändert. Um eine Aussage über das Vorhandensein von bestimmten Umwelteinflüssen bzw. Umweltbedingungen oder den daraus resultierenden Effekten treffen zu können, können Merkmale auf Basis der berechneten Bildschärfe extrahiert werden - vorzugsweise mittels
statistischer Momente -, um anschließend eine Klassifikation - vorzugsweise „zufällige Entscheidungswälder" - anhand der ermittelten Merkmale durchzuführen.
Die Berechnung der Bildschärfe kann mit Hilfe von zahlreichen Methoden realisiert werden, vorzugsweise auf Basis der homomorphen Filterung. Die homomorphe Filterung liefert
Reflexionsanteile als Maß für die Schärfe unabhängig von der Beleuchtung im Bild. Weiterhin kann mit Hilfe von
Mehrfachanwendung eines Medianfilters die benötigte
Gaußfilterung approximiert werden und dadurch die benötigte Rechenzeit reduziert werden.
Die Schärfeberechnung kann auf verschiedenen
Bildrepräsentationen geschehen (RGB, Lab, Grauwert, etc.) vorzugsweise auf HSI Kanälen. Die damit berechneten Werte, sowie deren Mittelwert und Varianz können als Einzelbildmerkmale dienen .
Eine weitere bevorzugte Ausführungsform des erfindungsgemäßen Verfahrens umfasst die zusätzlichen Verfahrensschritte
Kommunizieren der Umweltzustands- und/oder
Fahrbahnzustands-Information, welche zuvor anhand der
Umweltzustandsinformation ermittelt worden ist, an ein
Fahrerassistenzsystem eines Fahrzeugs und Anpassen von Warn- und Eingriffszeitpunkten mittels des Fahrerassistenzsystems in Abhängigkeit der Umweltzustands- und/oder
Fahrbahnzustands-Information . Auf diese Weise dient die
Fahrbahnzustands-Information als Eingang für das
unfallvermeidende Fahrerassistenzsystem, z.B. für eine
Autonomous Emergency Brake (AEB) -Funktion, um entsprechend die Warn- und Eingriffszeitpunkte des Fahrerassistenzsystems besonders effektiv anpassen zu können. Die Wirksamkeit von unfallvermeidenden Maßnahmen durch solche sogenannte Advanced Driver Assistance Systems (ADAS) kann dadurch deutlich erhöht werden.
Weiterhin sind folgende Verfahrensschritte vorteilhaft vorgesehen :
Einbeziehen der Umweltzustands- und/oder
Fahrbahnzustands-Information in die Funktion eines automatisierten Fahrzeugs und
Anpassen von Fahrstrategie und Bestimmung von
Übergabezeitpunkten zwischen Automat und Fahrer in
Abhängigkeit der Umweltzustands- und/oder
Fahrbahnzustands-Information .
Die erfindungsgemäße Vorrichtung zur Durchführung des vorstehend beschriebenen Verfahrens, umfasst eine Kamera, welche dazu eingerichtet ist, mindestens zwei aufeinander folgende Bilder zu erzeugen. Die Vorrichtung ist weiterhin dazu eingerichtet einen gleichen Bildausschnitt auf den mindestens zwei Bildern auszuwählen, Veränderungen der Bildschärfe zwischen den mindestens zwei Bildausschnitten mittels Algorithmen digitaler Bildverarbeitung zu ermitteln und dabei eine Gewichtung der Bildschärfeverändeungen vom Zentrum der Bildausschnitte nach außen abfallend zu gewichten, eine Umweltzustands-Information in Abhängigkeit der erkannten Veränderungen der Bildschärfe zwischen den Bildausschnitten mit Hilfe von Methoden des maschinellen Lernens zu ermitteln und eine Fahrbahnzustands-Information in Abhängigkeit der ermittelten Umwelt-Zustandsinformation zu bestimmen.
Bezüglich der Vorteile und vorteilhaften Ausführungsformen der erfindungsgemäßen Vorrichtung wird zur Vermeidung von
Wiederholungen auf die vorstehenden Ausführungen im Zusammenhang mit dem erfindungsgemäßen Verfahren verwiesen, wobei die erfindungsgemäße Vorrichtung die dazu notwendigen Elemente aufweisen bzw. in erweiterter Weise dazu eingerichtet sein kann.
Das erfindungsgemäße Fahrzeug umfasst eine vorstehend
beschriebene erfindungsgemäße Vorrichtung.
Kurze Beschreibung der Figuren
Im Folgenden werden Ausführungsbeispiele der Erfindung anhand der Zeichnung näher erläutert. Hierbei zeigt:
Fig. 1 eine Darstellung berechneter Bildschärfen für einen zentralen Bildausschnitt und
Fig. 2 eine Darstellung berechneter Bildschärfen für einen dedizierten Bildausschnitt. Detaillierte Beschreibung von Ausführungsbeispielen
Fig. 1 und 2 zeigen jeweils eine Darstellung berechneter Bildschärfen für einen zentralen Bildausschnitt (Fig. 1) bzw. einen dedizierten Bildausschnitt (Fig. 2) gemäß zweier
Ausführungsbeispiele des erfindungsgemäßen Verfahrens. In Fig. 1 und 2 ist jeweils der vordere Teil eines Ausführungsbeispiels eines erfindungsgemäßen Fahrzeugs 1 zu sehen, welches mit einem Ausführungsbeispiel einer nicht dargestellten erfindungsgemäßen Vorrichtung ausgerüstet ist, die eine Kamera umfasst. Die Kamera ist innerhalb des Fahrzeugs hinter der Windschutzscheibe bereitgestellt, so dass einer visuellen Wahrnehmung eines Fahrers des Fahrzeugs 1 entsprechend das Vorfeld des Fahrzeugs
1 erfasst werden kann. Die Kamera hat aufeinanderfolgend zwei digitale Bilder erzeugt und die Vorrichtung hat den in Fig. 1 und
Fig. 2 jeweils mit einem Kreis umrandeten gleichen Bildausschnitt
2 in beiden Bildern ausgewählt und mittels Algorithmen digitaler Bildverarbeitung Veränderungen der Bildschärfe zwischen den Bildausschnitten 2 erkannt. In den gezeigten
Ausführungsbeispielen wurde die Bildschärfe für die
Bildausschnitte 2 auf Basis der homomorphen Filterung berechnet, dessen Ergebnis durch Fig. 1 und 2 gezeigt ist.
Dabei ist der Bildausschnitt 2 nach Fig. 1 ein zentraler Bildausschnitt, welcher einen Mittenbildausschnitt um den optischen Fluchtpunkt der Bilder herum umfasst. Dieser zentrale Bildausschnitt 2 ist in Fahrzeugfahrtrichtung vorausschauend gerichtet und bildet die Region of Interest. Der Bildausschnitt nach Fig. 2 hingegen umfasst ein erkanntes, sich bewegendes Hindernis und ist in diesem Fall auf ein weiteres Fahrzeug 3 fokussiert, um im direkten Umfeld - insbesondere im unteren Bereich des weiteren Fahrzeugs 3 - Indikatoren für Spritzwasser, Gischt, Sprühnebel, Schneefahnen etc. zu detektieren. Das sich bewegende weitere Fahrzeug 3 bildet die Region of Interest.
Veränderungen der Bildschärfe zwischen den Bildausschnitten 2 werden von innen nach außen abfallend gemäß einer Gauß-Funktion, d.h. normalverteilt gewichtet. Mit anderen Worten werden Veränderungen im Zentrum der Bildausschnitte 2 am stärksten gewichtet und Veränderungen im Randbereich werden beim Vergleich der Bildausschnitte 2 nur äußerst gering berücksichtigt.
In den durch Fig. 1 und 2 gezeigten Beispielen erkennt die Vorrichtung, dass nur geringe Veränderungen der Bildschärfe zwischen den Bildausschnitten vorliegen und ermittelt daraus eine Umweltzustands-Information, welche beinhaltet, dass kein Regen, Spritzwasser, Gischt oder Schneefahnen vorliegen. Das Ermitteln der Umweltzustands-Information erfolgt dabei mittels Methoden des maschinellen Lernens und nicht durch manuelle
Eingabe. Ein entsprechendes Klassifikationssystem wird hierbei mit Daten aus den Veränderungen der Bildschärfe von mindestens 2 Bildern, bevorzugt jedoch von mehreren Bildern, beliefert. Dabei ist nicht nur von Relevanz, wie groß die Veränderung ist, sondern wie sich die Veränderung im zeitlichen Kontext verändert. Und genau dieser Verlauf wird hier gelernt und in späteren Aufnahmen wiedergefunden. Wie genau dieser Verlauf aussehen muss, um beispielsweise trocken zu sein, ist nicht bekannt. Diese Information ist quasi im Klassifikator verborgen und nur schwer oder gar nicht vorherzusagen.
Aus der ermittelten Umweltzustands-Information ermittelt die Vorrichtung weiterhin eine Fahrbahnzustands-Information, welche beinhaltet, dass die Fahrbahn trocken ist. Die
Fahrbahnzustands-Information wird an ein nicht gezeigtes
Fahrerassistenzsystem des Fahrzeugs kommuniziert, welches in diesem Fall davon absieht Warn- und Eingriffszeitpunkten in Abhängigkeit der Fahrbahnzustands-Information anzupassen. Im alternativen Fall des Detektierens starker Abweichungen zwischen den Bildausschnitten würde die Vorrichtung daraus eine Umweltzustands-Information ermitteln, welche beinhaltet, dass z.B. Regen vorliegt. Aus der ermittelten
Umweltzustands-Information würde die Vorrichtung dann eine Fahrbahnzustands-Information ermitteln, welche beinhaltet, dass die Fahrbahn nass ist. Die Fahrbahnzustands-Information würde an das Fahrerassistenzsystem des Fahrzeugs kommuniziert werden, welches dann Warn- und Eingriffszeitpunkten in Abhängigkeit der Fahrbahnzustands-Information anpassen würde.

Claims

Verfahren zur Erkennung und Bewertung von Umwelteinflüssen und Fahrbahnzustandsinformationen im Umfeld eines
Fahrzeugs (1), umfassend die Verfahrensschritte:
Bereitstellen einer Kamera in dem Fahrzeug (1), aufeinander folgendes Erzeugen mindestens zweier digitaler Bilder mittels der Kamera,
Auswählen eines gleichen Bildausschnitts (2) auf den zwei Bildern,
Erkennen von Veränderungen der Bildschärfe zwischen den mindestens zwei Bildausschnitten (2) mittels Algorithmen digitaler Bildverarbeitung, wobei eine Gewichtung der Bildschärfeveränderungen vom Zentrum der Bildausschnitte (2) nach außen hin abfallend durchgeführt wird,
Ermitteln einer Umweltzustands-Information in
Abhängigkeit der erkannten Bildschärfeveränderungen zwischen den Bildausschnitten (2) mit Hilfe von Methoden des maschinellen Lernens und
Bestimmen einer Fahrbahnzustands-Information in Abhängigkeit der ermittelten
Umwelt-Zustandsinformation .
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass der Bildausschnitt (2) ein zentraler Bildausschnitt um den optischen Fluchtpunkt herum ist.
Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass der Bildausschnitt (2) ein erkanntes, sich bewegendes Hindernis (3) umfasst.
Verfahren nach einem der vorstehenden Ansprüche, dadurch gekennzeichnet, dass Bildschärfeveränderungen zwischen den Bildausschnitten (2) der mindestens zwei
aufeinanderfolgenden Bilder von innen nach außen abfallend gemäß einer Gauß-Funktion gewichtet werden.
Verfahren nach einem der vorstehenden Ansprüche, dadurch gekennzeichnet, dass die Berechnung der Veränderung der Bildschärfe zwischen den Bildausschnitten (2) der mindestens zwei aufeinander folgenden Bilder basierend auf homomorpher Filterung erfolgt.
Verfahren nach einem der vorstehenden Ansprüche,
gekennzeichnet durch
Extrahieren von Merkmalen, welche die
Bildschärfeveränderung zwischen den Bildausschnitten
(2) der mindestens zwei aufeinander folgenden Bilder erfassen;
Bilden eines Merkmalsvektors aus den extrahierten Merkmalen und
Zuweisen des Merkmalsvektors zu einer Klasse mittels eines Klassifikators .
Verfahren nach einem der vorstehenden Ansprüche,
gekennzeichnet durch
Kommunizieren der Umweltzustands- und/oder
Fahrbahnzustands-Information an ein
Fahrerassistenzsystem eines Fahrzeugs und
Anpassen von Warn- und Eingriffszeitpunkten mittels des Fahrerassistenzsystems in Abhängigkeit der Umweltzustands- und/oder
Fahrbahnzustands-Information .
Verfahren nach einem der vorstehenden Ansprüche,
gekennzeichnet durch Einbeziehen der Umweltzustands- und/oder Fahrbahnzustands-Information in die Funktion eines automatisierten Fahrzeugs
Anpassen von Fahrstrategie und Bestimmung von
Übergabezeitpunkten zwischen Automat und Fahrer in
Abhängigkeit der Umweltzustands- und/oder Fahrbahnzustands-Information .
Vorrichtung zur Durchführung des Verfahrens nach einem der vorstehenden Ansprüche, umfassend eine Kamera, welche dazu eingerichtet ist, mindestens zwei aufeinander folgende Bilder zu erzeugen,
wobei die Vorrichtung dazu eingerichtet ist,
einen gleichen Bildausschnitt (2) auf den mindestens zwei Bildern auszuwählen,
Veränderungen der Bildschärfe zwischen den mindestens zwei Bildausschnitten (2) mittels Algorithmen digitaler Bildverarbeitung zu ermitteln und dabei eine Gewichtung der Bildschärfeveränderungen vom Zentrum der Bildausschnitte (2) nach außen hin abfallend durchzuführen,
eine Umweltzustands-Information in Abhängigkeit der erkannten Bildschärfeveränderungen mit Hilfe von Methoden des maschinellen Lernens zu ermitteln und eine Fahrbahnzustands-Information in Abhängigkeit der ermittelten Umwelt-Zustandsinformation zu bestimmen.
10. Fahrzeug (1) umfassend eine Vorrichtung nach Anspruch 9.
PCT/DE2016/200208 2015-05-06 2016-05-04 Verfahren und vorrichtung zur erkennung und bewertung von umwelteinflüssen und fahrbahnzustandsinformationen im fahrzeugumfeld WO2016177372A1 (de)

Priority Applications (2)

Application Number Priority Date Filing Date Title
DE112016001213.6T DE112016001213A5 (de) 2015-05-06 2016-05-04 Verfahren und Vorrichtung zur Erkennung und Bewertung von Umwelteinflüssen und Fahrbahnzustandsinformationen im Fahrzeugumfeld
US15/802,868 US20180060676A1 (en) 2015-05-06 2017-11-03 Method and device for detecting and evaluating environmental influences and road condition information in the vehicle surroundings

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102015208428.0A DE102015208428A1 (de) 2015-05-06 2015-05-06 Verfahren und Vorrichtung zur Erkennung und Bewertung von Umwelteinflüssen und Fahrbahnzustandsinformationen im Fahrzeugumfeld
DE102015208428.0 2015-05-06

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US15/802,868 Continuation US20180060676A1 (en) 2015-05-06 2017-11-03 Method and device for detecting and evaluating environmental influences and road condition information in the vehicle surroundings

Publications (1)

Publication Number Publication Date
WO2016177372A1 true WO2016177372A1 (de) 2016-11-10

Family

ID=56097957

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/DE2016/200208 WO2016177372A1 (de) 2015-05-06 2016-05-04 Verfahren und vorrichtung zur erkennung und bewertung von umwelteinflüssen und fahrbahnzustandsinformationen im fahrzeugumfeld

Country Status (3)

Country Link
US (1) US20180060676A1 (de)
DE (2) DE102015208428A1 (de)
WO (1) WO2016177372A1 (de)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3388973A1 (de) * 2017-04-11 2018-10-17 Continental Teves AG & Co. OHG Verfahren und vorrichtung zur ermittlung eines fahrbahnzustands
WO2019174682A1 (de) * 2018-03-13 2019-09-19 Continental Teves Ag & Co. Ohg Verfahren und vorrichtung zur erkennung und bewertung von fahrbahnzuständen und witterungsbedingten umwelteinflüssen
WO2023019509A1 (zh) * 2021-08-19 2023-02-23 浙江吉利控股集团有限公司 基于环境匹配的车辆定位方法、装置、车辆及存储介质
WO2024002437A1 (de) 2022-06-29 2024-01-04 Continental Autonomous Mobility Germany GmbH Verfahren und system zur strassenzustandsüberwachung durch ein maschinelles lernsystem sowie verfahren zum trainieren des maschinellen lernsystems

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102529918B1 (ko) * 2018-10-16 2023-05-08 현대자동차주식회사 차량 물튐 현상 대응 장치, 그를 포함한 시스템 및 그 방법
JP7143733B2 (ja) * 2018-11-14 2022-09-29 トヨタ自動車株式会社 環境状態推定装置、環境状態推定方法、環境状態推定プログラム
JP7103185B2 (ja) * 2018-11-20 2022-07-20 トヨタ自動車株式会社 判定装置、車両制御装置、判定方法、判定プログラム
US20200379471A1 (en) * 2019-06-03 2020-12-03 Byton North America Corporation Traffic blocking detection
CN111753610A (zh) * 2019-08-13 2020-10-09 上海高德威智能交通系统有限公司 天气识别方法及装置
CN112380930B (zh) * 2020-10-30 2022-04-29 浙江预策科技有限公司 一种雨天识别方法和系统
CN116092013B (zh) * 2023-03-06 2023-06-09 广东汇通信息科技股份有限公司 一种用于智慧监控的危险路况识别方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102006016774A1 (de) * 2005-04-11 2006-10-12 Denso Corp., Kariya Regensensor
US20130258107A1 (en) * 2012-03-29 2013-10-03 Xerox Corporation Method of determining parking lot occupancy from digital camera images
WO2014032933A1 (de) * 2012-08-29 2014-03-06 Bayerische Motoren Werke Aktiengesellschaft Verfahren zum betreiben eines fahrzeugs

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE29811086U1 (de) * 1997-08-22 1998-09-17 Kostal Leopold Gmbh & Co Kg Einrichtung zum Erfassen von sich auf die Sichtqualität zum Führen eines Kraftfahrzeuges auswirkenden Einflüssen
DE10201522A1 (de) * 2002-01-17 2003-07-31 Bosch Gmbh Robert Verfahren und Vorrichtung zur Erkennung von Sichtbehinderungen bei Bildsensorsystemen
DE102005004513A1 (de) * 2005-01-31 2006-03-09 Daimlerchrysler Ag Detektion von Niederschlägen auf Oberflächen, insbesondere auf der Oberfläche der Windschutzscheibe eines Kraftfahrzeuges

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102006016774A1 (de) * 2005-04-11 2006-10-12 Denso Corp., Kariya Regensensor
US20130258107A1 (en) * 2012-03-29 2013-10-03 Xerox Corporation Method of determining parking lot occupancy from digital camera images
WO2014032933A1 (de) * 2012-08-29 2014-03-06 Bayerische Motoren Werke Aktiengesellschaft Verfahren zum betreiben eines fahrzeugs

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
FAWZI NASHASHIBI ET AL: "Detection of unfocused raindrops on a windscreen using low level image processing", CONTROL AUTOMATION ROBOTICS&VISION (ICARCV), 2010 11TH INTERNATIONAL CONFERENCE ON, IEEE, 7 December 2010 (2010-12-07), pages 1410 - 1415, XP031899947, ISBN: 978-1-4244-7814-9, DOI: 10.1109/ICARCV.2010.5707398 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3388973A1 (de) * 2017-04-11 2018-10-17 Continental Teves AG & Co. OHG Verfahren und vorrichtung zur ermittlung eines fahrbahnzustands
WO2019174682A1 (de) * 2018-03-13 2019-09-19 Continental Teves Ag & Co. Ohg Verfahren und vorrichtung zur erkennung und bewertung von fahrbahnzuständen und witterungsbedingten umwelteinflüssen
CN111357012A (zh) * 2018-03-13 2020-06-30 大陆-特韦斯贸易合伙股份公司及两合公司 用于识别与评估车道状况和与天气相关的环境影响的方法和装置
WO2023019509A1 (zh) * 2021-08-19 2023-02-23 浙江吉利控股集团有限公司 基于环境匹配的车辆定位方法、装置、车辆及存储介质
WO2024002437A1 (de) 2022-06-29 2024-01-04 Continental Autonomous Mobility Germany GmbH Verfahren und system zur strassenzustandsüberwachung durch ein maschinelles lernsystem sowie verfahren zum trainieren des maschinellen lernsystems
DE102022206625A1 (de) 2022-06-29 2024-01-04 Continental Autonomous Mobility Germany GmbH Verfahren und System zur Straßenzustandsüberwachung durch ein maschinelles Lernsystem sowie Verfahren zum Trainieren des maschinellen Lernsystems

Also Published As

Publication number Publication date
DE112016001213A5 (de) 2017-11-23
US20180060676A1 (en) 2018-03-01
DE102015208428A1 (de) 2016-11-10

Similar Documents

Publication Publication Date Title
WO2016177372A1 (de) Verfahren und vorrichtung zur erkennung und bewertung von umwelteinflüssen und fahrbahnzustandsinformationen im fahrzeugumfeld
EP3292510B1 (de) Verfahren und vorrichtung zur erkennung und bewertung von fahrbahnreflexionen
WO2014127777A2 (de) Verfahren und vorrichtung zur bestimmung eines fahrbahnzustands
WO2019174682A1 (de) Verfahren und vorrichtung zur erkennung und bewertung von fahrbahnzuständen und witterungsbedingten umwelteinflüssen
DE10301469B4 (de) Infrarotbildverarbeitungsvorrichtung
DE102014201159A1 (de) Verfahren und Vorrichtung zum Klassifizieren eines Verhaltens eines Fußgängers beim Überqueren einer Fahrbahn eines Fahrzeugs sowie Personenschutzsystem eines Fahrzeugs
DE112013001424T5 (de) Objekterkennungsvorrichtung
DE10336638A1 (de) Vorrichtung zur Klassifizierung wengistens eines Objekts in einem Fahrzeugumfeld
EP3044727B1 (de) Verfahren und vorrichtung zur objekterkennung aus tiefenaufgelösten bilddaten
WO2013072231A1 (de) Verfahren zur nebeldetektion
DE102014207802B3 (de) Verfahren und System zum proaktiven Erkennen einer Aktion eines Verkehrsteilnehmers
WO2014161691A1 (de) Verfahren und vorrichtung zum führen eines fahrzeugs im umfeld eines objekts
DE102008020007A1 (de) Verfahren zum Unterstützen eines Fahrers beim Fahren mit einem Fahrzeug mit einer Fahrspurerkennung
EP2400473A1 (de) Verfahren und Vorrichtung zum Unterstützen eines Fahrzeugführers
EP3627386A1 (de) Verfahren und vorrichtung zum bereitstellen eines umfeldabbildes eines umfeldes einer mobilen einrichtung und kraftfahrzeug mit einer solchen vorrichtung
DE102013201796A1 (de) Verfahren zur Bereitstellung eines Fahrkorridors für ein Fahrzeug und Fahrassistenzsystem
DE102017223439B4 (de) Warnvorrichtung vor Gefahrensituationen für ein Kraftfahrzeug
EP3655299B1 (de) Verfahren und vorrichtung zum ermitteln eines optischen flusses anhand einer von einer kamera eines fahrzeugs aufgenommenen bildsequenz
WO2009097883A1 (de) Verfahren zum betrieb einer bildaufnahmevorrichtung und eine bildaufnahmevorrichtung
DE102014209015A1 (de) Verfahren und Vorrichtung zur Abstandsregelung für ein Fahrzeug
EP1944212A1 (de) Verfahren und Vorrichtung zum Ermitteln potentiell gefährdender Objekte für ein Fahrzeug
EP3520020B1 (de) Verkehrszeichenklassifikation in einem umgebungsbereich eines kraftfahrzeugs
EP3704631A2 (de) Verfahren zur ermittlung einer entfernung zwischen einem kraftfahrzeug und einem objekt
EP2696310B1 (de) Verfahren zum Identifizieren eines Straßenrands
DE102009013326A1 (de) Verfahren zur Steuerung eines Fahrzeugs

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16726769

Country of ref document: EP

Kind code of ref document: A1

DPE1 Request for preliminary examination filed after expiration of 19th month from priority date (pct application filed from 20040101)
WWE Wipo information: entry into national phase

Ref document number: 112016001213

Country of ref document: DE

REG Reference to national code

Ref country code: DE

Ref legal event code: R225

Ref document number: 112016001213

Country of ref document: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16726769

Country of ref document: EP

Kind code of ref document: A1