WO2024088484A1 - Erkennen einer fahrbahnauflage auf einer fahrbahn - Google Patents

Erkennen einer fahrbahnauflage auf einer fahrbahn Download PDF

Info

Publication number
WO2024088484A1
WO2024088484A1 PCT/DE2023/200203 DE2023200203W WO2024088484A1 WO 2024088484 A1 WO2024088484 A1 WO 2024088484A1 DE 2023200203 W DE2023200203 W DE 2023200203W WO 2024088484 A1 WO2024088484 A1 WO 2024088484A1
Authority
WO
WIPO (PCT)
Prior art keywords
road surface
vehicle
exposure time
statement
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/DE2023/200203
Other languages
English (en)
French (fr)
Inventor
Bernd Hartmann
Stefan Hegemann
Sighard SCHRÄBLER
Florian GEIS
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aumovio Autonomous Mobility Germany GmbH
Original Assignee
Continental Autonomous Mobility Germany GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Continental Autonomous Mobility Germany GmbH filed Critical Continental Autonomous Mobility Germany GmbH
Priority to JP2025520108A priority Critical patent/JP2025533175A/ja
Priority to US19/124,178 priority patent/US20260030902A1/en
Priority to CN202380072897.6A priority patent/CN119998846A/zh
Priority to KR1020257009826A priority patent/KR20250052452A/ko
Publication of WO2024088484A1 publication Critical patent/WO2024088484A1/de
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/06—Road conditions
    • B60W40/068—Road friction coefficient
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera

Definitions

  • the present invention relates to a method, in particular a computer-implemented method, for detecting a road surface on a roadway, a computer program for carrying out the method according to the invention and a computer-readable storage medium.
  • ADAS Advanced driver assistance systems
  • ADAS functions can be used to support the driver while the driver still retains control of the vehicle.
  • fully automated driving can also be achieved.
  • the surroundings of the vehicle are recorded using a camera system comprising at least one camera.
  • a camera system comprising at least one camera.
  • mono cameras in particular front cameras, stereo cameras, or so-called surround view camera systems, by means of which the entire surroundings of the vehicle can be recorded, are known.
  • DE102004018088A1 has disclosed a road detection system with a temperature sensor, an ultrasonic sensor and a camera. Measurement data recorded by the existing sensors are compared with reference data compared and based on the comparison, the condition of the road surface can be determined by classifying the road surface (e.g. concrete, asphalt, dirt, grass, sand or gravel) and its condition (e.g. dry, icy, snowy, wet).
  • the road surface e.g. concrete, asphalt, dirt, grass, sand or gravel
  • its condition e.g. dry, icy, snowy, wet
  • DE102014214243A1 discloses a method for determining road conditions, in which road condition data from a weather map and/or road map are used to determine the road condition and are subjected to redigitization.
  • WO2012/110030A2 describes a possibility for estimating the coefficient of friction using a 3D camera.
  • a height profile of the road surface is created from image data from the camera and the expected local coefficient of friction is estimated.
  • a classification of the road surface can be carried out in individual cases.
  • image data from a 3D camera is used to determine the height profiles of the road surface along a plurality of lines perpendicular to the direction of travel of the vehicle, and the condition of the road surface is recognized based on these profiles.
  • 2D image data from a mono camera can also be evaluated, e.g. using a texture or pattern analysis, and taken into account when recognizing the condition of the road surface.
  • EP3069296A1 proposes evaluating image data obtained by means of a camera system using image processing and specifically determining indications of the presence of a road surface. The determined indications are then used to determine the presence of a road surface and, if necessary, to record the condition of the road. Indications of the presence of a road surface are, for example, the effects of precipitation in the image data, on the road or on the vehicles or vehicle windows, or the effects of a road surface when at least one tire of the vehicle drives over it.
  • the present invention is based on the object of improving the detection options with regard to the presence of a road surface.
  • the object underlying the invention is achieved by a method, in particular a computer-implemented method, for detecting a road surface on a roadway by means of a vehicle camera system of a vehicle, comprising the following
  • the first image is preferably an image taken during continuous operation of the vehicle camera system.
  • the exposure time for vehicle camera systems is controlled automatically and selected to suit the lighting conditions.
  • the first image is therefore an image with a substantially optimal exposure time. A longer exposure time, particularly compared to the optimal exposure time, as selected for the second image, leads to an increased
  • the vehicle camera system comprises one or more cameras.
  • it can also be a so-called surround view camera system.
  • At least one camera can have a fisheye lens.
  • the camera system is preferably attached to the vehicle in such a way that images of the surroundings of at least one wheel of the vehicle can be recorded using at least one camera of the vehicle camera system.
  • the first and/or second image is therefore preferably an image that at least partially shows a wheel of the vehicle and the surroundings of the wheel, i.e. an area close to the wheel.
  • any existing road surface is displaced by the tires, especially to the sides and sides.
  • This displaced road surface is captured by at least one camera in the vehicle camera system.
  • the displaced road surface leads to motion blur in the scattering direction due to a relative movement to the moving vehicle and the longer exposure time for the second image. This is in turn used to detect the presence of road surface.
  • the road surface is water, snow, ice, leaves or particles, in particular sand or dust.
  • the road surface can also generally be any media/objects that lie flat (blanket, carpet) on the road surface (asphalt, tar, concrete, etc.).
  • the flat surface can be referred to as a blanket or carpet of the medium or objects.
  • the road does not have to be completely covered with the road surface.
  • Various types of road surface are therefore conceivable, all of which fall under the present invention.
  • the statement about the presence of a road surface can accordingly also be a statement about the type of road surface, for example.
  • a statement is made about a coefficient of friction and/or a coefficient of friction class for the vehicle that is on the road, in particular based on the statement about the presence of the road surface, preferably based on a type of road surface.
  • the statement about the coefficient of friction can be determined in different ways.
  • the statement about the coefficient of friction is determined based on the statement about the presence of a road surface.
  • a driving strategy can in turn be advantageously derived from the coefficient of friction, for example with regard to reaction characteristics, for example in emergency situations.
  • DE102009041566B4 describes a method for determining the road friction coefficient according to friction coefficient classes based on a determined friction coefficient parameter.
  • the road surface is water, and a water depth is determined.
  • the water depth is directly related to the amount of water and can, for example, also be determined based on a determined amount of water, in particular the amount displaced by one or more tires per unit of time.
  • knowledge of the water depth is also crucial for a driving strategy that is appropriate to the situation.
  • a statement about the risk of aquaplaning is determined based on the water depth, a speed of the vehicle and/or a slip behavior of at least one tire of the vehicle.
  • the method according to the invention thus makes it possible to make a statement about the risk of aquaplaning.
  • a distinction between a wet road surface, precipitation and a risk of aquaplaning can advantageously be made based on a size and/or intensity of water droplets detected in the first and/or second image, a detected amount of splash water and/or based on detected water clusters.
  • a water cloud or water spray often forms.
  • This can be used advantageously to make a statement about an aquaplaning risk, in particular to identify an acute aquaplaning risk. For example, detected water drops, a detected amount of splash water, the presence of water clusters or a water cloud or water spray can be divided into predefined classes.
  • the speed of the vehicle on the road can and should also be taken into account.
  • the second exposure time is selected depending on the first exposure time determined by an exposure control/regulation device.
  • the vehicle therefore has an exposure control/regulation device by means of which an exposure time for the vehicle camera system is determined during continuous operation.
  • the exposure time is preferably continuously regulated or controlled and adapted to the respective lighting conditions in the environment of the vehicle.
  • the second, longer exposure time is then selected based on a current value for the first exposure time set by means of the exposure control/regulation device.
  • the second exposure time is selected depending on the speed of the vehicle. In this way, the displaced road surface, especially a sideways movement in the scattering direction, can be made optimally visible.
  • the second exposure time is selected depending on the brightness of the vehicle's surroundings.
  • the second exposure time is therefore selected depending on the current lighting conditions.
  • the second exposure time, starting from the first exposure time is increased successively, in particular in predeterminable intervals or steps, or by means of a predeterminable factor.
  • the steps or intervals are preferably selected such that a height of the step or a length of the interval varies, for example grows exponentially.
  • the second exposure time can also be determined using a weighing method. It is advantageous if the second exposure time is increased starting from the first exposure time until a predeterminable criterion is met. In this context, a wide variety of criteria can be used, such as the visibility of certain elements in an image recorded using the vehicle camera system or the like.
  • the statement about the presence of a road surface and/or in particular a road surface type is determined by means of a method from the field of machine learning.
  • the statement about the presence of a road surface and/or in particular a road surface type is determined using at least one neural network, in particular a trained neural network, wherein the neural network is designed to determine and output the presence of a road surface and/or in particular a road surface type at least on the basis of the second image.
  • Statements about the presence of a road surface can be made in a variety of different ways. On the one hand, a statement can be made about the presence of any road surface on the road. However, it can also be determined where the road surface is located and how much road surface is present. Alternatively or additionally, it can be determined which type of road surface, ie which type of road surface, is involved.
  • the neural network is preferably a convolutional neural network (CNN), a recurrent neural network (RNN), or a so-called region proposal network (RPN).
  • a trained neural network is used to make a statement about the presence of road surface and/or in particular a type of road surface
  • image data from images of various scenarios taken by vehicle camera systems which are labeled manually, for example, can be used to train the network.
  • suitable training data can be generated at least partially synthetically.
  • a suitable reference sensor can also be used to train the neural network, which determines a statement about the presence of road surface and/or in particular a type of road surface with high reliability and precision, and by means of which training target values can be specified.
  • An alternative embodiment includes that the statement about the presence of a road surface and/or in particular a road surface type is determined using at least one decision tree, in particular based on a random forest. It is therefore also possible to determine the presence of a road surface and/or in particular a road surface type on a road using an evolutionary method.
  • the method according to the invention according to one of the embodiments described here is advantageously used in detecting the presence of a road surface at night or in the case of low or no lighting.
  • the method according to the invention can therefore be used particularly advantageously in night situations with low or no lighting, for example when driving over country roads without scattered light from outside.
  • the present invention is based on the finding that when the method according to the invention is used at night or in the case of low or no lighting, residual light from the vehicle headlights in combination with the second Exposure time is sufficient to make a statement about the presence of road surface.
  • the object underlying the invention is further achieved by a system for data processing, comprising means for carrying out the method according to the invention according to one of the described embodiments.
  • the object underlying the invention is achieved by a computer program comprising instructions which, when the program is executed by a computer, cause the computer to carry out the method according to the invention according to one of the described embodiments, and by a computer-readable storage medium on which the computer program according to the invention is stored.
  • Fig. 1 is a flow chart to illustrate the method according to the invention
  • Fig. 2 shows a flow chart for an embodiment of the method according to the invention using machine learning methods
  • Fig. 3 shows images of an area of a vehicle close to the wheels in the presence of different road surfaces.
  • a first image h recorded by a vehicle camera system is provided with a first exposure time bi.
  • a second image with a second exposure time b2 is provided.
  • the second exposure time b2 can be selected depending on the first exposure time bi. This variant is shown in dashed lines in Fig. 1.
  • the second exposure time b2 is any function of the first exposure time bi.
  • a speed v of the vehicle and/or the brightness of the vehicle's surroundings i.e. the prevailing lighting conditions
  • the second exposure time b2 is longer than the first exposure time bi.
  • a statement about the presence of a road surface F can be determined based on the second image h.
  • statements about a coefficient of friction of the vehicle on the road or, in the case of water as the road surface statements about a water depth and/or a risk of aquaplaning can also be determined.
  • the first exposure time can be determined, in particular regulated or controlled, by an exposure control device 2.
  • the first exposure time bi is continuously automatically selected in a suitable manner and is optimized in particular with regard to an image evaluation subsequent to the recording of an image I.
  • Fig. 2 illustrates an advantageous embodiment of the method according to the invention, in which machine learning methods are used to determine the statement about the presence of the road surface F.
  • the second image I2 is made available to a trained neural network NN as input.
  • the neural network NN is designed to determine and output the presence of a road surface F at least based on the second image I2.
  • a road surface F If a road surface F is present, it is displaced by the tires when the vehicle is driving on the road, especially forwards and to the side.
  • the displaced road surface F causes motion blur in the scattering direction due to a relative movement to the moving vehicle and due to the longer exposure time b2 for the second image I2. which is used to detect the presence of road surface F.
  • characteristic patterns arise in the second image with the longer exposure time b2 relative to the direction of movement of the vehicle. For example, a distinction can be made between different colors, shapes, dimensions and orientations relative to a predeterminable axis of the patterns.
  • FIG. 3 four different camera images of an area of a vehicle near the wheel for four different road surfaces F, i.e. a tire 3 and its immediate surroundings, are shown as examples. Corresponding images can be recorded using a surround view camera, for example. However, other types of camera systems are also conceivable and possible within the scope of the present invention.
  • Fig. 3a concerns the case of a slightly wet road.
  • the tire 3 is surrounded by a characteristic first pattern Mi, which is visible due to the longer exposure time b2 for the second image I2.
  • Fig. 3b shows a comparable image for the case of a significantly wetter road.
  • the characteristic pattern M2 resulting in this case differs significantly from the first characteristic pattern Mi from Fig. 3a.
  • Fig. 3a and Fig. 3b show that a reliable distinction can be made between different wetness levels on a road. With a higher degree of wetness (Fig. 3b), both the amount and the intensity of the liquid displaced by the tires are significantly greater.
  • Fig. 3c shows a characteristic pattern M3 when sand is present on the road
  • Fig. 3d shows a characteristic pattern M4 when snow is present on the road.
  • the present invention is therefore not limited to detecting any type of road surface on the road. Rather, the type of road surface present can also be reliably determined. It is an advantage of the present invention that the presence of a road surface, i.e. a road condition, or even a risk of aquaplaning can be determined reliably and independently of external lighting conditions in the vicinity of the vehicle, i.e. in particular at night or in cases of little or no lighting in the vicinity of the vehicle, using conventional, particularly inexpensive cameras.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Automation & Control Theory (AREA)
  • Signal Processing (AREA)
  • Mathematical Physics (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
  • Image Processing (AREA)

Abstract

Die Erfindung betrifft ein Verfahren, insbesondere computer-implementiertes Verfahren, zum Erkennen einer Fahrbahnauflage (F) auf einer Fahrbahn mittels eines Fahrzeugkamerasystems (1) eines Fahrzeugs, umfassend folgende Verfahrensschritte: Bereitstellen eines ersten, mit dem Fahrzeugkamerasystem aufgenommenen, Bildes (I1) einer Fahrzeugumgebung mit einer ersten Belichtungszeit (b1), Bereitstellung eines zweiten Bildes (I2) der Fahrzeugumgebung mit einer zweiten Belichtungszeit (b2), welche länger ist als die erste Belichtungszeit (b1), und Ermitteln einer Aussage über das Vorhandensein einer Fahrbahnauflage (F) zumindest anhand des zweiten Bildes (b2). Die Erfindung betrifft ferner ein Computerprogramm, welches zur Ausführung des erfindungsgemäßen Verfahrens ausgestaltet ist und ein computerlesbares Speichermedium, auf welchem das erfindungsgemäße Computerprogramm gespeichert ist.

Description

Beschreibung
ERKENNEN EINER FAHRBAHNAUFLAGE AUF EINER FAHRBAHN
Die vorliegende Erfindung betrifft ein Verfahren, insbesondere ein computer-implementiertes Verfahren, zum Erkennen einer Fahrbahnauflage auf einer Fahrbahn, ein Computerprogramm, zur Ausführung des erfindungsgemäßen Verfahrens und ein computerlesbares Speichermedium.
Fahrerassistenzsysteme (engl.: advanced driver-assistance systems (ADAS)) dienen der Unterstützung des Fahrers eines Fahrzeugs. Entsprechende ADAS-Funktionen können einerseits zur Unterstützung des Fahrers genutzt werden, während die Kontrolle über das Fahren des Fahrzeugs weiterhin beim Fahrer verbleibt. Andererseits kann aber auch, mit Hilfe höherer Automatisierungsgrade, ein vollständig automatisiertes Fahren realisiert werden.
Bei kamerabasierten ADAS-Systemen wird mittels eines Kamerasystems umfassend zumindest eine Kamera die Umgebung des Fahrzeugs erfasst. In diesem Zusammenhang sind einerseits Monokameras, insbesondere Frontkameras, Stereokameras, oder sogenannte Surround View Kamera Systeme, mittels welchen das gesamte Umfeld des Fahrzeugs erfassbar ist, bekannt.
Beim Fahren eines Fahrzeugs muss, unabhängig davon, ob das Fahrzeug manuell oder automatisiert gesteuert wird, stets der Fahrbahnzustand und damit der jeweils zur Verfügung stehende Reibwert zwischen den Reifen und der Fahrbahn berücksichtigt und der jeweilige Fahrstil an die vorherrschenden Gegebenheiten angepasst werden. Der Reibwert hat insbesondere auf Reaktionseigenschaften von Fahrzeugen, wie beispielsweise bei einem Bremsvorgang, einen entscheidenden Einfluss.
So ist aus DE102004018088A1 ein Fahrbahnerkennungssystem mit einem Temperatursensor, einem Ultraschallsensor und einer Kamera bekannt geworden. Von den vorhandenen Sensoren erfasste Messdaten werden mit Referenzdaten verglichen und anhand des Vergleichs kann der Zustand der Fahrbahnoberfläche ermittelt werden, indem die Fahrbahnoberfläche (z. B. Beton, Asphalt, Schmutz, Gras, Sand oder Kies) und deren Zustand (z. B. trocken, vereist, verschneit, nass) klassifiziert werden.
In DE102014214243A1 ist ein Verfahren zur Straßenzustandsbestimmung offenbart, bei welchem Straßenzustandsdaten einer Wetterkarte und/oder Straßenkarte zur Straßenzustandsbestimmung herangezogen und einer Redigitalisierung unterworfen werden.
Aus WO2012/110030A2 beschreibt eine Möglichkeit zur Reibwertschätzung mittels einer 3D Kamera. Aus Bilddaten der Kamera wird ein Höhenprofil der Straßenoberfläche erstellt und der zu erwartende lokale Reibwert geschätzt.
Anhand von speziellen ermittelten Höhenprofilen kann im Einzelfall eine Klassifikation der Fahrbahnoberfläche erfolgen.
Gemäß der WO2013/117186A1 werden anhand von Bilddaten einer 3D-Kamera entlang einer Mehrzahl von Linien Höhenverläufe der Fahrbahnoberfläche quer zur Fahrtrichtung des Fahrzeugs ermittelt und anhand dieser Verläufe die Beschaffenheit der Fahrbahnoberfläche erkannt. Optional können zusätzlich 2D-Bilddaten einer Monokamera ausgewertet, z. B. mittels einer Textur- oder Musteranalyse, und bei der Erkennung der Beschaffenheit der Fahrbahnoberfläche berücksichtigt werden.
In EP3069296A1 wird vorgeschlagen, mittels eines Kamerasystems erhaltene Bilddaten mit einer Bildverarbeitung auszuwerten und gezielt Indizien für das Vorliegen einer Fahrbahnauflage zu ermitteln. Die ermittelten Indizien werden dann bei der Bestimmung einer Fahrbahnauflage und ggf. einer Fahrbahnzustandserfassung herangezogen. Indizien für das Vorliegen einer Fahrbahnauflage sind beispielsweise Auswirkungen von Niederschlag in den Bilddaten, auf der Fahrbahn oder auf den Fahrzeugen oder Fahrzeugscheiben, oder auch Auswirkungen einer Fahrbahnauflage beim Überfahren durch mindestens einen Reifen des Fahrzeugs. Der vorliegenden Erfindung liegt die Aufgabe zugrunde, die Detektionsmöglichkeiten hinsichtlich des Vorliegens einer Fahrbahnauflage zu verbessern.
Diese Aufgabe wird gelöst durch das Verfahren nach Anspruch 1 , das Computerprogramm nach Anspruch 14 und das computerlesbare Speichermedium nach Anspruch 15. Vorteilhafte Ausgestaltungen sind Gegenstand der abhängigen Patentansprüche.
Hinsichtlich des Verfahrens wird die der Erfindung zugrunde liegende Aufgabe gelöst durch ein Verfahren, insbesondere computer-implementiertes Verfahren, zum Erkennen einer Fahrbahnauflage auf einer Fahrbahn mittels eines Fahrzeugkamerasystems eines Fahrzeugs, umfassend folgende
Verfahrensschritte:
Bereitstellen eines ersten, mit dem Fahrzeugkamerasystem aufgenommenen, Bildes einer Fahrzeugumgebung mit einer ersten Belichtungszeit,
Bereitstellung eines zweiten Bildes der Fahrzeugumgebung mit einer zweiten Belichtungszeit, welche länger ist als die erste Belichtungszeit, und Ermitteln einer Aussage über das Vorhandensein einer Fahrbahnauflage zumindest anhand des zweiten Bildes.
Das erste Bild ist vorzugsweise ein im fortlaufenden Betrieb des Fahrzeugkamerasystems aufgenommenes Bild. Typischerweise wird die Belichtungszeit für Fahrzeugkamerasysteme automatisch gesteuert und jeweils in Abhängigkeit der Lichtverhältnisse passend gewählt. Bei dem ersten Bild handelt es sich also um ein Bild mit einer im Wesentlichen optimalen Belichtungszeit. Eine, insbesondere im Vergleich zur optimalen Belichtungszeit, längere Belichtungszeit, wie sie für das zweite Bild gewählt wird, führt zu einer erhöhten
Bewegungsunschärfe, was üblicherweise für eine nachgelagerte Bildauswertung zu vermeiden ist. Vorteilhaft kann aber ein solches Bild mit längerer Belichtungszeit zur Erkennung von einer Fahrbahnauflage beim Überfahren verwendet werden. Das Fahrzeugkamerasystem umfasst eine oder mehrere Kameras. Beispielsweise kann es sich auch um ein sogenanntes Surroundview-Kamerasystem handeln. Zumindest eine Kamera kann ein Fischaugenobjektiv aufweisen.
Das Kamerasystem ist vorzugsweise derart an dem Fahrzeug befestigt, dass mittels zumindest einer Kamera des Fahrzeugkamerasystems Bilder der Umgebung zumindest eines Rades des Fahrzeugs aufgenommen werden können. Somit handelt es sich bei dem ersten und/oder zweiten Bild vorzugsweise um ein Bild, welches zumindest teilweise ein Rad des Fahrzeugs und eine Umgebung des Rades, also einen radnahen Bereich, zeigt.
Beim Fahren auf der Fahrbahn wird ggf. vorhandene Fahrbahnauflage durch die Reifen verdrängt, insbesondere nach vom und zur Seite. Diese verdrängte Fahrbahnauflage wird von zumindest einer Kamera des Fahrzeugkamerasystems bildlich mit erfasst. Dabei führt die verdrängte Fahrbahnauflage aufgrund einer Relativbewegung zum fahrenden Fahrzeug und aufgrund der längeren Belichtungszeit für das zweite Bild zu einer Bewegungsunschärfe in Streurichtung. Dies wird wiederum zur Erkennung des Vorhandenseins von Fahrbahnauflage ausgenutzt.
Gemäß einer Ausgestaltung handelt es sich bei der Fahrbahnauflage um Wasser, Schnee, Eis, Blätter oder Partikel, insbesondere Sand oder Staub. Bei der Fahrauflage kann es sich aber auch ganz allgemein um jegliche Medien/Gegenstände handeln, welche flächig (Decke, Teppich) auf dem Fahrbahnbelag (Asphalt, Teer, Beton,... ) aufliegen. Das flächige Aufliegen kann dabei als Decke oder Teppich des Mediums bzw. der Gegenstände bezeichnet werden. Die Fahrbahn muss nicht vollständig mit der Fahrbahnauflage bedeckt sein. Es sind also verschiedene Fahrbahnauflagentypen denkbar, welche allesamt unter die vorliegende Erfindung fallen. Bei der Aussage über das Vorhandensein einer Fahrbahnauflage kann es sich entsprechend beispielsweise auch um eine Aussage über den Fahrbahnauflagentyp handeln. In einer Ausgestaltung des Verfahrens wird eine Aussage über einen Reibwert und/oder einer Reibwertklasse für das Fahrzeug, welches sich auf der Fahrbahn befindet, ermittelt, insbesondere anhand der Aussage über das Vorhandensein der Fahrbahnauflage, vorzugsweise anhand eines Fahrbahnauflagentyps. Die Aussage über den Reibwert kann dabei auf unterschiedliche Arten und Weisen bestimmt werden. Vorzugsweise wird die Aussage über den Reibwert anhand der Aussage über das Vorhandensein einer Fahrbahnauflage ermittelt. Aus dem Reibwert wiederum kann vorteilhaft eine Fahrstrategie abgeleitet werden, beispielsweise hinsichtlich von Reaktionseigenschaften, beispielsweise in Notsituationen.
Aus DE102009041566B4 ist beispielsweise ein Verfahren zur Ermittlung des Fahrbahnreibwerts nach Reibwertklassen anhand einer ermittelten Reibwertkenngröße beschrieben.
In einer vorteilhaften Ausgestaltung des erfindungsgemäßen Verfahrens handelt es sich bei der Fahrbahnauflage um Wasser, wobei eine Wassertiefe ermittelt wird. Die Wassertiefe hängt direkt mit der Wassermenge zusammen und kann beispielsweis auch anhand einer ermittelten, insbesondere je Zeiteinheit von einem oder mehreren Reifen verdrängten, Wassermenge bestimmt werden. Neben einer Kenntnis des Reibwerts ist auch Kenntnis über eine Wassertiefe entscheidend für eine situationsadäquate Fahrstrategie.
Es ist von Vorteil, wenn anhand der Wassertiefe, einer Geschwindigkeit des Fahrzeugs und/oder eines Schlupfverhaltens zumindest eines Reifens des Fahrzeugs eine Aussage über ein Risiko von Aquaplaning ermittelt wird. Das erfindungsgemäße Verfahren erlaubt es somit, eine Aussage über ein Aquaplaning-Risiko zu treffen.
Eine Unterscheidung zwischen einer nassen Fahrbahn, Niederschlag und eines Aquaplaning-Risikos kann vorteilhaft anhand einer Größe und/oder Intensität von in dem ersten und/oder zweiten Bild detektierten Wassertropfen, einer detektierten Spritzwassermenge und/oder anhand von detektierten Wasserclustern erfolgen. Mit steigender Fahrgeschwindigkeit bei Vorliegen eines Aquaplaning-Risikos, d.h. wenn sich viel Wasser auf der Straße befindet, bildet sich häufig eine Wasserwolke bzw. eine Wassergischt aus. Dies kann vorteilhaft zum Treffen der Aussage über ein Aquaplaning-Risiko, insbesondere zum Erkennen eines akuten Aquaplaning-Risikos, herangezogen werden. Beispielsweise können detektierte Wassertropfen, eine detektierte Spritzwassermenge, das Vorhandensein von Wasserclustern oder einer Wasserwolke bzw. Wassergischt, in vorgebbare Klassen eingeteilt werden. Bei der Beurteilung hinsichtlich eines Aquaplaning-Risikos kann bzw. soll darüber hinaus auch eine Geschwindigkeit des Fahrzeugs auf der Fahrbahn berücksichtigt werden.
Gemäß einer Ausgestaltung des erfindungsgemäßen Verfahrens wird die zweite Belichtungszeit in Abhängigkeit der von einer BelichtungssteuerungsZ-regelungs-Vorrichtung bestimmten ersten Belichtungszeit gewählt. Das Fahrzeug verfügt also über eine BelichtungssteuerungsZ-regelungs-Vorrichtung, mittels welcher im fortlaufenden Betrieb eine Belichtungszeit für das Fahrzeugkamerasystems bestimmt wird. Vorzugsweise wird die Belichtungszeit fortlaufend geregelt oder gesteuert und an die jeweiligen Lichtverhältnisse in einer Umgebung des Fahrzeugs angepasst. Ausgehend von einem aktuellen Wert für die, mittels der BelichtungssteuerungsZ-regelungs-Vorrichtung eingestellten, ersten Belichtungszeit wird dann die zweite, längere Belichtungszeit gewählt.
Es ist von Vorteil, wenn die die zweite Belichtungszeit in Abhängigkeit einer Geschwindigkeit des Fahrzeugs gewählt wird. Auf diese Art und Weise kann die verdrängte Fahrbahnauflage, insbesondere eine Seitwärtsbewegung in Streurichtung, optimal sichtbar gemacht werden.
Es ist ferner von Vorteil, wenn die zweite Belichtungszeit in Abhängigkeit einer Helligkeit einer Umgebung des Fahrzeugs gewählt wird. Die zweite Belichtungszeit wird also in Abhängigkeit von aktuellen Lichtverhältnissen gewählt. In einer Ausgestaltung des erfindungsgemäßen Verfahrens wird die zweite Belichtungszeit, ausgehend von der ersten Belichtungszeit, sukzessiv, insbesondere in vorgebbaren Intervallen oder Stufen, oder mittels eines vorgebbaren Faktors, erhöht. Vorzugsweise werden die Stufen oder Intervalle derart gewählt, dass eine Höhe der Stufe oder eine Länge des Intervalls variiert, beispielsweise exponentiell wächst. Die zweite Belichtungszeit kann aber auch anhand eines Wägeverfahrens ermittelt werden. Es ist von Vorteil, wenn die zweite Belichtungszeit ausgehend von der ersten Belichtungszeit so lange erhöht wird, bis ein vorgebbares Kriterium erfüllt ist. In diesem Zusammenhang können unterschiedlichste Kriterien herangezogen werden, wie beispielsweise die Sichtbarkeit bestimmter Elemente in einem mittels des Fahrzeugkamerasystems aufgenommenen Bildes oder ähnliches.
Gemäß einer besonders bevorzugten Ausgestaltung des erfindungsgemäßen Verfahrens wird die Aussage über das Vorhandensein einer Fahrbahnauflage und/oder insbesondere einen Fahrbahnauflagentyp mittels einer Methode aus dem Bereich des Maschine Learning ermittelt.
In dieser Hinsicht ist es von Vorteil, wenn die Aussage über das Vorhandensein einer Fahrbahnauflage und/oder insbesondere einen Fahrbahnauflagentyp unter Verwendung zumindest eines neuronalen Netzes, insbesondere eines trainierten neuronalen Netzes, ermittelt wird, wobei das neuronale Netz dazu ausgestaltet ist, zumindest anhand des zweiten Bildes das Vorhandensein einer Fahrbahnauflage und/oder insbesondere eines Fahrbahnauflagentyps zu ermitteln und auszugeben.
Bei der Aussage über das Vorhandensein einer Fahrbahnauflage kann es sich um unterschiedlichste Arten von Aussagen handeln. Einerseits kann eine Aussage über das Vorhandensein irgendeiner Fahrbahnauflage auf der Fahrbahn getroffen werden. Es kann aber auch ermittelt werden, oder wo sich die Fahrbahnauflage befindet, wieviel Fahrbahnauflage vorhanden ist. Alternativ oder zusätzlich lässt sich ermitteln, um welchen Fahrbahnauflagentyp, d.h. um welche Art von Fahrbahnauflage es sich jeweils handelt. Bei dem neuronalen Netz handelt es sich vorzugsweise um ein faltendes neuronales Netz (engl. Convolutional neural network (CNN)), um ein rekurrentes neuronales Netz (engl. Recurrent neural network (RNN)), oder um ein sog. Region Proposal Netz (RPN). Für den Fall, dass ein trainiertes neuronales Netz zum Treffen einer Aussage über das Vorhandensein von Fahrbahnauflage und/oder insbesondere einen Fahrbahnauflagentyp verwendet wird, können zum Training des Netzes sowohl Bilddaten von mittels Fahrzeugkamerasystemen aufgenommener Bilder verschiedenartiger Szenarien verwendet werden, welche beispielsweise manuell gelabelt werden. Es ist aber auch möglich, geeignete Trainingsdaten zumindest teilweise synthetisch zu erzeugen. Darüber hinaus kann zum Training des neuronalen Netzes auch ein geeigneter Referenzsensor verwendet werden, welcher eine Aussage über das Vorhandensein einer Fahrbahnauflage und/oder insbesondere einen Fahrbahnauflagentyp mit hoher Zuverlässigkeit und Präzision bestimmt, und mittels welchem Trainings-Zielwerte vorgegeben werden können.
Eine alternative Ausgestaltung beinhaltet, dass die Aussage über das Vorhandensein einer Fahrbahnauflage und/oder insbesondere einen Fahrbahnauflagentyp unter Verwendung zumindest eines Entscheidungsbaumes, insbesondere anhand eines Zufallswaldes, ermittelt wird. Es ist also ebenso möglich, das Vorhandensein von Fahrbahnauflage und/oder insbesondere einen Fahrbahnauflagentyp auf einer Fahrbahn anhand eines evolutionären Verfahrens zu ermitteln.
Das erfindungsgemäße Verfahren gemäß einer der hier beschriebenen Ausgestaltungen findet vorteilhaft Verwendung beim Erkennen des Vorhandenseins einer Fahrbahnauflage bei Nacht oder im Falle von geringer oder keiner Beleuchtung. Das erfindungsgemäße Verfahren ist demnach besonders vorteilhaft verwendbar in Nachtsituationen mit geringer oder fehlender Beleuchtung, beispielsweise bei Überlandfahrten ohne Streulicht von außen. Der vorliegenden Erfindung liegt die Erkenntnis zugrunde, dass bei einer Verwendung des erfindungsgemäßen Verfahrens bei Nacht oder im Falle von geringer oder keiner Beleuchtung ein Restlicht der Fahrzeugscheinwerfer in Kombination mit der zweiten Belichtungszeit ausreichend ist, um eine Aussage über das Vorhandensein von Fahrbahnauflage zu treffen.
Die der Erfindung zugrunde liegende Aufgabe wird ferner gelöst durch ein System zur Datenverarbeitung, umfassend Mittel zur Ausführung des erfindungsgemäßen Verfahrens gemäß einer der beschriebenen Ausgestaltungen.
Außerdem wird die der Erfindung zugrunde liegende Aufgabe gelöst durch ein Computerprogramm, umfassend Befehle, die bei der Ausführung des Programms durch einen Computer diesen veranlassen, das erfindungsgemäße Verfahren nach einer der beschriebenen Ausgestaltungen auszuführen, sowie durch ein computerlesbares Speichermedium, auf dem das erfindungsgemäße Computerprogramm gespeichert ist.
Die Erfindung sowie ihre vorteilhaften Ausgestaltungen werden anhand der nachfolgenden Figuren näher erläutert. Es zeigt:
Fig. 1 ein Ablaufdiagramm zur Illustration des erfindungsgemäßen Verfahrens;
Fig. 2 ein Ablaufdiagramm für eine Ausgestaltung des erfindungsgemäßen Verfahrens unter Verwendung von Methoden des maschinellen Lernens; und Fig. 3 Aufnahmen eines radnahen Bereichs eines Fahrzeugs bei Vorhandensein unterschiedlicher Fahrbahnauflagen.
In Fig. 1 ist das erfindungsgemäße Verfahren illustriert. In einem ersten Schritt wird ein erstes von einem Fahrzeugkamerasystem aufgenommenes Bild h mit einer ersten Belichtungszeit bi bereitgestellt. Zudem wird ein zweites Bild mit einer zweiten Belichtungszeit b2 bereitgestellt. Optional kann die zweite Belichtungszeit b2 in Abhängigkeit der ersten Belichtungszeit bi gewählt werden. Diese Variante ist in Fig. 1 entsprechend gestrichelt dargestellt. Dann ist die zweite Belichtungszeit b2 eine beliebige Funktion der ersten Belichtungszeit bi. Zudem können bei der Wahl der zweiten Belichtungszeit beispielsweise eine Geschwindigkeit v des Fahrzeugs und/oder eine Helligkeit einer Umgebung des Fahrzeugs, also jeweils vorherrschende Lichtverhältnisse, berücksichtigt werden.
Erfindungsgemäß ist die zweite Belichtungszeit b2 länger als die erste Belichtungszeit bi. Auf diese Weise kann anhand des zweiten Bildes h eine Aussage über das Vorhandensein einer Fahrbahnauflage F ermittelt werden. Darüber hinaus können auch Aussagen über einen Reibwert des Fahrzeugs auf der Fahrbahn oder im Falle, dass es sich bei der Fahrbahnauflage um Wasser handelt, Aussagen über eine Wassertiefe und/oder ein Aquaplaning-Risiko ermittelt werden.
Ebenfalls optional, und deshalb gestrichelt dargestellt, kann die erste Belichtungszeit von einer BelichtungssteuerungsZ-regelungs-Vorrichtung 2 bestimmt, insbesondere geregelt oder gesteuert werden. In diesem Falle wird die erste Belichtungszeit bi fortlaufend automatisiert geeignet gewählt, und insbesondere hinsichtlich einer dem Aufnehmen eines Bildes I nachgelagerten Bildauswertung optimiert.
In Fig. 2 ist eine vorteilhafte Ausgestaltung des erfindungsgemäßen Verfahrens illustriert, bei welcher zur Ermittlung der Aussage über das Vorhandensein der Fahrbahnauflage F Methoden des maschinellen Lernens herangezogen werden. Für die gezeigte Ausgestaltung wird das zweite Bild I2 einem trainierten neuronalen Netz NN als Input zur Verfügung gestellt. Das neuronale Netz NN ist dazu ausgestaltet, zumindest anhand des zweiten Bildes I2 das Vorhandensein einer Fahrbahnauflage F zu ermitteln und auszugeben.
Erfindungsgemäß können aber auch andere Methoden des maschinellen Lernens zum Einsatz kommen, wie beispielsweise Entscheidungsbäume.
Im Falle, dass eine Fahrbahnauflage F vorhanden ist, wird diese beim Fahren des Fahrzeugs auf der Fahrbahn durch die Reifen verdrängt, insbesondere nach vorn und zur Seite. Die verdrängte Fahrbahnauflage F verursacht aufgrund einer Relativbewegung zum fahrenden Fahrzeug und aufgrund der längeren Belichtungszeit b2 für das zweite Bild I2 eine Bewegungsunschärfe in Streurichtung, welche zur Erkennung des Vorhandenseins von Fahrbahnauflage F ausgenutzt wird. So kommt es aufgrund der Bewegung des Fahrzeugs auf der Fahrbahn und aufgrund von der Relativbewegung der verdrängten Fahrbahnauflage F und Reflektionen von Streulicht an der verdrängten Fahrbahnauflage F charakteristische Muster in dem zweiten Bild mit der längeren Belichtungszeit b2 relativ zur Bewegungsrichtung des Fahrzeugs. Beispielsweise kann zwischen verschiedenen Farbtönen, Formen, Dimensionen und Ausrichtungen relativ zu einer vorgebbaren Achse der Muster unterschieden werden. Beispielsweise sind solche Bildunschärfen, welche innerhalb des Bildes I2 schräg nach vorn oder seitlich ausgeprägt sind, ausschließlich durch verdrängte Fahrbahnauflage F verursacht. Es ist also möglich, anhand der sich ergebenden charakteristischen Muster eine Aussage über das Vorhandensein einer Fahrbahnauflage F abzuleiten. Dies wird anhand von Fig. 3 näher erläutert.
In Fig. 3 sind beispielhaft vier verschiedene Kamerabilder eines radnahen Bereichs eines Fahrzeugs für vier unterschiedliche Fahrbahnauflagen F, also eines Reifens 3 und dessen unmittelbarer Umgebung, gezeigt. Entsprechende Bilder können beispielsweise mittels einer Surroundview-Kamera aufgenommen werden. Aber auch andere Arten von Kamerasystemen sind im Rahmen der vorliegenden Erfindung denkbar und möglich.
Fig. 3a betrifft den Fall einer geringfügig nassen Fahrbahn. Der Reifen 3 ist von einem charakteristischen ersten Muster Mi umgeben, welches aufgrund der längeren Belichtungszeit b2 für das zweite Bild I2 sichtbar wird. Dagegen ist in Fig. 3b ein vergleichbares Bild für den Fall einer deutlich nasseren Fahrbahn dargestellt. Das sich in diesem Falle ergebende charakteristische Muster M2 unterscheidet sich deutlich von dem ersten charakteristischen Muster Mi aus Fig. 3a. Anhand von Fig. 3a und Fig. 3b wird deutlich, dass zwischen unterschiedlichen Nässegeraden einer Fahrbahn sicher unterschieden werden kann. Bei einem höheren Nässegrad (Fig. 3b) ist sowohl die Menge als auch die Intensität der durch die Reifen verdrängten Flüssigkeit deutlich größer. Zur Ermittlung eines Aquaplaning-Risikos können beispielsweise verschiedene Klassen für unterschiedliche Wassermengen und Intensitäten der jeweils auftretenden Wasserverdrängung durch die Reifen gebildet werden. Auf diese Weise kann, beispielsweise unter zusätzlicher Berücksichtigung einer Fahrzeuggeschwindigkeit, zwischen verschiedenen Risikoklassen für das Auftreten von Aquaplaning unterschieden werden. Aber auch andere Arten der Auswertung der charakteristischen Muster M im jeweils zweiten Bilde I2 mit der längeren Belichtungszeit b2 zur Ermittlung der Wassertiefe und/oder eines Aquaplaning-Risikos sind denkbar und fallen unter die vorliegende Erfindung.
Schließlich ist in Fig. 3c ein charakteristisches Muster M3 bei Vorhandensein von Sand auf der Fahrbahn und in Fig. 3d ein charakteristisches Muster M4 bei Vorhandensein von Schnee auf der Fahrbahn dargestellt. Die vorliegende Erfindung ist also nicht auf das Erkennen irgendeiner Fahrbahnauflage auf der Fahrbahn begrenzt. Vielmehr kann auch der Typ der jeweils vorhandenen Fahrbahnauflage sicher ermittelt werden. Es ist ein Vorteil der vorliegenden Erfindung, dass das Vorhandensein einer Fahrbahnauflage, also ein Fahrbahnzustand, oder auch ein Aquaplaning-Risiko zuverlässig und unabhängig von äußeren Lichtverhältnissen in der Umgebung des Fahrzeugs, also insbesondere auch bei Nacht oder in Fällen geringer oder keiner Beleuchtung in der Umgebung des Fahrzeugs, mit herkömmlichen, insbesondere auch mit preisgünstigen Kameras, ermittelt werden kann.

Claims

Patentansprüche
1. Verfahren, insbesondere computer-implementiertes Verfahren, zum Erkennen einer Fahrbahnauflage (F) auf einer Fahrbahn mittels eines Fahrzeugkamerasystems (1 ) eines Fahrzeugs, umfassend folgende Verfahrensschritte:
Bereitstellen eines ersten, mit dem Fahrzeugkamerasystem aufgenommenen, Bildes (h) einer Fahrzeugumgebung mit einer ersten Belichtungszeit (bi),
Bereitstellung eines zweiten Bildes (h) der Fahrzeugumgebung mit einer zweiten Belichtungszeit (b2), welche länger ist als die erste Belichtungszeit (bi), und
Ermitteln einer Aussage über das Vorhandensein einer Fahrbahnauflage (F) zumindest anhand des zweiten Bildes (b2).
2. Verfahren nach Anspruch 1 , wobei es sich bei der Fahrbahnauflage (F) um Wasser, Schnee, Eis, Blätter oder Partikel, insbesondere Sand oder Staub, handelt.
3. Verfahren nach Anspruch 1 oder 2, wobei eine Aussage über einen Reibwert und/oder einer Reibwertklasse für das Fahrzeug, welches sich auf der Fahrbahn befindet, ermittelt wird, insbesondere anhand der Aussage über das Vorhandensein der Fahrbahnauflage, vorzugsweise anhand eines Fahrbahnauflagentyps.
4. Verfahren nach zumindest einem der vorherigen Ansprüche, wobei es sich bei der Fahrbahnauflage (F) um Wasser handelt, und wobei eine Wassertiefe ermittelt wird.
5. Verfahren nach Anspruch 4, wobei anhand der Wassertiefe, einer Geschwindigkeit des Fahrzeugs und/oder eines Schlupfverhaltens zumindest eines Reifens des Fahrzeugs eine Aussage über ein Risiko von Aquaplaning ermittelt wird. Verfahren nach zumindest einem der vorherigen Ansprüche, wobei die zweite Belichtungszeit (b2) in Abhängigkeit der von einer BelichtungssteuerungsZ-regelungs-Vorrichtung bestimmten ersten Belichtungszeit (bi) gewählt wird. Verfahren nach zumindest einem der vorherigen Ansprüche, wobei die zweite Belichtungszeit (b2) in Abhängigkeit einer Geschwindigkeit (v) des Fahrzeugs gewählt wird. Verfahren nach zumindest einem der vorherigen Ansprüche, wobei die zweite Belichtungszeit (b2) in Abhängigkeit einer Helligkeit einer Umgebung des Fahrzeugs gewählt wird. Verfahren nach zumindest einem der vorherigen Ansprüche, wobei die zweite Belichtungszeit (b2), ausgehend von der ersten Belichtungszeit (bi), sukzessiv, insbesondere in vorgebbaren Intervallen oder Stufen, oder mittels eines vorgebbaren Faktors, erhöht wird. Verfahren nach zumindest einem der vorherigen Ansprüche, wobei die Aussage über das Vorhandensein einer Fahrbahnauflage (F) und/oder insbesondere einen Fahrbahnauflagentyp, mittels einer Methode aus dem Bereich des Maschine Learning ermittelt wird. Verfahren nach Anspruch 10, wobei die Aussage über das Vorhandensein einer Fahrbahnauflage (F) und/oder insbesondere einen Fahrbahnauflagentyp unter Verwendung zumindest eines neuronalen Netzes, insbesondere eines trainierten neuronalen Netzes, ermittelt wird, wobei das neuronale Netz dazu ausgestaltet ist, zumindest anhand des zweiten Bildes (I2) das Vorhandensein einer Fahrbahnauflage (F) und/oder insbesondere eines Fahrbahnauflagentyps zu ermitteln und auszugeben.
12. Verfahren nach Anspruch 10, wobei die Aussage über das Vorhandensein einer Fahrbahnauflage (F) und/oder insbesondere den Fahrbahnauflagentyp unter Verwendung zumindest eines Entscheidungsbaumes, insbesondere anhand eines Zufallswaldes, ermittelt wird.
13. Verwendung des Verfahrens nach zumindest einem der vorherigen Ansprüche zum Erkennen einer Fahrbahnauflage (F) bei Nacht oder im Falle von geringer oder keiner Beleuchtung.
14. Computerprogramm, umfassend Befehle, die bei der Ausführung des Programms durch einen Computer diesen veranlassen, das Verfahren nach einem der Ansprüche 1 -12 auszuführen. 15. Computerlesbares Speichermedium, auf dem das Computerprogramm nach Anspruch 14 gespeichert ist.
PCT/DE2023/200203 2022-10-24 2023-09-26 Erkennen einer fahrbahnauflage auf einer fahrbahn Ceased WO2024088484A1 (de)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2025520108A JP2025533175A (ja) 2022-10-24 2023-09-26 道路上の路面被覆物の認識
US19/124,178 US20260030902A1 (en) 2022-10-24 2023-09-26 Recognising a roadway coating on a roadway
CN202380072897.6A CN119998846A (zh) 2022-10-24 2023-09-26 车道上车道覆盖层的识别
KR1020257009826A KR20250052452A (ko) 2022-10-24 2023-09-26 도로에서 도로 코팅을 식별하기 위한 방법

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102022211241.5A DE102022211241A1 (de) 2022-10-24 2022-10-24 Erkennen von Fahrbahnauflage auf einer Fahrbahn
DE102022211241.5 2022-10-24

Publications (1)

Publication Number Publication Date
WO2024088484A1 true WO2024088484A1 (de) 2024-05-02

Family

ID=88504723

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/DE2023/200203 Ceased WO2024088484A1 (de) 2022-10-24 2023-09-26 Erkennen einer fahrbahnauflage auf einer fahrbahn

Country Status (6)

Country Link
US (1) US20260030902A1 (de)
JP (1) JP2025533175A (de)
KR (1) KR20250052452A (de)
CN (1) CN119998846A (de)
DE (1) DE102022211241A1 (de)
WO (1) WO2024088484A1 (de)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102024106981A1 (de) * 2024-03-12 2025-09-18 Motherson Innovations Company Limited Fahrzeugsicherheitssystem und Verfahren zur Vorhersage und/oder Vermeidung von Aquaplaning

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102004018088A1 (de) 2003-04-09 2005-02-10 Continental Teves, Inc., Auburn Hills Fahrbahnerkennungssystem
WO2012110030A2 (de) 2011-02-14 2012-08-23 Conti Temic Microelectronic Gmbh Reibwertschätzung mittels einer 3d-kamera
WO2013117186A1 (de) 2012-02-10 2013-08-15 Conti Temic Microelectronic Gmbh Bestimmung einer beschaffenheit einer fahrbahnoberfläche mittels einer 3d-kamera
DE102014214243A1 (de) 2013-10-31 2015-04-30 Continental Teves Ag & Co. Ohg Straßenzustandsbestimmung
EP3069296A1 (de) 2013-11-15 2016-09-21 Continental Teves AG & Co. oHG Verfahren und vorrichtung zur bestimmung eines fahrbahnzustands mittels eines fahrzeugkamerasystems
US20180060674A1 (en) * 2016-08-24 2018-03-01 GM Global Technology Operations LLC Fusion-based wet road surface detection
US20200406897A1 (en) * 2018-03-13 2020-12-31 Continental Teves Ag & Co. Ohg Method and Device for Recognizing and Evaluating Roadway Conditions and Weather-Related Environmental Influences
US20220001873A1 (en) * 2018-05-03 2022-01-06 Volvo Car Corporation System and method for providing vehicle safety distance and speed alerts under slippery road conditions
DE102009041566B4 (de) 2009-09-15 2022-01-20 Continental Teves Ag & Co. Ohg Verfahren zur Klassifizierung des Fahrbahnreibwerts

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080129541A1 (en) 2006-12-01 2008-06-05 Magna Electronics Black ice detection and warning system
JP5950196B2 (ja) * 2011-08-30 2016-07-13 株式会社リコー 撮像装置、並びに、これを用いる画像解析装置及び移動装置
CN103777423B (zh) 2014-01-24 2016-02-24 深圳市华星光电技术有限公司 液晶面板及其像素结构
DE102015208428A1 (de) * 2015-05-06 2016-11-10 Continental Teves Ag & Co. Ohg Verfahren und Vorrichtung zur Erkennung und Bewertung von Umwelteinflüssen und Fahrbahnzustandsinformationen im Fahrzeugumfeld
JP6847781B2 (ja) * 2017-06-30 2021-03-24 日立Astemo株式会社 画像処理装置
JP2020180924A (ja) * 2019-04-26 2020-11-05 パナソニックＩｐマネジメント株式会社 路面状態推定装置、車両制御システム及び路面状態推定方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102004018088A1 (de) 2003-04-09 2005-02-10 Continental Teves, Inc., Auburn Hills Fahrbahnerkennungssystem
DE102009041566B4 (de) 2009-09-15 2022-01-20 Continental Teves Ag & Co. Ohg Verfahren zur Klassifizierung des Fahrbahnreibwerts
WO2012110030A2 (de) 2011-02-14 2012-08-23 Conti Temic Microelectronic Gmbh Reibwertschätzung mittels einer 3d-kamera
WO2013117186A1 (de) 2012-02-10 2013-08-15 Conti Temic Microelectronic Gmbh Bestimmung einer beschaffenheit einer fahrbahnoberfläche mittels einer 3d-kamera
DE102014214243A1 (de) 2013-10-31 2015-04-30 Continental Teves Ag & Co. Ohg Straßenzustandsbestimmung
EP3069296A1 (de) 2013-11-15 2016-09-21 Continental Teves AG & Co. oHG Verfahren und vorrichtung zur bestimmung eines fahrbahnzustands mittels eines fahrzeugkamerasystems
US20180060674A1 (en) * 2016-08-24 2018-03-01 GM Global Technology Operations LLC Fusion-based wet road surface detection
US20200406897A1 (en) * 2018-03-13 2020-12-31 Continental Teves Ag & Co. Ohg Method and Device for Recognizing and Evaluating Roadway Conditions and Weather-Related Environmental Influences
US20220001873A1 (en) * 2018-05-03 2022-01-06 Volvo Car Corporation System and method for providing vehicle safety distance and speed alerts under slippery road conditions

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
ANONYMOUS: "Bracketing", WIKIPEDIA, 14 September 2022 (2022-09-14), pages 1 - 2, XP093109947, Retrieved from the Internet <URL:https://en.wikipedia.org/w/index.php?title=Bracketing&oldid=1110341119> [retrieved on 20231207] *

Also Published As

Publication number Publication date
CN119998846A (zh) 2025-05-13
US20260030902A1 (en) 2026-01-29
KR20250052452A (ko) 2025-04-18
DE102022211241A1 (de) 2024-04-25
JP2025533175A (ja) 2025-10-03

Similar Documents

Publication Publication Date Title
DE102004018088B4 (de) Fahrbahnerkennungssystem
DE112013006110B4 (de) Reibwertschätzung aus Kamera- und Raddrehzahldaten
EP2675685B1 (de) Reibwertschätzung mittels einer 3d-kamera
DE102018119359A1 (de) Traktionssteuerung auf grundlage einer reibungskoeffizientenschätzung
WO2019174682A1 (de) Verfahren und vorrichtung zur erkennung und bewertung von fahrbahnzuständen und witterungsbedingten umwelteinflüssen
WO2013117186A1 (de) Bestimmung einer beschaffenheit einer fahrbahnoberfläche mittels einer 3d-kamera
WO2014094766A1 (de) Verfahren zur bestimmung eines fahrbahnzustands aus umfeldsensordaten
WO2015070861A1 (de) Verfahren und vorrichtung zur bestimmung eines fahrbahnzustands mittels eines fahrzeugkamerasystems
DE102016122489A1 (de) Sichtgestützte erfassung von nassen fahrbahnzuständen mittels reifenspuren
DE102019127190A1 (de) System und verfahren zum beurteilen des bekanntseins eines gelernten fahrzeugdatensatzes eines fahrerassistenzsystems
DE102019206875B3 (de) Erkennen einer Bankettfahrt eines Kraftfahrzeugs
DE102017217072B4 (de) Verfahren zum Erkennen eines Witterungsverhältnisses in einer Umgebung eines Kraftfahrzeugs sowie Steuervorrichtung und Kraftfahrzeug
DE102011105074A1 (de) Verfahren und Vorrichtung zur Bestimmung einer Sichtweite für ein Fahrzeug
DE102006036921A1 (de) Verfahren zum Stabilisieren eines Kraftfahrzeugs und Fahrdynamikregelsystem
DE102005044486B4 (de) Verfahren zur Detektion des Oberflächenzustands einer Fahrbahn, sowie Detektionssystem und Fahrerassistenzsystem zur Umsetzung des Verfahrens
DE102021106685A1 (de) Vorrichtung und verfahren zur strassenzustandsklassifizierung unter verwendung von sensordaten
DE102004047914A1 (de) Methode zur Einschätzung des Fahrbahnzustands
EP2715666A1 (de) Verfahren zum bestimmen einer nickbewegung einer in einem fahrzeug verbauten kamera und verfahren zur steuerung einer lichtaussendung zumindest eines frontscheinwerfers eines fahrzeugs
DE102022211241A1 (de) Erkennen von Fahrbahnauflage auf einer Fahrbahn
DE102013211027B4 (de) Verfahren und Vorrichtung zur Bestimmung der Beschaffenheit einer Fahrbahnoberfläche einer von einem Fahrzeug zu befahrenden Fahrspur
DE102023129664A1 (de) Verfahren und System zur Ermittlung eines Kraftschlusspotentials sowie ein Fahrzeug
DE102009042476B4 (de) Bestimmung von Zuständen in der Umgebung eines Kraftfahrzeugs mittels einer Stereokamera
EP3871006B1 (de) Regenerkennung mit einem umgebungssensor zur punktweisen erfassung einer umgebung eines fahrzeugs, insbesondere mit einem lidar-basierten umgebungssensor
DE102020210269A1 (de) Verfahren zum Ermitteln von Fahrbahnbedingungen
DE102022119742A1 (de) System und Verfahren zur Schätzung der atmosphärischen Eigenschaften in dynamischen Umgebungen unter Verwendung von Lidar

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23792885

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 20257009826

Country of ref document: KR

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 1020257009826

Country of ref document: KR

ENP Entry into the national phase

Ref document number: 2025520108

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 2025520108

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 202380072897.6

Country of ref document: CN

WWP Wipo information: published in national office

Ref document number: 1020257009826

Country of ref document: KR

WWP Wipo information: published in national office

Ref document number: 202380072897.6

Country of ref document: CN

122 Ep: pct application non-entry in european phase

Ref document number: 23792885

Country of ref document: EP

Kind code of ref document: A1