WO2019063341A1 - Verfahren zum erfassen einer fahrbahnbeschaffenheit einer fahrbahn für ein kraftfahrzeug, fahrerassistenzsystem sowie kraftfahrzeug - Google Patents

Verfahren zum erfassen einer fahrbahnbeschaffenheit einer fahrbahn für ein kraftfahrzeug, fahrerassistenzsystem sowie kraftfahrzeug Download PDF

Info

Publication number
WO2019063341A1
WO2019063341A1 PCT/EP2018/075116 EP2018075116W WO2019063341A1 WO 2019063341 A1 WO2019063341 A1 WO 2019063341A1 EP 2018075116 W EP2018075116 W EP 2018075116W WO 2019063341 A1 WO2019063341 A1 WO 2019063341A1
Authority
WO
WIPO (PCT)
Prior art keywords
roadway
motor vehicle
illuminated
area
camera
Prior art date
Application number
PCT/EP2018/075116
Other languages
English (en)
French (fr)
Inventor
Ahmed El-Ramlawy
Esraa Magdy
Amr Badawy
Original Assignee
Valeo Schalter Und Sensoren Gmbh
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Valeo Schalter Und Sensoren Gmbh filed Critical Valeo Schalter Und Sensoren Gmbh
Publication of WO2019063341A1 publication Critical patent/WO2019063341A1/de

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/06—Road conditions
    • B60W40/068—Road friction coefficient
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/14—Adaptive cruise control
    • B60W30/143—Speed control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/80—Spatial relation or speed relative to objects

Definitions

  • the invention relates to a method for detecting a road condition of a roadway for a motor vehicle.
  • the invention also relates to a
  • image data of the lane in front of the motor vehicle is detected by a camera of the motor vehicle and transmitted to a computer unit.
  • the arithmetic unit equals the image data obtained from the camera in one
  • Memory unit stored data regarding known road conditions.
  • Road condition described by means of a vehicle camera in which at least one image is detected by the vehicle camera and a classifier is supplied.
  • the classifier assigns the road condition to at least one class.
  • at least one feature for example a color value, is extracted from the image and fed to the classifier.
  • US 2008/0129547 A1 discloses a black ice detection system for a vehicle, which has an imaging sensor with a front-facing field of view and a control device for processing images of the imaging sensor and for detecting black ice in the processed images. The black ice is detected by a polarization of the reflected light on the surface.
  • At least one roadway area of the roadway is illuminated by means of a light beam emitted by a light source of the motor vehicle and at least one camera image of the roadway captured by a camera of the motor vehicle is received.
  • an image of the at least one illuminated roadway area in the at least one camera image of the roadway is detected, the image of the at least one illuminated roadway area in the at least one camera image in a color space analyzed and a slippery
  • Road condition or non-slip road surface of the at least one illuminated lane area identified by the analysis of the image of the at least one illuminated lane area in the color space.
  • Road condition of a roadway for a motor vehicle at least one
  • an image of the at least one illuminated roadway area is detected in the at least one camera image of the roadway, the image of the at least one illuminated roadway area in the at least one camera image in a color space analyzes a slippery road surface or a non-slip road surface of the at least one illuminated roadway area on the basis of the analysis the image of the at least one illuminated lane area identified in the color space.
  • a driver assistance system for the motor vehicle can be realized by which the road condition or the road condition of the road can be detected and by which a driver of the motor vehicle when driving the motor vehicle on the road with the detected road condition can be supported.
  • a driver assistance system for the motor vehicle can be realized by which the road condition or the road condition of the road can be detected and by which a driver of the motor vehicle when driving the motor vehicle on the road with the detected road condition can be supported.
  • Road surface are classified as to whether they at least partially covered with a sliding layer, such as black ice, oil, water, mud, snow, etc. is, or whether it is uncovered or dry.
  • a sliding layer such as black ice, oil, water, mud, snow, etc. is, or whether it is uncovered or dry.
  • the road In the covered state, the road at least partially on a smooth or slippery road surface, in the uncovered state, the road at least partially on a non-slip road surface.
  • the light beam is emitted by the vehicle-side light source into a surrounding area of the motor vehicle and directed onto the road surface, so that a light spot or point of light is produced on the road surface.
  • the light beam is directed to the roadway area in front of the motor vehicle, to which the motor vehicle moves while the vehicle is moving. The one covered by the light spot
  • Lane area corresponds to the illuminated carriageway area.
  • the illuminated roadway area may thus be, for example, a round or oval area on the road surface.
  • several light beams can be emitted from the light source simultaneously or in succession, so that the
  • Track surface is scanned with the light rays.
  • the light beams can be emitted along a line so that the lane area lying on the line is illuminated.
  • the camera of the motor vehicle detects at least one camera image of the road surface.
  • the light source and the camera for example by means of a control device of the
  • the camera in particular a resolution of the camera, is the specific
  • Light source in particular adapted to a wavelength of the light beam emitted by the light source.
  • the at least one lane area is illuminated by means of a light beam having intense light.
  • the roadway area is illuminated by means of a laser beam.
  • the laser beam can, for example, have visible light and be operated together with a high-resolution camera.
  • the laser beam may have light in the invisible wavelength range and be operated in conjunction with a camera that is sensitive in the non-visible wavelength range.
  • the camera is in particular a front camera which, for example, behind a
  • Viewing direction is directed in the surrounding area in front of the motor vehicle. Therefore, the camera can image the surrounding area ahead of the vehicle in camera to capture.
  • the camera images can be, for example, individual images of a video sequence captured by the camera.
  • the at least one camera image captured by the camera can be fed to an evaluation device of the driver assistance system, which then analyzes the at least one camera image.
  • the image of the illuminated roadway area is detected in the at least one camera image.
  • that image area in the at least one camera image is detected, which corresponds to the illuminated roadway area in the surrounding area of the motor vehicle.
  • the illuminated roadway area thus represents a so-called region of interest (ROI) whose image is recognized in the at least one camera image
  • ROI region of interest
  • the image of the at least one roadway area is then analyzed in the color space
  • a color space is defined as the amount of color that can be represented by the camera
  • the color space may describe the colors based on a technical-physical color model and / or based on a perceptual color model
  • Each color can be described by means of at least one color parameter, for example a numerical color locus
  • Lane area in the color space is to be understood in particular that at least one value of the color parameter of the image of the illuminated lane area is determined and analyzed.
  • the image of the at least one illuminated roadway area in an RGB color space and / or an HSV color space is analyzed.
  • the RGB color space which is based on a technical-physical model, is an additive color space, which reproduces a color by the additive mixing of three primary colors, namely red, green and blue.
  • a color in the RGB color space a
  • Number of triples are described, which describes the amount of red, green and blue light. A value of red, a value of green, and a value of
  • Blueness can therefore be considered the values of the color parameter of the image of the
  • the HSV color space describes colors using a perceptual model in which a color is defined using a hue, a saturation, and a value
  • a color is defined using a hue, a saturation, and a value
  • the color value, the color saturation and the brightness value of the image of the illuminated roadway area can be determined illuminated lane area in any other color space, for example in an HSL color space and / or in a YIQ color space.
  • the road surface By analyzing the image of the illuminated roadway area in the color space, it can be detected whether the road surface is smooth or not. For example, it can be distinguished by the use of deep learning algorithms or machine learning if the road surface is slippery or not.
  • the invention is based on the finding that an image of a dry road surface which is illuminated by a light beam hitting the road surface usually has color parameter values which lie within a specific range. However, when the light beam strikes a slippery, smooth surface area of the road, these color parameter values change.
  • Lane area with the light beam and analyzing the image of the illuminated lane area the road condition can be detected particularly reliable.
  • an infrared laser beam is emitted as the light beam and the at least one camera image is detected by an infrared-sensitive camera.
  • the light source is thus an infrared light source, which emits light in the non-visible infrared range.
  • the at least one camera image is detected by the infrared-sensitive camera.
  • the infrared light source is thus synchronized with the infrared-sensitive camera.
  • the infrared light source can be arranged in a front region of the motor vehicle, for example on a bumper, and can be a light source of a laser scanner.
  • the light source can therefore be used both for distance measurement by means of the laser scanner and for detecting the road condition.
  • Road condition of at least one illuminated lane area generates a warning signal for output to a driver of the motor vehicle.
  • a warning signal for output to a driver of the motor vehicle.
  • Output device may be arranged, which outputs the warning signal.
  • Such an output device can be an acoustic output device, for example a loudspeaker, and / or an optical output device, for example a screen, his.
  • the driver can be made aware that he is moving with the motor vehicle on a slippery road surface.
  • the driver can react in time and brake the vehicle, for example, before driving over the slippery road surface or avoid the slippery road surface.
  • a brake signal can be generated, by which the motor vehicle is automatically braked. By the warning signal can thus be prevented in an advantageous manner that the vehicle gets into skidding and thereby causes a traffic accident.
  • a speed of the motor vehicle and a frame rate of the camera of the motor vehicle can be detected.
  • the frame rate and the speed can be checked whether subregions on the road surface in the direction of travel of the motor vehicle exist, which can not be detected by the camera and therefore can not be analyzed by the evaluation.
  • a position of these non-detectable portions depending on the frame rate and the speed can be determined.
  • the driver can, for example, on the
  • Output device information is displayed by which the driver is referred to the non-detectable portions.
  • Lane area in the at least one camera image is detected by a transmission direction of the light beam and a viewing direction of the camera.
  • the position of the illuminated roadway area relative to the motor vehicle in particular in a world coordinate system, can be determined.
  • the viewing direction of the camera which is determined by a position and an orientation of the camera on the motor vehicle, the position of the detected by the camera illuminated lane area in the camera image, in particular in image coordinates, can be determined.
  • Image coordinates of the image of the illuminated lane area, the image in the camera image can be detected particularly quickly and easily.
  • At least one value of at least one color parameter characterizing the color space of the image of the at least one illuminated roadway area is determined, the at least one value is compared with a predetermined reference value and the roadway condition is identified on the basis of a deviation of the at least one value from the reference value .
  • the reference value may characterize a non-slip road surface Reference value, wherein the slippery road surface is identified if the at least one value of the at least one color parameter deviates at least by a predetermined threshold from the non-slip road surface characterizing reference value.
  • a value of the color value and / or a value of the color saturation and / or a value of the brightness value of the image of the illuminated roadway area in the at least one camera image can be determined.
  • the at least one specific value can be compared with the at least one predetermined reference value.
  • Reference value may be, for example, a color value and / or a color saturation and / or a bright value, which would have the color parameter, for example, if the road surface would have a dry road surface.
  • the reference value may be predetermined by detecting the values of the color parameter on a dry road surface.
  • the reference value may be a reference value characterizing a slippery road surface, wherein the slippery road condition is identified if the at least one value of the at least one color parameter differs at most by a predetermined threshold from the reference value characterizing a slippery road surface.
  • the predetermined reference value is determined depending on at least one characteristic of the light beam, in particular a radiation power and / or a radiation intensity and / or a light color. This embodiment is based on knowledge that the color parameters of the image of the illuminated
  • Lane area are dependent on the specific light source, in particular the light that emits the light source. Since the specific light source is known, the reference value can advantageously be determined in advance. By specifying the reference value, the road condition can be classified very quickly and easily.
  • a change in the road surface condition is detected, wherein at least two roadway areas of the roadway are illuminated by the light beam and their images are recognized, for each of the at least two maps at least one value of at least one color space characterizing color parameter is determined, the at least two values are compared with each other and the change in the road condition is detected if the at least two values differ from each other by at least a predetermined threshold value. It is thus illuminated a plurality of lane areas by means of the light beam.
  • the roadway can be scanned along a line by the Transmitter direction of the light beam is changed so that the road surface is illuminated along the line.
  • values of the at least one color parameter can be determined in the images of the illuminated roadway areas.
  • the color parameter values along the line change at the boundaries of the overlay. This change can be detected.
  • a spatial dimension of the sliding layer can be detected.
  • Reference value for comparison with the color parameter of the image of the illuminated lane area must be predetermined.
  • the road surface condition is additionally recognized on the basis of sensor data of at least one vehicle-side sensor, by means of which environmental conditions of a surrounding area of the motor vehicle are characterized.
  • a sensor may for example be a rain sensor, by means of which rain can be detected in the surrounding area. In the case of rain, it can be assumed that the road surface is wet and possibly slippery.
  • the at least one sensor may be a temperature sensor.
  • Motor vehicle falls below a predetermined temperature threshold, for example 0 °, so the road surface with a sliding layer, such as snow or lightning ice, be covered.
  • a predetermined temperature threshold for example 0 °
  • the detection of the road surface for example, can be learned and improved. This is also referred to as machine learning.
  • the road condition of the roadway for the motor vehicle can be detected particularly reliably.
  • a traffic situation on the road ahead of the motor vehicle is detected and the determination of
  • Motor vehicle such as the camera to be detected. If the motor vehicle is in a traffic jam, for example, a detection of the road condition is not possible anyway, since the roadway is occupied by other road users. In addition, the motor vehicle usually has a low speed in traffic jams, so that it is not necessary to detect the road condition. By Suppressing the detection of the road condition in the event of a traffic jam, the driver assistance system is thus designed to be particularly energy-efficient.
  • the invention also relates to a driver assistance system for a motor vehicle for detecting a road condition of a roadway for the motor vehicle.
  • the driver assistance system has in particular a light source which is designed to emit a light beam and at least one
  • the driver assistance system has an evaluation device, which is designed to receive the at least one camera image, to recognize an image of the at least one illuminated roadway area in the at least one camera image of the roadway, the image of the at least one illuminated roadway area in the at least one camera image analyze in a color space and a slippery road surface or a non-slip road surface of at least one illuminated
  • Track area to identify based on the analysis of the image of the at least one illuminated lane area in the color space.
  • the driver assistance system has a light source which is designed to emit a light beam and to illuminate at least one lane area of the lane by means of the emitted light beam, and a camera which is designed to capture at least one camera image of the lane of the motor vehicle , on.
  • the light source which is designed to emit a light beam and to illuminate at least one lane area of the lane by means of the emitted light beam
  • a camera which is designed to capture at least one camera image of the lane of the motor vehicle , on.
  • Driver assistance system to an evaluation which is adapted to receive the at least one camera image to recognize an image of the at least one illuminated lane area in the at least one camera image of the road, the mapping of the at least one illuminated lane area in the at least one camera image in a color space analyze and identify a slippery road surface or a non-slip road surface of the at least one illuminated lane area based on the analysis of the image of the at least one illuminated lane area in the color space.
  • the light source may, for example, be a laser light source which emits laser light, in particular an infrared laser beam, into the surrounding area of the motor vehicle.
  • the laser can for example be part of an already on the motor vehicle
  • the Camera may be, for example, an infrared-sensitive camera, which is designed to detect an illuminated by the infrared laser beam roadway area on the roadway of the motor vehicle.
  • the evaluation device can be integrated, for example, in a control unit of the motor vehicle.
  • the driver assistance system has an output device for outputting information about the detected road condition to a driver of the motor vehicle.
  • the output device can be, for example, an acoustic and / or optical output device, by means of which a warning signal can be output in the case of a slippery road surface.
  • the output device may be a screen on which the camera image of the surrounding area of the motor vehicle is displayed with the roadway. If the road surface has a sliding layer, this can be detected by the analysis of the image of the illuminated roadway area in the displayed
  • the driver assistance system for example, a brake signal for the
  • the driver assistance system is thus designed as an active safety system ("active safety system").
  • a motor vehicle according to the invention comprises an inventive
  • the motor vehicle is designed in particular as a passenger car.
  • Embodiments and their advantages apply correspondingly to the driver assistance system according to the invention and to the motor vehicle according to the invention.
  • Fig. 1 is a schematic representation of an embodiment of a
  • Figure 2 is a schematic representation of a roadway in front of the motor vehicle, which partially has a slippery road surface.
  • FIG. 3 is a schematic representation of components of an embodiment of a driver assistance system according to the invention.
  • Figure 4 is a schematic representation of a roadway in front of the motor vehicle, which has no slippery road surface.
  • FIG. 5 shows the illustration of FIG. 4, wherein the roadway partially a
  • Fig. 6a, 6b are schematic representations of light spots of a light beam, which has a non-slip road surface and a slippery
  • Fig. 7 is a schematic representation of a flow chart for detecting a
  • FIG. 1 shows a motor vehicle 1 according to an embodiment of the present invention
  • the motor vehicle 1 is designed as a passenger car.
  • the motor vehicle 1 has a driver assistance system 2, which is designed to detect a road surface of a roadway 3 for the motor vehicle 1.
  • the driver assistance system 2 can classify a road surface 7 of the roadway 3.
  • the driver assistance system 2 can detect whether the road surface 7 of the roadway 3 has a sliding layer 4 at least in regions and is therefore slippery or smooth at least in some areas.
  • the sliding layer 4 may be, for example, an oil film, black ice, water or another slippery, smooth layer.
  • the driver assistance system 2 can locate the sliding layer 4 in an environmental region 10 of the motor vehicle 1.
  • the driver assistance system 2 has at least one light source 5, which
  • the light source may be formed, for example, as a laser light source. In the present case, this indicates
  • the light sources 5 can light rays in the
  • the driver assistance system 2 has at least one camera 6, which can be designed as a front camera and can be arranged behind a windshield of the motor vehicle 1.
  • the camera 6 can detect the lane areas 12a, 12b illuminated by the light sources 5 in camera images 14 (see FIGS. 4, 5).
  • the light source may be a visible laser with a power of 50 mW.
  • the camera 6 may have a resolution of 1080x1920 pixels.
  • the light source 5 may be an infrared laser.
  • the camera 6 is formed as an infrared-sensitive camera 6.
  • the driver assistance system 2 has an evaluation device 8 which is designed to receive and analyze the camera images 14 of the camera 6. In addition, that can
  • Driver assistance system 2 have an output device 9, which is adapted to output a warning signal 1 1 (see FIG. 2) to a driver of the motor vehicle 1, for example, if the sliding layer 4 was detected on the roadway 3.
  • a warning signal 1 1 see FIG. 2
  • Output device 9 can be, for example, a screen for the optical output of the warning signal and / or a loudspeaker for acoustic output of the warning signal.
  • Fig. 2 shows the surrounding area 10 in front of the motor vehicle 1 from the perspective of a driver of the motor vehicle 1 when looking through the windshield.
  • the sliding layer 4 by driving over the motor vehicle 1 could get into skidding.
  • This overlay 4 should now be recognized and the warning signal 1 1 are issued.
  • the driver can be made aware of the overlay 4, so he, for example, a
  • the warning signal 1 1 is a lettering, which is displayed on the output device 9 in the form of a screen.
  • lane areas 12a, 12b are illuminated successively or simultaneously by means of the light beams of the light sources 5.
  • the illuminated roadway areas 12a are located outside the sliding layer 4 and the illuminated roadway area 12b within the sliding layer 4.
  • Camera images 14 are detected by the camera 6 during the illumination of the roadway areas 12a, 12b.
  • FIG. 3 in which the components of the driver assistance system 2 are shown schematically, that a field of view 13 of the camera 6 overlaps with the illuminated roadway areas 12a, 12b.
  • the camera images 14, in which there are images 12a ', 12b' (see FIG. 6) of the illuminated roadway areas 12a, 12b, are then fed to the evaluation device 8, which then analyzes the camera images 14 for detecting the sliding layer 4. If the sliding layer 4 was detected, the warning device 1 1 is generated by the evaluation device 8, which can be output by the output device 9.
  • the roadway 3 is shown in front of the motor vehicle 1 through the windshield.
  • the output device 9 for example the
  • the camera image 14 detected by the camera 6 is shown, which has an image 10 'of the surrounding area 10 as well as an image 3' of the roadway 3. 4, there is no sliding layer 4 on the roadway surface 7 of the roadway 3.
  • a sliding layer 4 is located on the roadway surface 7 of the roadway 3, the camera image 14 thus having an image 4 'of the sliding layer 4.
  • the roadway 3 is scanned by means of the light beams of the light source 5 along a line 15. This means that the illuminated roadway areas 12a and, in the case of FIG. 5, the illuminated roadway areas 12b lie on the line 15. Based on the illuminated roadway areas 12a, 12b can now, as shown by a flow chart 16 in Fig. 7, the road condition of the lane 3 are detected.
  • a video input 18 detected by the camera 6 and comprising the camera image 14 can be supplied to a device 19 for detecting the image position of the images 12a ', 12b' (see FIGS. 6a, 6b) of the illuminated roadway regions 12a, 12b.
  • the device 19 detects the transmission direction of the light source 5 and an orientation of the field of view 13 of the camera 6 and thereby the images 12a ', 12b' of the illuminated
  • Track areas 12a, 12b locate in the camera image 14 of the video input 18.
  • a video output 20 comprising the camera image 14 may be provided to the output device 9 in the form of the screen for display.
  • the device 19 may comprise the images 12a ', 12b' of the illuminated one located in the video input 18
  • Lane areas 12a, 12b supply a color space converter 21, which the
  • Images 12a ', 12b' of the illuminated roadway areas 12a, 12b converted into a particular color space, such as an RGB color space or a HSV color space.
  • a presence 23 of the sliding layer 4 can be detected and then the warning signal 11 is generated for output to the driver.
  • FIGS. 6a and 6b show images 4 'of the sliding layer 4 on an image 7' of FIG
  • FIG. 6 a shows the image 12 a 'of the illuminated roadway area 12 a in the camera image 14, which is located outside the image 4' of the sliding layer 4.
  • FIG. 6 b shows the image 12 b 'of the illuminated roadway area 12 b, which is located within the image 4' of the sliding layer 4.
  • the image 12a 'of the illuminated roadway area 12a according to FIG. 6a has first specific values for color parameters of the color space and the image 12b' of the illuminated roadway area 12b according to FIG. 6b has second specific values for the color parameters of the color space. The first and second values of the color parameters differ.
  • first and second values of the color parameter for example a first and a second value for the color value, a first and a second value for the color saturation and a first and a second value for the brightness, can be used for the respective images 12a ', 12b' of the color lit
  • Roadway area 12a, 12b are determined.
  • the first values of the color parameter of the FIG. 12a 'of the illuminated roadway area 12a may be predetermined, for example, as reference values by which a dry roadway condition is characterized and stored in a vehicle-mounted storage facility.
  • the values of the color parameters of images 12a ', 12b' of illuminated roadway areas 12a, 12b can then be determined and compared with the reference values. If the determined values of the color parameters are at most one
  • this is a sign that the road surface 7 has no sliding layer 4 and is therefore dry. If the deviation between the determined values of the color parameters and the reference values exceeds the predetermined threshold value, this is an indication that the road surface 7 has a sliding layer 4 and is therefore slippery.
  • dry, non-slip roadway surfaces 7 which correspond to the roadway areas 12a can thus be slippery and slippery
  • Road surfaces 7, which correspond to the lane areas 12b are distinguished.
  • a speed of the motor vehicle 1 and a frame rate of the camera 6 of the motor vehicle 1 can be detected. Based on the frame rate and the speed can be checked whether subregions of the road surface 7 exist in the direction of travel of the motor vehicle 1, which can not be detected by the camera 6 and therefore can not be analyzed by the evaluation device 8. Assuming the motor vehicle 1 is moving at a speed of 200 km / h or 0.06 m / ms and the frame rate of the camera 6 is 10 BpS (frames per second) and 1 B / 100ms, respectively. In this case, a distance covered by the motor vehicle 1 is before a next camera image is received

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Mathematical Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Traffic Control Systems (AREA)

Abstract

Die Erfindung betrifft ein Verfahren zum Erfassen einer Fahrbahnbeschaffenheit einer Fahrbahn (3) für ein Kraftfahrzeug (1); mit den Schritten: - Beleuchten zumindest eines Fahrbahnbereiches (12a, 12b) der Fahrbahn (3) mittels eines von einer Lichtquelle (5) des Kraftfahrzeugs (1) ausgesendeten Lichtstrahls; - Empfangen zumindest eines von einer Kamera (6) des Kraftfahrzeugs (1) erfassten Kamerabildes (14) der Fahrbahn (3); - Erkennen einer Abbildung (12a', 12b') des zumindest einen beleuchteten Fahrbahnbereiches (12a, 12b) in dem zumindest einen Kamerabild (14) der Fahrbahn (3); - Analysieren der Abbildung (12a', 12b') des zumindest einen beleuchteten Fahrbahnbereiches (12a, 12b) in dem zumindest einen Kamerabild (14) in einem Farbraum; - Identifizieren einer rutschigen Fahrbahnbeschaffenheit oder einer rutschfesten Fahrbahnbeschaffenheit des zumindest einen beleuchteten Fahrbahnbereiches (12a, 12b) anhand der Analyse der Abbildung (12a', 12b') des zumindest einen beleuchteten Fahrbahnbereiches (12a, 12b) in dem Farbraum. Die Erfindung betrifft außerdem ein Fahrerassistenzsystem (2) sowie ein Kraftfahrzeug (1).

Description

Verfahren zum Erfassen einer Fahrbahnbeschaffenheit einer Fahrbahn für ein Kraftfahrzeug, Fahrerassistenzsystem sowie Kraftfahrzeug
Die Erfindung betrifft ein Verfahren zum Erfassen einer Fahrbahnbeschaffenheit einer Fahrbahn für ein Kraftfahrzeug. Die Erfindung betrifft außerdem ein
Fahrerassistenzsystem sowie ein Kraftfahrzeug.
Im Straßenverkehr kann es zu Unfällen kommen, wenn ein Kraftfahrzeug auf einer rutschigen bzw. glatten Fahrbahnoberfläche ins Schleudern gerät. Dies kann vorkommen, wenn die Fahrbahn mit einer Gleitschicht, zum Beispiel Glatteis, Schnee, Öl oder Wasser, bedeckt ist. Daher ist es aus dem Stand der Technik bekannt, eine
Fahrbahnbeschaffenheit der Fahrbahn zu erfassen, um unterscheiden zu können, ob die Fahrbahnoberfläche glatt und somit rutschig oder trocken und somit rutschfest ist. Aus der DE 10 2013 223 014 A1 ist beispielsweise ein Fahrerassistenzsystem zum
vorausschauenden Erfassen einer Beschaffenheit einer Oberfläche einer Fahrbahn bekannt. Dazu werden von einer Kamera des Kraftfahrzeugs Bilddaten der vor dem Kraftfahrzeug liegenden Fahrbahn erfasst und an eine Recheneinheit übermittelt. Die Recheneinheit gleicht die von der Kamera erhaltenen Bilddaten mit in einer
Speichereinheit gespeicherten Daten betreffend bekannter Fahrbahnbeschaffenheiten ab.
In der US 2015/0371095 A1 wird ein Verfahren zum Bestimmen einer
Fahrbahnbeschaffenheit mittels einer Fahrzeugkamera beschrieben, bei welchem zumindest ein Bild mittels der Fahrzeugkamera erfasst wird und einem Klassifizierer zugeführt wird. Der Klassifizierer ordnet die Fahrbahnbeschaffenheit zumindest einer Klasse zu. Dazu wird zumindest ein Merkmal, zum Beispiel ein Farbwert, aus dem Bild extrahiert und dem Klassifizierer zugeführt. Die US 2008/0129547 A1 offenbart ein Glatteis-Erfassungssystem für ein Fahrzeug, welches einen Abbildungssensor mit einem nach vorne gerichteten Sichtfeld und eine Kontrolleinrichtung zum Verarbeiten von Bildern des Abbildungssensors sowie zum Erkennen von Glatteis in den verarbeiteten Bildern aufweist. Das Glatteis wird dabei anhand einer Polarisation des an der Oberfläche reflektierten Lichtes erkannt.
Es ist Aufgabe der vorliegenden Erfindung, eine weitere Lösung bereitzustellen, wie eine Fahrbahnbeschaffenheit einer Fahrbahn für ein Kraftfahrzeug besonders zuverlässig bestimmt werden kann. Diese Aufgabe wird erfindungsgemäß durch ein Verfahren, ein Fahrerassistenzsystem sowie ein Kraftfahrzeug mit den Merkmalen gemäß den jeweiligen unabhängigen
Patentansprüchen gelöst. Vorteilhafte Ausführungsformen der Erfindung sind
Gegenstand der abhängigen Patentansprüche, der Beschreibung und der Figuren.
Gemäß einem Aspekt eines Verfahrens zum Erfassen einer Fahrbahnbeschaffenheit einer Fahrbahn für ein Kraftfahrzeug wird insbesondere zumindest ein Fahrbahnbereich der Fahrbahn mittels eines von einer Lichtquelle des Kraftfahrzeugs ausgesendeten Lichtstrahls beleuchtet und zumindest ein von einer Kamera des Kraftfahrzeugs erfasstes Kamerabild der Fahrbahn empfangen. Insbesondere wird eine Abbildung des zumindest einen beleuchteten Fahrbahnbereiches in dem zumindest einen Kamerabild der Fahrbahn erkannt, die Abbildung des zumindest einen beleuchteten Fahrbahnbereiches in dem zumindest einen Kamerabild in einem Farbraum analysiert und eine rutschige
Fahrbahnbeschaffenheit oder eine rutschfeste Fahrbahnbeschaffenheit des zumindest einen beleuchteten Fahrbahnbereiches anhand der Analyse der Abbildung des zumindest einen beleuchteten Fahrbahnbereiches in dem Farbraum identifiziert.
Besonders bevorzugt wird bei einem Verfahren zum Erfassen einer
Fahrbahnbeschaffenheit einer Fahrbahn für ein Kraftfahrzeug zumindest ein
Fahrbahnbereich der Fahrbahn mittels eines von einer Lichtquelle des Kraftfahrzeugs ausgesendeten Lichtstrahls beleuchtet und zumindest ein von einer Kamera des
Kraftfahrzeugs erfasstes Kamerabild der Fahrbahn empfangen. Darüber hinaus wird eine Abbildung des zumindest einen beleuchteten Fahrbahnbereiches in dem zumindest einen Kamerabild der Fahrbahn erkannt, die Abbildung des zumindest einen beleuchteten Fahrbahnbereiches in dem zumindest einen Kamerabild in einem Farbraum analysiert eine rutschige Fahrbahnbeschaffenheit oder eine rutschfeste Fahrbahnbeschaffenheit des zumindest einen beleuchteten Fahrbahnbereiches anhand der Analyse der Abbildung des zumindest einen beleuchteten Fahrbahnbereiches in dem Farbraum identifiziert.
Mittels des Verfahrens kann ein Fahrerassistenzsystem für das Kraftfahrzeug realisiert werden, durch welches die Fahrbahnbeschaffenheit bzw. der Fahrbahnzustand der Fahrbahn erfasst werden kann und durch welches ein Fahrer des Kraftfahrzeugs beim Führen des Kraftfahrzeugs auf der Fahrbahn mit dem erfassten Fahrbahnzustand unterstützt werden kann. Zum Erfassen der Fahrbahnbeschaffenheit wird eine
Fahrbahnoberfläche der Fahrbahn klassifiziert. Beispielsweise kann die
Fahrbahnoberfläche dahingehend klassifiziert werden, ob sie zumindest bereichsweise mit einer Gleitschicht, beispielsweise Glatteis, Öl, Wasser, Matsch, Schnee, etc., bedeckt ist, oder ob sie unbedeckt bzw. trocken ist. Im bedeckten Zustand weist die Fahrbahn zumindest bereichsweise eine glatte bzw. rutschige Fahrbahnbeschaffenheit auf, im unbedeckten Zustand weist die Fahrbahn zumindest bereichsweise eine rutschfeste Fahrbahnbeschaffenheit auf.
Zum Klassifizieren der Fahrbahnoberfläche wird von der fahrzeugseitigen Lichtquelle der Lichtstrahl in einen Umgebungsbereich des Kraftfahrzeugs ausgesendet und auf die Fahrbahnoberfläche gerichtet, sodass auf der Fahrbahnoberfläche ein Lichtfleck bzw. Lichtpunkt entsteht. Insbesondere wird der Lichtstrahl auf den vor dem Kraftfahrzeug liegenden Fahrbahnbereich gerichtet, auf welchen sich das Kraftfahrzeug während der Fahrt zubewegt. Der von dem Lichtfleck überdeckte bzw. eingeschlossene
Fahrbahnbereich entspricht dem beleuchteten Fahrbahnbereich. Der beleuchtete Fahrbahnbereich kann also beispielsweise ein runder oder ovaler Bereich auf der Fahrbahnoberfläche sein. Auch können von der Lichtquelle gleichzeitig oder zeitlich nacheinander mehrere Lichtstrahlen ausgesendet werden, sodass die
Fahrbahnoberfläche mit den Lichtstrahlen abgetastet wird. Beispielsweise können die Lichtstrahlen entlang einer Linie ausgesendet werden, sodass der auf der Linie liegende Fahrbahnbereich beleuchtet wird.
Während der Beleuchtung des zumindest einen Fahrbahnbereiches erfasst die Kamera des Kraftfahrzeugs zumindest ein Kamerabild der Fahrbahnoberfläche. Dazu können die Lichtquelle und die Kamera, beispielsweise mittels einer Steuereinrichtung des
Fahrerassistenzsystems, zeitlich miteinander synchronisiert werden. Die Kamera, insbesondere ein Auflösungsvermögen der Kamera, ist dabei an die spezifische
Lichtquelle, insbesondere an eine Wellenlänge des von der Lichtquelle ausgesendeten Lichtstrahls, angepasst. Beispielsweise kann vorgesehen sein, dass der zumindest eine Fahrbahnbereich mittels eines Lichtstrahls aufweisend intensives Licht beleuchtet wird. Insbesondere wird der Fahrbahnbereich mittels eines Laserstrahls beleuchtet. Der Laserstrahl kann beispielsweise sichtbares Licht aufweisen und gemeinsam mit einer hochauflösenden Kamera betrieben werden. Alternativ kann der Laserstrahl Licht im nichtsichtbaren Wellenlängenbereich aufweisen und gemeinsam mit einer Kamera, welche sensitiv in dem nichtsichtbaren Wellenlängenbereich ist, betrieben werden. Die Kamera ist insbesondere eine Frontkamera, welche beispielsweise hinter einer
Windschutzscheibe des Kraftfahrzeugs angeordnet ist und deren Sichtfeld bzw.
Blickrichtung in den Umgebungsbereich vor dem Kraftfahrzeug gerichtet ist. Daher kann die Kamera den vor dem Kraftfahrzeug liegenden Umgebungsbereich in Kamerabildern erfassen. Die Kamerabilder können beispielsweise Einzelbilder einer von der Kamera erfassten Videosequenz sein.
Das zumindest eine von der Kamera erfasste Kamerabild kann einer Auswerteeinrichtung des Fahrerassistenzsystems zugeführt werden, welche daraufhin das zumindest eine Kamerabild analysiert. Zunächst wird in dem zumindest einen Kamerabild die Abbildung des beleuchteten Fahrbahnbereiches erkannt. Anders ausgedrückt wird derjenige Bildbereich in dem zumindest einen Kamerabild erkannt, welcher mit dem beleuchteten Fahrbahnbereich in dem Umgebungsbereich des Kraftfahrzeugs korrespondiert. Der beleuchtete Fahrbahnbereich stellt also eine sogenannte Region von Interesse (ROI- „region of interest") dar, dessen Abbild in dem zumindest einen Kamerabild erkannt wird. Die Abbildung des zumindest einen Fahrbahnbereiches wird dann in dem Farbraum analysiert. Dazu kann das zumindest eine Kamerabild oder der betreffende Bildbereich in den Farbraum konvertiert werden. Ein Farbraum ist insbesondere als die Menge an Farben definiert, die von der Kamera dargestellt werden kann. Der Farbraum kann die Farben basierend auf einem technisch-physikalischen Farbmodell und/oder basierend auf einem wahrnehmungsorientierten Farbmodell beschreiben. Jede Farbe kann mittels zumindest eines Farbparameters, beispielsweise eines numerischen Farbortes, beschrieben werden. Unter der Analyse der Abbildung des beleuchteten
Fahrbahnbereiches in dem Farbraum ist insbesondere zu verstehen, dass zumindest ein Wert des Farbparameters der Abbildung des beleuchteten Fahrbahnbereiches bestimmt und analysiert wird.
Insbesondere wird die Abbildung des zumindest einen beleuchteten Fahrbahnbereiches in einem RGB-Farbraum und/oder einem HSV-Farbraum analysiert. Der RGB-Farbraum, welcher auf einem technisch-physikalischen Modell basiert, ist ein additiver Farbraum, welcher eine Farbe durch das additive Mischen dreier Grundfarben, nämlich rot, grün und blau, nachbildet. Zum Beschreiben einer Farbe in dem RGB-Farbraum kann ein
Zahlentripel bestimmt werden, welches die Menge an rotem, grünem und blauem Licht beschreibt. Ein Wert des Rotanteils, ein Wert des Grünanteils und ein Wert des
Blauanteils können also als die Werte des Farbparameters der Abbildung des
beleuchteten Fahrbahnbereiches bestimmt werden. Der HSV-Farbraum beschreibt Farben anhand eines wahrnehmungsorientierten Modells, bei welchem eine Farbe mithilfe eines Farbwertes (englisch„hue"), einer Farbsättigung (englisch„Saturation") und eines Hellwertes (englisch„value") definiert wird. Als Werte des Farbparameters können also der Farbwert, die Farbsättigung und der Hellwert der Abbildung des beleuchteten Fahrbahnbereiches bestimmt werden. Auch kann die Abbildung des zumindest einen beleuchteten Fahrbahnbereiches in einem beliebigen anderen Farbraum, beispielsweise in einem HSL-Farbraum und/oder in einem YIQ-Farbraum, analysiert werden.
Durch die Analyse des Abbildes des beleuchteten Fahrbahnbereiches in dem Farbraum kann erkannt werden, ob die Fahrbahnoberfläche glatt ist oder nicht. Beispielsweise kann durch die Verwendung von Deep-Learning-Algorithmen oder maschinellem Lernen unterschieden werden, ob die Fahrbahnoberfläche rutschig ist oder nicht. Der Erfindung liegt die Erkenntnis zugrunde, dass eine Abbildung einer trockenen Fahrbahnoberfläche, welche von einem die Fahrbahnoberfläche treffenden Lichtstrahl beleuchtet wird, üblicherweise Farbparameterwerte aufweist, welche in einem spezifischen Bereich liegen. Wenn der Lichtstrahl jedoch einen rutschigen, glatten Oberflächenbereich der Fahrbahn trifft, verändern sich diese Farbparameterwerte. Durch das Beleuchten des
Fahrbahnbereiches mit dem Lichtstrahl und Analysieren des Abbildes des beleuchteten Fahrbahnbereiches kann die Fahrbahnbeschaffenheit besonders zuverlässig erfasst werden.
Vorzugsweise wird als der Lichtstrahl ein Infrarotlaserstrahl ausgesendet und das zumindest eine Kamerabild von einer infrarotsensitiven Kamera erfasst. Die Lichtquelle ist also hier eine Infrarotlichtquelle, welche Licht im nichtsichtbaren Infrarotbereich aussendet. Zum Analysieren des Abbildes des von dem Infrarotlaserstrahl beleuchteten Fahrbahnbereiches wird das zumindest eine Kamerabild von der infrarotsensitiven Kamera erfasst. Hier wird die Infrarotlichtquelle also mit der infrarotsensitiven Kamera synchronisiert. Aus dieser Ausführungsform ergibt sich der Vorteil, dass der Fahrer den durch die Lichtquelle ausgesendeten Lichtstrahl nicht sieht und daher nicht von seiner Fahraufgabe abgelenkt wird, während die Erfassung der Fahrbahnbeschaffenheit durchgeführt wird. Die Infrarotlichtquelle kann in einem Frontbereich des Kraftfahrzeugs, beispielsweise an einem Stoßfänger, angeordnet sein und kann eine Lichtquelle eines Laserscanners sein. Die Lichtquelle kann also sowohl zur Abstandsmessung mittels des Laserscanners als auch zur Erfassung der Fahrbahnbeschaffenheit verwendet werden.
Besonders bevorzugt wird im Falle der Identifizierung der rutschigen
Fahrbahnbeschaffenheit des zumindest einen beleuchteten Fahrbahnbereiches ein Warnsignal zur Ausgabe an einen Fahrer des Kraftfahrzeugs generiert. Dazu kann am Kraftfahrzeug, beispielsweise in einer Fahrgastzelle des Kraftfahrzeugs, eine
Ausgabeeinrichtung angeordnet sein, welche das Warnsignal ausgibt. Eine solche Ausgabeeinrichtung kann eine akustische Ausgabeeinrichtung, beispielsweise ein Lautsprecher, und/oder eine optische Ausgabeeinrichtung, beispielsweise ein Bildschirm, sein. Durch die Ausgabe des Warnsignals kann der Fahrer darauf hingewiesen werden, dass er sich mit dem Kraftfahrzeug auf eine rutschige Fahrbahnoberfläche zubewegt. Somit kann der Fahrer rechtzeitig reagieren und das Kraftfahrzeug beispielsweise vor dem Überfahren der rutschigen Fahrbahnoberfläche abbremsen oder die rutschigen Fahrbahnoberfläche umfahren. Auch kann als das Warnsignal ein Bremssignal generiert werden, durch welches das Kraftfahrzeug automatisch abgebremst wird. Durch das Warnsignal kann also in vorteilhafter Weise verhindert werden, dass das Kraftfahrzeug ins Schleudern gerät und dadurch einen Verkehrsunfall verursacht.
Auch können eine Geschwindigkeit des Kraftfahrzeugs und eine Bildfrequenz der Kamera des Kraftfahrzeugs erfasst werden. Anhand der Bildfrequenz und der Geschwindigkeit kann überprüft werden, ob Teilbereiche auf der Fahrbahnoberfläche in Fahrtrichtung des Kraftfahrzeugs existieren, welche nicht von der Kamera erfasst werden können und daher nicht von der Auswerteeinrichtung analysiert werden können. Außerdem kann eine Lage dieser nicht erfassbaren Teilbereiche in Abhängigkeit von der Bildfrequenz und der Geschwindigkeit bestimmt werden. Dem Fahrer kann beispielsweise auf der
Ausgabeeinrichtung eine Information angezeigt werden, durch welche der Fahrer auf die nicht erfassbaren Teilbereiche hingewiesen wird.
Es kann vorgesehen sein, dass die Abbildung des zumindest einen beleuchteten
Fahrbahnbereiches in dem zumindest einen Kamerabild anhand einer Senderichtung des Lichtstrahls und anhand einer Blickrichtung der Kamera erkannt wird. Anhand der Senderichtung des Lichtstrahls ausgehend vom Kraftfahrzeug kann nämlich die Lage des beleuchteten Fahrbahnbereiches relativ zum Kraftfahrzeug, insbesondere in einem Weltkoordinatensystem, bestimmt werden. Anhand der Blickrichtung der Kamera, welche durch eine Position und eine Orientierung der Kamera am Kraftfahrzeug bestimmt ist, kann die Lage des von der Kamera erfassten beleuchteten Fahrbahnbereiches in dem Kamerabild, insbesondere in Bildkoordinaten, bestimmt werden. Anhand der
Bildkoordinaten der Abbildung des beleuchteten Fahrbahnbereiches kann die Abbildung in dem Kamerabild besonders schnell und einfach erkannt werden.
Dabei kann vorgesehen sein, dass zumindest ein Wert zumindest eines den Farbraum charakterisierenden Farbparameters der Abbildung des zumindest einen beleuchteten Fahrbahnbereiches bestimmt wird, der zumindest eine Wert mit einem vorbestimmten Referenzwert verglichen wird und die Fahrbahnbeschaffenheit anhand einer Abweichung des zumindest einen Wertes von dem Referenzwert identifiziert wird. Beispielsweise kann der Referenzwert ein eine rutschfeste Fahrbahnbeschaffenheit charakterisierender Referenzwert sein, wobei die rutschige Fahrbahnbeschaffenheit identifiziert wird, falls der zumindest eine Wert des zumindest einen Farbparameters mindestens um einen vorbestimmten Schwellwert von dem eine rutschfeste Fahrbahnbeschaffenheit charakterisierenden Referenzwert abweicht. Im Falle des HSV-Farbraumes können beispielsweise ein Wert des Farbwertes und/oder ein Wert der Farbsättigung und/oder ein Wert des Hellwertes der Abbildung des beleuchteten Fahrbahnbereiches in dem zumindest einen Kamerabild bestimmt werden. Der zumindest eine bestimmte Wert kann mit dem zumindest einen vorbestimmten Referenzwert verglichen werden. Der
Referenzwert kann beispielsweise ein Farbwert und/oder eine Farbsättigung und/oder ein Hellwert sein, welchen der Farbparameter beispielsweise aufweisen würde, falls der Fahrbahnbereich eine trockene Fahrbahnoberfläche aufweisen würde. Der Referenzwert kann beispielsweise vorbestimmt werden, indem die Werte des Farbparameters auf einer trockenen Fahrbahnoberfläche erfasst werden. Alternativ dazu kann der Referenzwert ein eine rutschige Fahrbahnbeschaffenheit charakterisierender Referenzwert sein, wobei die rutschige Fahrbahnbeschaffenheit identifiziert wird, falls der zumindest eine Wert des zumindest einen Farbparameters höchstens um einen vorbestimmten Schwellwert von dem eine rutschige Fahrbahnbeschaffenheit charakterisierenden Referenzwert abweicht.
Insbesondere wird der vorbestimmte Referenzwert in Abhängigkeit von zumindest einem Charakteristikum des Lichtstrahls, insbesondere einer Strahlungsleistung und/oder einer Strahlungsintensität und/oder einer Lichtfarbe, bestimmt. Dieser Ausführungsform liegt Erkenntnis zugrunde, dass die Farbparameter der Abbildung des beleuchteten
Fahrbahnbereiches abhängig sind von der spezifischen Lichtquelle, insbesondere von dem Licht, welches die Lichtquelle aussendet. Da die spezifische Lichtquelle bekannt ist, kann der Referenzwert in vorteilhafter Weise im Vorfeld bestimmt werden. Durch die Vorgabe des Referenzwertes kann die Fahrbahnbeschaffenheit besonders schnell und einfach klassifiziert werden.
In einer Weiterbildung der Erfindung wird eine Änderung in der Fahrbahnbeschaffenheit detektiert, wobei zumindest zwei Fahrbahnbereiche der Fahrbahn mittels des Lichtstrahls beleuchtet werden und deren Abbildungen erkannt werden, für jede der zumindest zwei Abbildungen zumindest ein Wert zumindest eines den Farbraum charakterisierenden Farbparameters bestimmt wird, die zumindest zwei Werte miteinander verglichen werden und die Änderung in der Fahrbahnbeschaffenheit detektiert wird, falls die zumindest zwei Werte zumindest um einen vorbestimmten Schwellwert voneinander abweichen. Es wird also eine Vielzahl von Fahrbahnbereichen mittels des Lichtstrahls beleuchtet.
Beispielsweise kann die Fahrbahn entlang einer Linie abgetastet werden, indem die Senderichtung des Lichtstrahls derart verändert wird, dass die Fahrbahnoberfläche entlang der Linie beleuchtet wird. Daraufhin können in den Abbildungen der beleuchteten Fahrbahnbereiche Werte des zumindest einen Farbparameters bestimmt werden. Wenn die Linie eine Gleitschicht auf der Fahrbahnoberfläche schneidet, so ändern sich die Farbparameterwerte entlang der Linie an den Grenzen der Gleitschicht. Diese Änderung kann erkannt werden. Anhand der Änderung der Fahrbahnbeschaffenheit an den Grenzen der Gleitschicht kann außerdem eine räumliche Abmessung der Gleitschicht erkannt werden. Aus dieser Ausführungsform ergibt sich der Vorteil, dass kein
Referenzwert zum Vergleich mit dem Farbparameter der Abbildung des beleuchteten Fahrbahnbereiches vorbestimmt werden muss.
In einer Weiterbildung der Erfindung wird die Fahrbahnbeschaffenheit zusätzlich anhand von Sensordaten zumindest eines fahrzeugseitigen Sensors erkannt, durch welche Umgebungsbedingungen eines Umgebungsbereiches der Kraftfahrzeugs charakterisiert werden. Ein solcher Sensor kann beispielsweise ein Regensensor sein, mittels welchem Regen in dem Umgebungsbereich erfasst werden kann. Im Falle von Regen kann davon ausgegangen werden, dass die Fahrbahnoberfläche nass und möglicherweise rutschig ist. Auch kann der zumindest eine Sensor ein Temperatursensor sein. Wenn
beispielsweise erfasst wurde, dass die Temperatur im Umgebungsbereich des
Kraftfahrzeugs einen vorbestimmten Temperaturschwellwert, beispielsweise 0°, unterschreitet, so kann die Fahrbahnoberfläche mit einer Gleitschicht, beispielsweise Schnee oder Blitzeis, bedeckt sein. Anhand der Sensordaten des zumindest einen Sensors und anhand der Analyse der Abbildung des beleuchteten Fahrbahnbereiches in dem Farbraum kann die Erkennung der Fahrbahnbeschaffenheit beispielsweise erlernt und verbessert werden. Dies wird auch als maschinelles Lernen bezeichnet. Somit kann besonders zuverlässig die Fahrbahnbeschaffenheit der Fahrbahn für das Kraftfahrzeug erfasst werden.
In einer weiteren Ausführungsform der Erfindung wird eine Verkehrssituation auf der Fahrbahn vor dem Kraftfahrzeug erfasst und die Bestimmung der
Fahrbahnbeschaffenheit unterdrückt, falls als die Verkehrssituation ein Stau erfasst wird. Beispielsweise kann die Verkehrssituation von einer Sensoreinrichtung des
Kraftfahrzeugs, beispielsweise der Kamera, erfasst werden. Wenn das Kraftfahrzeug beispielsweise in einem Stau steht, ist eine Erfassung der Fahrbahnbeschaffenheit ohnehin nicht möglich, da die Fahrbahn durch andere Verkehrsteilnehmer belegt ist. Außerdem weist das Kraftfahrzeug im Stau üblicherweise eine geringe Geschwindigkeit auf, sodass eine Erfassung der Fahrbahnbeschaffenheit nicht notwendig ist. Durch Unterdrücken der Erfassung der Fahrbahnbeschaffenheit im Falle eines Staus ist das Fahrerassistenzsystem somit besonders energiesparend gestaltet.
Die Erfindung betrifft außerdem ein Fahrerassistenzsystem für ein Kraftfahrzeug zum Erfassen einer Fahrbahnbeschaffenheit einer Fahrbahn für das Kraftfahrzeug. Gemäß einer Ausführungsform weist das Fahrerassistenzsystem insbesondere eine Lichtquelle, welche dazu ausgelegt ist, einen Lichtstrahl auszusenden und zumindest einen
Fahrbahnbereich der Fahrbahn mittels des ausgesendeten Lichtstrahls zu beleuchten, und eine Kamera, welche dazu ausgelegt ist, zumindest ein Kamerabild der Fahrbahn des Kraftfahrzeugs zu erfassen, auf. Insbesondere weist das Fahrerassistenzsystem eine Auswerteeinrichtung, auf, welche dazu ausgelegt ist, das zumindest eine Kamerabild zu empfangen, eine Abbildung des zumindest einen beleuchteten Fahrbahnbereiches in dem zumindest einen Kamerabild der Fahrbahn zu erkennen, die Abbildung des zumindest einen beleuchteten Fahrbahnbereiches in dem zumindest einen Kamerabild in einem Farbraum zu analysieren und eine rutschige Fahrbahnbeschaffenheit oder einer rutschfeste Fahrbahnbeschaffenheit des zumindest einen beleuchteten
Fahrbahnbereiches anhand der Analyse der Abbildung des zumindest einen beleuchteten Fahrbahnbereiches in dem Farbraum zu identifizieren.
Gemäß einer besonders bevorzugten Ausführungsform weist das Fahrerassistenzsystem eine Lichtquelle, welche dazu ausgelegt ist, einen Lichtstrahl auszusenden und zumindest einen Fahrbahnbereich der Fahrbahn mittels des ausgesendeten Lichtstrahls zu beleuchten, und eine Kamera, welche dazu ausgelegt ist, zumindest ein Kamerabild der Fahrbahn des Kraftfahrzeugs zu erfassen, auf. Darüber hinaus weist das
Fahrerassistenzsystem eine Auswerteeinrichtung auf, welche dazu ausgelegt ist, das zumindest eine Kamerabild zu empfangen, eine Abbildung des zumindest einen beleuchteten Fahrbahnbereiches in dem zumindest einen Kamerabild der Fahrbahn zu erkennen, die Abbildung des zumindest einen beleuchteten Fahrbahnbereiches in dem zumindest einen Kamerabild in einem Farbraum zu analysieren und eine rutschige Fahrbahnbeschaffenheit oder eine rutschfeste Fahrbahnbeschaffenheit des zumindest einen beleuchteten Fahrbahnbereiches anhand der Analyse der Abbildung des zumindest einen beleuchteten Fahrbahnbereiches in dem Farbraum zu identifizieren.
Die Lichtquelle kann beispielsweise eine Laserlichtquelle sein, welcher Laserlicht, insbesondere einen Infrarotlaserstrahl, in den Umgebungsbereich des Kraftfahrzeugs aussendet. Der Laser kann beispielsweise Teil eines bereits am Kraftfahrzeug
angeordneten Laserscanner sein, welcher zur Abstandsmessung vorgesehen ist. Die Kamera kann beispielsweise eine infrarotsensitive Kamera sein, welche dazu ausgelegt ist, einen von dem Infrarotlaserstrahl beleuchteten Fahrbahnbereich auf der Fahrbahn des Kraftfahrzeugs zu erfassen. Die Auswerteeinrichtung kann beispielsweise in ein Steuergerät des Kraftfahrzeugs integriert sein.
Auch kann vorgesehen sein, dass das Fahrerassistenzsystem eine Ausgabeeinrichtung zum Ausgeben einer Information über die erfasste Fahrbahnbeschaffenheit an einen Fahrer des Kraftfahrzeugs aufweist. Die Ausgabeeinrichtung kann beispielsweise eine akustische und/oder optische Ausgabeeinrichtung sein, durch welche im Falle einer rutschigen Fahrbahnoberfläche ein Warnsignal ausgegeben werden kann. Beispielsweise kann die Ausgabeeinrichtung ein Bildschirm sein, auf welchem das Kamerabild des Umgebungsbereiches des Kraftfahrzeugs mit der Fahrbahn angezeigt wird. Falls die Fahrbahnoberfläche eine Gleitschicht aufweist, kann diese nach Erkennen anhand der Analyse der Abbildung des beleuchteten Fahrbahnbereiches in dem angezeigten
Kamerabild markiert werden.
Es erweist sich als vorteilhaft, wenn das Fahrerassistenzsystem dazu ausgelegt ist, bei einer Identifizierung der rutschigen Fahrbahnbeschaffenheit des beleuchteten
Fahrbahnbereiches eine Geschwindigkeit des Kraftfahrzeugs automatisch zu reduzieren. Dazu kann das Fahrerassistenzsystem beispielsweise ein Bremssignal für das
Kraftfahrzeug zum automatischen Reduzieren der Geschwindigkeit des Kraftfahrzeugs generieren. Das Fahrerassistenzsystem ist somit als ein aktives Sicherheitssystem („active safety System") ausgebildet.
Ein erfindungsgemäßes Kraftfahrzeug umfasst ein erfindungsgemäßes
Fahrerassistenzsystem oder eine vorteilhafte Ausführungsform davon. Das Kraftfahrzeug ist insbesondere als ein Personenkraftwagen ausgebildet.
Die mit Bezug auf das erfindungsgemäße Verfahren vorgestellten bevorzugten
Ausführungsformen und deren Vorteile gelten entsprechend für das erfindungsgemäße Fahrerassistenzsystem sowie für das erfindungsgemäße Kraftfahrzeug.
Weitere Merkmale der Erfindung ergeben sich aus den Ansprüchen, den Figuren und der Figurenbeschreibung. Die vorstehend in der Beschreibung genannten Merkmale und Merkmalskombinationen, sowie die nachfolgend in der Figurenbeschreibung genannten und/oder in den Figuren alleine gezeigten Merkmale und Merkmalskombinationen sind nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinatio- nen oder in Alleinstellung verwendbar, ohne den Rahmen der Erfindung zu verlassen. Es sind somit auch Ausführungen von der Erfindung als umfasst und offenbart anzusehen, die in den Figuren nicht explizit gezeigt und erläutert sind, jedoch durch separierte Merkmalskombinationen aus den erläuterten Ausführungen hervorgehen und erzeugbar sind. Es sind auch Ausführungen und Merkmalskombinationen als offenbart anzusehen, die somit nicht alle Merkmale eines ursprünglich formulierten unabhängigen Anspruchs aufweisen. Es sind darüber hinaus Ausführungen und Merkmalskombinationen, insbesondere durch die oben dargelegten Ausführungen, als offenbart anzusehen, die über die in den Rückbezügen der Ansprüche dargelegten Merkmalskombinationen hinausgehen oder abweichen.
Die Erfindung wird nun anhand von bevorzugten Ausführungsbeispielen sowie unter Bezugnahme auf die beigefügten Zeichnungen näher erläutert.
Dabei zeigen:
Fig. 1 eine schematische Darstellung einer Ausführungsform eines
erfindungsgemäßen Kraftfahrzeugs;
Fig. 2 eine schematische Darstellung einer Fahrbahn vor dem Kraftfahrzeug, welche bereichsweise eine rutschige Fahrbahnoberfläche aufweist;
Fig. 3 eine schematische Darstellung von Komponenten einer Ausführungsform eines erfindungsgemäßen Fahrerassistenzsystems;
Fig. 4 eine schematische Darstellung einer Fahrbahn vor dem Kraftfahrzeug, welche keine rutschige Fahrbahnoberfläche aufweist;
Fig. 5 die Darstellung gemäß Fig. 4, wobei die Fahrbahn bereichsweise eine
rutschige Fahrbahnoberfläche aufweist;
Fig. 6a, 6b schematische Darstellungen von Lichtflecken eines Lichtstrahls, welcher eine rutschfeste Fahrbahnoberfläche sowie eine rutschige
Fahrbahnoberfläche berührt; und Fig. 7 eine schematische Darstellung eines Ablaufplans zum Erfassen einer
Fahrbahnbeschaffenheit der Fahrbahn.
In den Figuren sind gleiche sowie funktionsgleiche Elemente mit den gleichen
Bezugszeichen versehen.
Fig. 1 zeigt ein Kraftfahrzeug 1 gemäß einer Ausführungsform der vorliegenden
Erfindung. Vorliegend ist das Kraftfahrzeug 1 als ein Personenkraftwagen ausgebildet. Das Kraftfahrzeug 1 weist ein Fahrerassistenzsystem 2 auf, welches dazu ausgelegt ist, eine Fahrbahnbeschaffenheit einer Fahrbahn 3 für das Kraftfahrzeug 1 zu erfassen. Dazu kann das Fahrerassistenzsystem 2 eine Fahrbahnoberfläche 7 der Fahrbahn 3 klassifizieren. Beispielsweise kann das Fahrerassistenzsystem 2 erfassen, ob die Fahrbahnoberfläche 7 der Fahrbahn 3 zumindest bereichsweise eine Gleitschicht 4 aufweist und daher zumindest bereichsweise rutschig bzw. glatt ist. Die Gleitschicht 4 kann beispielsweise ein Ölfilm, Glatteis, Wasser oder eine andere rutschige, glatte Schicht sein. Außerdem kann das Fahrerassistenzsystem 2 die Gleitschicht 4 in einem Umgebungsbereich 10 des Kraftfahrzeugs 1 lokalisieren.
Das Fahrerassistenzsystem 2 weist zumindest eine Lichtquelle 5 auf, welche
beispielsweise als Laserlichtquelle ausgebildet sein kann. Vorliegend weist das
Fahrerassistenzsystem 2 zwei Lichtquellen 5 auf, welche an einem Frontbereich des Kraftfahrzeugs 1 , beispielsweise an einem frontalen Stoßfänger des Kraftfahrzeugs 1 , angeordnet sein können. Die Lichtquellen 5 können Lichtstrahlen in den
Umgebungsbereich 10 vor dem Kraftfahrzeug 1 aussenden und somit Fahrbahnbereiche 12a, 12b (siehe Fig. 2) der Fahrbahn 3 vor dem Kraftfahrzeug 1 beleuchten. Außerdem weist das Fahrerassistenzsystem 2 zumindest eine Kamera 6 auf, welche als eine Frontkamera ausgebildet sein kann und hinter einer Frontscheibe des Kraftfahrzeugs 1 angeordnet sein kann. Die Kamera 6 kann die von den Lichtquellen 5 beleuchteten Fahrbahnbereiche 12a, 12b in Kamerabildern 14 (siehe Fig. 4, Fig. 5) erfassen.
Beispielsweise kann die Lichtquelle ein sichtbarer Laser mit einer Leistung von 50 mW sein. Die Kamera 6 kann eine Auflösung von 1080x1920 Bildpunkten aufweisen. Auch kann die Lichtquelle 5 ein Infrarotlaser sein. In diesem Fall ist die Kamera 6 als eine infrarotsensitive Kamera 6 ausgebildet. Darüber hinaus weist das Fahrerassistenzsystem 2 eine Auswerteeinrichtung 8 auf, welche dazu ausgelegt ist, die Kamerabilder 14 der Kamera 6 zu empfangen und zu analysieren. Darüber hinaus kann das
Fahrerassistenzsystem 2 eine Ausgabeeinrichtung 9 aufweisen, welche dazu ausgelegt ist, ein Warnsignal 1 1 (siehe Fig. 2) an einen Fahrer des Kraftfahrzeugs 1 auszugeben, beispielsweise wenn die Gleitschicht 4 auf der Fahrbahn 3 erkannt wurde. Die
Ausgabeeinrichtung 9 kann beispielsweise ein Bildschirm zur optischen Ausgabe des Warnsignals und/oder ein Lautsprecher zu akustischen Ausgabe des Warnsignals sein.
Fig. 2 zeigt den Umgebungsbereich 10 vor dem Kraftfahrzeug 1 aus Sicht eines Fahrers des Kraftfahrzeugs 1 beim Blick durch die Windschutzscheibe. Dabei befindet sich auf der Fahrbahn 3 die Gleitschicht 4, durch deren Überfahren das Kraftfahrzeug 1 ins Schleudern geraten könnte. Diese Gleitschicht 4 soll nun erkannt werden und das Warnsignal 1 1 ausgegeben werden. Durch das Warnsignal 1 1 kann der Fahrer auf die Gleitschicht 4 aufmerksam gemacht werden, sodass er beispielsweise eine
Geschwindigkeit des Kraftfahrzeugs 1 zum vorsichtigen Überfahren der Gleitschicht 4 verringern kann oder die Gleitschicht 4 umfahren kann. Das Warnsignal 1 1 ist hier ein Schriftzug, welcher auf der Ausgabeeinrichtung 9 in Form von einem Bildschirm dargestellt wird. Zum Erkennen der Gleitschicht 4 werden Fahrbahnbereiche 12a, 12b mittels der Lichtstrahlen der Lichtquellen 5 nacheinander oder gleichzeitig beleuchtet. Dabei befinden sich die beleuchteten Fahrbahnbereiche 12a außerhalb der Gleitschicht 4 und die beleuchteten Fahrbahnbereich 12b innerhalb der Gleitschicht 4. Von der Kamera 6 werden während der Beleuchtung der Fahrbahnbereiche 12a, 12b Kamerabilder 14 erfasst. Dazu ist in Fig. 3, in welcher die Komponenten des Fahrerassistenzsystems 2 schematisch dargestellt sind, gezeigt, dass ein Sichtfeld 13 der Kamera 6 mit den beleuchteten Fahrbahnbereichen 12a, 12b überlappt. Die Kamerabilder 14, in welchen sich Abbilder 12a', 12b' (siehe Fig. 6) der beleuchteten Fahrbahnbereiche 12a, 12b befinden, werden dann der Auswerteeinrichtung 8 zugeführt, welche daraufhin die Kamerabilder 14 zum Erkennen der Gleitschicht 4 analysiert. Falls die Gleitschicht 4 erkannt wurde, wird von der Auswerteeinrichtung 8 das Warnsignal 1 1 generiert, welches durch die Ausgabeeinrichtung 9 ausgegeben werden kann.
In Fig. 4 und Fig. 5 ist wiederum die Fahrbahn 3 vor dem Kraftfahrzeug 1 durch die Windschutzscheibe gezeigt. Auf der Ausgabeeinrichtung 9, beispielsweise dem
Bildschirm, ist das von der Kamera 6 erfasste Kamerabild 14 gezeigt, welche ein Abbild 10' des Umgebungsbereiches 10 sowie ein Abbild 3' der Fahrbahn 3 aufweist. In Fig. 4 befindet sich keine Gleitschicht 4 auf der Fahrbahnoberfläche 7 der Fahrbahn 3. Gemäß Fig. 5 befindet sich eine Gleitschicht 4 auf der Fahrbahnoberfläche 7 der Fahrbahn 3, wobei das Kamerabild 14 somit ein Abbild 4' der Gleitschicht 4 aufweist. Die Fahrbahn 3 wird mittels der Lichtstrahlen der Lichtquelle 5 entlang einer Linie 15 abgetastet. Dies bedeutet, dass die beleuchteten Fahrbahnbereiche 12a und, im Falle von Fig. 5, die beleuchteten Fahrbahnbereiche 12b auf der Linie 15 liegen. Anhand der beleuchteten Fahrbahnbereiche 12a, 12b kann nun, wie anhand eines Ablaufplans 16 in Fig. 7 gezeigt, die Fahrbahnbeschaffenheit der Fahrbahn 3 erfasst werden. Durch eine in Fig. 7 gezeigte Hardwareschicht 17 sind die Kamera 6 sowie Ausgabeeinrichtungen 9, beispielsweise der Bildschirm zum Anzeigen des Kamerabildes 14 und ein Lautsprecher zum Ausgeben des Warnsignals 1 1 , repräsentiert. Eine von der Kamera 6 erfasste Videoeingabe 18, welche das Kamerabild 14 umfasst, kann einer Einrichtung 19 zum Erkennen der Bildposition der Abbildungen 12a', 12b' (siehe Fig. 6a, Fig. 6b) der beleuchteten Fahrbahnbereiche 12a, 12b zugeführt werden. Die Einrichtung 19 erkennt die Senderichtung der Lichtquelle 5 und einer Orientierung des Sichtfeldes 13 der Kamera 6 und kann dadurch die Abbildungen 12a', 12b' der beleuchteten
Fahrbahnbereiche 12a, 12b in dem Kamerabild 14 der Videoeingabe 18 lokalisieren. Eine Videoausgabe 20, welche das Kamerabild 14 umfasst, kann der Ausgabeeinrichtung 9 in Form von dem Bildschirm zum Anzeigen bereitgestellt werden. Die Einrichtung 19 kann die in der Videoeingabe 18 lokalisierten Abbilder 12a', 12b' der beleuchteten
Fahrbahnbereiche 12a, 12b einem Farbraumumwandler 21 zuführen, welcher die
Abbilder 12a', 12b' der beleuchteten Fahrbahnbereiche 12a, 12b in einen bestimmten Farbraum, beispielsweise einen RGB-Farbraum oder einen HSV-Farbraum, konvertiert. Mittels eines Auswertealgorithmus 22 kann durch die Analyse der Abbilder 12a', 12b' der beleuchteten Fahrbahnbereiche 12a, 12b in dem Farbraum ein Vorhandensein 23 der Gleitschicht 4 detektiert werden und daraufhin das Warnsignal 1 1 zur Ausgabe an den Fahrer generiert werden.
In Fig. 6a und Fig. 6b sind Abbilder 4' der Gleitschicht 4 auf einem Abbild 7' der
Fahrbahnoberfläche 7 in dem Kamerabild 14 gezeigt. In Fig. 6a ist das Abbild 12a' des beleuchteten Fahrbahnbereiches 12a in dem Kamerabild 14 gezeigt, welches sich außerhalb des Abbildes 4' der Gleitschicht 4 befindet. In Fig. 6b ist das Abbild 12b' des beleuchteten Fahrbahnbereiches 12b gezeigt, welches sich innerhalb des Abbildes 4' der Gleitschicht 4 befindet. Dabei weist das Abbild 12a' des beleuchteten Fahrbahnbereiches 12a gemäß Fig. 6a erste spezifische Werte für Farbparameter des Farbraumes auf und das Abbild 12b' des beleuchteten Fahrbahnbereiches 12b gemäß Fig. 6b weist zweite spezifische Werte für die Farbparameter des Farbraumes auf. Die ersten und zweiten Werte der Farbparameter unterscheiden sich dabei. Diese ersten und zweiten Werte des Farbparameters, beispielsweise ein erster und ein zweiter Wert für den Farbwert, ein erster und ein zweiter Wert für die Farbsättigung und ein erster und ein zweiter Wert für die Helligkeit, können für die jeweiligen Abbilder 12a', 12b' des beleuchteten
Fahrbahnbereiches 12a, 12b bestimmt werden. Die ersten Werte des Farbparameters der Abbildung 12a' des beleuchteten Fahrbahnbereiches 12akönnen beispielsweise als Referenzwerte, durch welche eine trockene Fahrbahnbeschaffenheit charakterisiert werden, vorgegeben und in einer fahrzeugseitigen Speichereinrichtung hinterlegt werden.
Im Betrieb des Fahrerassistenzsystems 2 zum Erfassen der Fahrbahnbeschaffenheit können dann die Werte der Farbparameter von Abbildungen 12a', 12b' beleuchteter Fahrbahnbereiche 12a, 12b bestimmt werden und mit den Referenzwerten verglichen werden. Falls die bestimmten Werte der Farbparameter höchstens um einen
vorbestimmten Schwellwert von den Referenzwerten abweichen, so ist dies ein Zeichen dafür, dass die Fahrbahnoberfläche 7 keine Gleitschicht 4 aufweist und daher trocken ist. Falls die Abweichung zwischen den bestimmten Werten der Farbparameter und den Referenzwerten den vorbestimmten Schwellwert überschreiten, so ist dies ein Zeichen dafür, dass die Fahrbahnoberfläche 7 eine Gleitschicht 4 aufweist und daher rutschig ist. Anhand der Analyse der Abbilder 12a', 12b' der beleuchteten Fahrbahnbereiche 12a, 12b in de Farbraum können somit trockene, rutschfeste Fahrbahnoberflächen 7, welche zu den Fahrbahnbereichen 12a korrespondieren, von rutschigen glatten
Fahrbahnoberflächen 7, welche zu den Fahrbahnbereichen 12b korrespondieren unterschieden werden.
Auch können eine Geschwindigkeit des Kraftfahrzeugs 1 und eine Bildfrequenz der Kamera 6 des Kraftfahrzeugs 1 erfasst werden. Anhand der Bildfrequenz und der Geschwindigkeit kann überprüft werden, ob Teilbereiche der Fahrbahnoberfläche 7 in Fahrtrichtung des Kraftfahrzeugs 1 existieren, welche nicht von der Kamera 6 erfasst werden können und daher nicht von der Auswerteeinrichtung 8 analysiert werden können. Angenommen das Kraftfahrzeug 1 bewegt sich mit einer Geschwindigkeit von 200 km/h bzw. 0,06 m/ms fort und die Bildfrequenz der Kamera 6 beträgt 10 BpS (Bilder pro Sekunde) bzw. 1 B/100ms. In diesem Fall ist ein Abstand, welcher von dem Kraftfahrzeug 1 abgedeckt wird, bevor ein nächstes Kamerabild empfangen wird
(0,06 m/ms)*100 ms = 6 m. Aus der Annahme, dass ein zu analysierender Teilbereich eine Länge von 1 m in Fahrtrichtung des Kraftfahrzeugs 1 und eine Breite von 2 m aufweist, kann geschlossen werden, dass der nicht analysierte Teilbereich eine Länge von 5 m in Fahrtrichtung des Kraftfahrzeugs 1 aufweist. Beispielsweise kann dem Fahrer auf der Ausgabeeinrichtung 9 eine Information über die nicht analysierbaren Teilbereiche angezeigt werden.

Claims

Patentansprüche
1 . Verfahren zum Erfassen einer Fahrbahnbeschaffenheit einer Fahrbahn (3) für ein Kraftfahrzeug (1 ); mit den Schritten:
- Beleuchten zumindest eines Fahrbahnbereiches (12a, 12b) der Fahrbahn (3) mittels eines von einer Lichtquelle (5) des Kraftfahrzeugs (1 ) ausgesendeten Lichtstrahls;
-Empfangen zumindest eines von einer Kamera (6) des Kraftfahrzeugs (1 ) erfassten Kamerabildes (14) der Fahrbahn (3);
- Erkennen einer Abbildung (12a', 12b') des zumindest einen beleuchteten
Fahrbahnbereiches (12a, 12b) in dem zumindest einen Kamerabild (14) der Fahrbahn (3);
- Analysieren der Abbildung (12a', 12b') des zumindest einen beleuchteten
Fahrbahnbereiches (12a, 12b) in dem zumindest einen Kamerabild (14) in einem Farbraum;
- Identifizieren einer rutschigen Fahrbahnbeschaffenheit oder einer rutschfesten Fahrbahnbeschaffenheit des zumindest einen beleuchteten Fahrbahnbereiches (12a, 12b) anhand der Analyse der Abbildung (12a', 12b') des zumindest einen beleuchteten Fahrbahnbereiches (12a, 12b) in dem Farbraum.
2. Verfahren nach Anspruch 1 ,
dadurch gekennzeichnet, dass
im Falle der Identifizierung der rutschigen Fahrbahnbeschaffenheit des zumindest einen beleuchteten Fahrbahnbereiches (12a, 12b) ein Warnsignal (1 1 ) zur Ausgabe an einen Fahrer des Kraftfahrzeugs (1 ) generiert wird.
3. Verfahren nach Anspruch 1 oder 2,
dadurch gekennzeichnet, dass
die Abbildung (12a', 12b') des zumindest einen beleuchteten Fahrbahnbereiches (12a, 12b) in dem zumindest einen Kamerabild (14) anhand einer Senderichtung des Lichtstrahls und anhand einer Blickrichtung der Kamera (6) erkannt wird.
4. Verfahren nach einem der vorhergehenden Ansprüche,
dadurch gekennzeichnet, dass die Abbildung (12a', 12b') des zumindest einen beleuchteten Fahrbahnbereiches (12a, 12b) in einem RGB-Farbraum und/oder einem HSV-Farbraum analysiert wird.
5. Verfahren nach einem der vorhergehenden Ansprüche,
dadurch gekennzeichnet, dass
zumindest ein Wert zumindest eines den Farbraum charakterisierenden
Farbparameters der Abbildung (12a', 12b') des zumindest einen beleuchteten Fahrbahnbereiches (12a, 12b) bestimmt wird, der zumindest eine Wert mit einem vorbestimmten Referenzwert verglichen wird und die Fahrbahnbeschaffenheit anhand einer Abweichung des zumindest einen Wertes von dem Referenzwert identifiziert wird.
6. Verfahren nach Anspruch 5,
dadurch gekennzeichnet, dass
der vorbestimmte Referenzwert in Abhängigkeit von zumindest einem
Charakteristikum des Lichtstrahls, insbesondere einer Strahlungsleistung und/oder einer Strahlungsintensität und/oder einer Lichtfarbe, bestimmt wird.
7. Verfahren nach einem der vorhergehenden Ansprüche,
dadurch gekennzeichnet, dass
eine Änderung in der Fahrbahnbeschaffenheit detektiert wird, wobei zumindest zwei Fahrbahnbereiche (12a, 12b) der Fahrbahn (3) mittels des Lichtstrahls beleuchtet und deren Abbildungen (12a', 12b') erkannt werden, für jede der zumindest zwei Abbildungen (12a', 12b') zumindest ein Wert zumindest eines den Farbraum charakterisierenden Farbparameters bestimmt wird, die zumindest zwei Werte miteinander verglichen werden und die Änderung in der Fahrbahnbeschaffenheit detektiert wird, falls die zumindest zwei Werte zumindest um einen vorbestimmten Schwellwert voneinander abweichen.
8. Verfahren nach einem der vorhergehenden Ansprüche,
dadurch gekennzeichnet, dass
als der Lichtstrahl ein Infrarotlaserstrahl ausgesendet wird und das zumindest eine Kamerabild von einer infrarotsensitiven Kamera (6) erfasst wird.
9. Verfahren nach einem der vorhergehenden Ansprüche,
dadurch gekennzeichnet, dass
die Fahrbahnbeschaffenheit zusätzlich anhand von Sensordaten zumindest eines fahrzeugseitigen Sensors erkannt wird, durch welche Umgebungsbedingungen eines Umgebungsbereiches (10) des Kraftfahrzeugs (1 ) charakterisiert werden.
10. Verfahren nach einem der vorhergehenden Ansprüche,
dadurch gekennzeichnet, dass
eine Verkehrssituation auf der Fahrbahn (3) erfasst wird und die Bestimmung der Fahrbahnbeschaffenheit unterdrückt wird, falls als die Verkehrssituation ein Stau erfasst wird.
1 1 . Fahrerassistenzsystem (2) für ein Kraftfahrzeug (1 ) zum Erfassen einer
Fahrbahnbeschaffenheit einer Fahrbahn (3) für das Kraftfahrzeug (1 ) aufweisend
- eine Lichtquelle (5), welche dazu ausgelegt ist, einen Lichtstrahl auszusenden und zumindest einen Fahrbahnbereich (12a, 12b) der Fahrbahn (3) mittels des ausgesendeten Lichtstrahls zu beleuchten;
- eine Kamera (6), welche dazu ausgelegt ist, zumindest ein Kamerabild (14) der Fahrbahn (3) zu erfassen; und
- eine Auswerteeinrichtung (8), welche dazu ausgelegt ist, das zumindest eine Kamerabild (14) zu empfangen, eine Abbildung (12a', 12b') des zumindest einen beleuchteten Fahrbahnbereiches (12a, 12b) in dem zumindest einen Kamerabild (14) der Fahrbahn (3) zu erkennen, die Abbildung (12a', 12b') des zumindest einen beleuchteten Fahrbahnbereiches (12a, 12b) in dem zumindest einen Kamerabild (14) in einem Farbraum zu analysieren und eine rutschige Fahrbahnbeschaffenheit oder eine rutschfeste Fahrbahnbeschaffenheit des zumindest einen beleuchteten Fahrbahnbereiches (12a, 12b) anhand der Analyse der Abbildung (12a', 12b') des zumindest einen beleuchteten Fahrbahnbereiches (12a, 12b) in dem Farbraum zu identifizieren.
12. Fahrerassistenzsystem (2) nach Anspruch 1 1 ,
dadurch gekennzeichnet, dass
das Fahrerassistenzsystem (2) eine Ausgabeeinrichtung (9) zum Ausgeben einer Information über die erfasste Fahrbahnbeschaffenheit an einen Fahrer des Kraftfahrzeugs (1 ) aufweist.
13. Fahrerassistenzsystem (2) nach Anspruch 1 1 oder 12,
dadurch gekennzeichnet, dass
das Fahrerassistenzsystem (2) dazu ausgelegt ist, bei einer Identifizierung der rutschigen Fahrbahnbeschaffenheit des beleuchteten Fahrbahnbereiches (12a, 12b) eine Geschwindigkeit des Kraftfahrzeugs (1 ) automatisch zu reduzieren.
14. Kraftfahrzeug (1 ) mit einem Fahrerassistenzsystem (2) nach einem der Ansprüche 1 1 bis 13.
PCT/EP2018/075116 2017-09-27 2018-09-18 Verfahren zum erfassen einer fahrbahnbeschaffenheit einer fahrbahn für ein kraftfahrzeug, fahrerassistenzsystem sowie kraftfahrzeug WO2019063341A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102017122432.7 2017-09-27
DE102017122432.7A DE102017122432A1 (de) 2017-09-27 2017-09-27 Verfahren zum Erfassen einer Fahrbahnbeschaffenheit einer Fahrbahn für ein Kraftfahrzeug, Fahrerassistenzsystem sowie Kraftfahrzeug

Publications (1)

Publication Number Publication Date
WO2019063341A1 true WO2019063341A1 (de) 2019-04-04

Family

ID=63683158

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2018/075116 WO2019063341A1 (de) 2017-09-27 2018-09-18 Verfahren zum erfassen einer fahrbahnbeschaffenheit einer fahrbahn für ein kraftfahrzeug, fahrerassistenzsystem sowie kraftfahrzeug

Country Status (2)

Country Link
DE (1) DE102017122432A1 (de)
WO (1) WO2019063341A1 (de)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11977154B2 (en) 2016-10-28 2024-05-07 Ppg Industries Ohio, Inc. Coatings for increasing near-infrared detection distances
US12001034B2 (en) 2019-01-07 2024-06-04 Ppg Industries Ohio, Inc. Near infrared control coating, articles formed therefrom, and methods of making the same

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10222228B1 (en) 2016-04-11 2019-03-05 State Farm Mutual Automobile Insurance Company System for driver's education
US11851041B1 (en) * 2016-04-11 2023-12-26 State Farm Mutual Automobile Insurance Company System for determining road slipperiness in bad weather conditions
US10872379B1 (en) 2016-04-11 2020-12-22 State Farm Mutual Automobile Insurance Company Collision risk-based engagement and disengagement of autonomous control of a vehicle
CN113435250B (zh) * 2021-05-25 2024-02-27 西北工业大学深圳研究院 基于分焦平面红外偏振成像的全时道路检测方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080129547A1 (en) 2006-11-02 2008-06-05 Denso Corporation Vehicle emergency call device and vehicle emergency call system
DE102009055190A1 (de) * 2009-12-22 2011-06-30 Robert Bosch GmbH, 70469 Verfahren zum Erkennen von vor einem Fahrzeug liegenden Pfützen
DE102013223014A1 (de) 2013-11-12 2015-05-13 Robert Bosch Gmbh Fahrerassistenzsystem für ein Kraftfahrzeug zur vorausschauenden Erfassung einer Fahrbahnbeschaffenheit
US20150371095A1 (en) 2013-02-19 2015-12-24 Conti Temic Microelectronic Gmbh Method and Apparatus for Determining a Road Condition

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8306672B2 (en) * 2009-09-09 2012-11-06 GM Global Technology Operations LLC Vehicular terrain detection system and method
DE102014212032A1 (de) * 2014-06-24 2015-12-24 Robert Bosch Gmbh Verfahren zum Detektieren einer Fahrbahn und entsprechendes Detektionssystem
DE102014224857A1 (de) * 2014-12-04 2016-06-09 Conti Temic Microelectronic Gmbh Sensorsystem und Verfahren zur Klassifikation von Fahrbahnoberflächen

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080129547A1 (en) 2006-11-02 2008-06-05 Denso Corporation Vehicle emergency call device and vehicle emergency call system
DE102009055190A1 (de) * 2009-12-22 2011-06-30 Robert Bosch GmbH, 70469 Verfahren zum Erkennen von vor einem Fahrzeug liegenden Pfützen
US20150371095A1 (en) 2013-02-19 2015-12-24 Conti Temic Microelectronic Gmbh Method and Apparatus for Determining a Road Condition
DE102013223014A1 (de) 2013-11-12 2015-05-13 Robert Bosch Gmbh Fahrerassistenzsystem für ein Kraftfahrzeug zur vorausschauenden Erfassung einer Fahrbahnbeschaffenheit

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11977154B2 (en) 2016-10-28 2024-05-07 Ppg Industries Ohio, Inc. Coatings for increasing near-infrared detection distances
US12001034B2 (en) 2019-01-07 2024-06-04 Ppg Industries Ohio, Inc. Near infrared control coating, articles formed therefrom, and methods of making the same

Also Published As

Publication number Publication date
DE102017122432A1 (de) 2019-03-28

Similar Documents

Publication Publication Date Title
WO2019063341A1 (de) Verfahren zum erfassen einer fahrbahnbeschaffenheit einer fahrbahn für ein kraftfahrzeug, fahrerassistenzsystem sowie kraftfahrzeug
EP1928687B1 (de) Verfahren und fahrerassistenzsystem zur sensorbasierten anfahrtsteuerung eines kraftfahrzeugs
EP2443586B1 (de) Verfahren und vorrichtung zum erkennen einer rückwärtigen fahrzeugbeleuchtung
DE102006020192B4 (de) Vorrichtung und Verfahren zum Vorhersagen von Kollision
EP2289044B1 (de) Bilddatenvisualisierung
DE102016116839A1 (de) Aktive Detektion und verbesserte Visualisierung näherkommender Fahrzeuge
EP2428833A1 (de) Fahrerassistenzvorrichtung für ein Fahrzeug und Verfahren zur Sichtbarmachung der Umgebung eines Fahrzeuges
DE19842827B4 (de) Precrashsensierungssystem
DE102005056616A1 (de) Fahrzeugumgebungsüberwachungsvorrichtung
DE102016216000A1 (de) Fahrzeugannäherungs-Detektionsvorrichtung und Fahrzeugannäherungs-Detektionsverfahren
WO2018206213A1 (de) Verfahren und vorrichtung zur ortsaufgelösten detektion von einem fahrzeugexternen objekt mithilfe eines in einem fahrzeug verbauten sensors
DE102011005056A1 (de) Aktives Sichthilfegerät und -verfahren für Fahrzeug
DE102005056647A1 (de) Fahrzeugumgebungsüberwachungsvorrichtung
DE102009011866A1 (de) Verfahren und Vorrichtung zum Bestimmen einer Sichtweite für ein Fahrzeug
DE102009014437A1 (de) Objekterkennungssystem und -verfahren
DE112020002576T5 (de) Fahrassistenzsystem, Fahrassistenzverfahren und Programm
DE102010043829B4 (de) Optisches Abtastsystem und optisches Abtastverfahren
DE102006037600B4 (de) Verfahren zur auflösungsabhängigen Darstellung der Umgebung eines Kraftfahrzeugs
DE102013215408A1 (de) Anzeigesystem für ein Fahrzeug und Verfahren für die Anzeige einer Fahrzeugumgebung
DE102016101149A1 (de) Verfahren zum Erkennen von Rauch in einem Umgebungsbereich eines Kraftfahrzeugs mit Hilfe einer Kamera des Kraftfahrzeugs, Fahrerassistenzsystem sowie Kraftfahrzeug
DE102023106944A1 (de) Adaptive farbauswahl für fahrzeug-pfützenleuchten
DE102016212620A1 (de) Verfahren zur Erkennung eines Lebewesens im Umfeld eines Fahrzeugs
EP2181416B1 (de) Verfahren und anordnung zur auswertung von helligkeitswerten in sensorbildern bei bildauswertenden umfelderkennungssystemen
DE102012207716A1 (de) Optisches Abtastsystem und optisches Abtastverfahren
DE102020007760A1 (de) Verfahren zur Klassifizierung von Fahrbahnmarkierungen und Fahrzeug

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18773972

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18773972

Country of ref document: EP

Kind code of ref document: A1