WO2014127777A2 - Verfahren und vorrichtung zur bestimmung eines fahrbahnzustands - Google Patents

Verfahren und vorrichtung zur bestimmung eines fahrbahnzustands Download PDF

Info

Publication number
WO2014127777A2
WO2014127777A2 PCT/DE2014/200062 DE2014200062W WO2014127777A2 WO 2014127777 A2 WO2014127777 A2 WO 2014127777A2 DE 2014200062 W DE2014200062 W DE 2014200062W WO 2014127777 A2 WO2014127777 A2 WO 2014127777A2
Authority
WO
WIPO (PCT)
Prior art keywords
image
image area
vehicle
camera
road condition
Prior art date
Application number
PCT/DE2014/200062
Other languages
English (en)
French (fr)
Other versions
WO2014127777A3 (de
Inventor
Bernd Hartmann
Dieter KRÖKEL
Stefan Fritz
Joachim Denzler
Björn Fröhlich
Michael KEMMLER
Stefan Schubert
Eric Bach
Original Assignee
Conti Temic Microelectronic Gmbh
Continental Teves Ag & Co. Ohg
Friedrich-Schiller-Universität Jena
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Conti Temic Microelectronic Gmbh, Continental Teves Ag & Co. Ohg, Friedrich-Schiller-Universität Jena filed Critical Conti Temic Microelectronic Gmbh
Priority to DE112014000887.7T priority Critical patent/DE112014000887A5/de
Priority to US14/764,782 priority patent/US10147002B2/en
Publication of WO2014127777A2 publication Critical patent/WO2014127777A2/de
Publication of WO2014127777A3 publication Critical patent/WO2014127777A3/de

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40—Document-oriented image-based pattern recognition
    • G06V30/42—Document-oriented image-based pattern recognition based on the type of document
    • G06V30/422—Technical drawings; Geographical maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/635—Region indicators; Field of view indicators

Definitions

  • the invention relates to a method and an apparatus for determining a road condition by means of a driving convincing camera.
  • the designation of the warning and intervention times basically based on a dry roadway with high Adhesion coefficient between tire and roadway.
  • DE 10 2004 018 088 A1 shows a tramway recognition system with a temperature sensor, an ultrasound sensor and a camera.
  • the temperature, roughness and image data (lane data) obtained from the sensors are filtered and compared with reference data and a degree of security for the comparison is generated.
  • the condition of the road surface is determined.
  • the road surface eg concrete, asphalt, dirt, grass, sand or gravel
  • their condition eg dry, icy, snowy, wet
  • WO 2012/110030 A2 shows a method and a device for friction coefficient estimation by means of a 3D camera, e.g. a stereo camera.
  • the 3D camera captures at least one image of the surroundings of the vehicle.
  • a height profile of the road surface is created in the entire vehicle apron.
  • From the height profile of the expected local coefficient of friction of the road surface in the driving tool apron is estimated.
  • a classification of the road surface can be made in individual cases, e.g. as snow cover or muddy dirt road done.
  • the object of the present invention is therefore to provide a road condition recognition by means of a camera which, when using (only) a monocamera, ensures a reliable and robust anticipatory road condition recognition or friction coefficient estimation derived therefrom.
  • the starting point of the solution according to the invention are the following considerations: A combination of algorithms of digital image processing with an intelligent adaptation and adjustment of the relevant image processing area or ROI (Region of Interest) on the respective driving situation to ensure that the analyzed image area includes the road surface with the goal to determine the road condition.
  • ROI Region of Interest
  • a main idea of the invention from the perspective of digital image processing is the calculation of local and global features from the image and the appropriate combination of different features within an image area but also from different image areas, and the subsequent decision by a classifier trainable from example data whose results from different time periods lead to a decision on the road condition.
  • the technical advantage in the efficient processing of the camera image due to simple operations and the achievement of a high quality on the merge of various features.
  • a method according to the invention for determining a road condition by means of a vehicle camera comprises the following steps:
  • At least one image is taken by means of the vehicle camera
  • a first area in the captured image is determined, which includes a map of the road surface
  • the first image area is fed to a classifier, the classifier assigning the first image area to at least one class representing a particular roadway condition and
  • the driving camera detects an environment outside the vehicle, in particular, the driving camera can be directed forward and behind the windshield be arranged approximately in the region of the inner mirror.
  • the first image area which is detected to detect the road condition, may also be referred to as region-of-interest (ROI) and may be the entire image or a portion of the image.
  • ROI region-of-interest
  • the image area may be, for example, a simple rectangle, a region of undefined shape, or even a single pixel.
  • the determination of the image detail relevant for the further image processing is particularly important in order to ensure that the analyzed first image area includes the road surface, so that the road condition can be determined from this first image area.
  • At least one of the predetermined classes of lane conditions is assigned to the first image area by a classifier (or a classification system). These classes are preferably "wet lane”, “dry lane”, “snowy lane” and "icy On the basis of learned assignments of example image regions to known road conditions, the trained classifier can also assign previously unknown image contents or regions to at least one class.
  • Information about the at least one roadway condition is output, preferably to further driver assistance functions, vehicle functions or even to the driver.
  • the information that is output on the ascertained roadway condition may be an estimate of the friction coefficient for the roadway area that is depicted in the image area.
  • the coefficient of friction also coefficient of friction, coefficient of adhesion, (static) friction coefficient or coefficient of friction indicates which force can be transmitted with respect to the wheel load between a road surface and a vehicle tire (eg in the tangential direction) and is therefore an essential measure for the road condition .
  • tire properties are required to fully determine the coefficient of friction. For an estimate of the coefficient of friction from camera image data, only road condition information is typically taken into account, since in general no tire properties can be determined from camera image data.
  • the inventive method for determining the road condition ensures a very robust, reliable and predictive determination of the spatially resolved road condition.
  • the automatic detection of road condition information is a key element on the way to highly automated or autonomous driving in the future.
  • At least one feature is extracted from the first image area and fed to the classifier.
  • the feature is or the features are particularly suitable to detect the different appearance of the road surface in the camera image depending on the road condition.
  • a plurality of individual features may form a feature vector that combines different information from the first image area to provide a more robust and accurate view of the roadway in the classification step. to be able to decide.
  • Different feature types for an image area yield a set of feature vectors.
  • the resulting set of feature vectors for an image area is called a feature descriptor. If several image areas are used, the feature descriptor can also be composed or combined from combined features of the different image areas.
  • the composition of the feature descriptor can be done by simple concatenation, a weighted combination or other non-linear mapping. Not only different image areas can be used at one time in an image, but also over several times in successive images of a series of images.
  • the feature descriptor is then assigned by a classification system (classifier) to at least one of the classes.
  • a classifier in this case is a mapping of the feature descriptor to a discrete number identifying the classes to be recognized.
  • the feature extracted from the first image area and supplied to the classifier comprises the average gray value or the mean color value (RGB) of the first image area.
  • the feature type "average RGB color value” comprises three individual feature values, namely R, G and B (red, green and blue value), which can be summarized as a feature vector.
  • any other information that can be extracted from an ROI or from pixels of the ROI and from which differences between the given classes can be determined is also suitable.
  • feature types may be HSI values (Hue, Saturation, Intensity) or L * a * b * values (CIELAB color space) averaged over the first image area, or, for example.
  • Gradient values are extracted as a feature.
  • the feature vectors for single or multiple feature types extracted from one or more ROIs of an image form the feature descriptor.
  • the at least one feature extracted from the first image area and fed to the classifier comprises the result or the results of a pixel-by-pixel segmentation within the first image area.
  • special regions can be pinpointed. This is advantageous for the detection of local differences, for example for the detection of puddles, drying lanes on wet roads or icy lanes on snow roads. This increases the quality of detection of these facts.
  • This pinpoint classification can be achieved, for example, by semantic segmentation methods in which each pixel in the image area is assigned a label of one of the given classes.
  • the pixel-precise classification of images extends a rough localization of objects in images by a pinpoint classification.
  • a random decision forest (Random Decision Forest or even Random Forest) is used as the classifier.
  • Decision trees are hierarchically arranged classifiers that split the classification problem in a tree-like manner. Beginning in the root, the path to a leaf node is made on the basis of the decisions made, in which the final classification decision takes place. Due to the learning complexity, very simple classifiers, the so-called “decision stumps", which separate the input space orthogonally to a coordinate axis, are preferably used for the inner nodes.
  • Decision forests are collections of decision trees that contain randomized elements in training the decision trees, preferably at two sites. First, each tree is trained with a random selection of training data, and second, for each binary decision, only a random selection of allowed dimensions is used. In the leaf nodes, class histograms are stored which allow a maximum likelihood estimation (estimation of the highest probability) of the feature vectors reaching the leaf nodes in training. Class histograms store the number of times a feature descriptor of a particular lane state passes through the decision tree to reach the corresponding leaf node. As a result, each class may prefer a true probability, which is calculated from the class histograms.
  • the most likely class from the class histogram is preferably used as the current road condition.
  • other methods may be used to transfer the information from the decision trees to a lane state decision.
  • the assignment of the first image area to at least one class by the classifier for at least one recorded image is subjected to temporal filtering before the information about the at least one assigned roadway state is output.
  • the classifier assigns at least one class to a recorded image or an image region thereof.
  • An optimization can follow this assignment or decision per recorded image. In particular, this optimization can take temporal context into account by acting as temporal filtering.
  • the assignment for the currently recorded image is compared with previously assigned road conditions. In particular, the most frequent class from a previous period can be used as a reference. Individual outliers (misallocations) can be eliminated in this way.
  • the temporal filtering provides that the assignment of the first image area to at least one class by the classifier for at least one currently recorded image is compared with an assignment based on at least one previously recorded image.
  • a change of the assigned FahrbahnDirectskiasse is issued only when a probability associated with the change, which is derived from the classification of the currently recorded image exceeds a threshold.
  • the temporal context is preferably taken into account by applying a so-called hysteresis threshold method.
  • the hysteresis threshold method the change from one road condition to the other is regulated by means of threshold values.
  • One Change takes place only when the probability for the new road condition is high enough and for the old road condition is accordingly low. As a result, the classification result is stable and permanent jumps between different road conditions can be avoided.
  • further information from the vehicle for example from the rain sensor, or other data provided by the vehicle can be used to check the classification by the classifier before information about the at least one assigned road condition is output.
  • the position, the size and / or the shape of the first image area is adapted to a current driving situation of the own vehicle.
  • the alignment (in the current image) and tracking (in subsequently recorded images) of the at least one image area adapted to the driving situation in terms of shape, size and position preferably takes place taking into account the movement of the own vehicle, possible further road users and the lane conditions.
  • the alignment and tracking of the at least one in the form, size and position adapted to the driving situation image area is carried out in particular in the following manner: a)
  • the first image area is the overall image of the camera, if the driving camera is directed exclusively on the road.
  • the first image area is at least one fixed image area, which is preferably projected by adjustment and calibration of the driving camera in the center or in front of the left and right vehicle wheels in front of the vehicle on the road.
  • the first image area is at least one dynamic image detail, which in the image in the travel tube of the vehicle, which Among other things, is calculated from the odometry data of the vehicle, projected and dynamically tracked this.
  • the first image area is at least one dynamic image detail that is projected in the image into the road / lane traveled by the vehicle, which lies within two or laterally of a lane boundary line and is tracked dynamically.
  • the first image area is at least one dynamic image detail, which is projected in the image into the road / lane traveled by the vehicle, which is detected with the aid of digital image processing means, and is tracked dynamically.
  • the first image area is at least one dynamic image section, which is projected in the image in the estimated road course, and this dynamically tracked.
  • the first image area is at least one dynamic image detail which is projected in the image into the trajectory calculated by the system, preferably as the center line of a predicted driving corridor on the basis of a predictive trajectory planning, and which is updated dynamically.
  • the first image area is at least one dynamic image excerpt based on GPS driving tool data preferably according to driving speed and heading angle (or yaw angle) in the direction of the driving convincing projected in front of the vehicle and this is dynamically tracked.
  • the first image area is at least one dynamic image detail, which, based on driving forceometry data, projects in the direction of the vehicle motion in front of the vehicle and is tracked dynamically.
  • the first image area is at least one dynamic image detail based on vehicle position and map data in Direction of travel in front of the vehicle projected onto the road and this is tracked dynamically.
  • the first image area is at least one fixed or dynamic image detail which corresponds to the intersection of the individual areas when at least two areas from a) to j) are superimposed.
  • the first image area is at least one fixed or dynamic image area containing a range from a) to k), excluding image segments with detected objects such as vehicles, pedestrians or infrastructure.
  • the adaptation can advantageously be made depending on the speed of the own vehicle.
  • the position, size and / or shape of the second image area is adapted to the speed of the own vehicle in order to obtain a temporally uniform prediction of the expected road condition. For example, It can be determined which roadway condition will be crossed in 0.5 seconds or in one second.
  • An estimate of the distance required for this purpose can also be carried out with sufficient accuracy with a monocamera with known installation height and the assumption of a flat road course over the imaging geometry.
  • the distance can be determined by triangulation with greater accuracy accordingly.
  • a lane on which the own vehicle is located is determined, and the first image area is adapted to include an image of the road surface of the preceding own lane.
  • the at least one "dynamic" image area comprises in the image the lane / lane traveled by the vehicle, which lies within two or laterally of a traffic lane delimitation line Limitations in the lateral direction limited.
  • the shape of the first image area may correspond to a trapezoid but also to a rectangle.
  • this imaging area can be projected into the subsequently recorded images, so that the image area is tracked dynamically.
  • aensstraj ektorie the own vehicle is predicted and calculates a driving route.
  • the prediction can be based on data from the camera, other environmental sensors, vehicle sensors, navigation devices,
  • the first image area is adapted to include an image of the road surface that is within the calculated travel path.
  • the first image area is adapted such that the first image area contains only one image of the road surface.
  • everything relevant to what the tires of your own vehicle will roll in the future or possibly roll will be relevant.
  • road surface precipitation on it, pollution (leaves, paper, sand, oil, animal carcass residues), road markings that are run over.
  • the first image area can be adapted such that image segments with previously recognized objects from the first image area are excluded.
  • Previously recognized objects are especially different Road users, such as vehicles (including cars, trucks), cyclists or pedestrians, or infrastructure elements.
  • navigation and map data and / or vehicle sensor data and / or data of further environment sensor data may preferably be taken into account.
  • a second image area is determined, which includes an image of a second area of the road surface.
  • the first image area may correspond to a predicted driving lane area in which the left driving wheels will roll on the road surface
  • the second image area will be a predicted driving lane area in which the right driving wheels will roll.
  • the second image area comprises an image of a further region of the roadway surface lying ahead.
  • a preferred embodiment could therefore contain two image areas, with the first image area in the ego traffic lane lying directly in front of the ego vehicle and a second image area being positioned depending on the speed in the same lane ahead of the vehicle.
  • the size of both image areas as previously described, preferably limited by lane markings or boundaries in the lateral direction.
  • the first and second image areas preferably do not overlap one another and may be spatially separated from one another.
  • the second image area is evaluated in particular in the same way as the first image area according to the method steps already described.
  • a separate second image section offers the advantage of a higher spatial resolution compared to an enlarged individual image section.
  • the position, size and / or shape of the second image area is adapted to the speed of the own vehicle in order to obtain a temporally uniform prediction (or preview) of the expected roadway condition.
  • the assignment of the first image area to at least one roadway state from a currently recorded image is plausibilized by the assignment of the second image area to at least one roadway state from a previously recorded image.
  • Information is output corresponding to at least one plausibility road condition. Since the second image area includes an image of a further upstream area of the road surface, its classification provides in effect a look-ahead. In a later image, the area of the road surface during forward travel is at least partially in the first image area due to the vehicle's own motion.
  • the earlier class of the second image area can be considered as a "preview" for the plausibility check, thereby increasing the recognition certainty
  • the two image areas are preferably transformed with the aid of odometry data of the vehicle.
  • a monocular camera is used as a camera.
  • Monocameras are established as driver assistance cameras and cheaper than stereo cameras.
  • the method according to the invention already enables a robust and reliable road condition classification on the basis of monocamera images.
  • a 3D or stereo camera is used as the camera.
  • 3D or stereo cameras allow the evaluation of depth information from the image.
  • the consideration of depth information profiles in the classification becomes possible.
  • the invention further relates to a device for determining a road condition comprising a driving camera, an image processing unit, a classification unit and an output unit.
  • the vehicle camera is designed to record at least one image of the vehicle environment.
  • the image processing unit is designed to determine a first image area which comprises an image of the road surface and to supply it to a classification unit.
  • the classification unit is designed to associate the first image area with at least one class that represents a specific roadway condition.
  • the output unit is configured to output information about the at least one roadway condition that is assigned to the first image area by the classification unit.
  • FIG. 1 shows a flow chart for illustrating the sequence of a variant embodiment of the method for determining a road condition by means of a vehicle camera
  • FIG. 2 is an image of a forward vehicle environment taken with a vehicle camera
  • Fig. 3 is a bird's-eye view representation of the scene represented by the image
  • FIG. 6 shows a representation for determining a forward-looking adaptation horizon
  • FIG. 7 shows a previous and future course of a trajectory when cornering
  • FIG. 8 shows an image with a first image area and an image area shifted with respect to the lane course
  • FIG. 10 shows an image with a first image area and two image areas shifted to this with consideration of a drive hose predicted for an evasive maneuver.
  • Fig. 1 shows a flowchart for illustrating the sequence of a variant of the method according to the invention for determining a road condition by means of a driving camera.
  • an image is taken with the driving camera in step S10. From this image, the lane can be determined in step 12, e.g. on the basis of lane markings in the image, lane boundary objects, etc. Already here, e.g. non-stationary objects are determined, which should not be considered in the determination of the road condition.
  • a prediction of the trajectory or the travel tube of the own vehicle can take place.
  • data from own vehicle sensors (V), eg steering angle, speed, etc., navigation system data or map data (N) or data further Environment sensors such as radar, lidar, telematics unit, etc. are taken into account.
  • step 16 the ROI or a first or several image areas is determined, which includes a map of the road surface. These or these image extracts or features extracted therefrom are fed in step 18 to a classifier which associates each image region with at least one class representing a particular road condition.
  • step 20 information about this at least one road condition is output, e.g. to a collision warning or an emergency brake assistant, which can adapt its warning thresholds or intervention times to the ascertained road condition.
  • a collision warning or an emergency brake assistant which can adapt its warning thresholds or intervention times to the ascertained road condition.
  • FIG. 2 shows, by way of example, an image (I) of a vehicle environment ahead, as recorded by a front camera (6) of a moving vehicle.
  • camera-based driver assistance functions can be realized, e.g. Lane Departure Warning (LDW), Lane Keeping Assistance / System (LKA), Traffic Sign Recognition (TSR), Intelligent Headlamp Control (IHC), Collision Warning (FCW) Forward collision warning), a precipitation detection, an automatic cruise control (ACC, Adaptive Cruise Control), a parking assistance, automatic emergency brake or emergency steering systems (EBA, Emergency Brake Assist or ESA, Emergency Steering Assist).
  • LDW Lane Departure Warning
  • LKA Lane Keeping Assistance / System
  • TSR Traffic Sign Recognition
  • IHC Intelligent Headlamp Control
  • FCW Collision Warning
  • ACC automatic cruise control
  • EBA Emergency Brake Assist or ESA, Emergency Steering Assist
  • the camera image shows a roadway (1) whose surface is largely homogeneous. On the surface, lane markers are visible: a solid side line (4), which marks the left and right end of the lane, and center line segments (3) of the broken or dashed center lane mark.
  • the roadway (1) could be made of asphalt or concrete. On the otherwise dry roadway (1) a puddle (2) can be seen.
  • FIG. 3 is a bird's eye view of a representation of the scene represented by the image of the vehicle camera in FIG. 2.
  • This representation can be determined from the camera image, where in a monocamera, preferably imaging properties of the camera (4), the built-in geometry of the camera in the vehicle (5), the actual vehicle height (due to the tire position / chassis control), pitch, yaw and / or roll angle are taken into account. It can be assumed that the road surface is flat.
  • the representation can be determined directly on the basis of the acquired 3D image data, whereby further aspects can also be taken into account here.
  • the representation is essentially characterized in that distances correspond to actual distances.
  • the center strip segments shown are also arranged equidistantly on the real roadway.
  • FIG. 3 On the representation shown in Fig. 3, the roadway (1), the puddle (2), the centerline segments (3) and the solid side boundary lines (4) of the lane mark are already included in the camera image ( Figure 2) ,
  • a vehicle (5) with a camera (6) is included in the representation, the image from FIG. 2 having been taken with the camera (6).
  • the dashed arrow indicates the predicted trajectory (T) of the vehicle (5).
  • ROI region of interest
  • FIG. 4 shows such an image area (R1) within the camera image (I).
  • the center of an exemplary rectangular assumed first image area (Rl) is described within the entire camera image (I) by the image coordinates (x 0 , y 0 ) and the extent (Ax 0 , Ay 0 ). Image coordinates are indicated by lowercase letters.
  • FIGS. 5 and 7 each show a second image area (R2) in addition to a first one (R1). This can be evaluated simultaneously (ie for a single image (I) to be evaluated) to the first image area (R1).
  • the first image area (R1) contains information about the road condition that is reached by the vehicle (5) in a shorter time, and the second (R2) information that becomes relevant in a later time (preview for the current first image area).
  • the second image area (R2) can each illustrate an adaptation of the first image area (R1) to a faster vehicle speed (or other changed driving situations).
  • An example of such an adaptation of the first image area (R1) is an adaptation via the vehicle's own speed, the lane course during cornering and the predicted driving route during an evasive maneuver.
  • the first image area (R1) could indicate the area of the roadway (1) which is run over by the vehicle at a speed of 50 km / h in ls. If the vehicle is traveling twice as fast, on the other hand, the area of the roadway (1), which is the second image area, would be run over in one second (R2). As the vehicle speed increases, the ROI (R2) moves further into the upper part of the image (farther from the vehicle (5)) and slightly to the left (x 10 ⁇ x 0 , y 10 > y 0 ) due to the camera's perspective (Ax 10 ⁇ Ax 0 , Ay 10 ⁇ Ay 0 ).
  • FIG. 6 illustrates the determination of this adaptation on the basis of a representation in the vehicle coordinate system (X, Y). From the perspective of the own vehicle (5), CoG Veh whose center of gravity is always located at a current position XOV, a predictive adaptation horizon X p eh determined v, is a function of the traveling vehicle velocity ⁇ v eh and optionally further context information Inf Umf is:
  • the environment information Inf ümf may indicate that an image area (R1, R2) should be further adjusted so that a preceding vehicle (not shown) is not displayed in that image area. This could lead to a faulty road condition classification. In order to prevent this, an image area (R1, R2) should be scaled down, cropped or shifted in this situation so that subsequently only the road surface (1, 2) to be classified is imaged therein.
  • a suitable algorithm finally takes over the transformation of the determined prediction horizon (X pVeh ) into the image coordinate system (x, y) by the new position ⁇ xwr io) and expansion (Ax 10 , Ay 10 ) of the adapted or changed image region determine.
  • the transformation corresponds to the transition from a representation as in FIG. 3 to a representation as in FIG. 2.
  • lane markings (3, 4) can be recognized and used eg for a lane departure warning function (LDW). With knowledge of the course of the lane markings (3, 4), the course of the traffic lane traveled by the own vehicle (5) can be determined.
  • LDW lane departure warning function
  • Fig. 7 in the co-driving coordinate system of the previous and predicted on the basis of a lane detection course of motion (T) is shown when cornering.
  • the mean curvature K c of the predicted course of motion (T dashed line) can be given as a function of the current vehicle yaw movement X " act of the previous course of motion (T solid line) as well as additional environment information, in particular the curvature of the preceding lane course.
  • FIG. 8 shows for right-hand traffic how a prediction horizon determined from FIG. 7 (not shown there) can be transformed in the image (I) by adapting the image region from R1 to R2.
  • the ROI moves into the left-hand top of the camera (x 20 ⁇ x 0 , 20> Yo).
  • ⁇ The area of the image area decreases in accordance with the camera image.
  • a trapezoidal shape was chosen here, which lies on the roadway between the median strip (3) and the right-hand lane boundary line (4).
  • the driving tube is understood to be the predicted movement corridor of the ego vehicle (5) up to a distance of about 150 m. It is characterized in particular by its width, which can correspond approximately to the lane width.
  • the travel tube can be calculated from camera data, data from other surroundings or vehicle sensors. If it is ensured by appropriate camera / environment sensor system and monitoring of the driver's activities that an evasive maneuver is to be carried out, the region of the road surface (1) to be imaged by the ROI is shifted as a function of an optimally planned avoidance trajectory (for example, 2nd order).
  • the lateral benö the available alternative space in the X direction is S x .
  • the curvature of the optimal avoidance curve K ref results from the planned avoidance trajectory according to: f "(X)
  • the current curvature of the curve K act is a function of the vehicle yaw movement (see Section 2).
  • the prediction horizon X pVeh is a measure of which " look- ahead" individual points (X pVs hr Y P veh) of the optimal avoidance curve become the target image coordinates (X30, Y30) for the ROI.
  • Fig. 9 shows in co-driving coordinate system a previous course of motion T lst , the continuation of which would lead to a collision with an obstacle (7).
  • An optimal avoidance ectorie T soll is shown as a dash-dotted curve.
  • the obstacle could have been comfortably avoided.
  • P act As part of an emergency maneuver can now be required by a short-term change in the yaw angle of! P act to ⁇ ⁇ a course of movement according to the dashed line in order to reach the area of the target Traj ektorie as effectively as possible.
  • a road condition determination or camera-based coefficient of friction estimation is enormously important, since emergency maneuvers are braked or even steered to the friction limit.
  • a puddle (2) on an otherwise dry road (1) as in Fig. 2 could lead to a collision with the obstacle can not be avoided or the own vehicle departs from the road.
  • a camera image (I) is shown that a stationary obstacle (7), eg a vehicle, in its own lane in front of the own vehicle (6) images.
  • a value determined from FIG. 9 prediction horizon X PVE hr Y P veh (I) in the image by adjusting the image area of Rl to Rl '' can be transformed.
  • An intermediate step of adaptation (Rl 7 ) is also shown.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Mechanical Engineering (AREA)

Abstract

Die Erfindung betrifft ein Verfahren bzw. eine Vorrichtung zur Bestimmung eines Fahrbahnzustands mittels einer Fahrzeugkamera (6) und umfasst die folgenden Schritte: - mindestens ein Bild (I) mittels der Fahrzeugkamera aufgenommen wird (S10), - ein erster Bildbereich (R1) ermittelt wird, der eine Abbildung der Fahrbahnoberfläche (1) umfasst (S16) - der erste Bildbereich (R1) einem Klassifikator zugeführt wird, wobei der Klassifikator den ersten Bildbereich mindestens einer Klasse zuordnet, die einen bestimmten Fahrbahnzustand repräsentiert (S18) und - eine Information zu diesem mindestens einen Fahrbahnzustand ausgegeben wird (S20).

Description

Verfahren und Vorrichtung zur Bestimmung eines Fahrbahnzustands
Die Erfindung betrifft ein Verfahren und eine Vorrichtung zur Bestimmung eines Fahrbahnzustands mittels einer Fahr zeugkamera .
Der technologische Fortschritt im Bereich der optischen Bilderfassung erlaubt den Einsatz von kamerabasierten Fahrerassistenzsystemen, die hinter der Windschutzscheibe platziert der visuellen Wahrnehmung des Fahrers entsprechend das Vorfeld des Fahrzeugs erfassen. Die funktionalen Umfänge dieser Assistenzsysteme erstrecken sich dabei von der Fernlichtautomatik über Erkennung und Anzeige von Geschwindigkeitsbegrenzungen bis hin zur Warnung bei Spurhaltefehlern oder drohender Kollision .
Ausgehend von der reinen Vorfeiderfassung bis hin zum vollständigen 360°-Rundumblick sind heute Kameras in vielfältigen Applikationen und unterschiedlichen Funktionen für Fahrerassistenzsysteme in modernen Fahrzeugen zu finden. Aufgabe der digitalen Bildverarbeitung von Kamerabildern als eigenständige Sensordatenquelle oder in Fusion mit Radar- oder Lidarsensordaten ist es dabei primär Objekte zu erkennen, zu klassifizieren und im Bildausschnitt zu verfolgen. Klassische Objekte sind in der Regel verschiedenste Fahrzeuge wie PKW, LKW, Zweiräder oder Fußgänger. Darüber hinaus übernehmen Kameras die Erfassung von Verkehrsschildern, Fahrspurmarkierungen, Leitplanken, Freiräumen oder sonstigen generischen Objekten.
Das automatische Erlernen und Erkennen von Objektkategorien und deren Instanzen gehört zu den wichtigsten Aufgaben der digitalen Bildverarbeitung und stellt den aktuellen Stand der Technik dar.
Im Bereich moderner Fahrerassistenz werden unterschiedliche Sensoren u.a. auch Videokameras eingesetzt, um das Fahr zeugumfeld möglichst genau und robust zu erfassen. Diese Umfeldinformationen gegebenenfalls zusammen mit den fahrdynamischen Informationen des Fahrzeugs (z.B. aus der Inertialsensorik ) verschaffen einen guten Eindruck über den aktuellen Fahr zustand des Fahrzeugs und die gesamte Fahrsituation. Daraus lässt sich die Kritikalität von FahrSituationen ableiten und die ent- sprechenden Fahrerinformationen/-warnungen bis hin zu fahrdynamischen Eingriffen über Bremse und Lenkung initiieren.
Da der tatsächlich zur Verfügung stehende Reibbeiwert oder gleichwertige Informationen über den aktuellen Fahrbahnzustand für serienreife Fahrerassistenzsysteme jedoch in aller Regel nicht zur Verfügung steht bzw. nicht gemessen oder ermittelt werden kann, erfolgt die Auslegung der Warn- und Eingriffszeitpunkte grundsätzlich auf Basis einer trockenen Fahrbahn mit hohem Kraftschlussbeiwert zwischen Reifen und Fahrbahn .
Daraus ergibt sich das folgende grundsätzliche Problem. Die Fahrerwarnung bzw. der systemseitige Eingriff bei unfallvermeidenden oder zumindest -abschwächenden Systemen erfolgt so spät, dass es bei tatsächlich trockener Fahrbahn gerade noch zur Unfallvermeidung oder zur akzeptablen Unfallfolgenminderung reicht. Die Wirkung der fahrdynamischen Eingriffe über Bremse und Lenkung hängt jedoch entscheidend vom Reibbeiwert des Untergrundes ab. Nässe, Schnee und Eis verringern den zur Verfügung stehenden Reibbeiwert zwischen Reifen und Fahrbahn gegenüber dem auf einer trockenen Fahrbahn zur Verfügung stehenden erheblich. Ist die Fahrbahn bei Nässe, Schnee oder gar Eis weniger griffig, kann der Unfall nicht mehr verhindert werden und auch die Minderung der Unfallfolgen erzielt nicht den gewünschten Effekt.
Ein bekannter Ansatz, um dieser grundsätzlichen Problematik zu begegnen, liegt in der Berücksichtigung von Kamerabildern mit dem Ziel der Schätzung von Fahrbahnzuständen und einer daraus abgeleiteten Schätzung von Reibbeiwerten.
DE 10 2004 018 088 AI zeigt ein Fahrbahnerkennungssystem mit einem Temperatursensor , einem Ultraschallsensor und einer Kamera. Die aus den Sensoren erhaltenen Temperatur-, Rauhigkeits- und Bilddaten (Fahrbahndaten) werden gefiltert und mit Referenzdaten verglichen und ein Sicherheitsgrad für den Vergleich wird generiert. Auf Basis des Vergleichs der gefilterten Fahrbahndaten mit den Referenzdaten wird der Zustand der Fahrbahnoberfläche ermittelt. Die Fahrbahnoberfläche (z.B. Beton, Asphalt, Schmutz, Gras, Sand oder Kies) und deren Zustand (z.B. trocken, vereist, verschneit, nass) kann auf diese Weise klassifiziert werden .
WO 2012/110030 A2 zeigt ein Verfahren und eine Vorrichtung zur Reibwertschätzung mittels einer 3D-Kamera, z.B. einer Stereokamera. Mit der 3D-Kamera wird mindestens ein Bild von der Umgebung des Fahrzeugs aufgenommen. Aus den Bilddaten der 3D-Kamera wird im gesamten Fahrzeugvorfeld ein Höhenprofil der Straßenoberfläche erstellt. Aus dem Höhenprofil wird der zu erwartende lokale Reibbeiwert der Straßenoberfläche im Fahr zeugvorfeld geschätzt. Aus speziellen ermittelten Höhenprofilen kann im Einzelfall eine Klassifikation der Fahrbahnoberfläche z.B. als Schneedecke oder schlammiger Feldweg erfolgen.
Die bekannten Verfahren stellen jedoch hohe Anforderungen an die erforderliche Sensorik. So sind bei den genannten Verfahren bzw. Vorrichtungen entweder ein Temperatur- und Ultraschallsensor zusätzlich zu einer Kamera erforderlich, oder die Kamera muss als 3D-Sensor ausgebildet sein, damit die Klassifikationsergebnisse hinreichend robust sind .
Aufgabe der vorliegenden Erfindung ist daher, eine Fahrbahnzustandser- kennung mittels einer Kamera anzugeben, die bei Verwendung (nur) einer Monokamera eine zuverlässige und robuste vorausschauende Fahrbahnzu- standserkennung bzw. daraus abgeleitete Reibbeiwertschätzung gewährleistet .
Ansatzpunkt der erfindungsgemäßen Lösung sind folgende Überlegungen: Eine Verknüpfung von Algorithmen der digitalen Bildverarbeitung mit einer intelligenten Anpassung und Justierung des für die Bearbeitung relevanten Bildbereichs bzw. ROI (Region of Interest) auf die jeweilige FahrSituation soll gewährleisten, dass der analysierte Bildbereich die Fahrbahnoberfläche beinhaltet mit dem Ziel den Fahrbahnzustand zu bestimmen .
Ein Hauptgedanke der Erfindung aus Sicht der digitalen Bildverarbeitung ist die Berechnung lokaler und globaler Merkmale aus dem Bildbe- reich (ROI) sowie die geeignete Kombination verschiedener Merkmale innerhalb eines Bildbereichs aber auch aus verschiedenen Bildbereichen, und die nachfolgende Entscheidung durch einen aus Beispieldaten trainierbaren Klassifikator , dessen Ergebnisse aus verschiedenen Zeitabschnitten zu einer Entscheidung über den Fahrbahnzustand führt. Dabei besteht der technische Vorteil in der effizienten Bearbeitung des Kamerabildes aufgrund einfacher Operationen und das Erreichen einer hohen Qualität über das Zusammenführen verschiedener Merkmale.
Ein erfindungsgemäßes Verfahren zur Bestimmung eines Fahrbahnzustands mittels einer Fahr zeugkamera umfasst die folgenden Schritte:
- mindestens ein Bild wird mittels der Fahr zeugkamera aufgenommen,
- ein erster Bereich im aufgenommenen Bild wird ermittelt, der eine Abbildung der Fahrbahnoberfläche umfasst,
- der erste Bildbereich wird einem Klassifikator zugeführt, wobei der Klassifikator den ersten Bildbereich mindestens einer Klasse zuordnet, die einen bestimmten Fahrbahnzustand repräsentiert und
- eine Information zu diesem mindestens einen Fahrbahnzustand wird ausgegeben .
Die Fahr zeugkamera erfasst eine Umgebung außerhalb des Fahrzeugs, insbesondere kann die Fahr zeugkamera nach vorne gerichtet und hinter der Windschutzscheibe etwa im Bereich des Innenspiegels angeordnet sein. Der erste Bildbereich, der zur Erfassung des Fahrbahnzustandes ermittelt wird, kann auch als Region-of-Interest (ROI) bezeichnet werden und kann das gesamte Bild oder ein Ausschnitt des Bildes sein. Der Bildbereich kann beispielsweise ein einfaches Rechteck, eine Region nichtdefinierter Form oder sogar ein einzelner Pixel sein. Die Ermittlung des für die weitere Bildverarbeitung relevanten Bildausschnitts ist insbesondere wichtig, um zu gewährleisten, dass der analysierte erste Bildbereich die Fahrbahnoberfläche beinhaltet, so dass aus diesem ersten Bildbereich der Fahrbahnzustand bestimmt werden kann.
Dem ersten Bildbereich wird von einem Klassifikator (bzw. einem Klassifikationssystem) mindestens eine der vorgegebenen Klassen von Fahrbahnzuständen zugewiesen. Diese Klassen sind vorzugsweise „nasse Fahrbahn", „trockene Fahrbahn", „schneebedeckte Fahrbahn" und „vereiste Fahrbahn". Der Klassifikator kann insbesondere anhand von Beispieldaten trainiert worden sein. Anhand gelernter Zuordnungen von Beispielbildbereichen zu bekannten Fahrbahnzuständen kann der trainierte Klassifikator auch ihm bis dato unbekannte Bildinhalte bzw. -bereiche mindestens einer Klasse zuordnen.
Eine Information zu dem mindestens einen Fahrbahnzustand wird ausgegeben, vorzugsweise an weitere Fahrerassistenzfunktionen, Fahr zeugfunk- tionen oder auch an den Fahrer.
Die Information, die zu dem ermittelten Fahrbahnzustand ausgegeben wird, kann insbesondere eine Schätzung des Reibbeiwerts für den Fahrbahnbereich sein, der im Bildbereich abgebildet ist. Der Reibbeiwert, auch Reibwert, Kraftschlussbeiwert , (Haft-) Reibungszahl oder Reibungskoeffizient gibt an, welche Kraft bezogen auf die Radlast zwischen einer Fahrbahnoberfläche und einem Fahrzeugreifen (z.B. in Tan- gentialrichtung) maximal übertragen werden kann und ist somit ein wesentliches Maß für den Fahrbahnzustand. Neben dem Fahrbahnzustand sind Eigenschaften des Reifens zu einer vollständigen Bestimmung des Reibwerts erforderlich. Für eine Schätzung des Reibwerts aus Kamerabilddaten werden typischerweise nur Fahrbahnzustandsinformationen berücksichtigt, da im Allgemeinen aus Kamerabilddaten keine Reifeneigenschaften ermittelt werden können.
Das erfindungsgemäße Verfahren zur Bestimmung des Fahrbahnzustands gewährleistet eine sehr robuste, zuverlässige und vorausschauende Ermittlung des ortsaufgelösten Fahrbahnzustands. Die automatische Erfassung der Fahrbahnzustandsinformationen ist ein Schlüsselelement auf dem Weg zum hochautomatisierten oder autonomen Fahren in der Zukunft.
In einer vorteilhaften Ausführungsform wird mindestens ein Merkmal aus dem ersten Bildbereich extrahiert und dem Klassifikator zugeführt. Das Merkmal ist bzw. die Merkmale sind insbesondere geeignet, die unterschiedliche Erscheinung des Fahrbahnbelags im Kamerabild in Abhängigkeit des Fahrbahnzustands zu erfassen.
Mehrere einzelne Merkmale können einen Merkmalsvektor bilden, der verschiedene Information aus dem ersten Bildbereich kombiniert, um im Schritt der Klassifikation robuster und genauer über den Fahrbahnzu- stand entscheiden zu können. Verschiedene Merkmalstypen für einen Bildbereich ergeben eine Menge von Merkmalsvektoren. Die so entstandene Menge an Merkmalsvektoren für einen Bildbereich wird als Merkmalsdeskriptor bezeichnet. Sofern mehrere Bildbereiche verwendet werden, kann der Merkmalsdeskriptor auch aus kombinierten Merkmalen der verschiedenen Bildbereiche zusammengesetzt oder kombiniert sein. Das Zusammensetzen des Merkmalsdeskriptors kann durch einfaches Aneinander- hängen (Konkatenation), eine gewichtete Kombination oder andere nichtlineare Abbildungen erfolgen. Dabei können nicht nur verschiedene Bildbereiche zu einem Zeitpunkt in einem Bild, sondern auch über mehrere Zeitpunkte hinweg also in aufeinander folgenden Bildern einer Bilderserie verwendet werden. Der Merkmalsdeskriptor wird anschließend von einem Klassifikationssystem (Klassifikator ) mindestens einer der Klassen zugewiesen. Ein Klassifikator ist in diesem Fall eine Abbildung des Merkmalsdeskriptors auf eine diskrete Zahl, die die zu erkennenden Klassen identifiziert.
Bevorzugt umfasst das Merkmal, das aus dem ersten Bildbereich extrahiert und dem Klassifikator zugeführt wird, den mittleren Grauwert oder den mittleren Farbwert (RGB) des ersten Bildbereichs. Der Merkmalstyp „mittlerer RGB-Farbwert" umfasst drei einzelne Merkmale bzw. Merkmalswerte, nämlich R, G und B (Rot-, Grün- und Blauwert), welche als ein Merkmalsvektor zusammengefasst werden können.
Geeignet ist aber auch jede andere Information, die aus einer ROI oder aus Pixeln der ROI extrahiert werden kann und aus der Unterschiede zwischen den vorgegebenen Klassen ermittelt werden können.
Vorzugsweise können als Merkmalstypen über den ersten Bildbereich ge- mittelten HSI-Werte (Hue, Saturation, Intensity) bzw. L*a*b*-Werte (CIELAB Farbraum) oder z.B. Gradientenwerte als Merkmal extrahiert werden. Die Merkmalsvektoren für einzelne oder mehrere Merkmalstypen, die aus einer oder mehrerer ROIs eines Bildes extrahiert werden, bilden den Merkmalsdeskriptor.
In vorteilhafter Weise umfasst das mindestens eine Merkmal, das aus dem ersten Bildbereich extrahiert und dem Klassifikator zugeführt wird, das Ergebnis oder die Ergebnisse einer pixelweisen Segmentierung innerhalb des ersten Bildbereichs. Dabei können innerhalb eines Bildbereichs spezielle Regionen punktgenau lokalisiert werden. Dies ist von Vorteil für die Erkennung von lokalen Unterschieden beispielsweise für die Detektion von Pfützen, abtrocknenden Fahrspuren auf nasser Fahrbahn oder vereisten Fahrspuren auf Schneefahrbahnen. Dadurch wird die Qualität bei der Erkennung dieser Sachverhalte erhöht. Diese punktgenaue Klassifikation kann zum Beispiel durch Verfahren der semantischen Segmentierung erreicht werden, bei der jedem Pixel im Bildbereich ein Label einer der vorgegebenen Klassen zugeordnet wird. Die pixelgenaue Klassifikation von Bildern erweitert eine grobe Lokalisierung von Objekten in Bildern um eine punktgenaue Klassifikation.
Gemäß einer vorteilhaften Ausführungsform wird als Klassifikator ein zufälliger Entscheidungswald (, Random Decision Forest' oder auch nur , Random Forest') verwendet.
Entscheidungsbäume sind hierarchisch angeordnete Klassifikatoren, die das Klassifikationsproblem baumartig aufspalten. Beginnend in der Wurzel wird auf Basis der getroffenen Entscheidungen der Pfad zu einem Blattknoten beschritten, in welchem die finale Klassifikationsentscheidung stattfindet. Aufgrund der Lernkomplexität werden vorzugsweise für die inneren Knoten sehr einfache Klassifikatoren, die sogenannten „decision stumps" (Entscheidungsbaumstümpfe) verwendet, welche den Eingaberaum orthogonal zu einer Koordinatenachse separieren.
Entscheidungswälder sind Kollektionen von Entscheidungsbäumen, die an vorzugsweise zwei Stellen randomisierte Elemente beim Trainieren der Entscheidungsbäume enthalten. Als erstes wird jeder Baum mit einer zufälligen Auswahl an Trainingsdaten trainiert und zweitens für jede binäre Entscheidung nur eine zufällige Auswahl zulässiger Dimensionen verwendet. In den Blattknoten werden Klassenhistogramme gespeichert, die eine Maximum-Likelihood-Schätzung (Schätzung der größten Wahrscheinlichkeit) über die den Blattknoten im Training erreichenden Merkmalsvektoren erlauben. Klassenhistogramme speichern die Häufigkeit, mit der ein Merkmalsdeskriptor eines bestimmten Fahrbahnzustands beim Durchlaufen des Entscheidungsbaumes den entsprechenden Blattknoten erreiche. Als Resultat kann jeder Klasse vorzugsweise eine Wahr- scheinlichkeit zugeordnet werden, die sich aus den Klassenhistogrammen berechnet .
Um für einen Merkmalsdeskriptor eine Entscheidung über den Fahrbahnzustand zu treffen, wird vorzugsweise die wahrscheinlichste Klasse aus dem Klassenhistogramm als der aktuelle Fahrbahnzustand verwendet. Es können aber auch andere Methoden angewendet werden, um die Information aus den Entscheidungsbäumen in eine Fahrbahnzustandsentscheidung zu übertragen .
Gemäß einer bevorzugten Ausführungsform wird die Zuordnung des ersten Bildbereichs zu mindestens einer Klasse durch den Klassifikator für mindestens ein aufgenommenes Bild einer zeitlichen Filterung unterworfen bevor die Information zu dem mindestens einen zugeordneten Fahrbahnzustand ausgegeben wird. Der Klassifikator weist einem aufgenommenen Bild bzw. einem Bildbereich daraus mindestens eine Klasse zu. An diese Zuordnung bzw. Entscheidung pro aufgenommenes Bild kann sich eine Optimierung anschließen. Diese Optimierung kann insbesondere zeitlichen Kontext berücksichtigen indem sie als zeitliche Filterung fungiert. Dabei wird die Zuordnung für das aktuell aufgenommene Bild verglichen mit früher zugeordneten Fahrbahnzuständen. Dabei kann insbesondere die häufigste Klasse aus einem vorangegangenen Zeitabschnitt als Referenz verwendet werden. Einzelne Ausreißer (Fehlzuordnungen) können auf diese Weise eliminiert werden.
Vorteilhaft sieht die zeitliche Filterung vor, dass die Zuordnung des ersten Bildbereichs zu mindestens einer Klasse durch den Klassifikator für mindestens ein aktuell aufgenommenes Bild verglichen wird mit einer Zuordnung anhand mindestens eines vorher aufgenommenen Bildes. Ein Wechsel der zugeordneten Fahrbahnzustandskiasse wird erst ausgegeben, wenn eine dem Wechsel zugeordnete Wahrscheinlichkeit, die aus der Klassifikation des aktuell aufgenommenen Bildes abgeleitet wird, einen Schwellwert überschreitet.
Der zeitliche Kontext wird vorzugsweise dadurch berücksichtigt, dass ein sogenanntes Hysterese-Schwellwertverfahrens angewendet wird. Bei dem Hysterese-Schwellwertverfahren wird der Wechsel von einem Fahrbahnzustand in den anderen anhand von Schwellwerten geregelt. Ein Wechsel erfolgt erst dann, wenn die Wahrscheinlichkeit für den neuen Fahrbahnzustand hoch genug und für den alten Fahrbahnzustand dementsprechend gering ist. Dadurch wird das Klassifikationsergebnis stabil und permanente Sprünge zwischen verschiedenen Fahrbahnzuständen können vermieden werden.
Alternativ oder kumulativ zur zeitlichen Filterung können weitere Information aus dem Fahrzeug, beispielsweise vom Regensensor, oder anderen vom Fahrzeug zur Verfügung gestellte Daten zur Überprüfung der Zuordnung durch den Klassifikator herangezogen werden bevor eine Information zu dem mindestens einen zugeordneten Fahrbahnzustand ausgegeben wird .
In einer bevorzugten Ausführungsform wird die Position, die Größe und/oder die Form des ersten Bildbereichs an eine aktuelle Fahrsituation des eigenen Fahrzeugs angepasst. Dabei erfolgt die Ausrichtung (im aktuellen Bild) und Nachführung (in nachfolgend aufgenommenen Bildern) des mindestens einen in Form, Größe und Position auf die Fahrsituation angepassten Bildbereichs vorzugsweise unter Berücksichtigung der Bewegung des eigenen Fahrzeugs, möglicher weiterer Verkehrsteilnehmer und der Fahrbahngegebenheiten.
Dabei erfolgt die Ausrichtung und Nachführung des mindestens einen in Form, Größe und Position auf die FahrSituation angepassten Bildbereichs insbesondere auf folgende Weise: a) Der erste Bildbereich ist das Gesamtbild der Kamera, sofern die Fahr zeugkamera ausschließlich auf die Fahrbahn gerichtet ist.
b) Der erste Bildbereich ist mindestens ein fixer Bildbereich, der durch Justage und Kalibrierung der Fahr zeugkamera vorzugsweise mittig oder vor den linken und rechten Fahrzeugrädern vor dem Fahrzeug auf die Fahrbahn projiziert wird. c) Der erste Bildbereich ist mindestens ein dynamischer Bildausschnitt, der im Bild in den Fahrschlauch des Fahrzeugs, welcher u.a. aus den Odometriedaten des Fahrzeugs berechnet wird, projiziert und diesem dynamisch nachgeführt wird. d) Der erste Bildbereich ist mindestens ein dynamischer Bildausschnitt, der im Bild in die durch das Fahrzeug befahrenen Fahr- bahn/-spur, die innerhalb von zwei oder seitlich einer Fahrstrei- fenbegrenzungslinie liegt, projiziert und dieser dynamisch nachgeführt wird. e) Der erste Bildbereich ist mindestens ein dynamischer Bildausschnitt, der im Bild in die durch das Fahrzeug befahrenen Fahr- bahn/-spur, die mit Hilfe von Mitteln der digitalen Bildverarbeitung detektiert wird, projiziert und dieser dynamisch nachgeführt wird . f) Der erste Bildbereich ist mindestens ein dynamischer Bildausschnitt, der im Bild in den geschätzten Fahrbahnverlauf, projiziert und diesem dynamisch nachgeführt wird. g) Der erste Bildbereich ist mindestens ein dynamischer Bildausschnitt, der im Bild in die durch das System berechnete Trajektorie vorzugsweise als Mittellinie eines prädizierten Fahrkorridors auf Basis einer vorausschauenden Traj ektorienplanung, projiziert und dieser dynamisch nachgeführt wird. h) Der erste Bildbereich ist mindestens ein dynamischer Bildausschnitt, der auf Basis von GPS-Fahr zeugdaten vorzugsweise entsprechend Fahrgeschwindigkeit und Headingwinkel (bzw. Gierwinkel) in Richtung der Fahr zeugbewegung vor das Fahrzeug projiziert und dieser dynamisch nachgeführt wird. i) Der erste Bildbereich ist mindestens ein dynamischer Bildausschnitt, der auf Basis von Fahr zeugodometriedaten in Richtung der Fahr zeugbewegung vor das Fahrzeug projiziert und dieser dynamisch nachgeführt wird. j) Der erste Bildbereich ist mindestens ein dynamischer Bildausschnitt, der auf Basis von Fahr zeugpositions- und Kartendaten in Fahrtrichtung vor das Fahrzeug auf die Fahrbahn projiziert und dieser dynamisch nachgeführt wird. k) Der erste Bildbereich ist mindestens ein fixer oder dynamischer Bildausschnitt, der der Schnittmenge der Einzelbereiche bei einer Überlagerung mindestens zweier Bereiche aus a) bis j) entspricht.
1) Der erste Bildbereich ist mindestens ein fixer oder dynamischer Bildausschnitt, der einen Bereich aus a) bis k) enthält, wobei Bildsegmente mit erkannten Objekten wie beispielsweise Fahrzeugen, Fußgängern oder Infrastruktur ausgenommen werden.
Die Anpassung kann vorteilhaft in Abhängigkeit von der Geschwindigkeit des eigenen Fahrzeugs vorgenommen werden. Bevorzugt wird Position, Größe und/oder Form des zweiten Bildbereichs an die Geschwindigkeit des eigenen Fahrzeugs angepasst, um eine zeitlich gleichmäßige Voraussage über den zu erwartenden Fahrbahnzustand zu erhalten. Z.B. kann ermittelt werden, welcher Fahrbahnzustand in 0,5 Sekunden oder in einer Sekunde überfahren werden wird.
Eine hierzu erforderliche Abschätzung zur Entfernung kann auch mit einer Monokamera bei bekannter Einbauhöhe und der Annahme eines ebenen Fahrbahnverlaufs über die Abbildungsgeometrie mit ausreichender Genauigkeit erfolgen. Bei Nutzung einer Stereokamera kann entsprechend die Entfernung über Triangulation mit höherer Genauigkeit bestimmt werden .
Vorteilhaft wird eine Fahrspur ermittelt, auf der das eigene Fahrzeug sich befindet, und der erste Bildbereich wird derart angepasst, dass er eine Abbildung der Fahrbahnoberfläche der vorausliegenden eigenen Fahrspur umfasst.
Dazu kann insbesondere eine Erkennung von FahrSpurmarkierungen vorgesehen sein und der mindestens eine „dynamische" Bildbereich umfasst im Bild die durch das Fahrzeug befahrenen Fahrbahn/-spur , die innerhalb von zwei oder seitlich einer Fahrstreifenbegrenzungslinie liegt. Die Größe des ersten Bildbereichs wird vorzugsweise durch Fahrbahnmarkierungen oder -begrenzungen in lateraler Richtung begrenzt. Die Form des ersten Bildbereichs kann einem Trapez aber auch einem Rechteck entsprechen.
Dazu kann durch eine Berücksichtigung von Odometrie- und Zeitinformationen dieser Abbildungsbereich bei nachfolgend aufgenommenen Bildern in diese projiziert werden, so dass der Bildbereich dynamisch nachgeführt wird.
Unter Odometrieinformationen werden hierbei Informationen verstanden, die eine Bewegung des Fahrzeugs charakterisieren und insbesondere Fahr zeugsensorikdaten wie Messgrößen eines Fahrwerks, eines Antriebsstrangs, einer Lenkung sowie Messgrößen einer Navigationsvorrichtung des Fahrzeugs umfassen. Zusammen mit den Zeitinformationen ist somit eine zurückgelegte Bewegung bzw. Trajektorie des Fahrzeugs ermittelbar .
In einer bevorzugten Ausführungsform wird eine Bewegungstraj ektorie des eigenen Fahrzeugs prädiziert und daraus ein Fahrschlauch berechnet. Grundlage der Prädiktion können Daten aus der Kamera, weiteren Umfeldsensoren, Fahr zeugsensoren, Navigationseinrichtungen,
Telematikeinrichtungen oder ähnlichem sein. Der erste Bildbereich wird derart angepasst, dass er eine Abbildung der Fahrbahnoberfläche um- fasst, die innerhalb des berechneten Fahrschlauchs liegt.
Besonders bevorzugt wird der erste Bildbereich derart angepasst, dass der erste Bildbereich nur eine Abbildung der Fahrbahnoberfläche beinhaltet. Relevant ist hierbei insbesondere alles, worüber die Reifen des eigenen Fahrzeugs zukünftig rollen werden oder möglicherweise rollen werden. Im Normalfall sind z.B. relevant: Fahrbahnbelag, Niederschlag darauf, Verschmutzung (Laub, Papier, Sand, Öl, Tierkadaverreste), Fahrbahnmarkierungen, die überfahren werden.
Im Normalfall nicht relevant sind dagegen z.B.: durchgezogene Fahrspurbegrenzungslinien, Grasnarben seitlich der Fahrbahn.
Vorteilhaft kann der erste Bildbereich derart angepasst werden, dass Bildsegmenten mit zuvor erkannten Objekten aus dem ersten Bildbereich ausgeschlossen sind. Zuvor erkannte Objekte sind insbesondere andere Verkehrsteilnehmer, wie Fahrzeuge (u.a. PKW, LKW), Zweiradfahrer bzw. Fußgänger, oder Infrastrukturelemente.
Bevorzugt können bei der Anpassung des ersten Bildbereichs Navigati- ons- und Kartendaten und/oder Fahrzeugsensordaten und/oder Daten weiterer Umfeldsensordaten berücksichtigt werden.
Gemäß einer vorteilhaften Weiterbildung der Erfindung wird ein zweiter Bildbereich ermittelt, der eine Abbildung eines zweiten Bereichs der Fahrbahnoberfläche umfasst.
Beispielsweise kann der erste Bildbereich einem prädizierten Fahrschlauchbereich entsprechen, in dem die linken Fahr zeugräder auf der Fahrbahnoberfläche rollen werden, und der zweite Bildbereich einem prädizierten Fahrschlauchbereich, in dem die rechten Fahr zeugräder rollen werden.
Die Nutzung zweier Bildbereiche gegenüber einem ausgedehnten Bildbereich bringt die Vorteile mit sich, dass für die Bildverarbeitung weniger Rechenleistung und -zeit benötigt als für einen einzigen Bildbereich, der beide separaten Bildbereiche einschließt und dass eine höhere räumliche Auflösung für die Fahrbahnzustandsklassifikation erzielt wird. Lokale Fahrbahnzustands- änderungen wie beispielsweise freigefahrene Spuren auf Schneefahrbahnen, wie man sie häufig in Skandinavien sieht, vereiste Pfützen o.ä. erreichen bei der Aufteilung in mehrere kleinere Bildbereiche genauer erkannt und berücksichtigt werden.
Es können auch drei oder mehr derartige Bildbereiche ermittelt werden.
Vorteilhaft umfasst der zweite Bildbereich eine Abbildung eines weiter vorausliegenden Bereichs der Fahrbahnoberfläche. Eine bevorzugte Ausführung könnte also zwei Bildbereiche enthalten, wobei der erste Bildbereich in der Ego-Fahrspur direkt vor dem Ego-Fahrzeug liegt und ein zweiter Bildbereich geschwindigkeitsabhängig in derselben Fahrspur weiter vor dem Fahrzeug positioniert wird. Die Größe beider Bildbereiche wird, wie vorher beschrieben, vorzugsweise durch Fahrbahnmarkierungen oder -begrenzungen in lateraler Richtung begrenzt.
Bevorzugt überlappen erster und zweiter Bildbereich einander nicht und können räumlich voneinander getrennt sein. Der zweite Bildbereich wird insbesondere in gleicher Weise wie der erste Bildbereich gemäß den bereits beschriebenen Verfahrensschritten ausgewertet. Ein separater zweiter Bildausschnitt bietet gegenüber einem vergrößerten einzelnen Bildausschnitt den Vorteil einer höheren Ortsauflösung .
Bevorzugt wird Position, Größe und/oder Form des zweiten Bildbereichs an die Geschwindigkeit des eigenen Fahrzeugs angepasst, um eine zeitlich gleichmäßige Voraussage (bzw. Preview) über den zu erwartenden Fahrbahnzustand zu erhalten.
Vorteilhaft wird die Zuordnung des ersten Bildbereichs zu mindestens einem Fahrbahnzustand aus einem aktuell aufgenommenen Bild plausibili- siert durch die Zuordnung des zweiten Bildbereichs zu mindestens einem Fahrbahnzustand aus einem zuvor aufgenommenen Bild. Eine Information wird entsprechend zu mindestens einem plausibilisierten Fahrbahnzustand ausgegeben. Da der zweite Bildbereich eine Abbildung eines weiter vorausliegenden Bereichs der Fahrbahnoberfläche umfasst, liefert seine Klassifikation praktisch eine Vorausschau. In einem späteren Bild befindet sich der Bereich der Fahrbahnfläche bei einer Vorwärtsfahrt zumindest teilweise im ersten Bildbereich aufgrund der Fahrzeugeigenbewegung. Bei der Klassifikation des für die Weiterfahrt unmittelbar maßgeblichen ersten Bildbereichs kann die frühere Klasse des zweiten Bildbereichs als „Preview" zur Plausibilisierung berücksichtigt werden. Dadurch wird die Erkennungssicherheit erhöht. Die Transformation der beiden Bildbereiche aufeinander erfolgt bevorzugt mit Hilfe von Odometriedaten des Fahrzeugs.
In einer bevorzugten Ausführungsform wird die Zuordnung des zweiten Bildbereichs zu mindestens einem Fahrbahnzustand aus einem aktuellen oder bereits aufgenommenen Bild mit der Zuordnung des ersten Bildbereichs zu mindestens einem Fahrbahnzustand aus einem aktuell aufgenom- menen Bild fusioniert und eine Information zu mindestens einen fusionierten Fahrbahnzustand ausgegeben.
Vorteilhaft wird als Kamera eine monokulare Kamera verwendet. Monoka- meras sind als Fahrerassistenzkameras etabliert und preisgünstiger als Stereokameras. Das erfindungsgemäße Verfahren ermöglicht bereits auf der Basis von Monokamerabildern eine robuste und zuverlässige Fahr- bahnzustandsklassifikation .
Alternativ wird im Rahmen einer weiteren vorteilhaften Ausführungsform als Kamera eine 3D- oder Stereokamera verwendet. 3D- oder Stereokameras ermöglichen die Auswertung von Tiefeninformationen aus dem Bild. Zudem lässt sich anhand der 3D-Positionsdaten leichter eine zurückliegende Traj ektorienbestimmung aus Odometrie- und Zeitinformationen mit den Bilddaten in Einklang bringen oder eine zukünftige Trajektorie bzw. ein prädizierter Fahrschlauch in die Bilddaten einrechnen. Desweiteren wird die Berücksichtigung von Tiefeninformationsprofilen bei der Klassifikation möglich.
Die Erfindung betrifft weiterhin eine Vorrichtung zur Bestimmung eines Fahrbahnzustands umfassend eine Fahr zeugkamera, eine Bildverarbeitungseinheit, eine Klassifikationseinheit und eine Ausgabeeinheit.
Die Fahr zeugkamera ist dazu ausgebildet, mindestens ein Bild der Fahrzeugumgebung aufzunehmen. Die Bildverarbeitungseinheit ist dazu ausgebildet, einen ersten Bildbereich zu ermitteln, der eine Abbildung der Fahrbahnoberfläche umfasst und diesen einer Klassifikationseinheit zuzuführen. Die Klassifikationseinheit ist dazu ausgebildet, den ersten Bildbereich mindestens einer Klasse zuzuordnen, die einen bestimmten Fahrbahnzustand repräsentiert. Die Ausgabeeinheit ist dazu ausgebildet, eine Information zu dem mindestens einen Fahrbahnzustand auszugeben, der dem ersten Bildbereich durch die Klassifikationseinheit zugeordnet ist.
Im Folgenden wird die Erfindung anhand von Figuren und Ausführungsbeispielen näher erläutert. Es zeigen:
Fig. 1 ein Flussdiagramm zur Veranschaulichung des Ablaufs einer Ausführungsvariante des Verfahrens zur Bestimmung eines Fahrbahnzustands mittels einer Fahrzeugkamera;
Fig. 2 ein Bild einer vorausliegenden Fahr zeugumgebung, das mit einer Fahr zeugkamera aufgenommen wurde;
Fig. 3 eine Repräsentation der durch das Bild wiedergegeben Szene aus der Vogelperspektive;
Fig. 4 ein Bild mit einem ersten Bildbereich;
Fig. 5 ein Bild mit einem ersten Bildbereich und einem dazu verschobenen Bildbereich;
Fig. 6 eine Darstellung zur Ermittlung eines vorausschauenden Adapta- tionshorizonts ;
Fig. 7 bisheriger und zukünftiger Verlauf einer Trajektorie bei einer Kurvenfahrt ;
Fig. 8 ein Bild mit einem ersten Bildbereich und einem dazu unter Berücksichtigung des Fahrspurverlaufs verschobenen Bildbereich;
Fig. 9 einen Vergleich von bisheriger IST- und berechneter SOLL- Trajektorie bei einem Ausweichmanöver und
Fig. 10 ein Bild mit einem ersten Bildbereich und zwei dazu unter Berücksichtigung eines für ein Ausweichmanöver prädizierten Fahr- schlauchs verschobenen Bildbereichen.
Fig. 1 zeigt ein Flussdiagramm zur Veranschaulichung des Ablaufs einer Ausführungsvariante des erfindungsgemäßen Verfahrens zur Bestimmung eines Fahrbahnzustands mittels einer Fahr zeugkamera .
Zunächst wird in Schritt S10 ein Bild mit der Fahr zeugkamera aufgenommen. Aus diesem Bild kann in Schritt 12 die Fahrbahn ermittelt werden, z.B. anhand von FahrSpurmarkierungen im Bild, Fahrbahnbegrenzungsobjekten etc. Bereits hier können z.B. nichtstationäre Objekte ermittelt werden, die bei der Ermittlung des Fahrbahnzustands nicht berücksichtigt werden sollen.
Optional kann in Schritt 14 eine Prädiktion der Trajektorie bzw. des Fahrschlauchs des eigenen Fahrzeugs erfolgen. Hierbei können Daten aus der eigenen Fahr zeugsensorik (V), z.B. Lenkwinkel, Geschwindigkeit, etc., Navigationssystemdaten bzw. Kartendaten (N) bzw. Daten weiterer Umfeldsensoren wie z.B. Radar, Lidar, Telematikeinheit etc. berücksichtigt werden.
In Schritt 16 wird die ROI bzw. ein erster oder mehrere Bildbereiche ermittelt, die eine Abbildung der Fahrbahnoberfläche umfasst. Dieser oder diese Bildausschnitte bzw. Merkmale, die daraus extrahiert wurden, werden in Schritt 18 einem Klassifikator zugeführt, der jeden Bildbereich mindestens einer Klasse zuordnet, die einen bestimmten Fahrbahnzustand repräsentiert.
In Schritt 20 wird eine Information zu diesem mindestens einen Fahrbahnzustand ausgegeben, z.B. an eine Kollisionswarnung oder einen Notbremsassistenten, die ihre Warnschwellwerte oder Eingriffszeitpunkte an den ermittelten Fahrbahnzustand anpassen kann.
Fig. 2 zeigt beispielhaft ein Bild (I) einer vorausliegenden Fahrzeugumgebung, wie es von einer Frontkamera (6) eines fahrenden Fahrzeugs aufgenommen worden ist. Aus demselben Bild können kamerabasierte Fahrerassistenzfunktionen realisiert werden, z.B. eine Spurverlassenswarnung (LDW, Lane Departure Warning) , eine Spurhalteunterstützung (LKA/LKS, Lane Keeping Assistance/System), eine Verkehrszeichenerkennung (TSR, Traffic Sign Recognition ) , eine automatische Fernlichtsteuerung (IHC, Intelligent Headlamp Control), eine Kollisionswarnung (FCW, Forward Collision Warning) , eine Niederschlagserken- nung, eine automatische Längsregelung (ACC, Adaptive Cruise Control), eine Einparkunterstützung, automatische Notbrems- oder Notlenksysteme (EBA, Emergency Brake Assist oder ESA, Emergency Steering Assist).
Das Kamerabild zeigt eine Fahrbahn (1), deren Oberfläche weitgehend homogen ist. Auf der Oberfläche sind FahrSpurmarkierungen zu erkennen: jeweils eine durchgezogenen Seitenlinie (4), die das linke und rechte Ende der Fahrbahn markieren sowie Mittelliniensegmente (3) der unterbrochenen bzw. gestrichelten mittleren Fahrbahnmarkierung. Die Fahrbahn (1) könnte aus Asphalt oder Beton gebildet sein. Auf der ansonsten trockenen Fahrbahn (1) ist eine Pfütze (2) zu erkennen.
Fig. 3 zeigt eine Repräsentation der durch das Bild der Fahr zeugkamera in Fig. 2 wiedergegebenen Szene aus einer Vogelperspektive betrachtet. Diese Repräsentation kann aus dem Kamerabild ermittelt werden, wobei bei einer Monokamera vorzugsweise Abbildungseigenschaften der Kamera (4), die Einbaugeometrie der Kamera im Fahrzeug (5), der tatsächlichen Fahrzeughöhe (aufgrund der Reifenstands-/Fahrwerksteuerung) , Nick-, Gier- und/oder Rollwinkel berücksichtigt werden. Es kann die Annahme getroffen werden, dass die Fahrbahnoberfläche eben ist.
Bei einer 3D- oder Stereokamera ist die Repräsentation aufgrund der erfassten 3D-Bilddaten unmittelbar ermittelbar, wobei auch hierbei weitere Aspekte berücksichtigt werden können.
Die Repräsentation ist im Wesentlichen dadurch gekennzeichnet, dass dort Abstände tatsächlichen Abständen entsprechen. So sind die gezeigten Mittelstreifensegmente auch auf der realen Fahrbahn äquidistant angeordnet .
Auf der in Fig. 3 dargestellten Repräsentation sind die Fahrbahn (1), die Pfütze (2), die Mittelliniensegmente (3) und die durchgezogenen seitlichen Begrenzungslinien (4) der Fahrbahnmarkierung zu erkennen, die bereits im Kamerabild (Fig. 2) enthalten sind. Zusätzlich ist in der Repräsentation ein Fahrzeug (5) mit einer Kamera (6) enthalten, wobei mit der Kamera (6) das Bild aus Fig. 2 aufgenommen worden ist. Ein Koordinatensystem, bei dem die X-Richtung der Fahr zeuglängsrich- tung und die Y-Richtung der Fahr zeugquerrichtung entspricht, ist in Fig. 3 dargestellt. Fahrzeug- bzw. Echtraumkoordinaten werden durch Großbuchstaben bezeichnet.
Der gestrichelte Pfeil gibt die prädizierte Trajektorie (T) des Fahrzeugs (5) an. Bei dieser Geradeausfahrt kann der zurückgelegte Weg s entlang der Trajektorie (T) in X-Richtung im Falle einer gleichförmigen Bewegung mit der Geschwindigkeit v unter Berücksichtigung der Information über die Zeit t bestimmt werden aus s = vt . Auf diese Weise könnte unter Berücksichtigung der Odometrie- und Zeitinformationen bestimmt werden, wann z.B. das linke Vorderrad des Fahrzeugs (5) die Pfütze (2) erreichen wird.
Bestimmung der Region of Interest (ROI) eines gegebenen Kamerabildes in Abhängigkeit der jeweiligen Fahrsituation
Ausgehend von einem gegebenen Kamerabild (I), wir im Folgenden unter der Region of Interest (ROI) derjenige Bildbereich verstanden, der für bestimmte nachgelagerte Funktionalitäten (ACC, Fahrbahnzustandsschät- zung usw.) die größte Informationsdichte bezüglich des Fahrbahnzustands enthält. Fig. 4 zeigt einen solchen Bildbereich (Rl) innerhalb des Kamerabildes (I) .
Der Mittelpunkt eines beispielhaft rechteckförmig angenommenen ersten Bildbereichs (Rl) ist innerhalb des gesamten Kamerabildes (I) durch die Bildkoordinaten (x0, y0) und die Ausdehnung (Ax0, Ay0) beschrieben. Bildkoordinaten werden durch Kleinbuchstaben bezeichnet. Durch geeignete Anpassung des ersten Bildbereichs (Rl) an den jeweiligen Fahr zustand des Ego-Fahrzeugs (5) wird es möglich, den Informationsgehalt für nachgelagerte Regelsysteme zu erhöhen.
Die Fig. 5 und 7 zeigen zusätzlich zu einem ersten (Rl) jeweils einen zweiten Bildbereich (R2). Dieser kann simultan (also für ein einziges auszuwertendes Bild (I)) zum ersten Bildbereich (Rl) ausgewertet werde. Der erste Bildbereich (Rl) beinhaltet Informationen über den Fahrbahnzustand, der in einer kürzeren Zeit vom Fahrzeug (5) erreicht wird, und der zweite (R2) Informationen, die in einer späteren Zeit relevant werden (Preview für den aktuellen ersten Bildbereich) .
Alternativ kann der zweite Bildbereich (R2) jeweils eine Anpassung des ersten Bildbereichs (Rl) an eine schnellere Fahr zeuggeschwindigkeit (oder weitere veränderte FahrSituationen ) veranschaulichen.
Exemplarisch für eine derartige Anpassung des ersten Bildbereichs (Rl) stehen eine Adaption über die Fahrzeugeigengeschwindigkeit, den Fahrspurverlauf bei einer Kurvenfahrt und den prädizierten Fahrschlauch bei einem Ausweichmanöver.
1. Adaption des ersten Bildbereichs (Rl) an die Geschwindigkeit des eigenen Fahrzeugs (Geradeausfahrt)
Bei der in Fig. 5 dargestellten Geradeausfahrt könnte z.B. der erste Bildbereich (Rl) den Bereich der Fahrbahn (1) angeben, der bei einer Geschwindigkeit von 50km/h in ls vom Fahrzeug überfahren wird. Wenn das Fahrzeug doppelt so schnell fährt, würde dagegen in einer Sekunde der Bereich der Fahrbahn (1) überfahren, den der zweite Bildbereich (R2) wiedergibt. Mit steigender Fahr zeuggeschwindigkeit wandert die ROI (R2) weiter in den oberen Bildteil (weiter entfernt vom Fahrzeug (5)) und aufgrund der Kameraperspektive etwas nach links (x10 < x0 , y10 > y0) bei geringer werdender Ausdehnung (Ax10 < Ax0, Ay10 < Ay0) .
Fig. 6 illustriert die Ermittlung dieser Adaption anhand einer Darstellung im Fahr zeugkoordinatensystem (X, Y) . Aus der Sicht des eigenen Fahrzeugs (5), dessen Schwerpunkt CoGVeh sich an einer aktuellen Position Xoveh befindet, wird ein vorausschauender Adaptionshorizont Xpveh ermittelt, der eine Funktion der Fahr zeuggeschwindigkeit ^veh sowie optional weiterer Umfeld-Informationen InfUmf ist:
XpVeh = f(VVeh ' Irfumf )
Bei einer geraden Vorwärtsfahrt des Fahrzeugs (5) ist der vorausschauende Adaptionshorizont XpVeh gegenüber der aktuellen Fahr zeugposition Xoveh in positiver X-Richtung verschoben ist, da sich das Fahrzeug in seiner Längsrichtung bewegt (vgl. Fig. 3).
Die Umfeld-Informationen Infümf können z.B. ergeben, dass ein Bildbereich (Rl, R2 ) weiter angepasst werden sollte, damit ein vorausfahrendes Fahrzeug (nicht dargestellt) nicht in diesem Bildbereich abgebildet wird. Dies könnte zu einer fehlerhaften Fahrbahnzustandsklassifi- kation führen. Um dies zu verhindern, sollte ein Bildbereich (Rl, R2 ) in dieser Situation verkleinert, beschnitten oder verschoben werden, so dass anschließend nur noch die zu klassifizierende Fahrbahnoberfläche (1, 2) darin abgebildet wird.
Ein geeigneter Algorithmus übernimmt abschließend die Transformation des ermittelten Prädiktionshorizonts ( XpVeh ) in das Bild- Koordinatensystem (x, y) , um die neue Lage {xwr io) und Ausdehnung (Ax10, Ay10) des angepassten bzw. geänderten Bildbereichs zu ermitteln. Die Transformation entspricht dem Übergang von einer Darstellung wie in Fig. 3 zu einer Darstellung wie in Fig. 2.
2 . Adaption des ersten Bildbereichs (Rl) an einen vorausliegenden Fahrspurverlauf (hier beispielhaft bei Kurvenfahrt) Aus einem Bild (I) der Fahr zeugkamera (6) können FahrSpurmarkierungen (3, 4) erkannt werden und z.B. für eine Spurverlassenswarnungsfunktion (LDW) eingesetzt werde. Bei Kenntnis des Verlaufs der Fahrspurmarkie- rungen (3, 4) kann der Verlauf der vom eigenen Fahrzeug (5) befahrenen Fahrspur ermittelt werden.
In Fig. 7 ist im Fahr zeugkoordinatensystem der bisherige und anhand einer Fahrspurermittlung prädizierte Bewegungsverlauf (T) bei einer Kurvenfahrt dargestellt. Die mittlere Krümmung Kc des prädizierten Bewegungsverlaufs (T gestrichelte Linie) kann als Funktion der aktuellen Fahrzeug-Gierbewegung X"act des bisherigen Bewegungsverlaufs (T durchgezogene Linie) sowie zusätzlicher Umfeld-Informationen, insbesondere der Krümmung des vorausliegenden Fahrspurverlaufs angeben werden.
Kc = f(*a« =— , Inflw )
VVeh
Fig. 8 zeigt für Rechtsverkehr, wie ein aus Fig. 7 ermittelter Prädiktionshorizont (dort nicht dargestellt) im Bild (I) durch eine Anpassung des Bildbereichs von Rl zu R2 transformiert werden kann. Bei der hier dargestellten Linkskurve wandert die ROI in die linke obere Kamerabildecke (x20 < x0 , 20 > Yo) · Die Fläche des Bildbereichs verkleinert sich dabei entsprechend der Kameraabbildung. Als Form der beiden dargestellten Bildbereiche (Rl, R2 ) wurde hier eine Trapezform gewählt, die auf der Fahrbahn zwischen dem Mittelstreifen (3) und der rechten Fahrstreifenbegrenzungslinie (4) liegt.
3. Adaption des ersten Bildbereichs (Rl) an einen prädizierten Fahrschlauch beieinem Ausweichmanöver
Unter dem Fahrschlauch wird der prädizierte Bewegungskorridor des Ego- Fahrzeugs (5) bis ca. 150 m Entfernung verstanden. Er wird insbesondere durch seine Breite, welche in etwa der Fahrstreifenbreite entsprechen kann, charakterisiert. Der Fahrschlauch kann aus Kameradaten, Daten weiterer Umfeld- bzw. Fahr zeugsensoren berechnet werden. Ist durch entsprechende Kamera-/Umfeldsensorik und eine Überwachung der Fahrer-Aktivitäten sichergestellt, dass ein Ausweichmanöver durchzuführen ist, wird der von der ROI abzubildende Bereich der Fahrbahnoberfläche (1) in Abhängigkeit einer optimal geplanten Ausweich- Trajektorie (beispielsweise 2. Ordnung) verschoben.
Der lateral benö
Figure imgf000024_0001
der zur Verfügung stehende Ausweichraum in X-Richtung ist Sx. Die Krümmung der optimalen Ausweichkurve Kref ergibt sich aus der geplanten Ausweich- Trajektorie gemäß: f "(X )
R
Die aktuell gefahrene Kurvenkrümmung Kact ist eine Funktion der Fahrzeug-Gierbewegung (vgl. Abschnitt 2). Der Prädiktionshorizont XpVeh ist ein Maß dafür, mit welcher „Vorausschau" einzelne Punkte (XpVshr YPveh) der optimalen Ausweichkurve die Ziel-Bildkoordinaten (X30, Y30) für die ROI werden.
Fig. 9 zeigt im Fahr zeugkoordinatensystem einen bisherigen Bewegungsverlauf Tlst, dessen Fortführung zu einer Kollision mit einem Hindernis (7) führen würde. Eine optimale Ausweichtraj ektorie Tsoll ist als strichpunktierte Kurve dargestellt. Dadurch hätte das Hindernis komfortabel umfahren werden können. Im Rahmen eines Notmanövers kann nun durch eine kurzfristige Änderung des Gierwinkels von !Pact zu Ψεί ein Bewegungsverlauf gemäß der gestrichelten Linie erforderlich sein, um möglichst effektiv in den Bereich der Soll-Traj ektorie zu gelangen. Bei einem derartigen Notmanöver ist aber eine Fahrbahnzustandsbestim- mung bzw. kamerabasierte Reibbeiwertschätzung enorm wichtig, da bei Notmanövern bis zur Reibbertgrenze gebremst oder auch gelenkt wird. Eine Pfütze (2) auf einer ansonsten trockenen Fahrbahn (1) wie in Fig. 2 könnte dazu führen, dass eine Kollision mit dem Hindernis doch nicht vermieden werden kann oder das eigene Fahrzeug von der Fahrbahn abkommt .
In Fig. 10 ist ein Kamerabild (I) gezeigt, dass ein stehendes Hindernis (7), z.B. ein Fahrzeug, auf der eigenen Fahrspur vor dem eigenen Fahrzeug (6) abbildet. Zusätzlich zum berechneten Fahrschlauch (bzw. Bewegungskorridor) T mit der durchgezogenen Mittelpunktstraj ektorie und den gepunkteten Seitenlinien für ein Ausweichmanöver dargestellt wie ein aus Fig. 9 ermittelter Prädiktionshorizont XpVehr YPveh im Bild (I) durch eine Anpassung des Bildbereichs von Rl zu Rl ' ' transformiert werden kann. Ein Zwischenschritt der Anpassung (Rl7) ist ebenfalls dargestellt .
Für Lage und Ausdehnung der Anpassung des ersten Bildbereichs Rl ' bzw. Rl ' ' ergibt sich im dargestellten Fall (Ausweichen nach links) nach geeigneter Transformation der Bewegungsgrößen (X,Y) in das Bild- Koordinatensystem (x,y) ein rechteckiger Bildbereich Rl ' ' an der Position (x30 < x0 r y30 > y0) mit der Ausdehnung (Δχ30, Ay30) . Dadurch würde eine Fahrbahnzustands- bzw. Reibbeiwertänderung erkannt bzw. zuverlässig abgeschätzt und kann bei der Durchführung eines Notmanövers berücksichtigt werden.
Bezugs zeichenliste
1 Fahrbahn bzw. Fahrbahnoberfläche
2 Pfütze
3 Mittel 1 iniensegment
4 durchgezogene Fahr spurbegrenzungsl inie
5 (eigenes) Fahrzeug
6 Fahrzeugkamera
7 Hindernis
S 10 Bildaufnahme
S 12 Fahrbahnermittlung
S 14 Tra j ektor ienplanung
S 16 ROI-Ermittlung
S 18 ROI-Klassifikation
S 20 Ausgabe des Fahrbahnzustands
V Fahr zeugsensor ikdaten
N Navigations-/Kartendaten
E Umfeldsensordaten
I Bild
T (Bewegungs-) Trajektorie
X Fahrzeuglängskoordinate
Y Fahr zeugquerkoordinate
x,y Bildkoordinaten
Rl erster Bildbereich/ROI
R2 zweiter bzw. angepasster Bildbereich/ROI
CoGveh Fahr zeugschwerpunkt
X0Veh,Y0Veh aktuelle Fahrzeug-X- bzw. -Y-Position xpvehrYpveh Position des vorausschauenden Adaptionshor vVeh Fahr zeuggeschwindigkeit
InfUmf Umfeldinformationen
M Mittelpunkt des Kurvenkreises
X"act aktuelle Krümmung
Kc prädizierte Krümmung
Ψ=σί aktueller Gierwinkel ΨνίΑ aktuelle Gierrate
Tlst Ist-Trajektorie
Tsoll Soll-Traj ektorie
Kref Krümmung der Soll-Traj ektorie
ΨΓεί Gierwinkel, der zur Soll-Traj ektorie führt

Claims

Patentansprüche
1. Verfahren zur Bestimmung eines Fahrbahnzustands mittels einer Fahrzeugkamera (6), wobei
- mindestens ein Bild (I) mittels der Fahr zeugkamera aufgenommen wird (S10),
- ein erster Bildbereich (Rl) ermittelt wird, der eine Abbildung der Fahrbahnoberfläche (1) umfasst (S16)
- der erste Bildbereich (Rl) einem Klassifikator zugeführt wird, wobei der Klassifikator den ersten Bildbereich mindestens einer Klasse zuordnet, die einen bestimmten Fahrbahnzustand repräsentiert (S18) und
- eine Information zu diesem mindestens einen Fahrbahnzustand ausgegeben wird (S20).
2. Verfahren nach Anspruch 1, wobei
mindestens ein Merkmal aus dem ersten Bildbereich (Rl) extrahiert wird und dem Klassifikator zugeführt wird.
3. Verfahren nach Anspruch 2, wobei das mindestens eine Merkmal den mittleren Grauwert oder den mittleren Farbwert des ersten Bildbereichs (Rl) umfasst.
4. Verfahren nach Anspruch 2 oder 3, wobei das mindestens eine
Merkmal Ergebnisse einer pixelweisen Segmentierung innerhalb des ersten Bildbereichs (Rl) umfasst.
5. Verfahren nach einem der vorhergehenden Ansprüche, wobei als Klassifikator ein zufälliger Entscheidungswald verwendet wird.
6. Verfahren nach einem der vorhergehenden Ansprüche, wobei die Zuordnung des ersten Bildbereichs (Rl) zu mindestens einer Klasse durch den Klassifikator (S18) für mindestens ein aufgenommenes Bild (I) einer zeitlichen Filterung unterworfen wird bevor die Information zu dem mindestens einen zugeordneten Fahrbahnzustand ausgegeben wird (S20).
7. Verfahren nach Anspruch 6, wobei die zeitliche Filterung vorsieht, dass die Zuordnung des ersten Bildbereichs (Rl) zu mindestens einer Klasse durch den Klassifikator für mindestens ein aktuell aufgenommenes Bild (I) verglichen wird mit einer Zuordnung anhand mindestens eines vorher aufgenommenen Bildes und ein Wechsel der Fahrbahnzustandskiasse erst ausgegeben wird, wenn eine dem Wechsel zugeordnete Wahrscheinlichkeit, die aus der Klassifikation des aktuell aufgenommenen Bildes abgeleitet wird, einen Schwellwert überschreitet.
8. Verfahren nach einem der vorhergehenden Ansprüche, wobei Position, Größe und/oder Form des ersten Bildbereichs (Rl), an eine aktuelle FahrSituation des eigenen Fahrzeugs angepasst wird.
9. Verfahren nach Anspruch 8, wobei Position, Größe und/oder Form des ersten Bildbereichs (Rl), an die Geschwindigkeit des eigenen Fahrzeugs (5) angepasst wird.
10. Verfahren nach Anspruch 8 oder 9, wobei eine Fahrspur ermittelt wird, auf der das eigene Fahrzeug sich befindet und der erste Bildbereich (Rl) derart angepasst wird, dass er eine Abbildung der Fahrbahnoberfläche (1) der vorausliegenden eigenen Fahrspur umfasst.
11. Verfahren nach einem der Ansprüche 8 bis 10, wobei eine Be- wegungstraj ektorie T des eigenen Fahrzeugs (5) prädiziert und daraus ein Fahrschlauch berechnet wird und der erste Bildbereich (Rl) derart angepasst wird, dass er eine Abbildung der Fahrbahnoberfläche (1) des berechneten Fahrschlauchs umfasst.
12. Verfahren nach einem der Ansprüche 8 bis 11, wobei der erste Bildbereich (Rl) derart angepasst wird, dass der erste Bildbereich nur eine Abbildung der Fahrbahnoberfläche (1) beinhaltet .
13. Verfahren nach einem der Ansprüche 8 bis 12, wobei der erste Bildbereich (Rl) derart angepasst wird, dass Bildsegmenten mit zuvor erkannten Objekten aus dem ersten Bildbereich ausge- schlössen sind.
14. Verfahren nach einem der Ansprüche 8 bis 13, wobei bei der Anpassung des ersten Bildbereichs (Rl) Navigations- und Kartendaten (N) und/oder Fahrzeugsensordaten (V) und/oder Daten weiterer Umfeldsensoren (E) berücksichtigt werden.
15. Verfahren nach einem der vorhergehenden Ansprüche, wobei ein zweiter Bildbereich (R2) ermittelt wird, der eine Abbildung eines weiter vorausliegenden Bereichs der Fahrbahnoberfläche (1) umfasst, wobei erster und zweiter Bildbereich (Rl; R2 ) einander nicht überlappen und wobei der zweite Bildbereich (R2) in gleicher Weise wie der erste Bildbereich (Rl) nach einem der vorhergehenden Ansprüche ausgewertet wird.
16. Verfahren nach Anspruch 15, wobei die Zuordnung des ersten Bildbereichs (Rl) zu mindestens einem Fahrbahnzustand aus einem aktuell aufgenommenen Bild (I) plausibilisiert wird durch die Zuordnung des zweiten Bildbereichs (R2) zu mindestens einem Fahrbahnzustand aus einem zuvor aufgenommenen Bild und eine Information zu mindestens einem plausibilisierten Fahrbahnzustand ausgegeben wird.
17. Verfahren nach Anspruch 15, wobei die Zuordnung des zweiten Bildbereichs (R2) zu mindestens einem Fahrbahnzustand aus einem aktuellen oder bereits aufgenommenen Bild (I) mit der Zuordnung des ersten Bildbereichs (Rl) zu mindestens einem Fahrbahnzustand aus einem aktuell aufgenommenen Bild fusioniert wird und eine Information zu mindestens einen fusionierten Fahrbahnzustand ausgegeben wird.
18. Verfahren nach einem der vorhergehenden Ansprüche, wobei als Fahr zeugkamera (6) eine Monokamera verwendet wird.
19. Verfahren nach einem der Ansprüche 1 bis 17, wobei als
Fahr zeugkamera (6) eine 3D- oder Stereokamera verwendet wird.
20. Vorrichtung zur Bestimmung eines Fahrbahnzustands umfassend
- eine Fahr zeugkamera (6), die dazu ausgebildet ist mindestens ein Bild (I) aufzunehmen (S10),
- eine Bildverarbeitungseinheit, die dazu ausgebildet ist einen ersten Bildbereich (Rl) zu ermitteln, der eine Abbildung der Fahrbahnoberfläche (1) umfasst (S16), und einer Klassifikationseinheit zuzuführen,
- eine Klassifikationseinheit, die dazu ausgebildet ist den ersten Bildbereich mindestens einer Klasse zuzuordnen, die einen bestimmten Fahrbahnzustand repräsentiert (S18) und
- eine Ausgabeeinheit, die dazu ausgebildet ist eine Information zu dem mindestens einen Fahrbahnzustand auszugeben (S20), der dem ersten Bildbereich durch die Klassifikationseinheit zugeordnet ist.
PCT/DE2014/200062 2013-02-19 2014-02-14 Verfahren und vorrichtung zur bestimmung eines fahrbahnzustands WO2014127777A2 (de)

Priority Applications (2)

Application Number Priority Date Filing Date Title
DE112014000887.7T DE112014000887A5 (de) 2013-02-19 2014-02-14 Verfahren und Vorrichtung zur Bestimmung eines Fahrbahnzustands
US14/764,782 US10147002B2 (en) 2013-02-19 2014-02-14 Method and apparatus for determining a road condition

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102013101639.1A DE102013101639A1 (de) 2013-02-19 2013-02-19 Verfahren und Vorrichtung zur Bestimmung eines Fahrbahnzustands
DE102013101639.1 2013-02-19

Publications (2)

Publication Number Publication Date
WO2014127777A2 true WO2014127777A2 (de) 2014-08-28
WO2014127777A3 WO2014127777A3 (de) 2014-12-24

Family

ID=50433895

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/DE2014/200062 WO2014127777A2 (de) 2013-02-19 2014-02-14 Verfahren und vorrichtung zur bestimmung eines fahrbahnzustands

Country Status (3)

Country Link
US (1) US10147002B2 (de)
DE (2) DE102013101639A1 (de)
WO (1) WO2014127777A2 (de)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105701444A (zh) * 2014-12-12 2016-06-22 通用汽车环球科技运作有限责任公司 用于确定道路表面的状况的系统和方法
DE102018203807A1 (de) 2018-03-13 2019-09-19 Continental Teves Ag & Co. Ohg Verfahren und Vorrichtung zur Erkennung und Bewertung von Fahrbahnzuständen und witterungsbedingten Umwelteinflüssen
CN111856491A (zh) * 2019-04-26 2020-10-30 大众汽车有限公司 用于确定车辆的地理位置和朝向的方法和设备
US20210009125A1 (en) * 2016-04-29 2021-01-14 Ford Global Technologies, Llc System and method for controlling a vehicle steering system
CN113687310A (zh) * 2016-04-22 2021-11-23 安波福技术有限公司 用于自动化车辆的对象检测系统
AT524256A1 (de) * 2020-10-08 2022-04-15 Thomas Genitheim Ing Dipl Ing Fh Verfahren zur Ermittlung eines Reibbeiwertes

Families Citing this family (73)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102012112725A1 (de) 2012-12-20 2014-06-26 Continental Teves Ag & Co. Ohg Reibwertschätzung aus Kamera- und Raddrehzahldaten
DE102012112724A1 (de) 2012-12-20 2014-06-26 Continental Teves Ag & Co. Ohg Verfahren zur Bestimmung eines Fahrbahnzustands aus Umfeldsensordaten
DE102013223367A1 (de) 2013-11-15 2015-05-21 Continental Teves Ag & Co. Ohg Verfahren und Vorrichtung zur Bestimmung eines Fahrbahnzustands mittels eines Fahrzeugkamerasystems
US10325165B2 (en) * 2014-09-30 2019-06-18 Conduent Business Services, Llc Vision-based on-street parked vehicle detection via normalized-view classifiers and temporal filtering
JP6306735B2 (ja) * 2014-10-24 2018-04-04 京セラ株式会社 ステレオカメラ装置及びステレオカメラ装置を備える車両
US9428194B2 (en) * 2014-12-11 2016-08-30 Toyota Motor Engineering & Manufacturing North America, Inc. Splash condition detection for vehicles
KR101692628B1 (ko) * 2014-12-24 2017-01-04 한동대학교 산학협력단 관심영역을 이용하여 차량의 후방 좌우 옆 차선 영역을 감지하는 방법 및 이를 이용한 차량용 영상 모니터링 시스템
WO2016183074A1 (en) * 2015-05-10 2016-11-17 Mobileye Vision Technologies Ltd. Road profile along a predicted path
US10691958B1 (en) * 2015-07-30 2020-06-23 Ambarella International Lp Per-lane traffic data collection and/or navigation
US10235817B2 (en) * 2015-09-01 2019-03-19 Ford Global Technologies, Llc Motion compensation for on-board vehicle sensors
CN114612877A (zh) * 2016-01-05 2022-06-10 御眼视觉技术有限公司 用于估计未来路径的系统和方法
JP6811534B2 (ja) 2016-02-04 2021-01-13 株式会社トプコン 道路性状の表示方法、及び道路性状の表示装置
JP6745112B2 (ja) 2016-02-04 2020-08-26 株式会社トプコン 路面性状の評価方法、及び路面性状の評価装置
JP6745113B2 (ja) * 2016-02-04 2020-08-26 株式会社トプコン 路面性状取得方法、及び路面性状取得装置
CN107092920A (zh) * 2016-02-17 2017-08-25 福特全球技术公司 评估其上行驶有车辆的路面的方法和装置
CN107563256A (zh) * 2016-06-30 2018-01-09 北京旷视科技有限公司 辅助驾驶信息产生方法及装置、辅助驾驶系统
US11270130B2 (en) * 2016-08-05 2022-03-08 Transportation Ip Holdings, Llc Route inspection system
JP6776058B2 (ja) * 2016-08-26 2020-10-28 シャープ株式会社 自律走行車両制御装置、自律走行車両制御システム及び自律走行車両制御方法
US11145142B2 (en) 2016-09-06 2021-10-12 International Business Machines Corporation Detection of road surface defects
DE102016217916A1 (de) 2016-09-19 2018-03-22 Volkswagen Aktiengesellschaft Verfahren, Assistenzsystem und computerlesbares Speichermedium mit Instruktionen zum Auswerten fahrwegbezogener Informationen
US10275662B1 (en) * 2016-09-30 2019-04-30 Zoox, Inc. Estimating friction based on image data
DE102016218949A1 (de) * 2016-09-30 2018-04-05 Conti Temic Microelectronic Gmbh Kameravorrichtung sowie Verfahren zur Objektdetektion in einem Umgebungsbereich eines Kraftfahrzeugs
DE102016220308A1 (de) * 2016-10-18 2018-04-19 Continental Automotive Gmbh System und Verfahren zur Erzeugung von digitalen Straßenmodellen aus Luft- oder Satellitenbildern und von Fahrzeugen erfassten Daten
DE102016224539A1 (de) * 2016-12-08 2018-06-14 Brose Fahrzeugteile Gmbh & Co. Kommanditgesellschaft, Bamberg Verfahren zur Ansteuerung einer Stellvorrichtung mit einer Einklemmschutzfunktion
US10481609B2 (en) * 2016-12-09 2019-11-19 Ford Global Technologies, Llc Parking-lot-navigation system and method
JP6794243B2 (ja) * 2016-12-19 2020-12-02 日立オートモティブシステムズ株式会社 物体検出装置
US11579574B2 (en) * 2017-02-10 2023-02-14 Nec Corporation Control customization system, control customization method, and control customization program
JP6666289B2 (ja) * 2017-03-15 2020-03-13 株式会社東芝 移動体用空間情報算出装置及び衝突回避システム
US10209089B2 (en) 2017-04-03 2019-02-19 Robert Bosch Gmbh Automated image labeling for vehicles based on maps
DE102017114571A1 (de) * 2017-06-29 2019-01-03 Volkswagen Aktiengesellschaft Verfahren und Vorrichtung zum Bestimmen einer Beschaffenheit einer Oberfläche in der Umgebung eines Fahrzeugs
US10331957B2 (en) * 2017-07-27 2019-06-25 Here Global B.V. Method, apparatus, and system for vanishing point/horizon estimation using lane models
DE102017120899A1 (de) * 2017-09-11 2019-03-14 Connaught Electronics Ltd. Verfahren und System zum automatischen Parken eines Fahrzeugs in einer Notsituation
DE102017216016A1 (de) * 2017-09-12 2019-03-14 Robert Bosch Gmbh Verfahren und Vorrichtung zum Erkennen eines Umfelds eines Fahrzeugs
DE102017122432A1 (de) 2017-09-27 2019-03-28 Valeo Schalter Und Sensoren Gmbh Verfahren zum Erfassen einer Fahrbahnbeschaffenheit einer Fahrbahn für ein Kraftfahrzeug, Fahrerassistenzsystem sowie Kraftfahrzeug
US10678256B2 (en) * 2017-09-28 2020-06-09 Nec Corporation Generating occlusion-aware bird eye view representations of complex road scenes
EP3722172A4 (de) * 2017-12-07 2020-12-02 Nissan Motor Co., Ltd. Verfahren zur bestimmung des strassenzustandes und vorrichtung zur bestimmung des strassenzustandes
EP3495219B1 (de) * 2017-12-11 2023-07-05 Volvo Car Corporation Wegvorhersage für ein fahrzeug
EP3546312A1 (de) * 2018-03-26 2019-10-02 Volvo Car Corporation Verfahren und system zur handhabung der bedingungen einer strasse, auf der ein fahrzeug fährt
US11124193B2 (en) 2018-05-03 2021-09-21 Volvo Car Corporation System and method for providing vehicle safety distance and speed alerts under slippery road conditions
US11592566B2 (en) 2019-08-15 2023-02-28 Volvo Car Corporation Vehicle systems and methods utilizing LIDAR data for road condition estimation
US10706294B2 (en) 2018-05-03 2020-07-07 Volvo Car Corporation Methods and systems for generating and using a road friction estimate based on camera image signal processing
US10800408B2 (en) * 2018-05-24 2020-10-13 Baidu Usa Llc Determining driving paths for autonomous driving that avoid moving obstacles
DE102018209595A1 (de) * 2018-06-14 2019-12-19 Robert Bosch Gmbh Verfahren zum automatischen Bestimmen eines Straßenzustands
US11699207B2 (en) * 2018-08-20 2023-07-11 Waymo Llc Camera assessment techniques for autonomous vehicles
US11227409B1 (en) 2018-08-20 2022-01-18 Waymo Llc Camera assessment techniques for autonomous vehicles
US10872419B2 (en) * 2018-09-04 2020-12-22 GM Global Technology Operations LLC Method and apparatus for evaluating a vehicle travel surface
US11199847B2 (en) * 2018-09-26 2021-12-14 Baidu Usa Llc Curvature corrected path sampling system for autonomous driving vehicles
CN109446963B (zh) * 2018-10-19 2021-10-01 中国科学院东北地理与农业生态研究所 基于hsv和lbp结合的地表状态识别方法
US11010592B2 (en) * 2018-11-15 2021-05-18 Toyota Research Institute, Inc. System and method for lifting 3D representations from monocular images
JP6946605B2 (ja) * 2018-12-27 2021-10-06 三井金属アクト株式会社 ドア自動開閉システム
US11472413B2 (en) 2019-02-20 2022-10-18 Steering Solutions Ip Holding Corporation Mu confidence estimation and blending
DE102019106625A1 (de) * 2019-03-15 2020-09-17 HELLA GmbH & Co. KGaA Verfahren und Vorrichtung zum Ermitteln einer Gefahrenquelle auf einer Fahrbahn
KR102587419B1 (ko) * 2019-03-27 2023-10-10 히다치 아스테모 가부시키가이샤 서스펜션 제어 장치
DE102019108649A1 (de) * 2019-04-03 2020-10-08 Valeo Schalter Und Sensoren Gmbh Verfahren und Fahrerassistenzsystem zum Erfassen eines Objekts
US11361574B2 (en) * 2019-10-23 2022-06-14 Bendix Commercial Vehicle Systems Llc System and method for monitoring for driver presence and position using a driver facing camera
US11592304B2 (en) * 2020-02-03 2023-02-28 Bose Corporation Surface detection for micromobility vehicles
GB2611452A (en) 2020-05-18 2023-04-05 Roadbotics Inc Systems and methods for creating and/or analyzing three-dimensional models of infrastructure assets
KR20220001496A (ko) * 2020-06-29 2022-01-05 주식회사 만도모빌리티솔루션즈 긴급 제동 시스템 및 방법
US12103539B2 (en) 2020-08-24 2024-10-01 Steering Solutions Ip Holding Corporation Surface detection via a directed autonomous vehicle
CN112528793B (zh) * 2020-12-03 2024-03-12 上海汽车集团股份有限公司 一种车辆的障碍物检测框抖动消除方法及装置
US12062242B2 (en) * 2020-12-03 2024-08-13 Hl Klemove Corp. Method and system for real-time continuous lane mapping and classification
CN115123075A (zh) * 2021-03-25 2022-09-30 丰田自动车株式会社 下车支援装置
CN113200052B (zh) * 2021-05-06 2021-11-16 上海伯镭智能科技有限公司 一种用于无人驾驶的路况智能识别方法
EP4113459A1 (de) * 2021-07-02 2023-01-04 Fujitsu Technology Solutions GmbH Ki-basierte überwachung von rennbahnen
EP4459563A2 (de) * 2021-07-02 2024-11-06 Fujitsu Technology Solutions GmbH Ki-basierte überwachung von rennstrecken
US20230142305A1 (en) * 2021-11-05 2023-05-11 GM Global Technology Operations LLC Road condition detection systems and methods
DE102022204089A1 (de) 2022-04-27 2023-11-02 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren zum Erkennen, ob ein Egofahrzeug von einer momentan befahrenen Fahrspur einer Fahrbahn in eine benachbarte Fahrspur wechselt oder ob es die momentan befahrene Fahrspur beibehält
DE102022004824A1 (de) 2022-12-20 2024-06-20 Mercedes-Benz Group AG Verfahren zur Bestimmung eines Fahrbahnzustands einer von einem Kraftwagen befahrenen Fahrbahn sowie ein Assistenzsystem
CN116861292B (zh) * 2023-07-10 2024-07-09 哈尔滨工业大学 道路监测数据有荷动力响应实时识别方法
CN117292349B (zh) * 2023-11-22 2024-04-12 魔视智能科技(武汉)有限公司 确定路面高度的方法、装置、计算机设备及存储介质
CN118038284B (zh) * 2024-04-15 2024-06-14 贵州黔通工程技术有限公司 一种高速公路病害智能检测方法及系统
CN118362604B (zh) * 2024-06-19 2024-10-08 广汽埃安新能源汽车股份有限公司 一种路面结冰状态检测方法、装置、电子设备和存储介质
CN118570959B (zh) * 2024-07-09 2024-10-01 四川智慧高速科技有限公司 一种基于传感器的道路结冰预警方法和系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102004018088A1 (de) 2003-04-09 2005-02-10 Continental Teves, Inc., Auburn Hills Fahrbahnerkennungssystem
WO2012110030A2 (de) 2011-02-14 2012-08-23 Conti Temic Microelectronic Gmbh Reibwertschätzung mittels einer 3d-kamera

Family Cites Families (54)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH072448B2 (ja) 1986-01-13 1995-01-18 アイシン・エィ・ダブリュ株式会社 ４輪駆動の制御装置
GB8918303D0 (en) 1989-08-10 1989-09-20 Lucas Ind Plc Monitoring and predicting road vehicle/road surface conditions
JPH0735522A (ja) 1993-07-23 1995-02-07 Nippon Doro Kodan レーザーを利用した舗装路面横断プロフィル測定方法
US5586028A (en) * 1993-12-07 1996-12-17 Honda Giken Kogyo Kabushiki Kaisha Road surface condition-detecting system and anti-lock brake system employing same
US5774821A (en) 1994-11-25 1998-06-30 Itt Automotive Europe Gmbh System for driving stability control
JPH08263784A (ja) * 1995-03-23 1996-10-11 Honda Motor Co Ltd 道路状況認識装置
EP0827127B1 (de) * 1996-08-28 2006-10-04 Matsushita Electric Industrial Co., Ltd. Lokales Positionierungsgerät und Verfahren dafür
DE19856510C2 (de) 1998-02-20 2002-10-24 Cegelec Anlagen Und Automatisi Verfahren und System zur Ermittlung von Unebenheiten und Schadstellen in der Oberfläche einer Verkehrsfläche
DE19854964A1 (de) 1998-11-29 2000-06-08 Martin Spies Sensor zur Fahrbahnbeurteilung
JP2001334921A (ja) 2000-05-30 2001-12-04 Fuji Heavy Ind Ltd 車両の路面摩擦係数推定装置
JP3271963B1 (ja) 2000-10-26 2002-04-08 富士重工業株式会社 車両の路面摩擦係数推定装置
DE10060333A1 (de) 2000-12-04 2002-06-13 Daimler Chrysler Ag Vorrichtung zur Erkennung einer während des Fahrbetriebes eines Fahrzeuges auftretenden Aquaplaninggefahr
DE10155488A1 (de) 2001-11-13 2003-05-28 Wilhelm Caspary Verfahren zur Erfassung der Oberfläche einer Fahrbahn
US6636258B2 (en) 2001-10-19 2003-10-21 Ford Global Technologies, Llc 360° vision system for a vehicle
EP2514640B1 (de) 2001-12-21 2015-08-05 Kabushiki Kaisha Bridgestone Verfahren und Vorrichtung zur Schätzung der Straßenbedingungen und des Reifenlaufzustands sowie ABS und Fahrzeugsteuerung damit
ES2391556T3 (es) 2002-05-03 2012-11-27 Donnelly Corporation Sistema de detección de objetos para vehículo
DE10256726A1 (de) 2002-12-05 2004-06-24 Conti Temic Microelectronic Gmbh Verfahren zur fahrbahnabhängigen Signalgenerierung in einem Kraftfahrzeug
JP4453382B2 (ja) 2004-02-10 2010-04-21 トヨタ自動車株式会社 車両の走行制御装置
DE102004016288B3 (de) 2004-04-02 2005-08-18 Daimlerchrysler Ag Verfahren zur Bestimmung eines Reibwerts
DE102004019337A1 (de) 2004-04-21 2005-11-17 Siemens Ag Assistenzsystem für Kraftfahrzeuge
DE102004055069B4 (de) 2004-07-15 2007-02-15 Daimlerchrysler Ag Mehrdimensionale Fahrbahnvermessung
DE102004047914A1 (de) 2004-09-29 2006-03-30 A.D.C. Automotive Distance Control Systems Gmbh Methode zur Einschätzung des Fahrbahnzustands
DE102004048637A1 (de) 2004-10-04 2006-04-06 Daimlerchrysler Ag 3D-Fahrbahnmessung mit redundanten Messdaten
DE102006012289A1 (de) 2006-03-17 2007-09-20 Man Nutzfahrzeuge Ag Verfahren zur vorausschauenden Erkennung der Reibwertänderung eines Straßenbelags
US8306747B1 (en) 2007-01-19 2012-11-06 Starodub, Inc. Travel way measurement system
DE102008047750A1 (de) 2007-09-18 2009-05-07 Continental Teves Ag & Co. Ohg Bestimmung eines Kraftschlusses mit wenigen Sensoren
EP2048476B1 (de) 2007-10-08 2013-12-11 Delphi Technologies, Inc. Fahrerunterstützungsverfahren
WO2010050300A1 (ja) * 2008-10-30 2010-05-06 株式会社ブリヂストン 路面状態推定方法
DE102009033219A1 (de) 2009-01-23 2010-07-29 Daimler Ag Verfahren zur Ermittlung eines Fahrzeug vorausliegenden Straßenprofils einer Fahrspur
JP5172764B2 (ja) 2009-03-30 2013-03-27 本田技研工業株式会社 路面摩擦係数推定装置
US8395529B2 (en) 2009-04-02 2013-03-12 GM Global Technology Operations LLC Traffic infrastructure indicator on head-up display
KR20120050451A (ko) 2009-07-17 2012-05-18 콘티넨탈 엔지니어링 서비시스 게엠베하 자동차들의 마찰 계수 분류를 위한 레이저-기반 방법
DE102009041566B4 (de) 2009-09-15 2022-01-20 Continental Teves Ag & Co. Ohg Verfahren zur Klassifizierung des Fahrbahnreibwerts
KR101089650B1 (ko) * 2009-09-23 2011-12-06 삼성전기주식회사 차량 속도 제어 장치 및 방법
JP5325765B2 (ja) * 2009-12-28 2013-10-23 日立オートモティブシステムズ株式会社 路肩検出装置及び路肩検出装置を用いた車両
US9092981B2 (en) * 2010-03-03 2015-07-28 Panasonic Intellectual Property Management Co., Ltd. Road condition management system and road condition management method
DE102010011093A1 (de) 2010-03-11 2011-09-15 Daimler Ag Verfahren zur Bestimmung einer Fahrzeugaufbaubewegung
DE102010013339A1 (de) 2010-03-30 2011-01-05 Daimler Ag Vorrichtung und Verfahren zur Steuerung eines Motorlagers für ein Fahrzeug
DE102010045162A1 (de) 2010-09-11 2012-03-15 Volkswagen Ag Schlaglochassistent mit Umfeldwahrnehmung
JP2012066785A (ja) 2010-09-27 2012-04-05 Fuji Heavy Ind Ltd 車両の統合制御装置
DE102010063017A1 (de) 2010-12-14 2012-06-14 Robert Bosch Gmbh Verfahren in einem Fahrerassistenzsystem zur Erkennung von Nässe auf einer Fahrbahn
DE102011011755A1 (de) 2011-02-18 2012-08-23 Conti Temic Microelectronic Gmbh Halbleiterschaltkreis und Verfahren in einem Sicherheitskonzept zum Einsatz in einem Kraftfahrzeug
DE102011100907A1 (de) 2011-05-09 2012-01-12 Daimler Ag Vorrichtung und Verfahren zur Ermittlung eines Fahrbahnzustands
WO2013009697A1 (en) 2011-07-08 2013-01-17 Bendix Commercial Vehicle Systems Llc Image-based vehicle detection and distance measuring method and apparatus
DE102011081362A1 (de) 2011-08-23 2013-02-28 Robert Bosch Gmbh Verfahren und Vorrichtung zur Ermittlung eines Oberflächenzustands einer von einem Fahrzeug befahrenen oder zu befahrenden Fahrbahn
DE102012101085A1 (de) 2012-02-10 2013-08-14 Conti Temic Microelectronic Gmbh Bestimmung einer Beschaffenheit einer Fahrbahnoberfläche mittels einer 3D-Kamera
EP2852831A4 (de) * 2012-05-23 2016-04-20 Raqib Omer Verfahren und system zur klassifizierung des strassenoberflächenzustandes
DE102012024874B4 (de) 2012-12-19 2014-07-10 Audi Ag Verfahren und Vorrichtung zum prädikativen Ermitteln eines Parameterwertes einer von einem Fahrzeug befahrbaren Oberfläche
DE102012112725A1 (de) 2012-12-20 2014-06-26 Continental Teves Ag & Co. Ohg Reibwertschätzung aus Kamera- und Raddrehzahldaten
DE102012112724A1 (de) 2012-12-20 2014-06-26 Continental Teves Ag & Co. Ohg Verfahren zur Bestimmung eines Fahrbahnzustands aus Umfeldsensordaten
US8788146B1 (en) * 2013-01-08 2014-07-22 Ford Global Technologies, Llc Adaptive active suspension system with road preview
US9187099B2 (en) 2013-10-17 2015-11-17 Richard M. Powers Systems and methods for predicting weather performance for a vehicle
DE102013223367A1 (de) 2013-11-15 2015-05-21 Continental Teves Ag & Co. Ohg Verfahren und Vorrichtung zur Bestimmung eines Fahrbahnzustands mittels eines Fahrzeugkamerasystems
US9434388B2 (en) 2014-10-31 2016-09-06 GM Global Technology Operations LLC Surface estimation for vehicles

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102004018088A1 (de) 2003-04-09 2005-02-10 Continental Teves, Inc., Auburn Hills Fahrbahnerkennungssystem
WO2012110030A2 (de) 2011-02-14 2012-08-23 Conti Temic Microelectronic Gmbh Reibwertschätzung mittels einer 3d-kamera

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105701444A (zh) * 2014-12-12 2016-06-22 通用汽车环球科技运作有限责任公司 用于确定道路表面的状况的系统和方法
CN105701444B (zh) * 2014-12-12 2019-11-29 通用汽车环球科技运作有限责任公司 用于确定道路表面的状况的系统和方法
CN113687310A (zh) * 2016-04-22 2021-11-23 安波福技术有限公司 用于自动化车辆的对象检测系统
US20210009125A1 (en) * 2016-04-29 2021-01-14 Ford Global Technologies, Llc System and method for controlling a vehicle steering system
US11702073B2 (en) * 2016-04-29 2023-07-18 Ford Global Technologies, Llc System and method for controlling a vehicle steering system
DE102018203807A1 (de) 2018-03-13 2019-09-19 Continental Teves Ag & Co. Ohg Verfahren und Vorrichtung zur Erkennung und Bewertung von Fahrbahnzuständen und witterungsbedingten Umwelteinflüssen
WO2019174682A1 (de) 2018-03-13 2019-09-19 Continental Teves Ag & Co. Ohg Verfahren und vorrichtung zur erkennung und bewertung von fahrbahnzuständen und witterungsbedingten umwelteinflüssen
CN111856491A (zh) * 2019-04-26 2020-10-30 大众汽车有限公司 用于确定车辆的地理位置和朝向的方法和设备
CN111856491B (zh) * 2019-04-26 2023-12-22 大众汽车有限公司 用于确定车辆的地理位置和朝向的方法和设备
AT524256A1 (de) * 2020-10-08 2022-04-15 Thomas Genitheim Ing Dipl Ing Fh Verfahren zur Ermittlung eines Reibbeiwertes
AT524256B1 (de) * 2020-10-08 2023-06-15 Thomas Genitheim Ing Dipl Ing Fh Verfahren zur Ermittlung eines Reibbeiwertes

Also Published As

Publication number Publication date
WO2014127777A3 (de) 2014-12-24
US20150371095A1 (en) 2015-12-24
DE102013101639A1 (de) 2014-09-04
DE112014000887A5 (de) 2015-11-19
US10147002B2 (en) 2018-12-04

Similar Documents

Publication Publication Date Title
WO2014127777A2 (de) Verfahren und vorrichtung zur bestimmung eines fahrbahnzustands
WO2019174682A1 (de) Verfahren und vorrichtung zur erkennung und bewertung von fahrbahnzuständen und witterungsbedingten umwelteinflüssen
EP3160813B1 (de) Verfahren zur erstellung eines umfeldmodells eines fahrzeugs
EP3292510B1 (de) Verfahren und vorrichtung zur erkennung und bewertung von fahrbahnreflexionen
DE112016000422B4 (de) Geschwindigkeitsregelvorrichtung und geschwindigkeitsregelverfahren für fahrzeuge
DE102012104766B4 (de) Spurermittlung mittels Spurmarkierungsidentifikation für Spurzentrierung/-haltung
DE102007043164B4 (de) Nebelerkennungsvorrichtung für Kraftfahrzeuge
EP2888604B1 (de) Verfahren zur bestimmung eines fahrspurverlaufs für ein fahrzeug
WO2016177372A1 (de) Verfahren und vorrichtung zur erkennung und bewertung von umwelteinflüssen und fahrbahnzustandsinformationen im fahrzeugumfeld
WO2014094766A1 (de) Verfahren zur bestimmung eines fahrbahnzustands aus umfeldsensordaten
WO2014161691A1 (de) Verfahren und vorrichtung zum führen eines fahrzeugs im umfeld eines objekts
DE102012210608A1 (de) Verfahren und Vorrichtung zum Erzeugen eines Steuerparameters für ein Abstandsassistenzsystem eines Fahrzeugs
DE102009012917A1 (de) Hinderniserkennungsvorrichtung für Fahrzeuge
DE102008020007A1 (de) Verfahren zum Unterstützen eines Fahrers beim Fahren mit einem Fahrzeug mit einer Fahrspurerkennung
DE102018104270A1 (de) Verfahren zum Vorhersagen des Verhaltens mindestens eines Fußgängers
EP3627386A1 (de) Verfahren und vorrichtung zum bereitstellen eines umfeldabbildes eines umfeldes einer mobilen einrichtung und kraftfahrzeug mit einer solchen vorrichtung
DE102013201796A1 (de) Verfahren zur Bereitstellung eines Fahrkorridors für ein Fahrzeug und Fahrassistenzsystem
DE102017106349A1 (de) Fahrerassistenzsystem für ein Fahrzeug zum Prognostizieren eines dem Fahrzeug vorausliegenden Fahrspurbereichs, Fahrzeug und Verfahren
DE102018211368A1 (de) Verfahren zur Beschreibung einer Umgebung eines Fahrzeugs durch die Topologie der befahrenen Straße
EP2964503B1 (de) Schätzung der zukünftigen geschwindigkeit und/oder entfernung eines fahrzeugs von einem referenzpunkt und schätzung der zukünftigen beschleunigung
DE102013021840A1 (de) Verfahren zum Erzeugen eines Umgebungsmodells eines Kraftfahrzeugs, Fahrerassistenzsystem und Kraftfahrzeug
EP3655299B1 (de) Verfahren und vorrichtung zum ermitteln eines optischen flusses anhand einer von einer kamera eines fahrzeugs aufgenommenen bildsequenz
DE102012221652B4 (de) Verfahren und Vorrichtung zum Bestimmen, ob in einer Verkehrssituation Linksverkehr oder Rechtsverkehr besteht
DE102014209015A1 (de) Verfahren und Vorrichtung zur Abstandsregelung für ein Fahrzeug
EP2696310B1 (de) Verfahren zum Identifizieren eines Straßenrands

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14714927

Country of ref document: EP

Kind code of ref document: A2

WWE Wipo information: entry into national phase

Ref document number: 14764782

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 1120140008877

Country of ref document: DE

Ref document number: 112014000887

Country of ref document: DE

REG Reference to national code

Ref country code: DE

Ref legal event code: R225

Ref document number: 112014000887

Country of ref document: DE

122 Ep: pct application non-entry in european phase

Ref document number: 14714927

Country of ref document: EP

Kind code of ref document: A2