WO2018158020A1 - Verfahren und vorrichtung zur ermittlung einer trajektorie in off-road-szenarien - Google Patents
Verfahren und vorrichtung zur ermittlung einer trajektorie in off-road-szenarien Download PDFInfo
- Publication number
- WO2018158020A1 WO2018158020A1 PCT/EP2018/052111 EP2018052111W WO2018158020A1 WO 2018158020 A1 WO2018158020 A1 WO 2018158020A1 EP 2018052111 W EP2018052111 W EP 2018052111W WO 2018158020 A1 WO2018158020 A1 WO 2018158020A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- class
- trajectory
- pixels
- height profile
- image
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 25
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 8
- 238000013527 convolutional neural network Methods 0.000 claims description 9
- 230000011218 segmentation Effects 0.000 claims description 8
- 238000005259 measurement Methods 0.000 claims description 3
- 238000001514 detection method Methods 0.000 description 9
- 230000007613 environmental effect Effects 0.000 description 5
- 238000011176 pooling Methods 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 230000001276 controlling effect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000003709 image segmentation Methods 0.000 description 2
- 238000004393 prognosis Methods 0.000 description 2
- 230000003466 anti-cipated effect Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000007635 classification algorithm Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000012447 hatching Effects 0.000 description 1
- 238000013178 mathematical model Methods 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 210000004205 output neuron Anatomy 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
- B60W40/06—Road conditions
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60G—VEHICLE SUSPENSION ARRANGEMENTS
- B60G17/00—Resilient suspensions having means for adjusting the spring or vibration-damper characteristics, for regulating the distance between a supporting surface and a sprung part of vehicle or for locking suspension during use to meet varying vehicular or surface conditions, e.g. due to speed or load
- B60G17/015—Resilient suspensions having means for adjusting the spring or vibration-damper characteristics, for regulating the distance between a supporting surface and a sprung part of vehicle or for locking suspension during use to meet varying vehicular or surface conditions, e.g. due to speed or load the regulating means comprising electric or electronic elements
- B60G17/016—Resilient suspensions having means for adjusting the spring or vibration-damper characteristics, for regulating the distance between a supporting surface and a sprung part of vehicle or for locking suspension during use to meet varying vehicular or surface conditions, e.g. due to speed or load the regulating means comprising electric or electronic elements characterised by their responsiveness, when the vehicle is travelling, to specific motion, a specific condition, or driver input
- B60G17/0165—Resilient suspensions having means for adjusting the spring or vibration-damper characteristics, for regulating the distance between a supporting surface and a sprung part of vehicle or for locking suspension during use to meet varying vehicular or surface conditions, e.g. due to speed or load the regulating means comprising electric or electronic elements characterised by their responsiveness, when the vehicle is travelling, to specific motion, a specific condition, or driver input to an external condition, e.g. rough road surface, side wind
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
- B60W30/18—Propelling the vehicle
- B60W30/18009—Propelling the vehicle related to particular drive situations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/254—Fusion techniques of classification results, e.g. of results related to same input data
- G06F18/256—Fusion techniques of classification results, e.g. of results related to same input data of results relating to different input data, e.g. multimodal recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/809—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data
- G06V10/811—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data the classifiers operating on different input data, e.g. multi-modal recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/64—Three-dimensional objects
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
- G08G1/161—Decentralised systems, e.g. inter-vehicle communication
- G08G1/163—Decentralised systems, e.g. inter-vehicle communication involving continuous checking
Definitions
- the invention relates to a method and a device for determining a trajectory in off-road scenarios.
- an environment of the vehicle is detected by means of a stereo camera arrangement, wherein captured images are evaluated in a stereoscopic image processing such that a three-dimensional terrain profile is generated. From the three-dimensional terrain profile, a terrain accessible by the vehicle and situated in front of it is determined.
- the vehicle comprises the detection unit, from the data of which surroundings of the vehicle three-dimensional environmental images are generated.
- the detection unit is a stereo camera, a laser scanner or a so-called photonic mixer.
- the terrain profile is determined as a three-dimensional terrain profile, for which purpose an evaluation unit is coupled to the detection unit.
- an evaluation unit is coupled to the detection unit.
- the environmental images acquired by means of the detection unit are evaluated for obstacles which are located in a travel corridor formed by an anticipated trajectory of the vehicle. Furthermore, depending on the expected trajectory of the vehicle, i.
- a determination of a trajectory for example,
- the dynamic mathematical model is calculated at least on the basis of steering angle data of a steering angle sensor.
- the prognosis of the trajectory is assigned to respective road height profile data acquired by at least one environmental sensor, wherein at least one actuator of the active chassis is regulated on the basis of the prognosis.
- DNNs Deep Neural Networks
- CNNs Convolutional Neural Networks
- CNNs are now defining the state-of-the art in many applications, especially in image processing. Convolution is a powerful operator in image processing in which an input image is convolved with a convolution kernel, which in turn produces an image in which certain features depend on the convolution kernel chosen
- a convolution kernel e.g. an image is created in which only diagonal edges in the original image are highlighted.
- the weights that are optimized are the parameters of such convolution kernels.
- convolutions are included
- Result forwarded to the next shift.
- low-level features such as edges
- high-level features such as object parts and later to complete objects composed.
- an additional layer for example a Max-Pooling Layer, is inserted between two convolution layers, which effects a scroll scaling of the data, ie reduction of the output images of the convolution layer.
- max pooling in which, for example, four pixels are merged into one carrying the maximum value of the four output pixels, provides for a slight translational invariance in the input data, so that the trained network can also detect objects that are only in the training data in other parts of the picture.
- the output of the last convolution or pooling layer can be connected to a multilayer perceptron, ie to completely connected neuron layers, where the number of output neurons of the last layer is the number of classes equivalent.
- the MLP part can be exchanged for layers which upscale the run-scaled image again, eg
- Semantic segmentation is about finding a transformation function that maps each pixel of the source image to exactly one class.
- Vehicle environment perception for example, pedestrians, cars, road boundaries and lane markings are useful classes whose coordinate-accurate detection in the picture can help to gain a better understanding of the scene.
- the input image E e R W x H x 3 (3 channels in color images: RGB) must be mapped onto an activation map A e R W x H x ICl , where W and H are the width and the height of the output image and iCl denote the number of different classes.
- the class-specific measure A c e R W x H contains the unnormalized probability of each pixel (w, h) that the point belongs to class c.
- the image segmentation e Q C W x H can then be determined as follows:
- Each element Q w, h thus contains exactly one class ce C and thus forms one
- the convolutional part of the neural network (consisting of convolutional, ReLu and pooling layers) can be regarded as a feature extractor whose application of the learned filter to the
- Input image leads to an extraction of characteristic features.
- these low-dimensional features must be scaled back to the dimension of the source image to locate the position of the object of the corresponding features in the image.
- interpolation for example, bilinear or bicubic interpolation.
- the pixels of the Feature Extraction measure are regarded as nodes of the interpolation method and the intermediate values of the larger image is estimated by the chosen interpolation method.
- a semantic segmentation image of the input variable can be created in a Convolutional Neural Network from the Feature Extraction dimension.
- cascaded up-sampling layers with non-linear activation functions can also be used to learn a nonlinear interpolation filter that can more precisely reconstruct the boundaries of different objects in the image.
- Such learning of upsampling filters may e.g. be performed with a deconvolution layer.
- a filter with the input image is not folded here, but a filter to be learned is scaled element by element with the value of each input pixel, and then the output matrices thus created are shifted to each other by strict parameters and summed up.
- the method for determining a trajectory in off-road scenarios comprises the following method steps:
- a 2D image of the environment is recorded by means of a first sensor system. Subsequently, a classification of pixels of the 2D image into at least three classes, wherein a first class "intended for driving", another class “passable if necessary” and another class is "impassable”.
- a height profile of the environment is determined by means of a second sensor system.
- the determination of the height profile can take place temporally parallel to the recording of the 2D image.
- the classified pixels are projected into the height profile.
- a trajectory by means of a trajectory planning algorithm using the Pixels of the first class determined, wherein in the case of an incomplete trajectory, the pixels of the other class are also taken into account.
- the classification takes place in the 2D image, which is considerably easier for the classification algorithms than in the 3D height profile.
- the quality of the trajectory is considerably improved by the use of two trafficability classes, since as a rule only the pixels of the first class which are optimal for a trajectory are used.
- the pixels of the further class are also used.
- the pixels are classified into at least four classes, wherein a first class "intended for driving", a second class “passable if necessary”, a third class “if necessary passable” and a fourth class "ungefahrbar", where in a incomplete trajectory, the pixels of the second class are additionally taken into account, wherein in the case of a further incomplete trajectory, the pixels of the third class are additionally taken into account.
- the third class in particular areas are recorded, which are basically passable, but should only be used if necessary, for example, to make room for an oncoming vehicle or to be able to continue at all.
- the use of pixels of the third class is limited to a collision prevention.
- a trajectory is determined before the trajectory is determined
- Performance parameters of the vehicle are taken into account. For example, an initially "emergency passable" -Bildige after projection in the height profile for the
- Vehicle proving to be impassable.
- the advantage of the reclassification is that the basic classification can be done independently of the vehicle.
- the classified pixels are projected from the height profile into a 2D map. Simplified are the
- Height coordinates are disregarded, preferably the aforementioned
- the images of the 2D image are recorded by means of a mono camera and the height profile by means of a laser scanner.
- the advantage compared to a stereo camera, which could be used in principle for both, is that the opening angle of stereo cameras is limited (eg 60 °).
- a correspondingly large opening angle can also be realized by means of a laser scanner, so that a total of a larger part of the environment compared to a
- Stereo camera can be detected.
- the six degrees of freedom of the laser scanner are determined and / or estimated, wherein the height profile consists of temporally successive
- a laser scanner taking into account the respective degrees of freedom takes place.
- a laser scanner can be used with a few scan levels, with additional scan levels added by the proper motion.
- the classification of the pixels takes place by means of a convolutional neural network with semantic segmentation. This allows a very good assignment, which has been confirmed in practical tests.
- Fig. 1 is a schematic block diagram of a device for determining a
- FIG. 2 is a schematic flowchart of a method for determining a
- 3a shows an exemplary classification in a 2D image
- 3b shows an exemplary representation for determining an associated height profile
- 3c shows a schematic representation of the projection of the classified pixels according to FIG. 3a into the height profile according to FIG. 3b
- FIG. 3b shows an exemplary representation for determining an associated height profile
- 3c shows a schematic representation of the projection of the classified pixels according to FIG. 3a into the height profile according to FIG. 3b
- FIG. 3c shows a schematic representation of the projection of the classified pixels according to FIG. 3a into the height profile according to FIG. 3b
- FIG. 3d a schematic representation of a reclassification and 2D projection
- 3e shows a representation of a calculated trajectory with data excluding the first class
- 3f is an illustration of a calculated trajectory with data of the first and second
- FIG. 1 shows a block diagram of a device 1 for determining a trajectory T in an off-road scenario.
- the device 1 comprises a first sensor 2 and a second sensor 3, wherein the first sensor 2 is preferably designed as a mono-camera and the second sensor 3 preferably as a laser scanner.
- the device 1 comprises a first arithmetic unit 4 for classifying the pixels, wherein the arithmetic unit 4 for this purpose is preferably designed as a convolutional neural network with semantic segmentation.
- the pixels are arranged in four classes, with a first class
- the device 1 comprises a module 5 for detecting or estimating the six degrees of freedom of the second sensor system 3, which is designed, for example, as an inertial measurement unit.
- a height profile of the environment is then determined from the data of the second sensor system 3 with the aid of the data of the module 5. It should be noted that the module 6 in the first
- Arithmetic unit 4 can be integrated. Furthermore, the device 1 comprises a second
- Arithmetic unit 7 which projects the classified pixels in the height profile.
- the second arithmetic unit 7 may also be formed together with the first arithmetic unit 4.
- the second arithmetic unit 7 then performs a reclassification of the projected pixels in
- the device 1 also has a third arithmetic unit 8 which has a trajectory planning algorithm which uses the classified 2D data to form a trajectory T using the pixels of the first Class determined, wherein in the case of an incomplete trajectory T, the pixels of the second and if this is also not sufficient of the third class are additionally taken into account.
- a trajectory planning algorithm which uses the classified 2D data to form a trajectory T using the pixels of the first Class determined, wherein in the case of an incomplete trajectory T, the pixels of the second and if this is also not sufficient of the third class are additionally taken into account.
- FIG. 2 shows a flow chart of the method.
- a 2D image of an environment is taken and classified in a second step S2, wherein each pixel is assigned to one of at least four classes.
- a height profile of the environment is determined.
- the classified 2D image is then projected into the height profile.
- the classified 3D height profile is then reclassified and projected into a 2D image in a step S6.
- the trajectory T is then determined by means of the 2D image. This trajectory T can then be on a
- Display unit can be displayed or automated but aborted or assisted.
- FIG. 3a shows an exemplary scene in a 2D image, wherein the individual pixels have been classified.
- the narrow hatched areas are then pixels of the first class, the cross hatched areas pixels of the second class, the hatched areas third-class pixels and the remaining areas pixels of the fourth class.
- Fig. 3b is shown schematically how from the data of the second sensor 3, a height profile H of the environment is determined.
- FIG. 3d The steps 5 and 6 of the method are now shown in FIG. 3d.
- a reclassification based on vehicle parameters The result is that some pixels previously classified in Classes 2 and 3 were reclassified into Class 4 ("impassable"), and the reclassified 3D elevation profile obtained is then projected into a 2D image leveled (Z coordinates are set to zero).
- Fig. 3e is now shown how the trajectory planning algorithm determines the trajectory T, with only pixels of the first class are used.
- Fig. 3f is now shown how the trajectory T is determined when no continuous trajectory T can be placed on pixels of the first class.
- the trajectory planning algorithm additionally uses the pixels of the second class.
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Mechanical Engineering (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Automation & Control Theory (AREA)
- Transportation (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- Medical Informatics (AREA)
- Quality & Reliability (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Biomedical Technology (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Abstract
Die Erfindung betrifft ein Verfahren und eine Vorrichtung (1) zur Ermittlung einer Trajektorie (T) in Off-road-Szenarien, umfassend eine erste Sensorik (2) zur Aufnahme eines 2D-Bildes einer Umgebung, eine erste Recheneinheit (4) zum Klassifizieren von 2D-Bildpunkten in mindestens drei Klassen, wobei eine erste Klasse "Vorgesehen zum Befahren", eine weitere Klasse "befahrbar wenn notwendig" und noch eine weitere Klasse "unbefahrbar" ist, eine zweite Sensorik (3) zur Ermittlung eines Höhenprofils (H) der Umgebung, eine zweite Recheneinheit (7) zum Projizieren der klassifizierten Bildpunkte in das Höhenprofil und eine dritte Recheneinheit (8) mit einem Trajektorie-Planungs-Algorithmus, wobei die dritte Recheneinheit (8) derart ausgebildet ist, eine Trajektorie (T) unter Verwendung der Bildpunkte der ersten Klasse zu ermitteln, wobei im Falle einer unvollständigen Trajektorie (T) die Bildpunkte der weiteren Klasse zusätzlich berücksichtigt werden.
Description
Beschreibung
Verfahren und Vorrichtung zur Ermittlung einer Trajektorie in Off-road-Szenarien
Die Erfindung betrifft ein Verfahren und eine Vorrichtung zur Ermittlung einer Trajektorie in Off- road-Szenarien.
Aus der WO 2005/008562 A2 ist ein Verfahren zur Detektion von Hindernissen in der
Umgebung eines Fahrzeugs für Einsätze abseits befestigter Straßen, d.h. für sogenannte Off- road-Anwendungen, bekannt. Dabei wird mittels einer Stereokameraanordnung eine Umgebung des Fahrzeugs erfasst, wobei erfasste Bilder in einer stereoskopischen Bildverarbeitung derart ausgewertet werden, dass ein dreidimensionales Geländeprofil erzeugt wird. Aus dem dreidimensionalen Geländeprofil wird ein von dem Fahrzeug befahrbares und vor diesem befindlichen Gelände in der Umgebung ermittelt.
Aus der DE 10 2012 004 198 A1 ist ein Verfahren zur Unterstützung eines Fahrers beim Führen eines Kraftfahrzeugs im Gelände bekannt, wobei mittels zumindest einer Erfassungseinheit eine Umgebung des Fahrzeugs erfasst wird und aus mittels der Erfassungseinheit erfassten Daten ein Geländeprofil ermittelt wird. Anhand des erfassten Geländeprofils werden kritische
Fahrsituationen vor einem Überfahren eines vorausliegenden Abschnitts des Geländeprofils für den vorausliegenden Abschnitt prädiziert und im Innenraum des Fahrzeugs mittels zumindest einer Anzeigeeinheit grafisch ausgegeben. Das Fahrzeug umfasst hierzu die Erfassungseinheit, aus deren Daten der Umgebung des Fahrzeugs dreidimensionale Umgebungsbilder erzeugt werden. Die Erfassungseinheit ist dabei eine Stereokamera, ein Laserscanner oder ein sogenannter Photomischdetektor. Aus den dreidimensionalen Umgebungsbildern wird das Geländeprofil als dreidimensionales Geländeprofil ermittelt, wobei zu diesem Zweck mit der Erfassungseinheit eine Auswerteeinheit gekoppelt ist. Zur Ermittlung eines Gefahrenmaßes werden die mittels der Erfassungseinheit erfassten Umgebungsbilder auf Hindernisse hin ausgewertet, welche sich in einem durch eine voraussichtliche Trajektorie des Fahrzeugs gebildeten Fahrkorridor befinden. Weiterhin werden in Abhängigkeit der voraussichtlichen Trajektorie des Fahrzeugs, d.h. von der Auswerteeinheit prognostizierten Trajektorie des Fahrzeugs ein Steigungswinkel, ein Gefällewinkel, ein seitlicher Neigungswinkel und ein Rampenwinkel des jeweiligen Abschnitts des Geländeprofils ermittelt und bei der Ermittlung des Gefahrenmaßes berücksichtigt. Eine Ermittlung einer Trajektorie, die beispielsweise
automatisiert abgefahren werden kann, erfolgt jedoch nicht.
Aus der DE 10 2015 007 592 A1 ist ein Verfahren zum Regeln eines aktiven Fahrwerks eines Fahrzeugs in Abhängigkeit von Straßenhöhenprofildaten bekannt, die in einer Prognose einer Trajektorie des Fahrzeugs liegen, wobei die Prognose der Trajektorie mittels eines
dynamischen mathematischen Modells mindestens auf Grundlage von Lenkwinkeldaten eines Lenkwinkelsensors berechnet wird. Dabei werden der Prognose der Trajektorie jeweilige, durch mindestens einen Umfeldsensor erfasste Straßenhöhenprofildaten zugeordnet, wobei anhand der Prognose mindestens ein Aktor des aktiven Fahrwerks geregelt wird. Dabei wird die
Prognose der Trajektorie ausschließlich dann zum Regeln des aktiven Fahrwerks verwendet, wenn die Trajektorie in einem Bereich liegt, der anhand von durch den mindestens einen Umfeldsensor erfassten Umfelddaten als befahrbar klassifiziert wurde.
In den letzten Jahren wurden mit sogenannten Deep Neural Networks (DNNs), d.h. Netze mit vielen Schichten und einer großen Anzahl an Parametern, beeindruckende Ergebnisse in verschiedenen Bereichen der Bild-, Sprach- und Textverarbeitung erzielt. Insbesondere in der Bildverarbeitung definieren mittlerweile Convolutional Neural Networks (CNNs) den State-of-the Art in vielen Anwendungen. Die Faltung (Convolution) ist in der Bildverarbeitung ein mächtiger Operator, bei dem ein Eingabebild mit einem Faltungskern gefaltet wird, wodurch wiederum ein Bild entsteht, bei dem abhängig vom gewählten Faltungskern bestimmte Merkmale
hervorgehoben sind. So kann durch eine entsprechende Wahl eines Faltungskerns z.B. ein Bild erzeugt werden, bei dem lediglich diagonale Kanten im Ursprungsbild hervorgehoben werden.
Bei einem Convolutional Neural Network sind die Gewichte, die optimiert werden, die Parameter solcher Faltungskerne. Innerhalb eines Convolutional Layers werden Faltungen mit
verschiedenen für die gegebene Aufgabe optimierten Parametern durchgeführt und das
Ergebnis an die nächste Schicht weitergegeben. So werden in den ersten Schichten Low-Level Merkmale, wie z.B. Kanten, extrahiert, die sich dann in den folgenden Schichten zu High-Level Merkmalen, wie z.B. Objektteilen und später zu ganzen Objekten, zusammensetzen. In vielen Fällen wird zwischen zwei Faltungsschichten eine weitere Schicht, z.B. ein Max-Pooling Layer, eingefügt, der eine Runterskalierung der Daten, d.h. Verkleinerung der Ausgangsbilder des Faltungslayers bewirkt. Außerdem sorgt das Max-Pooling, bei dem z.B. vier Pixel zu einem verschmolzen werden, der den maximalen Wert der vier Ausgangspixel trägt, zu einer leichten Translations-Invarianz in den Eingangsdaten, sodass das trainierte Netzwerk auch Objekte erkennen kann, die in den Trainingsdaten nur an anderen Stellen des Bildes vorkamen. Für die Klassifizierung von Bildern kann die Ausgabe des letzten Convolution- bzw. Pooling-Layers mit einem Multilayer Perceptron, d.h. mit vollständig verbundenen Neuronenschichten, verbunden werden, wobei die Anzahl der Ausgabeneuronen der letzten Schicht der Anzahl der Klassen
entspricht. Soll anstatt einer Klassifizierung eine Segmentierung des Bildes durchgeführt werden, bei der die Ausgabe des CNNs wiederum ein Bild ist, kann der MLP-Teil ausgetauscht werden gegen Schichten, die das runterskalierte Bild wieder hochskalieren, z.B.
Deconvolutional Layer.
Bei der semantischen Segmentierung geht es darum, eine Transformationsfunktion zu finden, die jeden Bildpunkt des Ausgangsbildes auf genau eine Klasse abbildet. In der
Fahrzeugumfeldwahrnehmung sind beispielsweise Fußgänger, Autos, Straßenbegrenzungen und Fahrbahnmarkierungen sinnvolle Klassen, dessen koordinatengenaue Detektion im Bild dabei helfen kann, ein besseres Szenenverständnis zu erlangen.
Um diese Segmentierung mit einem neuronalen Netz durchzuführen, muss das , Eingangsbild E e RW x H x 3 (3 Kanäle bei Farbbildern: RGB) auf eine Activationmap A e RW x H x lCl abgebildet werden, wobei W und H die Breite sowie die Höhe des Ausgangsbildes und iCl die Anzahl der verschiedenen Klassen bezeichnen. Für ein fixiertes c e C enthält die klassenspezifische Maß Ac e RW x H die unnormalisierte Wahrscheinlichkeit eines jeden Bildpunktes (w, h), dass der Punkt zu der Klasse c gehört. Das Segmentierungsbild Q e CW x H lässt sich dann wie folgt bestimmen:
Qw, h = argmax kc wh
Jedes Element Qw, h enthält folglich genau eine Klasse c e C und bildet somit einen
Eingangsbildpunkt (w, h) auf diese Klasse c ab.
Die fortgesetzte Faltung des Eingangsbildes mit verschiedenen Faltungskernen und die Runterskalierung in den aufeinanderfolgenden Convolutional und Pooling Layern führt dazu, dass die ursprüngliche Größe des Bildes stark verringert wird. Der Convolutional Teil des neuronalen Netzes (bestehend aus Convolutional, ReLu und Pooling Layern) kann dabei als ein Feature Extractor angesehen werden, dessen Anwendung der erlernten Filter auf das
Eingangsbild zu einer Extraktion charakteristischer Merkmale führt. Um eine semantische Bildsegmentierung vorzunehmen, müssen diese niedrig dimensionalen Features zurück auf die Dimension des Ursprungsbildes hochskaliert werden, um die Position des Objektes der entsprechenden Merkmale im Bild lokalisieren zu können.
Klassische Ansätze aus der Bildverarbeitung benutzen hierfür Interpolation (beispielsweise bilineare oder bikubische Interpolation). Dabei werden die Bildpunkte der Feature Extraction Maß als Stützstellen der Interpolationsmethode angesehen und die zwischenliegenden Werte
des größeren Bildes durch die gewählte Interpolationsmethode geschätzt. Mit solchen festen bilinearen Interpolationsfiltern kann in einem Convolutional Neural Network aus der Feature Extraction Maß ein semantisches Segmentierungsbild der Eingangsgröße erstellt werden.
Anstatt allerdings den Interpolationsfilter strikt vorzugeben, kann dieser auch durch das
Netzwerk erlernt werden. Der Vorteil hier liegt auf der Hand: Benutzt man mehrere
hintereinandergeschaltete Upsampliing Layer mit nichtlinearen Aktivierungsfunktionen, so lässt sich auch ein nichtlinearere Interpolationsfilter erlernen, der präziser die Abgrenzungen verschiedener Objekte im Bild rekonstruieren kann. Ein solches Erlernen von Upsampling Filtern kann z.B. mit einem Deconvolution Layer durchgeführt werden. Im Gegensatz zum Convolutional Layer wird hier nicht ein Filter mit dem Eingangsbild gefaltet, sondern ein zu erlernender Filter mit dem Wert eines jeden Eingangspixels elementweise skaliert, und anschließend werden die so erstellten Ausgabematrizen über stride Parameter zueinander verschoben und aufsummiert.
Der Erfindung liegt das technische Problem zugrunde, ein Verfahren zur Ermittlung einer Trajektorie in Off-road-Szenarien zur Verfügung zu stellen sowie eine entsprechende
Vorrichtung zu schaffen.
Die Lösung des technischen Problems ergibt sich durch ein Verfahren mit den Merkmalen des Anspruchs 1 sowie eine Vorrichtung mit den Merkmalen des Anspruchs 8. Weitere vorteilhafte Ausgestaltungen der Erfindung ergeben sich aus den Unteransprüchen.
Hierzu umfasst das Verfahren zur Ermittlung einer Trajektorie in Off-road-Szenarien die folgenden Verfahrensschritte:
Es wird ein 2D-Bild der Umgebung mittels einer ersten Sensorik aufgenommen. Anschließend erfolgt eine Klassifizierung von Bildpunkten des 2D-Bildes in mindestens drei Klassen, wobei eine erste Klasse„Vorgesehen zum Befahren", eine weitere Klasse„befahrbar wenn notwendig" und eine weitere Klasse„unbefahrbar" ist.
Des Weiteren wird mittels einer zweiten Sensorik ein Höhenprofil der Umgebung ermittelt. Die Ermittlung des Höhenprofils kann dabei zeitlich parallel zur Aufnahme des 2D-Bildes erfolgen.
Anschließend werden die klassifizierten Bildpunkte in das Höhenprofil projiziert. Schließlich wird eine Trajektorie mittels eines Trajektorie-Planungs-Algorithmus unter Verwendung der
Bildpunkte der ersten Klasse ermittelt, wobei im Falle einer unvollständigen Trajektorie die Bildpunkte der weiteren Klasse zusätzlich berücksichtigt werden. Dies ermöglicht die Ermittlung einer Trajektorie, die für ein automatisiertes Fahren in Off-road-Szenarien verwendet werden kann. Dabei erfolgt die Klassifizierung im 2D-Bild, was für die Klassifizierungsalgorithmen erheblich einfacher ist als im 3D-Höhenprofil. Des Weiteren ist die Güte der Trajektorie durch die Verwendung von zwei Befahrbarkeits-Klassen erheblich verbessert, da im Regelfall nur die Bildpunkte der ersten Klasse verwendet werden, die optimal für eine Trajektorie sind. Um nun aber die Ermittlung ausreichend stabil zu machen, wird im Falle von Lücken auch auf die Bildpunkte der weiteren Klasse zurückgegriffen.
In einer Ausführungsform werden die Bildpunkte in mindestens vier Klassen klassifiziert, wobei eine erste Klasse„Vorgesehen zum Befahren", eine zweite Klasse„befahrbar wenn notwendig", eine dritte Klasse„notfalls befahrbar" und eine vierte Klasse„unbefahrbar" ist, wobei bei einer unvollständigen Trajektorie die Bildpunkte der zweiten Klasse zusätzlich berücksichtigt werden, wobei im Falle einer weiter unvollständigen Trajektorie die Bildpunkte der dritten Klasse zusätzlich berücksichtigt werden. Dabei werden in der dritten Klasse insbesondere Bereiche erfasst, die zwar grundsätzlich befahrbar sind, aber eben nur notfalls benutzt werden sollten, beispielsweise um einem entgegenkommenden Fahrzeug Platz zu machen oder aber überhaupt weiterfahren zu können. Dabei kann aber auch vorgesehen sein, dass der Rückgriff auf Bildpunkte der dritten Klasse auf eine Kollisionsverhinderung beschränkt ist.
In einer weiteren Ausführungsform erfolgt vor dem Ermitteln der Trajektorie eine
Umklassifikation in Abhängigkeit von Fahrzeugparametern. Somit kann bestimmten
Leistungsparametern des Fahrzeuges Rechnung getragen werden. Beispielsweise kann sich ein zunächst als„notfalls befahrbarer' -Bildpunkt nach Projektion im Höhenprofil für das
Fahrzeug als unbefahrbar erweisen. Der Vorteil der Umklassifikation ist, dass die grundsätzliche Klassifikation fahrzeugunabhängig erfolgen kann.
In einer weiteren Ausführungsform werden vor dem Ermitteln der Trajektorie die klassifizierten Bildpunkte aus dem Höhenprofil in eine 2D-Karte projiziert. Vereinfacht werden die
Höhenkoordinaten unberücksichtigt gelassen, wobei vorzugsweise die zuvor erwähnte
Umklassifikation durchgeführt wird. Der Vorteil der 2D-Karte ist, dass die gängigen
vorhandenen Trajektorie-Planungs-Algorithmen auf solche 2D-Daten ausgelegt sind.
In einer weiteren Ausführungsform werden die Aufnahmen des 2D-Bildes mittels einer MonoKamera und das Höhenprofil mittels eines Laser-Scanners aufgenommen. Der Vorteil
gegenüber einer Stereo-Kamera, die prinzipiell für beides verwendet werden könnte, ist, dass der Öffnungswinkel von Stereokameras begrenzt ist (z.B. 60°). Durch die Aufteilung auf eine Mono-Kamera und einen Laser-Scanner kann beispielsweise eine Kamera mit Fischaugenoptik verwendet werden, die einen Öffnungswinkel von ca. 180° hat.
Ein entsprechend großer Öffnungswinkel lässt sich auch mittels eines Laser-Scanners realisieren, sodass insgesamt ein größerer Teil der Umgebung im Vergleich zu einer
Stereokamera erfasst werden kann.
In einer weiteren Ausführungsform werden die sechs Freiheitsgrade des Laser-Scanners ermittelt und/oder geschätzt, wobei das Höhenprofil aus zeitlich aufeinanderfolgenden
Messungen des Laser-Scanners unter Berücksichtigung der jeweiligen Freiheitsgrade erfolgt. Somit kann auch ein Laser-Scanner mit wenigen Scan-Ebenen verwendet werden, wobei durch die Eigenbewegung weitere Scan-Ebenen hinzukommen.
In einer weiteren Ausführungsform erfolgt die Klassifizierung der Bildpunkte mittels eines Convolutional Neural Network mit semantischer Segmentierung. Dieses erlaubt eine sehr gute Zuordnung, was sich in praktischen Tests bestätigt hat.
Hinsichtlich der Ausbildung der Vorrichtung wird vollinhaltlich auf die vorangegangenen Ausführungen zum Verfahren Bezug genommen.
Die Erfindung wird nachfolgend anhand eines bevorzugten Ausführungsbeispiels näher erläutert. Die Figuren zeigen:
Fig. 1 ein schematisches Blockschaltbild einer Vorrichtung zur Ermittlung einer
Trajektorie in einem Off-road-Szenarium,
Fig. 2 ein schematisches Flussdiagramm eines Verfahrens zur Ermittlung einer
Trajektorie in einem Off-road-Szenarium,
Fig. 3a eine beispielhafte Klassifizierung in einem 2D-Bild,
Fig. 3b eine beispielhafte Darstellung zur Ermittlung eines zugehörigen Höhenprofils,
Fig. 3c eine schematische Darstellung der Projektion der klassifizierten Bildpunkte gemäß Fig. 3a in das Höhenprofil gemäß Fig. 3b,
Fig. 3d eine schematische Darstellung einer Umklassifikation und 2D-Projektion,
Fig. 3e eine Darstellung einer berechneten Trajektorie mit Daten ausschließlich der ersten Klasse und
Fig. 3f eine Darstellung einer berechneten Trajektorie mit Daten der ersten und zweiten
Klasse.
In der Fig. 1 ist ein Blockschaltbild einer Vorrichtung 1 zur Ermittlung einer Trajektorie T in einem Off-road-Szenarium dargestellt. Die Vorrichtung 1 umfasst eine erste Sensorik 2 und eine zweite Sensorik 3, wobei die erste Sensorik 2 vorzugsweise als Mono-Kamera und die zweite Sensorik 3 vorzugsweise als Laser-Scanner ausgebildet ist. Weiter umfasst die Vorrichtung 1 eine erste Recheneinheit 4 zum Klassifizieren der Bildpunkte, wobei die Recheneinheit 4 hierzu vorzugsweise als Convolutional Neural Network mit semantischer Segmentierung ausgebildet ist. Dabei werden die Bildpunkte in vier Klasen eingeordnet, wobei eine erste Klasse
„Vorgesehen zum Befahren", eine zweite Klasse„befahrbar wenn notwendig", eine dritte Klasse „notfalls befahrbar" und eine vierte Klasse„unbefahrbar" ist. Wird beispielsweise eine große physikalisch uneingeschränkt befahrbare Freifläche erfasst, so wird ein bestimmter Weg innerhalb der Freifläche ermittelt (vergleichbar einer Fahrspurerkennung im Stadtverkehr). Diese Bereiche des vorbestimmten Weges wären dann erste Klasse, wobei die übrigen
Bildpunkte der Freifläche zweite Klasse wären. Weiter umfasst die Vorrichtung 1 ein Modul 5 zur Erfassung oder Schätzung der sechs Freiheitsgrade der zweiten Sensorik 3, das beispielsweise als Inertial-Measurement Unit ausgebildet ist. In einem weiteren Modul 6 wird dann aus den Daten der zweiten Sensorik 3 mit Hilfe der Daten des Moduls 5 ein Höhenprofil der Umgebung ermittelt. Dabei sei angemerkt, dass das Modul 6 auch in die erste
Recheneinheit 4 integriert werden kann. Weiter umfasst die Vorrichtung 1 eine zweite
Recheneinheit 7, die die klassifizierten Bildpunkte in das Höhenprofil projiziert. Auch die zweite Recheneinheit 7 kann gemeinsam mit der ersten Recheneinheit 4 ausgebildet sein. Die zweite Recheneinheit 7 führt dann noch eine Umklassifikation der projizierten Bildpunkte in
Abhängigkeit von Fahrzeugparametern durch und projiziert dann die klassifizierten SD- Bildpunkte des Höhenprofils in eine 2D-Darstellung. Schließlich weist die Vorrichtung 1 noch eine dritte Recheneinheit 8 auf, die einen Trajektorie-Planungs-Algorithmus aufweist, der aus den klassifizierten 2D-Daten eine Trajektorie T unter Verwendung der Bildpunkte der ersten
Klasse ermittelt, wobei im Falle einer unvollständigen Trajektorie T die Bildpunkte der zweiten und falls diese auch nicht ausreichen der dritten Klasse zusätzlich berücksichtigt werden. Dabei kann die Berücksichtigung der Bildpunkte der dritten Klasse auf Notfälle wie eine
Kollisionsvermeidung beschränkt werden.
In der Fig. 2 ist ein Flussdiagramm des Verfahrens dargestellt. In einem ersten Schritt S1 wird ein 2D-Bild einer Umgebung aufgenommen und in einem zweiten Schritt S2 klassifiziert, wobei jeder Bildpunkt einer von mindestens vier Klassen zugeordnet wird. In einem Schritt S3 wird ein Höhenprofil der Umgebung ermittelt. In einem Schritt S4 wird dann das klassifizierte 2D-Bild in das Höhenprofil projiziert. In einem Schritt S5 wird dann das klassifizierte 3D-Höhenprofil umklassifiziert und in einem Schritt S6 in ein 2D-Bild projiziert. In einem Schritt S7 wird dann die Trajektorie T mittels des 2D-Bildes ermittelt. Diese Trajektorie T kann dann auf einer
Anzeigeeinheit dargestellt werden oder aber automatisiert oder assistierend abgefahren werden.
In der Fig. 3a ist eine beispielhafte Szene in einem 2D-Bild dargestellt, wobei die einzelnen Bildpunkte klassifiziert wurden. Die eng schraffierten Bereiche sind dann Bildpunkte der ersten Klasse, die gekreuzt schraffierten Bereiche Bildpunkte der zweiten Klasse, die weit schraffierten Bereiche Bildpunkte der dritten Klasse und die übrigen Bereiche Bildpunkte der vierten Klasse.
In der Fig. 3b ist schematisch dargestellt, wie aus den Daten der zweiten Sensorik 3 ein Höhenprofil H der Umgebung ermittelt wird.
In der Fig. 3c ist die Projektion der klassifizierten 2D-Bildpunkte gemäß Fig. 3a auf das
Höhenprofil gemäß Fig. 3b dargestellt, wobei die Bildpunkte der vierten Klasse weiß (ohne Schraffur) dargestellte sind. Das Ergebnis ist dabei in der Fig. 3c noch in einer anderen
Perspektive dargestellt.
In der Fig. 3d sind nun die Schritte 5 und 6 des Verfahrens dargestellt. Dabei erfolgt zunächst eine Umklassifizierung aufgrund von Fahrzeugparametern. Das Ergebnis ist, dass einige Bildpunkte, die vorher in Klasse 2 und 3 klassifiziert waren, in Klasse 4 („unbefahrbar") umklassifiziert wurden. Das so ermittelte umklassifizierte 3D-Höhenprofil wird dann in ein 2D- Bild projiziert. Anschaulich wird das Höhenprofil wieder eingeebnet (die Z-Koordinaten werden auf Null gesetzt).
In der Fig. 3e ist nun dargestellt, wie der Trajektorie-Planungs-Algorithmus die Trajektorie T ermittelt, wobei ausschließlich Bildpunkte der ersten Klasse verwendet werden.
In der Fig. 3f ist nun dargestellt, wie die Trajektorie T ermittelt wird, wenn keine durchgängige Trajektorie T über Bildpunkte der ersten Klasse gelegt werden kann. In diesem Fall verwendet der Trajektorie-Planungs-Algorithmus zusätzlich die Bildpunkte der zweiten Klasse.
Claims
Verfahren zur Ermittlung einer Trajektorie (T) in Off-road-Szenarien, umfassend die folgenden Verfahrensschritte:
a) Aufnehmen eines 2D-Bildes der Umgebung mittels einer ersten Sensorik (2), b) Klassifizieren von Bildpunkten des 2D-Bildes in mindestens drei Klassen, wobei eine erste Klasse„Vorgesehen zum Befahren", eine weitere Klasse„befahrbar wenn notwendig" und noch eine weitere Klasse„unbefahrbar" ist,
c) Ermitteln eines Höhenprofils (H) mittels einer zweiten Sensorik (3),
d) Projizieren der klassifizierten Bildpunkte in das Höhenprofil (H) und
e) Ermitteln einer Trajektorie (T) mittels eines Trajektorie-Planungs-Algorithmus unter Verwendung der Bildpunkte der ersten Klasse, wobei im Falle einer unvollständigen Trajektorie (T) die Bildpunkte der weiteren Klasse zusätzlich berücksichtigt werden.
Verfahren nach Anspruch 1 , dadurch gekennzeichnet, dass die Bildpunkte in mindestens vier Klassen klassifiziert werden, wobei eine erste Klasse„Vorgesehen zum Befahren", eine zweite Klasse„befahrbar wenn notwendig", eine dritte Klasse„notfalls befahrbar" und eine vierte Klasse„unbefahrbar" ist, wobei bei einer unvollständigen Trajektorie (T) die Bildpunkte der zweiten Klasse zusätzlich berücksichtigt werden, wobei im Falle einer weiter unvollständigen Trajektorie (T) die Bildpunkte der dritten Klasse zusätzlich berücksichtigt werden.
Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass vor dem Ermitteln der Trajektorie (T) eine Umklassifikation in Abhängigkeit von Fahrzeugparametern erfolgt.
Verfahren nach einem der vorangegangenen Ansprüche, dadurch gekennzeichnet, dass vor dem Ermitteln der Trajektorie (T) die klassifizierten Bildpunkte aus dem Höhenprofil in eine 2D-Karte projiziert werden.
Verfahren nach einem der vorangegangenen Ansprüche, dadurch gekennzeichnet, dass die Aufnahme des 2D-Bildes mittels einer Mono-Kamera und das Höhenprofil (H) mittels eines Laser-Scanners erfolgt.
Verfahren nach Anspruch 5, dadurch gekennzeichnet, dass die sechs Freiheitsgrade des Laser-Scanners ermittelt und/oder geschätzt werden, wobei das Höhenprofil (H) aus
zeitlich aufeinanderfolgenden Messungen des Laser-Scanners unter Berücksichtigung der jeweiligen Freiheitsgrade erfolgt.
7. Verfahren nach einem der vorangegangenen Ansprüche, dadurch gekennzeichnet, dass die Klassifizierung der Bildpunkte mittels eines Convolutional Neural Network mit semantischer Segmentierung erfolgt.
8. Vorrichtung (1 ) zur Ermittlung einer Trajektorie (T) in Off-road-Szenarien, umfassend eine erste Sensorik (2) zur Aufnahme eines 2D-Bildes einer Umgebung, eine erste
Recheneinheit (4) zum Klassifizieren von 2D-Bildpunkten in mindestens drei Klassen, wobei eine erste Klasse„Vorgesehen zum Befahren", eine weitere Klasse„befahrbar wenn notwendig" und noch eine weitre Klasse„unbefahrbar" ist, eine zweite Sensorik (3) zur Ermittlung eines Höhenprofils (H) der Umgebung, eine zweite Recheneinheit (7) zum Projizieren der klassifizierten Bildpunkte in das Höhenprofil und eine dritte Recheneinheit (8) mit einem Trajektorie-Planungs-Algorithmus, wobei die dritte Recheneinheit (8) derart ausgebildet ist, eine Trajektorie (T) unter Verwendung der Bildpunkte der ersten Klasse zu ermitteln, wobei im Falle einer unvollständigen Trajektorie (T) die Bildpunkte der weiteren Klasse zusätzlich berücksichtigt werden.
9. Vorrichtung nach Anspruch 8, dadurch gekennzeichnet, dass die erste Sensorik (2) als Mono-Kamera und die zweite Sensorik (3) als Laser-Scanner ausgebildet ist.
10. Vorrichtung nach Anspruch 8 oder 9, dadurch gekennzeichnet, dass die erste
Recheneinheit (4) als Convolutional Neural Network mit semantischer Segmentierung ausgebildet ist.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US16/489,368 US10919357B2 (en) | 2017-03-01 | 2018-01-29 | Method and device for determining a trajectory in off-road scenarios |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102017203276.6 | 2017-03-01 | ||
DE102017203276.6A DE102017203276B4 (de) | 2017-03-01 | 2017-03-01 | Verfahren und Vorrichtung zur Ermittlung einer Trajektorie in Off-road-Szenarien |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2018158020A1 true WO2018158020A1 (de) | 2018-09-07 |
Family
ID=61163692
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/EP2018/052111 WO2018158020A1 (de) | 2017-03-01 | 2018-01-29 | Verfahren und vorrichtung zur ermittlung einer trajektorie in off-road-szenarien |
Country Status (3)
Country | Link |
---|---|
US (1) | US10919357B2 (de) |
DE (1) | DE102017203276B4 (de) |
WO (1) | WO2018158020A1 (de) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB2577486A (en) * | 2018-09-20 | 2020-04-01 | Jaguar Land Rover Ltd | Control system for a vehicle |
US11999378B2 (en) | 2018-09-20 | 2024-06-04 | Jaguar Land Rover Limited | Control system for a vehicle |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10147193B2 (en) | 2017-03-10 | 2018-12-04 | TuSimple | System and method for semantic segmentation using hybrid dilated convolution (HDC) |
US11600006B2 (en) * | 2018-10-26 | 2023-03-07 | Here Global B.V. | Deep neural network architecture for image segmentation |
DE102019213533A1 (de) * | 2019-09-05 | 2021-03-11 | Zf Friedrichshafen Ag | Vorrichtung zum Anpassen einer Fahrstrategie eines Fahrzeugs |
DE102019216147B3 (de) * | 2019-10-21 | 2021-01-28 | Zf Friedrichshafen Ag | Verfahren zur Bestimmung einer Befahrbarkeit eines Bereichs eines Geländes für ein Fahrzeug |
CN113536914A (zh) * | 2021-06-09 | 2021-10-22 | 重庆中科云从科技有限公司 | 一种对象跟踪识别方法、系统、设备及介质 |
DE102022207197A1 (de) | 2022-07-14 | 2024-01-25 | Robert Bosch Gesellschaft mit beschränkter Haftung | Verfahren zum Ermitteln einer Fahrbahnfreifläche und Vorrichtung |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2005008562A2 (en) | 2003-07-16 | 2005-01-27 | Sarnoff Corporation | Method and apparatus for detecting obstacles |
DE102012004198A1 (de) | 2012-03-01 | 2012-10-04 | Daimler Ag | Verfahren und Vorrichtung zur Unterstützung eines Fahrers beim Führen eines Fahrzeugs im Gelände |
JP2016537934A (ja) * | 2013-11-12 | 2016-12-01 | アプリケーション・ソリューションズ・(エレクトロニクス・アンド・ヴィジョン)・リミテッド | カメラの被覆状態の認識方法、カメラシステム、及び自動車 |
DE102015007592A1 (de) | 2015-06-16 | 2016-12-22 | Audi Ag | Trajektoriebasierte Fahrwerksregelung |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4952922A (en) * | 1985-07-18 | 1990-08-28 | Hughes Aircraft Company | Predictive look ahead memory management for computer image generation in simulators |
DE10330011B4 (de) | 2003-07-03 | 2005-05-12 | Eads Deutschland Gmbh | Verfahren zur Hinderniserkennung und Geländeklassifikation |
US8473166B2 (en) * | 2009-05-19 | 2013-06-25 | Topcon Positioning Systems, Inc. | Semiautomatic control of earthmoving machine based on attitude measurement |
DE102012021420B4 (de) | 2012-10-30 | 2020-09-24 | Audi Ag | Verfahren und Fahrerassistenzsystem zur Unterstützung eines Fahrers eines Kraftfahrzeugs in einer Offroad-Umgebung |
US9062983B2 (en) | 2013-03-08 | 2015-06-23 | Oshkosh Defense, Llc | Terrain classification system for a vehicle |
US9205562B1 (en) * | 2014-08-29 | 2015-12-08 | Google Inc. | Integration of depth points into a height map |
WO2016197031A1 (en) * | 2015-06-03 | 2016-12-08 | Greg Henderson | Magnetic levitation of vehicles |
WO2017109543A1 (en) * | 2015-12-22 | 2017-06-29 | Arcelormittal | Method and system for determining the mass of feedstock on a conveyor |
US9975448B2 (en) * | 2016-01-25 | 2018-05-22 | Arx Pax Labs, Inc. | Control of translating hover engines to obtain zero drag |
US10169647B2 (en) * | 2016-07-27 | 2019-01-01 | International Business Machines Corporation | Inferring body position in a scan |
-
2017
- 2017-03-01 DE DE102017203276.6A patent/DE102017203276B4/de active Active
-
2018
- 2018-01-29 US US16/489,368 patent/US10919357B2/en active Active
- 2018-01-29 WO PCT/EP2018/052111 patent/WO2018158020A1/de active Application Filing
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2005008562A2 (en) | 2003-07-16 | 2005-01-27 | Sarnoff Corporation | Method and apparatus for detecting obstacles |
DE102012004198A1 (de) | 2012-03-01 | 2012-10-04 | Daimler Ag | Verfahren und Vorrichtung zur Unterstützung eines Fahrers beim Führen eines Fahrzeugs im Gelände |
JP2016537934A (ja) * | 2013-11-12 | 2016-12-01 | アプリケーション・ソリューションズ・(エレクトロニクス・アンド・ヴィジョン)・リミテッド | カメラの被覆状態の認識方法、カメラシステム、及び自動車 |
DE102015007592A1 (de) | 2015-06-16 | 2016-12-22 | Audi Ag | Trajektoriebasierte Fahrwerksregelung |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB2577486A (en) * | 2018-09-20 | 2020-04-01 | Jaguar Land Rover Ltd | Control system for a vehicle |
GB2577486B (en) * | 2018-09-20 | 2023-05-10 | Jaguar Land Rover Ltd | Control system for determining vehicle path |
US11999378B2 (en) | 2018-09-20 | 2024-06-04 | Jaguar Land Rover Limited | Control system for a vehicle |
Also Published As
Publication number | Publication date |
---|---|
US20190375261A1 (en) | 2019-12-12 |
DE102017203276B4 (de) | 2022-10-06 |
US10919357B2 (en) | 2021-02-16 |
DE102017203276A1 (de) | 2018-09-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
DE102017203276B4 (de) | Verfahren und Vorrichtung zur Ermittlung einer Trajektorie in Off-road-Szenarien | |
EP2368216B1 (de) | Verfahren und einrichtung zur analyse von umgebungsobjekten und/oder umgebungsszenen, wie zur objekt- und szenenklassensegmentierung | |
DE102017120112A1 (de) | Tiefenkartenschätzung mit stereobildern | |
EP3765927B1 (de) | Verfahren zum erzeugen eines trainingsdatensatzes zum trainieren eines künstlichen-intelligenz-moduls für eine steuervorrichtung eines fahrzeugs | |
DE102017130488A1 (de) | Verfahren zur Klassifizierung von Parklücken in einem Umgebungsbereich eines Fahrzeugs mit einem neuronalen Netzwerk | |
WO2013029722A2 (de) | Verfahren zur umgebungsrepräsentation | |
DE102013205882A1 (de) | Verfahren und Vorrichtung zum Führen eines Fahrzeugs im Umfeld eines Objekts | |
DE102020110379A1 (de) | Fahrassistenzsystem, elektronische vorrichtung und betriebsverfahren dafür | |
DE102007013664A1 (de) | Multisensorieller Hypothesen-basierter Objektdetektor und Objektverfolger | |
DE102018133441A1 (de) | Verfahren und System zum Bestimmen von Landmarken in einer Umgebung eines Fahrzeugs | |
DE102018100909A1 (de) | Verfahren zum Rekonstruieren von Bildern einer Szene, die durch ein multifokales Kamerasystem aufgenommen werden | |
DE102013012930A1 (de) | Verfahren zum Bestimmen eines aktuellen Abstands und/oder einer aktuellen Geschwindigkeit eines Zielobjekts anhand eines Referenzpunkts in einem Kamerabild, Kamerasystem und Kraftfahrzeug | |
DE102021205230A1 (de) | Gefahrendetektions-ensemblearchitektursystem und-verfahren | |
DE112022001546T5 (de) | Systeme und Verfahren zur Erzeugung von Objekterkennungs-Labels unter Verwendung fovealer Bildvergrößerung für autonomes Fahren | |
EP3655299B1 (de) | Verfahren und vorrichtung zum ermitteln eines optischen flusses anhand einer von einer kamera eines fahrzeugs aufgenommenen bildsequenz | |
DE102017128082A1 (de) | Meta-Architektur-Design für ein CNN-Netzwerk | |
DE102020122610A1 (de) | Neuronales fahrzeugnetzwerk | |
DE102014007565A1 (de) | Verfahren zum Ermitteln einer jeweiligen Grenze zumindest eines Objekts, Sensorvorrichtung, Fahrerassistenzeinrichtung und Kraftfahrzeug | |
DE102020105070A1 (de) | Verfahren zum Erkennen eines befahrbaren Bereichs in einer Umgebung eines Fahrzeugs mithilfe eines binären künstlichen neuronalen Netzes, Recheneinrichtung sowie Fahrerassistenzsystem | |
DE102019209473A1 (de) | Verfahren und Vorrichtung zur schnellen Erfassung von sich wiederholenden Strukturen in dem Bild einer Straßenszene | |
DE102019204187A1 (de) | Klassifizierung und temporale Erkennung taktischer Fahrmanöver von Verkehrsteilnehmern | |
DE102018114912A1 (de) | Verfahren zum Klassifizieren einer Farbe einer Fahrbahnmarkierung mittels eines statistischen Fahrbahnmarkierungsbestimmungsmodells, elektronische Recheneinrichtung sowie Fahrerassistenzsystem | |
DE102018114229A1 (de) | Verfahren zum Bestimmen eines Bewegungszustands eines Objekts in Abhängigkeit einer erzeugten Bewegungsmaske und eines erzeugten Begrenzungsrahmens, Fahrerassistenzsystem sowie Kraftfahrzeug | |
DE102020208080A1 (de) | Erkennung von Objekten in Bildern unter Äquivarianz oder Invarianz gegenüber der Objektgröße | |
WO2021180547A1 (de) | Verfahren und vorrichtung zum verarbeiten von bildern |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 18703262 Country of ref document: EP Kind code of ref document: A1 |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 18703262 Country of ref document: EP Kind code of ref document: A1 |