WO2020094534A1 - Verfahren zum trainieren eines künstlichen neuronalen netzes, künstliches neuronales netz, verwendung eines künstlichen neuronalen netzes sowie entsprechendes computerprogramm, maschinenlesbares speichermedium und entsprechende vorrichtung - Google Patents

Verfahren zum trainieren eines künstlichen neuronalen netzes, künstliches neuronales netz, verwendung eines künstlichen neuronalen netzes sowie entsprechendes computerprogramm, maschinenlesbares speichermedium und entsprechende vorrichtung Download PDF

Info

Publication number
WO2020094534A1
WO2020094534A1 PCT/EP2019/080025 EP2019080025W WO2020094534A1 WO 2020094534 A1 WO2020094534 A1 WO 2020094534A1 EP 2019080025 W EP2019080025 W EP 2019080025W WO 2020094534 A1 WO2020094534 A1 WO 2020094534A1
Authority
WO
WIPO (PCT)
Prior art keywords
vehicle
neural network
artificial neural
information
orientation
Prior art date
Application number
PCT/EP2019/080025
Other languages
English (en)
French (fr)
Inventor
Paul SANZENBACHER
Holger Andreas Banzhaf
Ulrich Baumann
Original Assignee
Robert Bosch Gmbh
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch Gmbh filed Critical Robert Bosch Gmbh
Publication of WO2020094534A1 publication Critical patent/WO2020094534A1/de

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0221—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving a learning process
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Definitions

  • the present invention relates to a method for training an artificial neural network, artificial neural network, use of an artificial neural network and corresponding computer program,
  • machine-readable storage medium and corresponding device ... for determining a path prediction for a vehicle.
  • a preferred field of application of the present invention is in the field of autonomous systems, in particular in the field of at least partially automated driving.
  • At least partially automated driving means controlling a vehicle in which all or at least part of the driving task of
  • Vehicle systems are taken over. If the entire driving task is taken over, one speaks of a fully automated or highly automated vehicle. The vehicle drives automatically by:
  • SegNet A Deep Convolutional Encoder-Decoder Architecture for Image Segmentation
  • arXiv preprint arXiv: 1511.00561, 2015. is SegNet, an artificial neural network of the Art Convolutional Neural Network according to the encoder-decoder architecture known for semantic segmentation.
  • the known artificial neural networks output the path prediction as an output variable in the form of pixel-based matrices. Each pixel of the matrix represents a discrete position around the map.
  • the artificial neural network solves a classification task that assigns a class to each pixel of the output.
  • the class describes the affiliation of the pixel to the predicted path of the vehicle from the start position to the end position or the non-affiliation of the respective pixel to the path prediction.
  • the present invention proposes an artificial neural network for determining a vehicle's path prediction
  • Output variable as a function of a starting state of the vehicle, a final state of the vehicle and information about the surroundings of the vehicle as input variables, the path prediction being a pose of the
  • a pose includes information about a position and information about an orientation at the position.
  • the central difference of the path prediction of the artificial neural network according to the present invention is that the path prediction is in addition to that
  • Prediction of the position or positions of the vehicle also makes a prediction of the orientation or orientations of the vehicle at the respective position or positions. This additional information is advantageous when planning the movement of the
  • Driving maneuvers in particular in evasive maneuvers or in parking maneuvers or in reversing maneuvers.
  • the starting state is the state of the vehicle from which the path is to be determined in accordance with the present invention.
  • the artificial neural network can be designed in the manner of convolutional neural networks (CNN).
  • CNN convolutional neural networks
  • CNN is particularly suitable because this type of artificial neural network is particularly well suited for processing high-dimensional input variables and determining multimodal position distributions for a vehicle and therefore for multimodal path prediction given a high-dimensional environment representation can be trained.
  • the information about an orientation comprises a sine component and a cosine component of the unit circle.
  • an orientation with a sine and a cosine component of zero each represents an invalid value in the unit circle.
  • this information can be used to code that the orientation relates to a position that is not part of the predicted path is.
  • a determination of the resultant from the sine and cosine components can be interpreted as a confidence measure that indicates whether information about the orientation is available. Since in
  • the state (start state, end state) of a vehicle is determined in the input or output variables by means of a matrix
  • the information about the position of the vehicle is represented on the basis of the corresponding cell in the matrix.
  • the cell contains a value representing the speed of the vehicle in the state
  • the cells adjacent to the position cell contain values that represent the orientation of the vehicle.
  • the orientation can be represented as sine and cosine components of the unit circle.
  • Another aspect of the present invention is a method of training an artificial neural network to determine a path prediction for a vehicle as an output variable depending on a starting state of the vehicle, a final state of the vehicle and information about the surroundings of the vehicle as input variables, the path comprising at least one pose of the vehicle, a pose indicating information about a position and information about an orientation the position includes.
  • the artificial neural network can be designed in the manner of convolutional neural networks (CNN).
  • CNN convolutional neural networks
  • the essence of the training method of the present invention lies in the fact that in the optimization step the optimization of the determination of the information about the position and the determination of the information about the orientation at the position is carried out together.
  • This aspect of the invention is based on the knowledge that the future position can be determined as a classification task and that
  • the respective information is presented in a suitable form. While the future position of the vehicle can be represented in the form of a classification that specifies whether a position of the output quantity is part of the path that can be traveled or not, it is done
  • This representation has the advantage that the orientation is not carried out by means of a segmented unit circle. As this would have the consequence that a classification problem would have to be solved for each segment of the unit group. This would lead to an exponential growth in the dimension of the output size (output sensor) and thus to an enormous increase in the required calculation resources.
  • a disadvantage of learning the orientation by means of a regression instead of a classification is that it is not possible to determine pixel-by-pixel, multimodal orientations of the vehicle. I.e. determine more than one possible orientation for a certain position. In fact, these are rare individual cases. In practice, a certain orientation for a certain position is sufficient. This is offset by the avoidance of exponential growth in output.
  • the optimization takes place in the optimization step by means of a stochastic optimization algorithm.
  • the optimization takes place in the optimization step as a function of a predetermined sequence of poses.
  • a pose is understood to mean information about a position and information about an orientation at this position.
  • Sequence on poses is thus a path including the respective orientation at the positions of the path.
  • a trajectory can also be used.
  • a trajectory comprises a sequence of poses or a sequence of poses can be derived from a given trajectory.
  • a trajectory also includes time information. Speed information can thus be derived from a trajectory.
  • a multiplicity of different starting states of the vehicle are generated on the route to be traveled.
  • a state of the vehicle is to be understood as information about the pose, ie about the position and the orientation as well as about the speed of the vehicle at the position.
  • the starting state is the state of the vehicle from which the path is to be determined in accordance with the present invention.
  • This extension method forces the artificial neural network to be trained to determine its path based on the additional training data or changing information about the environment
  • the generation of the large number of start states can be done by means of a
  • Another aspect of the present invention is the use of an artificial neural network according to the present invention for controlling a vehicle.
  • the previously trained artificial neural network can use a starting state of the vehicle as input variables
  • the artificial neural network can be used as
  • Output information provide information about a path of the vehicle.
  • At least one position can be selected from the determined path prediction for the vehicle.
  • the position can be selected such that a cell is selected from the output size of the artificial neural network, which comprises, for example, a tensor, from a matrix of the tensor, which cell was assigned in the predicted path of the vehicle. It is also conceivable to select at least one cell that represents a discrete position.
  • the cells of the predicted path merely represent discrete position information, which represent a region of the surroundings of the vehicle corresponding to the resolution. E.g. an area of 60 cm x 60 cm.
  • the continuation of the discrete position covers the entire range of values at possible positions.
  • the control can be simplified in a simple manner by the continuation of the discrete position.
  • This step is based on the knowledge that the output of the artificial neural network, in addition to the positions that belong to the determined path of the vehicle, has also determined corresponding orientations at the respective positions. I.e. there is one for each cell
  • Information about the position of the vehicle and information about the orientation of the vehicle can be selected.
  • the orientation can be determined in such a way that from the
  • Output size of the artificial neural network which comprises, for example, a tensor, one or more cells are selected from a matrix or matrices of the tensor, which cells correspond to the selected position.
  • Determine a pose for the vehicle by merging the generated continuous position and the determined orientation. For this step, the continuous position and the specific orientation of the vehicle are combined into a pose for the control of the vehicle.
  • the poses can be assigned to a movement planner.
  • a suitable movement planner is the bidirectional RRT * (BiRRT *).
  • control of the vehicle can be understood as one
  • a convolutional neural network When used, a convolutional neural network can be used as an artificial neural network.
  • CNN convolutional neural network
  • the use of the artificial neural network is suitable for complex driving maneuvers such as parking maneuvers, reversing maneuvers or
  • the step of selecting the pose is performed using a method of
  • a pose can only be selected if the probability of belonging to the determined path lies above a predetermined threshold value.
  • the threshold can be adapted to practical and actual requirements.
  • the aim of the threshold value is to continue to use the output of the artificial neural network in such a way that only those parts of the path prediction are used which, with the probability required for the practical and actual requirements, belong to the part of the environment to be traveled on.
  • the threshold can be between 45% and 55%.
  • the threshold can be 50%.
  • Motion planner only takes into account areas of the vehicle's surroundings that represent areas with a high or predominant probability of being traveled.
  • This embodiment has the advantage that the discrete positions determined by the artificial neural network are converted into a continuous position specification. This leads to an overall coverage of the possible value range of the positions within a cell, since the discrete position samples depend on the resolution of the input or
  • a cell covers an area of 60 cm x 60 cm depending on the parameterization of the input data.
  • the orientation is determined using a method for interpolation, in particular for bilinear interpolation Orientation at the cell center to the continuous sampled position determined by the orientation of the adjacent cells.
  • This embodiment has the advantage that the orientation information matches the position information more precisely. Especially in the context that the position samples represent discrete position information and for each
  • Position information If there is an orientation information, an interpolation of the orientation information means that the orientation information fits better to the respective position information.
  • the advantage of this feature is particularly evident when the discrete position information is in a continuous
  • Another aspect of the present invention is a computer program that is set up to use an artificial neural network according to the present invention to control a vehicle.
  • FIG. 1 shows a flowchart of an embodiment of the method for training an artificial neural network according to the present invention
  • FIG. 2 shows a schematic illustration of an artificial neural network according to the present invention
  • FIG. 3 shows a flowchart of an embodiment of the method for controlling a vehicle according to the present invention.
  • FIG. 1 shows a flow chart of an embodiment of the method for training an artificial neural network according to the present invention.
  • the artificial neural network to be trained with the present training method is suitable for determining a path of a vehicle as an output variable as a function of an initial state of the vehicle, a final state of the vehicle and information about the surroundings of the vehicle as an input variable, the path being at least one pose of the Vehicle, wherein a pose comprises discrete information of a position and continuous information of an orientation at the position.
  • step 101 the artificial neural network is optimized.
  • Determination of the continuous information i.e. classification of the possible positions and regression of the associated vehicle orientations, jointly optimized.
  • the optimization or training of the artificial neural network can be carried out end to end using recorded trajectories.
  • the trajectories can originate from recorded real maneuvers. It is also conceivable to simulate maneuvers in suitable simulators and to extract the trajectories from the simulation.
  • the parameters of the artificial neural network can be determined by using a method for stochastic optimization and the loss function where c denotes a cell of the output of the artificial neural network, the first term cell-wise the loss of the cross entropy L CE (c) der
  • the determination properties of the model can be determined by the two metrics explained below.
  • the first metric measures the proximity of N specific poses to the given trajectory (eng. ground truth trajectory) x t ec by the
  • Determination of the mean path deviation D according to where d (-) describes the distance between a pose of the trajectory and a certain pose.
  • the calculation is based on a weighted sum of the Euclidean distance and the angular deviation the different units of the two terms can be taken into account by the weights w pos and be adjusted accordingly.
  • the second metric measures the maximum determination distance G using the two steps explained below. (1) Each particular pose is mapped to the specified trajectory and (2) the maximum length is determined that is not covered by a particular pose.
  • the illustration of the first step can be described as follows where ⁇ the reference pose of the particular pose L on the given
  • the reference poses are grouped according to their arc length into an ordered list jrejf .
  • G e [0, 1] is then determined as indicated below the length of the predetermined trajectory is s T.
  • an upscaling of the relevant cells with the functions f CE (c) and i WSg (c) are done when the functions describe the figures below where y CE and MS £ hyperparameters of the model and ⁇ c is an indicator function that assumes 1 if the future path crosses cell c, otherwise assumes 0.
  • the hyperparameters of the model can also be optimized. In principle, all hyperparameters of the model can be optimized.
  • the other three hyperparameters, the learning rate Ir and y CE and y MSE, can be optimized in a two-step approach. In the first step, the learning rate Ir varies while y CE and y MSE are kept constant at 25 will. In the second step, the learning rate Ir is kept at its previously determined best value to optimize y C £ and y MSE .
  • the artificial neural network 2 shown is a convolutional neural network (CNN) implemented according to the encoder-decoder architecture.
  • the CNN shown is based on the SegNet for semantic segmentation.
  • Semantic segmentation is typically applied to images.
  • a representation of the images is fed as an input tensor to an appropriately trained artificial neural network.
  • semantic segmentation objects recognized in the image are marked in the image with pixel accuracy.
  • the object class is output accordingly for every pixel of the image.
  • the artificial neural network shown takes up 5 matrices (or grids) as an input tensor. These matrices contain information about the surroundings of the vehicle. This includes, for example, information about static obstacles, unknown or unrecognizable area, part of the path covered so far and the start and (planned) end state of the vehicle. The final state depends on the upcoming maneuver. If, for example, a parking maneuver is involved, the final state can describe the parked state of the vehicle. If, for example, a reversal or evasive maneuver is involved, the final state can describe the state of the vehicle after reversing or evasive action.
  • the input tensor is first passed through an encoder 201, through a context module 202, and then through a decoder 203.
  • the encoder 201 the input tensor 21 is reduced in its spatial dimension and at the same time increased in depth (increase in the feature maps).
  • the context module 202 increases the depth of the network by maintaining the spatial dimension of the tensor, but calculating additional feature maps.
  • the decoder 203 the folded tensor is up to his
  • Original size unfolded and output as output tensor 22. This is done by alternating blocks consisting of folding layers (narrow.
  • the convolutional layer 23 can have a 3x3 core (eng. kernel) and a step size (eng. stride) of 1 exhibit.
  • the pooling layers 24 can have a 2x2 core and the unpooling layers 25 can have a 2x2 core.
  • Each folding layer 23, with the exception of the last one, can be followed by a batch normalization and a ReLU activation.
  • the CNN 2 shown outputs 4 matrices with the same resolution as that of the input tensor 21 as the output sensor 22.
  • Two of the matrices contain the results of the classification task. I.e. they contain pixel-by-pixel information as to whether a pixel belongs to the future path or not.
  • the other two matrices contain the results of the regression task. I.e. they contain pixel-by-pixel information about the orientation of the vehicle at the respective position, one of the matrices representing the sine component of the
  • Orientation of the vehicle and the other of the matrices contains the cosine portion of the orientation.
  • a sine and cosine component of 0 in a pixel is an invalid value in the unit circle, but can be used to code that the pixel is not part of a certain path.
  • FIG. 3 shows a flow chart of an embodiment of the method for controlling a vehicle according to the present invention.
  • step 301 path prediction takes place using an artificial neural network according to the present invention.
  • this beforehand trained artificial neural network as input variables a starting state of the vehicle, a final state of the vehicle and information about the
  • the artificial neural network can provide information about a path of the vehicle as an output variable.
  • a discrete position is selected from the determined path prediction.
  • at least one pose can be selected from the path prediction for the vehicle. It is also conceivable to select at least one cell that represents a discrete position.
  • step 303 a continuous position is created at the selected position. This step is based on the knowledge that the cells of the
  • predicted path represent only discrete position information, which represent a region of the surroundings of the vehicle corresponding to the resolution. E.g. an area of 60 cm x 60 cm.
  • step 304 an orientation at the selected position is determined. This step is based on the knowledge that the output of the artificial neural network, in addition to the positions that belong to the determined path of the vehicle, has also determined corresponding orientations at the respective positions. I.e. for each cell there is information about the position of the vehicle and information about the orientation of the
  • the associated orientation of the vehicle can be selected.
  • a bilinear interpolation can be carried out for the specific orientation with respect to the generated continuous position.
  • step 305 a pose is used to control the vehicle
  • the continuous position and the specific orientation of the vehicle can be combined into a pose for the control of the vehicle.
  • the continuous information of a position of the vehicle is combined with the bilinearly interpolated information of an orientation of the vehicle and forms the pose for controlling the vehicle.
  • step 306 the vehicle is controlled based on the particular pose.
  • the specific poses can be one
  • Movement planners are fed.
  • a suitable movement planner is the bidirectional RRT * (BiRRT *).
  • the vehicle can be controlled in such a way that the particular pose is taken into account when calculating a movement plan for the vehicle.
  • the vehicle can then be controlled in such a way that the
  • Vehicle systems are controlled such that the vehicle in the

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Image Analysis (AREA)

Abstract

Verfahren zum Trainieren eines künstlichen neuronalen Netzes, insbesondere eines Convolutional Neural Networks, zur Bestimmung einer Pfadvorhersage für ein Fahrzeug als Ausgabegröße in Abhängigkeit von einem Ausgangszustand des Fahrzeugs, einem Endzustand des Fahrzeugs und einer Information über die Umgebung des Fahrzeugs als Eingangsgrößen, wobei der Pfad mindestens eine Pose des Fahrzeugs umfasst, wobei eine Pose eine Information einer Position und eine Information einer Orientierung an der Position umfasst, mit den Schritten: Optimieren des künstlichen neuronalen Netzes, wobei im Schritt des Optimierens die Bestimmung der Informationen einer Position und die Bestimmung der Informationen einer Orientierung gemeinsam optimiert werden.

Description

Beschreibung
Titel
Verfahren zum Trainieren eines künstlichen neuronalen Netzes, künstliches neuronales Netz, Verwendung eines künstlichen neuronalen Netzes sowie entsprechendes Computerprogramm, maschinenlesbares Speichermedium und entsprechende Vorrichtung
Die vorliegende Erfindung betrifft ein Verfahren zum Trainieren eines künstlichen neuronalen Netzes, künstliches neuronales Netz, Verwendung eines künstlichen neuronalen Netzes sowie entsprechendes Computerprogramm,
maschinenlesbares Speichermedium und entsprechende Vorrichtung ... zur Bestimmung einer Pfadvorhersage für ein Fahrzeug.
Ein bevorzugtes Anwendungsgebiet der vorliegenden Erfindung liegt im Bereich der autonomen Systeme, insbesondere im Bereich des zumindest teilweise automatisierten Fahrens.
Zumindest teilweise automatisiertes Fahren meint, das Steuern eines Fahrzeugs, bei dem die gesamte oder zumindest Teile der Fahraufgabe von
Fahrzeugsystemen übernommen werden. Wird die gesamte Fahraufgabe übernommen so spricht man von einem vollautomatisiert bzw. hochautomatisiert betriebenen Fahrzeug. Das Fahrzeug fährt automatisiert, indem es
beispielsweise den Straßenverlauf, andere Verkehrsteilnehmer oder Hindernisse selbständig erkennt und die entsprechenden Steuerbefehle zumindest teilweise im Fahrzeug berechnet sowie diese an die Aktuatoren im Fahrzeug weiterleitet, wodurch der Fahrverlauf des Fahrzeugs entsprechend beeinflusst wird. Ein menschlicher Fahrer ist bei einem vollautomatisiert bzw. hochautomatisiert betriebenen Fahrzeug nicht mehr an der Fahraufgabe beteiligt. Stand der Technik
Aus N. Perez-Higueras et al.,“Learning Human-Aware Path Planning with Fully Convolutional Networks,” in IEEE International Conference on Robotics and Automation, 2018. ist ein künstliches neuronales Netz zur Bestimmung von zukünftigen Position eines Roboters in Abhängigkeit von einer gegebenen Startposition, einer gegebenen Zielposition und der aktuellen Umgebung des Roboters bekannt.
Aus D. P. Kingma and J. L. Ba,“Adam: A Method for Stochastic Optimization,” in International Conference on Learning Representations, 2015. ist ein Verfahren zur stochastischen Optimierung bekannt.
Aus V. Badrinarayanan et al.,“SegNet: A Deep Convolutional Encoder-Decoder Architecture for Image Segmentation,” arXiv preprint arXiv: 1511.00561, 2015. ist SegNet, ein künstliches neuronales Netz der Art Convolutional Neural Network gemäß der Encoder-Decoder-Architektur zur semantischen Segmentierung bekannt.
Aus M. Jordan and A. Perez,“Optimal Bidirectional Rapidly-Exploring Random Trees,” MIT, Tech. Rep., 2013, TR 2013-021. ist der“Sample”-basierte
Bewegungsplaner“Bidirectional RRT* (BiRRT*) bekannt.
Mittels künstlichen neuronalen Netzen ist es möglich in Abhängigkeit von einer Startposition eines Fahrzeugs, einer Endposition eines Fahrzeugs und einer Information über die Umgebung des Fahrzeugs eine Pfadvorhersage des Fahrzeugs von der Startposition zu der Endposition zu bestimmen.
Die bekannten künstlichen neuronalen Netze geben die Pfadvorhersage als Ausgabegröße in Form pixelbasierter Matrizen aus. Jeder Pixel der Matrix repräsentiert eine diskrete Position der Umgebung der Karte. Das künstliche neuronale Netz löst dabei eine Klassifizierungsaufgabe, die jedem Pixel der Ausgabe eine Klasse zuordnet. Die Klasse beschreibt dabei die Zugehörigkeit des Pixels zu dem vorhergesagten Pfad des Fahrzeugs von der Startposition zu der Endposition bzw. die Nicht-Zugehörigkeit des jeweiligen Pixels zu der Pfadvorhersage.
Offenbarung der Erfindung Vor diesem Hintergrund schlägt die vorliegende Erfindung ein künstliches neuronales Netz zur Bestimmung Pfadvorhersage eines Fahrzeugs als
Ausgabegröße in Abhängigkeit von einem Startzustand des Fahrzeugs, einem Endzustand des Fahrzeugs und einer Information über die Umgebung des Fahrzeugs als Eingangsgrößen, wobei die Pfadvorhersage eine Pose des
Fahrzeugs umfasst, wobei eine Pose eine Information einer Position und eine Information einer Orientierung an der Position umfasst.
Der zentrale Unterschied der Pfadvorhersage des künstlichen neuronalen Netzes gemäß der vorliegenden Erfindung ist, dass die Pfadvorhersage zusätzlich zu der
Vorhersage zu der Position bzw. den Positionen des Fahrzeugs auch eine Vorhersage zu der Orientierung bzw. den Orientierungen des Fahrzeugs an der jeweiligen Position bzw. den jeweiligen Positionen macht. Diese zusätzliche Information ist vorteilhaft bei der Bewegungsplanung des
Fahrzeugs aus dem Startzustand in den Endzustand. Besonders vorteilhaft ist diese zusätzliche Information bei der Bewegungsplanung bei komplexen
Fahrmanövern, insbesondere bei Ausweichmanövern bzw. bei Parkmanövern bzw. bei Umkehrmanöver.
Unter einem Zustand des Fahrzeugs ist vorliegend eine Information über die Pose, d.h. über die Position und die Orientierung sowie über die Geschwindigkeit des Fahrzeugs an der Position zu verstehen.
Der Startzustand ist der Zustand des Fahrzeugs von dem aus die Bestimmung des Pfades gemäß der vorliegenden Erfindung erfolgen soll.
Das künstliche neuronale Netz kann in der Art der Convolutional Neural Networks (CNN) ausgestaltet sein. Die Ausgestaltung des künstlichen neuronalen Netzes als Convolutional Neural
Network (CNN) eignet sich besonders, da sich diese Art der künstlichen neuronalen Netze besonders gut für die Verarbeitung von hoch-dimensionalen Eingangsgrößen und der Bestimmung von multimodalen Positionsverteilungen für ein Fahrzeug eignen und sie daher auf die multimodale Pfadvorhersage gegeben einer hochdimensionalen Umfeldrepräsentation trainiert werden können.
Gemäß einer Ausführungsform des künstlichen neuronalen Netzes umfasst die Information einer Orientierung einen Sinusanteil und einen Cosinusanteil des Einheitskreises.
Die Darstellung der Orientierung mittels Sinus- und Cosinusanteilen bietet mehrere Vorteile. Zunächst stellt eine Orientierung mit einem Sinus- und einem Cosinusanteil von jeweils Null einen ungültigen Wert im Einheitskreis dar. Diese Information kann gemäß der vorliegenden Erfindung dazu genutzt werden, zu kodieren, dass sich die Orientierung auf eine Position bezieht, die nicht Teil des vorhergesagten Pfades ist. Ferner kann eine Ermittlung der Resultierenden aus den Sinus- und Cosinusanteilen als Konfidenzmaß interpretiert werden, das angibt, ob eine Information über die Orientierung vorhanden ist. Da im
Einheitskreis gilt, sin2(0) + sin2(0) = 1, kann bei der Ausgabe des Netzes genau dies überprüft werden. Ergibt die quadrierte Addition der vorhergesagten Sinus- uns Cosinusanteile stark von 1 abweichende Werte, lässt sich vermuten, dass die Orientierungsvorhersagen der der Position durch das Netz nicht eindeutig getroffen werden können. D.h. die Vorhersagend es Netzes sind an dieser Position mit einer hohen Unsicherheit belegt.
Nach einer Ausführungsform des künstlichen neuronalen Netzes gemäß der vorliegenden Erfindung wird der Zustand (Startzustand, Endzustand) eines Fahrzeugs in den Eingabe- bzw. Ausgabegrößen mittels einer Matrix
repräsentiert wird, die die gleiche Auflösung hat wie die Information über die Umgebung des Fahrzeugs. Die Information über die Position des Fahrzeugs wird anhand der entsprechenden Zelle in der Matrix repräsentiert. Die Zelle enthält einen Wert, der die Geschwindigkeit des Fahrzeugs in dem Zustand
repräsentiert. Die der Positionszelle angrenzenden Zellen enthalten Werte, die die Orientierung des Fahrzeugs repräsentieren. Dabei kann die Orientierung als Sinus- und Cosinusanteile des Einheitskreises repräsentiert werden.
Ein weiterer Aspekt der vorliegenden Erfindung ist ein Verfahren zum Trainieren eines künstlichen neuronalen Netzes zur Bestimmung einer Pfadvorhersage für ein Fahrzeug als Ausgabegröße in Abhängigkeit von einem Startzustand des Fahrzeugs, einem Endzustand des Fahrzeugs und einer Information über die Umgebung des Fahrzeugs als Eingangsgrößen, wobei der Pfad mindestens eine Pose des Fahrzeugs umfasst, wobei eine Pose eine Information einer Position und eine Information einer Orientierung an der Position umfasst.
Das künstliche neuronale Netz kann in der Art der Convolutional Neural Networks (CNN) ausgestaltet sein.
Der Kern des Trainingsverfahrens der vorliegenden Erfindung liegt darin, dass im Schritt des Optimierens die Optimierung der Bestimmung der Information über die Position und der Bestimmung der Information über die Orientierung an der Position gemeinsam erfolgt.
Dieser Aspekt der Erfindung basiert auf der Erkenntnis, dass die Bestimmung der zukünftigen Position als Klassifizierungsaufgabe erfolgen kann und die
Bestimmung der zukünftigen Orientierung an der Position als
Regressionsaufgabe erfolgen kann.
Dazu ist es erforderlich, dass die jeweiligen Informationen in geeigneter Form dargestellt werden. Während die Darstellung der zukünftigen Position des Fahrzeugs in Form einer Klassifikation erfolgen kann, die angibt, ob eine Position der Ausgabegröße Teil des befahrbaren Pfades ist oder nicht, erfolgt die
Darstellung der zukünftigen Orientierung an der Position in Form von
kontinuierlichen Sinus- und Cosinusanteilen des Einheitskreises.
Diese Darstellung weist den Vorteil auf, dass die Orientierung nicht mittels eines segmentierten Einheitskreises erfolgt. Da dies zur Folge hätte, dass für jedes vorgesehene Segment des Einheitskreises eine Klassifizierungsaufgabe zu lösen wäre. Dies würde zu einem exponentiellen Wachstum der Dimension der Ausgabegröße (Ausgabetensor) führen und damit zu einer enormen Erhöhung der erforderlichen Berechnungsressourcen führen.
Ferner bietet sich die Darstellung als Sinus- und Cosinusanteile an, da der im Einheitskreis ungültige Wert Sinusanteil = 0 und Cosinusanteil = 0 dazu verwendet werden kann, Zellen mit unbekannter Orientierung zu markieren, da diese nicht auf dem vorhergesagten Pfad liegen (eine Orientierungsinformation liegt nur dem vorhergesagten Pfad vor).
Ein Nachteil des Erlernens der Orientierung durch eine Regression anstatt einer Klassifikation ist, dass es dadurch nicht möglich ist, pixelweise, multimodale Orientierungen des Fahrzeugs zu bestimmen. D.h. für eine bestimmte Position mehr als eine mögliche Orientierung zu bestimmen. Tatsächlich handelt es sich dabei um seltene Einzelfälle. In der Praxis ist eine bestimmte Orientierung je bestimmter Position ausreichend. Dem steht die Vermeidung des exponentiellen Wachstums der Ausgabe gegenüber.
Gemäß einer Ausführungsform des Trainingsverfahrens der vorliegenden Erfindung erfolgt im Schritt des Optimierens die Optimierung mittels eines stochastischen Optimierungsalgorithmus.
Gemäß einer Ausführungsform des Trainingsverfahrens der vorliegenden Erfindung erfolgt im Schritt des Optimierens die Optimierung in Abhängigkeit von einer vorgegebenen Sequenz an Posen.
Unter einer Pose ist vorliegend eine Information über eine Position und die Information über eine Orientierung an dieser Position zu verstehen. Eine
Sequenz an Posen ist somit ein Pfad inklusive der jeweiligen Orientierung an den Positionen des Pfads. Alternativ zu einer Sequenz an Posen kann auch eine Trajektorie verwendet werden. Eine Trajektorie umfasst eine Sequenz von Posen bzw. aus einer gegebenen Trajektorie ist eine Sequenz an Posen ableitbar.
Ferner umfasst eine Trajektorie eine Zeitinformation. Somit kann aus einer Trajektorie eine Geschwindigkeitsinformation abgeleitet werden.
Gemäß einer Ausführungsform des Trainingsverfahrens der vorliegenden Erfindung wird im Schritt des Optimierens zu der vorgegebenen Sequenz an Posen eine Vielzahl von unterschiedlichen Startzuständen des Fahrzeugs auf der zu befahrenden Stecke erzeugt. Unter einem Zustand des Fahrzeugs ist vorliegend eine Information über die Pose, d.h. über die Position und die Orientierung sowie über die Geschwindigkeit des Fahrzeugs an der Position zu verstehen.
Der Startzustand ist der Zustand des Fahrzeugs von dem aus die Bestimmung des Pfades gemäß der vorliegenden Erfindung erfolgen soll.
Durch die Vielzahl an Startzuständen für eine vorgegebene Sequenz an Posen bzw. Trajektorie ist es möglich auf einfache Art und Weise den
Trainingsdatensatz zu erweitern ohne eine entsprechende Anzahl an Sequenzen an Posen bzw. Trajektorien vorzuhalten bzw. aufzuzeichnen.
Diese Erweiterungsmethode zwingt das zu trainierende künstliche neuronale Netz seine Bestimmung des Pfades aufgrund der zusätzlichen Trainingsdaten bzw. sich verändernden Informationen über das Umfeld entsprechend
anzupassen (Bspw. kann sich durch eine geänderte Startposition der von den Sensoren des Fahrzeugs erfasste bzw. erfassbare Umgebung ändern.) Dies führt so insgesamt zu einer verbesserten Optimierung des künstlichen neuronalen Netzes durch die adaptive Anpassung der Vorhersagen an sich verändernde Umgebungsinformationen.
Die Erzeugung der Vielzahl an Startzustände kann mittels eines
Zufallsverfahrens erfolgen.
Ein weiterer Aspekt der vorliegenden Erfindung ist die Verwendung eines künstlichen neuronalen Netzes gemäß der vorliegenden Erfindung zur Steuerung eines Fahrzeugs.
Die Verwendung umfasst die nachstehenden Schritte.
Ermitteln einer Pfadvorhersage für das Fahrzeug mittels des künstlichen neuronalen Netzes. Für diesen Schritt können dem zuvor trainierten künstlichen neuronale Netz als Eingangsgrößen ein Startzustand des Fahrzeugs, ein
Endzustand des Fahrzeugs und eine Information über die Umgebung des Fahrzeugs zugeführt werden. Das künstliche neuronale Netz kann als
Ausgangsgröße eine Information über einen Pfad des Fahrzeugs bereitstellen.
Auswählen einer Position aus der ermittelten Pfadvorhersage. Für diesen Schritt kann aus der ermittelten Pfadvorhersage für das Fahrzeug mindestens eine Position ausgewählt werden. Die Auswahl der Position kann dabei so erfolgen, dass aus der Ausgabegröße des künstlichen neuronalen Netzes, die bspw. einen Tensor umfasst, aus einer Matrix des Tensors eine Zelle ausgewählt wird, die im dem vorgesagten Pfad des Fahrzeugs zugeordnet wurde. Denkbar ist auch die Auswahl mindestens einer Zelle, die eine diskrete Position repräsentiert.
Erzeugen einer kontinuierlichen Position abhängig von der bestimmten Zelle. Dieser Schritt basiert auf der Erkenntnis, dass die Zellen des vorhergesagten Pfads lediglich diskrete Positionsangaben darstellen, die einen der Auflösung entsprechenden Bereich der Umgebung des Fahrzeugs darstellen. Bspw. einen Bereich von 60 cm x 60 cm. Zum einen wird durch die Kontinuisierung der diskreten Position der gesamte Wertebereich an möglichen Positionen abgedeckt. Zum anderen lässt sich durch die Kontinuisierung der diskreten Position die Steuerung auf einfache Weise vereinfachen.
Bestimmen einer Orientierung an der ausgewählten Position bzw. aus der korrespondierenden Zelle. Dieser Schritt basiert auf der Erkenntnis, dass die Ausgabe des künstlichen neuronalen Netzes neben den Positionen, die zu dem ermittelten Pfad des Fahrzeugs gehören auch entsprechende Orientierungen an den jeweiligen Positionen ermittelt hat. D.h. zu jeder Zelle existiert eine
Information über die Position des Fahrzeugs und eine Information über die Orientierung des Fahrzeugs. In Abhängigkeit von der ausgewählten Zelle für die Position kann die zugehörige Orientierung des Fahrzeugs ausgewählt werden. Die Bestimmung der Orientierung kann dabei so erfolgen, dass aus der
Ausgabegröße des künstlichen neuronalen Netzes, die bspw. einen Tensor umfasst, aus einer Matrix bzw. Matrizen des Tensors eine bzw. mehrere Zellen ausgewählt werden, die korrespondierende Zellen zu der ausgewählten Position darstellen. Bestimmen einer Pose für das Fahrzeug durch Zusammenführen der erzeugten kontinuierlichen Position und der bestimmten Orientierung. Für diesen Schritt wird die kontinuisierte Position und die bestimmte Orientierung des Fahrzeugs zu einer Pose für die Steuerung des Fahrzeugs zusammengeführt.
Steuern des Fahrzeugs in Abhängigkeit der bestimmten Pose. Für diesen Schritt können die bestimmten Posen einem Bewegungsplaner zugeführt werden. Ein geeigneter Bewegungsplaner ist der Bidirectional RRT* (BiRRT*).
Unter Steuern des Fahrzeugs kann vorliegend verstanden werden einen
Bewegungsplan für das Fahrzeug in Abhängigkeit der bestimmten Pose zu berechnen und darauf basierend die Fahrzeugsysteme derart anzusteuern, dass das Fahrzeug im Wesentlichen dem berechneten Bewegungsplan folgt.
Bei der Verwendung kann als künstliches neuronales Netz ein Convolutional Neural Network eingesetzt werden.
Der Einsatz eines Convolutional Neural Network (CNN) als künstliches neuronales Netz eignet sich besonders, da sich diese Art der künstlichen neuronalen Netze besonders gut für die Verarbeitung von hoch-dimensionalen Eingangsgrößen und der Bestimmung von multimodalen Positionsverteilungen für ein Fahrzeug eignen und sie daher auf die multimodale Pfadvorhersage gegeben einer hochdimensionalen Umfeldrepräsentation trainiert werden können.
Die Verwendung des künstlichen neuronalen Netzes eignet sich für komplexe Fahrmanöver wie bspw. Einparkmanöver, Umkehrmanöver oder
Ausweichmanöver.
Nach einer Ausführungsform der Verwendung gemäß der vorliegenden Erfindung wird im Schritt des Auswählens die Pose mittels eines Verfahrens der
Wahrscheinlichkeitsfunktion ausgewählt. Im Schritt des Auswählens kann eine Pose nur dann ausgewählt werden, wenn die Wahrscheinlichkeit für die Zugehörigkeit des ermittelten Pfads über einem vorbestimmten Schwellenwert liegt.
Der Schwellenwert kann an die praktischen und tatsächlichen Erfordernisse angepasst werden. Ziel des Schwellenwerts ist es die Ausgabe des künstlichen neuronalen Netzes derart weiter zu verwenden, dass lediglich die Teile der Pfadvorhersage verwendet werden, die mit für die praktischen und tatsächlichen Erfordernisse erforderlichen Wahrscheinlichkeit zu dem zu befahrenden Teil der Umgebung gehören. Der Schwellenwert kann zwischen 45 % und 55 % liegen. Der Schwellenwert kann bei 50 % liegen.
Das Vorsehen eines solchen Schwellenwerts führt dazu, dass der
Bewegungsplaner für die Bewegungsplanung nur Bereiche der Umgebung des Fahrzeugs berücksichtigt, die mit hoher bzw. überwiegender Wahrscheinlichkeit zu befahrende Bereiche darstellen.
Nach einer Ausführungsform der Verwendung gemäß der vorliegenden Erfindung wird im Schritt Erzeugens einer kontinuierlichen Position aus einer diskreten Position des ermittelten Pfads mittels einer uniformen Verteilung die
kontinuierliche Position erzeugt.
Diese Ausführungsform weist den Vorteil auf, dass die diskreten Positionen, die durch das künstliche neuronale Netz bestimmt wurden, in eine kontinuierliche Positionsangabe umgewandelt werden. Dies führt zu einer Gesamtabdeckung des möglichen Wertebereichs der Positionen innerhalb einer Zelle, da die diskreten Positionssamples je nach Auflösung der Eingangs- bzw.
Ausgangsgrößen einen nicht unerheblichen Bereich der Umgebung des
Fahrzeugs abdecken. Bspw. umfasst eine Zelle einen Bereich von 60 cm x 60 cm je nach Parametrierung der Eingabedaten.
Nach einer Ausführungsform der Verwendung gemäß der vorliegenden Erfindung wird im Schritt des Bestimmens einer Orientierung die Orientierung mittels eines Verfahrens zur Interpolation, insbesondere zur bilinearen Interpolation, aus der Orientierung an dem Zellmittelpunkt zur kontinuierlichen gesampelten Position durch die Orientierung der angrenzenden Zellen bestimmt.
Diese Ausführungsform weist den Vorteil auf, dass die Orientierungsangabe genauer zu der Positionsangabe passt. Gerade in dem Zusammenhang, dass die Positionssamples diskrete Positionsangaben darstelle und für jede
Positionsangabe eine Orientierungsangabe vorliegt, führt eine Interpolation der Orientierungsangabe dazu, dass die Orientierungsangabe besser zur jeweiligen Positionsangabe passt. Der Vorteil dieses Merkmals tritt insbesondere dann hervor, wenn die diskrete Positionsangabe in eine kontinuierliche
Positionsangabe umgewandelt wurde.
Ein weiterer Aspekt der vorliegenden Erfindung ist ein Computerprogramm, das zur Verwendung eines künstlichen neuronalen Netzes gemäß der vorliegenden Erfindung zur Steuerung eines Fahrzeugs eingerichtet ist.
Gerade die Kombination von klassischen Bewegungsplanungsverfahren mit Verfahren des maschinellen Lernens, insbesondere durch den Einsatz von künstlichen neuronalen Netzen, hilft das Dilemma zu lösen auf schnelle Art und Weise sichere Trajektorien für die Steuerung eines Fahrzeugs auch in komplexen Manövern.
Nachstehend werden Ausführungsformen der vorliegenden Erfindung anhand von Zeichnungen erläutert.
Es zeigen:
Fig. 1 ein Ablaufdiagramm einer Ausführungsform des Verfahrens zum Trainieren eines künstlichen neuronalen Netzes gemäß der vorliegenden Erfindung;
Fig. 2 eine schematische Darstellung eines künstlichen neuronalen Netzes gemäß der vorliegenden Erfindung;
Fig. 3 ein Ablaufdiagramm einer Ausführungsform des Verfahrens zum Steuern eines Fahrzeugs gemäß der vorliegenden Erfindung. Figur 1 zeigt ein Ablaufdiagramm einer Ausführungsform des Verfahrens zum Trainieren eines künstlichen neuronalen Netzes gemäß der vorliegenden Erfindung.
Das mit dem vorliegenden Trainingsverfahren zu trainierende künstliche neuronale Netzwerk ist geeignet zur Bestimmung eines Pfads eines Fahrzeugs als Ausgabegröße in Abhängigkeit von einem Ausgangszustand des Fahrzeugs, einem Endzustand des Fahrzeugs und einer Information über die Umgebung des Fahrzeugs als Eingangsgröße, wobei der Pfad mindestens eine Pose des Fahrzeugs umfasst, wobei eine Pose eine diskrete Information einer Position und eine kontinuierliche Information einer Orientierung an der Position umfasst.
Im Schritt 101 erfolgt die Optimierung des künstlichen neuronalen Netzes. Beim Optimieren werden die Bestimmung der diskreten Informationen und die
Bestimmung der kontinuierlichen Informationen, also Klassifikation der möglichen Positionen und Regression der dazugehörigen Fahrzeugorientierungen gemeinsam optimiert.
Die Optimierung bzw. das Training des künstlichen neuronalen Netzes kann Ende zu Ende mittels aufgenommenen Trajektorien erfolgen. Die Trajektorien können dabei von aufgezeichneten realen Manöverfahrten stammen. Ferner ist es denkbar Manöverfahrten in geeigneten Simulatoren zu simulieren und die Trajektorien der Simulation zu entnehmen.
Die Parameter des künstlichen neuronalen Netzes können durch die Anwendung eines Verfahrens zur stochastischen Optimierung und der Verlustfunktion
Figure imgf000014_0001
wobei c eine Zelle der Ausgabe des künstlichen neuronalen Netzes bezeichnet, der erste Term zellweise der Verlust der Kreuzentropie LCE(c) der
Klassifizierungsaufgabe, der zweite Term zellweise die mittlere quadratische Abweichung LMSE(c) der Regressionsaufgabe und der letzte Term den L2 Regularisierungsverlust der Gewichte -w e W mit dem Skalierungsfaktor 1 beschreibt.
Dadurch, dass in der Verlustfunktion sowohl der Verlust der Kreuzentropie der Klassifizierungsaufgabe als auch die mittlere quadratische Abweichung der Regressionsaufgabe gemeinsam berücksichtigt werden, erfolgt die
erfindungsgemäße gemeinsame Optimierung.
Die Bestimmungseigenschaften des Modells können durch die zwei nachstehend erläuterten Metriken ermittelt werden.
Die erste Metrik misst die Nähe von N bestimmten Posen
Figure imgf000015_0001
zur vorgegebenen Trajektorie (eng. ground truth trajectory) xt e c durch die
Ermittlung der mittleren Pfadabweichung D gemäß
Figure imgf000015_0002
wobei d(-) den Abstand zwischen einer Pose der Trajektorie und einer bestimmten Pose beschreibt. Die Berechnung erfolgt dabei mittels einer gewichteten Summe der Euklidischen Distanz und der Winkelabweichung gemäß
Figure imgf000015_0003
wobei den unterschiedlichen Einheiten der beiden Terme dadurch Rechnung getragen werden kann, dass die Gewichte wpos und
Figure imgf000015_0004
entsprechend angepasst werden. Bspw. auf wpos = 0,35 und -mg — 0,65 gesetzt werden.
Die zweite Metrik misst den maximalen Bestimmungsabstand G mittels den nachstehend erläuterten zwei Schritten. (1) Jede bestimmte Pose wird auf die vorgegebene Trajektorie abgebildet und (2) es wird die maximale Länge bestimmt, die nicht von einer bestimmten Pose abgedeckt wird. Die Abbildung des ersten Schritts kann wie folgt beschrieben werden
Figure imgf000015_0005
wobei \ die Referenzpose der bestimmten Pose L
Figure imgf000016_0001
auf der vorgegebenen
Trajektorie ist. Die Referenzposen werden gemäß ihrer Bogenlänge zu einer geordneten Liste jrejf zusammengefasst. Der maximale Bestimmungsabstand
G e [0, 1] bestimmt sich dann wie nachstehend angegeben nach
Figure imgf000016_0002
wobei die Länge der vorgegebenen Trajektorie sT beträgt.
In künstlichen neuronalen Netzen bei denen die annotierten (eng. labeled) Eingabegrößen (hier: grids) keine Pfadinformation enthalten, d.h. für den zukünftigen Pfad des Fahrzeugs irrelevante Positionen darstellen, kann eine Hochskalierung der relevanten Zellen mit den Funktonen fCE(c) und iWSg(c) erfolgen, wenn die Funktionen die nachstehenden Abbildungen beschreiben
Figure imgf000016_0003
wobei yCE und MS£ Hyperparameter des Modells und \c eine Indikatorfunktion ist, die 1 annimmt, wenn der zukünftige Pfad die Zelle c kreuzt, ansonsten 0 annimmt.
Im Rahmen der Optimierung können auch die Hyperparameter des Modells optimiert werden. Grundsätzlich können alle Hyperparameter des Modells optimiert werden.
In Versuchen wurde festgestellt, dass bereits gute Ergebnisse erzielt werden können, wenn nur eine Teilmenge der Hyperparameter optimiert wird. So kann die Dämpfung der exponentiellen Lernrate trd und der Skalierungsfaktor 2 der L2 Regularisierung auf trd = 0,01 nach 106 Iterationen und 2 = 0,003 festgelegt werden. Die weiteren drei Hyperparameter die Lernrate Ir sowie yCE und yMSE können in einem zweischrittigen Ansatz optimiert werden. Im ersten Schritt wird die Lernrate Ir variiert während yCE und yMSE konstant auf dem Wert 25 gehalten werden. Im zweiten Schritt wird die Lernrate Ir auf ihrem zuvor ermittelten Bestwert gehalten, yC£ und yMSE zu optimieren.
Dem Fachmann ist dabei klar, dass die im vorherigen Abschnitt vorgeschlagenen Größen für die Hyperparameter stark von den verwendeten künstlichen neuronalen Netzen und insbesondere von deren Implementierung auf entsprechenden Rechenressourcen abhängt. Und daher vorliegend lediglich beispielhaft aufgeführt werden.
Fig. 2 zeigt eine schematische Darstellung eines künstlichen neuronalen Netzes 2 gemäß der vorliegenden Erfindung. Bei dem dargestellten künstlichen neuronalen Netz 2 handelt es sich um ein Convolutional Neural Network (CNN) realisiert nach der Encoder-Decoder-Architektur. Das dargestellte CNN basiert auf dem SegNet zur semantischen Segmentierung.
Die semantische Segmentierung wird typischerweise auf Bilder angewendet.
Eine Darstellung der Bilder wird als Eingangstensor einem entsprechend trainierten künstlichen neuronalen Netz zugeführt. Bei einer semantischen Segmentierung werden im Bild erkannte Objekte pixelgenau im Bild markiert. Die Objektklasse wird entsprechend für jeden Pixel des Bildes ausgegeben.
Das dargestellte künstliche neuronale Netz nimmt 5 Matrizen (bzw. Grids) als Eingangstensor auf. Diese Matrizen umfassen Informationen über die Umgebung des Fahrzeugs. Das sind bspw. Informationen über statische Hindernisse, unbekannte bzw. nicht erfassbare Bereich, ein Teil des bisher zurückgelegten Pfades sowie den Start- und (geplanten) Endzustand des Fahrzeugs. Der Endzustand hängt dabei von dem bevorstehenden Manöver ab. Handelt es sich bspw. um ein Parkmanöver, dann kann der Endzustand den eingeparkten Zustand des Fahrzeugs beschreiben. Handelt es sich bspw. um ein Umkehr oder Ausweichmanöver, dann kann der Endzustand den Zustand des Fahrzeugs nach dem Umkehren bzw. dem Ausweichen beschreiben.
Unter einem Zustand des Fahrzeugs kann vorliegend die Position des
Fahrzeugs, die Orientierung des Fahrzeugs an der Position sowie die
Geschwindigkeit des Fahrzeugs an der Position verstanden werden. Beim Durchlaufen des CNN 2 wird der Eingangstensor zunächst durch einen Encoder 201, durch ein Kontextmodul 202, und anschließend durch einen Decoder 203 geführt. Im Encoder 201 wird der Eingangstensor 21 in seiner räumlichen Dimension reduziert und gleichzeitig in seine Tiefe erhöht (Anstieg der Feature-Maps). Das Kontextmodul 202 erhöht die Tiefe des Netzes, indem es die räumliche Dimension des Tensors beibehält, allerdings zusätzliche Feature- Maps berechnet. Im Decoder 203 wird der gefaltete Tensor bis auf seine
Ursprungsgröße aufgefaltet und als Ausgangstensor 22 ausgegeben. Dies erfolgt durch abwechselnde Blöcke bestehend aus Faltungsschichten (eng.
convolutional layer) 23, Pooling-Schichten (eng. pooling layer) 24 und Unpooling- Schichten (eng. unpooling layer) 25. Die Faltungsschichten 23 können dabei einen 3x3 Kern (eng. kernel) und eine Schrittweite (eng. stride) von 1 aufweisen. Die Pooling-Schichten 24 können einen 2x2 Kern und die Unpooling-Schichten 25 einen 2x2 Kern aufweisen. Auf jede Faltungsschicht 23, mit Ausnahme der letzten, können eine Stapelnormalisierung (eng. Batch Normalization) und eine ReLU Aktivierung (eng. ReLU activation) folgen.
Das dargestellte CNN 2 gibt 4 Matrizen mit der gleichen Auflösung wie die des Eingangstensors 21 als Ausgabetensor 22 aus. Zwei der Matrizen enthalten die Ergebnisse der Klassifizierungsaufgabe. D.h. sie beinhalten eine pixelweise Information, ob ein Pixel zu dem zukünftigen Pfad gehört oder nicht. Die zwei anderen Matrizen enthalten die Ergebnisse der Regressionsaufgabe. D.h. sie beinhalten eine pixelweise Information über die Orientierung des Fahrzeugs an der jeweiligen Position, wobei die eine der Matrizen den Sinusanteil der
Orientierung des Fahrzeugs und die andere der Matrizen den Cosinusanteil der Orientierung beinhaltet. Ein Sinus- und Cosinusanteil von 0 an einem Pixel stellt an sich einen ungültigen Wert im Einheitskreis dar, kann dagegen genutzt werden, um zu kodieren, dass der Pixel nicht teil eines bestimmten Pfades ist.
Figur 3 zeigt ein Ablaufdiagramm einer Ausführungsform des Verfahrens zum Steuern eines Fahrzeugs gemäß der vorliegenden Erfindung.
In Schritt 301 erfolgt eine Pfadvorhersage mittels eines künstlichen neuronalen Netzes gemäß der vorliegenden Erfindung. Für diesen Schritt können dem zuvor trainierten künstlichen neuronale Netz als Eingangsgrößen ein Startzustand des Fahrzeugs, ein Endzustand des Fahrzeugs und eine Information über die
Umgebung des Fahrzeugs zugeführt werden. Das künstliche neuronale Netz kann als Ausgangsgröße eine Information über einen Pfad des Fahrzeugs bereitstellen.
In Schritt 302 wird eine diskrete Position aus der bestimmten Pfadvorhersage ausgewählt. Für diesen Schritt kann aus der Pfadvorhersage für das Fahrzeug mindestens eine Pose ausgewählt werden. Denkbar ist auch die Auswahl mindestens einer Zelle, die eine diskrete Position repräsentiert.
In Schritt 303 wird eine kontinuierliche Position an der ausgewählten Position erzeugt. Dieser Schritt basiert auf der Erkenntnis, dass die Zellen des
vorhergesagten Pfads lediglich diskrete Positionsangaben darstellen, die einen der Auflösung entsprechenden Bereich der Umgebung des Fahrzeugs darstellen. Bspw. einen Bereich von 60 cm x 60 cm. Zum einen wird durch die
Kontinuisierung der diskreten Position der gesamte Wertebereich an möglichen Positionen abgedeckt. Zum anderen lässt sich durch die Kontinuisierung der diskreten Position die Steuerung auf einfache Weise vereinfachen.
In Schritt 304 wird eine Orientierung an der ausgewählten Position bestimmt. Dieser Schritt basiert auf der Erkenntnis, dass die Ausgabe des künstlichen neuronalen Netzes neben den Positionen, die zu dem ermittelten Pfad des Fahrzeugs gehören auch entsprechende Orientierungen an den jeweiligen Positionen ermittelt hat. D.h. zu jeder Zelle existiert eine Information über die Position des Fahrzeugs und eine Information über die Orientierung des
Fahrzeugs. In Abhängigkeit von der ausgewählten Zelle für die Position kann die zugehörige Orientierung des Fahrzeugs ausgewählt werden.
Gemäß einer Ausführungsform kann für die bestimmte Orientierung eine bilineare Interpolation in Bezug von der erzeugten kontinuierlichen Position durchgeführt werden.
In Schritt 305 wird eine Pose zur Steuerung des Fahrzeugs durch
Zusammenführen der erzeugten kontinuierlichen Position und der bestimmten Orientierung bestimmt. Für diesen Schritt kann die kontinuisierte Position und die bestimmte Orientierung des Fahrzeugs zu einer Pose für die Steuerung des Fahrzeugs zusammengeführt. Gemäß einer Ausführungsform wird die kontinuisierte Information einer Position des Fahrzeugs mit der bilinear interpolierten Information einer Orientierung des Fahrzeugs zusammengeführt und bildet die Pose zu Steuerung des Fahrzeugs.
In Schritt 306 wird das Fahrzeug in Abhängigkeit von der bestimmten Pose gesteuert. Für diesen Schritt können die bestimmten Posen einem
Bewegungsplaner zugeführt werden. Ein geeigneter Bewegungsplaner ist der Bidirectional RRT* (BiRRT*).
Die Steuerung des Fahrzeugs kann dabei derart erfolgen, dass die bestimmte Pose bei der Berechnung eines Bewegungsplans für das Fahrzeug berücksichtigt wird. Die Steuerung des Fahrzeugs kann dann derart erfolgen, dass die
Fahrzeugsysteme derart angesteuert werden, dass das Fahrzeug im
Wesentlichen dem berechneten Bewegungsplan folgt.

Claims

1. Verfahren zum Trainieren eines künstlichen neuronalen Netzes,
insbesondere eines Convolutional Neural Networks, zur Bestimmung einer Pfadvorhersage für ein Fahrzeug als Ausgabegröße in Abhängigkeit von einem Ausgangszustand des Fahrzeugs, einem Endzustand des Fahrzeugs und einer Information über die Umgebung des Fahrzeugs als
Eingangsgrößen, wobei der Pfad mindestens eine Pose des Fahrzeugs umfasst, wobei eine Pose eine Information einer Position und eine
Information einer Orientierung an der Position umfasst, mit den Schritten:
Optimieren des künstlichen neuronalen Netzes, wobei im Schritt des Optimierens die Bestimmung der Informationen einer Position und die Bestimmung der Informationen einer Orientierung gemeinsam optimiert werden.
2. Verfahren nach Anspruch 1, wobei im Schritt des Optimierens die
Optimierung in Abhängigkeit von einer vorgegebenen Sequenz an Posen erfolgt.
3. Verfahren nach Anspruch 2, wobei im Schritt des Optimierens zu der
vorgegebenen Sequenz an Posen eine Vielzahl an Ausgangszuständen des Fahrzeugs erzeugt wird, insbesondere wobei die Erzeugung mittels eines Zufallsverfahrens erfolgt.
4. Computerprogramm, welches eingerichtet ist, alle Schritte des Verfahrens nach einem der Ansprüche 1 bis 3 auszuführen.
5. Maschinenlesbares Speichermedium, auf dem das Computerprogramm nach Anspruch 4 gespeichert ist.
6. Künstliches neuronales Netz, insbesondere Convolutional Neural Network, zur Bestimmung einer Pfadvorhersage für ein Fahrzeug als Ausgabegröße in Abhängigkeit von einem Ausgangszustand des Fahrzeugs, einem
Endzustand des Fahrzeugs und einer Information über die Umgebung des Fahrzeugs als Eingangsgrößen, wobei der Pfad mindestens eine Pose des Fahrzeugs umfasst, wobei eine Pose eine Information einer Position und eine Information einer Orientierung an der Position umfasst, trainiert mittels eines Verfahrens nach einem der Ansprüche 1 bis x.
7. Künstliches neuronales Netz nach Anspruch 6, wobei die Information über die Position eine diskrete Information ist und das künstliche neuronale Netz derart gestaltet ist, dass die Information einer Position mittels einer
Klassifikation erzielt wird.
8. Künstliches neuronales Netz nach Anspruch 6 oder7, wobei die Information über die Orientierung eine kontinuierliche Information ist und das künstliche neuronale Netz derart gestaltet ist, dass die Information einer Orientierung mittels einer Regression erzielt wird.
9. Künstliches neuronales Netz nach einem der Ansprüche 6 bis 8, wobei die Information einer Orientierung einen Sinusanteil und Cosinusanteil des Einheitskreises umfasst.
10. Verwendung eines künstlichen neuronalen Netzes, insbesondere ein
Convolutional Neural Network, nach einem der Ansprüche 6 bis 9 zur Steuerung eines Fahrzeugs, insbesondere innerhalb für ein komplexes Fahrmanöver, insbesondere für ein Ausweichmanöver und/oder für ein Parkmanöver und/oder für ein Umkehrmanöver mit den Schritten:
Bestimmen einer Pfadvorhersage für das Fahrzeug mittels des künstlichen neuronalen Netzes nach einem der Ansprüche 6 bis 9;
Auswählen einer Position aus der bestimmten Pfadvorhersage;
Erzeugen einer kontinuierlichen Position aus der ausgewählten Position; Bestimmen einer Orientierung an der ausgewählten Position;
Bestimmen einer Pose für das Fahrzeug durch Zusammenführen der erzeugten kontinuierlichen Position und der bestimmten Orientierung;
Steuern des Fahrzeugs in Abhängigkeit der bestimmten Pose.
11. Verwendung nach Anspruch 10, wobei im Schritt des Auswählens der
Position mittels eines Verfahrens der Wahrscheinlichkeitsfunktion ausgewählt wird.
12. Verfahren nach Anspruch 11, wobei im Schritt des Auswählens eine Position nur dann ausgewählt wird, wenn die Wahrscheinlichkeit für die Zugehörigkeit der bestimmten Pfadvorhersage über einem vorbestimmten Schwellenwert liegt, insbesondere wobei der Schwellenwert zwischen 45 % und 55 %, insbesondere bei 50 % liegt.
13. Verwendung nach einem der Ansprüche 10 bis 12, wobei im Schritt
Erzeugens einer kontinuierlichen Position aus einer diskreten Position der bestimmten Pfadvorhersage mittels einer uniformen Verteilung die kontinuierliche Position erzeugt wird.
14. Verwendung nach einem der Ansprüche 10 bis 13, wobei im Schritt des
Bestimmens einer Orientierung die Orientierung mittels eines Verfahrens zur Interpolation, insbesondere zur bilinearen Interpolation, aus der Orientierung der ausgewählten Position bestimmt wird.
15. Computerprogramm, welches eingerichtet ist alle Schritte der Verwendung eines künstlichen neuronalen Netzes nach einem der Ansprüche 6 bis 9 gemäß einem der Ansprüche 10 bis 14 zur Steuerung eines Fahrzeugs auszuführen.
16. Maschinenlesbares Speichermedium, auf dem das Computerprogramm nach Anspruch 16 gespeichert ist
17. Vorrichtung zur Steuerung eines Fahrzeugs, die eingerichtet ist zur Verwendung eines künstlichen neuronalen Netzes nach einem der Ansprüche 6 bis 9 gemäß einem der Ansprüche 10 bis 14.
PCT/EP2019/080025 2018-11-06 2019-11-04 Verfahren zum trainieren eines künstlichen neuronalen netzes, künstliches neuronales netz, verwendung eines künstlichen neuronalen netzes sowie entsprechendes computerprogramm, maschinenlesbares speichermedium und entsprechende vorrichtung WO2020094534A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102018008685.3 2018-11-06
DE102018008685.3A DE102018008685A1 (de) 2018-11-06 2018-11-06 Verfahren zum Trainieren eines künstlichen neuronalen Netzes, künstliches neuronales Netz, Verwendung eines künstlichen neuronalen Netzes sowie entsprechendes Computerprogramm maschinenlesbares Speichermedium und entsprechende Vorrichtung

Publications (1)

Publication Number Publication Date
WO2020094534A1 true WO2020094534A1 (de) 2020-05-14

Family

ID=68468716

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2019/080025 WO2020094534A1 (de) 2018-11-06 2019-11-04 Verfahren zum trainieren eines künstlichen neuronalen netzes, künstliches neuronales netz, verwendung eines künstlichen neuronalen netzes sowie entsprechendes computerprogramm, maschinenlesbares speichermedium und entsprechende vorrichtung

Country Status (2)

Country Link
DE (1) DE102018008685A1 (de)
WO (1) WO2020094534A1 (de)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117579535A (zh) * 2024-01-15 2024-02-20 深圳市宇通联发科技有限公司 传输路径规划方法、装置、系统及介质

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11442459B2 (en) * 2019-12-11 2022-09-13 Uatc, Llc Systems and methods for training predictive models for autonomous devices
CN112556682B (zh) * 2021-02-07 2023-06-23 天津蓝鳍海洋工程有限公司 一种水下复合传感器目标自动检测算法
CN113592885B (zh) * 2021-06-29 2024-03-12 中南大学 基于SegNet-RS网络的大障碍物轮廓分割方法
DE102021208472B3 (de) 2021-08-04 2022-12-01 Continental Autonomous Mobility Germany GmbH Computerimplementiertes Verfahren zum Trainieren eines Machine-Learning-Modells für ein Fahrzeug oder einen Roboter
DE102022200147A1 (de) 2022-01-10 2023-07-13 Robert Bosch Gesellschaft mit beschränkter Haftung Erkennung mit höherer Sicherheitsintegrität von Eigenschaften einer Szenerie durch Abgleich von Sensordaten mit einer Erwartung

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107697065A (zh) * 2017-10-16 2018-02-16 北方工业大学 一种面向一般停车场景的自动泊车控制方法
US20180292825A1 (en) * 2017-04-07 2018-10-11 Nvidia Corporation Performing autonomous path navigation using deep neural networks

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180292825A1 (en) * 2017-04-07 2018-10-11 Nvidia Corporation Performing autonomous path navigation using deep neural networks
CN107697065A (zh) * 2017-10-16 2018-02-16 北方工业大学 一种面向一般停车场景的自动泊车控制方法

Non-Patent Citations (9)

* Cited by examiner, † Cited by third party
Title
AUS D. P. KINGMAJ. L. BA: "Adam: A Method for Stochastic Optimization", INTERNATIONAL CONFERENCE ON LEARNING REPRESENTATIONS, 2015
AUS M. JORDANA. PEREZ: "Optimal Bidirectional Rapidly-Exploring Random Trees", MIT, TECH. REP., 2013, pages 2013 - 021
AUS N. PEREZ-HIGUERAS ET AL.: "Learning Human-Aware Path Planning with Fully Convolutional Networks", IEEE INTERNATIONAL CONFERENCE ON ROBOTICS AND AUTOMATION, 2018
AUS V. BADRINARAYANAN ET AL.: "SegNet: A Deep Convolutional Encoder-Decoder Architecture for Image Segmentation", ARXIV PREPRINT ARXIV, 2015
BANZHAF HOLGER ET AL: "Hybrid curvature steer: A novel extend function for sampling-based nonholonomic motion planning in tight environments", 2017 IEEE 20TH INTERNATIONAL CONFERENCE ON INTELLIGENT TRANSPORTATION SYSTEMS (ITSC), IEEE, 16 October 2017 (2017-10-16), pages 1 - 8, XP033330418, DOI: 10.1109/ITSC.2017.8317757 *
BAUMANN ULRICH ET AL: "Predicting Ego-Vehicle Paths from Environmental Observations with a Deep Neural Network", 2018 IEEE INTERNATIONAL CONFERENCE ON ROBOTICS AND AUTOMATION (ICRA), IEEE, 21 May 2018 (2018-05-21) - 25 May 2018 (2018-05-25), pages 1 - 9, XP033403219, DOI: 10.1109/ICRA.2018.8460704 *
HOLGER BANZHAF ET AL: "Learning to Predict Ego-Vehicle Poses for Sampling-Based Nonholonomic Motion Planning", 3 December 2018 (2018-12-03), XP055660122, Retrieved from the Internet <URL:https://arxiv.org/pdf/1812.01127v1.pdf> [retrieved on 20200124] *
PEREZ-HIGUERAS NOE ET AL: "Learning Human-Aware Path Planning with Fully Convolutional Networks", 2018 IEEE INTERNATIONAL CONFERENCE ON ROBOTICS AND AUTOMATION (ICRA), IEEE, 21 May 2018 (2018-05-21) - 25 May 2018 (2018-05-25), pages 1 - 5, XP033403328, DOI: 10.1109/ICRA.2018.8460851 *
PETER WOLF ET AL: "Adaptive Behavior Generation for Autonomous Driving using Deep Reinforcement Learning with Compact Semantic States", ARXIV.ORG, CORNELL UNIVERSITY LIBRARY, 201 OLIN LIBRARY CORNELL UNIVERSITY ITHACA, NY 14853, 10 September 2018 (2018-09-10), XP081189194 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117579535A (zh) * 2024-01-15 2024-02-20 深圳市宇通联发科技有限公司 传输路径规划方法、装置、系统及介质
CN117579535B (zh) * 2024-01-15 2024-04-09 深圳市宇通联发科技有限公司 传输路径规划方法、装置、系统及介质

Also Published As

Publication number Publication date
DE102018008685A1 (de) 2020-05-07

Similar Documents

Publication Publication Date Title
WO2020094534A1 (de) Verfahren zum trainieren eines künstlichen neuronalen netzes, künstliches neuronales netz, verwendung eines künstlichen neuronalen netzes sowie entsprechendes computerprogramm, maschinenlesbares speichermedium und entsprechende vorrichtung
EP3765927B1 (de) Verfahren zum erzeugen eines trainingsdatensatzes zum trainieren eines künstlichen-intelligenz-moduls für eine steuervorrichtung eines fahrzeugs
EP3785177A1 (de) Verfahren und vorrichtung zum ermitteln einer netzkonfiguration eines neurona-len netzes
DE102018201570A1 (de) Multiple-Target-Object-Tracking-Verfahren, Vorrichtung und Computerprogramm zum Durchführen eines Multiple-Target-Object-Tracking für bewegliche Objekte
WO2020187591A1 (de) Verfahren und vorrichtung zum ansteuern eines roboters
WO2020249758A1 (de) Verfahren und generator zum erzeugen von gestörten eingangsdaten für ein neuronales netz
DE102021200348A1 (de) Computerimplementiertes verfahren zum trainieren eines computervisionsmodells
WO2020249755A1 (de) Verfahren zum betreiben eines fahrassistenzsystems eines fahrzeugs und fahrerassistenzsystem für ein fahrzeug
DE102020200503A1 (de) Verfahren zum Generieren von gelabelten Daten, insbesondere für das Training eines neuronalen Netzes, mittels Verbesserung initialer Label
DE102019207410A1 (de) Verfahren und Vorrichtung für eine automatisierte Beeinflussung eines Aktuators
DE102021213344A1 (de) Verfahren zum Ermitteln von Agenten-Trajektorien in einem Multi-Agenten-Szenario
DE102021133977A1 (de) Verfahren und System zur Klassifikation von Szenarien eines virtuellen Tests sowie Trainingsverfahren
EP3650964B1 (de) Verfahren zum steuern oder regeln eines technischen systems
DE102021210533A1 (de) Einrichtung und Verfahren zum Steuern eines Agenten
DE102020213527A1 (de) Verfahren zum Optimieren einer Strategie für einen Roboter
DE102019128223A1 (de) Verfahren, Vorrichtungen und Computerprogramme
DE102019217951A1 (de) Verfahren und Vorrichtung zum Bestimmen einer Domänendistanz zwischen mindestens zwei Datendomänen
DE102021208472B3 (de) Computerimplementiertes Verfahren zum Trainieren eines Machine-Learning-Modells für ein Fahrzeug oder einen Roboter
DE102021208722A1 (de) Konfigurieren eines neuronalen Netzwerks auf äquivariantes oder invariantes Verhalten
DE102021212906A1 (de) Verfahren zum Steuern eines Agenten
DE102021210593A1 (de) Verfahren zum Trainieren eines neuronalen Umfeld-Netzwerks zum Bestimmen eines Objekt-angereicherten Umfelds einer mobilen Plattform
WO2023222343A1 (de) Verfahren zum steuern einer robotervorrichtung
DE102021211909A1 (de) Verfahren zum Steuern eines Agenten
DE102021125306A1 (de) Verfahren und Vorrichtung zur Bereitstellung eines präzisen und robusten neuronalen Netzes
DE102023209384A1 (de) System und verfahren zur verteilungsbewussten zielvorhersage für modulare autonome fahrzeugsteuerung

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19798260

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19798260

Country of ref document: EP

Kind code of ref document: A1