WO2024032856A1 - Method for determining a parking space and a target position for a vehicle in the parking space - Google Patents

Method for determining a parking space and a target position for a vehicle in the parking space Download PDF

Info

Publication number
WO2024032856A1
WO2024032856A1 PCT/DE2023/200155 DE2023200155W WO2024032856A1 WO 2024032856 A1 WO2024032856 A1 WO 2024032856A1 DE 2023200155 W DE2023200155 W DE 2023200155W WO 2024032856 A1 WO2024032856 A1 WO 2024032856A1
Authority
WO
WIPO (PCT)
Prior art keywords
parking space
section
information
neural network
vehicle
Prior art date
Application number
PCT/DE2023/200155
Other languages
German (de)
French (fr)
Inventor
Mohanad Youssef
Original Assignee
Continental Autonomous Mobility Germany GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Continental Autonomous Mobility Germany GmbH filed Critical Continental Autonomous Mobility Germany GmbH
Publication of WO2024032856A1 publication Critical patent/WO2024032856A1/en

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/586—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of parking space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Definitions

  • the invention relates to a method and a system for determining a parking space and a target position of a vehicle in the parking space using a neural network.
  • Methods for determining a parking space and a target position of a vehicle in the parking space are known from the prior art. Based on the environmental information determined by sensors, an environmental model is first formed. The scene is then interpreted based on this environmental model, a parking space is detected and the target position of the vehicle in the parking space is determined. Complex algorithms are used that use a variety of if-then queries and look-up tables.
  • the problem with the known methods is that the software code that implements the method for determining the parking space or the target position of the vehicle is very complex due to the large number and often different customer requirements and is therefore difficult to maintain or expand. In addition, the known methods cannot handle all parking situations in a satisfactory manner.
  • the invention relates to a method for determining a parking space and a target position of a vehicle using a neural network.
  • the procedure has the following steps:
  • the sensor system can have any type of sensor that can be used to detect the environment, for example ultrasonic sensors, radar sensors, LIDAR sensors, cameras, etc.
  • the environmental information is, for example, two-dimensional data in which the detections recorded by the sensor system are mapped.
  • a raster map of the scene is then generated with a variety of cells based on the environmental information.
  • the cells of the grid map each contain information as to whether the surrounding area corresponding to the cell is occupied by an object or not.
  • the raster map thus forms a virtual digital image and the cells form the pixels of the image, with the pixels having occupancy information, for example “0” for not occupied and “1” for occupied.
  • the cells can preferably also contain further information, for example height information about the detected objects, the density and/or intensity of the reflections received at the sensor, etc.
  • the density of the reflections received at the sensor can indicate how many feature points are in one certain cells fall.
  • the intensity of the reflections received at the sensor can indicate the signal strength of the received reflection, which in turn depends on the material and/or surface condition of the reflecting object.
  • the raster map is then transmitted to a neural network.
  • the neural network is trained to provide information about a parking space bounding frame and information about a target position of the vehicle in the parking space bounding frame based on the raster map.
  • the technical advantage of the method according to the invention is that the neural network achieves reliable and satisfactory parking space detection or determination of the target position of the vehicle.
  • several prior art software components can be replaced at the same time, namely the software component for interpreting the scene and the software component for calculating the target position.
  • the cells of the raster map have information that indicates whether the respective cell is occupied by an object that is higher or lower than a specified threshold value.
  • the neural network can be provided with additional information as to what height the object has or into which height class (high or low in relation to a predetermined threshold value) the object should be grouped, which significantly improves parking space detection, since, for example, tall objects how vehicles etc. can be distinguished from low objects such as curbs.
  • the cells of the raster map are identical to the cells of the raster map.
  • This information can be used to weight the cells in such a way that those cells that have a higher density and/or intensity are weighted more heavily by the neural network than those that have a lower density and/or intensity.
  • the neural network has several sections, namely a first section, by means of which structures of the objects contained in the raster map are recognized, a second section, by means of which one or more areas relevant for parking space detection are determined, and a third section, which receives the at least one area relevant for the parking space detection and which determines information about a parking space delimitation frame and information about a target position of the vehicle in the parking space delimitation frame within the at least one area relevant for the parking space detection.
  • the neural network therefore has a Fast R-CNN architecture or Faster R-CNN architecture, which offers high efficiency and detection accuracy in parking situations.
  • the first section has a convolutional neural network (also called convolutional neural network, CNN) with several layers, the layers each having a convolutional layer (ie a convolutional layer) and a pooling layer (ie a pooling layer or Bundling layer) and each layer provides a feature map (also called activation map or feature map) as output information.
  • the layers of the convolutional neural network are designed to recognize differently complex features of the information contained in the raster map and output them in the feature map. This means that the different feature maps provide initial information with different levels of complexity.
  • the output information of the respective convolutional layer is modified by an activation function.
  • the activation function can in particular be a ReLU activation function. This can increase the computational efficiency and convergence ability of the neural network.
  • the second section includes a selective search algorithm or a convolutional network designed to recognize and select one or more excerpts in the feature maps provided by the respective layers of the convolutional neural network of the first section and one or more relevant ones Parking space detection areas included.
  • Such an area can, for example, be a parking space with the objects delimiting this parking space.
  • the selective search algorithm or convolutional network receives multiple feature maps from different layers of the convolutional neural network of the first section. Based on the overall information contained in the feature maps, one or more relevant areas for parking space detection are determined. In other words, information from several or all feature maps is used to determine relevant areas for the detection of parking spaces.
  • the third section has at least a first fully connected layer.
  • the third section creates at least a section of the feature maps created by the first Section of the neural network are provided based on the at least one relevant area provided by the second section.
  • This at least one section of the feature maps is further processed by the at least one first fully connected layer.
  • the information contained in the feature maps is reduced to the areas relevant for parking space detection and further processed.
  • the third section comprises a pooling layer that generates at least one section of the feature maps.
  • the at least one section has a predefined size.
  • the pooling layer provides several sections that have the same size regardless of the size of the relevant areas that led to the creation of the sections. Because the sections are the same size, it is possible to simplify further processing of the information. In particular, all sections can be further processed at the same time.
  • the third section has at least a second fully-connected layer for calculating the parking space boundary frame and at least a third fully-connected layer for calculating the target position of the vehicle, wherein the second and the third fully-connected layer are connected to the at least one first fully -Connected Layer are connected and output information is received from it.
  • the first and/or second section several different pieces of information are provided by the first and/or second section.
  • This different partial information is processed in parallel by several third sections of the neural network.
  • information from different feature maps, which are generated by the first section are further processed in different third sections of the neural network.
  • the output information generated in this way can then be combined in a further information processing step in order to provide the information about a parking space bounding frame and information about a target position of the vehicle in the parking space bounding frame.
  • the invention relates to a system for determining a parking space and a target position of a vehicle using a neural network.
  • the system is coupled to a sensor system that is designed to capture a scene in the area surrounding the vehicle and to provide surrounding information.
  • the system has a computing unit that is designed to generate a raster map of the scene with a plurality of cells based on the environmental information.
  • the cells of the grid map each contain information as to whether the surrounding area corresponding to the cell is occupied by an object or not.
  • the neural network is trained to determine information about a parking space bounding frame and information about a target position of the vehicle in the parking space bounding frame based on the grid map.
  • the technical advantage of the system according to the invention is that the neural network achieves reliable and satisfactory parking space detection or determination of the target position of the vehicle.
  • the neural network can be used to determine the parking space boundary frame or the target position of the vehicle in a data-driven manner instead of using complex geometric algorithms.
  • the neural network has several sections, namely a first section which is designed to detect structures of the environmental objects contained in the raster map, and a second section which is designed to determine one or more areas relevant to parking space detection and a third section which is designed to receive the at least one area relevant for the parking space detection and to determine information about a parking space boundary frame and information about a target position of the vehicle in the parking space boundary frame within the at least one area relevant to the parking space detection.
  • the neural network therefore has a Fast R-CNN architecture or Faster R-CNN architecture, which offers high efficiency and detection accuracy in parking situations.
  • the second section comprises a selective search algorithm or a convolutional network designed to recognize and select one or more excerpts in the feature maps provided by the respective layers of a convolutional neural network of the first section and one or contain several relevant areas for detecting parking spaces.
  • Such an area can, for example, be a parking space with the objects delimiting this parking space.
  • the selective search algorithm or the convolutional network is to receive multiple feature maps from different layers of the convolutional neural network of the first section and to determine one or more relevant areas for the detection of parking spaces based on the Overall information contained in the feature maps is formed. In other words, information from several or all feature maps is used to determine relevant areas for the detection of parking spaces.
  • the third section has at least a first fully connected layer. At least a section of the feature maps provided by the first section of the neural network is generated based on the at least one relevant area provided by the second section. This at least one section of the feature maps is further processed by the at least one first fully connected layer.
  • the third section has at least a second fully connected layer for calculating the parking space boundary frame and at least a third fully connected layer for calculating the target position of the vehicle.
  • the second and third fully-connected layers are connected to the at least one first fully-connected layer and receive output information from this.
  • the expressions “approximately”, “essentially” or “approximately” mean deviations from the exact value by +/- 10%, preferably by +/- 5% and/or deviations in the form of changes that are insignificant for the function .
  • FIG. 1 shows an example of a schematic top view of a vehicle with a sensor system and a computing unit connected to this sensor system;
  • FIG. 2 shows an example of a schematic representation of a grid map which illustrates a parking situation and in which an area relevant for parking space detection, a parking space boundary frame and a target position of the vehicle in the parking space boundary frame are sketched;
  • FIG. 3 shows an exemplary schematic representation of a convolutional neural network with several layers
  • FIG. 4 shows an exemplary schematic representation of a neural network which is designed to determine a parking space boundary frame and a target position of the vehicle in the parking space boundary frame;
  • FIG. 5 is an example of a block diagram that illustrates the processes of a method for determining a parking space bounding frame and a target position of the vehicle in the parking space bounding frame.
  • Figure 1 shows a vehicle 1 as an example and roughly schematically.
  • the vehicle 1 has a sensor system comprising a large number of individual sensors distributed around the vehicle, by means of which environmental detection is possible.
  • the sensors can include, for example, ultrasonic sensors, at least one camera, at least one radar sensor and/or at least one LIDAR sensor.
  • the sensor system 2 is coupled to at least one computing unit R, by means of which the method described below for detecting a parking space and a target position of a vehicle in the parking space is carried out.
  • a neural network 4 is implemented in the computing unit R, by means of which information about a parking space boundary frame P and information about a target position Z of the vehicle 1 in the parking space boundary frame P can be determined.
  • the sensor system 2 of the vehicle 1 provides environmental information about a scene in the surrounding area of the vehicle 1. So that the neural network 4 can process the environmental information quickly and efficiently (in relation to the computing resources), a raster map 3 is generated that depicts the scene. 2 shows, by way of example and schematically, a grid map 3 with a scene forming a parking situation.
  • the raster map 3 is, for example, a two-dimensional, discretized representation of the scene. It has a large number of cells 3.1, each of which is assigned to an environmental area. Each cell is assigned digital information that indicates whether cell 3.1 is occupied by an object or not. In the event that the sensor system provides environmental information that has a height classification of the objects, the cell can also have information as to which height class the section of the object that is in the respective cell falls. For example, the cell may contain information as to whether the object is a high or low object (high/low with respect to a height threshold).
  • Two lines are drawn in the raster map 3 according to FIG. 2, which outline contours of objects 01, 02 recognized by the sensor system 2.
  • the neural network 4 determines an area B1 relevant for parking space detection, which at least partially contains the two objects 01, 02. 2 also shows a parking space boundary frame P and a target position Z of the vehicle 1 in the parking space boundary frame P, the parking space boundary frame P and the target position Z of the vehicle 1 being output at the output interface of the neural network 4.
  • the neural network 4 preferably also determines an angle to the parking space boundary frame P and/or the target position Z, which indicates the orientation of the parking space boundary frame P or the target position Z in the scene.
  • the neural network 4 has several sections that contribute to determining the position and size of the parking space boundary frame P and the position of the target position Z of the vehicle 1 in this parking space boundary frame P.
  • the neural network 4 forms in particular a so-called Fast R-CNN or Faster R-CNN, where R-CNN is a so-called Region Based Convolutional Neural Network.
  • the neural network 4 has a first section 4.1, which includes a convolutional neural network 5 (CNN).
  • a second section 4.2, connected to the first section 4.1, has means for determining areas that are relevant for parking space detection. In Fig. 2 there is such an area with B1 marked. Such an area is characterized in particular by the fact that it has at least one parking space that is laterally delimited by one or more objects.
  • a third section 4.3 of the neural network 4, connected to the first and second sections 4.1, 4.2, has means for determining the position and size of the parking space boundary frame P and for the position of the target position Z of the vehicle 1 in this parking space boundary frame P.
  • Fig. 3 shows an example and schematically of a folding neural network 5, which can be used in the first section of the neural network 4.
  • the folding neural network 5 receives the raster map 3 at its input.
  • the folding neural network 5 has several layers 5.1, 5.2. In the exemplary embodiment shown, only two layers are provided. It should be noted that the convolutional neural network 5 can also have more than two layers 5.1, 5.2, depending on which level of structures are to be recognized.
  • Each layer 5.1 has at least one convolutional layer CL and one max-pooling layer MPL.
  • the convolutional layer CL has a filter (so-called Kemels) to detect features in the information of the raster map 3.
  • Kemels filters
  • By layering several convolutional layers CL increasingly complex structures can be recognized in the scene.
  • a first convolutional layer CL can recognize basic structures such as horizontal, vertical or oblique edges.
  • a second convolutional layer CL which follows the first convolutional layer CL in the information flow direction, can recognize patterns such as curves, rectangles or circles.
  • a possibly third convolutional layer CL which follows the second convolutional layer CL in the information flow direction, can then, for example, be more complex based on this information Detect structures such as vehicles, gaps between objects, etc.
  • a convolutional layer CL is followed by a max-pooling layer MPL.
  • the Max-Pooling Layer MPL serves to reduce the information processed by the subsequent layer to enable the kernel of the subsequent layer to give a zoom-like perspective on the scene that has already been reduced to detected features.
  • the respective max-pooling layer MPL reduces the information by the scaling factor ß, ie the convolutional layer of the first layer 5.1, for example, has the dimension I * w, which is equal to the dimension of the raster map 3 and provides m feature maps, whereas the convolutional layer of the second layer 5.2 has the dimension and n2 feature maps provides.
  • the convolutional layer CL preferably use an activation function, for example a ReLU activation function of the form:
  • Fig. 4 shows the overall structure of the neural network 4.
  • the flow of information in Fig. 4 is from bottom to top, as indicated by the arrows.
  • the sections 4.1 to 4.3 of the neural network 4 are also sketched in FIG. 4, with the convolutional neural network 5 located in the first section 4.1.
  • the folding neural network 5 transmits the feature maps to the second section 4.2 and to the third section 4.3 of the neural network 4.
  • the second section 4.2 of the neural network 4 implements a selective search algorithm or has another convolutional neural network, also referred to as a regional proposal network (RPN).
  • the selective search algorithm or the regional proposal network are designed to define areas to be examined in the respective feature maps that are generated by the convolutional neural network 5 (so-called regions of interest ROI). Areas to be examined are those areas in the feature maps in which areas to be parked are expected.
  • the regional proposal network for example, is a convolutional network pre-trained using labeled training data that is adapted to detect parking areas.
  • the training data includes, for example, parking lot scenes in which areas containing one or more objects with adjacent or enclosed open space, which could be a parking space, are marked as labels. By training with this data, the regional proposal network can be trained to recognize areas to be examined for parking.
  • the areas to be examined and the feature maps are then transferred to the third section 4.3 of the neural network 4.
  • the components of the neural network 4 shown in FIG. 4 in the third section 4.3 are provided multiple times, namely once for each feature map that is generated by the convolutional neural network 5.
  • a parking space boundary frame P and a target position Z of the vehicle 1 in the parking space boundary frame P can initially be determined separately based on each feature map are determined, whereby this information is then linked together and thereby a final parking space boundary frame P and a final target position Z of the vehicle 1 are determined in this final parking space boundary frame P.
  • the information processing is described below using a single feature map.
  • the information processing of the other feature maps takes place in the same way.
  • a feature map generated by the convolutional neural network 5 is linked to the at least one area to be examined, which is provided by the regional proposal network or the selective search algorithm. This means that one or more relevant areas B1, B2, B3 are defined within the feature map, which fall into at least one area to be examined. In other words, by linking the feature map and the at least one area to be examined, at least a section A1, A2, A3 of the feature map is determined, as indicated in FIG. 4 in the lower area of section 4.3.
  • a so-called Region of Interest (Rol) pooling then takes place through a pooling layer 7.
  • a max pooling operation is used to generate a partial feature map (sections A1, A2, A3) for each area to be examined .
  • the sub-feature maps are each the same size, i.e. even if sections of the original feature map are not the same size, the pooling layer 7 provides sub-feature maps that are all the same size.
  • sub-feature maps are then forwarded to a first fully connected layer 6, which further processes the information available in the sub-feature maps.
  • the information provided by the fully connected layer 6 is then transmitted in parallel to a second fully connected layer 8 and a third fully connected layer 9.
  • the second fully connected layer 8 is trained, for example, to determine the parking space boundary frame P for a detected parking space.
  • the third fully connected layer 8 is trained, for example, to determine the target position of the vehicle 1 in the parking space boundary frame P or the parking space. This information is then output by the second and third fully connected layers 8, 9.
  • the neural network 4 provides the information about the parking space boundary frame P and the target position Z of the vehicle 1 as follows.
  • the target position Z of vehicle 1 in a parking space is output, for example, by a vector with the following values:
  • the parking space bounding box P is, for example, output by a vector with the following values:
  • a corner of the parking space bounding frame P is defined by the coordinates b x and b y
  • the length and width of the parking space bounding frame P are defined by the values bi and bw and b ⁇ indicates the orientation of the parking space boundary frame P in the grid map 3.
  • the training of the neural network 4 is carried out using training data that has labeled parking situation scenes, the labels each indicating the aforementioned output information of the neural network 4, i.e. the target position Z and orientation of the vehicle 1 in the parking space and the position, size and orientation of the parking space boundary frame P .
  • an attempt is made to select the parameters or weights of the neural network 4 in such a way that the information provided by the neural network 4 corresponds as best as possible to the labels specified in the training data.
  • the neural network 4 provides two output pieces of information, namely information about the parking space boundary frame P and the target position Z of the vehicle 1.
  • the training of the neural network 4 is carried out in such a way that the overall error is minimized from the information about the parking space boundary frame P and the target position Z determined by the neural network 4 in comparison to the training data.
  • the validation data can be used to determine when the training of the neural network 4 has resulted in sufficient quality. This can reduce training time and prevent overfitting of the neural network 4 can be prevented, so that the neural network 4 leads to more general, ie less restricted, solutions.
  • a method based on minimizing the multi-task loss L is used, which takes into account both the loss due to the error in determining the parking space bounding box P and the loss due to the error in determining the target position Z . Since this is a regression problem, the loss is also called regression lost.
  • the total loss L is defined as follows:
  • L (t k , uk , b k , v k ) Lz (t k , uk ) + LP (b k , v k );
  • t k is the position and orientation of the target position Z of the vehicle 1 for the kth parking space t via the vector [ t Target position Z of vehicle 1 for the kth parking space in the training data
  • b k via the vector [b x b y bi bw b ⁇ ] the position, size and orientation of the parking space bounding box P for the kth parking space and v k via the Vector [v x v y vi v w v ⁇ ] define the location, size and orientation of the parking space bounding box P for the kth parking space in the training data.
  • Lz (t k , uk ) is therefore the loss that results from the difference in information about the target position Z of vehicle 1 compared to the training data and Lp (b k , v k ) is the loss that results from the difference in information to the parking space bounding box P relative to the training data.
  • the smooth L1 function is a modified loss function that enables a mixture of absolute distance and squared distance. It is defined as follows: if Ixl ⁇ 1 0.5 otherwise
  • FIG. 5 shows a diagram that illustrates the steps of the method for determining a parking space and a target position of a vehicle in the parking space using a neural network.
  • a scene in the surrounding area of a vehicle is recorded using a sensor system and environmental information is provided (S10).
  • a raster map of the scene is then generated with a plurality of cells based on the environmental information, the cells of the raster map each having information as to whether the environmental area corresponding to the cell is occupied by an object or not (S11).
  • the raster map is transmitted to a neural network, the neural network being trained to provide information about a parking space bounding frame and information about a target position of the vehicle in the parking space bounding frame based on the raster map (S12).

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

The invention relates to a method for determining a parking space and a target position for a vehicle (1) in the parking space by means of a neural network (4), the method comprising the following steps: - capturing a scene in the area surrounding a vehicle (1) by means of a sensor system (2) and providing surroundings information (S10); - generating a grid map (3) of the scene containing a multiplicity of cells (3.1) on the basis of the surroundings information, the cells (3.1) of the grid map (3) each comprising information regarding whether or not the area of the surroundings that corresponds to the cell (3.1) is occupied by an object (O1, O2) (S11); - transmitting the grid map (3) to a neural network (4), the neural network (4) being trained to take the grid map (3) as a basis for providing information relating to a parking space boundary frame (P) and information relating to a target position (Z) for the vehicle (1) in the parking space boundary frame (P) (S12).

Description

Beschreibung Description
Verfahren zur Bestimmung einer Parklücke und einer Zielposition eines Fahrzeugs in der Parklücke Method for determining a parking space and a target position of a vehicle in the parking space
Die Erfindung betrifft ein Verfahren und ein System zur Bestimmung einer Parklücke und einer Zielposition eines Fahrzeugs in der Parklücke mittels eines neuronalen Netzes. The invention relates to a method and a system for determining a parking space and a target position of a vehicle in the parking space using a neural network.
Aus dem Stand der Technik sind Verfahren zur Bestimmung einer Parklücke und einer Zielposition eines Fahrzeugs in der Parklücke bekannt. Basierend auf den durch eine Sensorik ermittelten Umgebungsinformationen wird zunächst ein Umgebungsmodell gebildet. Anschließend wird basierend auf diesem Umgebungsmodell die Szene interpretiert, eine Parklücke detektiert und die Zielposition des Fahrzeugs in der Parklücke festgelegt. Dabei kommen komplexe Algorithmen zum Einsatz, die eine Vielzahl von Wenn-Dann-Abfragen und Look-up-Tabellen verwenden. Methods for determining a parking space and a target position of a vehicle in the parking space are known from the prior art. Based on the environmental information determined by sensors, an environmental model is first formed. The scene is then interpreted based on this environmental model, a parking space is detected and the target position of the vehicle in the parking space is determined. Complex algorithms are used that use a variety of if-then queries and look-up tables.
Problematisch bei den bekannten Verfahren ist, dass der Softwarecode, der das Verfahren zur Bestimmung der Parklücke bzw. der Zielposition des Fahrzeugs implementiert, aufgrund der Vielzahl und häufig unterschiedlichen Kundenanforderungen sehr komplex ist und damit schwer wartbar bzw. erweiterbar ist. Zudem können die bekannten Verfahren nicht sämtliche Parksituationen in zufriedenstellender Weise handhaben. The problem with the known methods is that the software code that implements the method for determining the parking space or the target position of the vehicle is very complex due to the large number and often different customer requirements and is therefore difficult to maintain or expand. In addition, the known methods cannot handle all parking situations in a satisfactory manner.
Ausgehend hiervon ist es Aufgabe der Erfindung, ein Verfahren zur Bestimmung einer Parklücke und einer Zielposition eines Fahrzeugs in der Parklücke anzugeben, das komplexe Programmstrukturen vermeidet und eine zuverlässige und zufriedenstellende Parklückendetektion bzw. Bestimmung der Zielposition des Fahrzeugs ermöglicht. Die Aufgabe wird durch ein Verfahren mit den Merkmalen des unabhängigen Patentanspruchs 1 gelöst. Bevorzugte Ausführungsformen sind Gegenstand der Unteransprüche. Ein System zur Bestimmung einer Parklücke und einer Zielposition eines Fahrzeugs ist Gegenstand des nebengeordneten Patentanspruchs 12. Based on this, it is the object of the invention to provide a method for determining a parking space and a target position of a vehicle in the parking space, which avoids complex program structures and enables reliable and satisfactory parking space detection or determination of the target position of the vehicle. The task is solved by a method with the features of independent patent claim 1. Preferred embodiments are the subject of the subclaims. A system for determining a parking space and a target position of a vehicle is the subject of independent patent claim 12.
Gemäß einem ersten Aspekt bezieht sich die Erfindung auf ein Verfahren zur Bestimmung einer Parklücke und einer Zielposition eines Fahrzeugs mittels eines neuronalen Netzes. Das Verfahren weist die folgenden Schritte auf: According to a first aspect, the invention relates to a method for determining a parking space and a target position of a vehicle using a neural network. The procedure has the following steps:
Zunächst wird eine Szene im Umgebungsbereich eines Fahrzeugs mittels einer Sensorik erfasst und es werden Umgebungsinformationen bereitgestellt. Die Sensorik kann jegliche Sensorarten aufweisen, die zur Umgebungserfassung einsetzbar sind, beispielsweise Ultraschallsensoren, Radarsensoren, LIDAR-Sensoren, Kameras etc. Die Umgebungsinformationen sind beispielsweise zweidimensionale Daten, in denen die durch die Sensorik erfassten Detektionen kartiert sind. First, a scene in the area surrounding a vehicle is recorded using a sensor system and surrounding information is provided. The sensor system can have any type of sensor that can be used to detect the environment, for example ultrasonic sensors, radar sensors, LIDAR sensors, cameras, etc. The environmental information is, for example, two-dimensional data in which the detections recorded by the sensor system are mapped.
Anschließend wird eine Rasterkarte der Szene mit einer Vielzahl von Zellen basierend auf den Umgebungsinformationen erzeugt. Die Zellen der Rasterkarte weisen jeweils Informationen auf, ob der mit der Zelle korrespondierende Umgebungsbereich von einem Objekt belegt ist oder nicht. Die Rasterkarte bildet damit quasi ein digitales Bild und die Zellen bilden die Pixel des Bildes, wobei die Pixel Belegungsinformationen aufweisen, beispielsweise „0“ für nicht belegt und „1“ für belegt. Die Zellen können vorzugsweise auch weitere Informationen enthalten, beispielsweise Höheninformationen zu den detektierten Objekten, die Dichte und/oder Intensität der am Sensor empfangenen Reflektionen etc. Die Dichte der am Sensor empfangenen Reflektionen kann angeben, wie viele Merkmalspunkte (engl. feature points) in eine gewisse Zelle fallen. Die Intensität der am Sensor empfangenen Reflektionen kann die Signalstärke der empfangenen Reflektion angeben, die wiederum von dem Material und/oder der Oberflächenbeschaffenheit des reflektierenden Objekts abhängt. A raster map of the scene is then generated with a variety of cells based on the environmental information. The cells of the grid map each contain information as to whether the surrounding area corresponding to the cell is occupied by an object or not. The raster map thus forms a virtual digital image and the cells form the pixels of the image, with the pixels having occupancy information, for example “0” for not occupied and “1” for occupied. The cells can preferably also contain further information, for example height information about the detected objects, the density and/or intensity of the reflections received at the sensor, etc. The density of the reflections received at the sensor can indicate how many feature points are in one certain cells fall. The intensity of the reflections received at the sensor can indicate the signal strength of the received reflection, which in turn depends on the material and/or surface condition of the reflecting object.
Die Rasterkarte wird anschließend an ein neuronales Netz übermittelt, Das neuronale Netz ist dazu trainiert, basierend auf der Rasterkarte Informationen zu einem Parklückenbegrenzungsrahmen und Informationen zu einer Zielposition des Fahrzeugs in dem Parklückenbegrenzungsrahmen bereitzustellen. The raster map is then transmitted to a neural network. The neural network is trained to provide information about a parking space bounding frame and information about a target position of the vehicle in the parking space bounding frame based on the raster map.
Der technische Vorteil des erfindungsgemäßen Verfahrens besteht darin, dass durch das neuronale Netz eine zuverlässige und zufriedenstellende Parklückendetektion bzw. Bestimmung der Zielposition des Fahrzeugs erreicht wird. Zudem können durch den Einsatz des neuronalen Netzes mehrere Softwarekomponenten des Standes der Technik zugleich ersetzt werden, und zwar die Softwarekomponente zur Interpretation der Szene und die Softwarekomponente zur Berechnung der Zielposition. The technical advantage of the method according to the invention is that the neural network achieves reliable and satisfactory parking space detection or determination of the target position of the vehicle. In addition, by using the neural network, several prior art software components can be replaced at the same time, namely the software component for interpreting the scene and the software component for calculating the target position.
Gemäß einem Ausführungsbeispiel weisen die Zellen der Rasterkarte Informationen auf, die angeben, ob die jeweilige Zelle mit einem Objekt belegt ist, das höher oder niedriger ist als ein festgelegter Schwellwert. Damit können dem neuronalen Netz zusätzlich Informationen zur Verfügung gestellt werden, welche Höhe das Objekt aufweist bzw. in welche Höhenklasse (hoch bzw. niedrig in Bezug auf einen vorgegebenen Schwellwert) das Objekt einzugruppieren ist, wodurch die Parklückenerkennung entscheidend verbessert wird, da beispielsweise hohe Objekte wie Fahrzeuge etc. von niedrigen Objekten wie beispielsweise Randsteinen unterscheidbar sind. According to one embodiment, the cells of the raster map have information that indicates whether the respective cell is occupied by an object that is higher or lower than a specified threshold value. This means that the neural network can be provided with additional information as to what height the object has or into which height class (high or low in relation to a predetermined threshold value) the object should be grouped, which significantly improves parking space detection, since, for example, tall objects how vehicles etc. can be distinguished from low objects such as curbs.
Gemäß einem Ausführungsbeispiel weisen die Zellen der RasterkarteAccording to one embodiment, the cells of the raster map
Informationen zur Dichte und/oder Intensität der am Sensor empfangenen Reflektionen auf. Diese Informationen können dazu dienen, die Zellen zu gewichten, und zwar derart, dass diejenigen Zellen, die eine höhere Dichte und/oder Intensität aufweisen, durch das neuronale Netz stärker gewichtet werden als diejenigen, die eine geringere Dichte und/oder Intensität aufweisen. Information about the density and/or intensity of the received at the sensor reflections. This information can be used to weight the cells in such a way that those cells that have a higher density and/or intensity are weighted more heavily by the neural network than those that have a lower density and/or intensity.
Gemäß einem Ausführungsbeispiel weist das neuronale Netz mehrere Abschnitte auf, und zwar einen ersten Abschnitt, mittels dem eine Erkennung von Strukturen von den in der Rasterkarte enthaltenen Objekten erfolgt, einen zweiten Abschnitt, mittels dem ein oder mehrere für die Parklückendetektion relevante Bereiche ermittelt werden und einen dritten Abschnitt, der den zumindest einen für die Parklückendetektion relevanten Bereich empfängt und der innerhalb dem zumindest einen für die Parklückendetektion relevanten Bereich Informationen zu einem Parklückenbegrenzungsrahmen und Informationen zu einer Zielposition des Fahrzeugs in dem Parklückenbegrenzungsrahmen ermittelt. Damit weist das neuronale Netz eine Fast R-CNN-Architektur bzw. Faster R- CNN-Architektur auf, die eine hohe Effizienz und Detektionsgenauigkeit bei Parksituationen bietet. According to one exemplary embodiment, the neural network has several sections, namely a first section, by means of which structures of the objects contained in the raster map are recognized, a second section, by means of which one or more areas relevant for parking space detection are determined, and a third section, which receives the at least one area relevant for the parking space detection and which determines information about a parking space delimitation frame and information about a target position of the vehicle in the parking space delimitation frame within the at least one area relevant for the parking space detection. The neural network therefore has a Fast R-CNN architecture or Faster R-CNN architecture, which offers high efficiency and detection accuracy in parking situations.
Gemäß einem Ausführungsbeispiel weist der erste Abschnitt ein faltendes neuronales Netz (auch convolutional neural network, CNN, genannt) mit mehreren Schichten auf, wobei die Schichten jeweils ein Convolutional Layer (d.h. eine Faltungsschicht) und ein Pooling Layer (d.h. eine Pooling- Schicht bzw. Bündelungsschicht) aufweisen und wobei jede Schicht eine Feature Map (auch Aktivierungskarte bzw. Merkmalskarte genannt) als Ausgangsinformation bereitstellt. Die Schichten des faltenden neuronalen Netzes sind dazu ausgebildet, unterschiedlich komplexe Merkmale der in der Rasterkarte enthaltenen Informationen zu erkennen und in der Feature Map auszugeben. Damit werden durch die unterschiedlichen Feature Maps Ausgangsinformationen mit unterschiedlicher Komplexität bereitgestellt. Gemäß einem Ausführungsbeispiel werden die Ausgangsinformationen des jeweiligen Convolutional Layers durch eine Aktivierungsfunktion modifiziert. Die Aktivierungsfunktion kann insbesondere eine ReLU- Aktivierungsfunktion sein. Dadurch kann die Recheneffizienz und Konvergenzfähigkeit des neuronalen Netzes gesteigert werden. According to an exemplary embodiment, the first section has a convolutional neural network (also called convolutional neural network, CNN) with several layers, the layers each having a convolutional layer (ie a convolutional layer) and a pooling layer (ie a pooling layer or Bundling layer) and each layer provides a feature map (also called activation map or feature map) as output information. The layers of the convolutional neural network are designed to recognize differently complex features of the information contained in the raster map and output them in the feature map. This means that the different feature maps provide initial information with different levels of complexity. According to one exemplary embodiment, the output information of the respective convolutional layer is modified by an activation function. The activation function can in particular be a ReLU activation function. This can increase the computational efficiency and convergence ability of the neural network.
Gemäß einem Ausführungsbeispiel umfasst der zweite Abschnitt einen selektiven Suchalgorithmus oder ein Faltungsnetzwerk, die zum Erkennen und Auswählen von einem oder mehreren Ausschnitten in den Feature Maps ausgebildet sind, die von den jeweiligen Schichten des faltenden neuronalen Netzes des ersten Abschnitts bereitgestellt werden und einen oder mehrere relevante Bereiche zur Erkennung von Parklücken enthalten. Damit werden durch den zweiten Abschnitt des neuronalen Netzes in den Feature Maps diejenigen Bereiche erkannt, die eine Relevanz für die Parklückendetektion haben. Ein solcher Bereich kann beispielsweise eine Parklücke mit den diese Parklücke begrenzenden Objekten sein. According to one embodiment, the second section includes a selective search algorithm or a convolutional network designed to recognize and select one or more excerpts in the feature maps provided by the respective layers of the convolutional neural network of the first section and one or more relevant ones Parking space detection areas included. This means that the second section of the neural network recognizes those areas in the feature maps that are relevant for parking space detection. Such an area can, for example, be a parking space with the objects delimiting this parking space.
Gemäß einem Ausführungsbeispiel empfängt der selektive Suchalgorithmus oder das Faltungsnetzwerk mehrere Feature Maps aus unterschiedlichen Schichten des faltenden neuronalen Netzes des ersten Abschnitts. Basierend auf den Gesamtinformationen, die in den Feature Maps enthalten sind, werden ein oder mehrere relevante Bereiche für die Erkennung von Parklücken bestimmt. In anderen Worten werden damit Informationen aus mehreren bzw. sämtlichen Feature Maps dazu verwendet, relevante Bereiche für die Erkennung von Parklücken zu bestimmen. According to one embodiment, the selective search algorithm or convolutional network receives multiple feature maps from different layers of the convolutional neural network of the first section. Based on the overall information contained in the feature maps, one or more relevant areas for parking space detection are determined. In other words, information from several or all feature maps is used to determine relevant areas for the detection of parking spaces.
Gemäß einem Ausführungsbeispiel weist der dritte Abschnitt zumindest ein erstes Fully-Connected Layer auf. Der dritte Abschnitt erzeugt zumindest einen Ausschnitt der Feature Maps, die durch den ersten Abschnitt des neuronalen Netzes bereitgestellt werden, basierend auf dem vom zweiten Abschnitt bereitgestellten zumindest einen relevanten Bereich. Dieser zumindest eine Ausschnitt der Feature Maps wird durch das zumindest eine erste Fully-Connected Layer weiterverarbeitet. Damit werden in dem dritten Abschnitt die in den Feature Maps enthaltenen Informationen auf die für die Parklückenerkennung relevanten Bereiche reduziert und weiterverarbeitet. According to an exemplary embodiment, the third section has at least a first fully connected layer. The third section creates at least a section of the feature maps created by the first Section of the neural network are provided based on the at least one relevant area provided by the second section. This at least one section of the feature maps is further processed by the at least one first fully connected layer. In the third section, the information contained in the feature maps is reduced to the areas relevant for parking space detection and further processed.
Gemäß einem Ausführungsbeispiel umfasst der dritte Abschnitt ein Pooling Layer, das den zumindest einen Ausschnitt der Feature Maps erzeugt. Der zumindest eine Ausschnitt weist dabei eine vordefinierte Größe auf. Vorzugsweise werden durch das Pooling Layer mehrere Ausschnitte bereitgestellt, die unabhängig von der Größe der relevanten Bereiche, die zu der Erzeugung der Ausschnitte geführt haben, die gleiche Größe aufweisen. Aufgrund der gleichen Größe der Ausschnitte ist es möglich, die Weiterverarbeitung der Informationen zu vereinfachen. Insbesondere können alle Ausschnitte gleichzeitig weiterverarbeitet werden. According to an exemplary embodiment, the third section comprises a pooling layer that generates at least one section of the feature maps. The at least one section has a predefined size. Preferably, the pooling layer provides several sections that have the same size regardless of the size of the relevant areas that led to the creation of the sections. Because the sections are the same size, it is possible to simplify further processing of the information. In particular, all sections can be further processed at the same time.
Gemäß einem Ausführungsbeispiel weist der dritte Abschnitt zumindest ein zweites Fully-Connected Layer zur Berechnung des Parklückenbegrenzungsrahmens und zumindest ein drittes Fully- Connected Layer zur Berechnung der Zielposition des Fahrzeugs auf, wobei das zweite und das dritte Fully-Connected Layer mit dem zumindest einen ersten Fully-Connected Layer verbunden sind und Ausgangsinformationen von diesem empfangen. According to an exemplary embodiment, the third section has at least a second fully-connected layer for calculating the parking space boundary frame and at least a third fully-connected layer for calculating the target position of the vehicle, wherein the second and the third fully-connected layer are connected to the at least one first fully -Connected Layer are connected and output information is received from it.
Gemäß einem Ausführungsbeispiel werden durch den ersten und/oder zweiten Abschnitt mehrere unterschiedliche Teilinformationen bereitgestellt. Diese unterschiedlichen Teilinformationen werden parallel durch mehrere dritte Abschnitte des neuronalen Netzes verarbeitet. Insbesondere können Informationen aus unterschiedlichen Feature Maps, die von dem ersten Abschnitt generiert werden, in unterschiedlichen dritten Abschnitten des neuronalen Netzes weiterverarbeitet werden. Die dadurch erzeugten Ausgangsinformationen können anschließend in einem weiteren Informationsverarbeitungsschritt zusammengefasst werden, um die Informationen zu einem Parklückenbegrenzungsrahmen und Informationen zu einer Zielposition des Fahrzeugs in dem Parklückenbegrenzungsrahmen bereitzustellen. According to one exemplary embodiment, several different pieces of information are provided by the first and/or second section. This different partial information is processed in parallel by several third sections of the neural network. In particular, information from different feature maps, which are generated by the first section, are further processed in different third sections of the neural network. The output information generated in this way can then be combined in a further information processing step in order to provide the information about a parking space bounding frame and information about a target position of the vehicle in the parking space bounding frame.
Gemäß einem weiteren Aspekt betrifft die Erfindung ein System zur Bestimmung einer Parklücke und einer Zielposition eines Fahrzeugs mittels eines neuronalen Netzes. Das System ist mit einer Sensorik gekoppelt, die zur Erfassung einer Szene im Umgebungsbereich des Fahrzeugs und zum Bereitstellen von Umgebungsinformationen ausgebildet ist. Das System weist eine Recheneinheit auf, die zum Erzeugen einer Rasterkarte der Szene mit einer Vielzahl von Zellen basierend auf den Umgebungsinformationen ausgebildet ist. Die Zellen der Rasterkarte weisen jeweils Informationen auf, ob der mit der Zelle korrespondierende Umgebungsbereich von einem Objekt belegt ist oder nicht. Das neuronale Netz ist dazu trainiert, basierend auf der Rasterkarte Informationen zu einem Parklückenbegrenzungsrahmen und Informationen zu einer Zielposition des Fahrzeugs in dem Parklückenbegrenzungsrahmen zu ermitteln. According to a further aspect, the invention relates to a system for determining a parking space and a target position of a vehicle using a neural network. The system is coupled to a sensor system that is designed to capture a scene in the area surrounding the vehicle and to provide surrounding information. The system has a computing unit that is designed to generate a raster map of the scene with a plurality of cells based on the environmental information. The cells of the grid map each contain information as to whether the surrounding area corresponding to the cell is occupied by an object or not. The neural network is trained to determine information about a parking space bounding frame and information about a target position of the vehicle in the parking space bounding frame based on the grid map.
Der technische Vorteil des erfindungsgemäßen Systems besteht darin, dass durch das neuronale Netz eine zuverlässige und zufriedenstellende Parklückendetektion bzw. Bestimmung der Zielposition des Fahrzeugs erreicht wird. Zudem kann durch das neuronale Netz eine datengetriebene Bestimmung des Parklückenbegrenzungsrahmens bzw. der Zielposition des Fahrzeugs erfolgen anstelle dafür eine komplexe geometrische Algorithmik zu verwenden. Gemäß einem Ausführungsbeispiel des Systems weist das neuronale Netz mehrere Abschnitte auf, und zwar einen ersten Abschnitt, der zur Erkennung von Strukturen von den in der Rasterkarte enthaltenen Umgebungsobjekten ausgebildet ist, einen zweiten Abschnitt, der zur Ermittlung eines oder mehrerer für die Parklückendetektion relevanter Bereiche ausgebildet ist und einen dritten Abschnitt, der zum Empfang des zumindest einen für die Parklückendetektion relevanten Bereichs und zur Ermittlung von Informationen zu einem Parklückenbegrenzungsrahmen und von Informationen zu einer Zielposition des Fahrzeugs in dem Parklückenbegrenzungsrahmen innerhalb dem zumindest einen für die Parklückendetektion relevanten Bereich ausgebildet ist. Damit weist das neuronale Netz eine Fast R-CNN- Architektur bzw. Faster R-CNN-Architektur auf, die eine hohe Effizienz und Detektionsgenauigkeit bei Parksituationen bieten. The technical advantage of the system according to the invention is that the neural network achieves reliable and satisfactory parking space detection or determination of the target position of the vehicle. In addition, the neural network can be used to determine the parking space boundary frame or the target position of the vehicle in a data-driven manner instead of using complex geometric algorithms. According to an exemplary embodiment of the system, the neural network has several sections, namely a first section which is designed to detect structures of the environmental objects contained in the raster map, and a second section which is designed to determine one or more areas relevant to parking space detection and a third section which is designed to receive the at least one area relevant for the parking space detection and to determine information about a parking space boundary frame and information about a target position of the vehicle in the parking space boundary frame within the at least one area relevant to the parking space detection. The neural network therefore has a Fast R-CNN architecture or Faster R-CNN architecture, which offers high efficiency and detection accuracy in parking situations.
Gemäß einem Ausführungsbeispiel des Systems umfasst der zweite Abschnitt einen selektiven Suchalgorithmus oder ein Faltungsnetzwerk, die zum Erkennen und Auswählen von einem oder mehreren Ausschnitten in den Feature Maps ausgebildet sind, die von den jeweiligen Schichten eines faltenden neuronalen Netzes des ersten Abschnitts bereitgestellt werden und einen oder mehrere relevante Bereiche zur Erkennung von Parklücken enthalten. Damit werden durch den zweiten Abschnitt des neuronalen Netzes in den Feature Maps diejenigen Bereiche erkannt, die eine Relevanz für die Parklückendetektion haben. Ein solcher Bereich kann beispielsweise eine Parklücke mit den diese Parklücke begrenzenden Objekten sein. According to an embodiment of the system, the second section comprises a selective search algorithm or a convolutional network designed to recognize and select one or more excerpts in the feature maps provided by the respective layers of a convolutional neural network of the first section and one or contain several relevant areas for detecting parking spaces. This means that the second section of the neural network recognizes those areas in the feature maps that are relevant for parking space detection. Such an area can, for example, be a parking space with the objects delimiting this parking space.
Gemäß einem Ausführungsbeispiel des Systems ist der selektive Suchalgorithmus oder das Faltungsnetzwerk zum Empfang mehrerer Feature Maps aus unterschiedlichen Schichten des faltenden neuronalen Netzes des ersten Abschnitts und zur Bestimmung eines oder mehrerer relevanter Bereiche für die Erkennung von Parklücken basierend auf den Gesamtinformationen, die in den Feature Maps enthalten sind, ausgebildet. In anderen Worten werden damit Informationen aus mehreren bzw. sämtlichen Feature Maps dazu verwendet, relevante Bereiche für die Erkennung von Parklücken zu bestimmen. According to an embodiment of the system, the selective search algorithm or the convolutional network is to receive multiple feature maps from different layers of the convolutional neural network of the first section and to determine one or more relevant areas for the detection of parking spaces based on the Overall information contained in the feature maps is formed. In other words, information from several or all feature maps is used to determine relevant areas for the detection of parking spaces.
Gemäß einem Ausführungsbeispiel des Systems weist der dritte Abschnitt zumindest ein erstes Fully-Connected Layer auf. Zumindest ein Ausschnitt der Feature Maps, die durch den ersten Abschnitt des neuronalen Netzes bereitgestellt werden, wird basierend auf dem vom zweiten Abschnitt bereitgestellten zumindest einen relevanten Bereich erzeugt. Dieser zumindest eine Ausschnitt der Feature Maps wird durch das zumindest eine erste Fully-Connected Layer weiterverarbeitet. According to an exemplary embodiment of the system, the third section has at least a first fully connected layer. At least a section of the feature maps provided by the first section of the neural network is generated based on the at least one relevant area provided by the second section. This at least one section of the feature maps is further processed by the at least one first fully connected layer.
Gemäß einem Ausführungsbeispiel des Systems weist der dritte Abschnitt zumindest ein zweites Fully-Connected Layer zur Berechnung des Parklückenbegrenzungsrahmens und zumindest ein drittes Fully- Connected Layer zur Berechnung der Zielposition des Fahrzeugs auf. Das zweite und das dritte Fully-Connected Layer sind mit dem zumindest einen ersten Fully-Connected Layer verbunden und empfangen Ausgangsinformationen von diesem. According to an exemplary embodiment of the system, the third section has at least a second fully connected layer for calculating the parking space boundary frame and at least a third fully connected layer for calculating the target position of the vehicle. The second and third fully-connected layers are connected to the at least one first fully-connected layer and receive output information from this.
Die Ausdrücke „näherungsweise“, „im Wesentlichen“ oder „etwa“ bedeuten im Sinne der Erfindung Abweichungen vom jeweils exakten Wert um +/- 10%, bevorzugt um +/- 5% und/oder Abweichungen in Form von für die Funktion unbedeutenden Änderungen. In the sense of the invention, the expressions “approximately”, “essentially” or “approximately” mean deviations from the exact value by +/- 10%, preferably by +/- 5% and/or deviations in the form of changes that are insignificant for the function .
Weiterbildungen, Vorteile und Anwendungsmöglichkeiten der Erfindung ergeben sich auch aus der nachfolgenden Beschreibung von Ausführungsbeispielen und aus den Figuren. Dabei sind alle beschriebenen und/oder bildlich dargestellten Merkmale für sich oder in beliebiger Kombination grundsätzlich Gegenstand der Erfindung, unabhängig von ihrer Zusammenfassung in den Ansprüchen oder deren Rückbeziehung. Auch wird der Inhalt der Ansprüche zu einem Bestandteil der Beschreibung gemacht. Further developments, advantages and possible applications of the invention also emerge from the following description of exemplary embodiments and from the figures. All features described and/or illustrated are fundamentally the subject of the invention, either individually or in any combination. regardless of their summary in the claims or their relationship. The content of the claims is also made part of the description.
Die Erfindung wird im Folgenden anhand der Figuren an Ausführungsbeispielen näher erläutert. Es zeigen: The invention is explained in more detail below using the figures and exemplary embodiments. Show it:
Fig. 1 beispielhaft eine schematische Draufsichtdarstellung auf ein Fahrzeug mit einer Sensorik und einer mit dieser Sensorik verbundenen Recheneinheit; 1 shows an example of a schematic top view of a vehicle with a sensor system and a computing unit connected to this sensor system;
Fig. 2 beispielhaft eine schematische Darstellung einer Rasterkarte, die eine Parksituation illustriert und in der ein für die Parklückenerkennung relevanter Bereich, ein Parklückenbegrenzungsrahmen und eine Zielposition des Fahrzeugs in dem Parklückenbegrenzungsrahmen skizziert sind; 2 shows an example of a schematic representation of a grid map which illustrates a parking situation and in which an area relevant for parking space detection, a parking space boundary frame and a target position of the vehicle in the parking space boundary frame are sketched;
Fig. 3 beispielhaft eine schematische Darstellung eines faltenden neuronalen Netzes mit mehreren Schichten; 3 shows an exemplary schematic representation of a convolutional neural network with several layers;
Fig. 4 beispielhaft eine schematische Darstellung eines neuronalen Netzes, das zur Bestimmung eines Parklückenbegrenzungsrahmens und einer Zielposition des Fahrzeugs in dem Parklückenbegrenzungsrahmen ausgebildet ist; und 4 shows an exemplary schematic representation of a neural network which is designed to determine a parking space boundary frame and a target position of the vehicle in the parking space boundary frame; and
Fig. 5 beispielhaft ein Blockdiagramm, das die Abläufe eines Verfahrens zur Bestimmung eines Parklückenbegrenzungsrahmens und einer Zielposition des Fahrzeugs in dem Parklückenbegrenzungsrahmen veranschaulicht. Figur 1 zeigt beispielhaft und grob schematisch ein Fahrzeug 1 . Das Fahrzeug 1 weist eine Sensorik umfassend eine Vielzahl von einzelnen um das Fahrzeug herum verteilte Sensoren auf, mittels denen eine Umgebungserfassung möglich ist. Die Sensoren können beispielsweise Ultraschallsensoren, zumindest eine Kamera, zumindest einen Radarsensor und/oder zumindest einen LIDAR-Sensor umfassen. 5 is an example of a block diagram that illustrates the processes of a method for determining a parking space bounding frame and a target position of the vehicle in the parking space bounding frame. Figure 1 shows a vehicle 1 as an example and roughly schematically. The vehicle 1 has a sensor system comprising a large number of individual sensors distributed around the vehicle, by means of which environmental detection is possible. The sensors can include, for example, ultrasonic sensors, at least one camera, at least one radar sensor and/or at least one LIDAR sensor.
Die Sensorik 2 ist mit zumindest einer Recheneinheit R gekoppelt, mittels der das nachfolgend beschriebene Verfahren zur Erfassung einer Parklücke und einer Zielposition eines Fahrzeugs in der Parklücke vollzogen wird. Insbesondere ist in der Recheneinheit R ein neuronales Netz 4 implementiert, mittels dem Informationen zu einem Parklückenbegrenzungsrahmen P und Informationen zu einer Zielposition Z des Fahrzeugs 1 in dem Parklückenbegrenzungsrahmen P bestimmbar sind. The sensor system 2 is coupled to at least one computing unit R, by means of which the method described below for detecting a parking space and a target position of a vehicle in the parking space is carried out. In particular, a neural network 4 is implemented in the computing unit R, by means of which information about a parking space boundary frame P and information about a target position Z of the vehicle 1 in the parking space boundary frame P can be determined.
Die Sensorik 2 des Fahrzeugs 1 stellt Umgebungsinformationen zu einer Szene im Umgebungsbereich des Fahrzeugs 1 bereit. Damit das neuronale Netz 4 die Umgebungsinformationen schnell und in effizienter Weise (bezogen auf die Rechenressourcen) verarbeiten kann, wird eine Rasterkarte 3 erzeugt, die die Szene abbildet. Fig. 2 zeigt beispielhaft und schematisch eine Rasterkarte 3 mit einer eine Parksituation bildenden Szene. The sensor system 2 of the vehicle 1 provides environmental information about a scene in the surrounding area of the vehicle 1. So that the neural network 4 can process the environmental information quickly and efficiently (in relation to the computing resources), a raster map 3 is generated that depicts the scene. 2 shows, by way of example and schematically, a grid map 3 with a scene forming a parking situation.
Die Rasterkarte 3 ist beispielsweise eine zweidimensionale, diskretisierte Darstellung der Szene. Sie weist eine Vielzahl von Zellen 3.1 auf, die jeweils einem Umgebungsbereich zugeordnet sind. Jeder Zelle ist eine digitale Information zugeordnet, die angibt, ob die Zelle 3.1 mit einem Objekt belegt ist oder nicht. Für den Fall, dass die Sensorik Umgebungsinformationen bereitstellt, die eine Höhenklassifizierung der Objekte aufweisen, kann die Zelle zudem Informationen aufweisen, welche Höhenklasse der Abschnitt des Objekts, der in die jeweilige Zelle fällt, aufweist. So kann beispielsweise die Zelle Informationen aufweisen, ob es sich bei dem Objekt um ein hohes oder ein niedriges Objekt (hoch/niedrig in Bezug auf einen Höhenschwellwert) handelt. The raster map 3 is, for example, a two-dimensional, discretized representation of the scene. It has a large number of cells 3.1, each of which is assigned to an environmental area. Each cell is assigned digital information that indicates whether cell 3.1 is occupied by an object or not. In the event that the sensor system provides environmental information that has a height classification of the objects, the cell can also have information as to which height class the section of the object that is in the respective cell falls. For example, the cell may contain information as to whether the object is a high or low object (high/low with respect to a height threshold).
In der Rasterkarte 3 gemäß Fig. 2 sind zwei Linien eingezeichnet, die durch die Sensorik 2 erkannte Konturen von Objekten 01 , 02 skizzieren. Two lines are drawn in the raster map 3 according to FIG. 2, which outline contours of objects 01, 02 recognized by the sensor system 2.
Das neuronale Netz 4 ermittelt einen für die Parklückendetektion relevanten Bereich B1 , der die beiden Objekte 01 , 02 zumindest teilweise beinhaltet. Zudem zeigt Fig. 2 auch einen Parklückenbegrenzungsrahmen P und eine Zielposition Z des Fahrzeugs 1 im Parklückenbegrenzungsrahmen P, wobei der Parklückenbegrenzungsrahmen P und die Zielposition Z des Fahrzeugs 1 an der Ausgangsschnittstelle des neuronalen Netzes 4 ausgegeben werden. Zu dem Parklückenbegrenzungsrahmen P und/oder der Zielposition Z ermittelt das neuronale Netz 4 vorzugsweise auch jeweils einen Winkel, der die Ausrichtung des Parklückenbegrenzungsrahmens P bzw. der Zielposition Z in der Szene angibt. The neural network 4 determines an area B1 relevant for parking space detection, which at least partially contains the two objects 01, 02. 2 also shows a parking space boundary frame P and a target position Z of the vehicle 1 in the parking space boundary frame P, the parking space boundary frame P and the target position Z of the vehicle 1 being output at the output interface of the neural network 4. The neural network 4 preferably also determines an angle to the parking space boundary frame P and/or the target position Z, which indicates the orientation of the parking space boundary frame P or the target position Z in the scene.
Wie in Fig. 4 gezeigt, weist das neuronale Netz 4 mehrere Abschnitte auf, die zur Bestimmung der Lage und Größe des Parklückenbegrenzungsrahmens P und zur Lage der Zielposition Z des Fahrzeugs 1 in diesem Parklückenbegrenzungsrahmen P beitragen. Das neuronale Netz 4 bildet insbesondere ein sog. Fast R-CNN bzw. Faster R- CNN, wobei R-CNN ein sog. Region Based Convolutional Neural Network ist. As shown in Fig. 4, the neural network 4 has several sections that contribute to determining the position and size of the parking space boundary frame P and the position of the target position Z of the vehicle 1 in this parking space boundary frame P. The neural network 4 forms in particular a so-called Fast R-CNN or Faster R-CNN, where R-CNN is a so-called Region Based Convolutional Neural Network.
Insbesondere weist das neuronale Netz 4 einen ersten Abschnitt 4.1 auf, der ein faltendes neuronales Netz 5 (engl. convolutional neural network, CNN) umfasst. Ein mit dem ersten Abschnitt 4.1 verbundener, zweiter Abschnitt 4.2 weist Mittel zur Bestimmung von Bereichen auf, die für die Parklückendetektion relevant sind. In Fig. 2 ist ein solcher Bereich mit B1 gekennzeichnet. Ein solcher Bereich zeichnet sich insbesondere dadurch aus, dass dieser zumindest eine Parklücke aufweist, die seitlich durch ein oder mehrere Objekte begrenzt ist. Ein mit dem ersten und zweiten Abschnitt 4.1 , 4.2 verbundener dritter Abschnitt 4.3 des neuronalen Netzes 4 weist Mittel zur Ermittlung der Lage und Größe des Parklückenbegrenzungsrahmens P und zur Lage der Zielposition Z des Fahrzeugs 1 in diesem Parklückenbegrenzungsrahmen P auf. In particular, the neural network 4 has a first section 4.1, which includes a convolutional neural network 5 (CNN). A second section 4.2, connected to the first section 4.1, has means for determining areas that are relevant for parking space detection. In Fig. 2 there is such an area with B1 marked. Such an area is characterized in particular by the fact that it has at least one parking space that is laterally delimited by one or more objects. A third section 4.3 of the neural network 4, connected to the first and second sections 4.1, 4.2, has means for determining the position and size of the parking space boundary frame P and for the position of the target position Z of the vehicle 1 in this parking space boundary frame P.
Fig. 3 zeigt ein beispielhaft und schematisch ein faltendes neuronales Netz 5, das im ersten Abschnitt des neuronalen Netzes 4 zum Einsatz kommen kann. Fig. 3 shows an example and schematically of a folding neural network 5, which can be used in the first section of the neural network 4.
Das faltende neuronale Netz 5 empfängt an dessen Eingang die Rasterkarte 3. Das faltende neuronale Netz 5 weist mehrere Schichten 5.1 , 5.2 auf. Im gezeigten Ausführungsbeispiel sind lediglich zwei Schichten vorgesehen. Es sei darauf hingewiesen, dass das faltende neuronale Netz 5 auch mehr als zwei Schichten 5.1 , 5.2 aufweisen kann, je nachdem, welches Level von Strukturen erkannt werden sollen. The folding neural network 5 receives the raster map 3 at its input. The folding neural network 5 has several layers 5.1, 5.2. In the exemplary embodiment shown, only two layers are provided. It should be noted that the convolutional neural network 5 can also have more than two layers 5.1, 5.2, depending on which level of structures are to be recognized.
Jede Schicht 5.1 weist zumindest ein convolutional layer CL und ein Max- Pooling Layer MPL auf. Das convolutional layer CL weist einen Filter (sog. Kemels) auf, um Merkmale in den Informationen der Rasterkarte 3 zu detektieren. Durch die geschichtete Anordnung mehrerer convolutional layer CL lassen sich zunehmend komplexere Strukturen in der Szene erkennen. So kann beispielsweise ein erstes convolutional layer CLGrundstrukturen wie beispielsweise horizontale, vertikale oder schräg verlaufende Kanten erkennen. Basierend darauf kann ein zweites convolutional layer CL, das in Informationsflußrichtung auf das erste convolutional layer CLfolgt, Muster wie beispielsweise Kurven, Rechtecke oder Kreise erkennen. Ein ggf. drittes convolutional layer CL, das in Informationsflußrichtung auf das zweite convolutional layer CL folgt, kann basierend auf diesen Informationen beispielsweise dann komplexere Strukturen wie beispielsweise Fahrzeuge, Lücken zwischen Objekten etc. erkennen. Each layer 5.1 has at least one convolutional layer CL and one max-pooling layer MPL. The convolutional layer CL has a filter (so-called Kemels) to detect features in the information of the raster map 3. By layering several convolutional layers CL, increasingly complex structures can be recognized in the scene. For example, a first convolutional layer CL can recognize basic structures such as horizontal, vertical or oblique edges. Based on this, a second convolutional layer CL, which follows the first convolutional layer CL in the information flow direction, can recognize patterns such as curves, rectangles or circles. A possibly third convolutional layer CL, which follows the second convolutional layer CL in the information flow direction, can then, for example, be more complex based on this information Detect structures such as vehicles, gaps between objects, etc.
Beispielsweise folgt in jeder Schicht 5.1 , 5.2 auf ein convolutional layer CL jeweils ein Max-Pooling Layer MPL. Das Max-Pooling Layer MPL dient dazu, die Informationen, die von der nachfolgenden Schicht verarbeitet werden, zu reduzieren, um dem Kemel der nachfolgenden Schicht es zu ermöglichen, eine zoomartige Perspektive auf die Szene zu geben, die schon auf detektierte Merkmale reduziert wurde. Beispielsweise reduziert der jeweilige Max-Pooling Layer MPL die Informationen um den Skalierungsfaktor ß, d.h. das convolutional layer der ersten Schicht 5.1 weist beispielsweise die Dimension I * w auf, die gleich der Dimension der Rasterkarte 3 ist und liefert m feature maps, wohingegen das convolutional layer der zweiten Schicht 5.2 die Dimension aufweist
Figure imgf000016_0001
und n2 feature maps liefert. For example, in each layer 5.1, 5.2 a convolutional layer CL is followed by a max-pooling layer MPL. The Max-Pooling Layer MPL serves to reduce the information processed by the subsequent layer to enable the kernel of the subsequent layer to give a zoom-like perspective on the scene that has already been reduced to detected features. For example, the respective max-pooling layer MPL reduces the information by the scaling factor ß, ie the convolutional layer of the first layer 5.1, for example, has the dimension I * w, which is equal to the dimension of the raster map 3 and provides m feature maps, whereas the convolutional layer of the second layer 5.2 has the dimension
Figure imgf000016_0001
and n2 feature maps provides.
Die convolutional layer CL nutzen vorzugsweise eine Aktivierungsfunktion, beispielsweise ein ReLU-Aktivierungsfunktion der Form:
Figure imgf000016_0002
The convolutional layer CL preferably use an activation function, for example a ReLU activation function of the form:
Figure imgf000016_0002
Fig. 4 zeigt die Gesamtstruktur des neuronalen Netzes 4. Der Informationsfluss ist hierbei in Fig. 4 von unten nach oben, wie durch die Pfeile angedeutet. Fig. 4 shows the overall structure of the neural network 4. The flow of information in Fig. 4 is from bottom to top, as indicated by the arrows.
Eine Rasterkarte 3, die die diskretisierten Umgebungsinformationen enthält, wird an das faltende neuronale Netz 5 übermittelst, das, wie vorher beschrieben, mehrere Schichten 5.1 , 5.2 aufweist und basierend auf diesen Schichten 5.1 , 5.2 mehrere feature maps als Ausgangsinformationen erzeugt. Die Abschnitte 4.1 bis 4.3 des neuronalen Netzes 4 sind ebenso in Fig. 4 skizziert, wobei das faltende neuronale Netz 5 in dem ersten Abschnitt 4.1 liegt. Das faltende neuronale Netz 5 übermittelt die feature maps zum einen an den zweiten Abschnitt 4.2, zum anderen an den dritten Abschnitt 4.3 des neuronalen Netzes 4. A raster map 3, which contains the discretized environmental information, is transmitted to the convolutional neural network 5, which, as previously described, has several layers 5.1, 5.2 and generates several feature maps as output information based on these layers 5.1, 5.2. The sections 4.1 to 4.3 of the neural network 4 are also sketched in FIG. 4, with the convolutional neural network 5 located in the first section 4.1. The folding neural network 5 transmits the feature maps to the second section 4.2 and to the third section 4.3 of the neural network 4.
Der zweite Abschnitt 4.2 des neuronalen Netzes 4 implementiert einen selektiven Suchalgorithmus oder weist ein weiteres faltendes neuronales Netz auf, auch als regional proposal network (RPN) bezeichnet. Der selektive Suchalgorithmus bzw. das regional proposal network sind dazu ausgebildet, in den jeweiligen feature maps, die durch das faltende neuronale Netz 5 generiert werden, zu untersuchende Bereiche festzulegen (sog. regions of interest ROI). Zu untersuchende Bereiche sind diejenigen Bereiche in den feature maps, in denen zu beparkende Bereiche zu erwarten sind. Das regional proposal network ist beispielsweise ein mittels gelabelten Trainingsdaten vortrainiertes Faltungsnetzwerk, das dazu angepasst ist, beparkbare Bereiche zu erkennen. Die Trainingsdaten weisen beispielsweise Parkplatz-Szenen auf, in denen Bereiche, die ein oder mehrere Objekte mit daran anschließender oder dazwischen eingeschlossener Freifläche, die eine Parklücke sein könnte, als Label gekennzeichnet sind. Durch das Training mit diesen Daten kann das regional proposal network dazu trainiert werden, für eine Beparkung zu untersuchende Bereiche zu erkennen. The second section 4.2 of the neural network 4 implements a selective search algorithm or has another convolutional neural network, also referred to as a regional proposal network (RPN). The selective search algorithm or the regional proposal network are designed to define areas to be examined in the respective feature maps that are generated by the convolutional neural network 5 (so-called regions of interest ROI). Areas to be examined are those areas in the feature maps in which areas to be parked are expected. The regional proposal network, for example, is a convolutional network pre-trained using labeled training data that is adapted to detect parking areas. The training data includes, for example, parking lot scenes in which areas containing one or more objects with adjacent or enclosed open space, which could be a parking space, are marked as labels. By training with this data, the regional proposal network can be trained to recognize areas to be examined for parking.
Die zu untersuchenden Bereiche und die feature maps werden anschließend an den dritten Abschnitt 4.3 des neuronalen Netzes 4 übertragen. Vorzugsweise sind die in Fig. 4 in dem dritten Abschnitt 4.3 gezeigten Bestandteile des neuronalen Netzes 4 mehrfach vorgesehen, und zwar für jede feature map, die von dem faltenden neuronalen Netz 5 generiert wird, jeweils einmal. Dadurch kann zunächst basierend auf jedem feature map getrennt ein Parklückenbegrenzungsrahmen P und eine Zielposition Z des Fahrzeugs 1 im Parklückenbegrenzungsrahmen P bestimmt werden, wobei diese Informationen anschließend miteinander verknüpft und dadurch ein finaler Parklückenbegrenzungsrahmen P und eine finale Zielposition Z des Fahrzeugs 1 in diesem finalen Parklückenbegrenzungsrahmen P festgelegt werden. The areas to be examined and the feature maps are then transferred to the third section 4.3 of the neural network 4. Preferably, the components of the neural network 4 shown in FIG. 4 in the third section 4.3 are provided multiple times, namely once for each feature map that is generated by the convolutional neural network 5. As a result, a parking space boundary frame P and a target position Z of the vehicle 1 in the parking space boundary frame P can initially be determined separately based on each feature map are determined, whereby this information is then linked together and thereby a final parking space boundary frame P and a final target position Z of the vehicle 1 are determined in this final parking space boundary frame P.
Im Folgenden wird die Informationsverarbeitung anhand einer einzelnen feature map beschrieben. Die Informationsverarbeitung der weiteren feature maps erfolgt in gleicher Weise. The information processing is described below using a single feature map. The information processing of the other feature maps takes place in the same way.
Eine von dem faltenden neuronalen Netz 5 erzeugte feature map wird mit dem zumindest einen zu untersuchenden Bereich, der von dem regional proposal network oder dem selektiven Suchalgorithmus bereitgestellt wird, verknüpft. Damit werden innerhalb der feature map ein oder mehrere relevante Bereiche B1 , B2, B3 festgelegt, die in den zumindest einen zu untersuchenden Bereich fallen. In anderen Worten wird durch die Verknüpfung der feature map und dem zumindest einen zu untersuchenden Bereich zumindest ein Ausschnitt A1 , A2, A3 der Feature map festgelegt, wie dies in Fig. 4 in dem unteren Bereich des Abschnitts 4.3 angedeutet ist. A feature map generated by the convolutional neural network 5 is linked to the at least one area to be examined, which is provided by the regional proposal network or the selective search algorithm. This means that one or more relevant areas B1, B2, B3 are defined within the feature map, which fall into at least one area to be examined. In other words, by linking the feature map and the at least one area to be examined, at least a section A1, A2, A3 of the feature map is determined, as indicated in FIG. 4 in the lower area of section 4.3.
Anschließend erfolgt ein sog. Region of Interest (Rol) Pooling durch ein pooling layer 7. Dabei wird beispielsweise eine Max-Pooling-Operation dazu verwendet, zu jedem zu untersuchenden Bereich eine Teil-feature map (Ausschnitte A1 , A2, A3) zu erzeugen. Die Teil-feature maps weisen dabei jeweils die gleiche Größe auf, d.h. auch bei nicht gleichgroßen Ausschnitten der originären feature map stellt das pooling layer 7 Teil- feature maps bereit, die alle die gleiche Größe haben. A so-called Region of Interest (Rol) pooling then takes place through a pooling layer 7. For example, a max pooling operation is used to generate a partial feature map (sections A1, A2, A3) for each area to be examined . The sub-feature maps are each the same size, i.e. even if sections of the original feature map are not the same size, the pooling layer 7 provides sub-feature maps that are all the same size.
Diese Teil-feature maps werden anschließend an ein erstes fully connected layer 6 weitergeleitet, das die in den Teil-feature maps vorhandenen Informationen weiterverarbeitet. Die von dem fully connected layer 6 bereitgestellten Informationen werden anschließend parallel an ein zweites fully connected layer 8 und ein drittes fully connected layer 9 übertragen. Das zweite fully connected layer 8 ist beispielsweise dazu trainiert, den Parklückenbegrenzungsrahmen P zu einer detektierten Parklücke zu bestimmen. Das dritte fully connected layer 8 ist beispielsweise dazu trainiert, die Zielposition des Fahrzeugs 1 in dem Parklückenbegrenzungsrahmen P bzw. der Parklücke zu bestimmen. Diese Informationen werden anschließend durch das zweite und dritte fully connected layer 8, 9 ausgegeben. These sub-feature maps are then forwarded to a first fully connected layer 6, which further processes the information available in the sub-feature maps. The information provided by the fully connected layer 6 is then transmitted in parallel to a second fully connected layer 8 and a third fully connected layer 9. The second fully connected layer 8 is trained, for example, to determine the parking space boundary frame P for a detected parking space. The third fully connected layer 8 is trained, for example, to determine the target position of the vehicle 1 in the parking space boundary frame P or the parking space. This information is then output by the second and third fully connected layers 8, 9.
Das neuronale Netz 4 stellt beispielsweise die Informationen zu dem Parklückenbegrenzungsrahmen P und der Zielposition Z des Fahrzeugs 1 wie folgt bereit. Die Zielposition Z des Fahrzeugs 1 in einer Parklücke wird beispielsweise durch einen Vektor mit den folgenden Werten ausgegeben: The neural network 4, for example, provides the information about the parking space boundary frame P and the target position Z of the vehicle 1 as follows. The target position Z of vehicle 1 in a parking space is output, for example, by a vector with the following values:
Z = [tx ty t©]; wobei beispielsweise durch die Koordinaten tx und ty eine Ecke des Fahrzeugs definiert wird oder ein Offset dieser Fahrzeugecke zu dem Parklückenbegrenzungsrahmen P angegeben wird und t© die Ausrichtung des Fahrzeugs in der Parklücke bzw. relativ zur Ausrichtung des Parklückenbegrenzungsrahmens P angibt. Z = [tx ty t©]; whereby, for example, a corner of the vehicle is defined by the coordinates t
Der Parklückenbegrenzungsrahmen P wird beispielsweise durch einen Vektor mit den folgenden Werten ausgegeben: The parking space bounding box P is, for example, output by a vector with the following values:
P = [bx by bi bw b©]; wobei beispielsweise durch die Koordinaten bx und by eine Ecke des Parklückenbegrenzungsrahmens P definiert wird, durch die Werte bi und bw die Länge und Breite des Parklückenbegrenzungsrahmens P definiert wird und b© die Ausrichtung des Parklückenbegrenzungsrahmens P in der Rasterkarte 3 angibt. P = [b x b y bi bw b©]; where, for example, a corner of the parking space bounding frame P is defined by the coordinates b x and b y , and the length and width of the parking space bounding frame P are defined by the values bi and bw and b© indicates the orientation of the parking space boundary frame P in the grid map 3.
Es versteht sich, dass diese Informationen für jeden detektierten Parklückenbegrenzungsrahmen P bzw. für jede Zielposition Z des Fahrzeugs 1 separat bereitgestellt werden. It is understood that this information is provided separately for each detected parking space boundary frame P or for each target position Z of the vehicle 1.
Das Training des neuronalen Netzes 4 erfolgt mittels Trainingsdaten, das gelabelte Parksituationsszenen aufweist, wobei die Labels jeweils die vorgenannten Ausgangsinformationen des neuronalen Netzes 4 angeben, d.h. die Zielposition Z und Ausrichtung des Fahrzeugs 1 in der Parklücke und die Position, Größe und Ausrichtung des Parklückenbegrenzungsrahmens P. The training of the neural network 4 is carried out using training data that has labeled parking situation scenes, the labels each indicating the aforementioned output information of the neural network 4, i.e. the target position Z and orientation of the vehicle 1 in the parking space and the position, size and orientation of the parking space boundary frame P .
Während des Trainings des neuronalen Netzes 4 wird versucht, die Parameter bzw. Gewichte des neuronalen Netzes 4 derart zu wählen, dass die von dem neuronalen Netz 4 bereitgestellten Informationen bestmöglich den in den Trainingsdaten angegebenen Labels entsprechen. During the training of the neural network 4, an attempt is made to select the parameters or weights of the neural network 4 in such a way that the information provided by the neural network 4 corresponds as best as possible to the labels specified in the training data.
Wie oben ausgeführt, stellt das neuronale Netz 4 zwei Ausgangsinformationen bereit, und zwar Informationen zum Parklückenbegrenzungsrahmen P und zur Zielposition Z des Fahrzeugs 1 . As stated above, the neural network 4 provides two output pieces of information, namely information about the parking space boundary frame P and the target position Z of the vehicle 1.
Das Training des neuronalen Netzes 4 erfolgt derart, dass eine Minimierung des Gesamtfehlers aus der vom neuronalen Netz 4 bestimmten Informationen zum Parklückenbegrenzungsrahmen P und zur Zielposition Z im Vergleich zu den Trainingsdaten erfolgt. Zusätzlich können Validierungsdaten vorhanden sein, die nicht als Trainingsdaten sondern für die Validierung des Trainings verwendet werden. Durch die Validierungsdaten kann ermittelt werden, wann das Training des neuronalen Netzes 4 zu einer hinreichenden Güte geführt hat. Dadurch kann die Trainingszeit reduziert und ein Overfitting des neuronalen Netzes 4 verhindert werden, so dass das neuronale Netz 4 zu allgemeineren, d.h. weniger eingeschränken Lösungen führt. The training of the neural network 4 is carried out in such a way that the overall error is minimized from the information about the parking space boundary frame P and the target position Z determined by the neural network 4 in comparison to the training data. In addition, there may be validation data that is not used as training data but for validating the training. The validation data can be used to determine when the training of the neural network 4 has resulted in sufficient quality. This can reduce training time and prevent overfitting of the neural network 4 can be prevented, so that the neural network 4 leads to more general, ie less restricted, solutions.
Hierzu wird ein auf der Minimierung des Multi-Task-Loss L basierendes Verfahren verwendet, das sowohl den Loss (Verlust) aufgrund des Fehlers bei der Bestimmung des Parklückenbegrenzungsrahmens P als auch den Loss (Verlust) aufgrund des Fehlers bei der Bestimmung der Zielposition Z berücksichtigt. Da es sich hierbei um ein Regressionsproblem handelt, wird der Verlust auch als regression lost bezeichnet. For this purpose, a method based on minimizing the multi-task loss L is used, which takes into account both the loss due to the error in determining the parking space bounding box P and the loss due to the error in determining the target position Z . Since this is a regression problem, the loss is also called regression lost.
Der Gesamtverlust L ist wie folgt definiert: The total loss L is defined as follows:
L (tk, uk, bk, vk) = Lz (tk, uk) + LP (bk, vk); wobei tk über den Vektor [tx ty t©] die Lage und Ausrichtung der Zielposition Z des Fahrzeugs 1 für die k-te Parklücke t, uk über den Vektor [ux uy u©] die Lage und Ausrichtung der Zielposition Z des Fahrzeugs 1 für die k-te Parklücke in den Trainingsdaten, bk über den Vektor [bx by bi bw b©] die Lage, Größe und Ausrichtung des Parklückenbegrenzungsrahmens P für die k-te Parklücke und vk über den Vektor [vx vy vi vw v©] die Lage, Größe und Ausrichtung des Parklückenbegrenzungsrahmens P für die k-te Parklücke in den Trainingsdaten definieren. Lz (tk, uk) ist damit der Loss, der aus dem Unterschied der Informationen zur Zielposition Z des Fahrzeugs 1 im Vergleich zu den Trainingsdaten resultiert und Lp (bk, vk) ist der Loss, der aus dem Unterschied der Informationen zum Parklückenbegrenzungsrahmen P relativ zu den Trainingsdaten resultiert. L (t k , uk , b k , v k ) = Lz (t k , uk ) + LP (b k , v k ); where t k is the position and orientation of the target position Z of the vehicle 1 for the kth parking space t via the vector [ t Target position Z of vehicle 1 for the kth parking space in the training data, b k via the vector [b x b y bi bw b©] the position, size and orientation of the parking space bounding box P for the kth parking space and v k via the Vector [v x v y vi v w v©] define the location, size and orientation of the parking space bounding box P for the kth parking space in the training data. Lz (t k , uk ) is therefore the loss that results from the difference in information about the target position Z of vehicle 1 compared to the training data and Lp (b k , v k ) is the loss that results from the difference in information to the parking space bounding box P relative to the training data.
Die Berechnung der Losses Lz (tk, uk) und Lp (bk, vk) kann wie folgt erfolgen:
Figure imgf000022_0002
The calculation of the losses Lz (t k , uk ) and Lp (b k , v k ) can be done as follows:
Figure imgf000022_0002
Dabei ist die Funktion smoothL1 eine modifizierte Verlustfunktion, die eine Mischung aus Absolutabstand und quadratischem Abstand ermöglicht. Sie ist wie folgt definiert: wenn Ixl < 1
Figure imgf000022_0001
0,5 sonst The smooth L1 function is a modified loss function that enables a mixture of absolute distance and squared distance. It is defined as follows: if Ixl < 1
Figure imgf000022_0001
0.5 otherwise
Fig. 5 zeigt ein Diagramm, das die Schritte des Verfahrens zur Bestimmung einer Parklücke und einer Zielposition eines Fahrzeugs in der Parklücke mittels eines neuronalen Netzes veranschaulicht. 5 shows a diagram that illustrates the steps of the method for determining a parking space and a target position of a vehicle in the parking space using a neural network.
Zunächst wird eine Szene im Umgebungsbereich eines Fahrzeugs mittels einer Sensorik erfasst und es werden Umgebungsinformationen bereitgestellt (S10). First, a scene in the surrounding area of a vehicle is recorded using a sensor system and environmental information is provided (S10).
Anschließend wird eine Rasterkarte der Szene mit einer Vielzahl von Zellen basierend auf den Umgebungsinformationen erzeugt, wobei die Zellen der Rasterkarte jeweils Informationen aufweisen, ob der mit der Zelle korrespondierende Umgebungsbereich von einem Objekt belegt ist oder nicht (S11 ). A raster map of the scene is then generated with a plurality of cells based on the environmental information, the cells of the raster map each having information as to whether the environmental area corresponding to the cell is occupied by an object or not (S11).
Zuletzt wird die Rasterkarte an ein neuronales Netz übermittelt, wobei das neuronale Netz dazu trainiert ist, basierend auf der Rasterkarte Informationen zu einem Parklückenbegrenzungsrahmen und Informationen zu einer Zielposition des Fahrzeugs in dem Parklückenbegrenzungsrahmen bereitzustellen (S12). Die Erfindung wurde voranstehend an Ausführungsbeispielen beschrieben. Es versteht sich, dass zahlreiche Änderungen sowie Abwandlungen möglich sind, ohne dass dadurch der durch die Patentansprüche definierte Schutzbereich verlassen wird. Finally, the raster map is transmitted to a neural network, the neural network being trained to provide information about a parking space bounding frame and information about a target position of the vehicle in the parking space bounding frame based on the raster map (S12). The invention has been described above using exemplary embodiments. It is understood that numerous changes and modifications are possible without departing from the scope of protection defined by the patent claims.
Bezugszeichenliste 1 Fahrzeug Reference number list 1 vehicle
2 Sensorik 2 Sensors
3 Rasterkarte 3 grid map
3.1 Zellen 3.1 Cells
4 neuronales Netz 4.1 erster Abschnitt 4 neural network 4.1 first section
4.2 zweiter Abschnitt 4.2 second section
4.3 dritter Abschnitt 4.3 third section
5 faltendes neuronale Netz5 convolutional neural network
5.1 , 5.2 Schicht 6 erstes fully-connected layer5.1, 5.2 Layer 6 first fully-connected layer
7 pooling layer 7 pooling layers
8 zweites fully-connected layer8 second fully-connected layer
9 drittes fully-connected layer A1 , A2, A3 Ausschnitt 9 third fully-connected layer A1, A2, A3 cutout
B1 , B2, B3 relevanter Bereich B1, B2, B3 relevant area
CL convolutional Layer CL convolutional layer
MPL Max-pooling layer MPL Max pooling layer
01 , 02 Objekt P Parklückenbegrenzungsrahmen01 , 02 Object P parking space boundary frame
R Recheneinheit R computing unit
Z Zielposition des Fahrzeugs Z Target position of the vehicle

Claims

Patentansprüche Patent claims
1 ) Verfahren zur Bestimmung einer Parklücke und einer Zielposition eines Fahrzeugs (1 ) in der Parklücke mittels eines neuronalen Netzes (4), wobei das Verfahren die folgenden Schritte umfasst: 1) Method for determining a parking space and a target position of a vehicle (1) in the parking space using a neural network (4), the method comprising the following steps:
- Erfassen einer Szene im Umgebungsbereich eines Fahrzeugs (1 ) mittels einer Sensorik (2) und Bereitstellen von Umgebungsinformationen (S10); - Detecting a scene in the surrounding area of a vehicle (1) using a sensor system (2) and providing environmental information (S10);
- Erzeugen einer Rasterkarte (3) der Szene mit einer Vielzahl von Zellen (3.1 ) basierend auf den Umgebungsinformationen, wobei die Zellen (3.1 ) der Rasterkarte (3) jeweils Informationen aufweisen, ob der mit der Zelle (3.1 ) korrespondierende Umgebungsbereich von einem Objekt (01 , 02) belegt ist oder nicht (S11 ); - Generating a raster map (3) of the scene with a plurality of cells (3.1) based on the environmental information, the cells (3.1) of the raster map (3) each having information as to whether the environmental area corresponding to the cell (3.1) is of an object (01, 02) is occupied or not (S11);
- Übermitteln der Rasterkarte (3) an ein neuronales Netz (4), wobei das neuronale Netz (4) dazu trainiert ist, basierend auf der Rasterkarte (3) Informationen zu einem Parklückenbegrenzungsrahmen (P) und Informationen zu einer Zielposition (Z) des Fahrzeugs (1 ) in dem Parklückenbegrenzungsrahmen (P) bereitzustellen (S12). - Transmitting the grid map (3) to a neural network (4), the neural network (4) being trained to provide information about a parking space boundary frame (P) and information about a target position (Z) of the vehicle based on the grid map (3). (1) in the parking space boundary frame (P) to provide (S12).
2) Verfahren nach Anspruch 1 , dadurch gekennzeichnet, dass die Zellen (3.1 ) der Rasterkarte (3) Informationen aufweisen, ob die jeweilige Zelle (3.1 ) mit einem Objekt (01 , 02) belegt ist, das höher oder niedriger ist als ein festgelegter Schwellwert und/oder dass die Zellen (3.1 ) der Rasterkarte (3) Informationen zur Dichte und/oder Intensität der von der Sensorik (2) empfangenen Reflektionen aufweisen. 2) Method according to claim 1, characterized in that the cells (3.1) of the grid map (3) have information as to whether the respective cell (3.1) is occupied by an object (01, 02) that is higher or lower than a specified one Threshold value and / or that the cells (3.1) of the raster map (3) have information about the density and / or intensity of the reflections received by the sensor system (2).
3) Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass das neuronale Netz (4) mehrere Abschnitte (4.1 , 4.2, 4.3) aufweist, und zwar einen ersten Abschnitt (4.1 ), mittels dem eine Erkennung von Strukturen von den in der Rasterkarte (3) enthaltenen Objekten (01 , 02) erfolgt, einen zweiten Abschnitt (3.2), mittels dem ein oder mehrere für die Parklückendetektion relevante Bereiche (B1 , B2, B3) ermittelt werden und einen dritten Abschnitt (4.3), der den zumindest einen für die Parklückendetektion relevanten Bereich (B1 , B2, B3) empfängt und der innerhalb dem zumindest einen für die Parklückendetektion relevanten Bereich (B1 , B2, B3) Informationen zu einem Parklückenbegrenzungsrahmen (P) und Informationen zu einer Zielposition (Z) des Fahrzeugs (1 ) in dem Parklückenbegrenzungsrahmen (P) ermittelt. ) Verfahren nach Anspruch 3, dadurch gekennzeichnet, dass der erste Abschnitt (4.1 ) ein faltendes neuronales Netz (5) mit mehreren Schichten (5.1 , 5.2) aufweist, wobei die Schichten jeweils ein Convolutional Layer und ein Pooling Layer aufweisen und wobei jede Schicht (5.1 , 5.2) eine Feature Map als Ausgangsinformation bereitstellt. ) Verfahren nach Anspruch 4, dadurch gekennzeichnet, dass die Ausgangsinformationen des jeweiligen Convolutional Layers durch eine Aktivierungsfunktion modifiziert werden. ) Verfahren nach einem der Ansprüche 3 bis 5, dadurch gekennzeichnet, dass der zweite Abschnitt (4.2) einen selektiven Suchalgorithmus oder ein Faltungsnetzwerk umfasst, die zum Erkennen und Auswahlen von einem oder mehreren Ausschnitten in den Feature Maps ausgebildet sind, die von den jeweiligen Schichten des faltenden neuronalen Netzes des ersten Abschnitts bereitgestellt werden und einen oder mehrere relevante Bereiche (B1 , B2) zur Erkennung von Parklücken enthalten. ) Verfahren nach Anspruch 6, dadurch gekennzeichnet, dass der selektive Suchalgorithmus oder das Faltungsnetzwerk mehrere Feature Maps aus unterschiedlichen Schichten (5.1 , 5.2) des faltenden neuronalen Netzes (5) des ersten Abschnitts (4.1 ) empfängt und basierend auf den Gesamtinformationen, die in den Feature Maps enthalten sind, einen oder mehrere relevante Bereiche (B1 , B2) für die Erkennung von Parklücken bestimmt. ) Verfahren nach einem der Ansprüche 4 bis 7, dadurch gekennzeichnet, dass der dritte Abschnitt (4.3) zumindest ein erstes Fully-Connected Layer (6) aufweist, dass zumindest ein Ausschnitt (A1 , A2, A3) der Feature Maps, die durch den ersten Abschnitt (4.1 ) des neuronalen Netzes (4) bereitgestellt werden, basierend auf dem vom zweiten Abschnitt (4.2) bereitgestellten zumindest einen relevanten Bereich (B1 , B2, B3) erzeugt werden und dass der zumindest eine Ausschnitt (A1 , A2, A3) der Feature Maps durch das zumindest eine erste Fully-Connected Layer (6) weiterverarbeitet wird. ) Verfahren nach Anspruch 8, dadurch gekennzeichnet, dass der dritte Abschnitt (4.3) ein Pooling Layer (7) umfasst, das den zumindest einen Ausschnitt (A1 , A2, A3) der Feature Maps erzeugt, wobei der Ausschnitt (A1 , A2, A3) eine vordefinierte Größe aufweist. 0) Verfahren nach Anspruch 8 oder 9, dadurch gekennzeichnet, dass der dritte Abschnitt (4.3) zumindest ein zweites Fully-Connected Layer (8) zur Berechnung des Parklückenbegrenzungsrahmens und zumindest ein drittes Fully-Connected Layer (9) zur Berechnung der Zielposition (Z) des Fahrzeugs (1 ) aufweist, wobei das zweite und das dritte Fully- Connected Layer (8, 9) mit dem zumindest einen ersten Fully- Connected Layer (6) verbunden sind und Ausgangsinformationen von diesem empfangen. 1 ) Verfahren nach einem der Ansprüche 3 bis 10, dadurch gekennzeichnet, dass durch den ersten und/oder zweiten Abschnitt (4.1 , 4.2) mehrere unterschiedliche Teilinformationen bereitgestellt werden und dass die unterschiedlichen Teilinformationen parallel durch mehrere dritte Abschnitte (4.3) des neuronalen Netzes (4) verarbeitet werden. ) System zur Bestimmung einer Parklücke und einer Zielposition eines Fahrzeugs (1 ) mittels eines neuronalen Netzes (4), wobei das System mit einer Sensorik (2) gekoppelt ist, die zur Erfassung einer Szene im Umgebungsbereich des Fahrzeugs (1 ) und zum Bereitstellen von Umgebungsinformationen ausgebildet ist, wobei das System eine Recheneinheit (R) aufweist, die zum Erzeugen einer Rasterkarte (3) der Szene mit einer Vielzahl von Zellen (3.1 ) basierend auf den Umgebungsinformationen ausgebildet ist, wobei die Zellen (3.1 ) der Rasterkarte (3) jeweils Informationen aufweisen, ob der mit der Zelle (3) korrespondierende Umgebungsbereich von einem Objekt (01 , 02) belegt ist oder nicht und wobei das neuronale Netz (4) dazu trainiert ist, basierend auf der Rasterkarte (3) Informationen zu einem Parklückenbegrenzungsrahmen (P) und Informationen zu einer Zielposition (Z) des Fahrzeugs (1 ) in dem Parklückenbegrenzungsrahmen (P) zu ermitteln. ) System nach Anspruch 12, dadurch gekennzeichnet, dass das neuronale Netz (4) mehrere Abschnitte (4.1 , 4.2, 4.3) aufweist, und zwar einen ersten Abschnitt (4.1 ), der zur Erkennung von Strukturen von den in der Rasterkarte (3) enthaltenen Umgebungsobjekten ausgebildet ist, einen zweiten Abschnitt (4.2), der zu Ermittlung eines oder mehrerer für die Parklückendetektion relevanter Bereiche (B1 , B2, B3) ausgebildet ist und einen dritten Abschnitt (4.3), der zum Empfang des zumindest einen für die Parklückendetektion relevanten Bereichs (B1 , B2, B3) und zur Ermittlung von Informationen zu einem Parklückenbegrenzungsrahmen (P) und von Informationen zu einer Zielposition (Z) des Fahrzeugs (1 ) in dem Parklückenbegrenzungsrahmen (P) innerhalb dem zumindest einen für die Parklückendetektion relevanten Bereich (B1 , B2, B3) ausgebildet ist. 3) Method according to claim 1 or 2, characterized in that the neural network (4) has several sections (4.1, 4.2, 4.3), namely a first section (4.1), by means of which a recognition of structures from those in the raster map (3) included objects (01, 02), a second section (3.2), by means of which one or more areas relevant for the parking space detection (B1, B2, B3) are determined and a third section (4.3), which contains the at least one area relevant for the parking space detection (B1, B2, B3) and which, within the at least one area relevant for parking space detection (B1, B2, B3), receives information about a parking space boundary frame (P) and information about a target position (Z) of the vehicle (1) in the parking space boundary frame ( P) determined. ) Method according to claim 3, characterized in that the first section (4.1) has a convolutional neural network (5) with several layers (5.1, 5.2), the layers each having a convolutional layer and a pooling layer and each layer ( 5.1, 5.2) provides a feature map as initial information. ) Method according to claim 4, characterized in that the output information of the respective convolutional layer is modified by an activation function. ) Method according to one of claims 3 to 5, characterized in that the second section (4.2) comprises a selective search algorithm or a convolution network, which are designed to recognize and select one or more sections in the feature maps from the respective layers of the convolutional neural network of the first section and contain one or more relevant areas (B1, B2) for detecting parking spaces. ) Method according to claim 6, characterized in that the selective search algorithm or the convolution network comprises several Receives feature maps from different layers (5.1, 5.2) of the convolutional neural network (5) of the first section (4.1) and, based on the overall information contained in the feature maps, one or more relevant areas (B1, B2) for the Detecting parking spaces. ) Method according to one of claims 4 to 7, characterized in that the third section (4.3) has at least a first fully-connected layer (6) that at least a section (A1, A2, A3) of the feature maps, which through the first section (4.1) of the neural network (4) are provided, based on the at least one relevant area (B1, B2, B3) provided by the second section (4.2) and that the at least one section (A1, A2, A3) the feature maps are further processed by at least a first fully connected layer (6). ) Method according to claim 8, characterized in that the third section (4.3) comprises a pooling layer (7) which generates the at least one section (A1, A2, A3) of the feature maps, wherein the section (A1, A2, A3 ) has a predefined size. 0) Method according to claim 8 or 9, characterized in that the third section (4.3) has at least a second fully connected layer (8) for calculating the parking space boundary frame and at least a third fully connected layer (9) for calculating the target position (Z ) of the vehicle (1), wherein the second and third fully connected layers (8, 9) are connected to the at least one first fully connected layer (6) and receive output information from it. 1) Method according to one of claims 3 to 10, characterized in that through the first and / or second section (4.1, 4.2) several different pieces of information are provided and that the different pieces of information are processed in parallel by several third sections (4.3) of the neural network (4). ) System for determining a parking space and a target position of a vehicle (1) by means of a neural network (4), the system being coupled to a sensor system (2) which is used to detect a scene in the area surrounding the vehicle (1) and to provide Environmental information is formed, wherein the system has a computing unit (R) which is designed to generate a raster map (3) of the scene with a plurality of cells (3.1) based on the environmental information, the cells (3.1) of the raster map (3) each have information as to whether the surrounding area corresponding to the cell (3) is occupied by an object (01, 02) or not and the neural network (4) is trained to provide information about a parking space boundary frame ( P) and information about a target position (Z) of the vehicle (1) in the parking space boundary frame (P). ) System according to claim 12, characterized in that the neural network (4) has several sections (4.1, 4.2, 4.3), namely a first section (4.1) which is used to recognize structures from those contained in the raster map (3). Surrounding objects is formed, a second section (4.2), which is designed to determine one or more areas relevant for the parking space detection (B1, B2, B3) and a third section (4.3), which is designed to receive the at least one area relevant to the parking space detection (B1, B2, B3) and for determining information about a parking space boundary frame (P) and information about a target position (Z) of the vehicle (1) in the Parking space boundary frame (P) is formed within the at least one area (B1, B2, B3) relevant for parking space detection.
14) System nach Anspruch 13, dadurch gekennzeichnet, dass der zweite Abschnitt (4.2) einen selektiven Suchalgorithmus oder ein Faltungsnetzwerk umfasst, die zum Erkennen und Auswahlen von einem oder mehreren Ausschnitten (A1 , A2, A3) in den Feature Maps ausgebildet sind, die von den jeweiligen Schichten (5.1 , 5.2) eines faltenden neuronalen Netzes (5) des ersten Abschnitts (4.1 ) bereitgestellt werden und einen oder mehrere relevante Bereiche (B1 , B2, B3) zur Erkennung von Parklücken enthalten. 14) System according to claim 13, characterized in that the second section (4.2) comprises a selective search algorithm or a convolution network, which are designed to recognize and select one or more sections (A1, A2, A3) in the feature maps are provided by the respective layers (5.1, 5.2) of a folding neural network (5) of the first section (4.1) and contain one or more relevant areas (B1, B2, B3) for detecting parking spaces.
15) System nach Anspruch 14, dadurch gekennzeichnet, dass der selektive Suchalgorithmus oder das Faltungsnetzwerk zum Empfang mehrerer Feature Maps aus unterschiedlichen Schichten (5.1 , 5.2) des faltenden neuronalen Netzes (5) des ersten Abschnitts (4.1 ) und zur Bestimmung eines oder mehrerer relevanter Bereiche (B1 , B2, B3) für die Erkennung von Parklücken basierend auf den Gesamtinformationen, die in den Feature Maps enthalten sind, ausgebildet ist. 15) System according to claim 14, characterized in that the selective search algorithm or the convolution network is used to receive multiple feature maps from different layers (5.1, 5.2) of the convolutional neural network (5) of the first section (4.1) and to determine one or more relevant ones Areas (B1, B2, B3) are designed for the detection of parking spaces based on the overall information contained in the feature maps.
16) System nach Anspruch 14 oder 15, dadurch gekennzeichnet, dass der dritte Abschnitt (4.3) zumindest ein erstes Fully-Connected Layer (6) aufweist, dass zumindest ein Ausschnitt der Feature Maps, die durch den ersten Abschnitt (4.1 ) des neuronalen Netzes (4) bereitgestellt werden, basierend auf dem vom zweiten Abschnitt (4.2) bereitgestellten zumindest einen relevanten Bereich (B1 , B2, B3) erzeugt wird und dass der zumindest eine Ausschnitt (A1 , A2, A3) der Feature Maps durch das zumindest eine erste Fully-Connected Layer (6) weiterverarbeitet wird. ) System nach Anspruch 16, dadurch gekennzeichnet, dass der dritte Abschnitt (4.3) zumindest ein zweites Fully-Connected Layer (8) zur Berechnung des Parklückenbegrenzungsrahmens (P) und zumindest ein drittes Fully-Connected Layer (9) zur Berechnung der Zielposition (Z) des Fahrzeugs (1 ) aufweist, wobei das zweite und das dritte Fully-16) System according to claim 14 or 15, characterized in that the third section (4.3) has at least a first fully connected layer (6) that at least a section of the feature maps, which through the first section (4.1) of the neural network (4) are provided, based on the at least one relevant area (B1, B2, B3) provided by the second section (4.2) and that the at least one section (A1, A2, A3) of the feature maps is generated by the at least one first Fully-connected layer (6) is further processed. ) System according to claim 16, characterized in that the third section (4.3) has at least a second fully connected layer (8) for calculating the parking space boundary frame (P) and at least a third fully connected layer (9) for calculating the target position (Z ) of the vehicle (1), the second and third fully
Connected Layer (8, 9) mit dem zumindest einen ersten Fully- Connected Layer (6) verbunden sind und Ausgangsinformationen von diesem empfangen. Connected layer (8, 9) are connected to the at least one first fully connected layer (6) and receive output information from it.
PCT/DE2023/200155 2022-08-12 2023-07-27 Method for determining a parking space and a target position for a vehicle in the parking space WO2024032856A1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102022208405.5A DE102022208405A1 (en) 2022-08-12 2022-08-12 Method for determining a parking space and a target position of a vehicle in the parking space
DE102022208405.5 2022-08-12

Publications (1)

Publication Number Publication Date
WO2024032856A1 true WO2024032856A1 (en) 2024-02-15

Family

ID=87800963

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/DE2023/200155 WO2024032856A1 (en) 2022-08-12 2023-07-27 Method for determining a parking space and a target position for a vehicle in the parking space

Country Status (2)

Country Link
DE (1) DE102022208405A1 (en)
WO (1) WO2024032856A1 (en)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180232583A1 (en) * 2017-02-16 2018-08-16 Honda Motor Co., Ltd. Systems for generating parking maps and methods thereof
US10239521B1 (en) * 2018-03-23 2019-03-26 Chongqing Jinkang New Energy Vehicle Co., Ltd. Multi-network-based path generation for vehicle parking
DE102017130488A1 (en) * 2017-12-19 2019-06-19 Valeo Schalter Und Sensoren Gmbh A method for classifying parking spaces in a surrounding area of a vehicle with a neural network
US20200294310A1 (en) * 2019-03-16 2020-09-17 Nvidia Corporation Object Detection Using Skewed Polygons Suitable For Parking Space Detection
CN113822156A (en) * 2021-08-13 2021-12-21 北京易航远智科技有限公司 Parking space detection processing method and device, electronic equipment and storage medium
CN113963230A (en) * 2021-10-09 2022-01-21 江苏大学 Parking space detection method based on deep learning
CN114359231A (en) * 2022-01-06 2022-04-15 腾讯科技（深圳）有限公司 Parking space detection method, device, equipment and storage medium
WO2022138123A1 (en) * 2020-12-21 2022-06-30 Sony Semiconductor Solutions Corporation Available parking space identification device, available parking space identification method, and program
CN114842447A (en) * 2022-05-06 2022-08-02 福州大学 Convolutional neural network-based parking space rapid identification method

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102017208718A1 (en) 2017-05-23 2018-11-29 Conti Temic Microelectronic Gmbh Method of detecting objects in an image of a camera
EP3736730A1 (en) 2019-05-07 2020-11-11 Elektrobit Automotive GmbH Convolutional neural network with reduced complexity
EP3809316A1 (en) 2019-09-24 2021-04-21 Elektrobit Automotive GmbH Prediction of a road route based on radar data
DE102019215912A1 (en) 2019-10-16 2021-04-22 Robert Bosch Gmbh METHOD AND DEVICE FOR COMPUTER-IMPLEMENTED OPERATION OF A NEURONAL NETWORK
KR20210135389A (en) 2020-05-04 2021-11-15 현대자동차주식회사 Apparatus for recognizing an obstacle, a vehicle system having the same and method thereof
CN111552764B (en) 2020-05-15 2023-07-25 汇智机器人科技(深圳)有限公司 Parking space detection method, device, system, robot and storage medium
US11783597B2 (en) 2020-12-30 2023-10-10 Continental Autonomous Mobility US, LLC Image semantic segmentation for parking space detection

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180232583A1 (en) * 2017-02-16 2018-08-16 Honda Motor Co., Ltd. Systems for generating parking maps and methods thereof
DE102017130488A1 (en) * 2017-12-19 2019-06-19 Valeo Schalter Und Sensoren Gmbh A method for classifying parking spaces in a surrounding area of a vehicle with a neural network
US10239521B1 (en) * 2018-03-23 2019-03-26 Chongqing Jinkang New Energy Vehicle Co., Ltd. Multi-network-based path generation for vehicle parking
US20200294310A1 (en) * 2019-03-16 2020-09-17 Nvidia Corporation Object Detection Using Skewed Polygons Suitable For Parking Space Detection
WO2022138123A1 (en) * 2020-12-21 2022-06-30 Sony Semiconductor Solutions Corporation Available parking space identification device, available parking space identification method, and program
CN113822156A (en) * 2021-08-13 2021-12-21 北京易航远智科技有限公司 Parking space detection processing method and device, electronic equipment and storage medium
CN113963230A (en) * 2021-10-09 2022-01-21 江苏大学 Parking space detection method based on deep learning
CN114359231A (en) * 2022-01-06 2022-04-15 腾讯科技（深圳）有限公司 Parking space detection method, device, equipment and storage medium
CN114842447A (en) * 2022-05-06 2022-08-02 福州大学 Convolutional neural network-based parking space rapid identification method

Also Published As

Publication number Publication date
DE102022208405A1 (en) 2024-02-15

Similar Documents

Publication Publication Date Title
EP3466239B1 (en) Method for operating a self-propelled agricultural working machine
DE19521346C2 (en) Image examination / recognition method, method used therein for generating reference data and devices therefor
DE60224324T2 (en) Method and device for processing vehicle images
DE102017203276B4 (en) Method and device for determining a trajectory in off-road scenarios
DE102019209644A1 (en) Method for training a neural network
DE102019205962A1 (en) Method for generating digital image pairs as training data for neural networks
EP1419402B1 (en) Method for detecting and tracking objects
DE102018122374A1 (en) Method for determining a free space surrounding a motor vehicle, computer program product, free space determination device and motor vehicle
EP3785169A1 (en) Method and device for converting an input image of a first domain into an output image of a second domain
EP1634241A1 (en) Method and device for object recognition in driver aid systems for motor vehicles
EP3788594B1 (en) Identifying the contour of a vehicle on the basis of measurement data from an environment sensor system
DE69821225T2 (en) METHOD FOR CONTROLLING THE SURFACE OF A CONTINUOUS MATERIAL RAIL WITH PRE-CLASSIFICATION OF DETERMINED IRREGULARITIES
EP3809316A1 (en) Prediction of a road route based on radar data
WO2024032856A1 (en) Method for determining a parking space and a target position for a vehicle in the parking space
DE102019209463A1 (en) Method for determining the trust value of an object of a class
WO2022129266A1 (en) Method for detecting at least one object in surroundings by means of reflection signals of a radar sensor system
DE102018121158A1 (en) Ground sensing point method and driver support system configured to perform such a method
DE102021133977A1 (en) Method and system for classifying virtual test scenarios and training methods
DE102020211596A1 (en) Method for generating a trained neural convolution network with an invariant integration layer for classifying objects
WO2021063572A1 (en) Device and method for processing data from a neural network
DE102016124123A1 (en) A method for generating a cluster of image areas for capturing a target object in an image, computer program product, camera system and motor vehicle
WO2021180470A1 (en) Quality assurance method for an example-based system
DE102021108308A1 (en) Computer-implemented method for processing a set of scan points, computer program, computer-readable storage medium and driver assistance system for a motor vehicle
DE102016124074A1 (en) Determining a trafficability of a road section based on an image
WO2023202751A1 (en) Method for monitoring whether a vehicle has crossed a boundary of a zone in which the vehicle can drive, and driver assistance system

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23761058

Country of ref document: EP

Kind code of ref document: A1