WO2021228536A1 - Verfahren zum lokalisieren eines fahrzeugs in relation zu einem umfeldmodell um eine fahrtrajektorie - Google Patents

Verfahren zum lokalisieren eines fahrzeugs in relation zu einem umfeldmodell um eine fahrtrajektorie Download PDF

Info

Publication number
WO2021228536A1
WO2021228536A1 PCT/EP2021/060843 EP2021060843W WO2021228536A1 WO 2021228536 A1 WO2021228536 A1 WO 2021228536A1 EP 2021060843 W EP2021060843 W EP 2021060843W WO 2021228536 A1 WO2021228536 A1 WO 2021228536A1
Authority
WO
WIPO (PCT)
Prior art keywords
localization
vehicle
search
environment model
relation
Prior art date
Application number
PCT/EP2021/060843
Other languages
English (en)
French (fr)
Inventor
Nils GIRRBACH
Marc Oliver Hoefling
Original Assignee
Robert Bosch Gmbh
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch Gmbh filed Critical Robert Bosch Gmbh
Publication of WO2021228536A1 publication Critical patent/WO2021228536A1/de

Links

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0221—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving a learning process
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/28—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804—Creation or updating of map data
    • G01C21/3833—Creation or updating of map data characterised by the source of data
    • G01C21/3848—Data obtained from both position sensors and additional sensors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62D—MOTOR VEHICLES; TRAILERS
    • B62D15/00—Steering not otherwise provided for
    • B62D15/02—Steering position indicators ; Steering position determination; Steering aids
    • B62D15/027—Parking aids, e.g. instruction means
    • B62D15/0285—Parking performed automatically
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3679—Retrieval, searching and output of POI information, e.g. hotels, restaurants, shops, filling stations, parking facilities
    • G01C21/3685—Retrieval, searching and output of POI information, e.g. hotels, restaurants, shops, filling stations, parking facilities the POI's being parking facilities

Definitions

  • the invention relates to a method for localizing a vehicle in relation to an environment model around a driving trajectory that is learned by following the driving trajectory by means of the vehicle, a computer program for performing the method, a machine-readable storage medium on which the computer program is stored, and a Device for carrying out the method.
  • the method can be used in particular for at least partial automation of the ferry operation of a vehicle.
  • parking functions have already been proposed, with which parking can be carried out at least partially automatically or autonomously in previously measured parallel or perpendicular parking spaces.
  • parking assistants are being investigated and developed that are based on a recording and playback functionality ("Record and Replay" function).
  • a driving trajectory can be learned and recorded by manually following the driving trajectory by means of the vehicle.
  • the vehicle can then travel this driving trajectory independently or automatically. For example, a driver can manually record the path from an entrance to a site to a parking position on the site and then the vehicle can automatically drive it several times.
  • the parking position can be located in a parking garage located on the premises, for example.
  • the method can be used in particular to provide improved and / or more precise recording and playback functionality (“record and replay” function) for a vehicle. As a result, the method can also contribute to the at least partial automation of the ferry operation of a vehicle.
  • a method for the (initial) localization of a vehicle in relation to an environment model around a driving trajectory comprising at least the following steps: a) receiving a large number of different sensor data Sensors that are arranged in or on the vehicle while the driving trajectory is being learned, the sensor data at least partially describing environmental features around the driving trajectory, b) creating the environment model using the received sensor data and / or using the environmental features based on the sensor data c) selecting at least one search strategy from a plurality of mutually different search strategies to search for the vehicle position in relation to the environment model, d) performing the at least one selected search strategy in order to search for a vehicle position in relation to the environment model.
  • Steps a), b), c) and d) can be carried out at least once in the specified order to carry out the process.
  • steps a) to d), in particular steps a) and b) and / or steps c) and d) can be carried out at least partially in parallel or at the same time.
  • Steps a) and b) can be carried out, for example, to carry out a learning phase or recording phase (record mode) of the method.
  • Steps c) and d) can be used, for example, to carry out a localization phase or a playback phase (replay mode).
  • the method contributes in particular to improving the availability and / or precision of localization results.
  • the localization of the vehicle in relation to the environment model around the driving trajectory includes in particular determining the (own) position of the vehicle within the environment described by the environment model relative to the driving trajectory or to a path recorded by the driving trajectory.
  • the vehicle can be, for example, a motor vehicle, such as an automobile.
  • the vehicle is preferably set up for at least partially automated or autonomous operation.
  • the method can also be carried out by means of a device described here.
  • the driving trajectory can, for example, describe a path to a parking position for the vehicle.
  • the method can be carried out in particular to search for or find a starting position or initial position of the vehicle in relation to an environment model around a driving trajectory.
  • This starting position or initial position can be used for (further) localizing the vehicle in relation to an environment model around a driving trajectory.
  • the method thus advantageously enables a particularly advantageous option for (initial) localization when the vehicle is in what is known as a lost robot mode. In this mode, as a rule, no or at least insufficient a priori information about the location of the vehicle is known.
  • a plurality of sensor data is received from various sensors that are arranged in or on the vehicle while the driving trajectory is being learned, the sensor data at least partially describing environmental features around the driving trajectory.
  • the different sensors can be different types of sensors, for example.
  • a GNSS sensor an inertia sensor, a driving parameter sensor such as a wheel speed sensor, a speed sensor and / or an acceleration sensor and / or at least one (optical and / or acoustic) environment sensor such as a camera
  • an ultrasound sensor can be used as sensors
  • a LIDAR sensor and / or a RADAR sensor can be used.
  • step a) environmental information can thus be sensed during the learning of the driving trajectory and / or for learning or recording the driving trajectory and / or for (at least partially parallel or simultaneous) learning or recording of environmental features around the driving trajectory.
  • the sensors can collect the sensor data independently of one another.
  • the environment model is created using the received sensor data and / or by means of the environmental features that are determined on the basis of the sensor data.
  • the environment model can be created at least partially in parallel or at the same time as the travel trajectory is recorded.
  • the environment model and / or the driving trajectory can optionally be stored at least partially in parallel or at the same time.
  • the environment model can, in particular, be created in an environment-specific and / or travel trajectory-specific manner.
  • the environment model and / or the driving trajectory can be stored, for example, in a memory of the device also described here.
  • the sensor data and / or the environmental features can be recorded and stored as a function of location and / or time. In other words, this means in particular that the sensor data and / or the environmental features are linked (stored) with information about the (relative) position of the vehicle at which they were recorded and / or with information about the point in time at which they were recorded. can be.
  • Steps a) and b) can represent a learning or recording phase (or a record mode) of the method.
  • any path or travel trajectory in any environment and / or an environment model for describing any environment can initially be recorded in the manner of a training.
  • the data created during training can, for example, describe a scenario represented by the environment model.
  • these data can be combined and / or processed in such a way that they (together) describe a scenario represented by the environment model in which the vehicle can move.
  • the trained or learned driving trajectory can be traversed at least partially automatically within the scenario with successful (initial) localization with advantageously high precision.
  • step c) at least one (suitable) search strategy is selected from a multiplicity of mutually different search strategies for searching for the vehicle position in relation to the environment model.
  • the selection can be carried out, for example, by means of a selector of a device also described here.
  • the search strategy is particularly suitable for searching or finding an initial position of the vehicle in relation to the environment model or the trajectory, in particular (also) when no or at least insufficient a priori information about the location of the vehicle is known and / or the vehicle is in a so-called lost robot mode.
  • the at least one search strategy can, for example, cause one or more localization methods to carry out an (initial) localization of the vehicle on the basis of information from the environment model.
  • the work required for the (initial) localization can be applied to the several search strategies or the several Localization methods are divided.
  • the mutually different search strategies can select different or different types of information from the environment model. For example, a first of the mutually different search strategies can select information from the environment model that is based on recordings using a specific first sensor type, and a second of the mutually different search strategies can select information from the environment model that is based on recordings using a specific (different from the first sensor type differentiating) second sensor type.
  • the search strategy can thus be selected, for example, as a function of the (currently) available sensor information or sensor types.
  • the at least one selected search strategy is carried out in order to search for a vehicle position in relation to the environment model.
  • This can include, for example, one or more comparisons of (location-dependent) information selected from the environment model with currently recorded information from, in particular, (different) sensors that are arranged in or on the vehicle. So you can do it For example, sensor data stored as a function of location can be compared with currently recorded sensor data of the vehicle.
  • Steps c) and d) can represent an (initial) localization or playback phase (or in particular the start of a replay mode) of the method. Steps c) and d) can be carried out before and / or during an at least partially automatic or autonomous driving down of a driving trajectory previously recorded with the vehicle. Steps c) and d) are preferably carried out before an at least partially automatic or autonomous driving down of a driving trajectory previously recorded with the vehicle.
  • the mutually different search strategies can select (different) information from the environment model (previously created and possibly stored) with which at least two different localization methods for localizing the vehicle in relation to the environment model can be carried out.
  • suitable or specific (in particular the correct) comparison or reference points can be selected (by the selector) for each localization method from the environment model along the travel trajectory.
  • corresponding information can be selected from the environment model on specific trajectory points, in particular on trajectory points that are spaced apart from one another and / or are distributed along the driving trajectory.
  • the information from the environment model can be selected in such a way that different or mutually independent localization methods can be carried out with it. Furthermore, the selected information from the environment model can be assigned to the corresponding localization methods.
  • the at least two different or independent localization methods can include, for example, two or more of the following localization methods: image-based localization, localization on a map (in particular so-called map matching), localization via navigation satellite data (for example via GNSS data such as GPS data ), Localization over transit times of optical and / or acoustic Signals and the like.
  • the localization methods can differ, for example, in the direction in which they can process (location-dependent) information from the environment model.
  • the localization methods can differ, for example, in the accuracy with which they can provide localization results.
  • step d) at least two different localization methods for localizing the vehicle in relation to the environment model are carried out.
  • the localization methods (independently of one another) can each provide a localization result.
  • the localization methods can (each) be carried out for several vehicle positions and / or for several trajectory points along the travel trajectory. If a valid or consistent localization can be provided with at least one of the localization methods, the other of the localization methods can be carried out with at least one piece of information assigned to it from the environment model with regard to (essentially) the same vehicle position.
  • the localization can be viewed as valid or confident, for example, if a discrepancy between information currently recorded and information from the environment model is less than or equal to a predefinable limit value.
  • the at least two different localization methods can thus be carried out (at least once) with respect to (essentially) the same vehicle position, the localization methods (independently of one another) each providing a localization result.
  • Each localization result preferably describes an absolute or relative position specification.
  • An absolute position specification is to be understood in particular as a geodetic position or a position specification in a geodetic coordinate system.
  • the position of the vehicle is a relative position specification to understand within the environment relative to the recorded path or to the recorded driving trajectory.
  • the localization results provided can be combined to form an overall localization result.
  • Combining can take place, for example, in the manner of optionally weighted merging of the individual localization results to form an overall localization result.
  • the overall position result can be provided, for example, by a combiner of a device also described here.
  • the overall position result can be provided as the initial position of the vehicle.
  • the search strategies which are different from one another, differ at least in the (or their) selection of information from the environment model.
  • a first one of the mutually different search strategies can select (location-dependent) information from the environment model that is based on recordings using a certain first sensor type, and a second one of the mutually different search strategies (location-dependent) information from the environment model that is based on recordings using a certain (differing from the first sensor type) based on the second sensor type.
  • a first one of the mutually different search strategies (location-dependent) information from the environment model that describe the course of the trajectory or are arranged at a distance from one another (and / or distributed) along the trajectory and a second one of the mutually different search strategies thereof select different and / or spaced (location-dependent) information items from the environment model which (likewise) describe the course of the trajectory or are arranged at a distance from one another (and / or distributed) along the trajectory.
  • the search strategies which differ from one another, differ at least in terms of the localization method for localizing the vehicle in relation to the environment model.
  • the various search strategies can in particular be carried out using different or mutually independent localization methods.
  • the at least two of each other Different or mutually independent localization methods can include, for example, two or more of the following localization methods: image-based localization, localization on a map (in particular so-called map matching), localization via navigation satellite data (for example via GNSS data such as GPS data), localization via Transit times of optical and / or acoustic signals and the like.
  • the localization methods can differ, for example, in the direction in which they can process (location-dependent) information from the environment model.
  • the localization methods can differ, for example, in the accuracy with which they can provide localization results.
  • step c) at least two search strategies are selected from the large number of mutually different search strategies.
  • the search for the vehicle position in relation to the environment model can be divided into the at least two search strategies.
  • the search strategies can complement and / or validate one another.
  • first search strategy of the at least two search strategies the vehicle position along a first direction and (at least partially parallel or simultaneously) according to a second search strategy of the at least two search strategies the vehicle position along a second direction that differs from the first direction Direction is sought.
  • the first direction and the second direction can, for example, be oriented in opposite directions to one another along the trajectory.
  • the first direction and the second direction can differ from one another, for example, in such a way that the two search strategies can start or proceed from both ends of the trajectory.
  • the first direction and the second direction can differ from one another, for example, in such a way that the two search strategies can start from essentially the center of the trajectory towards different ends of the trajectory.
  • the Vehicle position is searched for by means of a first localization method and, according to a second search strategy of the at least two search strategies, the vehicle position is searched for by means of a second localization method that is more precise than the first localization method.
  • the limit value for a valid or consistent localization result can be lower with the second localization method than with the first localization method.
  • a higher accuracy can be achieved through a higher resolution and / or lower range (or lower coverage) of the first localization method.
  • the second localization method can have a comparatively low resolution and thus check large parts of the trajectory in a short time.
  • this second localization method can initially be used alone until there is a sufficiently precise localization that offers a realistic possibility of being able to deliver an even more precise result in the shortest possible time with the first localization method.
  • time and / or computing power can advantageously be saved through various search strategies.
  • the at least one selected search strategy or at least one of the selected search strategies and / or the selection of the search strategy is adapted.
  • an adjustment can take place if the relevant search strategy cannot find a valid or confident localization result or if this cannot be found sufficiently quickly.
  • the adaptation can include, for example, supplementing and / or updating the relevant search strategy and / or exchanging the relevant search strategy with another one of the various search strategies.
  • the at least one search strategy can also be evaluated. This can contribute to learning which strategy is particularly successful in which location, in particular particularly quickly, effectively and / or efficiently.
  • the corresponding learning result can contribute to adapting the at least one selected search strategy or at least one of the selected search strategies and / or the selection of the search strategy.
  • the method can determine which search strategy is used to achieve which goal (fast localization, resource-saving localization) particularly well. This can help to be able to select the right search strategy directly in the future. If, for example, a search strategy proves to be less advantageous in a trajectory or in a scenario, this search strategy can then be excluded in this trajectory or in this scenario.
  • the search strategies can be adapted or updated, for example, by providing (new) search strategies via communication means (for example the device also described here).
  • communication means for example the device also described here.
  • search strategies that were only developed afterwards and / or strategies that have turned out to be particularly good in other vehicles.
  • the selection of the at least one search strategy can be adapted to current (external) circumstances. If several search strategies are known or available to the method (or are stored in the device), based on or as a function of a current one
  • SLAM Simultaneous Localization And Mapping and denotes a method in which a map of the environment can be set up and localization can be carried out within this map at the same time.
  • SLAM processes can usually be used as precisely and flexibly as possible. However, they usually place high demands on the computing capacities (which are not available in all current control units). Provision can (accordingly) be made for steps a) to d) to be carried out inside the vehicle or outside the vehicle.
  • at least steps a) and b) can be outsourced to a computing device external to the vehicle. The externally created environment model can then be transferred back to the vehicle.
  • a computer program for carrying out a method described here is proposed.
  • this relates in particular to a computer program (product), comprising instructions which, when the program is executed by a computer, cause the computer to carry out a method described here.
  • a machine-readable storage medium is proposed on which the computer program described here is deposited or stored.
  • the machine-readable storage medium is usually a computer-readable data carrier.
  • a device for carrying out a method described here at least comprising: a first localization module with which one of at least two different localization methods can be carried out, a second localization module with which another of the at least two different localization methods can be carried out, a selector with which at least one search strategy can be selected from a multiplicity of mutually different search strategies for searching for the vehicle position in relation to the environment model.
  • the device can furthermore comprise a combiner with which the localization results provided by the localization modules can be combined to form an overall localization result.
  • the device can furthermore comprise a memory on which the Environment model is storable. The memory can be connected to the selector and / or the localization modules.
  • the device can be, for example, a modular and / or expandable localization device, such as a modular and / or expandable localization control device.
  • the device can in particular comprise a modular and / or expandable basic structure (localization framework), in particular comprising the first and second localization module, the combiner, the selector and / or the memory.
  • the device describes a modular system for localizing a vehicle in a previously recorded environment.
  • several independent localization components can each provide a localization result, which can then preferably be merged (instead of merging individual sensor data).
  • the system is provided and set up in particular to determine the (own) position of the vehicle relative to the environment or relative to the environment model and / or the driving trajectory.
  • the method and / or the device are set up in particular to carry out various (and possibly adaptable) search strategies for localizing a vehicle in a previously recorded environment.
  • a particular advantage of the method and / or the device arises in particular from the possibility of using at least two localization methods with or without insufficiently precise a priori information (so-called lost robot problem), for example with the aid of various sensors / sensor data / to be able to efficiently provide a localization result.
  • the localization task (including in Lost Robot Mode) can be divided into several localization components, which means that a result can advantageously be found more quickly and / or more efficiently.
  • the device can, for example, represent a system for selecting and executing different search strategies using different localization methods.
  • the device includes, in particular, a memory component (or a memory) which stores environmental features during training and then makes them available again in the localization phase.
  • the localization phase can in principle lie a long time after the data acquisition.
  • One advantage of the device is the selector (or a selection component), which can use various search strategies to select the (location-dependent) information to be used by the localization components from the environment model (data packets) and / or the localization components to be used.
  • the device can comprise a combiner (or a fusion component) which can combine the results of the individual localizations.
  • a particular advantage of the device lies in the fact that the selector can advantageously use different search strategies if there is no or very coarse a priori information in order to be able to deliver an overall localization result as quickly and / or robustly and / or resource-saving as possible as an overall system.
  • a common selector is provided for selecting the search strategy to be used, in particular the (location-dependent) information to be used from the environment model (data packets) for the localization and / or the localization components to be used.
  • This advantageously enables the most efficient possible use of resources of the limited resources (including bandwidth for the loading process, computing time for the algorithms).
  • extended strategies for very imprecise a-priori information or for the so-called lost robot mode can advantageously be implemented via the selector. In this mode, no a priori information about the location is known. For example, several or even all of the stored sensor data and / or localization features can be iterated through in this context in order to find suitable matches.
  • search strategies can advantageously be selected via the selector which, in the case of very imprecise a-priori information, can refine this as quickly and / or efficiently and / or precisely as possible.
  • the search for an initial position can advantageously be divided between the various localization methods or localization components.
  • the search strategies can in particular be adapted to the circumstances of the device or the advantages and disadvantages of the individual localization components.
  • the selector can have the first localization component search from the beginning of the trajectory (or the scenario) for the direction of its end, while the selector can have the second localization component search at least partially in parallel or simultaneously from the end of the trajectory (or the scenario) in the direction of its beginning .
  • the search strategies can advantageously also be adapted to special features of the localization components. For example, if there is a localization component that can check large parts of the trajectory in a short time, this component can initially be used on its own until there is a sufficiently precise localization that offers a realistic possibility, also with other localization methods (e.g. covering a smaller area) deliver accurate results. Thus, time and / or computing power can advantageously be saved through various search strategies.
  • FIG. 2 shows an exemplary structure of the device described here
  • FIG. 1 schematically shows an exemplary sequence of the method described here for localizing a vehicle in relation to an environment model around a driving trajectory that is learned by following the driving trajectory by means of the vehicle.
  • the sequence of steps a), b), c) and d) represented by blocks 110, 120, 130 and 140 is exemplary and can thus be run through, for example, in a regular operating sequence.
  • a plurality of sensor data is received from various sensors that are arranged in or on the vehicle while the driving trajectory is being learned, the sensor data at least partially describing environmental features around the driving trajectory.
  • the environment model is created using the received sensor data and / or by means of the environmental features that are determined on the basis of the sensor data.
  • at least one search strategy is selected from a multiplicity of mutually different search strategies for searching for the vehicle position in relation to the environment model.
  • the at least one selected search strategy is carried out in order to search for a vehicle position in relation to the environment model.
  • the driving trajectory can, for example, describe a route to a parking position for the vehicle, such as a route from a courtyard entrance to a garage.
  • the various sensors can include, for example, at least two different types of environment sensors of the vehicle, such as an optical environment sensor and an acoustic environment sensor.
  • at least some of the sensor data and / or the environmental features can be assigned time information that describes the point in time of their respective detection.
  • the time component can advantageously also be taken into account, which can result from the possibly very long time span between the recording of the data and their use for localization.
  • the mutually different search strategies can select information from the environment model with which at least two different localization methods for localizing the vehicle in relation to the environment model can be carried out. Furthermore, it can be provided that in step d) at least two different localization methods for localizing the vehicle in relation to the environment model can be carried out.
  • FIG. 2 schematically shows an exemplary structure of the device 1 described here for carrying out a method described here.
  • the device 1 comprises a first localization module 2 with which one of at least two different localization methods can be carried out.
  • the device 1 further comprises a second localization module 3 with which another of the at least two different localization methods can be carried out.
  • the device 1 here also includes a third localization module 4, with which a localization method can be carried out which differs from the two aforementioned localization methods of the first localization module 2 and the second localization module 3.
  • the device 1 also includes a selector 6 with which at least one search strategy can be selected from a multiplicity of mutually different search strategies for searching for the vehicle position in relation to the environment model.
  • the device 1 here comprises, for example, a combiner 5 with which the localization results provided by the localization modules 2, 3, 4 can be combined to form an overall localization result.
  • the device 1 here comprises, for example, a memory 7 on which the environment model can be stored. The overall localization result can also be fed back to the localization methods. This can help the localization methods be mutually supportive.
  • FIG. 2 also shows, by way of example, that the selector 6 can access various search strategies 8, 9, 10, 11 in order to select one or more of the search strategies 8, 9, 10, 11 therefrom.
  • the different search strategies 8, 9, 10, 11 can come from different sources, for example.
  • the search strategies 8, 9, 10, 11 can be at least partially integrated into the device 1, for example strategies stored in the selector 6 or the memory 7.
  • the device 1 can furthermore be set up, for example, to monitor the strategies for their effectiveness and / or to develop new strategies (for example by combining known strategies). This observation and / or development of new strategies can be carried out, for example, by an evaluation device 12 and / or the selector 6 itself.
  • the evaluation device 12 can be part of the device 1 or a higher-level system.
  • the device 1 can also be informed of new strategies via external communication (such as Car2Car, Car2X, workshop update).
  • a cloud 13 is shown by way of example in FIG. 2 as a source for this.
  • FIG. 3 schematically shows an exemplary illustration of the mode of operation of an embodiment variant of the method described here.
  • two search strategies are selected here from the multitude of different search strategies.
  • the first of the two search strategies selects, for example, first information Gl to G6 from the environment model.
  • the first search strategy selects, for example, a first localization method that is to work with the first information.
  • the second of the two search strategies selects, for example, second information O1 to 07 from the environment model.
  • the second search strategy selects, for example, a second localization method that is to work with the second information.
  • the information Gl to G6 and Ol to 07 are stored in the environment model as a function of location and lie along the recorded trajectory.
  • This also represents an example of the fact that and possibly how the search strategies differ from one another at least in the selection of information can distinguish from the model of the environment. Furthermore, this also represents an example of the fact that and possibly how the search strategies different from one another can differ at least in the localization method for localizing the vehicle in relation to the environment model. However, it is not necessary for the example from FIG. 3 that different types of localization methods are used. It can also be sufficient here, for example, to carry out the same type of localization method starting from different starting points.
  • the vehicle is already close to the end of the trained trajectory or the trained scenario.
  • the actual vehicle position is marked with an X in FIG. 3.
  • the method does not have any a-priori information on the vehicle position here. For this reason, the initial position of the vehicle in relation to the environment model or the trajectory must be searched for here, for example, before further guidance of the vehicle along the trajectory can be started.
  • a localization using the stored information Gl to G6 is started by means of the first localization method, starting with the data from Gl.
  • the second search strategy using the second localization method localization is started with the information O1 to 07, beginning with the data from 07.
  • This also represents an example of the fact that and possibly as in accordance with a first search strategy of the at least two search strategies, the vehicle position is searched along a first direction and, in accordance with a second search strategy of the at least two search strategies, the vehicle position is searched along a second direction that differs from the first direction can.
  • the localization methods can therefore differ, for example, in the direction in which they process (location-dependent) information from the environment model.
  • the first direction and the second direction are oriented in opposite directions to one another along the trajectory. In other words, this can also be described in such a way that the search strategies or localization methods start from different ends of the trajectory.
  • the localization methods can work cyclically, so that, for example, localization by means of the first in a first cycle Localization method based on the (location-dependent) information Gl from the environment model and a localization using the second localization method based on the (location-dependent) information 07 from the environment model can be carried out.
  • the localization methods can, for example, compare location-dependently stored sensor data (which can represent the information Gl and 07) with currently recorded sensor data of the vehicle.
  • the localizations As soon as the results of the localizations (for example the corresponding comparisons) of the first cycle are available, it can be checked, for example, whether at least one of the localizations is (already) a valid or confident localization.
  • the localization can be viewed as valid or confident, for example, if a discrepancy between information currently recorded and information (here Gl or 07) from the environment model is less than or equal to a predefinable limit value.
  • the second cycle can be started.
  • the first localization method can be triggered or carried out using G2, for example, and / or according to the second search strategy described here as an example, the second localization method can be triggered or carried out with 06, for example.
  • this can contribute to the fact that a valid localization result can now be found with the second search strategy or in the second cycle with 06 (and the second localization method).
  • This can be used, for example, so that G6 can be selected for the first search strategy or the first localization method.
  • Both localization methods can thereby advantageously work with data that is as suitable as possible, whereby a valid overall localization can advantageously be provided quickly.
  • the overall localization can take place in particular by the optionally provided combiner 5 of an exemplary device 1 described here, which determines the localization result of the first localization method on the basis of the
  • Information G6 and the localization result of the second localization method based on the information 06 can combine or merge to form an overall localization result.
  • the first localization method (LI) can be carried out by the first localization module 2, for example.
  • the second localization method (L2) can be carried out by the second localization module 3, for example.
  • the selection of the search strategies or the information Gl to G6 and 01 to 07 from the environment model as well as the two localization methods can be carried out, for example, by the selector 6 in the device 1 described here.
  • search strategies these can be selected, for example, in such a way that they begin a search approximately in the middle of the trajectory or the scenario.
  • Search strategies or localization methods migrate in the direction of different ends of the trajectory in order to find a localization.
  • a cyclical procedure that is also advantageous in this context is for the search strategies directed from the inside to the outside, in which two localization methods (LI, L2) start from approximately the middle of the trajectory to different ends of the trajectory, in the table below for example a set of 1 to n location-dependent information is represented:
  • search strategies these can be selected, for example, in such a way that, according to a first search strategy of the at least two search strategies, the vehicle position using a first localization method and, according to a second search strategy of the at least two search strategies, the vehicle position using a compared to the first Localization method more precise second localization method is sought.
  • the limit value for a valid or consistent localization result can be lower with the second localization method than with the first localization method.
  • the method and the device contribute in particular to providing an improved and / or more precise recording and playback functionality (“record and replay” function) for a vehicle.
  • the method and the device can also contribute to the at least partial automation of the ferry operation of a vehicle.

Abstract

Die Erfindung betrifft ein Verfahren zum Lokalisieren eines Fahrzeugs in Relation zu einem Umfeldmodell um eine Fahrtrajektorie, die durch ein Abfahren der Fahrtrajektorie mittels des Fahrzeugs gelernt wird, umfassend zumindest folgende Schritte: a) Empfangen einer Vielzahl von Sensordaten von verschiedenen Sensoren, die in oder an dem Fahrzeug angeordnet sind, während die Fahrtrajektorie gelernt wird, wobei die Sensordaten zumindest teilweise Umgebungsmerkmale um die Fahrtrajektorie beschreiben, b) Erstellen des Umfeldmodells unter Verwendung der empfangenen Sensordaten und/oder mittels der Umgebungsmerkmale, die auf Basis der Sensordaten ermittelt werden, c) Auswählen mindestens einer Suchstrategie aus einer Vielzahl voneinander verschiedener Suchstrategien zum Suchen der Fahrzeugposition in Relation zu dem Umfeldmodell, d) Durchführen der mindestens einen ausgewählten Suchstrategie, um eine Fahrzeugposition in Relation zu dem Umfeldmodell zu suchen.

Description

Beschreibung
Titel
Verfahren zum Lokalisieren eines Fahrzeugs in Relation zu einem Umfeldmodell um eine Fahrtrajektorie
Die Erfindung betrifft ein Verfahren zum Lokalisieren eines Fahrzeugs in Relation zu einem Umfeldmodell um eine Fahrtrajektorie, die durch ein Abfahren der Fahrtrajektorie mittels des Fahrzeugs gelernt wird, ein Computerprogramm zur Durchführung des Verfahrens, ein maschinenlesbares Speichermedium, auf dem das Computerprogramm gespeichert ist, sowie eine Vorrichtung zur Durchführung des Verfahrens. Das Verfahren kann insbesondere zur zumindest teilweisen Automatisierung des Fährbetriebs eines Fahrzeugs zum Einsatz kommen.
Stand der Technik
Zur zumindest teilweisen Automatisierung des Fährbetriebs eines Fahrzeugs wurden bereits Parkfunktionen vorgeschlagen, mit denen zumindest teilweise automatisch bzw. autonom in vorher vermessene Parallel- oder Querparklücken eingeparkt werden kann. Als weitere Ansätze, um eine automatische Parkführung möglichst auch in Situationen ermöglichen zu können, in denen ein vorheriges Vermessen nicht möglich ist, werden Parkassistenten untersucht und entwickelt, die auf einer Aufzeichnungs- und Wiedergabe- Funktionalität („Record and Replay“ Funktion) basieren. Dabei kann eine Fahrtrajektorie durch ein manuelles Abfahren der Fahrtrajektorie mittels des Fahrzeugs gelernt und aufgezeichnet werden. Anschließend kann das Fahrzeug diese Fahrtrajektorie eigenständig bzw. automatisiert abfahren. So kann von einem Fahrer beispielweise der Weg von einer Einfahrt eines Geländes bis hin zu einer Parkposition auf dem Gelände einmal manuell aufgezeichnet und anschließend mehrfach von dem Fahrzeug automatisch abgefahren werden. Die Parkposition kann sich zum Beispiel in einer auf dem Gelände angeordneten Parkgarage befinden.
Das Verfahren kann insbesondere zur Bereitstellung einer verbesserten und/oder präziseren Aufzeichnungs- und Wiedergabe- Funktionalität („Record and Replay“ Funktion) für ein Fahrzeug zum Einsatz kommen. Dadurch kann das Verfahren auch zur zumindest teilweisen Automatisierung des Fährbetriebs eines Fahrzeugs beitragen.
Offenbarung der Erfindung
Hier vorgeschlagen wird gemäß Anspruch 1 ein Verfahren zum (initialen) Lokalisieren eines Fahrzeugs in Relation zu einem Umfeldmodell um eine Fahrtrajektorie, die durch ein Abfahren der Fahrtrajektorie mittels des Fahrzeugs gelernt wird, umfassend zumindest folgende Schritte: a) Empfangen einer Vielzahl von Sensordaten von verschiedenen Sensoren, die in oder an dem Fahrzeug angeordnet sind, während die Fahrtrajektorie gelernt wird, wobei die Sensordaten zumindest teilweise Umgebungsmerkmale um die Fahrtrajektorie beschreiben, b) Erstellen des Umfeldmodells unter Verwendung der empfangenen Sensordaten und/oder mittels der Umgebungsmerkmale, die auf Basis der Sensordaten ermittelt werden, c) Auswählen mindestens einer Suchstrategie aus einer Vielzahl voneinander verschiedener Suchstrategien zum Suchen der Fahrzeugposition in Relation zu dem Umfeldmodell, d) Durchführen der mindestens einen ausgewählten Suchstrategie, um eine Fahrzeugposition in Relation zu dem Umfeldmodell zu suchen.
Die Schritte a), b), c) und d) können zur Durchführung des Verfahrens zumindest einmal in der angegebenen Reihenfolge durchgeführt werden. Darüber hinaus können die Schritte a) bis d), insbesondere die Schritte a) und b) und/oder die Schritte c) und d) zumindest teilweise parallel oder gleichzeitig durchgeführt werden. Die Schritte a) und b) können beispielsweise zur Durchführung einer Lernphase bzw. Aufzeichnungsphase (record mode) des Verfahrens durchgeführt werden. Die Schritte c) und d) können zum Beispiel zur Durchführung einer Lokalisierungsphase bzw. einer Wiedergabephase (replay mode) durchgeführt werden. Das Verfahren trägt insbesondere zur Verbesserung der Verfügbarkeit und/oder Präzision von Lokalisierungsergebnissen bei.
Das Lokalisieren des Fahrzeugs in Relation zu dem Umfeldmodell um die Fahrtrajektorie umfasst insbesondere ein Bestimmen der (Eigen-) Position des Fahrzeugs innerhalb der durch das Umfeldmodell beschriebenen Umgebung relativ zur Fahrtrajektorie bzw. zu einem durch die Fahrtrajektorie aufgezeichneten Weg. Bei dem Fahrzeug kann es sich zum Beispiel um ein Kraftfahrzeug, wie etwa ein Automobil handeln. Vorzugsweise ist das Fahrzeug für einen zumindest teilweise automatisierten bzw. autonomen Betrieb eingerichtet. Das Verfahren kann weiterhin mittels einer hier beschriebenen Vorrichtung durchgeführt werden. Die Fahrtrajektorie kann beispielsweise einen Weg hin zu einer Parkposition für das Fahrzeug beschreiben.
Das Verfahren kann insbesondere zum Suchen bzw. Finden einer Ausgangsposition bzw. initialen Position des Fahrzeugs in Relation zu einem Umfeldmodell um eine Fahrtrajektorie durchgeführt werden. Diese Ausgangsposition bzw. initiale Position kann für ein (weiteres) Lokalisieren des Fahrzeugs in Relation zu einem Umfeldmodell um eine Fahrtrajektorie verwendet werden. Somit ermöglicht das Verfahren in vorteilhafter Weise eine besonders vorteilhafte Möglichkeit zur (initialen) Lokalisierung, wenn das Fahrzeug sich in einem sogenannten Lost- Robot- Modus befindet. Bei diesem Modus ist in der Regel keine oder zumindest keine ausreichende a priori-lnformation über den Aufenthaltsort des Fahrzeugs bekannt.
In Schritt a) erfolgt ein Empfangen einer Vielzahl von Sensordaten von verschiedenen Sensoren, die in oder an dem Fahrzeug angeordnet sind, während die Fahrtrajektorie gelernt wird, wobei die Sensordaten zumindest teilweise Umgebungsmerkmale um die Fahrtrajektorie beschreiben. Die verschiedenen Sensoren können zum Beispiel verschiedenartige Sensoren sein. Als Sensoren können beispielsweise ein GNSS-Sensor, ein Trägheitssensor, ein Fahrparametersensor, wie etwa ein Raddrehzahlsensor, ein Geschwindigkeitssensor und/oder ein Beschleunigungssensor und/oder mindestens ein (optischer und/oder akustischer) Umfeldsensor, wie etwa eine Kamera, ein Ultraschall-Sensor, ein LIDAR-Sensor und/oder ein RADAR-Sensor eingesetzt werden. In Schritt a) können somit sensorisch Umfeldinformationen während des Lernens der Fahrtrajektorie und/oder zum Lernen bzw. Aufzeichnen der Fahrtrajektorie und/oder zum (zumindest teilweise parallelen oder gleichzeitigen) Lernen bzw. Aufzeichnen von Umgebungsmerkmalen um die Fahrtrajektorie gesammelt werden. Die Sensoren können die Sensordaten insbesondere unabhängig voneinander sammeln.
In Schritt b) erfolgt ein Erstellen des Umfeldmodells unter Verwendung der empfangenen Sensordaten und/oder mittels der Umgebungsmerkmale, die auf Basis der Sensordaten ermittelt werden. Das Erstellen des Umfeldmodells kann zumindest teilweise parallel oder gleichzeitig zu dem Aufzeichnen der Fahrtrajektorie erfolgen. Weiterhin können das Umfeldmodell und/oder die Fahrtrajektorie ggf. zumindest teilweise parallel oder gleichzeitig gespeichert werden. Das Umfeldmodell kann insbesondere umgebungsspezifisch und/oder fahrtrajektorienspezifisch erstellt werden. Das Umfeldmodell und/oder die Fahrtrajektorie können beispielsweise auf einem Speicher der hier auch beschriebenen Vorrichtung gespeichert werden. Zum Erstellen des Umfeldmodells können beispielsweise die Sensordaten und/oder die Umgebungsmerkmale ortsabhängig und/oder zeitabhängig aufgezeichnet und gespeichert werden. Dies bedeutet mit anderen Worten insbesondere, dass die Sensordaten und/oder die Umgebungsmerkmale mit Informationen über die (Relativ-) Position des Fahrzeugs an der sie aufgezeichnet wurden und/oder mit Informationen über den Zeitpunkt, zu dem sie aufgezeichnet wurden, verknüpft (abgespeichert) werden können.
Die Schritte a) und b) können eine Lern- bzw. Aufzeichnungsphase (bzw. einen Record-Modus) des Verfahrens darstellen. Durch die Schritte a) und b) können zunächst in der Art eines Trainings eine beliebige Bahn bzw. Fahrtrajektorie in beliebiger Umgebung und/oder ein Umfeldmodell zur Beschreibung der beliebigen Umgebung aufgenommen werden. Die beim Training erstellten Daten (Sensordaten und/oder Umgebungsmerkmale) können beispielsweise ein durch das Umfeldmodell repräsentiertes Szenario beschreiben. Insbesondere können diese Daten so zusammengefügt und/oder aufbereitet werden, dass sie (gemeinsam) ein durch das Umfeldmodell repräsentiertes Szenario beschreiben, in dem sich das Fahrzeug bewegen kann. Nach einem entsprechenden Training bzw. nach der Lern- bzw. Aufzeichnungsphase kann innerhalb des Szenarios die trainierte bzw. gelernte Fahrtrajektorie bei erfolgreicher (Initial-)Lokalisierung mit vorteilhaft hoher Präzision zumindest teilweise automatisch abgefahren werden. In Schritt c) erfolgt ein Auswählen mindestens einer (geeigneten) Suchstrategie aus einer Vielzahl voneinander verschiedener Suchstrategien zum Suchen der Fahrzeugposition in Relation zu dem Umfeldmodell. Das Auswählen kann beispielsweise mittels eines Selektierers einer hier auch beschriebenen Vorrichtung durchgeführt werden. Die Suchstrategie ist insbesondere dazu geeignet, eine initiale Position des Fahrzeugs in Relation zum Umfeldmodell bzw. zur Trajektorie zu suchen bzw. zu finden, insbesondere (auch) dann, wenn keine oder zumindest keine ausreichende a priori-lnformation über den Aufenthaltsort des Fahrzeugs bekannt ist und/oder sich das Fahrzeug in einem sogenannten Lost- Robot- Modus befindet. Die mindestens eine Suchstrategie kann beispielsweise eine oder mehrere Lokalisierungsmethoden dazu veranlassen, eine (initiale) Lokalisierung des Fahrzeugs auf Basis von Informationen aus dem Umfeldmodell durchzuführen. Wenn mehrere Suchstrategien ausgewählt werden bzw. die mindestens eine Suchstrategie mehrere Lokalisierungsmethoden dazu veranlassen, eine (initiale) Lokalisierung des Fahrzeugs auf Basis von Informationen aus dem Umfeldmodell durchzuführen, kann die für die (initiale) Lokalisierung erforderliche Arbeit auf die mehreren Suchstrategien bzw. die mehreren Lokalisierungsmethoden aufgeteilt werden.
Weiterhin können die voneinander verschiedenen Suchstrategien verschiedene bzw. verschiedenartige Informationen aus dem Umfeldmodell auswählen. So kann beispielsweise eine erste der voneinander verschiedenen Suchstrategien Informationen aus dem Umfeldmodell auswählen, die auf Erfassungen mittels eines bestimmten ersten Sensortyps basieren, und eine zweite der voneinander verschiedenen Suchstrategien Informationen aus dem Umfeldmodell auswählen, die auf Erfassungen mittels eines bestimmten (sich von dem ersten Sensortyp unterscheidenden) zweiten Sensortyps basieren. Die Auswahl der Suchstrategie kann somit beispielsweise in Abhängigkeit der (momentan) verfügbaren Sensorinformationen bzw. Sensortypen erfolgen.
In Schritt d) erfolgt ein Durchführen der mindestens einen ausgewählten Suchstrategie, um eine Fahrzeugposition in Relation zu dem Umfeldmodell zu suchen. Dies kann beispielsweise einen oder mehrere Vergleiche von aus dem Umfeldmodell ausgewählten (ortsabhängigen) Informationen mit momentan erfassten Informationen von insbesondere (verschiedenen) Sensoren, die in oder an dem Fahrzeug angeordnet sind, umfassen. Somit können dabei beispielsweise ortsabhängig gespeicherte Sensordaten mit momentan erfassten Sensordaten des Fahrzeugs verglichen werden.
Die Schritte c) und d) können eine (initiale) Lokalisierungs- bzw. Wiedergabephase (bzw. insbesondere den Beginn eines Replay-Modus) des Verfahrens darstellen. Die Schritte c) und d) können vor und/oder während eines zumindest teilweise automatischen bzw. autonomen Abfahrens einer zuvor mit dem Fahrzeug aufgezeichneten Fahrtrajektorie durchgeführt werden. Vorzugsweise werden die Schritte c) und d) vor einem zumindest teilweise automatischen bzw. autonomen Abfahren einer zuvor mit dem Fahrzeug aufgezeichneten Fahrtrajektorie durchgeführt.
Nach einer vorteilhaften Ausgestaltung wird vorgeschlagen, dass die voneinander verschiedenen Suchstrategien (verschiedene) Informationen aus dem (zuvor erstellten und ggf. abgespeicherten) Umfeldmodell auswählen können, mit denen mindestens zwei voneinander verschiedene Lokalisierungsmethoden zur Lokalisierung des Fahrzeugs in Relation zu dem Umfeldmodell durchgeführt werden können. Beispielsweise können dabei (durch den Selektierer) für jede Lokalisierungsmethode geeignete bzw. bestimmte (insbesondere die richtigen) Vergleichs- bzw. Referenzpunkte aus dem Umfeldmodell entlang der Fahrtrajektorie ausgewählt werden. So können beispielsweise entsprechende Informationen aus dem Umfeldmodell zu bestimmten Trajektorienpunkten, insbesondere zu voneinander beabstandeten und/oder entlang der Fahrtrajektorie verteilten Trajektorienpunkten ausgewählt werden.
Beispielsweise können die Informationen aus dem Umfeldmodell so ausgewählt werden, dass damit verschiedenartige bzw. voneinander unabhängige Lokalisierungsmethoden durchgeführt werden können. Weiterhin können die ausgewählten Informationen aus dem Umfeldmodell den entsprechenden Lokalisierungsmethoden zugeordnet werden. Die mindestens zwei voneinander verschiedenartigen bzw. voneinander unabhängigen Lokalisierungsmethoden können beispielsweise zwei oder mehr der folgenden Lokalisierungsmethoden umfassen: Bildbasierte Lokalisierung, Lokalisierung auf einer Karte (insbesondere sogenanntes Map Matching), Lokalisierung über Navigationssatellitendaten (zum Beispiel über GNSS-Daten, wie etwa GPS- Daten), Lokalisierung über Laufzeiten von optischen und/oder akustischen Signalen und dergleichen. Alternativ oder kumulativ können sich die Lokalisierungsmethoden beispielhaft in der Richtung unterscheiden, in der sie (ortsabhängige) Informationen aus dem Umfeldmodell abarbeiten können. Alternativ oder kumulativ können sich die Lokalisierungsmethoden beispielhaft in der Genauigkeit unterscheiden, in der sie Lokalisierungsergebnisse bereitstellen können.
Nach einer weiteren vorteilhaften Ausgestaltung wird vorgeschlagen, dass in Schritt d) mindestens zwei voneinander verschiedene Lokalisierungsmethoden zur Lokalisierung des Fahrzeugs in Relation zu dem Umfeldmodell durchgeführt werden. Dabei können die Lokalisierungsmethoden (unabhängig voneinander) jeweils ein Lokalisierungsergebnis bereitstellen. Weiterhin können die Lokalisierungsmethoden (jeweils) zu mehreren Fahrzeugpositionen und/oder zu mehreren Trajektorienpunkten entlang der Fahrtrajektorie durchgeführt werden. Wenn mit zumindest einer der Lokalisierungsmethoden eine valide bzw. konfidente Lokalisierung bereitgestellt werden kann, kann die andere der Lokalisierungsmethoden mit mindestens einer, ihr zugeordneten Information aus dem Umfeldmodell bezüglich (im Wesentlichen) derselben Fahrzeugposition durchgeführt werden. Dies betrifft insbesondere eine solche (ortsabhängige) Information aus dem Umfeldmodell (die der anderen der Lokalisierungsmethoden zugeordnet ist), die möglichst nah oder sogar am Nächsten an der mittels der validen bzw. konfidenten Lokalisierung bestimmten oder geschätzten Fahrzeugposition ist. Als valide bzw. konfident kann die Lokalisierung beispielsweise dann angesehen werden, wenn eine Abweichung zwischen einer momentan erfassten Information und einer Information aus dem Umfeldmodell kleiner oder gleich einem vordefinierbaren Grenzwert ist.
Somit können die mindestens zwei voneinander verschiedenen Lokalisierungsmethoden (zumindest einmal) bezüglich (im Wesentlichen) derselben Fahrzeugposition durchgeführt werden, wobei die Lokalisierungsmethoden (unabhängig voneinander) jeweils ein Lokalisierungsergebnis bereitstellen. Bevorzugt beschreibt jedes Lokalisierungsergebnis eine absolute oder relative Positionsangabe. Unter einer absoluten Positionsangabe ist insbesondere eine geodätische Position bzw. eine Positionsangabe in einem geodätischen Koordinatensystem zu verstehen. Unter einer relativen Positionsangabe ist insbesondere die Position des Fahrzeugs innerhalb der Umgebung relativ zum aufgezeichneten Weg bzw. zur aufgezeichneten Fahrtrajektorie zu verstehen.
Weiterhin kann ein Kombinieren der (bezüglich derselben Fahrzeugposition) bereitgestellten Lokalisierungsergebnisse zu einem Gesamt- Lokalisierungsergebnis erfolgen. Das Kombinieren kann dabei beispielsweise in der Art eines ggf. gewichteten Fusionieren der einzelnen Lokalisierungsergebnisse zu einem Gesamt-Lokalisierungsergebnis erfolgen.
Das Gesamt-Positionsergebnis kann beispielsweise von einem Kombinierer einer hier auch beschriebenen Vorrichtung bereitgestellt werden. Das Gesamt- Positionsergebnis kann als initiale Position des Fahrzeugs bereitgestellt werden.
Nach einer weiteren vorteilhaften Ausgestaltung wird vorgeschlagen, dass die voneinander verschiedenen Suchstrategien sich zumindest in der (bzw. ihrer) Auswahl von Informationen aus dem Umfeldmodell unterscheiden. So kann beispielsweise eine Erste der voneinander verschiedenen Suchstrategien (ortsabhängige) Informationen aus dem Umfeldmodell auswählen, die auf Erfassungen mittels eines bestimmten ersten Sensortyps basieren, und eine Zweite der voneinander verschiedenen Suchstrategien (ortsabhängige) Informationen aus dem Umfeldmodell auswählen, die auf Erfassungen mittels eines bestimmten (sich von dem ersten Sensortyp unterscheidenden) zweiten Sensortyps basieren. Alternativ oder kumulativ kann beispielsweise eine Erste der voneinander verschiedenen Suchstrategien (ortsabhängige) Informationen aus dem Umfeldmodell auswählen, die den Verlauf der Trajektorie beschreiben bzw. zueinander beabstandet (und/oder verteilt) entlang der Trajektorie angeordnet sind, und eine Zweite der voneinander verschiedenen Suchstrategien davon verschiedene und/oder beabstandete (ortsabhängige) Informationen aus dem Umfeldmodell auswählen, die (ebenfalls) die den Verlauf der Trajektorie beschreiben bzw. zueinander beabstandet (und/oder verteilt) entlang der Trajektorie angeordnet sind.
Nach einer weiteren vorteilhaften Ausgestaltung wird vorgeschlagen, dass die voneinander verschiedenen Suchstrategien sich zumindest in der Lokalisierungsmethode zur Lokalisierung des Fahrzeugs in Relation zu dem Umfeldmodell unterscheiden. Dabei können die verschiedenen Suchstrategien insbesondere mit verschiedenartigen bzw. voneinander unabhängigen Lokalisierungsmethoden durchgeführt werden. Die mindestens zwei voneinander verschiedenartigen bzw. voneinander unabhängigen Lokalisierungsmethoden können beispielsweise zwei oder mehr der folgenden Lokalisierungsmethoden umfassen: Bildbasierte Lokalisierung, Lokalisierung auf einer Karte (insbesondere sogenanntes Map Matching), Lokalisierung über Navigationssatellitendaten (zum Beispiel über GNSS-Daten, wie etwa GPS- Daten), Lokalisierung über Laufzeiten von optischen und/oder akustischen Signalen und dergleichen. Alternativ oder kumulativ können sich die Lokalisierungsmethoden beispielhaft in der Richtung unterscheiden, in der sie (ortsabhängige) Informationen aus dem Umfeldmodell abarbeiten können. Alternativ oder kumulativ können sich die Lokalisierungsmethoden beispielhaft in der Genauigkeit unterscheiden, in der sie Lokalisierungsergebnisse bereitstellen können.
Nach einer weiteren vorteilhaften Ausgestaltung wird vorgeschlagen, dass in Schritt c) mindestens zwei Suchstrategien aus der Vielzahl voneinander verschiedener Suchstrategien ausgewählt werden. Die Suche nach der Fahrzeugposition in Relation zu dem Umfeldmodell kann dabei auf die mindestens zwei Suchstrategien aufgeteilt werden. Alternativ oder kumulativ können sich die Suchstrategien untereinander ergänzen und/oder validieren.
Nach einer weiteren vorteilhaften Ausgestaltung wird vorgeschlagen, dass gemäß einer ersten Suchstrategie der mindestens zwei Suchstrategien die Fahrzeugposition entlang einer ersten Richtung und (zumindest teilweise parallel oder gleichzeitig) gemäß einer zweiten Suchstrategie der mindestens zwei Suchstrategien die Fahrzeugposition entlang einer sich von der ersten Richtung unterscheidenden zweiten Richtung gesucht wird. Die erste Richtung und die zweite Richtung können beispielsweise zueinander gegenläufig entlang der Trajektorie ausgerichtet sein. Die erste Richtung und die zweite Richtung können sich beispielsweise so voneinander unterscheiden, dass die beiden Suchstrategien von beiden Enden der Trajektorie aus starten bzw. ausgehen können. Weiterhin können die erste Richtung und die zweite Richtung sich beispielsweise so voneinander unterscheiden, dass die beiden Suchstrategien von im Wesentlichen der Mitte der Trajektorie ausgehend hin zu verschiedenen Enden der Trajektorie starten können.
Nach einer weiteren vorteilhaften Ausgestaltung wird vorgeschlagen, dass gemäß einer ersten Suchstrategie der mindestens zwei Suchstrategien die Fahrzeugposition mittels einer ersten Lokalisierungsmethode und gemäß einer zweiten Suchstrategie der mindestens zwei Suchstrategien die Fahrzeugposition mittels einer im Vergleich zu der ersten Lokalisierungsmethode genaueren zweiten Lokalisierungsmethode gesucht wird. Dabei kann beispielsweise der Grenzwert für ein valides bzw. konfidentes Lokalisierungsergebnis bei der zweiten Lokalisierungsmethode niedriger sein als bei der ersten Lokalisierungsmethode. Alternativ oder kumulativ kann eine höhere Genauigkeit durch eine höhere Auflösung und/oder geringere Reichweite (bzw. eine geringere Abdeckung) der ersten Lokalisierungsmethode erreicht werden. Beispielsweise kann die zweite Lokalisierungsmethode eine vergleichsweise geringe Auflösung haben und somit große Teile der Trajektorie in kurzer Zeit überprüfen. Dabei kann zunächst diese zweite Lokalisierungsmethode allein verwendet werden, bis eine ausreichend genaue Lokalisierung besteht, welche eine realistische Möglichkeit bietet, mit der ersten Lokalisierungsmethoden in möglichst kurzer Zeit ein noch genaueres Ergebnis liefern zu können. Somit kann in vorteilhafter Weise durch verschiedene Suchstrategien Zeit und/oder Rechenleistung einspart werden.
Weiterhin kann vorgesehen sein, dass die mindestens eine ausgewählte Suchstrategie oder zumindest eine der ausgewählten Suchstrategien und/oder die Auswahl der Suchstrategie angepasst wird. Beispielsweise kann ein Anpassen erfolgen, wenn mit der betreffenden Suchstrategie kein valides bzw. konfidentes Lokalisierungsergebnis gefunden werden kann oder wenn dieses nicht ausreichend schnell gefunden werden kann. Das Anpassen kann beispielsweise ein Ergänzen und/oder Aktualisieren der betreffenden Suchstrategie und/oder ein Austauschen der betreffenden Suchstrategie mit einer anderen der verschiedenen Suchstrategien umfassen.
Es kann auch ein Auswerten der mindestens einen Suchstrategie erfolgen. Dies kann zu einem Lernen beitragen, welche Strategie an welchem Ort besonders erfolgreich, insbesondere besonders schnell, effektiv und/oder effizient ist. Das entsprechende Lernergebnis kann dazu beitragen, die mindestens eine ausgewählte Suchstrategie oder zumindest eine der ausgewählten Suchstrategien und/oder die Auswahl der Suchstrategie anzupassen. Beispielsweise kann das Verfahren pro Trajektorie bzw. Szenario oder insgesamt Statistiken führen, durch welche Suchstrategie welches Ziel (schnelle Lokalisierung, Ressourcenschonende Lokalisierung) besonders gut erreicht wird. Dies kann dazu beitragen, zukünftig direkt die passende Suchstrategie auswählen zu können. Erweist sich beispielsweise bei einer Trajektorie bzw. in einem Szenario eine Suchstrategie als weniger vorteilhaft, kann anschließend diese Suchstrategie bei dieser Trajektorie bzw. in diesem Szenario ausgeschlossen werden.
Ein Anpassen bzw. Aktualisieren der Suchstrategien kann beispielsweise über ein Bereitstellen von (neuen) Suchstrategien über Kommunikationsmittel (zum Beispiel der hier auch beschriebenen Vorrichtung) erfolgen. Neben vorhandenen (bzw. in der Vorrichtung gespeicherten) Suchstrategien besteht somit insbesondere die Möglichkeit dem Verfahren weitere Suchstrategien über Kommunikationsmittel mitteilen zu können. Hierbei kann es sich beispielsweise um Suchstrategien handeln, welche erst im nach hinein entwickelt wurden und/oder um Strategien, welche sich bei anderen Fahrzeugen als besonders gut herausgestellt haben.
Weiterhin kann ein Anpassen der Auswahl der mindestens einen Suchstrategie an momentane (äußere) Gegebenheiten erfolgen. Sind dem Verfahren mehrere Suchstrategien bekannt oder verfügbar (bzw. in der Vorrichtung gespeichert) kann auf Grund bzw. in Abhängigkeit einer momentanen
Gesamtsystemeigenschaft (bzw. einer momentanen Eigenschaft und/oder eines momentanen Zustands der Vorrichtung) und/oder von äußeren Gegebenheiten ein Anpassen der Auswahl der mindestens einen Suchstrategie und/oder eine Auswahl der mindestens einen Suchstrategie erfolgen. Befindet sich die hier auch beschriebene Vorrichtung und/ ein (Gesamt-) System zur Durchführung des Verfahrens (umfassend die hier auch beschriebene Vorrichtung) beispielsweise in Volllast, können beispielsweise als besonders ressourcenschonend bekannte bzw. erkannte Suchstrategien ausgewählt werden. Wurden ein nicht ordnungsgemäßer Zustand eines Sensors und/oder für einen Sensor ungünstige Umwelteigenschaften erkannt, kann beispielsweise mindestens eine Suchstrategie ausgewählt werden, welche besonders gut ohne diesen eingeschränkten Sensor funktionieren, oder eine Suchstrategie so angepasst werden, dass sie auch ohne diesen Sensor funktionieren kann.
Zur Durchführung des Verfahrens, insbesondere der Schritte a) und b) des Verfahrens kann beispielsweise ein sogenanntes SLAM-Verfahren eingesetzt werden. SLAM steht für Simultaneous Localization And Mapping und bezeichnet ein Verfahren, bei dem gleichzeitig eine Karte der Umgebung aufgebaut und eine Lokalisierung innerhalb dieser Karte durchgeführt werden kann. SLAM-Verfahren sind in der Regel möglichst genau und flexibel einsetzbar. Sie stellen aber üblicherweise hohe Anforderungen an die Rechenkapazitäten (welche nicht in allen aktuellen Steuergeräten zur Verfügung stehen). Es kann (dementsprechend) vorgesehen sein, dass die Schritte a) bis d) fahrzeugintern oder fahrzeugextern durchgeführt werden. Insbesondere können zur vorteilhaften Reduktion von Rechenoperationen innerhalb des Fahrzeugs zumindest die Schritte a) und b) an eine fahrzeugexterne Recheneinrichtung ausgelagert werden. Anschließend kann das extern erstellte Umfeldmodell wieder in das Fahrzeug zurück übertragen werden.
Nach einem weiteren Aspekt wird ein Computerprogramm zur Durchführung eines hier beschriebenen Verfahrens vorgeschlagen. Dies betrifft mit anderen Worten insbesondere ein Computerprogramm(-produkt), umfassend Befehle, die bei der Ausführung des Programms durch einen Computer diesen veranlassen, ein hier beschriebenes Verfahren auszuführen.
Nach einem weiteren Aspekt wird ein maschinenlesbares Speichermedium vorgeschlagen, auf dem das hier beschriebene Computerprogramm hinterlegt bzw. gespeichert ist. Regelmäßig handelt es sich bei dem maschinenlesbaren Speichermedium um einen computerlesbaren Datenträger.
Nach einem weiteren Aspekt wird auch eine Vorrichtung zur Durchführung eines hier beschriebenen Verfahrens vorgeschlagen, zumindest umfassend: ein erstes Lokalisierungsmodul, mit dem eine von mindestens zwei verschiedenen Lokalisierungsmethoden durchführbar ist, ein zweites Lokalisierungsmodul, mit dem eine weitere der mindestens zwei verschiedenen Lokalisierungsmethoden durchführbar ist, einen Selektierer, mit dem mindestens eine Suchstrategie aus einer Vielzahl voneinander verschiedener Suchstrategien zum Suchen der Fahrzeugposition in Relation zu dem Umfeldmodell auswählbar ist.
Die Vorrichtung kann weiterhin einen Kombinierer umfassen, mit dem die von den Lokalisierungsmodulen bereitgestellten Lokalisierungsergebnisse zu einem Gesamt-Lokalisierungsergebnis kombinierbar sind. Die Vorrichtung kann alternativ oder kumulativ weiterhin einen Speicher umfassen, auf dem das Umfeldmodell speicherbar ist. Der Speicher kann mit dem Selektierer und/oder den Lokalisierungsmodulen verbunden sein.
Es können auch weitere (dritte, vierte, usw.) Lokalisierungsmodule in die Vorrichtung integriert werden, die insbesondere jeweils eine andere Lokalisierungsmethode und/oder Lokalisierungsmethoden mit voneinander verschiedenen Parametrisierungen durchführen können. Bei der Vorrichtung kann es sich beispielsweise um eine modulare und/oder erweiterbare Lokalisierungsvorrichtung, wie etwa ein modulares und/oder erweiterbares Lokalisierungssteuergerät handeln. Die Vorrichtung kann insbesondere eine modulare und/oder erweiterbare Grundstruktur (Lokalisierungsframework), insbesondere umfassend das erste und zweite Lokalisierungsmodul, den Kombinierer, den Selektierer und/oder den Speicher umfassen.
Die Vorrichtung beschreibt insbesondere ein modulares System zur Lokalisierung eines Fahrzeugs in einer zuvor aufgezeichneten Umgebung. Bei dem System können mehrere eigenständige Lokalisierungskomponenten jeweils ein Lokalisierungsergebnis bereitstellen, welches anschließend vorzugsweise fusioniert werden kann (statt der Fusion einzelner Sensordaten). Das System ist insbesondere dazu vorgesehen und eingerichtet, die (Eigen-) Position des Fahrzeugs relativ zur Umgebung bzw. relativ zu dem Umfeldmodell und/oder der Fahrtrajektorie zu ermitteln.
Das Verfahren und/oder die Vorrichtung sind insbesondere zum Ausführen verschiedener (und ggf. anpassbarer) Suchstrategien zur Lokalisierung eines Fahrzeugs in einer zuvor aufgezeichneten Umgebung eingerichtet. Ein besonderer Vorteil des Verfahrens und/oder der Vorrichtung ergibt sich insbesondere durch die Möglichkeit zur Verwendung von mindestens zwei Lokalisierungsverfahren mit oder ohne unzureichend genauer a priori Information(en) (sogenanntes Lost Robot Problem), um beispielsweise unter Zuhilfenahme verschiedener Sensoren/Sensordaten möglichst schnell/effizient ein Lokalisierungsergebnis bereitstellen zu können. Dabei kann die Lokalisierungsaufgabe (unter anderem im Lost Robot Mode) auf mehrere Lokalisierungskomponenten aufgeteilt werden, wodurch vorteilhaft schneller und/oder effizienter ein Ergebnis gefunden werden kann. Die Vorrichtung kann beispielsweise ein System zur Auswahl und Ausführung verschiedener Suchstrategien unter Verwendung verschiedener Lokalisierungsmethoden darstellen. Die Vorrichtung umfasst insbesondere eine Speicherkomponente (bzw. einen Speicher), welche Umgebungsmerkmale während des Trainings speichert und anschließend in der Lokalisierungsphase wieder zur Verfügung stellt. Die Lokalisierungsphase kann dabei grundsätzlich in großem zeitlichem Abstand zur Datenaufnahme liegen. Ein Vorteil der Vorrichtung liegt in dem Selektierer (bzw. einer Selektions- Komponente), welcher insbesondere anhand verschiedener Suchstrategien die von den Lokalisierungskomponenten zu verwendenden (ortsabhängigen) Informationen aus dem Umfeldmodell (Datenpakete) und/oder die zu verwendenden Lokalisierungskomponenten auswählen kann. Weiterhin kann die Vorrichtung einen Kombinierer (bzw. eine Fusionskomponente) umfassen, welcher die Ergebnisse der einzelnen Lokalisierungen kombinieren kann. Ein besonderer Vorteil der Vorrichtung liegt insbesondere darin, dass der Selektierer bei nicht vorhandener oder sehr grober a priori Information vorteilhaft verschiedene Suchstrategien verwenden kann, um als Gesamtsystem möglichst schnell und/oder robust und/oder ressourcenschonend ein Gesamtlokalisierungsergebnis liefern zu können.
Insbesondere ist ein gemeinsamer Selektierer zur Auswahl der zu verwendenden Suchstrategie, insbesondere der zu verwendenden (ortsabhängigen) Informationen aus dem Umfeldmodell (Datenpakete) für die Lokalisierung und/oder der zu verwendenden Lokalisierungskomponenten vorgesehen. Dieser ermöglicht in vorteilhafter Weise eine möglichst effiziente Ressourcennutzung der begrenzten Ressourcen (unter anderem Bandbreite für den Ladevorgang, Rechenzeit für die Algorithmen). Weiterhin können über den Selektierer vorteilhaft erweiterte Strategien für sehr ungenaue a-priori Informationen oder für den sogenannten Lost- Robot- Modus umgesetzt werden. Bei diesem Modus ist keine a priori-lnformation über den Aufenthaltsort bekannt. Beispielsweise können in diesem Zusammenhang mehrere der oder sogar alle gespeicherten Sensordaten und/oder Lokalisierungsmerkmale durchiteriert werden, um passende Matches zu finden. Weiterhin können über den Selektierer in vorteilhafter Weise Suchstrategien ausgewählt werden, welche bei einer sehr ungenauen a-priori Information diese möglichst schnell und/oder effizient und/oder präzise verfeinern können. Durch die vorteilhaft gemeinsame Auswahl der zu verwendenden (ortsabhängigen) Informationen aus dem Umfeldmodell (Datenpakete) für die Lokalisierung und/oder der zu verwendenden Lokalisierungskomponenten kann die Suche nach einer initialen Position in vorteilhafter Weise auf die verschiedenen Lokalisierungsmethoden bzw. Lokalisierungskomponenten aufgeteilt werden. Dadurch kann vorteilhaft schneller und/oder effizienter zu einem validen Ergebnis gekommen werden. Die Suchstrategien können dabei insbesondere an die Begebenheiten der Vorrichtung bzw. die Vor- und Nachteile der einzelnen Lokalisierungskomponenten angepasst werden.
Beispielsweise kann der Selektierer die erste Lokalisierungskomponente vom Beginn der Trajektorie (bzw. des Szenarios) Richtung deren Ende suchen lassen, während der Selektierer die zweite Lokalisierungskomponente zumindest teilweise parallel oder gleichzeitig vom Ende der Trajektorie (bzw. des Szenarios) Richtung deren Anfang suchen lassen kann. Die Suchstrategien können hierbei vorteilhaft auch auf Besonderheiten der Lokalisierungskomponenten angepasst werden. Existiert beispielsweise eine Lokalisierungskomponente, welche große Teile der Trajektorie in kurzer Zeit überprüfen kann, kann zunächst diese Komponente alleine verwendet werden, bis eine ausreichend genaue Lokalisierung besteht, welche eine realistische Möglichkeit bietet, auch mit anderen (zum Beispiel einen weniger großen Bereich abdeckenden) Lokalisierungsmethoden genaue Ergebnisse zu liefern. Somit kann in vorteilhafter Weise durch verschiedene Suchstrategien Zeit und/oder Rechenleistung einspart werden.
Die im Zusammenhang mit dem Verfahren erörterten Details, Merkmale und vorteilhaften Ausgestaltungen können entsprechend auch bei dem hier vorgestellten Computerprogram und/oder dem Speichermedium und/oder der Vorrichtung auftreten und umgekehrt. Insoweit wird auf die dortigen Ausführungen zur näheren Charakterisierung der Merkmale vollumfänglich Bezug genommen.
Die hier vorgestellte Lösung sowie deren technisches Umfeld werden nachfolgend anhand der Figuren näher erläutert. Es ist darauf hinzuweisen, dass die Erfindung durch die gezeigten Ausführungsbeispiele nicht beschränkt werden soll. Insbesondere ist es, soweit nicht explizit anders dargestellt, auch möglich, Teilaspekte der in den Figuren erläuterten Sachverhalte zu extrahieren und mit anderen Bestandteilen und/oder Erkenntnissen aus anderen Figuren und/oder der vorliegenden Beschreibung zu kombinieren. Es zeigt schematisch:
Fig. 1: einen beispielhaften Ablauf des hier beschriebenen Verfahrens,
Fig. 2: einen beispielhaften Aufbau der hier beschriebenen Vorrichtung, und
Fig. 3: eine beispielhafte Veranschaulichung der Arbeitsweise einer Ausführungsvariante des hier beschriebenen Verfahrens.
Fig. 1 zeigt schematisch einen beispielhaften Ablauf des hier beschriebenen Verfahrens zum Lokalisieren eines Fahrzeugs in Relation zu einem Umfeldmodell um eine Fahrtrajektorie, die durch ein Abfahren der Fahrtrajektorie mittels des Fahrzeugs gelernt wird. Die mit den Blöcken 110, 120, 130 und 140 dargestellte Reihenfolge der Schritte a), b), c) und d) ist beispielhaft und kann so zum Beispiel bei einem regulären Betriebsablauf durchlaufen werden.
In Block 110 erfolgt gemäß Schritt a) ein Empfangen einer Vielzahl von Sensordaten von verschiedenen Sensoren, die in oder an dem Fahrzeug angeordnet sind, während die Fahrtrajektorie gelernt wird, wobei die Sensordaten zumindest teilweise Umgebungsmerkmale um die Fahrtrajektorie beschreiben. In Block 120 erfolgt gemäß Schritt b) ein Erstellen des Umfeldmodells unter Verwendung der empfangenen Sensordaten und/oder mittels der Umgebungsmerkmale, die auf Basis der Sensordaten ermittelt werden. In Block 130 erfolgt gemäß Schritt c) ein Auswählen mindestens einer Suchstrategie aus einer Vielzahl voneinander verschiedener Suchstrategien zum Suchen der Fahrzeugposition in Relation zu dem Umfeldmodell. In Block 140 erfolgt gemäß Schritt d) ein Durchführen der mindestens einen ausgewählten Suchstrategie, um eine Fahrzeugposition in Relation zu dem Umfeldmodell zu suchen.
Die Fahrtrajektorie kann beispielsweise einen Weg hin zu einer Parkposition für das Fahrzeug, wie etwa einen Weg von einer Hofeinfahrt bis in eine Garage beschreiben. Die verschiedenen Sensoren können zum Beispiel mindestens zwei verschiedenartige Umfeldsensoren des Fahrzeugs, wie beispielsweise einen optischen Umfeldsensor und einen akustischen Umfeldsensor umfassen. Weiterhin können zumindest einem Teil der Sensordaten und/oder der Umgebungsmerkmale Zeitinformationen zugeordnet werden, die den Zeitpunkt ihrer jeweiligen Erfassung beschreiben. Somit kann vorteilhaft auch die zeitliche Komponente berücksichtigt werden, die sich aus der ggf. sehr langen Zeitspanne zwischen Aufnahme der Daten und deren Verwendung zur Lokalisierung ergeben kann.
Beispielsweise können die voneinander verschiedenen Suchstrategien Informationen aus dem Umfeldmodell auswählen, mit denen mindestens zwei voneinander verschiedene Lokalisierungsmethoden zur Lokalisierung des Fahrzeugs in Relation zu dem Umfeldmodell durchgeführt werden können. Weiterhin kann vorgesehen sein, dass in Schritt d) mindestens zwei voneinander verschiedene Lokalisierungsmethoden zur Lokalisierung des Fahrzeugs in Relation zu dem Umfeldmodell durchgeführt werden können.
Fig. 2 zeigt schematisch einen beispielhaften Aufbau der hier beschriebenen Vorrichtung 1 zur Durchführung eines hier beschriebenen Verfahrens. Die Vorrichtung 1 umfasst ein erstes Lokalisierungsmodul 2, mit dem eine von mindestens zwei verschiedenen Lokalisierungsmethoden durchführbar ist. Die Vorrichtung 1 umfasst weiterhin ein zweites Lokalisierungsmodul 3, mit dem eine weitere der mindestens zwei verschiedenen Lokalisierungsmethoden durchführbar ist. Beispielhaft umfasst die Vorrichtung 1 hier auch ein drittes Lokalisierungsmodul 4, mit dem eine Lokalisierungsmethode durchführbar ist, die sich von den beiden vorgenannten Lokalisierungsmethoden des ersten Lokalisierungsmoduls 2 und des zweiten Lokalisierungsmoduls 3 unterscheidet.
Die Vorrichtung 1 umfasst zudem einen Selektierer 6, mit dem mindestens eine Suchstrategie aus einer Vielzahl voneinander verschiedener Suchstrategien zum Suchen der Fahrzeugposition in Relation zu dem Umfeldmodell auswählbar ist. Weiterhin umfasst die Vorrichtung 1 hier beispielhaft einen Kombinierer 5, mit dem die von den Lokalisierungsmodulen 2, 3, 4 bereitgestellten Lokalisierungsergebnisse zu einem Gesamt-Lokalisierungsergebnis kombinierbar sind. Zudem umfasst die Vorrichtung 1 hier beispielhaft einen Speicher 7, auf dem das Umfeldmodell speicherbar ist. Es kann auch eine Rückführung des Gesamt-Lokalisierungsergebnisses an die Lokalisierungsmethoden erfolgen. Dies kann dazu beitragen, dass die Lokalisierungsmethoden sich gegenseitig stützen können.
In Fig. 2 ist weiterhin beispielhaft veranschaulicht, dass der Selektierer 6 auf verschiedene Suchstrategien 8, 9, 10, 11 zugreifen kann, um hieraus eine oder mehrere der Suchstrategien 8, 9, 10, 11 auszuwählen. Die verschiedenen Suchstrategien 8, 9, 10, 11 können beispielsweise aus verschiedenen Quellen stammen. Zum Beispiel können die Suchstrategien 8, 9, 10, 11 zumindest teilweise in die Vorrichtung 1 integrierte, beispielhaft in dem Selektierer 6 oder dem Speicher 7 hinterlegte Strategien sein. Die Vorrichtung 1 kann weiterhin beispielhaft dazu eingerichtet sein, die Strategien auf ihre Wirksamkeit hin zu beobachten und/oder neue Strategien (beispielsweise durch Kombination bekannter Strategien) zu entwickeln. Dieses Beobachten und/oder Entwickeln neuer Strategien kann beispielsweise von einer Auswerteeinrichtung 12 und/oder dem Selektierer 6 selbst durchgeführt werden. Die Auswerteeinrichtung 12 kann ein Bestandteil der Vorrichtung 1 oder eines übergeordneten Systems sein. Weiterhin beispielhaft kann auch ein Mitteilen neuer Strategien über externe Kommunikation (wie zum Beispiel Car2Car, Car2X, Werkstatt- Update) an die Vorrichtung 1 erfolgen. Als Quelle hierfür ist in Fig. 2 beispielhaft eine Cloud 13 gezeigt.
Fig. 3 zeigt schematisch eine beispielhafte Veranschaulichung der Arbeitsweise einer Ausführungsvariante des hier beschriebenen Verfahrens. Beispielhaft werden hier zwei Suchstrategien aus der Vielzahl voneinander verschiedener Suchstrategien ausgewählt. Die erste der zwei Suchstrategien wählt beispielhaft erste Informationen Gl bis G6 aus dem Umfeldmodell aus. Zudem wählt die erste Suchstrategie beispielhaft eine erste Lokalisierungsmethode aus, die mit den ersten Informationen arbeiten soll. Die zweite der zwei Suchstrategien wählt beispielhaft zweite Informationen Ol bis 07 aus dem Umfeldmodell aus. Zudem wählt die zweite Suchstrategie beispielhaft eine zweite Lokalisierungsmethode aus, die mit den zweiten Informationen arbeiten soll. Die Informationen Gl bis G6 und Ol bis 07 sind ortsabhängig in dem Umfeldmodell gespeichert und liegen entlang der aufgezeichneten Trajektorie.
Dies stellt auch ein Beispiel dafür dar, dass und ggf. wie die voneinander verschiedenen Suchstrategien sich zumindest in der Auswahl von Informationen aus dem Umfeldmodell unterscheiden können. Weiterhin stellt dies auch ein Beispiel dafür dar, dass und ggf. wie die voneinander verschiedenen Suchstrategien sich zumindest in der Lokalisierungsmethode zur Lokalisierung des Fahrzeugs in Relation zu dem Umfeldmodell unterscheiden können. Es ist jedoch für das Beispiel aus Fig. 3 nicht erforderlich, dass verschiedenartige Lokalisierungsmethoden eingesetzt werden. Es kann hier beispielsweise auch genügen, die gleiche Art von Lokalisierungsmethode von verschiedenen Startpunkten ausgehend durchzuführen.
Im Beispiel gemäß Fig. 3 befindet sich das Fahrzeug bereits nahe am Ende der trainierten Trajektorie bzw. des trainierten Szenarios. Zur Veranschaulichung ist die tatsächliche Fahrzeugposition in Fig. 3 mit X gekennzeichnet. Dem Verfahren liegt hier jedoch beispielhaft keine a-priori Information zur Fahrzeugposition vor. Daher muss hier beispielhaft die initiale Position des Fahrzeugs in Relation zum Umfeldmodell bzw. zur Trajektorie gesucht werden, bevor mit einer weiteren Führung des Fahrzeugs entlang der Trajektorie begonnen werden kann.
Beispielsweise wird gemäß der ersten Suchstrategie (hierzu) mittels der ersten Lokalisierungsmethode eine Lokalisierung unter Verwendung der gespeicherten Informationen Gl bis G6, beginnend mit den Daten von Gl gestartet. Gleichzeitig bzw. in nahem zeitlichem Kontext wird gemäß der zweiten Suchstrategie mittels der zweiten Lokalisierungsmethode eine Lokalisierung mit den Informationen Ol bis 07, beginnend mit den Daten von 07 gestartet. Dies stellt auch ein Beispiel dafür dar, dass und ggf. wie gemäß einer ersten Suchstrategie der mindestens zwei Suchstrategien die Fahrzeugposition entlang einer ersten Richtung und gemäß einer zweiten Suchstrategie der mindestens zwei Suchstrategien die Fahrzeugposition entlang einer sich von der ersten Richtung unterscheidenden zweiten Richtung gesucht werden kann. In diesem Zusammenhang können sich die Lokalisierungsmethoden somit beispielhaft in der Richtung unterscheiden, in der sie (ortsabhängige) Informationen aus dem Umfeldmodell abarbeiten. Die erste Richtung und die zweite Richtung sind in diesem Beispiel zueinander gegenläufig entlang der Trajektorie ausgerichtet. Dies kann mit anderen Worten auch so beschrieben werden, dass die Suchstrategien bzw. Lokalisierungsmethoden von verschiedenen Enden der Trajektorie aus starten.
Die Lokalisierungsmethoden können dabei zyklisch arbeiten, sodass beispielsweise in einem ersten Zyklus eine Lokalisierung mittels der ersten Lokalisierungsmethode auf Basis der (ortsabhängigen) Information Gl aus dem Umfeldmodell und eine Lokalisierung mittels der zweiten Lokalisierungsmethode auf Basis der (ortsabhängigen) Information 07 aus dem Umfeldmodell durchgeführt werden kann. Die Lokalisierungsmethoden können dabei beispielsweise ortsabhängig gespeicherte Sensordaten (welche die Informationen Gl und 07 darstellen können) mit momentan erfassten Sensordaten des Fahrzeugs vergleichen.
Sobald die Ergebnisse der Lokalisierungen (bspw. der entsprechenden Vergleiche) des ersten Zyklus vorliegen, kann beispielsweise geprüft werden, ob es sich bei zumindest einer der Lokalisierungen (bereits) um eine valide bzw. konfidente Lokalisierung handelt. Als valide bzw. konfident kann die Lokalisierung beispielsweise dann angesehen werden, wenn eine Abweichung zwischen einer momentan erfassten Information und einer Information (hier Gl bzw. 07) aus dem Umfeldmodell kleiner oder gleich einem vordefinierbaren Grenzwert ist.
Wurde im ersten Zyklus noch keine valide bzw. konfidente Lokalisierung gefunden, kann mit dem zweiten Zyklus begonnen werden. Dabei kann gemäß der hier exemplarisch beschriebenen ersten Suchstrategie die erste Lokalisierungsmethode beispielhaft mit G2 und/oder gemäß der hier exemplarisch beschriebenen zweiten Suchstrategie die zweite Lokalisierungsmethode beispielhaft mit 06 getriggert bzw. durchgeführt werden. Dies kann in dem in Fig. 3 gezeigten Beispielfall dazu beitragen, dass mit der zweiten Suchstrategie nun bzw. im zweiten Zyklus mit 06 (und der zweiten Lokalisierungsmethode) ein valides Lokalisierungsergebnis gefunden werden kann. Dies kann beispielsweise dazu genutzt werden, dass für die erste Suchstrategie bzw. die erste Lokalisierungsmethode G6 ausgewählt werden kann. Beide Lokalisierungsmethoden können dadurch in vorteilhafter Weise mit möglichst passenden Daten arbeiten, wodurch vorteilhaft schnell eine valide Gesamtlokalisierung bereitgestellt werden kann.
Ein entsprechendes zyklisches Vorgehen ist für die vorhergehend beschriebenen Suchstrategien, bei denen zwei Lokalisierungsmethoden (LI, L2) von verschiedenen Enden der Trajektorie aus starten, in nachfolgender Tabelle nochmals beispielhaft für beispielsweise eine Menge 1 bis n ortsabhängiger Informationen dargestellt:
Figure imgf000023_0001
Die Gesamtlokalisierung kann dabei insbesondere durch den ggf. vorgesehenen Kombinierer 5 einer hier beschriebenen, beispielhaften Vorrichtung 1 erfolgen, der das Lokalisierungsergebnis der ersten Lokalisierungsmethode auf Basis der
Information G6 und das Lokalisierungsergebnis der zweiten Lokalisierungsmethode auf Basis der Information 06 zu einem Gesamt- Lokalisierungsergebnis kombinieren bzw. fusionieren kann. Die erste Lokalisierungsmethode (LI) kann bei der hier beschriebenen Vorrichtung 1 beispielsweise von dem ersten Lokalisierungsmodul 2 durchgeführt werden. Die zweite Lokalisierungsmethode (L2) kann bei der hier beschriebenen Vorrichtung 1 beispielsweise von dem zweiten Lokalisierungsmodul 3 durchgeführt werden. Die Auswahl der Suchstrategien bzw. der Informationen Gl bis G6 und 01 bis 07 aus dem Umfeldmodell sowie der zwei Lokalisierungsmethoden kann bei der hier beschriebenen Vorrichtung 1 beispielsweise von dem Selektierer 6 durchgeführt werden.
Gemäß einer weiteren beispielhaften (alternativen) Auswahl von Suchstrategien können diese beispielweise so ausgewählt werden, dass sie eine Suche in etwa der Mitte der Trajektorie bzw. des Szenarios beginnen. Dabei können die
Suchstrategien bzw. Lokalisierungsmethode in Richtung verschiedener Enden der Trajektorie wandern, um eine Lokalisierung zu finden. Ein auch in diesem Zusammenhang vorteilhaftes, zyklisches Vorgehen ist für die entsprechend von innen nach außen gerichteten Suchstrategien, bei denen beispielhaft zwei Lokalisierungsmethoden (LI, L2) von etwa der Mitte der Trajektorie zu verschiedenen Enden der Trajektorie aus starten, in nachfolgender Tabelle beispielhaft für beispielsweise eine Menge 1 bis n ortsabhängiger Informationen dargestellt:
Figure imgf000023_0002
Figure imgf000024_0001
Gemäß einer weiteren beispielhaften (alternativen) Auswahl von Suchstrategien können diese beispielweise so ausgewählt werden, dass gemäß einer ersten Suchstrategie der mindestens zwei Suchstrategien die Fahrzeugposition mittels einer ersten Lokalisierungsmethode und gemäß einer zweiten Suchstrategie der mindestens zwei Suchstrategien die Fahrzeugposition mittels einer im Vergleich zu der ersten Lokalisierungsmethode genaueren zweiten Lokalisierungsmethode gesucht wird. Dabei kann beispielsweise der Grenzwert für ein valides bzw. konfidentes Lokalisierungsergebnis bei der zweiten Lokalisierungsmethode niedriger sein als bei der ersten Lokalisierungsmethode.
Das Verfahren und die Vorrichtung tragen insbesondere zur Bereitstellung einer verbesserten und/oder präziseren Aufzeichnungs- und Wiedergabe- Funktionalität („Record and Replay“ Funktion) für ein Fahrzeug bei. Dadurch können das Verfahren und die Vorrichtung auch zur zumindest teilweisen Automatisierung des Fährbetriebs eines Fahrzeugs beitragen.

Claims

Ansprüche
1. Verfahren zum Lokalisieren eines Fahrzeugs in Relation zu einem Umfeldmodell um eine Fahrtrajektorie, die durch ein Abfahren der Fahrtrajektorie mittels des Fahrzeugs gelernt wird, umfassend zumindest folgende Schritte: a) Empfangen einer Vielzahl von Sensordaten von verschiedenen Sensoren, die in oder an dem Fahrzeug angeordnet sind, während die Fahrtrajektorie gelernt wird, wobei die Sensordaten zumindest teilweise Umgebungsmerkmale um die Fahrtrajektorie beschreiben, b) Erstellen des Umfeldmodells unter Verwendung der empfangenen Sensordaten und/oder mittels der Umgebungsmerkmale, die auf Basis der Sensordaten ermittelt werden, c) Auswählen mindestens einer Suchstrategie aus einer Vielzahl voneinander verschiedener Suchstrategien zum Suchen der Fahrzeugposition in Relation zu dem Umfeldmodell, d) Durchführen der mindestens einen ausgewählten Suchstrategie, um eine Fahrzeugposition in Relation zu dem Umfeldmodell zu suchen.
2. Verfahren nach Anspruch 1, wobei die voneinander verschiedenen Suchstrategien Informationen aus dem Umfeldmodell auswählen können, mit denen mindestens zwei voneinander verschiedene Lokalisierungsmethoden zur Lokalisierung des Fahrzeugs in Relation zu dem Umfeldmodell durchgeführt werden können.
3. Verfahren nach Anspruch 2, wobei in Schritt d) mindestens zwei voneinander verschiedene Lokalisierungsmethoden zur Lokalisierung des Fahrzeugs in Relation zu dem Umfeldmodell durchgeführt werden.
4. Verfahren nach einem der vorhergehenden Ansprüche, wobei die voneinander verschiedenen Suchstrategien sich zumindest in der Auswahl von Informationen aus dem Umfeldmodell unterscheiden.
5. Verfahren nach einem der vorhergehenden Ansprüche, wobei die voneinander verschiedenen Suchstrategien sich zumindest in der Lokalisierungsmethode zur Lokalisierung des Fahrzeugs in Relation zu dem Umfeldmodell unterscheiden.
6. Verfahren nach einem der vorhergehenden Ansprüche, wobei in Schritt c) mindestens zwei Suchstrategien aus der Vielzahl voneinander verschiedener Suchstrategien ausgewählt werden.
7. Verfahren nach Anspruch 6, wobei gemäß einer ersten Suchstrategie der mindestens zwei Suchstrategien die Fahrzeugposition entlang einer ersten Richtung und gemäß einer zweiten Suchstrategie der mindestens zwei Suchstrategien die Fahrzeugposition entlang einer sich von der ersten Richtung unterscheidenden zweiten Richtung gesucht wird.
8. Verfahren nach Anspruch 6 oder 7, wobei gemäß einer ersten Suchstrategie der mindestens zwei Suchstrategien die Fahrzeugposition mittels einer ersten Lokalisierungsmethode und gemäß einer zweiten Suchstrategie der mindestens zwei Suchstrategien die Fahrzeugposition mittels einer im Vergleich zu der ersten Lokalisierungsmethode genaueren zweiten Lokalisierungsmethode gesucht wird.
9. Computerprogramm zur Durchführung eines Verfahrens nach einem der vorhergehenden Ansprüche.
10. Maschinenlesbare Speichermedium, auf dem das Computerprogramm nach Anspruch 9 gespeichert ist.
11. Vorrichtung (1) zur Durchführung eines Verfahrens nach einem der Ansprüche 1 bis 8, zumindest umfassend: ein erstes Lokalisierungsmodul (2), mit dem eine von mindestens zwei verschiedenen Lokalisierungsmethoden durchführbar ist, ein zweites Lokalisierungsmodul (3), mit dem eine weitere der mindestens zwei verschiedenen Lokalisierungsmethoden durchführbar ist, einen Selektierer (6), mit dem mindestens eine Suchstrategie aus einer Vielzahl voneinander verschiedener Suchstrategien zum Suchen der Fahrzeugposition in Relation zu dem Umfeldmodell auswählbar ist.
PCT/EP2021/060843 2020-05-15 2021-04-26 Verfahren zum lokalisieren eines fahrzeugs in relation zu einem umfeldmodell um eine fahrtrajektorie WO2021228536A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102020206168.8 2020-05-15
DE102020206168.8A DE102020206168A1 (de) 2020-05-15 2020-05-15 Verfahren zum Lokalisieren eines Fahrzeugs in Relation zu einem Umfeldmodell um eine Fahrtrajektorie

Publications (1)

Publication Number Publication Date
WO2021228536A1 true WO2021228536A1 (de) 2021-11-18

Family

ID=75728837

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2021/060843 WO2021228536A1 (de) 2020-05-15 2021-04-26 Verfahren zum lokalisieren eines fahrzeugs in relation zu einem umfeldmodell um eine fahrtrajektorie

Country Status (2)

Country Link
DE (1) DE102020206168A1 (de)
WO (1) WO2021228536A1 (de)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102022104452A1 (de) 2022-02-24 2023-08-24 Bayerische Motoren Werke Aktiengesellschaft Fahrsystem und Verfahren zur Aktualisierung von Umgebungsdaten für eine aufgezeichnete Fahrtrajektorie

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102016003261A1 (de) * 2016-03-16 2016-09-29 Daimler Ag Verfahren zur Selbstlokalisierung eines Fahrzeugs in einer Fahrzeugumgebung
DE102017115991A1 (de) * 2017-07-17 2019-01-17 Connaught Electronics Ltd. Verfahren zum Betreiben eines Fahrerassistenzsystems für ein Kraftfahrzeug mit erneutem Speichern von Trainingsdaten, Fahrerassistenzsystem sowie Kraftfahrzeug
WO2020092635A1 (en) * 2018-10-30 2020-05-07 Frazzoli Emilio Redundancy in autonomous vehicles

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102015217497A1 (de) 2015-09-14 2017-03-16 Volkswagen Aktiengesellschaft Verfahren und Vorrichtung zum Synchronisieren einer ersten lokalen Umfeldkarte mit einer zweiten lokalen Umfeldkarte in einem Umfeld eines Kraftfahrzeugs
DE102017119236A1 (de) 2017-08-23 2019-02-28 Valeo Schalter Und Sensoren Gmbh Betrieb einer Parkassistenzvorrichtung eines Kraftfahrzeugs mit zwei verschiedenen Ortungsmethoden
DE102018005005A1 (de) 2018-06-22 2019-12-24 Daimler Ag Verfahren zur Positionsbestimmung eines Fahrzeugs
DE102018218182B4 (de) 2018-10-24 2021-07-29 Volkswagen Aktiengesellschaft Verfahren zur Positionsbestimmung eines Fahrzeugs
DE102018218492A1 (de) 2018-10-29 2020-04-30 Robert Bosch Gmbh Steuergerät, Verfahren und Sensoranordnung zur selbstüberwachten Lokalisierung
DE102019000492A1 (de) 2019-01-23 2019-06-13 Daimler Ag Verfahren zur Positionsbestimmung eines Fahrzeugs

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102016003261A1 (de) * 2016-03-16 2016-09-29 Daimler Ag Verfahren zur Selbstlokalisierung eines Fahrzeugs in einer Fahrzeugumgebung
DE102017115991A1 (de) * 2017-07-17 2019-01-17 Connaught Electronics Ltd. Verfahren zum Betreiben eines Fahrerassistenzsystems für ein Kraftfahrzeug mit erneutem Speichern von Trainingsdaten, Fahrerassistenzsystem sowie Kraftfahrzeug
WO2020092635A1 (en) * 2018-10-30 2020-05-07 Frazzoli Emilio Redundancy in autonomous vehicles

Also Published As

Publication number Publication date
DE102020206168A1 (de) 2021-11-18

Similar Documents

Publication Publication Date Title
DE112015001150B4 (de) Verfahren, Vorrichtung und System zur Unterstützung von Platooning
DE102005035746B4 (de) Verfahren zur Bestimmung einer Relativposition einer mobilen Einheit durch Vergleich von Scans einer Umgebung und mobile Einheit
DE102016222259B4 (de) Verfahren und System zum Bereitstellen von Daten für eine erste und zweite Trajektorie
DE102020118187A1 (de) System und Verfahren zum Kalibrieren einer Lenkradneutralstellung
DE102006040334A1 (de) Verfahren für die Spurerfassung mit einem Fahrerassistenzsystem und Fahrerassistenzsystem
EP3616181A1 (de) Verfahren zum automatischen erstellen und aktualisieren eines datensatzes für ein autonomes fahrzeug
WO2020016385A1 (de) Verfahren und system zum bestimmen einer position eines fahrzeugs
WO2016150590A1 (de) Verfahren und vorrichtung zum überwachen einer von einem fahrzeug abzufahrenden soll-trajektorie auf kollisionsfreiheit
DE102018117290A1 (de) Verfahren zur Kalibrierung und/oder Justierung mindestens einer Sensoreinheit eines Fahrzeugs
DE102019115330A1 (de) Echtzeit-Sicherheitspfaderzeugung für hochautomatisiertes Fahrzeugrückfallmanöver
WO2021228536A1 (de) Verfahren zum lokalisieren eines fahrzeugs in relation zu einem umfeldmodell um eine fahrtrajektorie
DE102015205634A1 (de) Verfahren zum Erkennen von Bewegungen von Objekten auf einer Abstellfläche für Fahrzeuge
DE102019207448A1 (de) Simultane Lokalisierung und Kartenerstellung in 2D unter Verwendung eines 3D-Scanners
DE102017200234A1 (de) Verfahren und Vorrichtung zum Referenzieren einer lokalen Trajektorie in einem globalen Koordinatensystem
DE102020205609A1 (de) Verfahren zum Betreiben eines Assistenzsystems eines Fahrzeugs
DE102018104963A1 (de) Verfahren zum Unterstützen eines Benutzers eines Kraftfahrzeugs beim Einparken auf einem Parkplatz, entsprechendes Computerprogrammprodukt, Unterstützungssystem und Kraftfahrzeug
DE102020206165A1 (de) Verfahren zum Lokalisieren eines Fahrzeugs in Relation zu einem Umfeldmodell um eine Fahrtrajektorie
DE102007043911A1 (de) Verfahren für die Steuerung eines Fahrerassistenzsystems
EP4176424A1 (de) Ampelspurzuordnung aus schwarmdaten
EP3926304A1 (de) Verfahren zum beurteilen einer genauigkeit einer positionsbestimmung einer landmarke, sowie bewertungssystem
EP3440432A1 (de) Verfahren zur bestimmung einer pose eines wenigstens teilautomatisiert fahrenden fahrzeugs mittels speziell ausgewählter und von einem backend-server übertragener landmarken
DE102021204372A1 (de) Orientierungsbasierte Positionsermittlung von Schienenfahrzeugen
DE102020006160A1 (de) Verfahren zur Lageerkennung eines Objekts mittels eines Lageerfassungssystems, Verfahren zum Bearbeiten eines Objekts sowie Lageerfassungssystem
DE102022208059B3 (de) Verfahren zum Ermitteln einer eine Parklücke beschreibenden Umfeldinformation mithilfe eines faltenden neuronalen Netzes
DE102018210361B4 (de) Verfahren zum Ermitteln einer Relativpose zwischen einem Fahrzeug und einem Zielobjekt

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21722179

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21722179

Country of ref document: EP

Kind code of ref document: A1