WO2022084182A1 - Verfahren und vorrichtung zum kartieren einer einsatzumgebung für zumindest eine mobile einheit sowie zur lokalisation zumindest einer mobilen einheit in einer einsatzumgebung und lokalisationssystem für eine einsatzumgebung - Google Patents

Verfahren und vorrichtung zum kartieren einer einsatzumgebung für zumindest eine mobile einheit sowie zur lokalisation zumindest einer mobilen einheit in einer einsatzumgebung und lokalisationssystem für eine einsatzumgebung Download PDF

Info

Publication number
WO2022084182A1
WO2022084182A1 PCT/EP2021/078613 EP2021078613W WO2022084182A1 WO 2022084182 A1 WO2022084182 A1 WO 2022084182A1 EP 2021078613 W EP2021078613 W EP 2021078613W WO 2022084182 A1 WO2022084182 A1 WO 2022084182A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
data
localization
mobile unit
feature
Prior art date
Application number
PCT/EP2021/078613
Other languages
English (en)
French (fr)
Inventor
Jan Fabian Schmid
Stephan Simon
Original Assignee
Robert Bosch Gmbh
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch Gmbh filed Critical Robert Bosch Gmbh
Priority to CN202180071140.6A priority Critical patent/CN116324886A/zh
Priority to US18/044,494 priority patent/US20240029299A1/en
Priority to EP21793924.8A priority patent/EP4229597A1/de
Publication of WO2022084182A1 publication Critical patent/WO2022084182A1/de

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804—Creation or updating of map data
    • G01C21/3833—Creation or updating of map data characterised by the source of data
    • G01C21/3837—Data obtained from a single source
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking

Definitions

  • the invention is based on a device or a method according to the species of the independent claims.
  • the subject matter of the present invention is also a computer program.
  • DE 10 2017 220 291 A1 discloses a method for automatically guiding a vehicle along a virtual rail system. It is a method that allows an autonomous system with a downward-facing camera to follow a previously learned virtual rail.
  • efficient feature detection for ground texture-based mapping and/or localization in an operational environment can be made possible for at least one mobile unit.
  • a simplified approach to feature detection for ground texture-based mapping and/or localization can be used for this purpose.
  • an efficient feature detection process for localization using images from a down-camera can be provided.
  • the feature detection can be carried out in particular independently of the actual image content, either by feature positions being defined by a random process or by a fixed pattern. It can be used, for example, essentially independently of subsequent localization steps such as characterization, correspondence finding, and pose determination.
  • embodiments can be based on the fact that any image areas can be used for the mapping process and/or localization process instead of an actual feature detection. This means that computing time can be saved by determining the image areas used for feature extraction randomly or pseudo-randomly or using a static pattern. The fact that this type of feature detection is a valid approach for feature-based localization using ground textures has the following reasons in particular.
  • a probability of randomly selecting similar image areas can be classified as relatively high. This is because a camera pose can be described to a good approximation with only three parameters: the x and y coordinates in the ground plane and an orientation angle. In particular, the distance to the ground is known such that an image area size used can be kept constant. If, for example, a current pose estimate is already present during the localization, complexity can be further reduced. In particular, if the orientation is estimated with sufficient precision, the parameters of the feature image regions to be determined can be reduced to their image coordinates.
  • ground textures have a high information content.
  • no special feature image areas ie in particular those with a particularly high information content, need to be used to find correspondence.
  • typical soil textures such as concrete, asphalt or carpets can have sufficient characteristic properties everywhere to enable a correspondence to be found; provided that sufficiently strongly overlapping feature image areas are used in the localization and reference image.
  • a reduction in the computing effort for the high-precision mapping and/or localization based on ground texture features can be achieved.
  • conventional, often computationally expensive methods for feature detection such as SIFT (Lowe, 2004)
  • image areas can be determined in which a specific property is most pronounced, also referred to as global optimization.
  • An example of such a property is the contrast with the local environment.
  • the computing effort can be reduced, with the use of randomly or uniformly distributed feature image regions presented here reducing one Computational effort without localization capability suffering as a result.
  • Suitable efficient methods for the description of characteristics can be, for example, binary descriptors such as BRIEF (Calonder et al., 2010), BRISK (Leutenegger et al., 2011), LATCH (Levi and Hassner, 2016) or AKAZE (Alcantarilla et al., 2013). .
  • the use of random feature image regions can be an advantage on certain ground texture types. This is due to a phenomenon that can occur in ground textures with highly repetitive patterns. In the case of such textures, the use of classic feature detectors can, for example, result in the same points in the pattern being determined as feature image regions over and over again. In such a case, it may no longer be possible or only with difficulty for the localization method to distinguish between different forms of the pattern. This can be prevented by using random or pseudo-random feature image areas.
  • mapping data for a map of an operational environment for at least one mobile unit is presented, the method having the following steps:
  • the reference image data representing a plurality of reference images which, by means of the image capture device, are subsections specific for each reference image a floor of the operational environment with adjacent sections partially overlapping;
  • mapping data wherein at the position of each reference image feature a reference feature descriptor is determined using the reference image data, the mapping data having the reference image data, the positions of the reference image features and the reference feature descriptors.
  • the operating environment can be an area within and additionally or alternatively outside of one or more buildings that can be driven over by the at least one mobile unit.
  • the deployment environment may have predefined boundaries.
  • the at least one mobile unit can be designed as a vehicle for highly automated driving, a robot or the like.
  • the image capturing device can have at least one camera of a mobile unit.
  • the image capturing device can be arranged in a fixed orientation relative to the mobile unit.
  • the image capturing device can be a camera.
  • a method for creating a map of a deployment environment for at least one mobile unit is also presented, the method having the following steps:
  • mapping data from a communication interface to the at least one mobile unit, the mapping data being provided according to an embodiment of the method for providing described above; determining a reference pose of the image capturing device for each reference image relative to a reference coordinate system using the mapping data and dependent on correspondences between reference image features of overlapping reference images determined using the reference feature descriptors; and
  • the method for creating the map can be carried out, for example, on or using a data processing device.
  • the data processing device can be arranged separately from the at least one mobile unit inside or outside the operational environment.
  • the reference pose in the step of determining, can be determined as a function of correspondences between reference image features for which reference feature descriptors have been determined in overlapping reference images that meet a similarity criterion with respect to one another.
  • Such an embodiment offers the advantage that the use of such a reproducibility condition can improve robustness to image transformations, such as translation and rotation of the image acquisition device and photometric transformations, which in turn can also have a beneficial effect on localization, since more correct correspondences can be found .
  • the at least one mobile unit can be the at least one mobile unit from one of the methods mentioned above or at least one other mobile unit that corresponds to or is similar to the at least one mobile unit from one of the methods mentioned above. At least some of the steps of the method can be performed repeatedly or cyclically for each image. The images and thus adjacent sections represented by the images can overlap.
  • the reference feature descriptor and/or the feature descriptor can be a binary descriptor.
  • the use of binary descriptors can be advantageous since they can typically be calculated more quickly than non-binary or floating-point descriptors, and since binary descriptors enable a particularly efficient formation of correspondence.
  • the method for determining can have a step of outputting the localization data to an interface to a data processing device.
  • the localization data can be output in a plurality of data packets.
  • Each data packet can include at least one position of an image feature and at least one feature descriptor.
  • a data packet can be output as soon as at least one feature descriptor has been generated.
  • the three steps of the localization method ie image processing, communication and localization
  • the use of random or predefined feature ranges makes it possible for one feature to be calculated after the other and can then be sent directly to the data processing device or the server.
  • the server thus receives a constant flow of extracted image features from the mobile unit, so that image processing and communication can take place in parallel or partially overlapping.
  • the subsequent localization that takes place on the server based on the image features obtained from the localization image and the map of the application area can also be carried out in parallel or partially overlapping.
  • the image can be searched systematically and/or completely based on a feature criterion, and whenever an image area has been found that meets this criterion, the descriptor can be calculated and the feature information can then be sent to the server.
  • the feature detector there is no need to search for globally optimal image areas for feature formation.
  • the method for determining can also include a step of determining correspondences between image features of the localization data and reference image features of a previous image using the feature descriptors of the localization data and reference feature descriptors of the previous image. Furthermore, the method for determining can include a step of determining a pose of the image capturing device for the image relative to the reference coordinate system depending on the correspondences determined in the step of determining in order to carry out the localization.
  • Such an embodiment offers the advantage that an incremental or relative localization can be carried out, with a camera pose relative to a previous camera pose being able to be determined, even if, for example, a data connection to the data processing device should be temporarily interrupted.
  • a random process and additionally or alternatively a predefined distribution scheme can be used in the extraction step, in which a list with all possible image positions of reference image features or image features is generated and the list is shuffled pseudo-randomly or positions are selected pseudo-randomly from the list, and additionally or alternatively using a fixed pattern of positions or one of several pseudo-randomly generated patterns of positions.
  • ground texture-based localization method which uses any feature image areas that are independent of the actual image content, whether random or predefined, for the formation of correspondence, is that the computational effort for image processing can be reduced, since, in contrast to the use of a conventional feature detector, not the entire image needs to be fully processed in order to identify the optimal feature image regions. Instead, features can be calculated at any point of the reference image or image.
  • Such a method also has the advantage that the image processing can still be in progress when the information is used in the next processing step.
  • a random process and additionally or alternatively a predefined distribution scheme can be used in the extraction step, in which a variable or fixed number of positions is used and additionally or alternatively, in which different distribution densities of positions are defined for different partial areas of a reference image or the image.
  • a predefined distribution scheme can be used in the extraction step, in which a variable or fixed number of positions is used and additionally or alternatively, in which different distribution densities of positions are defined for different partial areas of a reference image or the image.
  • the localization method can be carried out, for example, on or using a data processing device.
  • the data processing device can be arranged separately from the at least one mobile unit inside or outside the operational environment.
  • weighting values and additionally or alternatively confidence values can be applied to the correspondences determined in the determination step in order to generate evaluated correspondences.
  • the pose can be determined depending on the evaluated correspondences.
  • the approach presented here also creates a device for a mobile unit, the device being designed to carry out, control or implement the steps of a variant of the method presented here for providing and/or the method presented here for determination in corresponding devices.
  • the object on which the invention is based can also be achieved quickly and efficiently by this embodiment variant of the invention in the form of a device for a mobile unit.
  • the approach presented here also creates a device for a data processing device, the device being designed to carry out, control or implement the steps of a variant of the method presented here for creating a map and/or the method presented here for localization in corresponding devices.
  • the object on which the invention is based can also be achieved quickly and efficiently by this embodiment variant of the invention in the form of a device for a data processing device.
  • the device can have at least one computing unit for processing signals or data, at least one memory unit for storing signals or data, at least one interface to a sensor or an actuator for reading in sensor signals from the sensor or for outputting data or control signals to the Have actuator and / or at least one communication interface for reading or outputting data that are embedded in a communication protocol.
  • the arithmetic unit can be, for example, a signal processor, a microcontroller or the like, with the memory unit being able to be a flash memory, an EEPROM or a magnetic memory unit.
  • the communication interface can be designed to read in or output data wirelessly and/or by wire, with a communication interface that is by wire Can read or output data, read this data, for example, electrically or optically from a corresponding data transmission line or can output it in a corresponding data transmission line.
  • a device can be understood to mean an electrical device that processes sensor signals and, depending thereon, outputs control and/or data signals.
  • the device can have an interface that can be configured as hardware and/or software.
  • the interfaces can be part of a so-called system ASIC, for example, which contains a wide variety of functions of the device.
  • the interfaces can be separate integrated circuits or to consist at least partially of discrete components.
  • the interfaces can be software modules which are present, for example, on a microcontroller alongside other software modules.
  • a localization system for an operational environment in which at least one mobile unit can be used is also presented, the localization system having the following features: the at least one mobile unit, the mobile unit having an embodiment of the aforementioned device for a mobile unit; and a data processing device, wherein the data processing device comprises an embodiment of the aforementioned device for a data processing device, the device for the mobile unit and the device for the data processing device being connected to one another in a data-transmitting manner.
  • the localization system can have the data processing device and a plurality of mobile units. At least one of the mobile units can optionally have a device for a mobile unit, which is designed to carry out the steps of a variant of the method presented here to carry out, control or implement for provision in appropriate facilities.
  • a computer program product or computer program with program code which can be stored on a machine-readable carrier or storage medium such as a semiconductor memory, a hard disk memory or an optical memory and for carrying out, implementing and/or controlling the steps of the method according to one of the embodiments described above, is also advantageous used, especially when the program product or program is run on a computer or device.
  • FIG. 1 shows a schematic representation of an exemplary embodiment of a localization system for an operational environment
  • FIG. 2 shows a schematic representation of an exemplary embodiment of a device for a mobile unit
  • FIG. 3 shows a schematic representation of an embodiment of a device for a mobile unit
  • FIG. 4 shows a schematic representation of an exemplary embodiment of a device for a data processing device
  • FIG. 5 shows a schematic representation of an exemplary embodiment of a device for a data processing device
  • 6 shows a flow chart of an embodiment of a method for providing mapping data for a map of an operational environment for at least one mobile unit
  • 7 shows a flow chart of an embodiment of a method for creating a map of a deployment environment for at least one mobile unit
  • FIG. 8 shows a flowchart of an embodiment of a method for determining localization data for a localization of at least one mobile unit in an operational environment
  • FIG. 9 shows a flowchart of an embodiment of a method for locating at least one mobile unit in an operational environment
  • Fig. 10 is a schematic representation of an image and feature image areas
  • FIG. 11 shows a schematic representation of an image 1123 and image features 335 according to an embodiment
  • Fig. 12 is a schematic representation of overlapping images with feature image areas
  • FIG. 13 shows a schematic representation of overlapping images 1123 and image features 335 according to an embodiment
  • 15 shows a schematic representation of a time sequence of three phases of a centralized localization based on image features.
  • FIG. 1 shows a schematic representation of an exemplary embodiment of a localization system 110 for an operational environment 100.
  • at least one mobile unit 120 can be used.
  • four mobile units 120 are shown in the operational environment 100 only by way of example.
  • the operational environment 100 is, for example, an area within and/or outside of at least one building that the at least one mobile unit 120 can drive on.
  • the operational environment 100 has a floor 102 on which the at least one mobile unit 120 can move.
  • the at least one mobile unit 120 is a vehicle for highly automated driving, in particular a robot or a robotic vehicle or the like.
  • the localization system 110 comprises the at least one mobile unit 120 and a data processing device 140.
  • the data processing device 140 is arranged inside and/or outside the deployment environment 100. In the representation of FIG. 1 , the data processing device 140 is only shown as an example within the operational environment 100 .
  • the data processing device 140 is designed to carry out data processing for the at least one mobile unit 120 .
  • Each mobile unit 120 includes an image capturing device 122 whose field of view is directed towards the floor 102 of the operational environment 100 .
  • the image capture device 122 is a camera.
  • each mobile unit 120 includes at least one lighting device 124 for illuminating the field of view of the image capturing device 122.
  • each mobile unit 120 includes, for example, a ring-shaped lighting device 124. Per image recording process of the image capturing device 122, a section 104 of the floor 102 of the operational environment 100 are mapped.
  • each mobile unit 120 includes a mobile unit device 130 .
  • Mobile unit device 130 is communicatively connected to image capture device 122 or alternatively may be embodied as a part thereof.
  • the device 130 for a mobile unit is designed to provide a method for providing mapping data 160 for a map 170 of the operational environment 100 and/or a Carry out a method for determining localization data 180 for a localization of the at least one mobile unit 120 in the deployment environment 100 .
  • the device 130 for a mobile unit is discussed in more detail with reference to subsequent figures.
  • the data processing device 140 includes a device 150 for a data processing device.
  • the device 150 for a data processing device is designed to carry out a method for creating the map 170 of the operational environment 100 and/or a method for locating the at least one mobile unit 120 in the operational environment 100 .
  • the device 130 for the mobile unit and the device 150 for a data processing device are connected to one another in a data-transmitting manner, in particular by means of a radio connection, for example WLAN or mobile radio.
  • Mapping data 160 and/or localization data 180 or image features can be transmitted from the at least one mobile unit 120 to data processing device 140, and pose information 190 or an estimated robot pose for localization can be transmitted from data processing device 140 to each mobile unit 120.
  • a plurality of independent robots or mobile units 120 are in radio contact with a data processing device 140, also referred to as a central server with a stored map 170.
  • a data processing device 140 also referred to as a central server with a stored map 170.
  • Each mobile unit 120 is equipped with a downward-facing camera or image capture device 122.
  • the field of view or the recording area can be artificially illuminated, so that the localization can be carried out reliably regardless of external lighting conditions.
  • the mobile units 120 take pictures of the ground 102 to make a determination of their own pose.
  • features are extracted from the image at random points, these are sent one after the other to the server or the data processing device 140, where in particular a ground texture map is created and/or stored, with which the poses of the mobile units 120 are based on the features sent respectively.
  • Localization data 180 can be estimated. According to one embodiment, this feature extraction, communication and Pose estimation can be performed at least partially in parallel, giving a runtime advantage over a method where each of these three steps should be fully completed before the next can begin.
  • the estimated pose is sent back to the mobile unit 120 in the form of pose information 190, which can use the pose information 155, for example, to precisely position itself.
  • WLAN or 5G for example, can be used for the radio connection between the server and robots.
  • FIG. 2 shows a schematic representation of an embodiment of a device 130 for a mobile unit.
  • the mobile unit apparatus 130 corresponds to or is similar to the mobile unit apparatus of FIG. 1.
  • the mobile unit apparatus 130 shown in FIG to be carried out and/or controlled for the at least one mobile unit in appropriate facilities.
  • the method for providing corresponds to or is similar to the method from FIG. 6, for example.
  • the device 130 for a mobile unit comprises a reading device 232, an extraction device 234 and a generating device 236.
  • the reading device 232 is designed to read reference image data 223 from an interface 231 to an image acquisition device of the mobile unit.
  • the reference image data 223 represent a plurality of reference images which are recorded by means of the image acquisition device of partial sections of the ground of the operational environment that are specific for each reference image. In this case, adjacent subsections partially overlap one another.
  • the reading-in device 232 is designed to forward the reference image data 223 to the extraction device 234 .
  • the extraction device 234 is designed to extract a plurality of reference image features 235 for each reference image using the reference image data 223 .
  • Positions of the reference image features 235 in each reference image are determined using a random process and/or according to a predefined distribution scheme.
  • the extraction device 234 is also designed to forward the reference image features 235 to the generation device 236 .
  • the Generation device 236 is designed to generate the mapping data 160, a reference feature descriptor being determined at the position of each reference image feature 235 using the reference image data.
  • the mapping data 160 includes the reference image data 223, the locations of the reference image features 235, and the reference feature descriptors.
  • the device 130 for a mobile unit is also designed to output the mapping data 160 to a further interface 239 to the data processing device.
  • FIG. 3 shows a schematic representation of an embodiment of a device 130 for a mobile unit.
  • the device 130 for a mobile unit corresponds to or is similar to the device for a mobile unit from Fig. 1 or Fig. 2.
  • the device 130 for a mobile unit shown in Fig. 3 is designed to carry out steps of a method for determining localization data 180 to be carried out and/or controlled in appropriate facilities for locating the at least one mobile unit in the deployment environment.
  • the method for determining corresponds or is similar to the method from FIG. 8, for example.
  • the device 130 for a mobile unit comprises a further reading device 332, a further extraction device 334 and a generating device 336.
  • the reading device 332 is designed to read in image data 323 from the interface 231 to the image acquisition device of the mobile unit.
  • the image data 323 represent at least one image recorded by the image capturing device of a partial section of the ground in the operational environment.
  • the additional reading device 332 is also designed to forward the image data 323 to the additional extraction device 334 .
  • the further extraction device 334 is designed to extract a plurality of image features 335 for the image using the image data 323 . Positions of the image features 335 in the image are determined using a random process and/or according to a predefined distribution scheme.
  • the further extraction device 334 is designed to forward the image features 335 to the generating device 336 .
  • the generating device 336 is designed to use the image data 323 to determine the position of each image feature 335 Generate feature descriptor to determine location data 180.
  • the location data 180 includes the positions of the image features 335 and the feature descriptors.
  • the device 130 for a mobile unit is designed in particular to output the localization data 180 to the further interface 239 to the data processing device.
  • the localization data 180 is output in a plurality of data packets, each data packet comprising at least one position of an image feature 335 and at least one feature descriptor. More precisely, according to this exemplary embodiment, the position of each image feature 335 and the associated feature descriptor are output in a data packet as soon as the feature descriptor is generated.
  • data packets can be output in parallel and further image features 335 can be extracted and feature descriptors can be generated.
  • FIG. 4 shows a schematic representation of an exemplary embodiment of a device 150 for a data processing device.
  • the device 150 for a data processing device corresponds to or is similar to the device for a data processing device from FIG. 1.
  • the device 150 for a data processing device shown in FIG to be carried out and/or controlled in appropriate facilities.
  • the method for creating corresponds to or is similar to the method from Fig. 7, for example.
  • the device 150 for a data processing device comprises a receiving device 452, a determination device 454 and a combination device 456.
  • the receiving device 452 is designed to receive the mapping data 160 from a communication interface 451 to the at least one mobile unit. In this case, the mapping data 160 are provided by means of the device for a mobile unit. Furthermore, the receiving device 452 is designed to forward the mapping data 160 to the determining device 454 .
  • the determination device 454 is designed, using the mapping data 160 and dependent to determine a reference pose 455 of the image capturing device for each reference image relative to a reference coordinate system from correspondences determined using the reference feature descriptors between reference image features of overlapping reference images. The determination device 454 is also designed to forward the reference poses 455 to the combination device 456 .
  • the combination device 456 is designed to combine the reference images, the positions of the reference image features, the reference feature descriptors and the reference poses 455 depending on the reference poses 455 in order to create the map 170 of the deployment environment.
  • the device 150 for a data processing device is in particular also designed to output the card 170 to a memory interface 459 to a memory device of the data processing device.
  • FIG. 5 shows a schematic representation of an exemplary embodiment of a device 150 for a data processing device.
  • the device 150 for a data processing device corresponds to or is similar to the device for a data processing device from Fig. 1 or Fig. 4.
  • the device 150 for a data processing device shown in Fig. 5 is designed to carry out steps of a method for locating the at least one mobile unit in to be carried out and/or controlled in the appropriate facilities in the operational environment.
  • the localization method corresponds or is similar to the method from FIG. 9, for example.
  • the device 150 for a data processing device comprises a further receiving device 552, a determining device 554, a further determining device 556 and an output device 558.
  • the further receiving device 552 is designed to receive the localization data 180 from the communication interface 451 to the at least one mobile unit. In this case, the localization data 180 are determined by means of the device for a mobile unit.
  • the further receiving device 552 is also designed to forward the localization data 180 to the determination device 554 .
  • the determination device 554 is designed to use the feature descriptors of the localization data 180 and the reference feature descriptors of the map 170 correspondence 555 between To determine image features of the localization data 180 and reference image features of the map 170.
  • the determination device 554 is designed to forward the correspondence 555 to the further determination device 556.
  • the further determination device 556 is designed to determine a pose of the image acquisition device for the image relative to the reference coordinate system, depending on the correspondences 555 and using the reference poses of the map 170 in order to generate the pose information 190 .
  • the pose information 190 represents the determined pose.
  • the further determination device 556 is also designed to output the pose information 190 via the output device 558 to the communication interface 451 to the at least one mobile unit in order to carry out the localization.
  • FIG. 6 shows a flow chart of an embodiment of a method 600 for providing mapping data for a map of a deployment environment for at least one mobile device.
  • the method 600 for providing comprises a step 632 of reading in, a step 634 of extracting and a step 636 of generating.
  • step 632 of reading in reference image data are read in from an interface to an image acquisition device of the mobile unit.
  • the reference image data represent a plurality of reference images, which are recorded by the image acquisition device of sub-sections of a floor of the operational environment that are specific for each reference image, with adjacent sub-sections partially overlapping.
  • step 634 of extraction a plurality of reference image features are extracted for each reference image using the reference image data.
  • FIG. 7 shows a flowchart of an embodiment of a method 700 for creating a map of a deployment environment for at least one mobile device.
  • the method 700 for creating comprises a step 752 of receiving, a step 754 of determining and a step 756 of combining.
  • mapping data provided according to the method illustrated in FIG.
  • a reference pose of the image acquisition device is determined for each reference image relative to a reference coordinate system using the mapping data and depending on correspondences between reference image features of overlapping reference images determined using the reference feature descriptors.
  • step 756 of combining, depending on the reference poses, the reference images, the positions of the reference image features, the reference feature descriptors and the reference poses are combined to create the map of the operational environment.
  • the reference pose is determined as a function of correspondences between reference image features for which reference feature descriptors were determined in overlapping reference images that meet a similarity criterion with respect to one another.
  • FIG. 8 shows a flow chart of an embodiment of a method 800 for determining localization data for a localization of at least one mobile unit in an operational environment.
  • the method 800 for determining comprises a step 832 of reading in, a step 834 of extracting and a step 836 of generating.
  • image data are read in from an interface to an image acquisition device of the mobile unit.
  • the image data represent at least one image that is recorded by the image acquisition device of a subsection of a floor in the operational environment.
  • a plurality of image features for the image are extracted using the image data. Positions of the image features in the image are determined by means of a random process and/or according to a predefined distribution scheme.
  • a feature descriptor is generated at the position of each image feature using the image data in order to determine the localization data.
  • the location data includes the positions of the image features and the feature descriptors.
  • the method 800 for determining the localization data also includes a step 838 of outputting the localization data to an interface to a data processing device.
  • the localization data are output in a plurality of data packets, each data packet comprising at least one position of an image feature and at least one feature descriptor.
  • the step 838 of outputting is repeatedly performed such that the position of each image feature 335 and the associated feature descriptor are output in a data packet as soon as the feature descriptor is generated.
  • Data packets can thus be output and further image features 335 can be extracted and feature descriptors generated, at least partially in parallel.
  • the method 800 for determining the localization data also includes a step 842 of determining correspondences between image features of the localization data and reference image features of a previous image using the feature descriptors of the localization data and reference feature descriptors of the previous image, and also a step 844 of the Determining a pose of the image capturing device for the image relative to the reference coordinate system depending on the correspondences determined in step 842 of the determination in order to carry out the localization.
  • this exemplary embodiment can at least temporarily enable independent localization of the at least one mobile unit.
  • a random process and/or a predefined distribution scheme is used to determine the localization data, in which a list with all possible image positions of reference image features or image features is generated and the list is shuffled pseudo-randomly or positions pseudo-randomly from the list are selected and/or using a fixed pattern of positions or one of several pseudo-randomly generated patterns of positions.
  • a random process and/or a predefined distribution scheme is used, in which a variable or fixed number of positions is used and/or in which different distribution densities of positions are determined.
  • FIG. 9 shows a flowchart of an embodiment of a method 900 for locating at least one mobile unit in a deployment environment.
  • the method 900 for localization comprises a step 952 of receiving, a step 954 of determining, a step 956 of determining and a step 958 of outputting.
  • step 952 of receiving localization data are received from a communication interface to the at least one mobile unit, which are determined according to the method illustrated in FIG. 8 or a similar method.
  • step 954 of determining correspondences between image features of the localization data and reference image features of the map are determined using the feature descriptors of the localization data and the reference feature descriptors of the map created according to the method illustrated in FIG. 7 or a similar method.
  • step 956 of determining a pose of the image acquisition device for the image relative to the reference coordinate system is determined depending on the correspondences determined in step 954 of determination and using the reference poses of the map, in order to generate pose information representing the pose.
  • step 958 of outputting the pose information is output to the communication interface to the at least one mobile unit in order to carry out the localization.
  • step 956 of determining weighting values and/or confidence values are applied to the correspondences determined in step 954 of determining in order to generate evaluated correspondences. In this case, the pose is then determined in step 956 of determination as a function of the evaluated correspondences.
  • FIG. 10 shows a schematic representation of an image 1000 and feature image areas 1002.
  • a plurality of feature image areas 1002 are extracted from the image 1000 representing image data according to a classic or conventional method.
  • Figure 10 represents a schematic example of a case where the use of a classic feature detector may fail.
  • Feature detectors find feature image areas 1002 by looking for the locations in the entire image 1000 that meet a specific criterion or that have the strongest expression of a specific property. For example, in Figure 10, the feature detector can look for the locations of greatest contrast.
  • the texture shown in image 1000 has a very regular structure, which is shown here as a grid.
  • This regular structure can now be such that it has a strong expression of the property to be maximized by the feature detector at certain points that occur again and again in the regular structure, in this case a strong contrast.
  • These locations which are respectively extracted by the detector as feature image regions 1002, are shown as squares in Figure 10 and have the strongest contrast between the interior and exterior of the feature.
  • a difficulty now consists, for example, in the fact that the feature image areas 1002 have a very similar, in the extreme case identical, content, so that they and their corresponding descriptors cannot be distinguished from one another.
  • Feature image areas of an overlapping further image is made more difficult, because for each feature extracted from the further image it applies that either all features from the image 1000, the feature image areas 1002, correspond to it, or none of them correspond to it. In both cases, it can be difficult to obtain useful localization information.
  • FIG. 11 shows a schematic representation of an image 1123 and image features 335 according to an embodiment.
  • the image features 335 are extracted from image data representing the image 1123 by performing the method for determining location data of FIG. 8 or a similar method.
  • positions of the image features 335 in the image 1123 are determined by means of a random process and/or according to a predefined distribution scheme, in other words independent of a specific image content of the image 1123.
  • the image content shown in Fig. 11 corresponds to the image content of the image from Fig. 10 .
  • the problem described in FIG. 10 does not occur when randomly distributed feature image regions or image features 335 are used.
  • the image 1123 contains features that can definitely be used for the localization, which are shown here with irregular symbols.
  • Some of the feature image areas or image features 335 randomly selected here also fall on parts of the regular structure, which is shown as a grid, and, like the feature image areas from FIG. 10, can only be used to a limited extent for forming a correspondence.
  • some of the arbitrarily positioned image features 335 also contain the clearly identifiable, irregular image content between the struts of the grid. At least some of these usable image features 335 can also be found in an overlapping image used for localization, with the image features 335 not needing to have the same image content pixel-exactly, so that the localization can take place successfully.
  • FIG. 12 shows a schematic representation of overlapping images 1000, 1200 with feature image areas 1002.
  • the feature image areas 1002 in both images 1000, 1200 correspond to the feature image areas from FIG. 1200 result in the feature image areas 1002 being shifted in relation to one another in such a way that there are no overlapping characteristics and therefore no correct correspondence.
  • FIG. 13 shows a schematic representation of overlapping images 1123, 1323 and of image features 335 according to an embodiment.
  • the image features 335 are extracted from image data representing the images 1123, 1323 by performing the method for determining location data of FIG. 8 or a similar method.
  • positions of image features 335 in images 1123, 1323 are determined by means of a random process and/or according to a predefined distribution scheme, in other words independent of a specific image content of images 1123, 1323.
  • the positions of image features 335 in images 1123, 1323 differently distributed.
  • FIG. 14 shows a schematic representation of a reproducibility condition according to an embodiment.
  • an image 1123 represented by image data two reference images 1423 or mapping images represented by reference image data and a reference image feature 235 are shown.
  • the images 1123 and 1423 at least partially overlap each other.
  • the reproducibility condition states that in the method of creating the map from FIG. 7 or a similar method in the determination step, the reference pose is determined as a function of correspondences between reference image features 235 for which reference feature descriptors were determined in overlapping reference images 1423 which meet a similarity criterion with respect to each other.
  • the reference image feature 235 from a mapping image or reference image 1423 is only stored if the corresponding reference image feature 235 is in an overlapping Mapping image or reference image 1423 leads to a similar feature descriptor. In this way, a probability can be increased that a corresponding image feature in a localization image or image 1123 is also evaluated to form a similar feature descriptor.
  • FIG. 15 shows a schematic representation of a time sequence 1500, 1505 of three phases 1511, 1512, 1513 of a centralized localization based on image features.
  • a time axis t is drawn in the illustration.
  • a first flow 1500 represents a conventional flow of the three phases 1511, 1512, 1513 in a sequential manner.
  • a second flow 1505 represents a flow of the three phases 1511, 1512, 1513 in a parallel or at least partially parallel manner according to one embodiment.
  • the at least partially parallel second process 1505 is made possible in particular by carrying out the step of outputting in the method for determining.
  • a first phase 1511 represents image processing, typically on the part of a mobile unit
  • a second phase 1512 represents communication or data transmission between mobile unit and server
  • a third phase 1513 represents localization, typically on the part of the server.
  • the three phases 1511, 1512, 1513 can be carried out in an overlapping manner, ie partially in parallel, resulting in a significantly shorter duration from the beginning to the end of the localization process.
  • a localization can be implemented using ground texture features.
  • a common approach to solving this task is that corresponding features are determined from an image recorded for localization and one or more reference images. These correspondences can then be used to make up the pose To determine the position and orientation of the camera or image acquisition device at the time the localization image was recorded in relation to the reference images.
  • the traditional approach can be broken down into four phases:
  • Feature detection First, during feature detection, a set of image areas (feature image areas) that are suitable for later finding correspondence is determined. This can be, for example, image areas that are particularly light or dark compared to their local surroundings or differ from their local surroundings in some other way, or image areas with a specific structure (e.g. lines or corners). It is assumed here that these areas of the ground texture also meet the selection criterion from a different camera pose, so that the same (or at least overlapping) feature image areas are found in the localization and reference images.
  • map creation can be broken down into five phases:
  • a set of reference image features 235 is extracted.
  • the positions of the reference image features 235 in the reference image 1423 are determined in particular using a random process. This random process could look like this: First, a list with all possible image positions is created, the image position list, this list is now merged and the first n entries of the merged image position list are used to determine a set of image positions. In this case, n represents the number of reference image features 235 to be extracted. As an alternative to mixing the list, one could also determine a random list index of the image position list n times using a random number generator and record the respective entry in the list as a further image feature position.
  • the computing effort of the second variant is lower, but it can happen that the same image position is used several times. To prevent this, after each determination of a random list index, it could be checked whether it has already been used before, which can increase the computational effort somewhat. Which variant is best suited depends on the application, in particular on the number of reference image features 235 to be extracted.
  • a feature descriptor is computed for each image feature location determined in the previous phase.
  • the procedure here depends on the selected characteristic description method.
  • the size of the viewed image section can either be fixed by this feature description method, or the user himself defines a suitable size, or the size is determined using a suitable method based on the image content of the area determined around the feature position. If the feature description method requires an orientation of the viewed image section, typically to rotate the image section accordingly, this can either be determined using a suitable method based on the area around the feature position, e.g. the direction with the strongest intensity gradients, or the current camera orientation is used, so that all features of a reference image 1423 are assigned the same orientation.
  • the camera orientation can either be the orientation relative to the initial camera orientation from the first reference image 1423 recorded for mapping, or an absolute orientation is used, which is determined using a compass, for example.
  • the reference poses 455 of the recorded reference images 1423 are determined.
  • the reference pose 455 of a first reference image 1423 can form the origin of the coordinate system, or a coordinate system with a known reference is used, such as a coordinate system that is defined by a floor plan of the operational environment 100 .
  • the image poses or reference poses 455 should be determined in such a way that they are coherent with one another. For this purpose, for example, the individual recordings can be combined into one large image using a stitching process, so that the reference images 1423 are then positioned correctly in relation to one another.
  • the extracted reference image features 235 are efficiently stored. In this context, it makes sense to store the position at which the reference image features 235 are located in the coordinate system of the map 170 .
  • a map 170 is thus created which can be used for the localization.
  • the map 170 comprises a set of reference images 1423 whose reference poses 455 have been optimized so that they can be placed together appropriately.
  • a set of reference image features 235 at arbitrary or random positions was extracted from each reference image 1423 .
  • the poses of the features in the world, that is, relative to the origin of the map 170, are known, and for each Feature image area stores a descriptor that can then be used to form correspondence during localization.
  • a subsequent map-based localization as shown for example in Fig. 3 and Fig. 5 or Fig. 8 and Fig. 9, can be divided into six phases, for example:
  • an image 1123, 1323 is recorded that is to be used for localization.
  • Random or arbitrary image feature positions or positions of image features 335 are determined.
  • feature descriptors are computed at the image feature positions. If an orientation is needed here, it can either be determined again in absolute terms, for example using a compass, or, if the camera orientation relative to the coordinate system of the map 170 is approximately known from a previous pose determination, this camera orientation can be used as the feature orientation.
  • a suitable method such as Nearest Neighbor Matching, is used to find correspondences in order to determine correspondences 555 between the mapped reference image features 235 and the image features 335 extracted from the localization image 1123, 1323.
  • a so-called incremental localization can also be carried out.
  • the method from FIG. 8 can also be carried out in order to estimate or determine a relative camera pose compared to a previous camera pose.
  • a limitation of incremental localization over map-based localization is that inaccuracies can propagate from frame to frame, such that the estimated pose can deviate increasingly greatly from the actual pose. However, the incremental localization can be used in particular for areas of the operational environment 100 that were not taken into account in the mapping.
  • the presented concept of using random image feature positions or positions of reference image features 235 and image features 335 can be usefully expanded.
  • the use of random or pseudo-random positions is fundamentally advantageous since the extracted reference image features 235 and image features 335 are uniformly distributed on average. This also applies to the use of a fixed pattern at evenly distributed positions, for example a grid or lattice arrangement, but it can happen that the feature image areas of two overlapping reference images 1423 or images 1123, 1323 are shifted against each other just enough that there are no correct feature correspondences between them (see also Fig. 12). Determining random locations can be more computationally expensive than using a fixed set of locations, such as evenly distributed locations. Therefore, it may make sense to deviate from using random feature positions. Depending on the application, there are possible alternatives: 1. For map-based localization: Random positions can be used during map generation, since this process is typically not time-critical. A predefined, fixed distribution of positions can then be used during the more time-critical localization.
  • reference image features 235 or image features 335 are extracted for certain image areas with a higher density than for other image areas:
  • the overlapping of the reference images 1423 used for the map creation is important. If these do not overlap or only slightly overlap, the greatest probability of finding correct correspondences 555 in the localization is achieved with an even distribution of the features, since at the time the reference image features 235 are determined it is not known how a later localization image 1123, 1323 with the mapping images or reference images 1423 will overlap. If the reference images 1423 overlap, reference image features 235 are extracted in a plurality of reference images 1423 for the overlapping regions.
  • Another useful extension is based on a concept that is also referred to as a reproducibility condition (see also FIG. 14).
  • This is a condition that reference image features 235 extracted during map creation must meet in order to be stored, otherwise they may be discarded, for example, and replaced with features that meet the condition.
  • the reproducibility condition requires that a feature image area or reference image feature 235 in two overlapping mapping images 1423 is evaluated to a similar feature descriptor, and thus has a certain robustness to the image transformations, such as translation and rotation of the camera as well as photometric transformations, which are based on the reference images 1423 work. It has been shown that the use of this condition increases the probability that corresponding feature image areas between mapping images 1423 and localization images 1123, 1323 are also evaluated for similar feature descriptors, so that the probability of finding correct correspondences 555 is increased.
  • a completely parallelized localization system 110 is proposed, for example for swarms of robots.
  • This is a cost-effective solution for the high-precision localization of mobile units 120, for example autonomous vehicles or robots.
  • This is where two concepts come together related: (1) a centralized, server-based localization system 110, and (2) a localization method that relies on ground texture features being recognized in a previously generated map 170.
  • a typical application for this and other exemplary embodiments is, for example, a warehouse in which a plurality or a swarm of autonomous robots as mobile units 120 transport materials, goods and tools.
  • the mobile units 120 In order for the mobile units 120 to be able to move autonomously, it is important that they know their pose, ie position and orientation. Depending on which task a mobile unit 120 performs, there are different requirements for the precision and robustness of the localization. Thus, it may be sufficient for a mobile unit 120 to know its position to within 10 cm while traveling from one location to another, particularly as long as it is able to avoid obstacles on an ad hoc basis.
  • the mobile unit 120 is to be automatically loaded with material at a specific location, for example, positioning or localization with millimeter precision may be required.
  • a large number of mobile units 120 can be used, which act simultaneously.
  • a suitable technology for locating the mobile units 120 in such a scenario is visual or feature-based localization with a downward camera. This enables high-precision localization without the need for infrastructural measures, such as attaching visual markers, reflectors or radio units.
  • this type of localization also works under the difficult conditions of a dynamic environment, such as a warehouse, in which there are no static landmarks for orientation, since shelves, for example, can be arranged differently at any time. This is because ground textures typically remain stable over the long term, especially in sheltered areas such as a warehouse. Wear and tear that occurs over time typically only occurs locally, so that the affected areas can continue to be detected in a map 170 of the area of application or of the operational environment 100 based on their surroundings and can then be updated accordingly.
  • the ground-texture-based localization is based in particular on the fact that visual features of the ground 102 can be used like a fingerprint for the unambiguous identification of a point on the ground 102 .
  • the deployment environment 100 is mapped, i.e. reference images 1423 are recorded during one or more mapping trips, the relative pose of which is determined in an optimization process, for example by means of so-called image stitching, so that the reference images 1423 then fit together could become.
  • a map 170 created in this way a mobile unit 120 can then be located by mapped reference image features 235 being found again in the image 1123, 1323 recorded for localization.
  • the ground-texture-based localization for a plurality of mobile units 120 in the form of a swarm of robots or the like, it can make sense for parts of the computing effort to be outsourced from the mobile units 120 to a central server or data processing device 140 .
  • the images 1123, 1323 of the ground 102 recorded for localization could be sent to the server unprocessed, so that image processing and subsequent feature-based localization would be completely outsourced.
  • this variant can be unfavorable because in such a constellation the mobile units 120 can no longer act independently but would have to rely on a stable and fast connection to the server.
  • images have a large memory requirement, and would cause a correspondingly large communication effort.
  • an efficient implementation of a centralized ground texture feature-based localization in which the image processing and a relative pose determination (visual odometry) takes place on the mobile units 120, while the absolute pose determination based on a previously recorded map 170 on a central server or the Data processing device 140 is outsourced.
  • the three phases of localization ie image processing 1511, communication 1512 and localization 1513, are carried out in parallel or partially overlapping in time.
  • the use of any or pseudo-random feature image areas or positions thereof is used or, to put it another way, global optimality is dispensed with.
  • global optimality of the extracted features can be dispensed with in the case of the ground texture-based localization, because, for example, the degrees of freedom of the robot pose can be reduced to two (x and y position), since the distance to the ground is known with high accuracy and the Orientation can be estimated with good approximation, absolutely with a compass or relative to the previous pose, and because it is sufficient to use random feature image areas, since ground textures have a very high information density, so any image area becomes unambiguous fingerprint-like identification of the floor area can be used.
  • the use of random or arbitrary positions, in particular for the image features 335 makes it possible for one feature to be calculated after the other and then to be sent directly to the server or to the data processing device 140.
  • the server thus receives a constant flow of extracted image features 335 from the at least one mobile unit 120, so that image processing 1511 and communication 1512 can be carried out in parallel or partially overlapping in time.
  • the subsequent localization 1513 taking place on the server on the basis of the image features 335 obtained from the localization image 1123, 1323 and the map 170 of the application area or the operational environment 100 can also be carried out in parallel or partially overlapping in time.
  • a voting procedure can be used for this, for example, in which each feature correspondence or correspondence 555 found votes for the position of the camera at the time of recording.
  • Such a method makes it possible for correspondence 555 to be entered one after the other in parallel or partially overlapping in time for communication 1512 and image processing 1511 .
  • the localization process is viewed as a sequential process, i. H. first the image processing 1511 takes place, after this is finished, the information necessary for the localization 1513 is completely transmitted to the server, and after the communication 1512 with the server is finished, this calculates a pose estimate of the robot, as in fig. 15 first Flow 1500 shown.
  • a conventional concept of the centralized localization system can be improved in that the localization does not take place in sequential phases but in parallel, i.e. in processes or phases that partially overlap in time, so that the localization can be completed much more quickly, see also the second sequence 1505 in FIG. 15.
  • This is made possible, among other things, by using ground texture images instead of images from forward-facing cameras, and by dispensing with image features that are optimal globally or image-wide. It has been shown that any image feature regions can be used in the case of ground texture-based localization.
  • a centralized image-based localization can be accelerated. This eliminates the shortcoming with conventional localization methods that a long time can elapse between the acquisition of the localization image and the completion of the pose estimation. This is of particular importance when a high level of positioning accuracy is required, because even if the pose of the localization image is determined very precisely, the mobile unit has now moved on, so that the current pose would have to be determined more imprecisely by estimating the path covered in the meantime. If an entity is so dependent on a highly accurate pose estimate that it would have to stand still until it received the pose estimate from the server, it would also benefit from embodiments as downtime could be reduced.
  • a localization method implemented according to exemplary embodiments which uses image-based methods for localization, is that it is an infrastructure-free solution, ie the application environment 100 does not (necessarily) have to be adapted for this, instead existing landmarks are used for location determination used.
  • cameras are inexpensive, e.g. B. compared to radar, work in indoor and outdoor areas, which z. B. for GPS is not the case, and allow a highly precise pose determination, z. B. in comparison with radiometry.
  • an image-based localization method implemented according to exemplary embodiments that uses a downward-pointing camera to record ground texture images is that it also works in operational environment 100 in which objects can be moved at any time or the view of the environment can be restricted , e.g. B. in warehouses or among crowds.
  • a high-precision localization according to exemplary embodiments is easy to implement, since the observed visual features are very close to the camera compared to the features from images from forward-facing cameras, and when using your own artificial lighting, for example by means of the at least one lighting device 124 the localization works independently of external light conditions.
  • a ground-texture-based localization method implemented in accordance with exemplary embodiments, which uses any or random feature image regions or positions of the same for correspondence formation, is that the computing effort for image processing can be reduced, since it is not necessary in contrast to the use of a (typical) feature detector to fully process the entire image to identify approximately optimal feature image regions. Instead, according to exemplary embodiments, features are determined at any points of the reference image 1423 or of the image 1123, 1323. Such a method also has the advantage that it is not necessary for the image processing to be completed before the information can be used in the next processing step. Instead, the image processing can be carried out step by step, ie feature by feature, while the information obtained so far is already available in the next processing step.
  • the advantage of a localization method implemented as in accordance with exemplary embodiments, which partially outsources storage and computing effort to a central server, is that this capacity on the individual games units 120, such as autonomous vehicles, robots or the like, is saved so that a cost-effective scaling of the swarm size is achieved.
  • a centralized ground texture-based localization method in which any image areas are used for feature extraction.
  • a system 110 is used for the use of the method 600, 700, 800, 900 from Figures 6 to 9, the one or more mobile units 120, such as robots or other vehicles to be localized, and a central Server or a data processing device 140 has.
  • Each mobile unit is equipped in particular with a camera or image acquisition device 122 pointing downwards, as well as a computing unit and a radio module, for example WLAN or mobile radio.
  • the recording area of the camera can be illuminated by artificial lighting, so that the recording is independent of external lighting conditions and short camera exposure times can be implemented so that the images have as little motion blur as possible.
  • the server itself has computing capacity, a radio module for communication with the mobile units 120, and a memory on which in particular the entire pre-recorded map 170 of the operational environment 100 is located.
  • the localization process can basically be divided into two parts, the creation of the map 170 and the actual localization.
  • a specially designed mobile unit 120 which can for example survey a wide strip of soil 102 at a time, or at least one of the normal mobile units 120 or application robots can be used.
  • the operational environment 100 is, for example, completely traversed and thus scanned.
  • a long sequence of overlapping ground texture images or reference images 1423 is then present.
  • the reference image features 235 are extracted from these.
  • Each reference image feature 235 is defined on the one hand by its associated image area, for example by the image coordinates of its center and a radius and an orientation angle, and on the other hand a feature descriptor is calculated for each reference image feature 235, which describes the associated feature image area.
  • an appropriate feature detection method is used to find the best feature image regions in the reference image 1423.
  • a feature image area is well suited here if there is a high probability that a similar image area can be found again in overlapping reference images 1423 .
  • the image areas are determined in which a specific property is most pronounced (global optimization).
  • An example of such a property would be the contrast with the local environment.
  • a method without global optimization is used, since it has been shown that it is sufficient for ground-texture-based localization to use random or arbitrary positions.
  • other intelligent methods can also be used as long as they do not require global optimization.
  • the reference image 1423 can be systematically searched for locations with a specific property, e.g. B. Spots that look like corners, edges, or intersections.
  • a mobile unit 120 For localization, a mobile unit 120 that would like to localize takes an image 1123, 1323 of the ground 102. One image feature 335 is then extracted one after the other and the following process is triggered for each image feature 335:
  • Image processing on the robot A feature image area is determined, this should be done by the same method as in the mapping, for example by a random process.
  • a feature descriptor is computed for the feature image area, using the same method as the feature description mapping.
  • the localization data 180 i.e. information about the selected feature image area, in particular the image coordinates and the descriptor, are sent to the server.
  • the localization data 180 reaches the server. Corresponding image features are searched for there in the map 170 . If the approximate pose of the mobile unit 120 is already known, the search area can be narrowed.
  • the correspondences 555 found so far during the localization process are used to determine the pose of the mobile unit 120 .
  • a voting method in which each correspondence 555 votes one vote for the correct pose on the map 170 can be used, with the set of votes expanding with each image feature 335 processed.
  • the server can notify the mobile device 120 of its pose so that image processing and communication can be terminated.
  • the pose of a moving mobile unit 120 can be updated at short intervals. Refresh rates of 10 to 60 Hertz would be conceivable here.
  • the pose could be calculated relative to the previous one (visual odometry).
  • the map-based absolute localization via the server could then only be used to regularly correct the accumulated error (drift) of the local pose estimation on the mobile unit 120 .
  • a confidence value for the current pose estimate is determined on the server or the data processing unit 140, so that the localization can be completed as soon as this has exceeded a defined threshold.
  • mapping 170 is created online by the mobile units 120.
  • the mobile units 120 could each create their own local maps, which are combined at a later point in time on the server to form the map 170 as a large shared map. This would then be a Simultaneous Localization And Mapping (SLAM) system.
  • SLAM Simultaneous Localization And Mapping
  • Multi-core processors or when parts of the calculations can be outsourced to dedicated hardware such as graphics cards.
  • the image processing can also be stopped here as soon as the confidence in the current pose estimate is sufficiently high.

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Image Analysis (AREA)

Abstract

Ein Verfahren zum Bereitstellen von Kartierungsdaten (160) für eine Karte (170) einer Einsatzumgebung (100) für zumindest eine mobile Einheit (120) umfasst das Einlesen von Referenz-Bilddaten von einer Schnittstelle zu einer Bilderfassungseinrichtung (122) der mobilen Einheit (120). Die Referenz-Bilddaten repräsentieren eine Mehrzahl von Referenzbildern, die mittels der Bilderfassungseinrichtung (122) von pro Referenzbild spezifischen Teilabschnitten (104) eines Bodens (102) der Einsatzumgebung (100) aufgenommen sind, wobei benachbarte Teilabschnitte (104) teilweise überlappen. Eine Mehrzahl von Referenz-Bildmerkmalen werden für jedes Referenzbild unter Verwendung der Referenz-Bilddaten extrahiert. Positionen der Referenz-Bildmerkmale in jedem Referenzbild werden mittels eines Zufallsprozesses oder gemäß einem vordefinierten Verteilungsschema bestimmt. Zum Erzeugen von Kartierungsdaten (160) wird an der Position jedes Referenz-Bildmerkmals ein Referenz-Merkmalsdeskriptor unter Verwendung der Referenz-Bilddaten ermittelt. Die Kartierungsdaten (160) umfassen die Referenz-Bilddaten, die Positionen der Referenz-Bildmerkmale und die Referenz-Merkmalsdeskriptoren.

Description

Beschreibung
Titel
Verfahren und Vorrichtung zum Kartieren einer Einsatzumgebung für zumindest eine mobile Einheit sowie zur Lokalisation zumindest einer mobilen Einheit in einer Einsatzumgebung und Lokalisationssystem für eine Einsatzumgebung
Stand der Technik
Die Erfindung geht von einer Vorrichtung oder einem Verfahren nach Gattung der unabhängigen Ansprüche aus. Gegenstand der vorliegenden Erfindung ist auch ein Computerprogramm.
Für eine merkmalsbasierte Lokalisation anhand von Bodentexturen bzw. eine absolute bzw. karten basierte Lokalisation anhand von Bodentexturmerkmalen sind verschiedene Verfahren bekannt. Für die Merkmalsextraktion können beispielsweise zufällige Merkmalsbildbereiche verwendet werden, jedoch bisher insbesondere lediglich in Anwendungsfällen, in denen es nicht darum geht, Korrespondenzen zwischen Bildpaaren zu finden und somit insbesondere auch nicht um Lokalisationsaufgaben, sondern in Anwendungen, bei denen das Ziel darin besteht, den Bildinhalt zu verstehen. Beispiele für solche Anwendungen sind die Bildklassifizierung oder die Objekterkennung. Solche Anwendungen betreffen insbesondere Methoden, die vollständig auf einem System ablaufen, wie beispielsweise einem autonomen Vehikel oder Roboter.
Die DE 10 2017 220 291 Al offenbart ein Verfahren zur automatischen Führung eines Fahrzeugs entlang eines virtuellen Schienensystems. Es handelt sich hierbei um eine Methode, mit der ein autonomes System mit einer nach unten gerichteten Kamera einer zuvor angelernten virtuellen Schiene folgen kann.
Offenbarung der Erfindung Vor diesem Hintergrund werden mit dem hier vorgestellten Ansatz Verfahren, weiterhin Vorrichtungen, welche diese Verfahren verwenden, sowie schließlich ein entsprechendes Computerprogramm gemäß den Hauptansprüchen vorgestellt. Durch die in den abhängigen Ansprüchen aufgeführten Maßnahmen sind vorteilhafte Weiterbildungen und Verbesserungen des im unabhängigen Anspruch angegebenen Verfahrens möglich.
Gemäß Ausführungsformen kann insbesondere eine effiziente Merkmalsdetektion für eine bodentexturbasierte Kartierung und/oder Lokalisation in einer Einsatzumgebung für zumindest eine mobile Einheit ermöglicht werden. Hierzu kann beispielsweise genauer gesagt ein vereinfachter Ansatz zur Merkmalsdetektion für die bodentexturbasierte Kartierung und/oder Lokalisation genutzt werden. Anders ausgedrückt kann ein effizienter Prozess zur Merkmalsdetektion für die Lokalisation mit Hilfe von Bildern einer nach unten gerichteten Kamera bereitgestellt werden. Die Merkmalsdetektion kann hierbei insbesondere unabhängig vom tatsächlichen Bildinhalt durchgeführt werden, entweder indem Merkmalspositionen durch einen Zufallsprozess oder durch ein fixes Muster definiert werden. Der Einsatz kann beispielsweise im Wesentlichen unabhängig von nachfolgenden Schritten der Lokalisation wie Merkmalsbeschreibung, Korrespondenzfindung, und Posenbestimmung erfolgen. Ausführungsformen können insbesondere darauf beruhen, dass anstelle einer tatsächlichen Merkmalsdetektion beliebige Bildbereiche für den Kartierungsprozess und/oder Lokalisationsprozess verwendet werden können. Das heißt, es kann Rechenzeit eingespart werden, indem die zur Merkmalsextraktion verwendeten Bildbereiche zufällig bzw. pseudozufällig oder anhand eines statischen Musters bestimmt werden. Dass diese Art der Merkmalsdetektion ein valider Ansatz für die merkmalsbasierte Lokalisation anhand von Bodentexturen ist, hat insbesondere die folgenden Gründe.
Erstens kann eine Wahrscheinlichkeit dafür, zufällig ähnliche Bildbereiche auszuwählen, hierbei als relativ hoch eingestuft werden. Das liegt daran, dass eine Kamerapose in guter Näherung mit nur drei Parametern beschrieben werden kann: den x- und y- Koordinaten in der Bodenebene sowie einem Orientierungswinkel. Insbesondere ist der Abstand zum Boden bekannt, sodass eine Bildbereichsgröße verwendete Merkmale konstant gehalten werden kann. Falls beispielsweise während der Lokalisation bereits eine aktuelle Posenschätzung vorhanden ist, kann eine Komplexität weiter reduziert werden. Insbesondere bei einer ausreichend präzisen Schätzung der Orientierung können sich die zu bestimmenden Parameter der Merkmalsbildbereiche zu ihren Bildkoordinaten reduzieren. Wenn ein Merkmalsdeskriptor mit einer gewissen Translationsrobustheit verwendet wird, sodass auch leicht verschobene Bildbereiche zu ähnlichen Deskriptoren ausgewertet werden können, so ergibt sich beispielsweise eine hohe Wahrscheinlichkeit dafür, dass trotz zufälliger Auswahl der verwendeten Merkmalsbildbereiche korrekte Korrespondenzen zwischen überlappenden Bildpaaren gefunden werden. Zweitens kann davon ausgegangen werden, dass Bodentexturen einen hohen Informationsgehalt aufweisen. Mit einem geeigneten Merkmalsdeskriptor brauchen insbesondere keine besonderen Merkmalsbildbereiche, d.h. insbesondere solche mit besonders hohem Informationsgehalt, zur Korrespondenzfindung verwendet zu werden. Vielmehr können beispielsweise typische Bodentexturen wie Beton, Asphalt oder Teppiche überall ausreichend charakteristische Eigenschaften aufweisen, um eine Korrespondenzfindung zu ermöglichen; vorausgesetzt es werden hinreichend stark überlappende Merkmalsbildbereiche in Lokalisationsund Referenzbild verwendet.
Gemäß Ausführungsformen kann insbesondere eine Reduzierung eines Rechenaufwandes für die hochpräzise Kartierung und/oder Lokalisation anhand von Bodentexturmerkmalen erreicht werden. Somit kann ein Einsatz von herkömmlichen, häufig rechenaufwendigen Methoden für die Merkmalsdetektion, wie beispielsweise SIFT (Lowe, 2004), welche für die Korrespondenzfindung geeignete Bildbereiche bestimmen, vermieden werden. Bei solchen herkömmlichen Methoden können insbesondere Bildbereiche bestimmt werden, bei denen eine bestimmte Eigenschaft am stärksten ausgeprägt ist, auch als globale Optimierung bezeichnet. Ein Beispiel für eine solche Eigenschaft ist der Kontrast zur lokalen Umgebung. Verglichen mit solchen Methoden kann gemäß Ausführungsformen beispielsweise aufgrund des Verzichts auf die Optimierung ein Rechenaufwand gesenkt werden, wobei die hier vorgestellte Verwendung zufällig oder gleichmäßig verteilter Merkmalsbildbereiche einen verringerten Rechenaufwand hat, ohne dass eine Lokalisationsfähigkeit darunter leiden würde.
Gegenüber dem Stand der Technik können unter anderem die folgenden Vorteile erzielt werden. Zum einen ist der vorstehend erwähnte verringerte Rechenaufwand für die Merkmalsextraktion zu nennen. Zwar können aufgrund der geringeren Wahrscheinlichkeit, korrespondierende Merkmale zu finden, eine größere Anzahl Merkmale verwendet werden, doch bei Verwendung effizienter Prozesse für Merkmalsbeschreibung, Korrespondenzfindung sowie für ein Aussortieren inkorrekter Korrespondenzen bzw. eine Selektion der korrekten Korrespondenzen kann der Rechenaufwand für die Lokalisation insgesamt deutlich verringert werden. Geeignete effiziente Methoden für die Merkmalsbeschreibung können beispielsweise binäre Deskriptoren wie BRIEF (Calonder et al., 2010), BRISK (Leutenegger et al., 2011), LATCH (Levi and Hassner, 2016) oder AKAZE (Alcantarilla et al., 2013) sein. Zusätzlich zum geringeren Rechenaufwand kann die Verwendung zufälliger Merkmalsbildbereiche ein Vorteil auf bestimmten Bodentexturtypen sein. Dies liegt an einem Phänomen, das bei Bodentexturen mit stark repetitiven Mustern auftreten kann. Eine Verwendung klassischer Merkmalsdetektoren kann bei solchen Texturen beispielsweise dazu führen, dass immerzu dieselben Stellen des Musters als Merkmalsbildbereiche bestimmt werden. In einem solchen Fall ist es dem Lokalisationsverfahren unter Umständen nicht mehr oder nur schwer möglich, zwischen verschiedenen Ausprägungen des Musters zu unterscheiden. Durch die Verwendung zufälliger bzw. pseudozufälliger Merkmalsbildbereiche kann dies verhindert werden.
Es wird ein Verfahren zum Bereitstellen von Kartierungsdaten für eine Karte einer Einsatzumgebung für zumindest eine mobile Einheit vorgestellt, wobei das Verfahren folgende Schritte aufweist:
Einlesen von Referenz- Bilddaten von einer Schnittstelle zu einer Bilderfassungseinrichtung der mobilen Einheit, wobei die Referenz- Bilddaten eine Mehrzahl von Referenzbildern repräsentieren, die mittels der Bilderfassungseinrichtung von pro Referenzbild spezifischen Teilabschnitten eines Bodens der Einsatzumgebung aufgenommen sind, wobei benachbarte Teilabschnitte teilweise überlappen;
Extrahieren einer Mehrzahl von Referenz-Bildmerkmalen für jedes Referenzbild unter Verwendung der Referenz-Bilddaten, wobei Positionen der Referenz- Bildmerkmale in jedem Referenzbild mittels eines Zufallsprozesses und zusätzlich oder alternativ gemäß einem vordefinierten Verteilungsschema bestimmt werden;
Erzeugen der Kartierungsdaten, wobei an der Position jedes Referenz- Bildmerkmals ein Referenz-Merkmalsdeskriptor unter Verwendung der Referenz- Bilddaten ermittelt wird, wobei die Kartierungsdaten die Referenz-Bilddaten, die Positionen der Referenz-Bildmerkmale und die Referenz- Merkmalsdeskriptoren aufweisen.
Bei der Einsatzumgebung kann es sich um eine durch die zumindest eine mobile Einheit befahrbare Fläche innerhalb und zusätzlich oder alternativ außerhalb eines oder mehrerer Gebäude handelt. Die Einsatzumgebung kann vordefinierte Grenzen aufweisen. Die zumindest eine mobile Einheit kann als ein Fahrzeug für hochautomatisiertes Fahren, ein Roboter oder dergleichen ausgeführt sein. Die Bilderfassungseinrichtung kann zumindest eine Kamera einer mobilen Einheit aufweisen. Die Bilderfassungseinrichtung kann relativ zu der mobilen Einheit in einer festgelegten Orientierung angeordnet sein. Bei der Bilderfassungseinrichtung kann es sich um eine Kamera handeln.
Es wird auch ein Verfahren zum Erstellen einer Karte einer Einsatzumgebung für zumindest eine mobile Einheit vorgestellt, wobei das Verfahren folgende Schritte aufweist:
Empfangen von Kartierungsdaten von einer Kommunikationsschnittstelle zu der zumindest einen mobilen Einheit, wobei die Kartierungsdaten gemäß einer Ausführungsform des vorstehend beschriebenen Verfahrens zum Bereitstellen bereitgestellt sind; Bestimmen einer Referenzpose der Bilderfassungseinrichtung für jedes Referenzbild relativ zu einem Bezugskoordinatensystem unter Verwendung der Kartierungsdaten und abhängig von unter Verwendung der Referenz- Merkmalsdeskriptoren ermittelten Korrespondenzen zwischen Referenz- Bildmerkmalen überlappender Referenzbilder; und
Kombinieren der Referenzbilder abhängig von den Referenzposen, der Positionen der Referenz-Bildmerkmale, der Referenz- Merkmalsdeskriptoren und der Referenzposen, um die Karte der Einsatzumgebung zu erstellen.
Das Verfahren zum Erstellen der Karte kann beispielsweise auf bzw. unter Verwendung einer Datenverarbeitungseinrichtung ausgeführt werden. Die Datenverarbeitungseinrichtung kann hierbei getrennt von der zumindest einen mobilen Einheit innerhalb oder außerhalb der Einsatzumgebung angeordnet sein.
Gemäß einer Ausführungsform kann im Schritt des Bestimmens die Referenzpose abhängig von Korrespondenzen zwischen Referenz- Bildmerkmalen bestimmt werden, zu denen in überlappenden Referenzbildern Referenz-Merkmalsdeskriptoren ermittelt wurden, die ein Ähnlichkeitskriterium bezüglich einander erfüllen. Eine solche Ausführungsform bietet den Vorteil, dass der Einsatz einer derartigen Reproduzierbarkeitsbedingung eine Robustheit gegenüber Bildtransformationen, wie beispielsweise Translation und Rotation der Bilderfassungseinrichtung sowie photometrische Transformationen, verbessern kann, was sich wiederum auch bei der Lokalisation günstig auswirken kann, da mehr korrekte Korrespondenzen gefunden werden können.
Ferner wird ein Verfahren zum Bestimmen von Lokalisationsdaten für eine Lokalisation zumindest einer mobilen Einheit in einer Einsatzumgebung vorgestellt, wobei das Verfahren folgende Schritte aufweist:
Einlesen von Bilddaten von einer Schnittstelle zu einer Bilderfassungseinrichtung der mobilen Einheit, wobei die Bilddaten zumindest ein Bild repräsentieren, das mittels der Bilderfassungseinrichtung von einem Teilabschnitt eines Bodens der Einsatzumgebung aufgenommen ist; Extrahieren einer Mehrzahl von Bildmerkmalen für das Bild unter Verwendung der Bilddaten, wobei Positionen der Bildmerkmale in dem Bild mittels eines Zufallsprozesses und zusätzlich oder alternativ gemäß einem vordefinierten Verteilungsschema bestimmt werden;
Generieren eines Merkmalsdeskriptors an der Position jedes Bildmerkmals unter Verwendung der Bilddaten, um die Lokalisationsdaten zu bestimmen, wobei die Lokalisationsdaten die Positionen der Bildmerkmale und die Merkmalsdeskriptoren aufweisen.
Bei der zumindest einen mobilen Einheit kann es sich um die zumindest eine mobile Einheit aus einem der vorstehend genannten Verfahren oder zumindest eine weitere mobile Einheit handeln, die der zumindest einen mobilen Einheit aus einem der vorstehend genannten Verfahren entspricht oder ähnelt. Zumindest einige der Schritte des Verfahrens können für jedes Bild wiederholt oder zyklisch wiederholt ausgeführt werden. Die Bilder und somit durch die Bilder repräsentierte benachbarte Teilabschnitte können überlappen.
Optional kann der Referenz- Merkmalsdeskriptor und/oder kann der Merkmalsdeskriptor ein binärer Deskriptor sein. Die Verwendung binärer Deskriptoren kann von Vorteil sein, da sie typischerweise schneller zu berechnen sind als nicht-binäre bzw. gleitkommawertige Deskriptoren, und da binäre Deskriptoren eine besonders effiziente Korrespondenzbildung ermöglichen.
Gemäß einer Ausführungsform kann das Verfahren zum Bestimmen einen Schritt des Ausgebens der Lokalisationsdaten an eine Schnittstelle zu einer Datenverarbeitungseinrichtung aufweisen. Hierbei können die Lokalisationsdaten in einer Mehrzahl von Datenpaketen ausgegeben werden. Dabei kann jedes Datenpaket mindestens eine Position eines Bildmerkmals und mindestens einen Merkmalsdeskriptor umfassen. Dabei kann ein Datenpaket ausgegeben werden, sobald mindestens ein Merkmalsdeskriptor generiert ist. Eine solche Ausführungsform bietet den Vorteil, dass eine zentralisierte bodentexturmerkmalsbasierte Lokalisationsmethode, bei der die Bildverarbeitung und eine relative Posenbestimmung bzw. visuelle Odometrie auf den mobilen Einheiten bzw. Robotern stattfindet, während die absolute Posenbestimmung anhand einer zuvor aufgenommenen Karte auf einen zentralen Server ausgelagert ist, effizient implementiert werden kann. Hierbei können insbesondere die drei Schritte der Lokalisationsmethode, d.h. Bildverarbeitung, Kommunikation und Lokalisation, parallel bzw. teilweise überlappend durchgeführt werden. Die Verwendung zufälliger oder vordefinierter Merkmalsbereiche ermöglicht es, dass ein Merkmal nach dem anderen berechnet wird und anschließend direkt an die Datenverarbeitungseinrichtung bzw. den Server gesendet werden kann. Der Server erhält somit von der mobilen Einheit einen konstanten Fluss extrahierter Bildmerkmale, sodass Bildverarbeitung und Kommunikation parallel bzw. teilweise überlappend stattfinden können. Die anschließende, auf dem Server stattfindende Lokalisation auf Basis der erhaltenen Bildmerkmale aus dem Lokalisationsbild, sowie der Karte des Anwendungsbereichs, kann ebenso parallel bzw. teilweise überlappend durchgeführt werden. Auch kann das Bild systematisch und/oder vollständig anhand eines Merkmalskriteriums abgesucht werden, und immer wenn ein Bildbereich gefunden wurde, der dieses Kriterium erfüllt, kann der Deskriptor berechnet werden und können die Merkmalsinformationen anschließend an den Server gesendet werden. Es kann im Hinblick auf den Merkmalsdetektor darauf verzichtet werden, nach global optimalen Bildbereichen für die Merkmalsbildung zu suchen.
Auch kann das Verfahren zum Bestimmen einen Schritt des Eruierens von Korrespondenzen zwischen Bildmerkmalen der Lokalisationsdaten und Referenz-Bildmerkmalen eines vorhergehenden Bildes unter Verwendung der Merkmalsdeskriptoren der Lokalisationsdaten und von Referenz- Merkmalsdeskriptoren des vorhergehenden Bildes umfassen. Ferner kann das Verfahren zum Bestimmen einen Schritt des Bestimmens einer Pose der Bilderfassungseinrichtung für das Bild relativ zu dem Bezugskoordinatensystem abhängig von den im Schritt des Eruierens eruierten Korrespondenzen umfassen, um die Lokalisation durchzuführen. Eine solche Ausführungsform bietet den Vorteil, dass eine inkrementelle oder relative Lokalisation durchgeführt werden kann, wobei eine relative Kamerapose gegenüber einer vorherigen Kamerapose bestimmt werden kann, auch wenn beispielsweise vorübergehend eine Datenverbindung zur Datenverarbeitungseinrichtung unterbrochen sein sollte. Gemäß einer Ausführungsform des vorstehend genannten Verfahrens zum Bereitstellen und/oder des vorstehend genannten Verfahrens zum Bestimmen kann im Schritt des Extrahierens ein Zufallsprozess und zusätzlich oder alternativ ein vordefiniertes Verteilungsschema verwendet werden, bei dem eine Liste mit allen möglichen Bildpositionen von Referenz-Bildmerkmalen oder Bildmerkmalen erzeugt wird und die Liste pseudozufällig gemischt oder Positionen pseudozufällig aus der Liste ausgewählt werden, und zusätzlich oder alternativ bei dem ein festes Muster von Positionen oder eines von mehreren pseudozufällig erstellten Mustern von Positionen genutzt wird. Der Vorteil eines bodentexturbasierten Lokalisationsverfahrens, das beliebige bzw. von einem tatsächlichen Bildinhalt unabhängige Merkmalsbildbereiche, sei es zufällige oder vordefinierte, zur Korrespondenzbildung verwendet, besteht darin, dass der Rechenaufwand der Bildverarbeitung reduziert werden kann, da im Gegensatz zum Einsatz eines herkömmlichen Merkmalsdetektors nicht das gesamte Bild vollständig verarbeitet zu werden braucht, um die optimalen Merkmalsbildbereiche zu identifizieren. Stattdessen können Merkmale an beliebigen Stellen des Referenzbildes bzw. Bildes berechnet werden. Eine solche Methode hat zudem den Vorteil, dass die Bildverarbeitung noch im Gange sein kann, wenn die Informationen im nächsten Verarbeitungsschritt genutzt werden.
Gemäß einer weiteren Ausführungsform des vorstehend genannten Verfahrens zum Bereitstellen und/oder des vorstehend genannten Verfahrens zum Bestimmen kann im Schritt des Extrahierens ein Zufallsprozess und zusätzlich oder alternativ ein vordefiniertes Verteilungsschema verwendet werden, bei dem eine variable oder festgelegte Anzahl von Positionen genutzt wird und zusätzlich oder alternativ bei dem für unterschiedliche Teilbereiche eines Referenzbildes oder des Bildes unterschiedliche Verteilungsdichten von Positionen festgelegt werden. Eine solche Ausführungsform bietet den Vorteil, dass eine verbesserte Anpassung an tatsächliche Gegebenheiten in der Einsatzumgebung, genauer gesagt des Bodens, vorgenommen werden kann. Es wird zudem ein Verfahren zur Lokalisation zumindest einer mobilen Einheit in einer Einsatzumgebung vorgestellt, wobei das Verfahren folgende Schritte aufweist:
Empfangen von Lokalisationsdaten von einer Kommunikationsschnittstelle zu der zumindest einen mobilen Einheit, wobei die Lokalisationsdaten gemäß einer Ausführungsform des vorstehend genannten Verfahrens zum Bestimmen bestimmt sind;
Ermitteln von Korrespondenzen zwischen Bildmerkmalen der Lokalisationsdaten und Referenz-Bildmerkmalen einer gemäß einer Ausführungsform des vorstehend genannten Verfahrens zum Erstellen erstellten Karte unter Verwendung der Merkmalsdeskriptoren der Lokalisationsdaten und der Referenz- Merkmalsdeskriptoren der Karte;
Bestimmen einer Pose der Bilderfassungseinrichtung für das Bild relativ zu dem Bezugskoordinatensystem abhängig von den im Schritt des Ermittelns ermittelten Korrespondenzen und unter Verwendung der Referenzposen der Karte, um eine die Pose repräsentierende Poseninformation zu generieren; und
Ausgeben der Poseninformation an die Kommunikationsschnittstelle zu der zumindest einen mobilen Einheit, um die Lokalisation durchzuführen.
Das Verfahren zur Lokalisation kann beispielsweise auf bzw. unter Verwendung einer Datenverarbeitungseinrichtung ausgeführt werden. Die Datenverarbeitungseinrichtung kann hierbei getrennt von der zumindest einen mobilen Einheit innerhalb oder außerhalb der Einsatzumgebung angeordnet sein.
Gemäß einer Ausführungsform können im Schritt des Bestimmens auf die im Schritt des Ermittelns ermittelten Korrespondenzen Gewichtungswerte und zusätzlich oder alternativ Konfidenzwerte angewandt werden, um bewertete Korrespondenzen zu generieren. Hierbei kann die Pose abhängig von den bewerteten Korrespondenzen bestimmt werden. Eine solche Ausführungsform bietet den Vorteil, dass eine Zuverlässigkeit, Robustheit und Genauigkeit der Lokalisation weiter erhöht werden können, insbesondere da inkorrekte bzw. weniger korrekte Korrespondenzen aussortiert werden können.
Jedes der vorstehend genannten Verfahren kann beispielsweise in Software oder Hardware oder in einer Mischform aus Software und Hardware beispielsweise in einem Steuergerät oder einer Vorrichtung implementiert sein.
Der hier vorgestellte Ansatz schafft ferner eine Vorrichtung für eine mobile Einheit, wobei die Vorrichtung ausgebildet ist, um die Schritte einer Variante des hier vorgestellten Verfahrens zum Bereitstellen und/oder des hier vorgestellten Verfahrens zum Bestimmen in entsprechenden Einrichtungen durchzuführen, anzusteuern bzw. umzusetzen. Auch durch diese Ausführungsvariante der Erfindung in Form einer Vorrichtung für eine mobile Einheit kann die der Erfindung zugrunde liegende Aufgabe schnell und effizient gelöst werden. Der hier vorgestellte Ansatz schafft ferner eine Vorrichtung für eine Datenverarbeitungseinrichtung, wobei die Vorrichtung ausgebildet ist, um die Schritte einer Variante des hier vorgestellten Verfahrens zum Erstellen einer Karte und/oder des hier vorgestellten Verfahrens zur Lokalisation in entsprechenden Einrichtungen durchzuführen, anzusteuern bzw. umzusetzen. Auch durch diese Ausführungsvariante der Erfindung in Form einer Vorrichtung für eine Datenverarbeitungseinrichtung kann die der Erfindung zugrunde liegende Aufgabe schnell und effizient gelöst werden.
Hierzu kann die Vorrichtung zumindest eine Recheneinheit zum Verarbeiten von Signalen oder Daten, zumindest eine Speichereinheit zum Speichern von Signalen oder Daten, zumindest eine Schnittstelle zu einem Sensor oder einem Aktor zum Einlesen von Sensorsignalen von dem Sensor oder zum Ausgeben von Daten- oder Steuersignalen an den Aktor und/oder zumindest eine Kommunikationsschnittstelle zum Einlesen oder Ausgeben von Daten aufweisen, die in ein Kommunikationsprotokoll eingebettet sind. Die Recheneinheit kann beispielsweise ein Signalprozessor, ein Mikrocontroller oder dergleichen sein, wobei die Speichereinheit ein Flash-Speicher, ein EEPROM oder eine magnetische Speichereinheit sein kann. Die Kommunikationsschnittstelle kann ausgebildet sein, um Daten drahtlos und/oder leitungsgebunden einzulesen oder auszugeben, wobei eine Kommunikationsschnittstelle, die leitungsgebundene Daten einlesen oder ausgeben kann, diese Daten beispielsweise elektrisch oder optisch aus einer entsprechenden Datenübertragungsleitung einlesen oder in eine entsprechende Datenübertragungsleitung ausgeben kann.
Unter einer Vorrichtung kann vorliegend ein elektrisches Gerät verstanden werden, das Sensorsignale verarbeitet und in Abhängigkeit davon Steuer- und/oder Datensignale ausgibt. Die Vorrichtung kann eine Schnittstelle aufweisen, die hard- und/oder softwaremäßig ausgebildet sein kann. Bei einer hardwaremäßigen Ausbildung können die Schnittstellen beispielsweise Teil eines sogenannten System-ASICs sein, der verschiedenste Funktionen der Vorrichtung beinhaltet. Es ist jedoch auch möglich, dass die Schnittstellen eigene, integrierte Schaltkreise sind oder zumindest teilweise aus diskreten Bauelementen bestehen. Bei einer softwaremäßigen Ausbildung können die Schnittstellen Softwaremodule sein, die beispielsweise auf einem Mikrocontroller neben anderen Softwaremodulen vorhanden sind.
Es wird auch ein Lokalisationssystem für eine Einsatzumgebung vorgestellt, in der zumindest eine mobile Einheit einsetzbar ist, wobei das Lokalisationssystem folgende Merkmale aufweist: die zumindest eine mobile Einheit, wobei die mobile Einheit eine Ausführungsform der vorstehend genannten Vorrichtung für eine mobile Einheit aufweist; und eine Datenverarbeitungseinrichtung, wobei die Datenverarbeitungseinrichtung eine Ausführungsform der vorstehend genannten Vorrichtung für eine Datenverarbeitungseinrichtung aufweist, wobei die Vorrichtung für die mobile Einheit und die Vorrichtung für die Datenverarbeitungseinrichtung datenübertragungsfähig miteinander verbunden sind.
Insbesondere kann das Lokalisationssystem die Datenverarbeitungseinrichtung und eine Mehrzahl von mobilen Einheiten aufweisen. Zumindest eine der mobilen Einheiten kann optional eine Vorrichtung für eine mobile Einheit aufweisen, die ausgebildet ist, um die Schritte einer Variante des hier vorgestellten Verfahrens zum Bereitstellen in entsprechenden Einrichtungen durchzuführen, anzusteuern bzw. umzusetzen.
Von Vorteil ist auch ein Computerprogrammprodukt oder Computerprogramm mit Programmcode, der auf einem maschinenlesbaren Träger oder Speichermedium wie einem Halbleiterspeicher, einem Festplattenspeicher oder einem optischen Speicher gespeichert sein kann und zur Durchführung, Umsetzung und/oder Ansteuerung der Schritte des Verfahrens nach einer der vorstehend beschriebenen Ausführungsformen verwendet wird, insbesondere wenn das Programmprodukt oder Programm auf einem Computer oder einer Vorrichtung ausgeführt wird.
Ausführungsbeispiele des hier vorgestellten Ansatzes sind in den Zeichnungen dargestellt und in der nachfolgenden Beschreibung näher erläutert. Es zeigt:
Fig. 1 eine schematische Darstellung eines Ausführungsbeispiels eines Lokalisationssystems für eine Einsatzumgebung;
Fig. 2 eine schematische Darstellung eines Ausführungsbeispiels einer Vorrichtung für eine mobile Einheit;
Fig. 3 eine schematische Darstellung eines Ausführungsbeispiels einer Vorrichtung für eine mobile Einheit;
Fig. 4 eine schematische Darstellung eines Ausführungsbeispiels einer Vorrichtung für eine Datenverarbeitungseinrichtung;
Fig. 5 eine schematische Darstellung eines Ausführungsbeispiels einer Vorrichtung für eine Datenverarbeitungseinrichtung;
Fig. 6 ein Ablaufdiagramm eines Ausführungsbeispiels eines Verfahrens zum Bereitstellen von Kartierungsdaten für eine Karte einer Einsatzumgebung für zumindest eine mobile Einheit; Fig. 7 ein Ablaufdiagramm eines Ausführungsbeispiels eines Verfahrens zum Erstellen einer Karte einer Einsatzumgebung für zumindest eine mobile Einheit;
Fig. 8 ein Ablaufdiagramm eines Ausführungsbeispiels eines Verfahrens zum Bestimmen von Lokalisationsdaten für eine Lokalisation zumindest einer mobilen Einheit in einer Einsatzumgebung;
Fig. 9 ein Ablaufdiagramm eines Ausführungsbeispiels eines Verfahrens zur Lokalisation zumindest einer mobilen Einheit in einer Einsatzumgebung;
Fig. 10 eine schematische Darstellung eines Bildes und von Merkmalsbildbereichen;
Fig. 11 eine schematische Darstellung eines Bildes 1123 und von Bildmerkmalen 335 gemäß einem Ausführungsbeispiel;
Fig. 12 eine schematische Darstellung überlappende Bilder mit Merkmalsbildbereichen;
Fig. 13 eine schematische Darstellung überlappender Bilder 1123 und von Bildmerkmalen 335 gemäß einem Ausführungsbeispiel;
Fig. 14 eine schematische Darstellung einer Reproduzierbarkeitsbedingung gemäß einem Ausführungsbeispiel; und
Fig. 15 eine schematische Darstellung eines zeitlichen Ablaufs von drei Phasen einer zentralisierten bildmerkmalsbasierten Lokalisation.
In der nachfolgenden Beschreibung günstiger Ausführungsbeispiele der vorliegenden Erfindung werden für die in den verschiedenen Figuren dargestellten und ähnlich wirkenden Elemente gleiche oder ähnliche Bezugszeichen verwendet, wobei auf eine wiederholte Beschreibung dieser Elemente verzichtet wird. Fig. 1 zeigt eine schematische Darstellung eines Ausführungsbeispiels eines Lokalisationssystems 110 für eine Einsatzumgebung 100. In der Einsatzumgebung 100 ist zumindest eine mobile Einheit 120 einsetzbar. In der Darstellung von Fig. 1 sind lediglich beispielhaft vier mobile Einheiten 120 in der Einsatzumgebung 100 gezeigt. Bei der Einsatzumgebung 100 handelt es sich beispielsweise um eine für die zumindest eine mobile Einheit 120 befahrbare Fläche innerhalb und/oder außerhalb zumindest eines Gebäudes. Die Einsatzumgebung 100 weist einen Boden 102 auf, auf dem die zumindest eine mobile Einheit 120 sich bewegen kann. Bei der zumindest einen mobilen Einheit 120 handelt es sich um ein Fahrzeug für hochautomatisiertes Fahren, insbesondere einen Roboter bzw. ein Roboterfahrzeug oder dergleichen.
Das Lokalisationssystem 110 umfasst die zumindest eine mobile Einheit 120 und eine Datenverarbeitungseinrichtung 140. Die Datenverarbeitungseinrichtung 140 ist innerhalb und/oder außerhalb der Einsatzumgebung 100 angeordnet. In der Darstellung von Fig. 1 ist die Datenverarbeitungseinrichtung 140 lediglich beispielhaft innerhalb der Einsatzumgebung 100 gezeigt. Die Datenverarbeitungseinrichtung 140 ist ausgebildet, um für die zumindest eine mobile Einheit 120 eine Datenverarbeitung durchzuführen.
Jede mobile Einheit 120 umfasst eine Bilderfassungseinrichtung 122, deren Sichtfeld auf den Boden 102 der Einsatzumgebung 100 gerichtet ist. Bei der Bilderfassungseinrichtung 122 handelt es sich hierbei um eine Kamera. Optional umfasst jede mobile Einheit 120 zumindest eine Beleuchtungseinrichtung 124 zum Beleuchten des Sichtfeldes der Bilderfassungseinrichtung 122. Gemäß dem in Fig. 1 dargestellten Ausführungsbeispiel umfasst jede mobile Einheit 120 beispielhaft eine ringförmig ausgeformte Beleuchtungseinrichtung 124. Pro Bildaufnahmevorgang der Bilderfassungseinrichtung 122 kann ein Teilabschnitt 104 des Bodens 102 der Einsatzumgebung 100 abgebildet werden. Ferner umfasst jede mobile Einheit 120 eine Vorrichtung 130 für eine mobile Einheit. Die Vorrichtung 130 für eine mobile Einheit ist datenübertragungsfähig bzw. signalübertragungsfähig mit der Bilderfassungseinrichtung 122 verbunden oder kann alternativ als ein Teil desselben ausgeführt sein. Die Vorrichtung 130 für eine mobile Einheit ist ausgebildet, um ein Verfahren zum Bereitstellen von Kartierungsdaten 160 für eine Karte 170 der Einsatzumgebung 100 und/oder ein Verfahren zum Bestimmen von Lokalisationsdaten 180 für eine Lokalisation der zumindest einer mobilen Einheit 120 in der Einsatzumgebung 100 auszuführen. Auf die Vorrichtung 130 für eine mobile Einheit wird unter Bezugnahme auf nachfolgende Figuren noch detaillierter eingegangen.
Die Datenverarbeitungseinrichtung 140 umfasst eine Vorrichtung 150 für eine Datenverarbeitungseinrichtung. Die Vorrichtung 150 für eine Datenverarbeitungseinrichtung ist ausgebildet, um ein Verfahren zum Erstellen der Karte 170 der Einsatzumgebung 100 und/oder ein Verfahren zur Lokalisation der zumindest einen mobilen Einheit 120 in der Einsatzumgebung 100 auszuführen. Dabei sind die Vorrichtung 130 für die mobile Einheit und die Vorrichtung 150 für eine Datenverarbeitungseinrichtung datenübertragungsfähig miteinander verbunden, insbesondere mittels einer Funkverbindung, beispielsweise WLAN oder Mobilfunk. Hierbei sind die Kartierungsdaten 160 und/oder die Lokalisationsdaten 180 bzw. Bildmerkmale von der zumindest einen mobilen Einheit 120 an die Datenverarbeitungseinrichtung 140 übertragbar und ist eine Poseninformation 190 bzw. geschätzte Roboterpose zur Lokalisation von der Datenverarbeitungseinrichtung 140 an jede mobile Einheit 120 übertragbar.
Anders ausgedrückt befindet sich in der Einsatzumgebung 100 eine Mehrzahl eigenständiger Roboter bzw. mobile Einheiten 120 in Funkkontakt mit einer auch als zentraler Server mit gespeicherter Karte 170 bezeichneten Datenverarbeitungseinrichtung 140. Jede mobile Einheit 120 ist mit einer nach unten gerichteten Kamera bzw. Bilderfassungseinrichtung 122 ausgestattet. Zudem kann das Sichtfeld bzw. der Aufnahmebereich künstlich beleuchtet werden, sodass die Lokalisation unabhängig von externen Lichtbedingungen zuverlässig durchgeführt werden kann. In regelmäßigen zeitlichen Abständen machen die mobilen Einheiten 120 Bilder vom Boden 102, um eine Bestimmung ihrer eigenen Pose vorzunehmen. Zu diesem Zweck werden Merkmale an beliebigen Stellen aus dem Bild extrahiert, diese werden nacheinander an den Server bzw. die Datenverarbeitungseinrichtung 140 gesendet, wo insbesondere eine Bodentexturkarte erstellt wird und/oder gespeichert ist, mit der die Posen der mobilen Einheiten 120 anhand der gesandten Merkmale bzw.
Lokalisationsdaten 180 geschätzt werden können. Gemäß einem Ausführungsbeispiel können hierzu Merkmalsextraktion, Kommunikation sowie Posenschätzung zumindest teilweise parallel durchgeführt werden, wodurch sich ein Laufzeitvorteil gegenüber einer Methode ergibt, bei der jeder dieser drei Schritte vollständig abgeschlossen sein sollte, bevor der nächste beginnen kann. Nachdem die Lokalisation abgeschlossen ist, wird die geschätzte Pose in Gestalt der Poseninformation 190 zurück an die mobile Einheit 120 gesendet, welche die Poseninformation 155 beispielsweise nutzen kann, um sich präzise zu positionieren. Für die Funkverbindung zwischen Server und Robotern, kann z.B. WLAN oder 5G verwendet werden.
Fig. 2 zeigt eine schematische Darstellung eines Ausführungsbeispiels einer Vorrichtung 130 für eine mobile Einheit. Die Vorrichtung 130 für eine mobile Einheit entspricht oder ähnelt der Vorrichtung für eine mobile Einheit aus Fig. 1. Die in Fig. 2 dargestellte Vorrichtung 130 für eine mobile Einheit ist ausgebildet, um Schritte eines Verfahrens zum Bereitstellen von Kartierungsdaten 160 für die Karte der Einsatzumgebung für die zumindest eine mobile Einheit in entsprechenden Einrichtungen auszuführen und/oder anzusteuern. Das Verfahren zum Bereitstellen entspricht oder ähnelt beispielsweise dem Verfahren aus Fig. 6.
Die Vorrichtung 130 für eine mobile Einheit umfasst eine Einleseeinrichtung 232, eine Extraktionseinrichtung 234 und eine Erzeugungseinrichtung 236. Die Einleseeinrichtung 232 ist ausgebildet, um Referenz- Bilddaten 223 von einer Schnittstelle 231 zu einer Bilderfassungseinrichtung der mobilen Einheit einzulesen. Die Referenz- Bilddaten 223 repräsentieren eine Mehrzahl von Referenzbildern, die mittels der Bilderfassungseinrichtung von pro Referenzbild spezifischen Teilabschnitten des Bodens der Einsatzumgebung aufgenommen sind. Dabei überlappen benachbarte Teilabschnitte einander teilweise. Ferner ist die Einleseeinrichtung 232 ausgebildet, um die Referenz- Bilddaten 223 an die Extraktionseinrichtung 234 weiterzugeben. Die Extraktionseinrichtung 234 ist ausgebildet, um unter Verwendung der Referenz-Bilddaten 223 eine Mehrzahl von Referenz-Bildmerkmalen 235 für jedes Referenzbild zu extrahieren.
Positionen der Referenz-Bildmerkmale 235 in jedem Referenzbild werden mittels eines Zufallsprozesses und/oder gemäß einem vordefinierten Verteilungsschema bestimmt. Auch ist die Extraktionseinrichtung 234 ausgebildet, um die Referenz- Bildmerkmalen 235 an die Erzeugungseinrichtung 236 weiterzugeben. Die Erzeugungseinrichtung 236 ist ausgebildet, um die Kartierungsdaten 160 zu erzeugen, wobei an der Position jedes Referenz-Bildmerkmals 235 ein Referenz- Merkmalsdeskriptor unter Verwendung der Referenz- Bilddaten ermittelt wird. Die Kartierungsdaten 160 die Referenz- Bilddaten 223, die Positionen der Referenz- Bildmerkmale 235 und die Referenz- Merkmalsdeskriptoren aufweisen. Die Vorrichtung 130 für eine mobile Einheit ist ferner ausgebildet, um die Kartierungsdaten 160 an eine weitere Schnittstelle 239 zu der Datenverarbeitungseinrichtung auszugeben.
Fig. 3 zeigt eine schematische Darstellung eines Ausführungsbeispiels einer Vorrichtung 130 für eine mobile Einheit. Die Vorrichtung 130 für eine mobile Einheit entspricht oder ähnelt der Vorrichtung für eine mobile Einheit aus Fig. 1 bzw. Fig. 2. Die in Fig. 3 dargestellte Vorrichtung 130 für eine mobile Einheit ist ausgebildet, um Schritte eines Verfahrens zum Bestimmen von Lokalisationsdaten 180 für die Lokalisation der zumindest einen mobilen Einheit in der Einsatzumgebung in entsprechenden Einrichtungen auszuführen und/oder anzusteuern. Das Verfahren zum Bestimmen entspricht oder ähnelt beispielsweise dem Verfahren aus Fig. 8.
Die Vorrichtung 130 für eine mobile Einheit umfasst eine weitere Einleseeinrichtung 332, eine weitere Extraktionseinrichtung 334 und eine Generiereinrichtung 336. Die Einleseeinrichtung 332 ist ausgebildet, um Bilddaten 323 von der Schnittstelle 231 zu der Bilderfassungseinrichtung der mobilen Einheit einzulesen. Die Bilddaten 323 repräsentieren zumindest ein Bild, das mittels der Bilderfassungseinrichtung von einem Teilabschnitt des Bodens der Einsatzumgebung aufgenommen ist. Auch ist die weitere Einleseeinrichtung 332 ausgebildet, um die Bilddaten 323 an die weitere Extraktionseinrichtung 334 weiterzugeben. Die weitere Extraktionseinrichtung 334 ist ausgebildet, um unter Verwendung der Bilddaten 323 eine Mehrzahl von Bildmerkmalen 335 für das Bild zu extrahieren. Positionen der Bildmerkmale 335 in dem Bild werden dabei mittels eines Zufallsprozesses und/oder gemäß einem vordefinierten Verteilungsschema bestimmt. Die weitere Extraktionseinrichtung 334 ist ausgebildet, um die Bildmerkmalen 335 an die Generiereinrichtung 336 weiterzugeben. Die Generiereinrichtung 336 ist ausgebildet, um unter Verwendung der Bilddaten 323 an der Position jedes Bildmerkmals 335 einen Merkmalsdeskriptor zu generieren, um die Lokalisationsdaten 180 zu bestimmen. Die Lokalisationsdaten 180 umfassen die Positionen der Bildmerkmale 335 und die Merkmalsdeskriptoren.
Die Vorrichtung 130 für eine mobile Einheit ist insbesondere ausgebildet, um die Lokalisationsdaten 180 an die weitere Schnittstelle 239 zu der Datenverarbeitungseinrichtung auszugeben. Gemäß einem Ausführungsbeispiel erfolgt eine Ausgabe der Lokalisationsdaten 180 in einer Mehrzahl von Datenpaketen, wobei jedes Datenpaket mindestens eine Position eines Bildmerkmals 335 und mindestens einen Merkmalsdeskriptor umfasst. Genauer gesagt werden gemäß diesem Ausführungsbeispiel die Position jedes Bildmerkmals 335 und der zugehörige Merkmalsdeskriptor in einem Datenpaket ausgegeben, sobald der Merkmalsdeskriptor generiert ist. Somit können zumindest teilweise parallel Datenpakete ausgegeben werden und weitere Bildmerkmalen 335 extrahiert und Merkmalsdeskriptoren generiert werden.
Fig. 4 zeigt eine schematische Darstellung eines Ausführungsbeispiels einer Vorrichtung 150 für eine Datenverarbeitungseinrichtung. Die Vorrichtung 150 für eine Datenverarbeitungseinrichtung entspricht oder ähnelt der Vorrichtung für eine Datenverarbeitungseinrichtung aus Fig. 1. Die in Fig. 4 dargestellte Vorrichtung 150 für eine Datenverarbeitungseinrichtung ist ausgebildet, um Schritte eines Verfahrens zum Erstellen der Karte 170 der Einsatzumgebung für die zumindest eine mobile Einheit in entsprechenden Einrichtungen auszuführen und/oder anzusteuern. Das Verfahren zum Erstellen entspricht oder ähnelt beispielsweise dem Verfahren aus Fig. 7.
Die Vorrichtung 150 für eine Datenverarbeitungseinrichtung umfasst eine Empfangseinrichtung 452, eine Bestimmungseinrichtung 454 und eine Kombinationseinrichtung 456. Die Empfangseinrichtung 452 ist ausgebildet, um die Kartierungsdaten 160 von einer Kommunikationsschnittstelle 451 zu der zumindest einen mobilen Einheit empfangen. Die Kartierungsdaten 160 sind hierbei mittels der Vorrichtung für eine mobile Einheit bereitgestellt. Ferner ist die Empfangseinrichtung 452 ausgebildet, um die Kartierungsdaten 160 an die Bestimmungseinrichtung 454 weiterzugeben. Die Bestimmungseinrichtung 454 ist ausgebildet, um unter Verwendung der Kartierungsdaten 160 und abhängig von unter Verwendung der Referenz- Merkmalsdeskriptoren ermittelten Korrespondenzen zwischen Referenz-Bildmerkmalen überlappender Referenzbilder eine Referenzpose 455 der Bilderfassungseinrichtung für jedes Referenzbild relativ zu einem Bezugskoordinatensystem zu bestimmen. Die Bestimmungseinrichtung 454 ist auch ausgebildet, um die Referenzposen 455 an die Kombinationseinrichtung 456 weiterzugeben. Die Kombinationseinrichtung 456 ist ausgebildet, um abhängig von den Referenzposen 455 die Referenzbilder, die Positionen der Referenz-Bildmerkmale, die Referenz- Merkmalsdeskriptoren und die Referenzposen 455 zu kombinieren, um die Karte 170 der Einsatzumgebung zu erstellen. Die Vorrichtung 150 für eine Datenverarbeitungseinrichtung ist insbesondere auch ausgebildet, um die Karte 170 an eine Speicherschnittstelle 459 zu einer Speichereinrichtung der Datenverarbeitungseinrichtung auszugeben.
Fig. 5 zeigt eine schematische Darstellung eines Ausführungsbeispiels einer Vorrichtung 150 für eine Datenverarbeitungseinrichtung. Die Vorrichtung 150 für eine Datenverarbeitungseinrichtung entspricht oder ähnelt der Vorrichtung für eine Datenverarbeitungseinrichtung aus Fig. 1 bzw. Fig. 4. Die in Fig. 5 dargestellte Vorrichtung 150 für eine Datenverarbeitungseinrichtung ist ausgebildet, um Schritte eines Verfahrens zur Lokalisation der zumindest einen mobilen Einheit in der Einsatzumgebung in entsprechenden Einrichtungen auszuführen und/oder anzusteuern. Das Verfahren zur Lokalisation entspricht oder ähnelt beispielsweise dem Verfahren aus Fig. 9.
Die Vorrichtung 150 für eine Datenverarbeitungseinrichtung umfasst eine weitere Empfangseinrichtung 552, eine Ermittlungseinrichtung 554, eine weitere Bestimmungseinrichtung 556 und eine Ausgabeeinrichtung 558. Die weitere Empfangseinrichtung 552 ist ausgebildet, um die Lokalisationsdaten 180 von der Kommunikationsschnittstelle 451 zu der zumindest einen mobilen Einheit zu empfangen. Die Lokalisationsdaten 180 sind hierbei mittels der Vorrichtung für eine mobile Einheit bestimmt. Die weitere Empfangseinrichtung 552 ist auch ausgebildet, um die Lokalisationsdaten 180 an die Ermittlungseinrichtung 554 weiterzugeben. Die Ermittlungseinrichtung 554 ist ausgebildet, um unter Verwendung der Merkmalsdeskriptoren der Lokalisationsdaten 180 und der Referenz- Merkmalsdeskriptoren der Karte 170 Korrespondenzen 555 zwischen Bildmerkmalen der Lokalisationsdaten 180 und Referenz-Bildmerkmalen der Karte 170 zu ermitteln. Ferner ist die Ermittlungseinrichtung 554 ausgebildet, um die Korrespondenzen 555 an die weitere Bestimmungseinrichtung 556 weiterzugeben. Die weitere Bestimmungseinrichtung 556 ist ausgebildet, um abhängig von den Korrespondenzen 555 und unter Verwendung der Referenzposen der Karte 170 eine Pose der Bilderfassungseinrichtung für das Bild relativ zu dem Bezugskoordinatensystem zu bestimmen, um die Poseninformation 190 zu generieren. Die Poseninformation 190 repräsentiert die bestimmte Pose. Auch ist die weitere Bestimmungseinrichtung 556 ausgebildet, um die Poseninformation 190 über die Ausgabeeinrichtung 558 an die Kommunikationsschnittstelle 451 zu der zumindest einen mobilen Einheit auszugeben, um die Lokalisation durchzuführen.
Fig. 6 zeigt ein Ablaufdiagramm eines Ausführungsbeispiels eines Verfahrens 600 zum Bereitstellen von Kartierungsdaten für eine Karte einer Einsatzumgebung für zumindest eine mobile Einheit. Das Verfahren 600 zum Bereitstellen umfasst einen Schritt 632 des Einlesens, einen Schritt 634 des Extrahierens und einen Schritt 636 des Erzeugens. In dem Schritt 632 des Einlesens werden Referenz-Bilddaten von einer Schnittstelle zu einer Bilderfassungseinrichtung der mobilen Einheit eingelesen. Die Referenz- Bilddaten repräsentieren eine Mehrzahl von Referenzbildern, die mittels der Bilderfassungseinrichtung von pro Referenzbild spezifischen Teilabschnitten eines Bodens der Einsatzumgebung aufgenommen sind, wobei benachbarte Teilabschnitte teilweise überlappen. In dem Schritt 634 des Extrahierens wird unter Verwendung der Referenz- Bilddaten einer Mehrzahl von Referenz- Bildmerkmalen für jedes Referenzbild extrahiert. Dabei werden Positionen der Referenz-Bildmerkmale in jedem Referenzbild mittels eines Zufallsprozesses und/oder gemäß einem vordefinierten Verteilungsschema bestimmt. In dem Schritt 636 des Erzeugens werden die Kartierungsdaten erzeugt. Dabei wird an der Position jedes Referenz-Bildmerkmals ein Referenz- Merkmalsdeskriptor unter Verwendung der Referenz- Bilddaten ermittelt. Die Kartierungsdaten umfassen die Referenz-Bilddaten, die Positionen der Referenz-Bildmerkmale und die Referenz- Merkmalsdeskriptoren. Fig. 7 zeigt ein Ablaufdiagramm eines Ausführungsbeispiels eines Verfahrens 700 zum Erstellen einer Karte einer Einsatzumgebung für zumindest eine mobile Einheit. Das Verfahren 700 zum Erstellen umfasst einen Schritt 752 des Empfangens, einen Schritt 754 des Bestimmens und einen Schritt 756 des Kombinierens. In dem Schritt 752 des Empfangens werden von einer Kommunikationsschnittstelle zu der zumindest einen mobilen Einheit Kartierungsdaten empfangen, die gemäß dem in Fig. 6 dargestellten Verfahren oder einem ähnlichen Verfahren bereitgestellt sind. In dem Schritt 754 des Bestimmens wird unter Verwendung der Kartierungsdaten und abhängig von unter Verwendung der Referenz-Merkmalsdeskriptoren ermittelten Korrespondenzen zwischen Referenz-Bildmerkmalen überlappender Referenzbilder eine Referenzpose der Bilderfassungseinrichtung für jedes Referenzbild relativ zu einem Bezugskoordinatensystem bestimmt. In dem Schritt 756 des Kombinierens werden abhängig von den Referenzposen die Referenzbilder, die Positionen der Referenz-Bildmerkmale, die Referenz- Merkmalsdeskriptoren und die Referenzposen kombiniert, um die Karte der Einsatzumgebung zu erstellen.
Gemäß einem Ausführungsbeispiel des Verfahrens 700 zum Erstellen der Karte wird im Schritt 754 des Bestimmens die Referenzpose abhängig von Korrespondenzen zwischen Referenz-Bildmerkmalen bestimmt, zu denen in überlappenden Referenzbildern Referenz- Merkmalsdeskriptoren ermittelt wurden, die ein Ähnlichkeitskriterium bezüglich einander erfüllen.
Fig. 8 zeigt ein Ablaufdiagramm eines Ausführungsbeispiels eines Verfahrens 800 zum Bestimmen von Lokalisationsdaten für eine Lokalisation zumindest einer mobilen Einheit in einer Einsatzumgebung. Das Verfahren 800 zum Bestimmen umfasst einen Schritt 832 des Einlesens, einen Schritt 834 des Extrahierens und einen Schritt 836 des Generierens. In dem Schritt 832 des Einlesens werden Bilddaten von einer Schnittstelle zu einer Bilderfassungseinrichtung der mobilen Einheit eingelesen. Die Bilddaten repräsentieren zumindest ein Bild, das mittels der Bilderfassungseinrichtung von einem Teilabschnitt eines Bodens der Einsatzumgebung aufgenommen ist. In dem Schritt 834 des Extrahierens wird unter Verwendung der Bilddaten eine Mehrzahl von Bildmerkmalen für das Bild extrahiert. Positionen der Bildmerkmale in dem Bild werden dabei mittels eines Zufallsprozesses und/oder gemäß einem vordefinierten Verteilungsschema bestimmt. In dem Schritt 836 des Generierens wird unter Verwendung der Bilddaten ein Merkmalsdeskriptor an der Position jedes Bildmerkmals generiert, um die Lokalisationsdaten zu bestimmen. Die Lokalisationsdaten umfassen die Positionen der Bildmerkmale und die Merkmalsdeskriptoren.
Insbesondere umfasst das Verfahren 800 zum Bestimmen der Lokalisationsdaten ferner einen Schritt 838 des Ausgebens der Lokalisationsdaten an eine Schnittstelle zu einer Datenverarbeitungseinrichtung. Die Lokalisationsdaten werden dabei in einer Mehrzahl von Datenpaketen ausgegeben, wobei jedes Datenpaket mindestens eine Position eines Bildmerkmals und mindestens einen Merkmalsdeskriptor umfasst. Beispielsweise wird der Schritt 838 des Ausgebens derart wiederholt ausgeführt, dass die Position jedes Bildmerkmals 335 und der zugehörige Merkmalsdeskriptor in einem Datenpaket ausgegeben werden, sobald der Merkmalsdeskriptor generiert ist. Somit können Datenpakete ausgegeben werden und zumindest teilweise parallel dazu weitere Bildmerkmalen 335 extrahiert und Merkmalsdeskriptoren generiert werden.
Gemäß einem Ausführungsbeispiel umfasst das Verfahren 800 zum Bestimmen der Lokalisationsdaten auch einen Schritt 842 des Eruierens von Korrespondenzen zwischen Bildmerkmalen der Lokalisationsdaten und Referenz-Bildmerkmalen eines vorhergehenden Bildes unter Verwendung der Merkmalsdeskriptoren der Lokalisationsdaten und von Referenz- Merkmalsdeskriptoren des vorhergehenden Bildes sowie ferner einen Schritt 844 des Bestimmens einer Pose der Bilderfassungseinrichtung für das Bild relativ zu dem Bezugskoordinatensystem abhängig von den im Schritt 842 des Eruierens eruierten Korrespondenzen, um die Lokalisation durchzuführen. Dieses Ausführungsbeispiel kann bei Unterbrechungen einer Datenübertragung innerhalb der Einsatzumgebung zumindest temporär eine eigenständige Lokalisation der zumindest einen mobilen Einheit ermöglichen.
Unter Bezugnahme auf das in Fig. 6 dargestellte Verfahren 600 zum Bereitstellen der Kartendaten und/oder das in Fig. 8 dargestellte Verfahren 800 zum Bestimmen der Lokalisationsdaten wird im Schritt 634 und/oder 834 des Extrahierens ein Zufallsprozess und/oder ein vordefiniertes Verteilungsschema verwendet, bei dem eine Liste mit allen möglichen Bildpositionen von Referenz- Bildmerkmalen oder Bildmerkmalen erzeugt wird und die Liste pseudozufällig gemischt oder Positionen pseudozufällig aus der Liste ausgewählt werden, und/oder bei dem ein festes Muster von Positionen oder eines von mehreren pseudozufällig erstellten Mustern von Positionen genutzt wird. Zusätzlich oder alternativ wird im Schritt 634 und/oder 834 des Extrahierens ein Zufallsprozess und/oder ein vordefiniertes Verteilungsschema verwendet, bei dem eine variable oder festgelegte Anzahl von Positionen genutzt wird und/oder bei dem für unterschiedliche Teilbereiche eines Referenzbildes oder des Bildes unterschiedliche Verteilungsdichten von Positionen festgelegt werden.
Fig. 9 zeigt ein Ablaufdiagramm eines Ausführungsbeispiels eines Verfahrens 900 zur Lokalisation zumindest einer mobilen Einheit in einer Einsatzumgebung. Das Verfahren 900 zur Lokalisation umfasst einen Schritt 952 des Empfangens, einen Schritt 954 des Ermittelns, einen Schritt 956 des Bestimmens und einen Schritt 958 des Ausgebens. In dem Schritt 952 des Empfangens werden von einer Kommunikationsschnittstelle zu der zumindest einen mobilen Einheit Lokalisationsdaten empfangen, die gemäß dem in Fig. 8 dargestellten Verfahren oder einem ähnlichen Verfahren bestimmt sind. In dem Schritt 954 des Ermittelns werden unter Verwendung der Merkmalsdeskriptoren der Lokalisationsdaten und der Referenz- Merkmalsdeskriptoren der gemäß dem in Fig. 7 dargestellten Verfahren oder einem ähnlichen Verfahren erstellten Karte Korrespondenzen zwischen Bildmerkmalen der Lokalisationsdaten und Referenz-Bildmerkmalen der Karte ermittelt. In dem Schritt 956 des Bestimmens wird abhängig von den im Schritt 954 des Ermittelns ermittelten Korrespondenzen und unter Verwendung der Referenzposen der Karte eine Pose der Bilderfassungseinrichtung für das Bild relativ zu dem Bezugskoordinatensystem bestimmt, um eine die Pose repräsentierende Poseninformation zu generieren. In dem Schritt 958 des Ausgebens wird die Poseninformation an die Kommunikationsschnittstelle zu der zumindest einen mobilen Einheit ausgegeben, um die Lokalisation durchzuführen. Gemäß einem Ausführungsbeispiel werden im Schritt 956 des Bestimmens Gewichtungswerte und/oder Konfidenzwerte auf die im Schritt 954 des Ermittelns ermittelten Korrespondenzen angewandt, um bewertete Korrespondenzen zu generieren. Die Pose wird hierbei im Schritt 956 des Bestimmens dann abhängig von den bewerteten Korrespondenzen bestimmt.
Fig. 10 zeigt eine schematische Darstellung eines Bildes 1000 und von Merkmalsbildbereichen 1002. Hierbei sind gemäß einem klassischen oder herkömmlichen Verfahren eine Mehrzahl von Merkmalsbildbereichen 1002 aus das Bild 1000 repräsentierende Bilddaten extrahiert. Fig. 10 stellt ein schematisches Beispiel für einen Fall dar, bei dem die Verwendung eines klassischen Merkmalsdetektors fehlschlagen kann. Merkmalsdetektoren finden Merkmalsbildbereiche 1002, indem sie im ganzen Bild 1000 nach den Stellen suchen, die ein bestimmtes Kriterium erfüllen, bzw. welche die stärkste Ausprägung einer bestimmten Eigenschaft aufweisen. In Fig. 10 kann der Merkmalsdetektor beispielsweise nach den Stellen mit stärksten Kontrast suchen. Die in dem Bild 1000 gezeigte Textur hat eine sehr regelmäßige Struktur, die hier als Gitter dargestellt ist. Diese regelmäßige Struktur kann nun gerade so sein, dass sie an bestimmten Stellen, die in der regelmäßigen Struktur entsprechend immer wieder vorkommen, eine starke Ausprägung der von dem Merkmalsdetektor zu maximierenden Eigenschaft aufweist, hier einen starken Kontrast. Diese Stellen, die entsprechend vom Detektor als Merkmalsbildbereiche 1002 extrahiert werden, sind in Fig. 10 mit Quadraten dargestellt, und haben den stärksten Kontrast zwischen innerem und äußerem Bereich des Merkmals. Eine Schwierigkeit besteht nun Beispielsweise darin, dass die Merkmalsbildbereiche 1002 einen sehr ähnlichen, im Extremfall identischen, Inhalt aufweisen, sodass sie und ihre entsprechenden Deskriptoren nicht voneinander unterschieden werden können. Somit wird eine Korrespondenzfindung von dem hier gezeigten 1000 mit weiteren
Merkmalsbildbereichen eines überlappenden weiteren Bildes erschwert, denn für jedes aus dem weiteren Bild extrahierte Merkmal gilt, dass entweder alle Merkmale aus dem Bild 1000, die Merkmalsbildbereiche 1002, damit korrespondieren, oder keines damit korrespondiert. In beiden Fällen kann es schwierig sein, nützliche Informationen zur Lokalisation zu gewinnen. Es handelt sich hier nur um ein schematisches Beispiel. Prinzipiell kann für jeden Merkmalsdetektor ein Bild 1000 kreiert werden, bei dem die gefundenen Merkmalsbildbereiche 1002 auf ähnliche Weise degeneriert sind.
Fig. 11 zeigt eine schematische Darstellung eines Bildes 1123 und von Bildmerkmalen 335 gemäß einem Ausführungsbeispiel. Die Bildmerkmale 335 sind durch Ausführen des Verfahrens zum Bestimmen von Lokalisationsdaten aus Fig. 8 oder eines ähnlichen Verfahrens aus das Bild 1123 repräsentierenden Bilddaten extrahiert. Somit sind Positionen der Bildmerkmale 335 in dem Bild 1123 mittels eines Zufallsprozesses und/oder gemäß einem vordefinierten Verteilungsschema bestimmt, anders ausgedrückt unabhängig von einem konkreten Bildinhalt des Bildes 1123. Der in Fig. 11 gezeigte Bildinhalt entspricht hierbei dem Bildinhalt des Bildes aus Fig. 10.
Bei der Verwendung zufällig verteilter Merkmalsbildbereiche bzw. Bildmerkmalen 335 tritt das in Fig. 10 beschriebene Problem nicht auf. Abseits der zuvor vom Merkmalsdetektor extrahierten Merkmalsbildbereiche aus Fig. 10, enthält das Bild 1123 durchaus für die Lokalisation verwendbare Merkmale, die hier mit unregelmäßigen Symbolen dargestellt sind. Einige der hier zufällig selektierten Merkmalsbildbereiche bzw. Bildmerkmalen 335 fallen auch auf Teile der regelmäßigen Struktur, die als Gitter dargestellt ist, und sind ebenso wie die Merkmalsbildbereiche aus Fig. 10 für eine Korrespondenzbildung lediglich eingeschränkt zu gebrauchen. Allerdings enthalten einige der beliebig positionierten Bildmerkmale 335 auch die eindeutig zu identifizierenden, unregelmäßigen Bildinhalte zwischen den Streben des Gitters. In einem überlappenden, zur Lokalisation verwendeten Bild können zumindest einige dieser brauchbaren Bildmerkmale 335 auch gefunden werden, wobei die Bildmerkmalen 335 nicht pixel-genau denselben Bildinhalt zu haben brauchen, sodass die Lokalisation erfolgreich stattfinden kann.
Fig. 12 zeigt eine schematische Darstellung überlappende Bilder 1000, 1200 mit Merkmalsbildbereichen 1002. Die Merkmalsbildbereiche 1002 in beiden Bildern 1000, 1200 entsprechen lediglich beispielhaft den Merkmalsbildbereichen aus Fig. 10. Anders ausgedrückt kann eine Verwendung desselben Musters von Merkmalspositionen in überlappenden Bildern wie 1000, 1200 dazu führen, dass die Merkmalsbildbereiche 1002 gerade so gegeneinander verschoben sind, dass es keine überlappenden Merkmale und somit keine korrekten Korrespondenzen gibt.
Fig. 13 zeigt eine schematische Darstellung überlappender Bilder 1123, 1323 und von Bildmerkmalen 335 gemäß einem Ausführungsbeispiel. Die Bildmerkmale 335 sind durch Ausführen des Verfahrens zum Bestimmen von Lokalisationsdaten aus Fig. 8 oder eines ähnlichen Verfahrens aus die Bilder 1123, 1323 repräsentierenden Bilddaten extrahiert. Somit sind Positionen der Bildmerkmale 335 in den Bildern 1123, 1323 mittels eines Zufallsprozesses und/oder gemäß einem vordefinierten Verteilungsschema bestimmt, anders ausgedrückt unabhängig von einem konkreten Bildinhalt der Bilder 1123, 1323. Insbesondere sind die Positionen der Bildmerkmalen 335 in den Bildern 1123, 1323 unterschiedlich verteilt.
Die Verwendung verschiedener Muster von Merkmalspositionen bzw. Positionen der Bildmerkmale 335 in den überlappenden Bildern 1123, 1323 kann verhindern, dass das in Fig. 12 gezeigte Problem auftritt. In diesem Fall existieren überlappende Merkmalsbildbereiche, sodass für diese in der Korrespondenzfindung eine Zugehörigkeit festgestellt werden könnte.
Fig. 14 zeigt eine schematische Darstellung einer Reproduzierbarkeitsbedingung gemäß einem Ausführungsbeispiel. Hierzu sind ein durch Bilddaten repräsentierten Bild 1123, zwei durch Referenz- Bilddaten repräsentierte Referenzbilder 1423 bzw. Kartierungsbilder und ein Referenz-Bildmerkmal 235 gezeigt. Die Bilder 1123 und 1423 überlappen einander zumindest partiell. Die Reproduzierbarkeitsbedingung besagt, dass bei dem Verfahren des Erstellens der Karte aus Fig. 7 oder einem ähnlichen Verfahren im Schritt des Bestimmens die Referenzpose abhängig von Korrespondenzen zwischen Referenz- Bildmerkmalen 235 bestimmt wird, zu denen in überlappenden Referenzbildern 1423 Referenz- Merkmalsdeskriptoren ermittelt wurden, die ein Ähnlichkeitskriterium bezüglich einander erfüllen.
Anders ausgedrückt wird das Referenz-Bildmerkmal 235 aus einem Kartierungsbild bzw. Referenzbild 1423 nur dann gespeichert, wenn das korrespondierende Referenz-Bildmerkmal 235 in einem überlappenden Kartierungsbild bzw. Referenzbild 1423 zu einem ähnlichen Merkmalsdeskriptor führt. So kann eine Wahrscheinlichkeit dafür erhöht werden, dass ein korrespondierendes Bildmerkmalen in einem Lokalisationsbild bzw. Bild 1123 ebenso zu einem ähnlichen Merkmalsdeskriptor ausgewertet wird.
Fig. 15 zeigt eine schematische Darstellung eines zeitlichen Ablaufs 1500, 1505 von drei Phasen 1511, 1512, 1513 einer zentralisierten bildmerkmalsbasierten Lokalisation. Hierzu ist in der Darstellung eine Zeitachse t eingezeichnet. Ein erster Ablauf 1500 repräsentiert einen herkömmlichen Ablauf der drei Phasen 1511, 1512, 1513 auf sequenzielle bzw. serielle Weise. Ein zweiter Ablauf 1505 repräsentiert einen Ablauf der drei Phasen 1511, 1512, 1513 auf parallele oder zumindest teilweise parallele Weise gemäß einem Ausführungsbeispiel. Unter Bezugnahme auf das Verfahren zum Bestimmen der Lokalisationsdaten aus Fig. 8 und das Verfahren zur Lokalisation aus Fig. 9 wird der zumindest teilweise parallele zweite Ablauf 1505 insbesondere durch Ausführen des Schrittes des Ausgebens bei dem Verfahren zum Bestimmen ermöglicht. Eine erste Phase 1511 repräsentiert eine Bildverarbeitung, typischerweise seitens einer mobilen Einheit, eine zweite Phase 1512 repräsentiert eine Kommunikation bzw. Datenübertragung zwischen mobiler Einheit und Server und eine dritte Phase 1513 repräsentiert eine Lokalisation, typischerweise seitens des Servers. Bei dem zweiten Ablauf 1505 können die drei Phasen 1511, 1512, 1513 überlappend also teilweise parallel ausgeführt werden, wodurch sich eine wesentliche geringere Dauer von Anfang bis Ende des Prozesses zur Lokalisation ergibt.
Unter Bezugnahme auf die vorstehend beschriebenen Figuren werden nachfolgend Ausführungsbeispiele und Hintergründe sowie Vorteile von Ausführungsbeispielen nochmals zusammenfassend und mit anderen Worten kurz erläutert. Gemäß Ausführungsbeispielen kann eine Lokalisation anhand von Bodentexturmerkmalen realisiert werden.
Ein üblicher Ansatz zum Lösen dieser Aufgabe besteht darin, dass korrespondierende Merkmale aus einem zur Lokalisation aufgenommen Bild und einem oder mehreren Referenzbildern bestimmt werden. Diese Korrespondenzen können dann genutzt werden, um die Pose bestehend aus Position und Orientierung der Kamera bzw. Bilderfassungseinrichtung zum Aufnahmezeitpunkt des Lokalisationsbildes in Relation zu den Referenzbildern zu bestimmen. Der herkömmliche Ansatz kann beispielsweise in vier Phasen unterteilt werden:
1. Merkmalsdetektion: Zunächst wird während der Merkmalsdetektion eine Menge von Bildbereichen (Merkmalsbildbereichen) bestimmt, die für die spätere Korrespondenzfindung geeignet sind. Dies können beispielsweise Bildbereiche sein, die im Vergleich zu ihrer lokalen Umgebung besonders hell oder dunkel sind oder sich auf andere Weise von ihrer lokalen Umgebung unterscheiden, oder Bildbereiche mit bestimmter Struktur (bspw. Linien oder Ecken). Hierbei geht man davon aus, dass diese Bereiche der Bodentextur auch von einer anderen Kamerapose aus das Auswahlkriterium erfüllen, sodass die gleichen (bzw. zumindest überlappende) Merkmalsbildbereiche in Lokalisations- und Referenzbild gefunden werden.
2. Merkmalsbeschreibung: Anschließend werden in der Merkmalsbeschreibungsphase Merkmalsdeskriptoren dieser Bildbereiche berechnet.
3. Korrespondenzfindung: Diese Deskriptoren werden dann genutzt, um korrespondierende Merkmale zu bestimmen. Dabei geht man davon aus, dass korrespondierende Merkmale mit ähnlichen Deskriptoren beschrieben wurden, während die Deskriptoren nicht-korrespondierender Merkmale weniger Ähnlichkeit aufweisen sollten.
4. Posenbestimmung: Abschließend werden die vorgeschlagenen Korrespondenzen zur Posenbestimmung genutzt, wobei es häufig sinnvoll ist, ein Verfahren zu verwenden, das robust gegenüber einem Anteil von inkorrekten Korrespondenzen ist.
Nachfolgend wird zunächst ein Ausführungsbeispiel beschrieben, bei dem zufällige Merkmalspositionen verwendet werden, bevor auf mögliche Erweiterungen oder andere Ausführungsbeispiele eingegangen wird. Für die karten basierte Lokalisation wird zunächst die Karte 170 des Einsatzbereichs bzw. der Einsatzumgebung 100 angefertigt bzw. erstellt, wie es beispielsweise in Fig. 2 und Fig. 4 bzw. Fig. 6 und Fig. 7 dargestellt ist. Die Kartenerstellung kann beispielsweise in fünf Phasen unterteilt werden:
1. Ein Fahrzeug oder Roboter, eventuell auch eine Drohne, als die mobile Einheit 120 fährt den Einsatzbereich bzw. die Einsatzumgebung 100 vollständig ab und nimmt währenddessen fortwährend insbesondere überlappende Referenzbilder 1423 des Bodens 102 auf.
2. Für jedes aufgenommene Referenzbild 1423 wird eine Menge von Referenz- Bildmerkmalen 235 extrahiert. Die Positionen der Referenz-Bildmerkmale 235 im Referenzbild 1423 werden insbesondere mit einem Zufallsprozess bestimmt. Dieser Zufallsprozess könnte folgendermaßen aussehen: Zunächst wird eine Liste mit allen möglichen Bildpositionen erstellt, die Bildpositionsliste, diese Liste wird nun gemischt und es werden die ersten n Einträge der gemischten Bildpositionsliste genutzt, um eine Menge von Bildpositionen zu bestimmen. Dabei repräsentiert n die Anzahl von zu extrahierenden Referenz-Bildmerkmalen 235. Alternativ zur Mischung der Liste könnte man auch n-mal mit einem Zufallszahlengenerator einen zufälligen Listenindex der Bildpositionsliste bestimmen und den jeweiligen Eintrag der Liste als weitere Bildmerkmalsposition aufnehmen. Im Gegensatz zur ersten Variante ist der Rechenaufwand der zweiten Variante geringer, jedoch kann es vorkommen, dass dieselbe Bildposition mehrfach verwendet wird. Um dies zu verhindern, könnte nach jeder Bestimmung eines zufälligen Listenindexes überprüft werden, ob dieser bereits zuvor verwendet wurde, was den Rechenaufwand wieder etwas erhöhen kann. Welche Variante am besten geeignet ist, hängt vom Anwendungsfall, insbesondere von der Anzahl zu extrahierender Referenz-Bildmerkmale 235, ab.
3. Für jede Bildmerkmalsposition, die in der vorherigen Phase bestimmt wurde, wird ein Merkmalsdeskriptor berechnet. Das Vorgehen hierbei hängt von der gewählten Merkmalsbeschreibungsmethode ab. Die Größe des betrachteten Bildausschnitts kann entweder durch diese Merkmalsbeschreibungsmethode fixiert sein, oder der Anwender definiert selbst eine passende Größe, oder die Größe wird mit einer geeigneten Methode anhand des Bildinhalts des Bereichs um die Merkmalsposition herum bestimmt. Falls die Merkmalsbeschreibungsmethode eine Orientierung des betrachteten Bildausschnitts benötigt, typischerweise um den Bildausschnitt entsprechend zu drehen, kann diese entweder mit einer geeigneten Methode anhand des Bereichs um die Merkmalsposition herum bestimmt werden, beispielsweise die Richtung mit stärksten Intensitätsgradienten, oder es wird die derzeitige Kameraorientierung verwendet, sodass alle Merkmale eines Referenzbilds 1423 dieselbe Orientierung zugewiesen bekommen. Die Kameraorientierung kann dabei entweder die relative Orientierung zur initialen Kameraorientierung vom ersten zur Kartierung aufgenommenen Referenzbild 1423 sein, oder es wird eine absolute Orientierung verwendet, die beispielsweise mit einem Kompass bestimmt wird.
4. Die Referenzposen 455 der aufgenommenen Referenzbilder 1423 werden bestimmt. Dabei kann die Referenzpose 455 eines ersten Referenzbildes 1423 den Ursprung des Koordinatensystems bilden, oder es wird auf ein Koordinatensystem mit bekannter Referenz zurückgegriffen, wie beispielsweise ein Koordinatensystem, das durch einen Grundriss der Einsatzumgebung 100 definiert ist. Die Bildposen bzw. Referenzposen 455 sollten dabei so bestimmt werden, dass sie zueinander kohärent sind. Dazu können beispielsweise die Einzelaufnahmen mit einem Stitching-Prozess (engl. image stitching) zu einem großen Bild zusammengeführt werden, sodass die Referenzbilder 1423 anschließend korrekt zueinander positioniert sind.
5. Die extrahierten Referenz-Bildmerkmale 235 werden auf effiziente Weise gespeichert. Dabei ist es sinnvoll zu speichern, an welcher Stelle im Koordinatensystem der Karte 170 sich die Referenz-Bildmerkmale 235 befinden. Es ist somit eine Karte 170 erstellt, die für die Lokalisation verwendet werden kann. Im Wesentlichen umfasst die Karte 170 eine Menge von Referenzbildern 1423, deren Referenzposen 455 so optimiert wurden, dass sie passend aneinander gelegt werden können. Zudem wurde aus jedem Referenzbild 1423 eine Menge von Referenz-Bildmerkmalen 235 an beliebigen bzw. zufälligen Positionen extrahiert. Die Posen der Merkmale in der Welt, also relativ zum Koordinatenursprung der Karte 170, sind bekannt, zudem wurde für jeden Merkmalsbildbereich ein Deskriptor gespeichert, der anschließend zur Korrespondenzbildung während der Lokalisation genutzt werden kann.
Eine nachfolgende kartenbasierte Lokalisation, wie sie beispielsweise in Fig. 3 und Fig. 5 bzw. Fig. 8 und Fig. 9 dargestellt ist, kann beispielsweise in sechs Phasen unterteilt werden:
1. In der kartierten Einsatzumgebung 100 wird ein Bild 1123, 1323 aufgenommen, das zur Lokalisation verwendet werden soll.
2. Es werden zufällige bzw. beliebige Bildmerkmalspositionen bzw. Positionen von Bildmerkmalen 335 bestimmt.
3. Falls die Kameraposition bereits in etwa bekannt ist, kann dies genutzt werden, um den Suchbereich für die Lokalisation einzuschränken, beispielsweise indem nachfolgend lediglich solche Referenz-Bildmerkmale 235 aus der Nähe der geschätzten Position berücksichtigt werden.
4. Ähnlich wie bei der Kartenerstellung werden an den Bildmerkmalspositionen Merkmalsdeskriptoren berechnet. Falls hierbei eine Orientierung benötigt wird, kann diese erneut entweder absolut bestimmt werden, beispielsweise unter Verwendung eines Kompasses, oder, falls die Kameraorientierung relativ zum Koordinatensystem der Karte 170 aus einer vorherigen Posenbestimmung in etwa bekannt ist, kann diese Kameraorientierung als Merkmalsorientierung verwendet werden.
5. nachfolgend wird ein geeignetes Verfahren, wie beispielsweise Nearest Neighbor Matching, zur Korrespondenzfindung genutzt, um Korrespondenzen 555 zwischen den kartierten Referenz-Bildmerkmalen 235 und den aus dem Lokalisationsbild 1123, 1323 extrahierten Bildmerkmalen 335 zu bestimmen.
6. Die so gefundenen Korrespondenzen, die teilweise inkorrekt sein können, werden dann mit einem geeigneten Verfahren, wie beispielsweise einer RANSAC-basierte Schätzung einer euklidischen Transformation mit anschließender Levenberg-Marquardt-Optimierung, zur Posenschätzung verwendet.
Gemäß einem Ausführungsbeispiel kann auch eine sogenannte inkrementelle Lokalisation durchgeführt werden. Hierbei kann das Verfahren aus Fig. 8 auch ausgeführt werden, um eine relative Kamerapose gegenüber einer vorherigen Kamerapose zu schätzen bzw. zu ermitteln. Dies funktioniert ebenso, wie die zuvor beschriebene kartenbasierte Lokalisation, jedoch mit dem Unterschied, dass für die Korrespondenzfindung keine kartierten Referenz-Bildmerkmale 235 aus der Karte 170 zur Verfügung stehen. Stattdessen werden für die inkrementelle Lokalisation die Referenz-Bildmerkmale 235 aus dem vorherigen Bild 1123, 1323 oder aus einer Sequenz von vorherigen Bildern 1123, 1323, sowie dessen zuvor geschätzte Pose verwendet. Eine Einschränkung der inkrementellen Lokalisation gegenüber der kartenbasierten Lokalisation besteht darin, dass sich Ungenauigkeiten von Bild zu Bild fortpflanzen können, sodass die geschätzte Pose zunehmend stark von der tatsächlichen Pose abweichen kann. Die inkrementelle Lokalisation kann jedoch insbesondere für Bereiche der Einsatzumgebung 100 genutzt werden, die bei der Kartierung nicht berücksichtigt wurden.
Das vorgestellte Konzept der Verwendung zufälliger Bildmerkmalspositionen bzw. Positionen von Referenz-Bildmerkmalen 235 und Bildmerkmalen 335 kann sinnvoll erweitert werden. Die Verwendung zufälliger bzw. pseudozufälliger Positionen ist grundsätzlich vorteilhaft, da die extrahierten Referenz- Bildmerkmalen 235 und Bildmerkmale 335 im Mittel gleichverteilt sind. Dies gilt auch für die Verwendung eines fixen Musters an gleichverteilten Positionen, beispielsweise raster- oder gitterförmige Anordnung, jedoch kann es dabei vorkommen, dass die Merkmalsbildbereiche zweier überlappender Referenzbilder 1423 bzw. Bilder 1123, 1323 gerade so gegeneinander verschoben sind, dass es keine korrekten Merkmalskorrespondenzen zwischen denselben gibt (siehe auch Fig. 12). Die Bestimmung zufälliger Positionen kann rechenaufwendiger sein als die Verwendung einer fixen Menge von Positionen, beispielsweise gleichmäßig verteilte Positionen. Daher kann es sinnvoll sein, von der Verwendung zufälliger Merkmalspositionen abzuweichen. So gibt es abhängig vom Anwendungsfall mögliche Alternativen: 1. Für die kartenbasierte Lokalisation: Bei der Kartenerstellung können zufällige Positionen verwendet werden, da dieser Vorgang typischerweise nicht zeitkritisch ist. Während der zeitkritischeren Lokalisation kann dann auf eine vordefinierte, feste Verteilung von Positionen zurückgegriffen werden.
2. Für die inkrementelle Lokalisation: Hier ist die Merkmalsextraktion bei jedem Bild 1123, 1323 zeitkritisch, sodass es sinnvoll sein kann, ausschließlich fixe Mengen von Merkmalspositionen zu verwenden.
Um allgemein der oben beschriebenen Einschränkung entgegenzuwirken, dass die verwendeten Merkmalspositionen zweier überlappender Referenzbilder 1423 bzw. Bilder 1123, 1323 gerade so gegeneinander verschoben sind, dass es keine ausreichenden Überlappungen zwischen den Merkmalsbildbereichen gibt, können abwechselnd verschiedene Muster von Merkmalspositionen verwendet werden (siehe auch Fig. 13). Ein weiterer Ansatz zur Verringerung des Rechenaufwandes besteht beispielsweise darin, eine größere Anzahl von Zufallspositionsmustern vorab zu generieren, sodass diese nacheinander während der Lokalisation verwendet werden können.
Je nach Anwendung kann es sinnvoll sein, wenn für bestimmte Bildbereiche in höherer Dichte Referenz-Bildmerkmale 235 bzw. Bildmerkmalen 335 extrahiert werden als für andere Bildbereiche:
1. Im Hinblick auf die karten basierte Lokalisation: Hier kommt es auf die Überlappung der für die Kartenerstellung verwendeten Referenzbilder 1423 an. Wenn diese nicht oder nur kaum überlappen, wird mit einer Gleichverteilung der Merkmale die größte Wahrscheinlichkeit erzielt, bei der Lokalisation korrekte Korrespondenzen 555 zu finden, da zum Zeitpunkt der Bestimmung der Referenz-Bildmerkmalen 235 nicht bekannt ist, wie ein späteres Lokalisationsbild 1123, 1323 mit den Kartierungsbildern bzw. Referenzbildern 1423 überlappen wird. Wenn die Referenzbilder 1423 überlappen, werden in mehreren Referenzbildern 1423 für die Überlappungsbereiche Referenz-Bildmerkmale 235 extrahiert. In so einem Fall könnte es sinnvoll sein, in den überlappenden Bereichen bzw. Rändern der Referenzbilder 1423 weniger Merkmale zu extrahieren, als in den nicht überlappenden Bereichen bzw. Zentren der Referenzbilder 1423, sodass sich eine über alle Referenzbilder 1423 gemittelte Gleichverteilung der Merkmale bzw. deren Positionen ergibt.
2. Im Hinblick auf die inkrementelle Lokalisation: Hier sind ausschließlich die Bildbereiche interessant, die mit den vorherigen oder nächsten Bildern 1123, 1323 überlappen. Die Überlappung hängt von der Fahrgeschwindigkeit, der Fahrrichtung, und der Aufnahmefrequenz ab. Hier macht es Sinn, nur in den Bereichen Merkmale zu extrahieren, bei denen davon ausgegangen werden kann, dass sie mit einem vorherigen oder kommenden Bild 1123, 1323 überlappen werden, d. h. mehr Merkmale an den Bildrändern.
Eine weitere sinnvolle Erweiterung beruht auf einem Konzept, das auch als Reproduzierbarkeitsbedingung bezeichnet wird (siehe auch Fig. 14). Dabei handelt es sich um eine Bedingung, die Referenz-Bildmerkmale 235, die während der Kartenerstellung extrahiert werden, erfüllen müssen, damit sie gespeichert werden, wobei sie ansonsten beispielsweise verworfen und durch Merkmale ersetzt werden, welche die Bedingung erfüllen. Die Reproduzierbarkeitsbedingung fordert, dass ein Merkmalsbildbereich bzw. Referenz-Bildmerkmal 235 in zwei überlappenden Kartierungsbildern 1423 zu einem ähnlichen Merkmalsdeskriptor ausgewertet wird, und somit eine gewisse Robustheit gegenüber den Bildtransformationen, wie beispielsweise Translation und Rotation der Kamera sowie photometrischen Transformationen aufweist, die auf die Referenzbilder 1423 wirken. Es hat sich gezeigt, dass der Einsatz dieser Bedingung die Wahrscheinlichkeit erhöht, dass korrespondierende Merkmalsbildbereiche zwischen Kartierungsbildern 1423 und Lokalisationsbildern 1123, 1323 ebenfalls zu ähnlichen Merkmalsdeskriptoren ausgewertet werden, sodass die Wahrscheinlichkeit erhöht wird, korrekte Korrespondenzen 555 zu finden.
Gemäß einem weiteren Ausführungsbeispiel wird insbesondere ein vollständig parallelisiertes Lokalisationssystem 110 beispielsweise für Roboterschwärme vorgeschlagen. Hierbei handelt es sich um eine kostengünstige Lösung für die hochpräzise Lokalisation von mobilen Einheiten 120, beispielsweise autonomen Fahrzeugen bzw. Robotern. Hierbei werden zwei Konzepte miteinander verbunden: (1) ein zentralisiertes, serverbasiertes Lokalisationssystem 110, und (2) eine Lokalisationsmethode, die darauf beruht, dass Bodentexturmerkmale in einer zuvor erstellten Karte 170 wiedererkannt werden.
Ein typischer Anwendungsfall für dieses und andere Ausführungsbeispiele ist beispielsweise eine Lagerhalle, in der eine Mehrzahl bzw. ein Schwarm von autonomen Robotern als mobilen Einheiten 120 den Transport von Materialien, Waren, und Werkzeugen übernimmt. Damit sich die mobilen Einheiten 120 autonom bewegen können, ist es wichtig, dass sie ihre Pose, d.h. Position und Orientierung kennen. Je nachdem, welche Aufgabe eine mobile Einheit 120 ausführt, ergeben sich unterschiedlich hohe Anforderungen an die Präzision und Robustheit der Lokalisation. So kann es ausreichend sein, wenn eine mobile Einheit 120 ihre Position auf 10 cm genau kennt, während sie von einem Ort zum anderen fährt, insbesondere solange sie in der Lage ist, Hindernissen ad-hoc auszuweichen. Wenn die mobile Einheit 120 hingegen beispielsweise an einer bestimmten Stelle automatisch mit Material beladen werden soll, kann eine millimetergenaue Positionierung bzw. Lokalisation erforderlich sein. In einem Anwendungsfall, bei dem ein Großteil des Gütertransports im Lager von mobilen Einheiten 120 übernommen werden soll, kann eine Vielzahl von mobilen Einheiten 120 einzusetzen, die gleichzeitig agieren. Eine geeignete Technologie für die Lokalisation der mobilen Einheiten 120 in einem solchen Szenario ist die visuelle bzw. merkmalsbasierte Lokalisation mit einer nach unten gerichteten Kamera. Diese ermöglicht eine hochpräzise Lokalisation, ohne dass dafür Infrastrukturmaßnahmen zu treffen sind, wie beispielsweise ein Anbringen von visuellen Markern, Reflektoren oder Funkeinheiten. Zudem funktioniert diese Art der Lokalisation auch unter den erschwerten Bedingungen einer dynamischen Umgebung, wie einem Lager, in dem es keine statischen Landmarken zur Orientierung gibt, da beispielsweise Regale jederzeit anders angeordnet werden können. Dies liegt daran, dass Bodentexturen typischerweise langfristig stabil bleiben, insbesondere in geschützten Bereichen, wie einem Lager. Abnutzungen, die über die Zeit entstehen, finden typischerweise nur stellenweise statt, sodass die betroffenen Bereiche in einer Karte 170 des Anwendungsbereichs bzw. der Einsatzumgebung 100 weiterhin anhand ihrer Umgebung detektiert und anschließend entsprechend aktualisiert werden können. Die bodentexturbasierte Lokalisation beruht insbesondere darauf, dass visuelle Merkmale des Bodens 102 fingerabdruckartig zur eindeutigen Identifikation einer Stelle am Boden 102 genutzt werden können. Dabei ist typischerweise nicht ein einziges Merkmal, wie beispielsweise ein Asphaltstein, eindeutig wiedererkennbar, sondern die Konstellation einer Mehrzahl solcher visuellen Bodentexturmerkmale. Bevor die eigentliche Lokalisation durchgeführt werden kann, wird die Einsatzumgebung 100 kartiert, d. h. es werden während einer oder mehrerer Kartierungsfahrten Referenzbilder 1423 aufgenommen, deren relative Pose zueinander in einem Optimierungsverfahren bestimmt wird, beispielsweise mittels sogenanntem Image Stitching, sodass die Referenzbilder 1423 anschließend passend aneinander gelegt werden könnten. Unter Verwendung einer so erstellten Karte 170 kann eine mobile Einheit 120 dann lokalisiert werden, indem kartierte Referenz-Bildmerkmale 235 in dem zur Lokalisation aufgenommenen Bild 1123, 1323 wieder gefunden werden.
Für eine kostengünstige Umsetzung der bodentexturbasierten Lokalisation für eine Mehrzahl von mobilen Einheiten 120 in Gestalt eines Roboterschwarms oder dergleichen kann es sinnvoll sein, dass Teile des Rechenaufwandes von den mobilen Einheiten 120 ausgelagert auf einem zentralen Server bzw. einer Datenverarbeitungseinrichtung 140 durchgeführt werden. In einer einfachen Variante könnten hierbei die zur Lokalisation aufgenommen Bilder 1123, 1323 des Bodens 102 unverarbeitet an den Server gesendet werden, sodass Bildverarbeitung und anschließende merkmalsbasierte Lokalisation vollständig ausgelagert würden. Diese Variante kann jedoch ungünstig sein, denn bei einer solchen Konstellation können die mobilen Einheiten 120 nicht mehr unabhängig agieren, sondern müssten sich auf eine stabile und schnelle Verbindung zum Server verlassen. Zudem haben Bilder einen großen Speicherplatzbedarf, und würden einen entsprechend großen Kommunikationsaufwand verursachen. Eine sinnvollere Variante ist es daher, die Bildverarbeitung auf der mobilen Einheit 120 durchzuführen, und für die Lokalisation lediglich extrahierte Bildmerkmalen 335 an den Server zu übermitteln. Bei dieser Variante ist der Kommunikationsaufwand wesentlich geringer, und die mobile Einheit 120 kann optional zumindest temporär unabhängig vom Server agieren, indem sie seine aktuelle Pose jeweils relativ zur vorherigen bestimmt. Der Vorteil gegenüber einer Variante, die vollständig dezentralisiert, also auf den jeweiligen mobilen Einheiten 120, ausgeführt wird, besteht darin, dass die Karte 170 nicht auf den mobilen Einheiten 120, sondern lediglich auf dem Server gespeichert ist, und dass der im Vergleich zur relativen Lokalisation höhere Aufwand der absoluten Lokalisation ausgelagert wird. Absolute Lokalisation bedeutet hierbei, dass die Pose der mobilen Einheit 120 anhand einer zuvor aufgenommenen und optimierten Karte 170 bestimmt wird.
Gemäß zumindest einem Ausführungsbeispiel wird eine effiziente Implementierung einer zentralisierten bodentexturmerkmalsbasierten Lokalisation vorgeschlagen, bei der die Bildverarbeitung und eine relative Posenbestimmung (visuelle Odometrie) auf den mobilen Einheiten 120 stattfindet, während die absolute Posenbestimmung anhand einer zuvor aufgenommenen Karte 170 auf einen zentralen Server bzw. die Daten Verarbeitungseinrichtung 140 ausgelagert wird. Hierbei werden die drei Phasen der Lokalisation, d.h. Bildverarbeitung 1511, Kommunikation 1512 und Lokalisation 1513, parallel bzw. teilweise zeitlich überlappend durchgeführt. Um dies zu ermöglichen, wird auf die Verwendung beliebiger bzw. pseudozufälliger Merkmalsbildbereiche bzw. Positionen derselben zurückgegriffen oder anders ausgedrückt auf globale Optimalität verzichtet. Die Verwendung beliebiger angeordneter Merkmalsbildbereiche unterscheidet sich von herkömmlichen Verfahren, bei denen die optimalen Merkmalsbildbereiche, die für die Korrespondenzfindung mit den Referenzmerkmalen am besten geeignet sind, global bzw. im gesamten Bild bestimmt werden. Bei solchen herkömmlichen Verfahren ist jedoch das gesamte Bild vollständig zu betrachten, damit das Kriterium der globalen Optimalität erfüllt werden kann. Bevor dabei eine Menge geeigneter Merkmale gefunden ist und an den Server weitergeleitet werden kann, ist also das gesamte Bild vollständig zu verarbeiten. Gemäß Ausführungsbeispielen jedoch kann bei der bodentexturbasierten Lokalisation auf eine globale Optimalität der extrahierten Merkmale verzichtet werden, weil sich beispielsweise die Freiheitsgrade der Roboterpose auf zwei reduzieren lassen (x- und y-Position), da die Distanz zum Boden mit hoher Genauigkeit bekannt ist und die Orientierung mit guter Näherung geschätzt werden kann, absolut mit einem Kompass oder relativ gegenüber der vorherigen Pose, und weil es ausreichend ist, zufällige Merkmalsbildbereiche zu verwenden, da Bodentexturen eine sehr hohe Informationsdichte haben, sodass beliebige Bildbereiche zur eindeutigen fingerabdruckartigen Identifikation des Bodenbereichs genutzt werden können. Die Verwendung zufälliger bzw. beliebiger Positionen insbesondere für die Bildmerkmale 335 ermöglicht es, dass ein Merkmal nach dem anderen berechnet wird und anschließend direkt an den Server bzw. an die Datenverarbeitungseinrichtung 140 gesendet werden kann. Der Server erhält somit von der zumindest einen mobilen Einheit 120 einen konstanten Fluss extrahierter Bildmerkmale 335, sodass Bildverarbeitung 1511 und Kommunikation 1512 parallel bzw. zeitlich teilweise überlappend durchgeführt werden können. Die anschließende, auf dem Server stattfindende Lokalisation 1513 auf Basis der erhaltenen Bildmerkmale 335 aus dem Lokalisationsbild 1123, 1323 sowie der Karte 170 des Anwendungsbereichs bzw. der Einsatzumgebung 100 kann ebenso parallel bzw. zeitlich teilweise überlappend durchgeführt werden. Dafür kann beispielsweise ein Abstimmungsverfahren (engl. voting procedure) angewandt werden, bei dem jede gefundene Merkmalskorrespondenz bzw. Korrespondenz 555 für die Position der Kamera zum Aufnahmezeitpunkt abstimmt. So ein Verfahren ermöglicht es, dass Korrespondenzen 555 nacheinander parallel bzw. zeitlich teilweise überlappend zur Kommunikation 1512 und Bildverarbeitung 1511 eingetragen werden.
Bei einem herkömmlichen Konzept eines zentralisierten Lokalisationssystems, bei dem korrespondierende Bildmerkmale zur Lokalisation verwendet werden, und bei dem Teile der notwendigen Berechnungen auf einen Server ausgelagert werden (siehe z. B. Schmuck and Chli (2019); Kim et al. (2019)), wird der Ablauf der Lokalisation als ein sequentieller Prozess betrachtet, d. h. zuerst findet die Bildverarbeitung 1511 statt, nachdem diese abgeschlossen ist, werden die zur Lokalisation 1513 notwendigen Informationen vollständig an den Server übertragen, und nachdem die Kommunikation 1512 mit dem Server abgeschlossen ist, berechnet dieser eine Posenschätzung des Roboters, wie in Fig. 15 als erster Ablauf 1500 dargestellt.
Gemäß Ausführungsbeispielen kann ein herkömmliches Konzept des zentralisierten Lokalisationssystems verbessert werden, indem die Lokalisation nicht in sequentiellen Phasen, sondern parallel, also in zeitlich teilweise überlappenden Prozessen bzw. Phasen stattfindet, sodass die Lokalisation wesentlich schneller abgeschlossen werden kann, siehe auch den zweiten Ablauf 1505 in Fig. 15. Ermöglicht wird dies unter anderem durch die Verwendung von Bodentexturbildern anstatt von Bildern von nach vorne gerichteten Kameras, sowie durch den Verzicht auf global bzw. bildweit optimale Bildmerkmale. Es hat sich gezeigt, dass bei der bodentexturbasierten Lokalisation beliebige Bildmerkmalsbereiche verwendet werden können. Dies wäre für Bilder von nach vorne gerichteten Kameras nicht der Fall, da dies ein komplexeres Problem ist, bei dem die Größe der verwendeten Bildmerkmalsbereiche entscheidend ist, um korrekte Korrespondenzen zwischen Karte und Lokalisationsbild zu finden, und zudem wären größere Teile der beobachteten Umgebung nicht für die Korrespondenzbildung geeignet, z. B. weil sie nicht statisch sind oder wenig visuelle Informationen enthalten. Bei nach unten gerichteten Kameras kann eine konstante Größe der verwendeten Bildmerkmalsbereiche verwendet werden, da der Abstand zum Boden 102 im Wesentlichen konstant ist. Zudem hat sich gezeigt, dass typische Bodentexturen überall über ausreichend Informationsgehalt zur Korrespondenzbildung verfügen.
Gemäß Ausführungsbeispielen kann eine zentralisierte bildbasierte Lokalisation beschleunigt werden. Dies behebt den Mangel bei herkömmlichen Lokalisationsverfahren, dass eine lange Zeit zwischen der Aufnahme des Lokalisationsbildes und dem Abschluss der Posenschätzung vergehen kann. Dies ist insbesondere dann von Belang, wenn eine hohe Positionierungsgenauigkeit gefordert ist, denn auch wenn die Pose des Lokalisationsbildes sehr genau bestimmt wird, ist die mobile Einheit inzwischen weitergefahren, sodass die derzeitige Pose ungenauer durch Abschätzung des zwischenzeitlich zurückgelegten Weges bestimmt werden müsste. Wenn eine Einheit derartig abhängig von einer hochpräzisen Posenschätzung ist, dass sie stehenbleiben müsste, bis sie die Posenschätzung vom Server erhalten hat, würde sie ebenso von Ausführungsbeispielen profitieren, da Stillstandszeiten verkürzt werden könnten.
Der Vorteil eines wie gemäß Ausführungsbeispielen realisierten Lokalisationsverfahrens, das zur Lokalisation bildbasierte Methoden verwendet, besteht darin, dass es eine infrastrukturfreie Lösung ist, d. h. die Einsatzumgebung 100 braucht nicht (notwendigerweise) dafür angepasst zu werden, stattdessen werden vorhandene Landmarken zur Ortsbestimmung genutzt. Zudem sind Kameras kostengünstig, z. B. im Vergleich zu Radar, funktionieren in Innen- und Außenbereichen, was z. B. für GPS nicht der Fall ist, und ermöglichen eine hochpräzise Posenbestimmung, z. B. im Vergleich mit Radiometrie. Der Vorteil eines wie gemäß Ausführungsbeispielen realisierten bildbasierten Lokalisationsverfahrens, das eine nach unten gerichtete Kamera verwendet, um Bodentexturbilder aufzunehmen, besteht darin, dass es auch in Einsatzumgebung 100 funktioniert, in denen Objekte jederzeit verstellt werden können, oder die Sicht auf die Umgebung eingeschränkt sein kann, z. B. in Lagerhallen oder unter Menschenmengen. Zudem ist eine hochpräzise Lokalisation gemäß Ausführungsbeispielen einfach zu realisieren, da die beobachteten visuellen Merkmale sehr dicht an der Kamera sind, im Vergleich zu den Merkmalen aus Bildern von nach vorne gerichteten Kameras, und bei Verwendung einer eigenen künstlichen Beleuchtung beispielsweise mittels der zumindest einen Beleuchtungseinrichtung 124 funktioniert die Lokalisation unabhängig von äußeren Lichtbedingungen.
Der Vorteil eines wie gemäß Ausführungsbeispielen realisierten bodentexturbasierten Lokalisationsverfahrens, das beliebige bzw. zufällige Merkmalsbildbereiche bzw. Positionen derselben zur Korrespondenzbildung verwendet, besteht darin, dass der Rechenaufwand der Bildverarbeitung reduziert werden kann, da es im Gegensatz zum Einsatz eines (typischen) Merkmalsdetektors nicht notwendig ist, das gesamte Bild vollständig zu verarbeiten, um etwa optimale Merkmalsbildbereiche zu identifizieren. Stattdessen werden gemäß Ausführungsbeispielen Merkmale an beliebigen Stellen des Referenzbildes 1423 bzw. des Bildes 1123, 1323 ermittelt. Eine solche Methode hat zudem den Vorteil, dass es nicht notwendig ist, dass die Bildverarbeitung abgeschlossen ist, bevor die Informationen im nächsten Verarbeitungsschritt genutzt werden können. Stattdessen kann die Bildverarbeitung schrittweise, d.h. Merkmal für Merkmal durchgeführt werden, während die bisher gewonnenen Informationen bereits im nächsten Verarbeitungsschritt zur Verfügung stehen. Der Vorteil einer wie gemäß Ausführungsbeispielen realisierten Lokalisationsmethode, die einen Speicherund Rechenaufwand teilweise auf einen zentralen Server auslagert, besteht darin, dass diese Kapazitäten auf den einzelnen Spielen Einheiten 120, wie beispielsweise autonomen Fahrzeugen, Robotern oder dergleichen, eingespart werden können, sodass eine kostengünstige Skalierung der Schwarmgröße erreicht wird.
Gemäß Ausführungsbeispielen wird insbesondere ein zentralisiertes bodentexturbasiertes Lokalisationsverfahren vorgestellt, bei dem beliebige Bildbereiche zur Merkmalsextraktion genutzt werden. Ein Vorteil, den dies gegenüber einem herkömmlichen zentralisierten Lokalisationsverfahren hat, besteht darin, dass die Lokalisation schneller durchgeführt werden kann, sodass eine höhere Positionierungsgenauigkeit erzielt werden kann.
Nachfolgend wird zunächst ein einfaches Ausführungsbeispiel beschrieben, bevor auf einige mögliche Alternativen und Erweiterungen eingegangen wird. Wie in Fig. 1 dargestellt, wird für den Einsatz der Verfahren 600, 700, 800, 900 aus den Figuren 6 bis 9 ein System 110 verwendet, die eine oder mehrere mobile Einheiten 120, beispielsweise Roboter oder andere zu lokalisierende Vehikel, und einen zentralen Server bzw. eine Datenverarbeitungseinrichtung 140 aufweist. Jede mobile Einheit ist insbesondere mit einer nach unten gerichteten Kamera bzw. Bilderfassungseinrichtung 122, sowie einer Recheneinheit und einem Funkmodul, beispielsweise WLAN oder Mobilfunk, ausgestattet. Optional kann der Aufnahmebereich der Kamera durch eine künstliche Beleuchtung erhellt werden, sodass die Aufnahme einerseits unabhängig von externen Lichtbedingungen ist und kurze Belichtungszeiten der Kamera realisiert werden können, damit die Bilder möglichst wenig Bewegungsunschärfe aufweisen. Der Server verfügt selbst über Rechenkapazitäten, ein Funkmodul für die Kommunikation mit den mobilen Einheiten 120, sowie einen Speicher, auf dem sich insbesondere die gesamte voraufgezeichnete Karte 170 der Einsatzumgebung 100 befindet. Das Lokalisationsverfahren kann grundsätzlich in zwei Teile unterteilt werden, das Erstellen der Karte 170 sowie die eigentliche Lokalisation.
Um die Einsatzumgebung 100 zu kartieren, kann eine speziell dafür entworfene mobile Einheit 120, die beispielsweise einen breiten Streifen des Bodens 102 auf einmal aufnehmen kann, oder zumindest eine der normalen mobilen Einheiten 120 bzw. Anwendungsroboter verwendet werden. Die Einsatzumgebung 100 wird beispielsweise vollständig abgefahren und somit gescannt. Anschließend liegt eine lange Sequenz von überlappenden Bodentexturbildern bzw. Referenzbildern 1423 vor. Aus diesen werden die Referenz-Bildmerkmale 235 extrahiert. Jedes Referenz-Bildmerkmal 235 ist einerseits durch seinen zugehörigen Bildbereich definiert, beispielsweise durch die Bildkoordinaten seines Mittelpunktes sowie einen Radius und einen Orientierungswinkel, und zum anderen wird für jedes Referenz-Bildmerkmal 235 ein Merkmalsdeskriptor berechnet, der den zugehörigen Merkmalsbildbereich beschreibt. Typischerweise wird eine geeignete Merkmalsdetektionsmethode verwendet, um die besten Merkmalsbildbereiche im Referenzbild 1423 zu finden. Ein Merkmalsbildbereich ist hierbei dann gut geeignet, wenn in überlappenden Referenzbildern 1423 mit hoher Wahrscheinlichkeit ein ähnlicher Bildbereich wiedergefunden werden kann. Herkömmlicherweise werden hierbei die Bildbereiche bestimmt, bei denen eine bestimmte Eigenschaft am stärksten ausgeprägt ist (globale Optimierung). Ein Beispiel für eine solche Eigenschaft wäre der Kontrast zur lokalen Umgebung. Gemäß Ausführungsbeispielen wird jedoch eine Methode ohne globale Optimierung verwendet, da sich gezeigt hat, dass es für die bodentexturbasierte Lokalisation hinreichend ist, zufällige bzw. beliebige Positionen zu verwenden. Es können aber auch andere intelligente Verfahren eingesetzt werden, solange sie ohne globale Optimierung auskommen. Beispielsweise kann das Referenzbild 1423 systematisch nach Stellen mit einer bestimmten Eigenschaft abgesucht werden, z. B. Stellen, die wie Ecken, Kanten, oder Kreuzungen aussehen. Für die Merkmalsbeschreibung können anschließend gängige Verfahren, wie SIFT (Lowe (2004)), oder ein schnelleres Verfahren, wie BRIEF (Calonder et al. (2010)), verwendet werden. Nach der Merkmalsextraktion werden Korrespondenzen zwischen den Merkmalen überlappender Referenzbilder 1423 gefunden. Dafür wird typischerweise ein Distanzmaß zwischen den Merkmalsdeskriptoren berechnet, sodass die Merkmale mit ähnlichen Deskriptoren als korrespondierend vorgeschlagen werden können. Anschließend werden inkorrekte Korrespondenzen herausgefiltert und anhand der verbleibenden Korrespondenzen werden die Posen der Referenzbilder 1423 geschätzt, sodass ihre Überlappungen korrekt übereinander gelegt sind und eine Art Mosaik des aufgenommenen Bodens 102 erhalten werden kann. Die optimierten Bildposen, sowie die extrahierten Referenz-Bildmerkmale werden in der Karte 170 auf dem Server gespeichert, sodass bei der eigentlichen Lokalisation die Pose eines Lokalisationsbildes 1123, 1323 innerhalb der Karte 170 bestimmt werden kann.
Zur Lokalisation nimmt eine mobile Einheit 120, die sich lokalisieren möchte, ein Bild 1123, 1323 des Bodens 102 auf. Anschließend wird ein Bildmerkmal 335 nach dem anderen extrahiert und folgender Ablauf wird für jedes Bildmerkmal 335 angestoßen:
1. Bildverarbeitung auf dem Roboter: Ein Merkmalsbildbereich wird bestimmt, dies sollte mit dem gleichen Verfahren wie bei der Kartierung geschehen, beispielsweise durch einen Zufallsprozess.
2. Bildverarbeitung auf dem Roboter: Ein Merkmalsdeskriptor wird für den Merkmalsbildbereich berechnet, dabei wird die gleiche Methode wie bei der Kartierung zur Merkmalsbeschreibung verwendet.
3. Kommunikation: die Lokalisationsdaten 180, d.h. Informationen über den gewählten Merkmalsbildbereich, insbesondere die Bildkoordinaten sowie der Deskriptor, werden an den Server gesendet.
4. Lokalisation auf dem Server: Die Lokalisationsdaten 180 erreichen den Server. Dort wird in der Karte 170 nach korrespondierenden Bildmerkmalen gesucht. Falls die ungefähre Pose der mobilen Einheit 120 bereits bekannt ist, kann der Suchbereich dabei eingeschränkt werden.
5. Lokalisation auf dem Server: Die bisher während des Lokalisationsprozesses gefundenen Korrespondenzen 555 werden genutzt, um die Pose der mobilen Einheit 120 zu bestimmen. Beispielsweise kann dafür ein Abstimmungsverfahren verwendet werden, bei dem jede Korrespondenz 555 mit einer Stimme für die korrekte Pose auf der Karte 170 abstimmt, wobei die Menge der Stimmen mit jedem verarbeiteten Bildmerkmal 335 erweitert wird. Sobald ausreichend Bildmerkmale 335 verarbeitet wurden, bzw. sobald die Konfidenz in die aktuelle Posenschätzung hoch genug ist, kann der Server der mobilen Einheit 120 ihre Pose mitteilen, sodass Bildverarbeitung und Kommunikation beendet werden können. Um eine ausreichend hohe Positionierungsgenauigkeit aufrechtzuerhalten, kann gemäß einem Ausführungsbeispiel die Pose einer sich bewegenden mobilen Einheit 120 in kurzen Abständen aktualisiert werden. Denkbar wären hier Aktualisierungsraten von 10 bis 60 Hertz. In einem System 110 mit einer Vielzahl von mobilen Einheiten 120 könnte dies allerdings zu einem enormen Kommunikationsaufwand führen, sodass es sinnvoll sein kann, nur jede n-te Aktualisierung auf dem Server durchführen zu lassen. Für die Zwischenschritte könnte die Pose jeweils relativ zur vorherigen berechnet werden (visuelle Odometrie). Die karten basierte absolute Lokalisation über den Server könnte dann lediglich dazu genutzt werden, um regelmäßig den akkumulierten Fehler (Drift) der lokalen Posenschätzung auf der mobilen Einheit 120 zu korrigieren.
Gemäß einem Ausführungsbeispiel wird auf dem Server bzw. der Datenverarbeitungseinheit 140 ein Konfidenzwert für die aktuelle Posenschätzung bestimmt, sodass die Lokalisation abgeschlossen werden kann, sobald dieser eine definierte Schwelle überschritten hat.
Statt einer nach unten gerichteten Kamera ist es auch denkbar, dass eine nach oben gerichtete Kamera auf ähnliche Weise verwendet wird. Dies funktioniert jedoch lediglich in Innenräumen und bei bekannter Deckenhöhe. Hierbei wird anstelle des Bodens 102 eine Decke der Einsatzumgebung 100 aufgenommen.
Bei dem hier beschriebenen System 110 wurde beispielsweise davon ausgegangen, dass es eine eigenständige Kartierungsfahrt gibt. Es ist ebenso denkbar, dass die Karte 170 online von den mobilen Einheiten 120 erstellt wird. Dafür könnten die mobilen Einheiten 120 jeweils lokale eigene Karten erstellen, die zu einem späteren Zeitpunkt auf dem Server zu der Karte 170 als einer großen gemeinsamen Karte vereint werden. Hierbei würde es sich dann um ein System für Simultaneous Localization And Mapping (SLAM) handeln.
Anstatt stets ein extrahiertes Bildmerkmalen 335 nach dem anderen zu versenden, kann es für die Kommunikation sinnvoll sein, eine Menge von Merkmalen auf einmal zu versenden, um einen Kommunikations-Overhead zu verringern. Auch in einer denkbaren Variante ohne Server, bei der die Berechnung vollständig auf der mobilen Einheit 120 abläuft, kann es von Vorteil sein, die Bildverarbeitung sowie die Lokalisation zu parallelisieren. Dies kann genutzt werden, um die verfügbare Hardware besser auszunutzen, beispielsweise bei
Mehrkernprozessoren oder wenn Teile der Berechnungen auf dedizierte Hardware wie Grafikkarten ausgelagert werden können. Zudem kann auch hier die Bildverarbeitung gestoppt werden, sobald die Konfidenz in die aktuelle Posenschätzung ausreichend groß ist.

Claims

- 47 - Ansprüche
1. Verfahren (600) zum Bereitstellen von Kartierungsdaten (160) für eine Karte (170) einer Einsatzumgebung (100) für zumindest eine mobile Einheit (120), wobei das Verfahren (600) folgende Schritte aufweist:
Einlesen (632) von Referenz- Bilddaten (223) von einer Schnittstelle (231) zu einer Bilderfassungseinrichtung (122) der mobilen Einheit (120), wobei die Referenz- Bilddaten (223) eine Mehrzahl von Referenzbildern (1423) repräsentieren, die mittels der Bilderfassungseinrichtung (122) von pro Referenzbild (1423) spezifischen Teilabschnitten (104) eines Bodens (102) der Einsatzumgebung (100) aufgenommen sind, wobei benachbarte Teilabschnitte (104) teilweise überlappen;
Extrahieren (634) einer Mehrzahl von Referenz-Bildmerkmalen (235) für jedes Referenzbild (1423) unter Verwendung der Referenz- Bilddaten (223), wobei Positionen der Referenz-Bildmerkmale (235) in jedem Referenzbild (1423) mittels eines Zufallsprozesses und/oder gemäß einem vordefinierten Verteilungsschema bestimmt werden;
Erzeugen (636) der Kartierungsdaten (160), wobei an der Position jedes Referenz-Bildmerkmals (235) ein Referenz- Merkmalsdeskriptor unter Verwendung der Referenz- Bilddaten (223) ermittelt wird, wobei die Kartierungsdaten (160) die Referenz- Bilddaten (223), die Positionen der Referenz-Bildmerkmale (235) und die Referenz- Merkmalsdeskriptoren aufweisen.
2. Verfahren (700) zum Erstellen einer Karte (170) einer Einsatzumgebung (100) für zumindest eine mobile Einheit (120), wobei das Verfahren (700) folgende Schritte aufweist: - 48 -
Empfangen (752) von Kartierungsdaten (160) von einer Kommunikationsschnittstelle (451) zu der zumindest einen mobilen Einheit (120), wobei die Kartierungsdaten (160) gemäß einem Verfahren (600) nach einem der vorangegangenen Ansprüche bereitgestellt sind;
Bestimmen (754) einer Referenzpose (455) der Bilderfassungseinrichtung (122) für jedes Referenzbild (1423) relativ zu einem Bezugskoordinatensystem unter Verwendung der Kartierungsdaten (160) und abhängig von unter Verwendung der Referenz- Merkmalsdeskriptoren ermittelten Korrespondenzen zwischen Referenz-Bildmerkmalen (235) überlappender Referenzbilder (1423); und
Kombinieren (756) der Referenzbilder (1423) abhängig von den Referenzposen (455), der Positionen der Referenz-Bildmerkmale (235), der Referenz- Merkmalsdeskriptoren und der Referenzposen (455), um die Karte (170) der Einsatzumgebung (100) zu erstellen. Verfahren (700) gemäß Anspruch 2, bei dem im Schritt (754) des Bestimmens die Referenzpose (455) abhängig von Korrespondenzen zwischen Referenz-Bildmerkmalen (235) bestimmt wird, zu denen in überlappenden Referenzbildern (1423) Referenz-Merkmalsdeskriptoren ermittelt wurden, die ein Ähnlichkeitskriterium bezüglich einander erfüllen. Verfahren (800) zum Bestimmen von Lokalisationsdaten (180) für eine Lokalisation zumindest einer mobilen Einheit (120) in einer Einsatzumgebung (100), wobei das Verfahren (800) folgende Schritte aufweist:
Einlesen (832) von Bilddaten (323) von einer Schnittstelle (231) zu einer Bilderfassungseinrichtung (122) der mobilen Einheit (120), wobei die Bilddaten (323) zumindest ein Bild (1123, 1323) repräsentieren, das mittels der Bilderfassungseinrichtung (122) von einem Teilabschnitt (104) eines Bodens (102) der Einsatzumgebung (100) aufgenommen ist; - 49 -
Extrahieren (834) einer Mehrzahl von Bildmerkmalen (335) für das Bild (1123, 1323) unter Verwendung der Bilddaten (323), wobei Positionen der Bildmerkmale (335) in dem Bild (1123, 1323) mittels eines Zufallsprozesses und/oder gemäß einem vordefinierten Verteilungsschema bestimmt werden;
Generieren (836) eines Merkmalsdeskriptors an der Position jedes Bildmerkmals (335) unter Verwendung der Bilddaten (323), um die Lokalisationsdaten (180) zu bestimmen, wobei die Lokalisationsdaten (180) die Positionen der Bildmerkmale (335) und die Merkmalsdeskriptoren aufweisen. Verfahren (800) gemäß Anspruch 4, mit einem Schritt (838) des Ausgebens der Lokalisationsdaten (180) an eine Schnittstelle (239) zu einer Datenverarbeitungseinrichtung (140), wobei die Lokalisationsdaten (180) in einer Mehrzahl von Datenpaketen ausgegeben werden, wobei jedes Datenpaket mindestens eine Position eines Bildmerkmals (335) und mindestens einen Merkmalsdeskriptor umfasst, wobei ein Datenpaket ausgegeben wird, sobald mindestens ein Merkmalsdeskriptor generiert ist. Verfahren (800) gemäß einem der Ansprüche 4 bis 5, mit einem Schritt (842) des Eruierens von Korrespondenzen zwischen Bildmerkmalen (335) der Lokalisationsdaten (180) und Referenz-Bildmerkmalen (235) eines vorhergehenden Bildes (1123, 1323) unter Verwendung der Merkmalsdeskriptoren der Lokalisationsdaten (180) und von Referenz- Merkmalsdeskriptoren des vorhergehenden Bildes (1123, 1323) und mit einem Schritt (844) des Bestimmens einer Pose der Bilderfassungseinrichtung (122) für das Bild (1123, 1323) relativ zu dem Bezugskoordinatensystem abhängig von den im Schritt (842) des Eruierens eruierten Korrespondenzen, um die Lokalisation durchzuführen. - 50 - Verfahren (600; 800) gemäß einem der Ansprüche 1 und 4 bis 6, bei dem im Schritt (634; 834) des Extrahierens ein Zufallsprozess und/oder ein vordefiniertes Verteilungsschema verwendet wird, bei dem eine Liste mit allen möglichen Bildpositionen von Referenz-Bildmerkmalen (235) oder Bildmerkmalen (335) erzeugt wird und die Liste pseudozufällig gemischt oder Positionen pseudozufällig aus der Liste ausgewählt werden, und/oder bei dem ein festes Muster von Positionen oder eines von mehreren pseudozufällig erstellten Mustern von Positionen genutzt wird. Verfahren (600; 800) gemäß einem der Ansprüche 1 und 4 bis 7, bei dem im Schritt (634; 834) des Extrahierens ein Zufallsprozess und/oder ein vordefiniertes Verteilungsschema verwendet wird, bei dem eine variable oder festgelegte Anzahl von Positionen genutzt wird und/oder bei dem für unterschiedliche Teilbereiche eines Referenzbildes (1423) oder des Bildes (1123, 1323) unterschiedliche Verteilungsdichten von Positionen festgelegt werden. Verfahren (900) zur Lokalisation zumindest einer mobilen Einheit (120) in einer Einsatzumgebung (100), wobei das Verfahren (900) folgende Schritte aufweist:
Empfangen (952) von Lokalisationsdaten (180) von einer Kommunikationsschnittstelle (451) zu der zumindest einen mobilen Einheit (120), wobei die Lokalisationsdaten (180) gemäß einem Verfahren (800) nach einem der Ansprüche 4 bis 8 bestimmt sind;
Ermitteln (954) von Korrespondenzen (555) zwischen Bildmerkmalen (335) der Lokalisationsdaten (180) und Referenz-Bildmerkmalen (235) einer gemäß einem Verfahren (600; 700) nach einem der Ansprüche 1 bis 3 erstellten Karte (170) unter Verwendung der Merkmalsdeskriptoren der Lokalisationsdaten (180) und der Referenz- Merkmalsdeskriptoren der Karte (170); Bestimmen (956) einer Pose der Bilderfassungseinrichtung (122) für das Bild (1123, 1323) relativ zu dem Bezugskoordinatensystem abhängig von den im Schritt (954) des Ermittelns ermittelten Korrespondenzen (555) und unter Verwendung der Referenzposen (455) der Karte (170), um eine die Pose repräsentierende Poseninformation (190) zu generieren; und
Ausgeben (958) der Poseninformation (190) an die Kommunikationsschnittstelle (451) zu der zumindest einen mobilen Einheit (120), um die Lokalisation durchzuführen. Verfahren (900) gemäß Anspruch 9, bei dem im Schritt (956) des Bestimmens auf die im Schritt (954) des Ermittelns ermittelten Korrespondenzen (555) Gewichtungswerte und/oder Konfidenzwerte angewandt werden, um bewertete Korrespondenzen zu generieren, wobei die Pose abhängig von den bewerteten Korrespondenzen bestimmt wird. Vorrichtung (130) für eine mobile Einheit (120), wobei die Vorrichtung (130) eingerichtet ist, um die Schritte des Verfahrens (600) gemäß einem der Ansprüche 1, 7 und 8 und/oder des Verfahrens (800) gemäß einem der Ansprüche 4 bis 8 in entsprechenden Einheiten (232, 234, 236; 332, 334, 336) auszuführen und/oder anzusteuern. Vorrichtung (150) für eine Datenverarbeitungseinrichtung (140), wobei die Vorrichtung (150) eingerichtet ist, um die Schritte des Verfahrens (700) gemäß einem der Ansprüche 2 bis 3 und/oder des Verfahrens (900) gemäß einem der Ansprüche 9 bis 10 in entsprechenden Einheiten (452, 454, 456; 552, 554, 556, 558) auszuführen und/oder anzusteuern. Lokalisationssystem (110) für eine Einsatzumgebung (100), in der zumindest eine mobile Einheit (120) einsetzbar ist, wobei das Lokalisationssystem (110) folgende Merkmale aufweist: die zumindest eine mobile Einheit (120), wobei die mobile Einheit (120) eine Vorrichtung (130) für eine mobile Einheit (120) gemäß Anspruch 11 aufweist; und eine Datenverarbeitungseinrichtung (140), wobei die
Datenverarbeitungseinrichtung (140) eine Vorrichtung (150) für eine Datenverarbeitungseinrichtung (140) gemäß Anspruch 12 aufweist, wobei die Vorrichtung (130) für die mobile Einheit (120) und die Vorrichtung (150) für die Datenverarbeitungseinrichtung (140) datenübertragungsfähig miteinander verbunden sind. Computerprogramm, das dazu eingerichtet ist, die Schritte eines Verfahrens (600; 700; 800; 900) gemäß einem der vorangegangenen Ansprüche auszuführen und/oder anzusteuern. Maschinenlesbares Speichermedium, auf dem das Computerprogramm nach Anspruch 14 gespeichert ist.
PCT/EP2021/078613 2020-10-19 2021-10-15 Verfahren und vorrichtung zum kartieren einer einsatzumgebung für zumindest eine mobile einheit sowie zur lokalisation zumindest einer mobilen einheit in einer einsatzumgebung und lokalisationssystem für eine einsatzumgebung WO2022084182A1 (de)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202180071140.6A CN116324886A (zh) 2020-10-19 2021-10-15 为至少一个移动单元绘制使用环境并在使用环境中定位至少一个移动单元的方法和设备及用于使用环境的定位系统
US18/044,494 US20240029299A1 (en) 2020-10-19 2021-10-15 Method and device for mapping a deployment environment for at least one mobile unit and for locating at least one mobile unit in a deployment environment, and locating system for a deployment environment
EP21793924.8A EP4229597A1 (de) 2020-10-19 2021-10-15 Verfahren und vorrichtung zum kartieren einer einsatzumgebung für zumindest eine mobile einheit sowie zur lokalisation zumindest einer mobilen einheit in einer einsatzumgebung und lokalisationssystem für eine einsatzumgebung

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102020213151.1A DE102020213151A1 (de) 2020-10-19 2020-10-19 Verfahren und Vorrichtung zum Kartieren einer Einsatzumgebung für zumindest eine mobile Einheit sowie zur Lokalisation zumindest einer mobilen Einheit in einer Einsatzumgebung und Lokalisationssystem für eine Einsatzumgebung
DE102020213151.1 2020-10-19

Publications (1)

Publication Number Publication Date
WO2022084182A1 true WO2022084182A1 (de) 2022-04-28

Family

ID=78212128

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2021/078613 WO2022084182A1 (de) 2020-10-19 2021-10-15 Verfahren und vorrichtung zum kartieren einer einsatzumgebung für zumindest eine mobile einheit sowie zur lokalisation zumindest einer mobilen einheit in einer einsatzumgebung und lokalisationssystem für eine einsatzumgebung

Country Status (5)

Country Link
US (1) US20240029299A1 (de)
EP (1) EP4229597A1 (de)
CN (1) CN116324886A (de)
DE (1) DE102020213151A1 (de)
WO (1) WO2022084182A1 (de)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190107400A1 (en) * 2017-08-03 2019-04-11 aiPod, Inc. Localization of Autonomous Vehicles via Ground Image Recognition
DE102017220291A1 (de) 2017-11-14 2019-05-16 Robert Bosch Gmbh Verfahren zur automatischen Führung eines Fahrzeugs entlang eines virtuellen Schienensystems

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102015004923A1 (de) 2015-04-17 2015-12-03 Daimler Ag Verfahren zur Selbstlokalisation eines Fahrzeugs
US10339390B2 (en) 2016-02-23 2019-07-02 Semiconductor Components Industries, Llc Methods and apparatus for an imaging system
DE102018210765A1 (de) 2018-06-29 2020-01-02 Volkswagen Aktiengesellschaft Lokalisierungssystem und Verfahren zum Betreiben desselben

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190107400A1 (en) * 2017-08-03 2019-04-11 aiPod, Inc. Localization of Autonomous Vehicles via Ground Image Recognition
DE102017220291A1 (de) 2017-11-14 2019-05-16 Robert Bosch Gmbh Verfahren zur automatischen Führung eines Fahrzeugs entlang eines virtuellen Schienensystems

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
CAI ZHIAO ET AL: "Monocular Visual-Inertial Odometry Based on Sparse Feature Selection with Adaptive Grid", 2018 IEEE INTELLIGENT VEHICLES SYMPOSIUM (IV), IEEE, 26 June 2018 (2018-06-26), pages 1842 - 1847, XP033423445, DOI: 10.1109/IVS.2018.8500546 *
FABIAN SCHMID JAN ET AL: "Ground Texture Based Localization: Do We Need to Detect Keypoints?", 2020 IEEE/RSJ INTERNATIONAL CONFERENCE ON INTELLIGENT ROBOTS AND SYSTEMS (IROS), 25 October 2020 (2020-10-25), pages 4575 - 4580, XP055877342, ISBN: 978-1-7281-6212-6, Retrieved from the Internet <URL:https://ieeexplore.ieee.org/stampPDF/getPDF.jsp?tp=&arnumber=9340996&ref=aHR0cHM6Ly9pZWVleHBsb3JlLmllZWUub3JnL2RvY3VtZW50LzkzNDA5OTY=> DOI: 10.1109/IROS45743.2020.9340996 *
JAN FABIAN SCHMID ET AL: "Features for Ground Texture Based Localization -- A Survey", ARXIV.ORG, CORNELL UNIVERSITY LIBRARY, 201 OLIN LIBRARY CORNELL UNIVERSITY ITHACA, NY 14853, 27 February 2020 (2020-02-27), XP081611803 *
NOWAK ERIC ET AL: "Sampling Strategies for Bag-of-Features Image Classification", 7 May 2006, ADVANCES IN BIOMETRICS : INTERNATIONAL CONFERENCE, ICB 2007, SEOUL, KOREA, AUGUST 27 - 29, 2007 ; PROCEEDINGS; [LECTURE NOTES IN COMPUTER SCIENCE; LECT.NOTES COMPUTER], SPRINGER, BERLIN, HEIDELBERG, PAGE(S) 490 - 503, ISBN: 978-3-540-74549-5, XP047430115 *
ZHANG LINGUANG ET AL: "High-Precision Localization Using Ground Texture", 2019 INTERNATIONAL CONFERENCE ON ROBOTICS AND AUTOMATION (ICRA), IEEE, 20 May 2019 (2019-05-20), pages 6381 - 6387, XP033594043, DOI: 10.1109/ICRA.2019.8794106 *

Also Published As

Publication number Publication date
US20240029299A1 (en) 2024-01-25
DE102020213151A1 (de) 2022-04-21
EP4229597A1 (de) 2023-08-23
CN116324886A (zh) 2023-06-23

Similar Documents

Publication Publication Date Title
DE112017002154B4 (de) Mobiler Roboter und Steuerverfahren für einen mobilen Roboter
EP3659001B1 (de) Magnetometer für die roboternavigation
DE102007045835B4 (de) Verfahren und Vorrichtung zum Darstellen eines virtuellen Objekts in einer realen Umgebung
DE102007045834B4 (de) Verfahren und Vorrichtung zum Darstellen eines virtuellen Objekts in einer realen Umgebung
DE112018001050T5 (de) System und verfahren zur virtuell erweiterten visuellen gleichzeitigen lokalisierung und kartographierung
WO2020016385A1 (de) Verfahren und system zum bestimmen einer position eines fahrzeugs
EP3491417A1 (de) Verfahren und system zum erfassen von landmarken in einem verkehrsumfeld einer mobilen einheit
DE112017006018T5 (de) Mobile robotische vorrichtung, die unstrukturierte daten von innenumgebungen verarbeitet, um räume in einer einrichtung zu segmentieren, um die bewegung der vorrichtung durch die einrichtung zu verbessern
DE112017008101T5 (de) Autonome roboter und verfahren zum betreiben derselben
DE102018123393A1 (de) Erkennung von Parkflächen
DE102019207448A1 (de) Simultane Lokalisierung und Kartenerstellung in 2D unter Verwendung eines 3D-Scanners
EP3867796A1 (de) Verfahren und vorrichtung zur bestimmung einer umgebungskarte
EP4055459B1 (de) Computer-implementiertes verfahren zum erstellen einer umgebungskarte für das betreiben eines mobilen agenten
DE102021206075A1 (de) Fahrzeuglokalisierung als Mitfahrgelegenheit und Insassenidentifikation für autonome Fahrzeuge
DE102015220031A1 (de) Verfahren zur Konfidenzabschätzung für optisch-visuelle Posenbestimmung
EP3543901B1 (de) Vorrichtung und verfahren zur robusten ermittlung der position, ausrichtung, identität und ausgewählter zustandsinformationen von objekten
WO2022084182A1 (de) Verfahren und vorrichtung zum kartieren einer einsatzumgebung für zumindest eine mobile einheit sowie zur lokalisation zumindest einer mobilen einheit in einer einsatzumgebung und lokalisationssystem für eine einsatzumgebung
DE102008008499A1 (de) Verfahren zur rechnergestützten Berechnung der Bewegung eines Objekts aus Sensordaten
WO2018108867A1 (de) Mobiler manipulator und verfahren zum steuern eines mobilen manipulators
DE112021005543T5 (de) Parallaxentolerante panoramabilderzeugung
WO2021219706A1 (de) Verfahren, system und computerprogrammprodukt zur bestimmung der pose einer mobilen einheit
DE102020213111A1 (de) Verfahren und System zur Bestimmung einer Pose oder Position eines mobilen Endgeräts
DE102020127315A1 (de) System und Verfahren zum Annotieren von Automobilradardaten
DE102017220634A1 (de) Fahrzeug mit Lokalisierungseinrichtung, System, Lokalisierungseinrichtung, Industrieroboter und Verfahren
DE102022207829A1 (de) Verfahren zum Hinzufügen eines oder mehrerer Ankerpunkte zu einer Karte einer Umgebung

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21793924

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 18044494

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2021793924

Country of ref document: EP

Effective date: 20230519