WO2022128591A1 - Erstellen einer tiefenkarte - Google Patents

Erstellen einer tiefenkarte Download PDF

Info

Publication number
WO2022128591A1
WO2022128591A1 PCT/EP2021/084467 EP2021084467W WO2022128591A1 WO 2022128591 A1 WO2022128591 A1 WO 2022128591A1 EP 2021084467 W EP2021084467 W EP 2021084467W WO 2022128591 A1 WO2022128591 A1 WO 2022128591A1
Authority
WO
WIPO (PCT)
Prior art keywords
traffic route
objects
object distances
environmental information
point cloud
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/EP2021/084467
Other languages
English (en)
French (fr)
Inventor
Johannes PETZOLD
Christian Tobias WITT
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Valeo Schalter und Sensoren GmbH
Original Assignee
Valeo Schalter und Sensoren GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Valeo Schalter und Sensoren GmbH filed Critical Valeo Schalter und Sensoren GmbH
Publication of WO2022128591A1 publication Critical patent/WO2022128591A1/de
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804—Creation or updating of map data
    • G01C21/3833—Creation or updating of map data characterised by the source of data
    • G01C21/3852—Data derived from aerial or satellite images
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3863—Structures of map data
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/29—Geographical information databases
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle

Definitions

  • the present invention relates to a method for generating a depth map with a point cloud that defines 3D objects in a map, in particular for locating a means of transport in an environment of the means of transport based on sensor data from at least one environment sensor of the means of transport in relation to the 3D objects.
  • the invention relates to a method for generating depth information as a depth map or point cloud that defines three-dimensional objects in a map.
  • the depth map can be understood as equivalent to the point cloud, they are two different representations of the same depth information.
  • Position determination for vehicles based on satellite position data is known in principle, for example based on the most widespread GPS system (Global Positioning System).
  • GPS system Global Positioning System
  • Position determination using satellite position data requires continuous reception of satellite position signals, on the basis of which the position of the vehicle can be determined. This is not always guaranteed, for example, in urban canyons, valleys, tunnels or the like.
  • the satellite position signals often allow only a comparatively imprecise determination of the position in a range of several meters, sometimes up to ten meters or more. This is not sufficient for various applications.
  • Position determination with satellite position signals is also relatively sluggish, so that, for example, only one position can be determined per second. This is not sufficient, especially for dynamic applications.
  • depth maps can be represented as high-resolution point clouds of traffic routes and/or their surroundings traffic routes and/or their surroundings. This depth information gives positions of stationary 3D objects along the traffic routes.
  • the means of transport typically vehicles, in turn use environment sensors to capture their surroundings.
  • environment sensors may include LiDAR-based environmental sensors, radar-based environmental sensors, cameras, and ultrasonic sensors.
  • the position of the vehicle can be determined by comparing the point cloud in the area of the vehicle with a point cloud detected by the vehicle's sensors.
  • a rough indication of the position of the vehicle can first be determined, for example based on satellite position data and/or a tracking of a route covered. This is followed by an exact positioning based on the depth map and the surroundings of the vehicle recorded with the surroundings sensors.
  • the environmental sensors enable a position determination with a higher frequency than the position determination based on the satellite position data.
  • Current environmental sensors provide sensor information with a frequency in the range of at least ten Hertz, typically 30 Hz or even more.
  • the position can be determined autonomously by the vehicle.
  • LiDAR-based environmental sensors for example, have very good accuracy for determining distances from 3D objects, which in principle solves the above problems.
  • depth map For this purpose, the traffic routes are usually tracked with a corresponding means of transport, with an exemplary point cloud being recorded to create the depth map. In principle, this is necessary for all traffic routes.
  • the creation of the depth maps is therefore very time-consuming and also very cost-intensive. 3D objects can also be covered, which impairs the quality of the depth map created in this way.
  • a method for updating a map of the surroundings is known from the document DE 102018 118 215 A1.
  • the environment map is used to control a vehicle.
  • the vehicle when driving on a roadway, the vehicle attempts to detect a landmark recorded in the map of the surroundings using sensors.
  • Vehicle if the landmark could not be detected by sensors, created a deletion hypothesis, which is sent to an external central computer.
  • the deletion hypothesis is checked in the external central computer and when the deletion hypothesis is verified, the landmark is deleted from the map of the surroundings in accordance with the deletion hypothesis.
  • Information about a viewing area for the landmark is also entered in the map of the surroundings, which indicates the area in which the landmark is visible from a road.
  • the specification of the field of view allows an effective detection of landmarks recorded in the map of the surroundings.
  • the invention is therefore based on the object of specifying a method for generating a depth map with a cloud of points that enables the depth map to be generated simply and efficiently.
  • a method for generating a depth map with a point cloud that defines 3D objects in a map comprising the steps of providing environmental information with the 3D objects and their position, identifying a traffic route with its position within an area covered by the environmental information, determining object distances for a plurality of positions along the traffic route based on the identified traffic route and the environmental information in the area of the traffic route, generating the point cloud based on the object distances for the plurality of positions along the traffic route, and combining the point cloud with the map to provide the depth map.
  • the basic idea of the present invention is therefore to capture the depth map with the point cloud based on environmental information that can be provided by satellites, aircraft and/or drones, for example. It is also possible to use maps which are known per se and which only contain information relating to the traffic routes themselves and just not sufficient information relating to the 3D objects. For example, the traffic routes can be identified based on such maps as a basis for generating the depth map. General maps as a basis for generating the depth map are known as such and are widely used. Other alternatives are given below. A tracking of traffic routes to generate the depth map, as is customary in the prior art in order to record a reference point cloud for generating the depth map, can be omitted.
  • the depth map can be generated based on information that is not provided by a vehicle as a reference.
  • the environment information in the depth map is processed starting from the corresponding traffic route, so that the information is available in a similar way as it is perceived by the environment sensors when using the traffic route with the corresponding means of transport.
  • the 3D objects which form the basis of the point cloud, can thus be captured by environmental sensors of the means of transport as references for orientation. 3D objects that cannot be detected from the traffic route with the environment sensors do not contribute to the depth map due to the corresponding generation of the point cloud starting from the traffic route.
  • the determination of the object distances and thus also the creation of the point cloud as well as the creation of the depth map can be carried out in different ways for different means of transport.
  • a typical attachment of the environment sensors to different types of transport can be taken into account.
  • a covering of the 3D objects as can occur when following traffic routes with a corresponding means of transport to generate a reference point cloud, can be avoided by directly accessing the positions of the 3D objects.
  • the depth map enables a reduction in the amount of data for locating all available 3D objects to information that can be used by the means of transport to determine the position, since 3D objects that cannot be detected from the traffic route with the environmental sensors do not belong to the depth map contribute. This is the case when no object distance to the corresponding 3D object is determined.
  • the depth map is a combination of a per se usual 2D map with the point cloud determined in relation to the map as a 2D map. The position of the points of the point cloud is particularly important based on the positions of the identified traffic route within the area covered by the environmental information.
  • the environmental information with the 3D objects and their position preferably includes an environment of the corresponding traffic route.
  • an area of the traffic route which typically contains means of transport and thus dynamic 3D objects, is preferably left out. This ensures that only static 3D objects contribute to the creation of the depth map, enabling reliable position determination by means of transport when using the traffic route.
  • the 3D objects are preferably stationary 3D objects, in particular buildings, but other 3D objects such as trees, lanterns, traffic lights, barriers, crash barriers, protective walls, fences, advertising columns, sculptures, installations or the like can also be used as 3D objects on the depth map be taken as a basis. More generally, all other abstract geometric objects or areas that allow unambiguous depth information can also be used for the method.
  • an object recognition of the 3D objects is preferably carried out, and 3D objects that are recognized as fundamentally dynamic objects such as means of transport or the like are not taken into account for determining the object distances and creating the depth map.
  • Other dynamic 3D objects can be people, garbage cans, construction sites or other non-permanent installations.
  • the depth map can be created particularly reliably by excluding dynamic 3D objects.
  • the depth map can also be created according to the invention if such dynamic 3D objects do not allow determination of object distances to stationary 3D objects, ie if the stationary 3D objects for the means of transport for generating the reference point cloud are covered by dynamic 3D objects.
  • the method according to the invention is detached from the means of transport as the observation point.
  • the determination of object distances for a plurality of positions along the traffic route based on the identified traffic route and the environmental information in the area of the traffic route relates to the generation of at least one distance value for each of the positions.
  • the distance value indicates a distance to a nearest 3D object from the corresponding position.
  • the distance is determined in the same way in relation to the identified traffic route, for example in the same direction in relation to the traffic route.
  • the object distance can be determined in a direction transverse to a direction of the traffic route at any position.
  • Each object distance creates a point of the point cloud.
  • the point cloud thus includes a point for each determined object distance.
  • additional intermediate points can also be provided, for example by interpolation.
  • Vehicle positioning uses the depth map to determine the position of the vehicle with respect to the point cloud.
  • the means of transport can have an environment sensor or several environment sensors for locating. Such environmental sensors may include LiDAR-based environmental sensors, radar-based environmental sensors, cameras, and ultrasonic sensors.
  • the means of transport can also have a combination of several of the environmental sensors mentioned.
  • the position of the means of transport can be determined by comparing the point cloud in the area of the means of transport with a point cloud detected by the sensors of the means of transport.
  • a rough indication of the position of the means of transport can first be determined, for example based on satellite position data and/or a tracking of a route covered. This is followed by an exact positioning based on the depth map and the surroundings of the means of transport recorded with the surroundings sensors.
  • the provision of environmental information with 3D objects and their position includes identifying the 3D objects and their position based on an aerial image representation, and/or identifying a traffic route with its position within an area covered by the environmental information Identification of the traffic route with its position within the area covered by the environmental information based on an aerial image display.
  • the aerial image display usually includes a plurality of aerial images that are used together with the 3D objects to create the environmental information.
  • the aerial view can be generated, for example, with an airplane or a drone, or based on a satellite.
  • the aerial image representation can be provided as a plan view, ie at an angle of approximately 90° to a surface of the earth.
  • the top view makes it easy to determine the position of the 3D objects.
  • the aerial image display can also be provided with a fundamentally different perspective, or based on a combination of aerial image displays with different perspectives.
  • the provision of environmental information with 3D objects and their position includes identifying the 3D objects and their position based on a plurality of aerial images with different perspectives, and/or identifying a traffic route with its position within one of the environmental information Covered area includes identifying the traffic route with its position within the area covered by the environmental information based on a plurality of aerial images with different perspectives.
  • a plurality of aerial image representations of the same area are thus provided with the different viewing angles.
  • the area is preferably covered completely with different viewing angles. Due to the different viewing angles, in particular different boundary surfaces of the 3D objects can be detected, which makes it possible to determine the object distances in detail.
  • the environmental information with the 3D objects and their position can also be provided very reliably by a combination of the aerial image representations with different viewing angles.
  • the aerial image representations with different viewing angles allow the sides of the 3D objects facing the traffic route to be captured, so that a 3D form can be provided for each of the sides of the 3D object.
  • object distances for the 3D objects for a plurality of 3D positions can be determined for each of the plurality of positions along the traffic route based on the 3D shape of the 3D objects at least on the side facing the traffic route.
  • the provision of environmental information with 3D objects and their position includes identifying the 3D objects and their position based on information from a surveying database, and/or identifying a traffic route with its position within an area covered by the environmental information identifying the traffic route with its position within the area covered by the environmental information based on information from a survey database.
  • the survey database provides survey information for the 3D objects and/or the traffic route collected in the survey database.
  • the survey database information is typically very precise, so the position of the 3D objects is very accurate, allowing for the creation of a very precise depth map.
  • the provision of environmental information with 3D objects and their position includes providing the environmental information with the 3D objects with their position, determining object distances for a plurality of positions along the traffic route based on the identified traffic route and the environmental information in Area of the traffic route includes determining object distances for the 3D objects for a height position for each of the plurality of positions along the traffic route, and generating the point cloud based on the object distances for the plurality of positions along the traffic route includes generating the point cloud based on the object distances for the 3D objects for a height position for each of the plurality of positions along the traffic route.
  • the height position is a position relative to, for example, a ground plane, typically in a direction perpendicular to the ground plane in the area of the 3D object.
  • the position of the 3D object provides simple shape information of the 3D object that represents an approximation of a 3D shape of the 3D object.
  • a position of a building can be defined as a 3D object via its floor plan, and the building is approximated with the floor plan over its entire height and can thus also be used with several Sensor points are recorded in different height positions.
  • the position of the 3D object can thus be defined, for example, with a position of a surface parallel to a floor surface or in the floor plane. Irrespective of this, at least one object distance can be determined for each side of the traffic route for each position along the traffic route.
  • a 2D point cloud is generated, for example, ie a point cloud in one plane.
  • the provision of environmental information with 3D objects and their position includes providing the environmental information with the 3D objects with their position and a 3D shape of the 3D objects on at least one side facing the traffic route, determining object distances for a plurality of positions along the traffic route based on the identified traffic route and the environmental information in the area of the traffic route comprises determining object distances for the 3D objects for a plurality of 3D positions for each of the plurality of positions along the traffic route based on the 3D shape of the 3D objects on at least the side facing the traffic route, and generating the point cloud based on the object distances for the plurality of positions along the traffic route includes generating the point cloud based on the object distances for the 3D objects for the plurality of 3D positions for each of the plural Po Positions along the traffic route based on the 3D shape of the 3D objects on at least the side facing the traffic route.
  • the position of the 3D objects with their 3D shape provides an accurate definition of the 3D objects in 3D space.
  • the 3D objects are typically captured by a plurality of points.
  • the definition of the 3D objects with their 3D form can be done in different ways.
  • the position of the respective 3D object can be chosen as a basis, so that the 3D shape is supplemented based on it.
  • a 3D point cloud is generated, which precisely defines the environment using the depth map.
  • the 3D point cloud corresponds to a representation that is usually generated by the environmental sensors of the means of transport, so that a simple comparison to determine the position of the means of transport can be carried out with a high level of accuracy.
  • the identification of a traffic route with its position within an area covered by the environmental information includes detecting the position of the traffic route with a traffic route reference along the traffic route, determining object distances for a plurality of positions along the traffic route based on the identified traffic route and environmental information in the area of the traffic route includes determining the object distances on both sides of the traffic route based on the traffic route reference, and generating the point cloud based on the object distances for the plurality of positions along the traffic route includes generating the point cloud based on the object distances on both sides of the traffic route related to the traffic route reference.
  • the means of transport can therefore locate itself in any direction on the 3D objects with its environment sensors.
  • the traffic route reference can, for example, be a median strip in the case of a road or the center of a road in the case of a lane.
  • the traffic route reference can thus be defined by features of the traffic route that can be detected using the environmental sensors, or also independently thereof.
  • the identification of a traffic route with its position within an area covered by the environmental information includes detecting the position of the traffic route with two traffic route references along the traffic route, in particular a traffic route reference along two lateral traffic route boundaries or two lane boundaries, determining object distances for a plurality of positions along the traffic route based on the identified traffic route and the environmental information in the area of the traffic route includes determining the object distances from one of the traffic route references to the 3D objects on one side of the traffic route and from the other traffic route reference to the 3D objects on the other side of the traffic route, and generating the point cloud based on the object distances for the plurality of positions along the traffic route comprises generating the point cloud based on the object distances en from the respective thoroughfare reference to the 3D objects on the corresponding side of the thoroughfare.
  • the object distances to the two traffic route references thus jointly define the point cloud, with each Traffic route reference, only object distances to one side of it are determined, with the means of transport being able to locate itself in any direction on the 3D objects with its environment sensors through the depth map with the combined point cloud.
  • the traffic route references can be defined by features of the traffic route that can be detected using the environmental sensors, or they can be defined independently thereof.
  • detecting the position of the traffic route with one or two traffic route references along the traffic route includes generating one or two flat traffic route references, determining object distances for a plurality of positions along the traffic route based on the identified traffic route and the environmental information in the area of the traffic route includes determining the object distances from one of the traffic route references to one side of the traffic route and from the other traffic route reference to the other side of the traffic route, and generating the point cloud based on the object distances for the plurality of positions along the traffic route includes generating the point cloud based on the object distances to the corresponding planar traffic route reference.
  • the one or two planar traffic route references can be defined as areas or planes along a traffic route direction.
  • the planar traffic route reference is usually perpendicular to the respective traffic route, in particular perpendicular for each of the plurality of positions along the traffic route.
  • the one or two areal traffic route references allow easy determination of object distances for the 3D objects for a plurality of 3D positions for each of the plurality of positions along the traffic route based on the 3D shape of the 3D objects at least on the side facing the traffic route if the object distances are determined in relation to several 3D positions of the two-dimensional traffic route reference, ie for different height positions of the two-dimensional traffic route reference.
  • the object distances are preferably determined in each case perpendicular to the planar traffic route reference.
  • the generation of one or two traffic route references includes a rasterization of the traffic route reference(s), and the determination of object distances for a plurality of positions along the traffic route based on the identified traffic route and the environmental information in the area of the traffic route includes determining the object distances in accordance with the grid of the route reference(s).
  • the grid can be designed as a line grid and/or as a surface grid. The grid is preferably designed to be uniform, resulting in uniform point resolution. With the surface grid, grid distances in the surface directions can be selected differently. The object distances are determined for each point of the grid.
  • the determination of object distances for a plurality of positions along the traffic route based on the identified traffic route and the environmental information in the area of the traffic route includes ray tracing or z-buffering from the multiple positions along the traffic route to the 3D objects.
  • Ray tracing provides an easy way to determine object distances.
  • Ray tracing is particularly relevant for creating a depth map with a 3D point cloud.
  • the determination of object distances for a plurality of positions along the traffic route based on the identified traffic route and the environmental information in the area of the traffic route includes determining the object distances in a direction perpendicular to the course of the identified traffic route. This enables a particularly simple creation of the depth map with only a few points.
  • the object distances of the positions along the traffic route can be used to determine the object distances starting from any position along the traffic route or independently of this, if the means of transport is located next to the traffic route, for example.
  • the identification of a traffic route with its position within an area covered by the environmental information includes an identification of a river, a road, a cycle path, a footpath and/or a railway track or a movement lane of the river, the road, the cycle path , the footpath and/or the railway as a traffic route, in particular an automatic identification of the river, the road, the cycle path, the footpath and/or the railway as a traffic route.
  • the traffic routes mentioned are listed as examples. Other types of traffic routes can also be considered.
  • FIG. 1 shows a view of the surroundings of a vehicle as an optical representation and with a representation as a depth map with an associated point cloud with object distances to 3D objects in the environment, with two traffic route references being used as a basis, according to a first preferred embodiment
  • 3 is a flow chart of the method for generating a depth map with a point cloud in accordance with the first and second embodiments.
  • a method for generating a depth map 10 with a point cloud 12 defining 3D objects 14 in the map 10 according to a first preferred embodiment is described below.
  • Figure 3 The method is shown in Figure 3 as a flow chart and is described with additional reference to Figure 1, in which an environment 16 of a means of transport as an optical representation and with a representation as a depth map 10 with the associated point cloud 12 with object distances to the 3D objects 14 in the environment 16 is shown.
  • the depth map 10 is used, for example, to locate the means of transport in the environment 16 based on sensor data from at least one environment sensor of the means of transport in relation to the 3D objects 14.
  • the use of depth maps 10 is known as such.
  • step S100 which relates to providing information about the surroundings with the 3D objects 14 and their position.
  • the provision of the environmental information with the 3D objects 14 and their position includes an identification of the 3D objects 14 and their position based on a plurality of aerial image representations with different viewing angles.
  • the aerial image representations typically include a plurality of individual aerial images and are used together to create the environmental information with the 3D objects 14 .
  • the aerial image representations can be generated, for example, with an airplane or a drone, or based on satellite images.
  • Boundary surfaces 20 of the 3D objects 14 are detected by the different viewing angles, whereby the 3D Objects 14 are determined in addition to their position with a 3D shape. This includes in particular the boundary surface 20 of the 3D shape on a side of the respective 3D object 14 facing a traffic route 18.
  • the environment information is provided with the 3D objects 14 and their position based on information from a surveying database.
  • the survey database provides survey information for the 3D objects 14 that is collected in the survey database.
  • Stationary 3D objects 14 such as buildings 14a, trees 14b and lanterns 14c are considered here as 3D objects 14 by way of example.
  • object recognition is carried out.
  • dynamic 3D objects 22 such as means of transport or the like are recognized and subsequently not taken into account when creating the depth map 10.
  • Step S110 relates to identifying the traffic route 18 with its position within the area covered by the surrounding information.
  • a road 18 with two lanes 24 is identified as the traffic route 18, 24, or, as shown in Figure 1, a lane 24 of the road 18.
  • the traffic route references 26 here represent features of the traffic route 18, 24 that can be detected using environment sensors of means of transport, but can also be defined independently thereof.
  • the two traffic route references 26 are generated as two-dimensional traffic route references 26 which are defined as areas or planes along a traffic route direction.
  • the two-dimensional traffic route references 26 are perpendicular to the traffic route 18, 24.
  • the two traffic route references 26 have a grid, as shown in FIG. 2 for the traffic route reference 26 on the right-hand side.
  • the grid here is a surface grid with different grid spacings in the surface directions of the surface traffic route references 26.
  • the identification of the traffic route 18, 24 with its position within the area covered by the environmental information takes place in accordance with step S100 based on the plurality of aerial photographs with the different perspectives.
  • the identification of the traffic route 18, 24 with its position within the area covered by the environmental information can be based on the information from the measurement database already mentioned. Accordingly, the survey database provides survey information for the thoroughfare 18, 24 that is collected in the survey database.
  • Step S120 relates to determining object distances 30 for a plurality of positions along the traffic route 18, 24 based on the identified traffic route 18, 24 and the environmental information in the area of the traffic route 18, 24.
  • the plurality of positions results along the traffic route 18, 24 based on and in accordance with the grid of the traffic route references 26.
  • a vertical position 32 is correspondingly specified.
  • horizontal positions 34 result from the grid, as a result of which the positions for determining the object distances 30 are defined overall as 3D positions. An object distance 30 is thus determined for each intersection of the grid, i.e. for each intersection of vertical position 32 and horizontal position 34, or for each rectangular element formed by the grid.
  • the object distances 30 are thus determined on the basis of vertical and horizontal positions 32 , 34 .
  • object distances 30 to boundary surfaces 20 of the 3D objects 14 arranged on the right-hand side are determined.
  • object distances 30 to boundary surfaces 20 of the 3D objects 14 arranged on the left are determined.
  • the object distances 30 are only shown as an example in FIG. 2, but result in an identical manner for the representation in FIG.
  • the determination of the object distances 30 relates to the generation of a distance value for each of the 3D positions.
  • the distance value indicates a distance to a nearest 3D object 14 from the corresponding 3D position.
  • the distance for each of the 3D positions is the same in relation to the identified traffic route 18, 24 determined by the object distances 30 are determined in a direction perpendicular to the course of the identified traffic route 18, 24 and perpendicular to the surface of the traffic route reference 26.
  • the object distances 30 for the 3D positions can be determined by ray tracing from the 3D positions to the 3D objects 14 .
  • Step S130 relates to generating the point cloud 12 based on the object distances 30 for the plurality of positions along the traffic route 18, 24.
  • the point cloud 12 is generated based on the object distances 30 for the 3D objects 14 for each of the 3D positions along the traffic route 18, 24 based on the 3D shape of the 3D objects 14 based on the object distances 30 from determined in step S120 the respective traffic route reference 26 to the 3D objects 14 on the corresponding side of the traffic route 18, 24.
  • the object distances 30 to the two traffic route references 26 thus jointly define the point cloud 12. Starting from the object distances 30, which for each traffic route reference 26 only to one side of which have been determined, a complete, combined point cloud 12 is generated with a combination of the object distances 30 of the two areal traffic route references 26 .
  • Step S140 relates to combining the point cloud 12 with the map to provide the depth map 10.
  • the point cloud 12 is located within a map provided, with the position of the points of the point cloud 12 being specified based on the positions of the identified traffic route 18, 24 within the area covered by the environmental information.
  • maps that are known per se can be used as a basis, which only contain information relating to the traffic routes 18, 24 themselves and no information relating to the 3D objects.
  • the traffic route 18, 24 can be identified based on the map as the basis for generating the depth map 10 and locating the point cloud 12.
  • a method for generating the depth map 10 with a point cloud 12 defining 3D objects 14 in the map 10 according to a second embodiment will now be described with reference to FIG.
  • the method is also represented by the flow chart of Figure 3 and described here with additional reference to Figure 2, in which an environment 16 of a means of transport as a visual representation with a road 18 as a traffic route 18 and with object distances 30 to the 3D objects 14 in the Environment 16 is shown.
  • the method of the second embodiment largely corresponds to the method of the first embodiment, so that only the differences between the methods of the first and second embodiment are described in detail here.
  • step S110 the traffic route 18, 24 is identified with its position within the area covered by the environmental information based on a center line 42, along which the position of the traffic route 18, 24 is detected with a planar traffic route reference 26.
  • step S120 object distances 30 are determined for the plurality of 3D positions along the traffic route 18, 24 based on the identified traffic route 18, 24 with the two-dimensional traffic route reference 26 on both sides of the traffic route in relation to the traffic route reference 26 3D position along the traffic route 18, 24 determines two object distances 30 for 3D objects 14 in order to generate the point cloud 12.

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Automation & Control Theory (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Instructional Devices (AREA)

Abstract

Die Erfindung betrifft ein Verfahren zum Erzeugen einer Tiefenkarte (10) mit einer Punktwolke (12), die 3D-Objekte (14) in einer Karte definiert, insbesondere zur Verortung eines Verkehrsmittels (22) in einer Umgebung (16) des Verkehrsmittels (22) basierend auf Sensordaten von wenigstens einem Umgebungssensor des Verkehrsmittels (22) in Bezug auf die 3D-Objekte (14), umfassend die Schritte Bereitstellen einer Umgebungsinformation mit den 3D-Objekten (14) und deren Position, Identifizieren eines Verkehrswegs (18, 24) mit dessen Position innerhalb eines von der Umgebungsinformation erfassten Bereichs, Ermitteln von Objektabständen (30) für eine Mehrzahl Positionen entlang des Verkehrswegs (18, 24) basierend auf dem identifizierten Verkehrsweg (18, 24) und der Umgebungsinformation im Bereich des Verkehrswegs (18, 24), Erzeugen der Punktwolke (12) basierend auf den Objektabständen (30) für die Mehrzahl Positionen entlang des Verkehrswegs (18, 24), und Kombinieren der Punktwolke (12) mit der Karte zur Bereitstellung der Tiefenkarte (10).

Description

Erstellen einer Tiefenkarte
Die vorliegende Erfindung betrifft ein Verfahren zum Erzeugen einer Tiefenkarte mit einer Punktwolke, die 3D-0bjekte in einer Karte definiert, insbesondere zur Verortung eines Verkehrsmittels in einer Umgebung des Verkehrsmittels basierend auf Sensordaten von wenigstens einem Umgebungssensor des Verkehrsmittels in Bezug auf die 3D-0bjekte. Allgemeiner formuliert betrifft die Erfindung ein Verfahren zum Erzeugen von Tiefeninformationen als Tiefenkarte oder Punktwolke, die dreidimensionalen Objekte in einer Karte definieren. Die Tiefenkarte kann als äquivalent zu der Punktwolke verstanden werden, es sind zwei verschiedene Darstellung der gleichen Tiefeninformation.
Derartige Tiefeninformationen werden beispielsweise in Fahrunterstützungssystemen aktueller Fahrzeuge oder allgemein Verkehrsmittel verwendet, um die Fahrzeuge in Ihrer Umgebung exakt zu verorten. Zwar ist prinzipiell eine Positionsbestimmung für Fahrzeuge basierend auf Satellitenpositionsdaten bekannt, beispielsweise basierend auf dem am weitesten verbreiteten GPS-System (Global Positioning System). Diese Art der Positionsbestimmung weist jedoch verschiedene Nachteile auf. So erfordert die Positionsbestimmung mit Satellitenpositionsdaten einen durchgehenden Empfang von Satellitenpositionssignalen, auf deren Basis die Position des Fahrzeugs bestimmt werden kann. Dies ist beispielsweise in Häuserschluchten, Tälern, Tunneln oder ähnlichem nicht durchgehend gewährleistet. Darüber hinaus ermöglichen die Satellitenpositionssignale oftmals nur eine vergleichsweise ungenaue Bestimmung der Position in einem Bereich von mehreren Metern, teilweise bis zu zehn Metern oder mehr. Dies ist für verschiedene Anwendungen nicht ausreichend. Ebenfalls ist die Positionsbestimmung mit Satellitenpositionssignalen relativ träge, so dass beispielsweise nur eine Position pro Sekunden ermittelt werden kann. Dies ist insbesondere für dynamische Anwendungen nicht ausreichen.
Eine Lösung dieser Probleme ergibt sich aus der Verwendung von zusätzlichen räumlichen Informationen. Diese Tiefenkarten können als hochauflösende Punktwolken von Verkehrswegen und/oder deren Umgebung dargestellt werden von Verkehrswegen und/oder deren Umgebung. Diese Tiefeninformation gibt Positionen von ortsfesten 3D- Objekten entlang der Verkehrswege an. Die Verkehrsmittel, typischerweise Fahrzeuge, verwenden ihrerseits Umgebungssensoren, um ihre Umgebung zu erfassen. Solche Umgebungssensoren können LiDAR-basierte Umgebungssensoren, Radar-basierte Umgebungssensoren, Kameras und Ultraschallsensoren umfassen. Dadurch kann durch einen Abgleich der Punktwolke im Bereich des Fahrzeugs mit einer von den Sensoren des Fahrzeugs erfassten Punktwolke die Position des Fahrzeugs bestimmt werden. Dazu kann zunächst eine grobe Positionsangabe des Fahrzeugs, beispielsweise basierend auf Satellitenpositionsdaten und/oder eine Nachverfolgung einer zurückgelegten Wegstrecke, ermittelt werden. Im Anschluss erfolgt eine exakte Positionierung basierend auf der Tiefenkarte und der mit den Umgebungssensoren erfassten Umgebung des Fahrzeugs.
Die Umgebungssensoren ermöglichen dabei eine Positionsbestimmung mit einer höheren Frequenz als die Positionsbestimmung basierend auf den Satellitenpositionsdaten. Aktuelle Umgebungssensoren liefern Sensorinformation mit einer Frequenz im Bereich von wenigstens zehn Hertz, typischerweise 30 Hz oder sogar mehr. Die Positionsbestimmung kann autonom von dem Fahrzeug durchgeführt werden. Darüber hinaus weisen beispielsweise LiDAR-basierte Umgebungssensoren eine sehr gute Genauigkeit auf zur Bestimmung von Abständen von den 3D-Objekten, wodurch die obigen Probleme prinzipiell gelöst werden.
Problematisch ist allerdings die Erstellung der Karte zum Abgleich mit entsprechenden Tiefeninformationen, im Folgenden als Tiefenkarte bezeichnet. Üblicherweise werden die Verkehrswege dazu mit einem entsprechenden Verkehrsmittel nachverfolgt, wobei eine beispielhafte Punktwolke zur Erstellung der Tiefenkarte aufgenommen wird. Dies ist prinzipiell für alle Verkehrswege erforderlich. Damit ist die Erstellung der Tiefenkarten sehr zeitaufwändig und auch sehr kostenintensiv. Auch kann es zu Verdeckungen von 3D-Objekten kommen, wodurch die Qualität der so erstellten Tiefenkarte beeinträchtigt wird.
In diesem Zusammenhang ist aus dem Dokument DE 102018 118 215 A1 ein Verfahren zur Aktualisierung einer Umgebungskarte bekannt. Die Umgebungskarte kommt bei der Steuerung eines Fahrzeuges zum Einsatz. Nach dem Verfahren unternimmt das Fahrzeug bei Befahren einer Fahrbahn den Versuch, eine in der Umgebungskarte verzeichnete Landmarke sensorisch zu erfassen. Dabei wird von dem Fahrzeug, wenn die Landmarke sensorisch nicht erfasst werden konnte, eine Löschhypothese erstellt, die an einen externen Zentralrechner gesendet wird. Die Löschhypothese wird in dem externen Zentralrechner überprüft und bei Verifikation der Löschhypothese wird die Landmarke entsprechend der Löschhypothese aus der Umgebungskarte gelöscht. Weiter wird in der Umgebungskarte eine Information über einen Sichtbereich für die Landmarke eingetragen, der angibt, in welchem Bereich die Landmarke von einer Straße aus sichtbar ist. Die Angabe des Sichtbereiches erlaubt eine effektive Erfassung von in der Umgebungskarte verzeichneten Landmarken.
Ausgehend von dem oben genannten Stand der Technik liegt der Erfindung somit die Aufgabe zugrunde, ein Verfahren zum Erzeugen einer Tiefenkarte mit einer Punktwolke anzugeben, das eine einfache und effiziente Erzeugung der Tiefenkarte ermöglicht.
Die Lösung der Aufgabe erfolgt erfindungsgemäß durch die Merkmale der unabhängigen Ansprüche. Vorteilhafte Ausgestaltungen der Erfindung sind in den Unteransprüchen angegeben.
Erfindungsgemäß ist somit ein Verfahren zum Erzeugen einer Tiefenkarte mit einer Punktwolke, die 3D-Objekte in einer Karte definiert, insbesondere zur Verortung eines Verkehrsmittels in einer Umgebung des Verkehrsmittels basierend auf Sensordaten von wenigstens einem Umgebungssensor des Verkehrsmittels in Bezug auf die 3D-Objekte, angegeben, umfassend die Schritte Bereitstellen einer Umgebungsinformation mit den 3D-Objekten und deren Position, Identifizieren eines Verkehrswegs mit dessen Position innerhalb eines von der Umgebungsinformation erfassten Bereichs, Ermitteln von Objektabständen für eine Mehrzahl Positionen entlang des Verkehrswegs basierend auf dem identifizierten Verkehrsweg und der Umgebungsinformation im Bereich des Verkehrswegs, Erzeugen der Punktwolke basierend auf den Objektabständen für die Mehrzahl Positionen entlang des Verkehrswegs, und Kombinieren der Punktwolke mit der Karte zur Bereitstellung der Tiefenkarte.
Grundidee der vorliegenden Erfindung ist es also, die Tiefenkarte mit der Punktwolke basierend auf Umgebungsinformation, die beispielsweise von Satelliten, Flugzeugen und/oder Dronen bereitgestellt werden kann, zu erfassen. Dabei können auch an sich bekannte Karten verwendet werden, die nur Information in Bezug auf die Verkehrswege selber enthalten und gerade keine hinreichende Information in Bezug auf die 3D- Objekte. So können beispielsweise die Verkehrswege basierend auf solchen Karten identifiziert werden als Basis für die Erzeugung der Tiefenkarte. Allgemeine Karten als Basis zur Erzeugung der Tiefenkarte sind als solche bekannt und weit verbreitet. Weitere Alternativen sind unten angegeben. Ein Nachverfolgen von Verkehrswegen zur Erzeugung der Tiefenkarte, wie es im Stand der Technik üblich ist, um eine Referenzpunktwolke für die Erstellung der Tiefenkarte zu erfassen, kann entfallen. Stattdessen kann die Tiefenkarte basierend auf Information erzeugt werden, die nicht von einem Verkehrsmittel als Referenz bereitgestellt wird. Dazu wird die Umgebungsinformation in der Tiefenkarte ausgehend von dem entsprechenden Verkehrsweg aufbereitet, so dass die Information in ähnlicher Weise zur Verfügung steht, wie sie beim Benutzen des Verkehrsweges mit dem entsprechenden Verkehrsmittel von dessen Umgebungssensoren wahrgenommen wird. Die 3D-0bjekte, welche die Basis der Punktwolke bilden, können somit von Umgebungssensoren des Verkehrsmittels als Referenzen zur Orientierung erfasst werden. 3D-0bjekte, die nicht von dem Verkehrsweg aus mit den Umgebungssensoren erfasst werden können, tragen durch die entsprechende Erzeugung der Punktwolke ausgehend von dem Verkehrsweg nicht zu der Tiefenkarte bei. Das Ermitteln der Objektabstände und damit auch das Erzeugen der Punktwolke wie auch das Erstellen der Tiefenkarte kann dabei für unterschiedliche Verkehrsmittel auf unterschiedliche Weise durchgeführt werden. Dadurch kann beispielsweise eine typische Anbringung der Umgebungssensoren an verschiedenartigen Verkehrsmitteln berücksichtigt werden. Auch kann erfindungsgemäß eine Verdeckung von den 3D-Objekten, wie sie beim Nachverfolgen von Verkehrswegen mit einem entsprechenden Verkehrsmittel zur Erzeugung einer Referenzpunktwolke auftreten kann, vermieden werden, indem erfindungsgemäß unmittelbar auf die Positionen der 3D-0bjekte zugegriffen wird.
Die Tiefenkarte ermöglicht eine Reduktion einer Datenmenge zur Verortung aller verfügbaren 3D-0bjekte auf solche Information, die von dem Verkehrsmittel zur Positionsbestimmung verwendet werden kann, da 3D-0bjekte, die nicht von dem Verkehrsweg aus mit den Umgebungssensoren erfasst werden können, nicht zu der Tiefenkarte beitragen. Dies ist der Fall, wenn kein Objektabstand zu dem entsprechenden 3D-0bjekt ermittelt wird. Die Tiefenkarte ist eine Kombination aus einer an sich üblichen 2D-Karte mit der Punktwolke, die in Bezug auf die Karte als 2D-Karte bestimmt ist. Dabei wird die Position der Punkte der Punktwolke insbesondere ausgehend von den Positionen des identifizierten Verkehrswegs innerhalb des von der Umgebungsinformation erfassten Bereichs angegeben.
Die Umgebungsinformation mit den 3D-0bjekten und deren Position umfasst vorzugsweise eine Umgebung des entsprechenden Verkehrswegs. Um die Tiefenkarte zuverlässig zu erstellen, wird dabei vorzugsweise ein Bereich des Verkehrswegs, der typischerweise Verkehrsmittel und damit dynamische 3D-0bjekte enthält, ausgespart. Dadurch wird sichergestellt, dass nur statische 3D-0bjekte zur Erstellung der Tiefenkarte beitragen, wodurch eine zuverlässige Positionsbestimmung durch Verkehrsmittel bei der Nutzung des Verkehrsweges ermöglicht wird.
Die 3D-0bjekte sind vorzugsweise ortsfeste 3D-0bjekte, insbesondere Gebäude, aber auch andere 3D-0bjekte wie Bäume, Laternen, Ampelanlagen, Absperrungen, Leitplanken, Schutzwände, Zäune, Litfaßsäulen, Skulpturen, Installationen oder ähnliches können beispielsweise als 3D-0bjekte der Tiefenkarte zu Grunde gelegt werden. Allgemeiner können auch alle anderen abstrakte geometrischen Objekte beziehungsweise Flächen, die eine eindeutige Tiefeninformation erlauben, für das Verfahren genutzt werden.
Um die Verwendung von ortsfesten 3D-Objekten zu verbessern, wird vorzugsweise eine Objekterkennung der 3D-Objekte durchgeführt, und 3D-Objekte, die als prinzipiell dynamische Objekte wie Verkehrsmittel oder ähnliches erkannt werden, werden nicht berücksichtigt für das Ermitteln der Objektabstände und das Erstellen der Tiefenkarte. Andere dynamische 3D-Objekte können Personen, Mülltonnen, Baustellen oder andere nicht permanente Installationen sein. Durch ein Ausschließen dynamischer 3D-Objekte kann die Tiefenkarte besonders zuverlässig erstellt werden. Im Gegensatz zu der Erzeugung von Tiefenkarten durch ein Nachverfolgen von Verkehrswegen mit einem entsprechenden Verkehrsmittel, kann die Tiefenkarte erfindungsgemäß auch erstellt werden, wenn solche dynamischen 3D-Objekte eine Ermittlung von Objektabständen zu ortfesten 3D-Objekten nicht zulassen, d.h. wenn die ortsfesten 3D-Objekte für das Verkehrsmittel zur Erzeugung der Referenzpunktwolke durch dynamische 3D-Objekte verdeckt sind. Das erfindungsgemäße Verfahren ist von dem Verkehrsmittel als Beobachtungspunkt losgelöst. Das Ermitteln von Objektabständen für eine Mehrzahl Positionen entlang des Verkehrswegs basierend auf dem identifizierten Verkehrsweg und der Umgebungsinformation im Bereich des Verkehrswegs betrifft eine Erzeugung von wenigstens einem Abstandswert für jede der Positionen. Der Abstandswert gibt einen Abstand zu einem nächsten 3D-0bjekt von der entsprechenden Position an. Dabei wird der Abstand jeweils gleichartig in Bezug auf den identifizierten Verkehrsweg bestimmt, beispielsweise in einer gleichen Richtung bezogen auf den Verkehrsweg. Insbesondere kann der Objektabstand in einer Richtung quer zu einer Richtung des Verkehrswegs an jeder Position bestimmt werden. Jeder Objektabstand erzeugt einen Punkt der Punktwolke. Die Punktwolke umfasst somit für jeden ermittelten Objektabstand einen Punkt. Prinzipiell können auch zusätzlich Zwischenpunkte beispielsweise durch Interpolation bereitgestellt werden.
Bei der Positionsbestimmung durch das Verkehrsmittel wird die Tiefenkarte verwendet, um die Position des Verkehrsmittels in Bezug auf die Punktwolke zu bestimmen. Zur Verortung kann das Verkehrsmittel einen Umgebungssensor oder mehrere Umgebungssensoren aufweisen. Solche Umgebungssensoren können LiDAR-basierte Umgebungssensoren, Radar-basierte Umgebungssensoren, Kameras und Ultraschallsensoren umfassen. Auch kann das Verkehrsmittel eine Kombination von mehreren der genannten Umgebungssensoren aufweisen. Dadurch kann durch einen Abgleich der Punktwolke im Bereich des Verkehrsmittels mit einer von den Sensoren des Verkehrsmittels erfassten Punktwolke die Position des Verkehrsmittels bestimmt werden. Dazu kann zunächst eine grobe Positionsangabe des Verkehrsmittels, beispielsweise basierend auf Satellitenpositionsdaten und/oder eine Nachverfolgung einer zurückgelegten Wegstrecke, ermittelt werden. Im Anschluss erfolgt eine exakte Positionierung basierend auf der Tiefenkarte und der mit den Umgebungssensoren erfassten Umgebung des Verkehrsmittels.
Eine Positionierung und Ausrichtung des Umgebungssensors oder der Umgebungssensoren an dem Verkehrsmittel ist dabei prinzipiell unerheblich, da die 3D- Objekte als Basis zu der Erzeugung der Punktwolke in der gesamten Umgebung um das Verkehrsmittel positioniert sein können. Üblicherweise sind in jeder Richtung um das Verkehrsmittel Punkte der Punktwolke aufzufinden, um das Verkehrsmittel zu verorten. In vorteilhafter Ausgestaltung der Erfindung umfasst das Bereitstellen einer Umgebungsinformation mit 3D-Objekten und deren Position ein Identifizieren der 3D- Objekte und deren Position basierend auf einer Luftbilddarstellung, und/oder das Identifizieren eines Verkehrswegs mit dessen Position innerhalb eines von der Umgebungsinformation erfassten Bereichs umfasst ein Identifizieren des Verkehrswegs mit dessen Position innerhalb des von der Umgebungsinformation erfassten Bereichs basierend auf einer Luftbilddarstellung. Die Luftbilddarstellung umfasst üblicherweise eine Mehrzahl Luftbilder, die gemeinsam zur Erstellung der Umgebungsinformation mit den 3D-Objekten verwendet werden. Die Luftbilddarstellung kann beispielsweise mit einem Flugzeug oder einer Drohne wie auch basierend auf einem Satelliten erzeugt werden. Die Luftbilddarstellung kann als Draufsicht, d.h. mit einem Winkel von etwa 90° auf eine Erdoberfläche, bereitgestellt werden. Die Draufsicht ermöglicht eine einfache Bestimmung der Position der 3D-Objekte. Die Luftbilddarstellung kann auch mit einem prinzipiell anderen Blickwinkel bereitgestellt werden, oder basierend auf einer Kombination von Luftbilddarstellungen mit verschiedenen Blickwinkeln.
In vorteilhafter Ausgestaltung der Erfindung umfasst das Bereitstellen einer Umgebungsinformation mit 3D-Objekten und deren Position ein Identifizieren der 3D- Objekte und deren Position basierend auf einer Mehrzahl Luftbilddarstellungen mit unterschiedlichen Blickwinkeln, und/oder das Identifizieren eines Verkehrswegs mit dessen Position innerhalb eines von der Umgebungsinformation erfassten Bereichs umfasst ein Identifizieren des Verkehrswegs mit dessen Position innerhalb des von der Umgebungsinformation erfassten Bereichs basierend auf einer Mehrzahl Luftbilddarstellungen mit unterschiedlichen Blickwinkeln. Es werden also einer Mehrzahl Luftbilddarstellungen desselben Bereichs mit den unterschiedlichen Blickwinkeln bereitgestellt. Vorzugsweise wird der Bereich mit unterschiedlichen Blickwinkeln jeweils vollständig erfasst. Durch die unterschiedlichen Blickwinkel können insbesondere verschiedene Begrenzungsflächen der 3D-Objekte erfasst werden, wodurch ein detailliertes Ermitteln der Objektabstände möglich ist. Auch kann durch eine Kombination der Luftbilddarstellungen mit unterschiedlichen Blickwinkeln die Umgebungsinformation mit den 3D-Objekten und deren Position sehr zuverlässig bereitgestellt werden. Entsprechendes gilt für das Identifizieren des Verkehrswegs. Die Luftbilddarstellungen mit unterschiedlichen Blickwinkeln ermöglichen, dass von den 3D- Objekten die jeweils dem Verkehrsweg zugewandten Seiten erfasst werden können, so dass eine 3D-Form für jede der Seiten des 3D-0bjekts bereitgestellt werden kann. Dadurch kann insbesondere ein Ermitteln von Objektabständen für die 3D-0bjekte für eine Mehrzahl 3D-Positionen für jede der Mehrzahl Positionen entlang des Verkehrswegs basierend auf der 3D-Form der 3D-0bjekte an zumindest der dem Verkehrsweg zugewandten Seite durchgeführt werden.
In vorteilhafter Ausgestaltung der Erfindung umfasst das Bereitstellen einer Umgebungsinformation mit 3D-Objekten und deren Position ein Identifizieren der 3D- Objekte und deren Position basierend auf Information einer Vermessungsdatenbank, und/oder das Identifizieren eines Verkehrswegs mit dessen Position innerhalb eines von der Umgebungsinformation erfassten Bereichs umfasst ein Identifizieren des Verkehrswegs mit dessen Position innerhalb des von der Umgebungsinformation erfassten Bereichs basierend auf Information einer Vermessungsdatenbank. Die Vermessungsdatenbank stellt Vermessungsinformation für die 3D-Objekte und/oder den Verkehrsweg bereit, die in der Vermessungsdatenbank gesammelt ist. Die Information der Vermessungsdatenbank ist typischerweise sehr präzise, so dass die Position der 3D-Objekte sehr genau ist, was eine Erstellung einer sehr präzisen Tiefenkarte ermöglicht.
In vorteilhafter Ausgestaltung der Erfindung umfasst das Bereitstellen einer Umgebungsinformation mit 3D-Objekten und deren Position ein Bereitstellen der Umgebungsinformation mit den 3D-Objekten mit deren Position, das Ermitteln von Objektabständen für eine Mehrzahl Positionen entlang des Verkehrswegs basierend auf dem identifizierten Verkehrsweg und der Umgebungsinformation im Bereich des Verkehrswegs umfasst ein Ermitteln von Objektabständen für die 3D-Objekte für eine Höhenposition für jede der Mehrzahl Positionen entlang des Verkehrswegs, und das Erzeugen der Punktwolke basierend auf den Objektabständen für die Mehrzahl Positionen entlang des Verkehrswegs umfasst ein Erzeugen der Punktwolke basierend auf den Objektabständen für die 3D-Objekte für eine Höhenposition für jede der Mehrzahl Positionen entlang des Verkehrswegs. Die Höhenposition ist eine Position bezogen auf beispielsweise eine Bodenebene, typischerweise in einer Richtung senkrecht zu der Bodenebene im Bereich des 3D-Objekts. Die Position des 3D-Objekts stellt eine einfache Forminformation des 3D-Objekts bereit, die eine Näherung einer 3D- Form des 3D-0bjekts darstellt. So kann beispielsweise eine Position eines Gebäudes als 3D-0bjekt über seinen Grundriss definiert werden, und das Gebäude wird mit dem Grundriss über seine gesamte Höhe angenähert und kann so auch mit mehreren Sensorpunkten in verschiedenen Höhenpositionen erfasst werden. Die Position des 3D- Objekts kann somit beispielsweise mit einer Position einer Fläche parallel zu einer Bodenfläche oder in der Bodenebene definiert sein. Unbenommen davon kann für jede Position entlang des Verkehrswegs zumindest ein Objektabstand für jede Seite des Verkehrswegs ermittelt werden. Im Ergebnis wird beispielsweise eine 2D-Punktwolke erzeugt, d.h. eine Punktwolke in einer Ebene.
In vorteilhafter Ausgestaltung der Erfindung umfasst das Bereitstellen einer Umgebungsinformation mit 3D-Objekten und deren Position ein Bereitstellen der Umgebungsinformation mit den 3D-Objekten mit deren Position und einer 3D-Form der 3D-Objekte an zumindest einer dem Verkehrsweg zugewandten Seite, das Ermitteln von Objektabständen für eine Mehrzahl Positionen entlang des Verkehrswegs basierend auf dem identifizierten Verkehrsweg und der Umgebungsinformation im Bereich des Verkehrswegs umfasst ein Ermitteln von Objektabständen für die 3D-Objekte für eine Mehrzahl 3D-Positionen für jede der Mehrzahl Positionen entlang des Verkehrswegs basierend auf der 3D-Form der 3D-Objekte an zumindest der dem Verkehrsweg zugewandten Seite, und das Erzeugen der Punktwolke basierend auf den Objektabständen für die Mehrzahl Positionen entlang des Verkehrswegs umfasst ein Erzeugen der Punktwolke basierend auf den Objektabständen für die 3D-Objekte für die Mehrzahl 3D-Positionen für jede der Mehrzahl Positionen entlang des Verkehrswegs basierend auf der 3D-Form der 3D-Objekte an zumindest der dem Verkehrsweg zugewandten Seite. Die Position der 3D-Objekte mit deren 3D-Form stellt eine genaue Definition der 3D-Objekte im 3D-Raum bereit. Die 3D-Objekte werden dadurch typischerweise durch einen Mehrzahl Punkte erfasst. Die Definition der 3D-Objekte mit ihrer 3D-Form kann dabei auf unterschiedliche Weise erfolgen. Beispielsweise kann die Position des jeweiligen 3D-Objekts als Basis gewählt werden, so dass die 3D-Form darauf basierend ergänzt wird. Es wird eine 3D-Punktwolke erzeugt, welche die Umgebung über die Tiefenkarte exakt definiert. Die 3D-Punktwolke entspricht einer Darstellung, die von den Umgebungssensoren der Verkehrsmittel üblicherweise erzeugt werden, so dass ein einfacher Abgleich zur Bestimmung der Position des Verkehrsmittels mit einer hohen Genauigkeit durchgeführt werden kann. Die 3D- Positionen entsprechen verschiedenen Höhenpositionen bezogen auf beispielsweise eine Bodenebene, typischerweise in einer Richtung senkrecht zu der Bodenebene. In vorteilhafter Ausgestaltung der Erfindung umfasst das Identifizieren eines Verkehrswegs mit dessen Position innerhalb eines von der Umgebungsinformation erfassten Bereichs ein Erfassen der Position des Verkehrswegs mit einer Verkehrswegreferenz entlang des Verkehrswegs, das Ermitteln von Objektabständen für eine Mehrzahl Positionen entlang des Verkehrswegs basierend auf dem identifizierten Verkehrsweg und der Umgebungsinformation im Bereich des Verkehrswegs umfasst ein Ermitteln der Objektabstände zu beiden Seiten des Verkehrswegs bezogen auf die Verkehrswegreferenz, und das Erzeugen der Punktwolke basierend auf den Objektabständen für die Mehrzahl Positionen entlang des Verkehrswegs umfasst ein Erzeugen der Punktwolke basierend auf den Objektabständen zu beiden Seiten des Verkehrswegs bezogen auf die Verkehrswegreferenz. Hierbei werden also zu jeder Position entlang des Verkehrswegs wenigstens zwei Objektabstände für 3D-Objekte ermittelt, um die Punktwolke zu erzeugen. Das Verkehrsmittel kann sich also in jeder Richtung an den 3D-Objekten mit seinen Umgebungssensoren verorten. Die Verkehrswegreferenz kann beispielsweise bei einer Straße ein Mittelstreifen davon sein oder bei einer Fahrbahn eine Fahrbahnmitte. Die Verkehrswegreferenz kann somit durch mit den Umgebungssensoren erfassbare Merkmale des Verkehrswegs oder auch unabhängig davon definiert sein.
In vorteilhafter Ausgestaltung der Erfindung umfasst das Identifizieren eines Verkehrswegs mit dessen Position innerhalb eines von der Umgebungsinformation erfassten Bereichs ein Erfassen der Position des Verkehrswegs mit zwei Verkehrswegreferenzen entlang des Verkehrswegs, insbesondere einer Verkehrswegreferenz entlang von zwei seitlichen Verkehrswegbegrenzungen oder zwei Fahrbahnbegrenzungen, das Ermitteln von Objektabständen für eine Mehrzahl Positionen entlang des Verkehrswegs basierend auf dem identifizierten Verkehrsweg und der Umgebungsinformation im Bereich des Verkehrswegs umfasst ein Ermitteln der Objektabstände von einer der Verkehrswegreferenzen zu den 3D-Objekten auf einer Seite des Verkehrswegs und von der anderen Verkehrswegreferenz zu den 3D- Objekten der anderen Seite des Verkehrswegs, und das Erzeugen der Punktwolke basierend auf den Objektabständen für die Mehrzahl Positionen entlang des Verkehrswegs umfasst ein Erzeugen der Punktwolke basierend auf den Objektabständen von der jeweiligen Verkehrswegreferenz zu den 3D-Objekten auf der entsprechenden Seite des Verkehrswegs. Die Objektabstände zu den beiden Verkehrswegreferenzen definieren somit gemeinsam die Punktwolke, wobei zu jeder Verkehrswegreferenz nur Objektabstände zu einer Seite davon ermittelt werden, wobei sich durch die Tiefenkarte mit der kombinierten Punktwolke das Verkehrsmittel in jeder Richtung an den 3D-0bjekten mit seinen Umgebungssensoren verorten kann. Die Verkehrswegreferenzen können auch hier durch mit den Umgebungssensoren erfassbare Merkmale des Verkehrswegs oder unabhängig davon definiert sein.
In vorteilhafter Ausgestaltung der Erfindung umfasst das Erfassen der Position des Verkehrswegs mit einer oder zwei Verkehrswegreferenzen entlang des Verkehrswegs ein Erzeugen von einer oder zwei flächigen Verkehrswegreferenzen, das Ermitteln von Objektabständen für eine Mehrzahl Positionen entlang des Verkehrswegs basierend auf dem identifizierten Verkehrsweg und der Umgebungsinformation im Bereich des Verkehrswegs umfasst ein Ermitteln der Objektabstände von einer der Verkehrswegreferenzen zu einer Seite des Verkehrswegs und von der anderen Verkehrswegreferenz zu der anderen Seite des Verkehrswegs, und das Erzeugen der Punktwolke basierend auf den Objektabständen für die Mehrzahl Positionen entlang des Verkehrswegs umfasst ein Erzeugen der Punktwolke basierend auf den Objektabständen zu der entsprechenden flächigen Verkehrswegreferenz. Die eine oder zwei flächigen Verkehrswegreferenzen können als Flächen bzw. Ebene entlang einer Verkehrswegrichtung definiert sein. Die flächige Verkehrswegreferenz steht üblicherweise senkrecht auf dem jeweiligen Verkehrsweg, insbesondere senkrecht für jede der Mehrzahl Positionen entlang des Verkehrswegs. Die eine oder zwei flächigen Verkehrswegreferenzen ermöglichen ein einfaches Ermitteln von Objektabständen für die 3D-Objekte für eine Mehrzahl 3D-Positionen für jede der Mehrzahl Positionen entlang des Verkehrswegs basierend auf der 3D-Form der 3D-Objekte an zumindest der dem Verkehrsweg zugewandten Seite, wenn die Objektabstände bezogen auf mehrere 3D-Positionen der flächigen Verkehrswegreferenz bestimmt werden, also für verschiedenen Höhenpositionen der flächigen Verkehrswegreferenz. Vorzugsweise werden die Objektabstände jeweils senkrecht zu der flächigen Verkehrswegreferenz ermittelt.
Alternativ kann ausgehend von einer Höhenposition der Verkehrswegereferenz an jeder Position der Verkehrswegs eine Mehrzahl Objektabstände ermittelt werden, wobei die Objektabstände für unterschiedliche Höhenwinkel ermittelt werden. In vorteilhafter Ausgestaltung der Erfindung umfasst das Erzeugen von einer oder zwei Verkehrswegreferenzen ein Rastern der Verkehrswegreferenz(en), und das Ermitteln von Objektabständen für eine Mehrzahl Positionen entlang des Verkehrswegs basierend auf dem identifizierten Verkehrsweg und der Umgebungsinformation im Bereich des Verkehrswegs umfasst ein Ermitteln der Objektabstände in Übereinstimmung mit dem Raster der Verkehrswegreferenz(en). Abhängig von der Art der Verkehrswegreferenz(en) kann das Raster als Linienraster und/oder als Flächenraster ausgeführt sein. Vorzugsweise ist das Raster gleichmäßig ausgeführt, woraus sich eine gleichmäßige Punktauflösung ergibt. Beim Flächenraster können Rasterabstände in den Flächenrichtungen unterschiedlich gewählt sein. Zu jedem Punkt des Rasters erfolgt das Ermitteln der Objektabstände.
In vorteilhafter Ausgestaltung der Erfindung umfasst das Ermitteln von Objektabständen für eine Mehrzahl Positionen entlang des Verkehrswegs basierend auf dem identifizierten Verkehrsweg und der Umgebungsinformation im Bereich des Verkehrswegs ein Raytracing oder Z-Buffering von der Mehrzahl Positionen entlang des Verkehrswegs zu den 3D-Objekten umfasst. Das Raytracing stellt eine einfache Möglichkeit zum Ermitteln der Objektabstände dar. Raytracing ist insbesondere relevant für das Erstellen einer Tiefenkarte mit einer 3D-Punktwolke.
In vorteilhafter Ausgestaltung der Erfindung umfasst das Ermitteln von Objektabständen für eine Mehrzahl Positionen entlang des Verkehrswegs basierend auf dem identifizierten Verkehrsweg und der Umgebungsinformation im Bereich des Verkehrswegs ein Ermitteln der Objektabstände in einer Richtung senkrecht zum Verlauf des identifizierten Verkehrswegs. Dies ermöglicht eine besonders einfache Erstellung der Tiefenkarte mit nur wenigen Punkte. Im Zusammenspiel mit dem identifizierten Verkehrsweg können die Objektabstände der Positionen entlang des Verkehrswegs verwendet werden, um die Objektabstände ausgehend von beliebigen Positionen entlang des Verkehrswegs oder auch unabhängig davon zu bestimmen, wenn sich das Verkehrsmittel beispielsweise neben dem Verkehrsweg befindet.
Dadurch kann eine einfache und zuverlässige Verortung des Verkehrsmittels basierend auf nur wenigen Punkten der Punktwolke durchgeführt werden. Vollständige Punktwolken für jede der Positionen entlang des Verkehrswegs sind nicht erforderlich, da sie über die einzelnen Punkte rekonstruiert werden können. In vorteilhafter Ausgestaltung der Erfindung umfasst das Identifizieren eines Verkehrswegs mit dessen Position innerhalb eines von der Umgebungsinformation erfassten Bereichs ein Identifizieren eines Flusses, einer Straße, eines Radwegs, eines Fußwegs und/oder eines Schienenwegs bzw. einer Fortbewegungsspur des Flusses, der Straße, des Radwegs, des Fußwegs und/oder des Schienenwegs als Verkehrsweg, insbesondere ein automatisches identifizieren des Flusses, der Straße, des Radwegs, des Fußwegs und/oder des Schienenwegs als Verkehrsweg. Die genannten Verkehrswege sind beispielhaft aufgelistet. Auch andere Arten von Verkehrswegen können betrachtet werden.
In dem beschriebenen Verfahren ist es möglich, verschiedene Verfahrensschritte in unterschiedlichen Reihenfolgen oder auch parallel durchzuführen, wie sich für den Fachmann offensichtlich aus den obigen Ausführungen ergibt. Die angegebenen Verfahrensschritte geben unabhängig von ihrer Auflistung keine notwendige Reihenfolge an.
Nachfolgend wird die Erfindung unter Bezugnahme auf die anliegende Zeichnung anhand bevorzugter Ausführungsformen näher erläutert. Die dargestellten Merkmale können sowohl jeweils einzeln als auch in Kombination einen Aspekt der Erfindung darstellen. Merkmale verschiedener Ausführungsbeispiele sind übertragbar von einem Ausführungsbeispiel auf ein anderes.
Es zeigt
Fig. 1 eine Ansicht einer Umgebung eines Fahrzeugs als optische Darstellung und mit einer Darstellung als Tiefenkarte mit einer dazugehörigen Punktwolke mit Objektabständen zu 3D-Objekten in der Umgebung, wobei zwei Verkehrswegreferenzen zugrunde gelegt sind, gemäß einer ersten, bevorzugten Ausführungsform,
Fig. 2 eine Ansicht einer Umgebung eines Fahrzeugs als optische Darstellung und mit einer Darstellung einer dazugehörigen Punktwolke mit Objektabständen zu 3D-Objekten in der Umgebung, wobei eine Verkehrswegreferenz zugrunde gelegt ist, gemäß einer zweiten Ausführungsform, Fig. 3 ein Ablaufdiagram des Verfahrens zum Erzeugen einer Tiefenkarte mit einer Punktwolke in Übereinstimmung mit der ersten und der zweiten Ausführungsform.
Nachfolgend wird ein Verfahren zum Erzeugen einer Tiefenkarte 10 mit einer Punktwolke 12, die 3D-0bjekte 14 in der Karte 10 definiert, gemäß einer ersten, bevorzugten Ausführungsform beschrieben.
Das Verfahren ist in Figur 3 als Ablaufdiagram dargestellt und wird unter zusätzlichem Bezug auf Figur 1 beschrieben, in der eine Umgebung 16 eines Verkehrsmittels als optische Darstellung und mit einer Darstellung als Tiefenkarte 10 mit der dazugehörigen Punktwolke 12 mit Objektabständen zu den 3D-Objekten 14 in der Umgebung 16 dargestellt ist.
Die Tiefenkarte 10 dient beispielsweise zur Verortung des Verkehrsmittels in der Umgebung 16 basierend auf Sensordaten von wenigstens einem Umgebungssensor des Verkehrsmittels in Bezug auf die 3D-0bjekte 14. Die Verwendung von Tiefenkarten 10 ist als solche bekannt.
Das Verfahren beginnt mit Schritt S100, der ein Bereitstellen einer Umgebungsinformation mit den 3D-Objekten 14 und deren Position betrifft.
Das Bereitstellen der Umgebungsinformation mit den 3D-Objekten 14 und deren Position umfasst vorliegend ein Identifizieren der 3D-0bjekte 14 und deren Position basierend auf einer Mehrzahl von Luftbilddarstellungen mit unterschiedlichen Blickwinkeln. Die Luftbilddarstellungen umfassen typischerweise eine Mehrzahl einzelner Luftbilder und werden gemeinsam zur Erstellung der Umgebungsinformation mit den 3D-Objekten 14 verwendet. Die Luftbilddarstellungen können beispielsweise mit einem Flugzeug oder einer Drohne wie auch basierend auf Satellitenbildern erzeugt werden.
Durch die Luftbilddarstellungen desselben Bereichs mit unterschiedlichen Blickwinkeln wird der Bereich mit der Umgebung 16 vollständig erfasst. Durch die unterschiedlichen Blickwinkel werden Begrenzungsflächen 20 der 3D-0bjekte 14 erfasst, wodurch die 3D- Objekte 14 zusätzlich zu ihrer Position mit einer 3D-Form bestimmt werden. Dies umfasst insbesondere die Begrenzungsfläche 20 der 3D-Form an einer einem Verkehrsweg 18 zugewandten Seite des jeweiligen 3D-0bjekts 14.
Alternativ erfolgt das Bereitstellen der Umgebungsinformation mit den 3D-Objekten 14 und deren Position basierend auf Information einer Vermessungsdatenbank. Die Vermessungsdatenbank stellt Vermessungsinformation für die 3D-Objekte 14 bereit, die in der Vermessungsdatenbank gesammelt ist.
Als 3D-Objekte 14 werden hier beispielhaft ortsfeste 3D-Objekte 14 wie Gebäude 14a, Bäume 14b und Laternen 14c betrachtet. Um die Verwendung von ortsfesten 3D- Objekten 14 zu verbessern, wird eine Objekterkennung durchgeführt. Prinzipiell dynamische 3D-Objekte 22 wie Verkehrsmittel oder ähnliches werden erkannt und im Weiteren nicht berücksichtigt für das Erstellen der Tiefenkarte 10.
Schritt S110 betrifft ein Identifizieren des Verkehrswegs 18 mit dessen Position innerhalb des von der Umgebungsinformation erfassten Bereichs. In diesem Ausführungsbeispiel wird als Verkehrsweg 18, 24 entweder eine Straße 18 mit zwei Fahrspuren 24 identifiziert, oder wie in Figur 1 dargestellt eine Fahrspur 24 der Straße 18. Entsprechend wird die Fahrspur 24 mit zwei Verkehrswegreferenzen 26 entlang von zwei seitlichen Fahrbahnbegrenzungen 28 der Fahrspur 24 identifiziert. Die Verkehrswegreferenzen 26 stellen hier mit Umgebungssensoren von Verkehrsmitteln erfassbare Merkmale des Verkehrswegs 18, 24 dar, können aber auch unabhängig davon definiert sein.
Die zwei Verkehrswegreferenzen 26 werden dabei als flächige Verkehrswegreferenzen 26 erzeugt, die als Flächen bzw. Ebenen entlang einer Verkehrswegrichtung definiert sind. Die flächigen Verkehrswegreferenzen 26 stehen senkrecht auf dem Verkehrsweg 18, 24. Die beiden Verkehrswegreferenzen 26 weisen ein Raster auf, wie in Figur 2 für die rechtsseitige Verkehrswegreferenz 26 dargestellt ist. Das Raster ist hier ein Flächenraster mit unterschiedlichen Rasterabständen in den Flächenrichtungen der flächigen Verkehrswegreferenzen 26.
Das Identifizieren des Verkehrswegs 18, 24 mit dessen Position innerhalb des von der Umgebungsinformation erfassten Bereichs erfolgt in Übereinstimmung mit Schritt S100 basierend auf der Mehrzahl Luftbilddarstellungen mit den unterschiedlichen Blickwinkeln.
Alternativ kann das Identifizieren des Verkehrswegs 18, 24 mit dessen Position innerhalb des von der Umgebungsinformation erfassten Bereichs basierend auf der Information der bereits genannten Vermessungsdatenbank erfolgen. Entsprechend stellt die Vermessungsdatenbank Vermessungsinformation für den Verkehrsweg 18, 24 bereit, die in der Vermessungsdatenbank gesammelt ist.
Schritt S120 betrifft ein Ermitteln von Objektabständen 30 für eine Mehrzahl Positionen entlang des Verkehrswegs 18, 24 basierend auf dem identifizierten Verkehrsweg 18, 24 und der Umgebungsinformation im Bereich des Verkehrswegs 18, 24.
Die Mehrzahl Positionen ergibt sich entlang des Verkehrswegs 18, 24 basierend auf und in Übereinstimmung mit dem Raster der Verkehrswegreferenzen 26. Entsprechend ist eine vertikale Position 32 vorgegeben. Zusätzlich ergeben sich aus dem Raster horizontale Positionen 34, wodurch die Positionen zur Bestimmung der Objektabstände 30 insgesamt als 3D-Positionen definiert sind. Zu jedem Schnittpunkt des Rasters, d.h. zu jedem Schnittpunkt von vertikaler Position 32 und horizontaler Positionen 34, bzw. zu jedem durch das Raster gebildeten rechteckigen Element, wird somit ein Objektabstand 30 ermittelt.
Das Ermitteln der Objektabstände 30 wird also basierend vertikalen und horizontalen Positionen 32, 34 durchgeführt. Dabei werden für die in Figur 1 rechtsseitige Verkehrswegreferenz 26 Objektabstände 30 zu Begrenzungsflächen 20 der rechtsseitig angeordneten 3D-0bjekte 14 ermittelt. Entsprechend werden für die in Figur 1 linksseitige Verkehrswegreferenz 26 Objektabstände 30 zu Begrenzungsflächen 20 der linksseitig angeordneten 3D-0bjekte 14 ermittelt. Die Objektabstände 30 sind lediglich in Figur 2 beispielhaft dargestellt, ergeben sich aber für die Darstellung der Figur 1 auf identische Weise.
Das Ermitteln der Objektabstände 30 betrifft in diesem Ausführungsbeispiel eine Erzeugung von einem Abstandswert für jede der 3D-Positionen. Der Abstandswert gibt einen Abstand zu einem nächsten 3D-0bjekt 14 von der entsprechenden 3D-Position an. Dabei wird der Abstand für jede der 3D-Positionen gleichartig in Bezug auf den identifizierten Verkehrsweg 18, 24 bestimmt, indem die Objektabstände 30 jeweils in einer Richtung senkrecht zum Verlauf des identifizierten Verkehrswegs 18, 24 und senkrecht zu der Fläche der Verkehrswegreferenz 26 ermittelt werden.
In Figur 1 sind unterschiedliche Objektabstände 30 grob durch unterschiedliche Schraffuren für große Objektabstände 36, mittlere Objektabstände 38 und geringe Objektabstände 40 veranschaulicht.
Alternativ können die Objektabstände 30 für die 3D-Positionen mittels Raytracing von den 3D-Positionen zu den 3D-Objekten 14 ermittelt werden.
Schritt S130 betrifft ein Erzeugen der Punktwolke 12 basierend auf den Objektabständen 30 für die Mehrzahl Positionen entlang des Verkehrswegs 18, 24.
Das Erzeugen der Punktwolke 12 erfolgt basierend auf den Objektabständen 30 für die 3D-Objekte 14 für jede der 3D-Positionen entlang des Verkehrswegs 18, 24 basierend auf der 3D-Form der 3D-Objekte 14 basierend auf den in Schritt S120 ermittelten Objektabständen 30 von der jeweiligen Verkehrswegreferenz 26 zu den 3D-Objekten 14 auf der entsprechenden Seite des Verkehrswegs 18, 24. Die Objektabstände 30 zu den beiden Verkehrswegreferenzen 26 definieren somit gemeinsam die Punktwolke 12. Ausgehend von den Objektabständen 30, die für jede Verkehrswegreferenz 26 nur zu einer Seite davon ermittelt worden sind, wird eine vollständige, kombinierte Punktwolke 12 mit einer Kombination der Objektabstände 30 der beiden flächigen Verkehrswegreferenzen 26 erzeugt.
Schritt S140 betrifft ein Kombinieren der Punktwolke 12 mit der Karte zur Bereitstellung der Tiefenkarte 10.
Entsprechend wird die Punktwolke 12 innerhalb einer bereitgestellten Karte verortet, wobei die Position der Punkte der Punktwolke 12 ausgehend von den Positionen des identifizierten Verkehrswegs 18, 24 innerhalb des von der Umgebungsinformation erfassten Bereichs angegeben wird. Dabei können an sich bekannte Karten als Basis verwendet werden, die nur Information in Bezug auf die Verkehrswege 18, 24 selber enthalten und keine Information in Bezug auf die 3D-Objekte. Der Verkehrsweg 18, 24 kann basierend auf der Karte identifiziert werden als Basis für die Erzeugung der Tiefenkarte 10 und die Verortung der Punktwolke 12.
Um die Tiefenkarte 10 zu erstellen, wird ein Bereich des Verkehrswegs 18, 24 selber ausgespart.
Nachstehend wird unter Bezug auf Figur 2 ein Verfahren zum Erzeugen der Tiefenkarte 10 mit einer Punktwolke 12, die 3D-0bjekte 14 in der Karte 10 definiert, gemäß einer zweiten Ausführungsform beschrieben.
Das Verfahren wird ebenfalls durch das Ablaufdiagram der Figur 3 dargestellt und hier unter zusätzlichem Bezug auf Figur 2 beschrieben, in der eine Umgebung 16 eines Verkehrsmittels als optische Darstellung mit einer Straße 18 als Verkehrsweg 18 und mit Objektabständen 30 zu den 3D-Objekten 14 in der Umgebung 16 dargestellt ist.
Das Verfahren der zweiten Ausführungsform entspricht weitgehend dem Verfahren der ersten Ausführungsform, so dass hier im Weitern nur Unterschiede zwischen den Verfahren der ersten und zweiten Ausführungsform im Detail beschrieben werden.
In Schritt S110 erfolgt das Identifizieren des Verkehrswegs 18, 24 mit dessen Position innerhalb des von der Umgebungsinformation erfassten Bereichs basierend auf einer Mittellinie 42, entlang derer die Position des Verkehrswegs 18, 24 mit einer flächigen Verkehrswegreferenz 26 erfasst wird.
In Schritt S120 erfolgt das Ermitteln von Objektabständen 30 für die Mehrzahl 3D- Positionen entlang des Verkehrswegs 18, 24 basierend auf dem identifizierten Verkehrsweg 18, 24 mit der flächigen Verkehrswegreferenz 26 zu beiden Seiten des Verkehrswegs bezogen auf die Verkehrswegreferenz 26. Es werden also zu jeder 3D- Position entlang des Verkehrswegs 18, 24 zwei Objektabstände 30 für 3D-Objekte 14 ermittelt, um die Punktwolke 12 zu erzeugen.
Im Übrigen sind die Verfahren der ersten und zweiten Ausführungsform identisch. Bezugszeichenliste
10 Tiefenkarte
12 Punktwolke
14 3D-0bjekt (ortsfest)
14a Gebäude, 3D-0bjekt
14b Baum, 3D-0bjekt
14c Laterne, 3D-0bjekt
16 Umgebung
18 Straße, Verkehrsweg
20 Begrenzungsfläche
22 Verkehrsmittel, dynamisches 3D-0bjekt
24 Fahrspur, Verkehrsweg
26 Verkehrswegreferenz
28 Fahrbahnbegrenzung
30 Objektabstand
32 vertikale Position
34 horizontale Position
36 großer Objektabstand
38 mittlerer Objektabstand
40 geringer Objektabstand
42 Mittellinie

Claims

Patentansprüche Verfahren zum Erzeugen einer Tiefenkarte (10) mit einer Punktwolke (12), die 3D- Objekte (14) in einer Karte definiert, insbesondere zur Verortung eines Verkehrsmittels (22) in einer Umgebung (16) des Verkehrsmittels (22) basierend auf Sensordaten von wenigstens einem Umgebungssensor des Verkehrsmittels (22) in Bezug auf die 3D-0bjekte (14), umfassend die Schritte
Bereitstellen einer Umgebungsinformation mit den 3D-Objekten (14) und deren Position,
Identifizieren eines Verkehrswegs (18, 24) mit dessen Position innerhalb eines von der Umgebungsinformation erfassten Bereichs,
Ermitteln von Objektabständen (30) für eine Mehrzahl Positionen entlang des Verkehrswegs (18, 24) basierend auf dem identifizierten Verkehrsweg (18, 24) und der Umgebungsinformation im Bereich des Verkehrswegs (18, 24),
Erzeugen der Punktwolke (12) basierend auf den Objektabständen (30) für die Mehrzahl Positionen entlang des Verkehrswegs (18, 24), und
Kombinieren der Punktwolke (12) mit der Karte zur Bereitstellung der Tiefenkarte (10). Verfahren nach Anspruch 1 , dadurch gekennzeichnet, dass das Bereitstellen einer Umgebungsinformation mit 3D-Objekten (14) und deren Position ein Identifizieren der 3D-0bjekte (14) und deren Position basierend auf einer Luftbilddarstellung umfasst, und/oder das Identifizieren eines Verkehrswegs (18, 24) mit dessen Position innerhalb eines von der Umgebungsinformation erfassten Bereichs ein Identifizieren des Verkehrswegs (18, 24) mit dessen Position innerhalb des von der Umgebungsinformation erfassten Bereichs basierend auf einer Luftbilddarstellung umfasst. Verfahren nach einem der Ansprüche 1 oder 2, dadurch gekennzeichnet, dass das Bereitstellen einer Umgebungsinformation mit 3D-Objekten (14) und deren Position ein Identifizieren der 3D-0bjekte (14) und deren Position basierend auf einer Mehrzahl Luftbilddarstellungen mit unterschiedlichen Blickwinkeln umfasst, und/oder das Identifizieren eines Verkehrswegs (18, 24) mit dessen Position innerhalb eines von der Umgebungsinformation erfassten Bereichs ein Identifizieren des Verkehrswegs (18, 24) mit dessen Position innerhalb des von der Umgebungsinformation erfassten Bereichs basierend auf einer Mehrzahl Luftbilddarstellungen mit unterschiedlichen Blickwinkeln umfasst. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Bereitstellen einer Umgebungsinformation mit 3D-Objekten (14) und deren Position ein Identifizieren der 3D-0bjekte (14) und deren Position basierend auf Information einer Vermessungsdatenbank umfasst, und/oder das Identifizieren eines Verkehrswegs (18, 24) mit dessen Position innerhalb eines von der Umgebungsinformation erfassten Bereichs ein Identifizieren des Verkehrswegs (18, 24) mit dessen Position innerhalb des von der Umgebungsinformation erfassten Bereichs basierend auf Information einer Vermessungsdatenbank umfasst. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Bereitstellen einer Umgebungsinformation mit 3D-Objekten (14) und deren Position ein Bereitstellen der Umgebungsinformation mit den 3D-Objekten (14) mit deren Position umfasst, das Ermitteln von Objektabständen (30) für eine Mehrzahl Positionen entlang des Verkehrswegs (18, 24) basierend auf dem identifizierten Verkehrsweg (18, 24) und der Umgebungsinformation im Bereich des Verkehrswegs (18, 24) ein Ermitteln von Objektabständen für die 3D-0bjekte (14) für eine Höhenposition für jede der Mehrzahl Positionen entlang des Verkehrswegs (18, 24) umfasst, und das Erzeugen der Punktwolke (12) basierend auf den Objektabständen (30) für die Mehrzahl Positionen entlang des Verkehrswegs (18, 24) ein Erzeugen der Punktwolke (12) basierend auf den Objektabständen für die 3D-0bjekte (14) für eine Höhenposition für jede der Mehrzahl Positionen entlang des Verkehrswegs umfasst. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Bereitstellen einer Umgebungsinformation mit 3D-0bjekten (14) und deren Position ein Bereitstellen der Umgebungsinformation mit den 3D-Objekten (14) mit deren Position und einer 3D-Form der 3D-0bjekte (14) an zumindest einer dem Verkehrsweg (18, 24) zugewandten Seite umfasst, das Ermitteln von Objektabständen (30) für eine Mehrzahl Positionen entlang des Verkehrswegs (18, 24) basierend auf dem identifizierten Verkehrsweg (18, 24) und der Umgebungsinformation im Bereich des Verkehrswegs (18, 24) ein Ermitteln von Objektabständen (30) für die 3D-0bjekte (14) für eine Mehrzahl 3D- Positionen für jede der Mehrzahl Positionen entlang des Verkehrswegs (18, 24) basierend auf der 3D-Form der 3D-0bjekte (14) an zumindest der dem Verkehrsweg (18, 24) zugewandten Seite umfasst, und das Erzeugen der Punktwolke (12) basierend auf den Objektabständen (30) für die Mehrzahl Positionen entlang des Verkehrswegs (18, 24) ein Erzeugen der Punktwolke (12) basierend auf den Objektabständen für die 3D-0bjekte (14) für die Mehrzahl 3D-Positionen für jede der Mehrzahl Positionen entlang des Verkehrswegs (18, 24) basierend auf der 3D-Form der 3D-0bjekte (14) an zumindest der dem Verkehrsweg (18, 24) zugewandten Seite umfasst. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Identifizieren eines Verkehrswegs (18, 24) mit dessen Position innerhalb eines von der Umgebungsinformation erfassten Bereichs ein Erfassen der Position des Verkehrswegs (18, 24) mit einer Verkehrswegreferenz (26) entlang des Verkehrswegs (18, 24) umfasst, das Ermitteln von Objektabständen (30) für eine Mehrzahl Positionen entlang des Verkehrswegs (18, 24) basierend auf dem identifizierten Verkehrsweg (18, 24) und der Umgebungsinformation im Bereich des Verkehrswegs (18, 24) ein Ermitteln der Objektabstände (30) zu beiden Seiten des Verkehrswegs (18, 24) bezogen auf die Verkehrswegreferenz (26) umfasst, und das Erzeugen der Punktwolke (12) basierend auf den Objektabständen (30) für die Mehrzahl Positionen entlang des Verkehrswegs (18, 24) ein Erzeugen der Punktwolke (12) basierend auf den Objektabständen (30) zu beiden Seiten des Verkehrswegs (18, 24) bezogen auf die Verkehrswegreferenz (26) umfasst. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Identifizieren eines Verkehrswegs (18, 24) mit dessen Position innerhalb eines von der Umgebungsinformation erfassten Bereichs ein Erfassen der Position des Verkehrswegs (18, 24) mit zwei Verkehrswegreferenzen (26) entlang des Verkehrswegs (18, 24), insbesondere einer Verkehrswegreferenz (26) entlang von zwei seitlichen Verkehrswegbegrenzungen oder zwei Fahrbahnbegrenzungen, umfasst, das Ermitteln von Objektabständen für eine Mehrzahl Positionen entlang des Verkehrswegs basierend auf dem identifizierten Verkehrsweg und der Umgebungsinformation im Bereich des Verkehrswegs ein Ermitteln der Objektabstände von einer der Verkehrswegreferenzen zu den 3D-Objekten (14) auf einer Seite des Verkehrswegs und von der anderen Verkehrswegreferenz zu den 3D-Objekten (14) der anderen Seite des Verkehrswegs umfasst, und das Erzeugen der Punktwolke (12) basierend auf den Objektabständen für die Mehrzahl Positionen entlang des Verkehrswegs ein Erzeugen der Punktwolke (12) basierend auf den Objektabständen von der jeweiligen Verkehrswegreferenz zu den 3D-Objekten (14) auf der entsprechenden Seite des Verkehrswegs umfasst. Verfahren nach einem der vorhergehenden Ansprüche 7 oder 8, dadurch gekennzeichnet, dass das Erfassen der Position des Verkehrswegs mit einer oder zwei Verkehrswegreferenzen entlang des Verkehrswegs ein Erzeugen von einer oder zwei flächigen Verkehrswegreferenzen umfasst, das Ermitteln von Objektabständen für eine Mehrzahl Positionen entlang des Verkehrswegs basierend auf dem identifizierten Verkehrsweg und der Umgebungsinformation im Bereich des Verkehrswegs ein Ermitteln der Objektabstände von einer der Verkehrswegreferenzen zu einer Seite des Verkehrswegs und von der anderen flächigen Verkehrswegreferenz zu der anderen Seite des Verkehrswegs umfasst, und das Erzeugen der Punktwolke (12) basierend auf den Objektabständen für die Mehrzahl Positionen entlang des Verkehrswegs ein Erzeugen der Punktwolke (12) basierend auf den Objektabständen zu der entsprechenden flächigen Verkehrswegreferenz umfasst. Verfahren nach einem der vorhergehenden Ansprüche 7 bis 9, dadurch gekennzeichnet, dass das Erzeugen von einer oder zwei Verkehrswegreferenzen ein Rastern der Verkehrswegreferenz(en) () umfasst, und das Ermitteln von Objektabständen für eine Mehrzahl Positionen entlang des Verkehrswegs basierend auf dem identifizierten Verkehrsweg und der Umgebungsinformation im Bereich des Verkehrswegs ein Ermitteln der Objektabstände in Übereinstimmung mit dem Raster der Verkehrswegreferenz(en) umfasst. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Ermitteln von Objektabständen für eine Mehrzahl Positionen entlang des Verkehrswegs basierend auf dem identifizierten Verkehrsweg und der Umgebungsinformation im Bereich des Verkehrswegs ein Raytracing von der Mehrzahl Positionen entlang des Verkehrswegs zu den 3D-Objekten (14) umfasst. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Ermitteln von Objektabständen für eine Mehrzahl Positionen entlang des Verkehrswegs basierend auf dem identifizierten Verkehrsweg und der Umgebungsinformation im Bereich des Verkehrswegs ein Ermitteln der Objektabstände in einer Richtung senkrecht zum Verlauf des identifizierten Verkehrswegs umfasst. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Identifizieren eines Verkehrswegs mit dessen Position innerhalb eines von der Umgebungsinformation erfassten Bereichs ein Identifizieren eines Flusses, einer Straße, eines Radwegs, eines Fußwegs und/oder eines Schienenwegs bzw. einer Fortbewegungsspur des Flusses, der Straße, des Radwegs, des Fußwegs und/oder des Schienenwegs als Verkehrsweg umfasst, insbesondere ein automatisches identifizieren des Flusses, der Straße, des Radwegs, des Fußwegs und/oder des Schienenwegs als Verkehrsweg.
PCT/EP2021/084467 2020-12-16 2021-12-07 Erstellen einer tiefenkarte Ceased WO2022128591A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102020133634.9 2020-12-16
DE102020133634.9A DE102020133634A1 (de) 2020-12-16 2020-12-16 Erstellen einer Tiefenkarte

Publications (1)

Publication Number Publication Date
WO2022128591A1 true WO2022128591A1 (de) 2022-06-23

Family

ID=79185868

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2021/084467 Ceased WO2022128591A1 (de) 2020-12-16 2021-12-07 Erstellen einer tiefenkarte

Country Status (2)

Country Link
DE (1) DE102020133634A1 (de)
WO (1) WO2022128591A1 (de)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102023210263A1 (de) 2023-10-19 2025-04-24 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren zum Erzeugen einer Texturkarte

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102018118215A1 (de) 2018-07-27 2020-01-30 Man Truck & Bus Se Verfahren zur Aktualisierung einer Umgebungskarte, Vorrichtung für die fahrzeugseitige Durchführung von Verfahrensschritten des Verfahrens, Fahrzeug, Vorrichtung für die zentralrechnerseitige Durchführung von Verfahrensschritten des Verfahrens sowie computerlesbares Speichermedium
US10823562B1 (en) * 2019-01-10 2020-11-03 State Farm Mutual Automobile Insurance Company Systems and methods for enhanced base map generation

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014020529A1 (en) 2012-08-02 2014-02-06 Earthmine, Inc. Three-dimensional plane panorama creation through hough-based line detection
US10445928B2 (en) 2017-02-11 2019-10-15 Vayavision Ltd. Method and system for generating multidimensional maps of a scene using a plurality of sensors of various types
US10698422B2 (en) 2017-10-04 2020-06-30 Here Global B.V. Link level wind factor computation for efficient drone routing using 3D city map data
DE102019206036A1 (de) 2019-04-26 2020-10-29 Volkswagen Aktiengesellschaft Verfahren und Vorrichtung zur Bestimmung der geografischen Position und Orientierung eines Fahrzeugs

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102018118215A1 (de) 2018-07-27 2020-01-30 Man Truck & Bus Se Verfahren zur Aktualisierung einer Umgebungskarte, Vorrichtung für die fahrzeugseitige Durchführung von Verfahrensschritten des Verfahrens, Fahrzeug, Vorrichtung für die zentralrechnerseitige Durchführung von Verfahrensschritten des Verfahrens sowie computerlesbares Speichermedium
US10823562B1 (en) * 2019-01-10 2020-11-03 State Farm Mutual Automobile Insurance Company Systems and methods for enhanced base map generation

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
BUYUKDEMIRCIOGLU MEHMET ET AL: "Semi-Automatic 3D City Model Generation from Large-Format Aerial Images", ISPRS INTERNATIONAL JOURNAL OF GEO-INFORMATION, vol. 7, no. 9, 1 January 2018 (2018-01-01), pages 339, XP055912047, ISSN: 2220-9964, DOI: 10.3390/ijgi7090339 *

Also Published As

Publication number Publication date
DE102020133634A1 (de) 2022-06-23

Similar Documents

Publication Publication Date Title
EP3443301B1 (de) Verfahren und system zum bestimmen einer globalen position einer ersten landmarke
DE102009030672B3 (de) Verfahren zur Bestimmung der geographischen Koordinaten von Bildpunkten in SAR Bildern
DE102015116882B4 (de) Verbindungswahrscheinlichkeitsmodellbildung und Folgerung der Kreuzungsstruktur
DE102015203016B4 (de) Verfahren und Vorrichtung zur optischen Selbstlokalisation eines Kraftfahrzeugs in einem Umfeld
DE112020006426T5 (de) Systeme und verfahren zur fahrzeugnavigation
EP3731187A1 (de) Verfahren und vorrichtung zur bestimmung der geografischen position und orientierung eines fahrzeugs
DE102019110528A1 (de) Technik zur positionsbestimmung
DE102011100628B4 (de) Verfahren und Vorrichtung zur Bestimmung mindestens eines Kameraparameters
DE102019104716A1 (de) Lokalisierungstechnikauswahl
DE102020100022A1 (de) Positionsbestimmungstechnik
DE112014001069T5 (de) Steuerungssystem und -verfahren zur Steuerung eines Fahrzeugs im Zusammenhang mit der Erkennung eines Hindernisses
DE102018130597A1 (de) 3d-kartierung mit hoher bildschärfe
DE102020122752A1 (de) Sensorlokalisierung anhand externer quelldaten
DE102018218436A1 (de) Fahrzeugparkassistenz
DE102022128884A1 (de) Sensoroptimierung
DE102016207181B4 (de) Verfahren und System zum Bestimmen einer Position eines Fahrzeugs auf einer Fahrbahn
DE102019217555B4 (de) Verfahren und Steuereinrichtung zur Fahrzeugsteuerung
EP3721371B1 (de) Verfahren zur positionsbestimmung für ein fahrzeug, steuergerät und fahrzeug
DE102020133634A1 (de) Erstellen einer Tiefenkarte
DE102004028736A1 (de) Verfahren zur automatischen Erfassung und Bestimmung von ortsfesten Objekten im Freien von einem fahrenden Fahrzeug aus
DE102017006142A1 (de) Verfahren zur Lokalisierung eines Fahrzeuges innerhalb eines Fahrstreifens
DE102020210059A1 (de) Verfahren, Computer-implementiertes Werkzeug, Fahrzeug-Steuerungseinheit und Fahrzeug zum Verorten von Hindernisobjekten in landmarkengekennzeichneten Fahrstreckenbereichen von Fahrzeugen
DE102019206918B3 (de) Positionsbestimmungsverfahren und Positionsbestimmungseinrichtung
WO2016015857A1 (de) Verfahren zum bestimmen einer position und/oder ausrichtung eines sensors
DE102019216536A1 (de) Verfahren und Steuereinrichtung zur Fahrzeugnavigation

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21835656

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21835656

Country of ref document: EP

Kind code of ref document: A1