WO2023012096A1 - Verfahren und kartenerzeugungseinrichtung für ein fahrzeug zur erzeugung einer hochauflösenden karte einer bodenfläche in einem fahrzeugumfeld - Google Patents

Verfahren und kartenerzeugungseinrichtung für ein fahrzeug zur erzeugung einer hochauflösenden karte einer bodenfläche in einem fahrzeugumfeld Download PDF

Info

Publication number
WO2023012096A1
WO2023012096A1 PCT/EP2022/071528 EP2022071528W WO2023012096A1 WO 2023012096 A1 WO2023012096 A1 WO 2023012096A1 EP 2022071528 W EP2022071528 W EP 2022071528W WO 2023012096 A1 WO2023012096 A1 WO 2023012096A1
Authority
WO
WIPO (PCT)
Prior art keywords
vehicle
recording
recordings
map
data
Prior art date
Application number
PCT/EP2022/071528
Other languages
English (en)
French (fr)
Inventor
Timo Iken
Stefan Wappler
Roland Kube
Niklas KOCH
Original Assignee
Volkswagen Aktiengesellschaft
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Volkswagen Aktiengesellschaft filed Critical Volkswagen Aktiengesellschaft
Priority to CN202280054287.9A priority Critical patent/CN117751385A/zh
Publication of WO2023012096A1 publication Critical patent/WO2023012096A1/de

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/38—Registration of image sequences
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Definitions

  • Method and map generating device for a vehicle for generating a high-resolution map of a floor area in a vehicle environment
  • An HD map is an important element for many functions. The creation of these maps is usually complex. Furthermore, only little information can usually be extracted from individual camera images.
  • a system for correcting HD map images is known from DE 102019 133 536 A1. To this end, the system is set up to acquire ground view image data of a map anomaly hotspot detected by the vehicles from a large number of vehicles.
  • the ground view image data is converted to bird's-eye view image data using homography, outliers are removed from the bird's-eye view image data, and an error reduction mechanism is applied.
  • a sequence of consecutive images from the image data after error reduction are stitched together to produce a high-resolution image. This is compared to a high resolution image of the hotspot to determine changes to the high resolution image.
  • a high-resolution map system is known from US 2018/0188041 A1, which receives sensor data from a vehicle driving along a route and which uses the data to generate a high-resolution map for use in vehicles.
  • a machine learning-based results filter detects poor fitting results and prevents them from being input into a subsequent global pose optimization.
  • the object of the present invention is to overcome the disadvantages known from the prior art and to provide a method and a map generation device which offer efficient and comparatively less complex generation of a high-resolution map of a floor area of a vehicle environment.
  • the vehicle has at least one sensor device for detecting a vehicle environment of the vehicle on.
  • the method includes the generation of a large number of recordings of spatially resolved environmental data (such as recordings from a camera) using the at least one sensor device (such as a camera), with the floor surface of the vehicle area being at least partially in the vehicle area detected by the at least one sensor device , wherein the recordings differ from one another, in particular in pairs, by at least one recording parameter, in particular a recording location and/or a recording direction.
  • a large number of recordings of spatially resolved environmental data such as recordings from a camera
  • the at least one sensor device such as a camera
  • the high-resolution map is preferably determined based on the map data and/or can be determined from these.
  • the map data can be characteristic of a multitude of (image) information (such as intensity, color and/or brightness values) of the high-resolution map, in particular at the pixel level of the map.
  • the plurality is at least two recordings, preferably at least three recordings, preferably at least ten recordings, preferably at least twenty recordings and particularly preferably at least 100 recordings.
  • a swarm map is created from accumulated recordings (such as images).
  • This map or this composite recording e.g. a composite picture contains significantly more information (than the individual recordings separately).
  • the accumulated or composite recording thus represents a larger (ground) area, but also advantageously enables further subsequent steps, such as deriving features from the map data and/or correcting the map data.
  • this enables Merging several recordings (e.g. several map images) to form a ground level, that map information is derived from the map (generated in this way).
  • the proposed intended creation of this map per swarm is comparatively less complex.
  • the high-resolution map (generated on the basis of the ascertained map data) is preferably a two-dimensional map.
  • the creation of a three-dimensional map would also be conceivable, taking into account further (elevation) information, which would be suitable and determined for a three-dimensional reconstruction of the surroundings.
  • the plurality of recordings is preferably assembled (essentially) in real time and/or the (high-resolution) map is preferably generated (essentially) in real time.
  • the recordings of the plurality of recordings are at least partially (and preferably all) recorded sequentially.
  • Each sensor device preferably generates the respective recordings sequentially. It is conceivable that, for example, two sensor devices (for detecting the surroundings of the vehicle) generate or determine recordings of surroundings data (albeit with different recording directions) essentially simultaneously.
  • the large number of recordings is preferably transmitted in particular via a wired communication connection (in the vehicle) or data characteristic of this to the, in particular processor-based, map generation device and/or stored on a (vehicle-internal) storage device, preferably a ring memory.
  • the recordings of the spatially resolved environment data are processed (by the map generating device), by means of which a bird's-eye view of the detected vehicle environment is generated.
  • the environmental data for generating or determining the map data and/or for assembling the large number of recordings are available in a bird's-eye view.
  • a bird's-eye view can be a view from above (of the vehicle) or an angle of view from above (of the vehicle).
  • the detected vehicle environment (at least in certain areas and preferably around the vehicle and/or, in particular at least in sections and preferably along a complete driving section, along the vehicle trajectory) is preferably displayed in a bird's eye view or characteristic data for a bird's eye view representation is determined.
  • a large number of recordings are preferably generated, which at least partially overlap one another and at least partially record or depict the same region of the vehicle environment.
  • the combination of the plurality of recordings is preferably based on an identification of an area of a recording which corresponds to at least one area of a further recording of the plurality of recordings and in which in particular at least partially and preferably completely the same and in particular an identical area of the vehicle environment is imaged becomes.
  • correlations between different recordings are determined.
  • the vehicle preferably has at least two sensor devices (for detecting the surroundings of the vehicle), which differ from one another at least in their recording direction.
  • the recording direction is in Forward direction of travel while a rear area of the vehicle environment is recorded with a rear camera and/or in particular a recording direction takes place in the reverse direction of travel.
  • the location of the recording can differ from one another due to the different (in particular fixed) arrangement of the sensor device in the vehicle.
  • At least one recording parameter and/or several recording parameters in particular one for a (relative) recording location (inside the vehicle) and/or or for a recording direction and/or for a recording angle and/or a field of view (FOV) and/or calibration data of the sensor device is stored on a memory device of the vehicle and can be called up in particular by the map generating device.
  • vehicle-specific variables such as a vehicle height or a height of the arrangement of the sensor device relative to the floor surface or a floor level on which the vehicle is located
  • error variables of the respective sensor device
  • correction variables in particular of the respective sensor device
  • the different recording location of at least two recordings is given by a different vehicle position of the vehicle in relation to the vehicle surroundings.
  • the recording location of the at least two recordings and preferably a large number of recordings results (at least also) from a respective different vehicle position of the vehicle (at the time of recording the respective recordings).
  • the vehicle can move (along a vehicle trajectory), in particular continuously and/or without interruption, while the recordings are being generated.
  • the recordings are preferably generated at such a time and location distance (in relation to the vehicle environment) that (essentially) each recording has an overlapping area with another recording and/or each recording at least partially depicts the same area of the detected vehicle area and/or represented as at least one further recording.
  • a vehicle position is determined as at least one recording variable for each recording of the plurality of recordings. This advantageously makes it easier or less computationally intensive to create or generate a composition of the various recordings, taking this recording size into account. Furthermore, it allows the derivation of a relative and/or absolute (global) position (e.g. world coordinates) of a respective map pixel and/or a segment of the generated or determined high-resolution map.
  • a relative and/or absolute (global) position e.g. world coordinates
  • GPS Global Positioning System
  • the vehicle position is a relative vehicle position in relation to a reference location such as a starting point of a driving route or vehicle trajectory.
  • the map generation device determines and/or retrieves odometry data of the vehicle or data derived therefrom in order to determine the respective vehicle position.
  • the odometry data are preferably determined and/or retrieved on the basis of data from the chassis sensors.
  • the odometry data can be based on variables (such as manipulated variables) from steering and/or acceleration sensor devices in the vehicle be determined.
  • the odometry data are preferably characteristic of a (current) steering angle and/or a (current) acceleration of the vehicle and/or of a distance covered (in relation to a reference point) and/or of a rotation of the vehicle wheels.
  • the transmission and/or retrieval of the odometry data and/or variables characteristic thereto preferably takes place via wired communication links to the map generating device.
  • such a correction variable can be derived and/or determined on the basis of a recording made up of the plurality of recordings.
  • the correction variable is determined on the basis of an essentially closed vehicle trajectory (loop closure) of the vehicle (along which the plurality of recordings were or are generated), in particular determined by the map generating device.
  • an odometry drift that occurs can advantageously be determined and corresponding corrections (for example to the map data and/or to the environment data) can be made.
  • the vehicle trajectory i.e. in particular the movement path of the vehicle
  • it can be determined, for example by comparing the two determined vehicle positions at the crossing point or the point at which the trajectory closes, whether an odometry drift has occurred is.
  • the correction variable based on a particular predetermined degree of curvature is at least one in the composition of the plurality of Recordings occurring curved line determined.
  • slightly curved lines which are displayed as a line with a (particularly slight) curvature in the environmental data and in particular in a recording composed of the large number of recordings, an odometry drift can (under certain assumptions) be inferred. This advantageously enables the odometry drift to be corrected (for example on the ascertained map data and/or on the surroundings data).
  • (predetermined) environmental features such as a geometric line profile and/or a Curvature course) extracted from at least one recording and preferably on the basis of a composite of multiple recordings and in particular the plurality of recordings features.
  • the predefined environmental features are, for example, a course of a line and/or lines which are (substantially) assumed to be straight lines in reality, ie lines with a straight course.
  • a line could be, for example, a road marking line for delimiting at least one (essentially rectangular) parking space.
  • road marking lines usually run in a straight line. If these are shown or represented in the environmental data or in the map data or in a composition of the recordings as slightly curved, the presence of an odometry drift can be deduced.
  • additional information can be derived from an aggregated recording (e.g. an aggregated image).
  • the course of the degree of curvature of the at least one determined line can be taken into account to determine the correction variable.
  • it can be taken into account whether the degree of curvature changes or whether it is essentially constant or within a specified tolerance range.
  • Such environmental features and/or the presence of an odometry drift can preferably be recognized or detected on the basis of the environmental data, in particular using a processor device and/or data processing device, by using at least one (computer-implemented) computer vision method in which (computer -implemented) perception and/or detection tasks are performed, for example (computer-implemented) 2D and/or 3D object recognition methods and/or (computer-implemented) methods for semantic segmentation and/or (computer-implemented) object classification (“Image Classification”) and/or (computer-implemented) object localization and/or (computer-implemented) edge detection.
  • the computer vision method can be based on a machine learning model, which can use a (trained) neural network, for example.
  • the (vehicle-internal) memory device is preferably a ring memory.
  • recordings especially images, do not contain any global position data (e.g. in a multi-storey car park without GPS), then these can preferably be supplemented later if the position data are available.
  • the generated high-resolution map and/or the map data is/are preferably transmitted from the vehicle to an external storage device.
  • the map and/or the map data can be transmitted to the external memory device as soon as a specified memory size or a specified memory share of the maximum memory size on the vehicle's memory device, in particular the ring memory, has been reached. It is also conceivable that the vehicle transmits the high-resolution map and/or the map data to the external storage device at regular time and/or route intervals. This offers the advantage that the usually limited storage space on the vehicle's internal storage device is not exceeded.
  • Preferably, only the (finished or generated) map (possibly with its associated, in particular global, position data) is transmitted to the external storage device, but not the large number of recordings.
  • the large number of recordings is preferably not transmitted to one or the external storage device.
  • the external storage device is a cloud-based storage device and/or an external server.
  • An external server is to be understood in particular as an external server in relation to the vehicle (of the user), in particular a backend server.
  • the external server is, for example, a backend of a vehicle manufacturer or a service provider that is set up to manage at least one map and/or map data (and/or recordings of spatially resolved sensor data) (in particular with location data assigned to it).
  • the external server is configured, suitable and intended to exchange data and in particular map data with at least the vehicle and in particular the map generation device and preferably with a large number of (different) vehicles and in particular their respective map generation device.
  • the data exchange preferably takes place via a wireless communication connection, in particular via a public network. However, data exchange via a private network is also conceivable.
  • the functions of the backend or the external server can be performed on (external) server farms.
  • the (external) server can be a distributed system.
  • the external server and/or the backend can be cloud-based.
  • the (raw) sensor data and/or the environment data are recorded by means of the (at least one and/or more) sensor device(s) for detecting a vehicle environment while driving and/or during the operation of the vehicle (the user) and generated and/or determined in particular in real time.
  • the map data are preferably also generated while the vehicle is driving.
  • the (at least one) sensor device for detecting a vehicle environment (and preferably several sensor devices for detecting a vehicle environment) (one and in particular the vehicle) is selected from a group of sensors which have a (color) camera, a stereo camera, a front camera , a rear camera or a rear camera, a side camera, a radar sensor, an ultrasonic sensor, a lidar sensor, a thermal sensor and the like, and combinations thereof.
  • a camera preferably comprises at least one CCD chip. It is conceivable that a front camera and/or a rear camera and/or at least one side camera of the vehicle are used as sensor devices.
  • the present invention is also aimed at a map generating device for a vehicle for generating, in particular inside the vehicle, a high-resolution map of a floor area in a vehicle environment of the vehicle.
  • the vehicle has at least one sensor device for detecting a vehicle environment of the vehicle.
  • the map generating device is suitable and intended for receiving a large number of recordings of spatially resolved surroundings data generated by the at least one sensor device, with the floor surface of the vehicle surroundings being located at least in regions in the vehicle surroundings detected by the at least one sensor device.
  • the recordings differ from one another, in particular in pairs, by at least one recording parameter, in particular a recording location and/or a recording direction.
  • the map generating device is suitable and intended for determining at least one exposure variable for each exposure of the plurality of exposures, which is characteristic of at least one exposure parameter of the respective exposure, and To determine map data by assembling the plurality of recordings depending on the respective at least one determined recording size.
  • the map generating device is preferably a (modular) unit which can be integrated into the vehicle as a (particularly fixed and preferably non-destructively detachable) part of the vehicle.
  • the vehicle can in particular be a (motorized) road vehicle.
  • the vehicle can be, for example, a passenger car, a truck, or a bus.
  • a vehicle can be a motor vehicle which, in particular, is a motor vehicle controlled by the driver himself (“driver only”), a semi-autonomous, autonomous (e.g. autonomy level 3 or 4 or 5 (of the SAE J3016 standard)) or self-driving motor vehicle is. Autonomy Level 5 designates fully automated vehicles.
  • the vehicle can also be a driverless transport system.
  • the vehicle can be controlled by a driver or drive autonomously.
  • the vehicle can also be a drone, an air taxi, an airplane and another means of transport or another type of vehicle, for example an aircraft, watercraft or rail vehicle such as a train.
  • the present invention of the method for generating a high-resolution map, in particular within the vehicle, was described in connection with a vehicle.
  • the present invention can also be transferred to other mobile devices or mobile devices that can move (in particular autonomously) and that have a sensor device for detecting the (device or device) environment, such as cameras, such as robots.
  • the applicant reserves the right to also claim a method and an authentication device aimed at this.
  • the present invention is also directed to a computer program or computer program product, comprising program means, in particular a program code, which represents or encodes at least individual and preferably several method steps (individually or in combination with one another) of the method according to the invention and preferably one of the preferred embodiments described and for execution by a processor device is formed.
  • program means in particular a program code, which represents or encodes at least individual and preferably several method steps (individually or in combination with one another) of the method according to the invention and preferably one of the preferred embodiments described and for execution by a processor device is formed.
  • FIG. 1 is a schematic representation of a vehicle with an inventive
  • FIG. 2 shows an image of a map generated with a method according to the invention according to an embodiment.
  • Reference number 30 designates an (optical) output device, by means of which such a generated map or information derived therefrom can be output to a user.
  • FIG. 2 shows an image of a high-resolution map 40 generated using a method according to an embodiment of the invention, which map is composed of a large number of images B1 and B2. This can be seen here in FIG. 2, for example, from a slight edge of an intensity difference k in the area where different images are joined or assembled.
  • the camera images (captured by a sensor device for capturing the vehicle surroundings of the vehicle, here a camera) are projected onto the ground.
  • the camera images B1, B2 are assembled at different vehicle positions.
  • a (composite) image or map shown in FIG. 2 is thus formed along the trajectory.

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Navigation (AREA)

Abstract

Verfahren zur, insbesondere fahrzeuginternen, Erzeugung einer hochauflösenden Karte einer Bodenfläche in einem Fahrzeugumfeld eines Fahrzeugs (1) mittels des Fahrzeugs (1), wobei das Fahrzeug (1) wenigstens eine Sensoreinrichtung (12) zur Erfassung eines Fahrzeugumfelds des Fahrzeugs (1) aufweist, umfassend: - Erzeugung einer Vielzahl von Aufnahmen von örtlich aufgelösten Umfelddaten mittels der wenigstens einen Sensoreinrichtung (12), wobei sich die Bodenfläche des Fahrzeugumfelds wenigstens bereichsweise in dem von der wenigstens einen Sensoreinrichtung (20) erfassten Fahrzeugumfeld befindet, wobei sich die Aufnahmen jeweils, insbesondere paarweise, durch wenigstens einen Aufnahmeparameter, insbesondere einem Aufnahmeort und/oder eine Aufnahmerichtung, voneinander unterscheiden; - Für jede Aufnahme der Vielzahl von Aufnahmen, Ermitteln wenigstens einer Aufnahmegröße durch eine Kartenerzeugungseinrichtung (10) des Fahrzeugs, wobei die Aufnahmegröße für wenigstens einen Aufnahmeparameter der jeweiligen Aufnahme charakteristisch ist; - Ermitteln von Kartendaten durch die Kartenerzeugungseinrichtung (10) durch Zusammensetzen der Vielzahl von Aufnahmen in Abhängigkeit der jeweiligen wenigstens einen ermittelten Aufnahmegröße.

Description

Beschreibung
Verfahren und Kartenerzeugungseinrichtung für ein Fahrzeug zur Erzeugung einer hochauflösenden Karte einer Bodenfläche in einem Fahrzeugumfeld
Die vorliegende Erfindung bezieht sich auf ein Verfahren zur, insbesondere fahrzeuginternen, Erzeugung einer hochauflösenden (engl. „High Definition“ = HD) Karte insbesondere einer Bodenfläche in einem Fahrzeugumfeld eines Fahrzeugs mittels des Fahrzeugs, wobei das Fahrzeug wenigstens eine Sensoreinrichtung zur Erfassung eines Fahrzeugumfelds des Fahrzeugs, wie etwa eine Kamera, aufweist. Die vorliegende Erfindung betrifft weiterhin eine Kartenerzeugungseinrichtung für ein Fahrzeug zur Erzeugung einer hochauflösenden Karte einer Bodenfläche in einem Fahrzeugumfeld sowie ein Fahrzeug umfasst eine derartige Kartenerzeugungseinrichtung.
Ein wichtiges Element für viele Funktionen stellt eine HD-Karte dar. Die Erstellung dieser Karten ist meist aufwendig. Weiterhin können aus einzelnen Kamerabildern meist nur wenig Information entnommen werden.
Aus dem Stand der Technik sind etwa autonom betriebene Fahrzeuge bekannt. Beim autonomen Fahren ist beispielsweise beim Durchführen von Fahrmanövern etwa bei der Wahl der Geschwindigkeit oder beim Ausführen eines Fahrspurwechsels eine hochpräzise Kenntnis einer Fahrzeugposition sowie weiterer Objekte oder Merkmale des Fahrzeugumfelds erforderlich. Ein Zugriff auf hochauflösende Karten (HD-Karten) kann eine derartige Ermittlung der Fahrzeugposition sowie der Wahrnehmungsgenauigkeit der Fahrzeugumgebung bieten.
Aus der DE 102019 133 536 A1 ist ein System zur Korrektur von HD-Kartenbildern bekannt. Hierzu ist das System dazu eingerichtet, Bodenansichts-Bilddaten eines von den Fahrzeugen erfassten Kartenanomalie-Hotspots von einer Vielzahl von Fahrzeugen zu erfassen. Die Bodenansichts-Bilddaten werden in Vogelperspektive-Bilddaten unter Verwendung von Homographie umgewandelt, Ausreißer aus den Vogelperspektive-Bilddaten entfernt und ein Fehlerreduktionsmechanismus vorgenommen. Eine Folge von aufeinanderfolgenden Bildern aus den Bilddaten nach der Fehlerreduktion werden zusammengefügt, um ein hochauflösendes Bild zu erzeugen. Diese wird mit einem hochauflösenden Bild des Hotspots verglichen, um Änderungen an dem hochauflösenden Bild zu bestimmen. Aus der US 2018/0188041 A1 ist ein hochauflösendes Karten-System bekannt, welches Sensordaten eines Fahrzeugs erhält, das entlang einer Route fährt, und welches die Daten zur Erzeugung einer hochauflösenden Karte zur Verwendung in Fahrzeugen verwendet. Ein Maschinen-Lernen-basierter Ergebnisfilter detektiert schlechte Anpassungsergebnisse und verhindert, dass diese in eine nachfolgende globale Posen-Optimierung eingegeben werden.
Der vorliegenden Erfindung liegt die Aufgabe zugrunde, die aus dem Stand der Technik bekannten Nachteile zu überwinden und ein Verfahren sowie eine Kartenerzeugungseinrichtung bereit zu stellen, welche eine effiziente und vergleichsweise weniger aufwendige Erzeugung einer hochauflösenden Karte einer Bodenfläche einer Fahrzeugumgebung eines Fahrzeugs bieten.
Die Aufgabe wird erfindungsgemäß durch die Gegenstände der unabhängigen Ansprüche gelöst. Vorteilhafte Ausführungsformen und Weiterbildungen der Erfindung sind Gegenstand der Unteransprüche.
Bei einem erfindungsgemäßen Verfahren zur, insbesondere fahrzeuginternen, Erzeugung einer hochauflösenden Karte von wenigstens Bereichen eines Fahrzeugumfelds, insbesondere einer Bodenfläche (bzw. einem Bodenbereich) in einem Fahrzeugumfeld, eines Fahrzeugs mittels des Fahrzeugs, weist das Fahrzeug wenigstens eine Sensoreinrichtung zur Erfassung eines Fahrzeugumfelds des Fahrzeugs auf.
Das Verfahren umfasst die Erzeugung einer Vielzahl von Aufnahmen von örtlich aufgelösten Umfelddaten (wie etwa Aufnahmen einer Kamera) mittels der wenigstens einen Sensoreinrichtung (wie etwa einer Kamera), wobei sich die Bodenfläche des Fahrzeugumfelds wenigstens bereichsweise in dem von der wenigstens einen Sensoreinrichtung erfassten Fahrzeugumfeld befindet, wobei sich die Aufnahmen jeweils, insbesondere paarweise, durch wenigstens einen Aufnahmeparameter, insbesondere einem Aufnahmeort und/oder eine Aufnahmerichtung, voneinander unterscheiden.
Weiterhin wird für wenigstens eine, und bevorzugt für jede, Aufnahme der Vielzahl von Aufnahmen wenigstens eine Aufnahmegröße durch eine, insbesondere Prozessor-basierte, Kartenerzeugungseinrichtung des Fahrzeugs ermittelt, wobei die Aufnahmegröße für wenigstens einen Aufnahmeparameter der jeweiligen Aufnahme (und/oder der jeweiligen Sensoreinrichtung, welche die Aufnahme erzeugt) charakteristisch ist. Weiterhin werden durch die Kartenerzeugungseinrichtung Kartendaten durch Zusammensetzen der Vielzahl von Aufnahmen in Abhängigkeit der, insbesondere jeweiligen, wenigstens einen ermittelten Aufnahmegröße ermittelt. Insbesondere wird bei dem Zusammensetzen der Vielzahl von Aufnahmen die wenigstens eine ermittelte Aufnahmegröße und bevorzugt die jeweils wenigstens einen ermittelten Aufnahmegrößen berücksichtigt.
Bevorzugt wird die hochauflösende Karte basierend auf den Kartendaten ermittelt und/oder ist aus diesen ermittelbar. Beispielsweise können die Kartendaten für eine Vielzahl von (Bild)lnformationen (wie Intensitäts-, Färb- und/oder Helligkeits-Werten) der hochauflösenden Karte insbesondere auf Pixelebene der Karte charakteristisch sein.
Insbesondere wird durch Zusammensetzen der Vielzahl von Aufnahmen, insbesondere in Abhängigkeit der jeweiligen wenigstens einen ermittelten Aufnahmegröße, eine hochauflösende Karte ermittelt. Diese hochauflösende Karte stellt bevorzugt einen Bereich der Umgebung bzw. des Fahrzeugumfelds und insbesondere eine Boden(-fläche) des Fahrzeugumfelds (um das Fahrzeug herum) dar.
Bei der Vielzahl handelt es sich um wenigstens zwei Aufnahmen, bevorzugt wenigstens drei Aufnahmen, bevorzugt wenigstens zehn Aufnahmen, bevorzugt wenigstens zwanzig Aufnahmen und besonders bevorzugt wenigstens 100 Aufnahmen.
Bei einer Aufnahme von örtlich aufgelösten Umfelddaten handelt es sich bevorzugt um von einer Sensoreinrichtung (der wenigstens einen Sensoreinrichtung) zur Erfassung eines Fahrzeugumfelds des Fahrzeugs (im Wesentlichen) zeitgleich und/oder durch einen einzelnen (punktuellen) Aufnahmevorgang bzw. Sensordatenerzeugung erzeugter und/oder ermittelter und/oder erfasster Sensordaten. Beispielsweise kann es sich bei einer Aufnahme von örtlich aufgelösten Umfelddaten um ein (einzelnes) Kamerabild handeln, welches durch eine Kamera des Fahrzeugs aufgenommen wurde bzw. wird.
Mit anderen Worten wird eine Schwarmkarte aus akkumulierten Aufnahmen (etwa Bildern) erstellt. Diese Karte bzw. diese zusammengesetzte Aufnahme (etwa ein zusammengesetzte Bild enthält deutlich mehr Informationen (als die einzelnen Aufnahmen separat). So stellt die akkumulierte bzw. zusammengesetzte Aufnahme eine größere (Boden-)fläche dar, ermöglicht aber darüber hinaus vorteilhaft auch weitere Folgeschritte, wie das Ableiten von Merkmalen aus den Kartendaten und/oder eine Korrektur der Kartendaten. Insbesondere ermöglicht das Zusammenfügen mehrerer Aufnahmen (etwa mehrerer Kartenbilder) zu einer Bodenebene, dass aus der (hierdurch erzeugten) Karte Karteninformationen abgeleitet werden. Weiterhin ist die vorgeschlagene angestrebte Erstellung dieser Karte per Schwarm vergleichsweise weniger aufwendig.
Die hochauflösende Karte weist insbesondere eine Auflösung auf, bei der 1 Pixel eine (Bodenfläche von höchstens 10 cm2, bevorzugt höchstens 5 cm2, bevorzugt höchstens 3 cm2, bevorzugt höchstens 2 cm2 und besonders bevorzugt höchstens 1 cm2 darstellt und/oder abbildet. Beispielsweise kann 1 Pixel der (basierend auf den Kartendaten erzeugten) Karte (bei welchem es sich etwa um ein Bild handeln kann) einer (Boden-)Fläche der (erfassten) (realen) Fahrzeugumgebung entsprechen.
Bei der (basierend auf den ermittelten Kartendaten erzeugten) hochauflösenden Karte handelt es sich bevorzugt um eine zweidimensionale Karte. Grundsätzlich denkbar wäre aber auch die Erstellung einer dreidimensionaler Karte unter Berücksichtigung weiterer (Höheninformationen, welche für eine dreidimensionale Umgebungsrekonstruktion geeignet und bestimmt wäre.
Bevorzugt wird die Vielzahl an Aufnahmen (im Wesentlichen) in Echtzeit zusammengesetzt und/oder bevorzugt wird die (hochauflösende) Karte (im Wesentlichen) in Echtzeit erzeugt. Bevorzugt werden die Aufnahmen der Vielzahl von Aufnahmen wenigstens teilweise (und bevorzugt alle) sequentiell aufgenommen. Bevorzugt erzeugt jede Sensoreinrichtung die jeweiligen Aufnahmen sequentiell. Denkbar ist, dass etwa zwei Sensoreinrichtungen (zur Erfassung des Fahrzeugumfelds) im Wesentlichen gleichzeitig Aufnahmen von Umfelddaten (allerdings mit verschiedenen Aufnahmerichtungen) erzeugen bzw. ermitteln.
Bevorzugt wird die Vielzahl von Aufnahmen insbesondere über eine drahtgebundene Kommunikationsverbindung (in dem Fahrzeug) oder hierfür charakteristische Daten an die, insbesondere Prozessor-basierte, Kartenerzeugungseinrichtung übermittelt und/oder auf einer (fahrzeuginternen) Speichereinrichtung, bevorzugt einem Ringspeicher, abgelegt.
Bevorzugt werden die Aufnahmen, etwa die Kamerabilder, auf den Boden projiziert. Dadurch entsteht eine sogenannte „BirdView“-Sicht auf das Fahrzeug.
Bevorzugt verarbeitet die Kartenerzeugungseinrichtung die Aufnahmen örtlich aufgelöster Umfelddaten (einzeln oder mehrerer oder in bereits nach deren Zusammensetzung) derart, dass eine Projektion auf die Bodenfläche bzw. den Boden (der Fahrzeugumgebung) vorgenommen wird. Insbesondere werden die Aufnahmen der örtlich aufgelösten Umfelddaten in eine Bodenansichts-Darstellung umgewandelt.
Insbesondere wird (durch die Kartenerzeugungseinrichtung) eine Datenverarbeitung der Aufnahmen der örtlich aufgelösten Umfelddaten vorgenommen, durch welche eine Vogelperspektivenansicht des erfassten Fahrzeugumfelds erzeugt wird. Insbesondere liegen die Umfelddaten zur Erzeugung bzw. zur Ermittlung der Kartendaten und/oder zum Zusammensetzen der Vielzahl von Aufnahmen in einer Vogelperspektive vor. Bei einer Vogelperspektive kann es sich um einen Blickwinkel von oben (auf das Fahrzeug) oder um einen Blickwinkel von schräg oben (auf das Fahrzeug handeln). Bevorzugt wird das erfasste Fahrzeugumfeld (wenigstens bereichsweise und bevorzugt um das Fahrzeug herum und/oder, insbesondere wenigstens abschnittsweise und bevorzugt entlang eines vollständigen Fahrabschnitts, entlang der Fahrzeug-Trajektorie) in Vogelperspektive dargestellt bzw. für eine Vogelperspektiv-Darstellung charakteristische Daten ermittelt.
Bevorzugt wird eine Vielzahl von Aufnahmen erzeugt, welche wenigstens bereichsweise einander überlappen und wenigstens bereichsweise denselben Bereich des Fahrzeugumfelds erfassen bzw. abbilden.
Bevorzugt erfolgt die Zusammensetzung der Vielzahl von Aufnahmen auf Grundlage einer Identifizierung eines Bereichs einer Aufnahme, welcher wenigstens zu einem Bereich einer weiteren Aufnahme der Vielzahl von Aufnahmen korrespondiert und in welchem insbesondere jeweils wenigstens bereichsweise und bevorzugt vollständig ein derselbe und insbesondere ein identischer Bereich des Fahrzeugumfelds abgebildet wird.
Mit anderen Worten werden Korrelationen zwischen verschiedenen (insbesondere sequentiell aufeinanderfolgenden Aufnahmen und/oder innerhalb eines vorgegebenen Zeitraums bzw. im Wesentlichen zum selben Zeitpunkt erzeugte Aufnahmen verschiedener Sensoreinrichtungen) und insbesondere Korrelationen der Umfelddaten dieser Aufnahmen ermittelt. Dies ermöglicht vorteilhaft die Ermittlung eines Überlappungsbereichs und damit eine Ermittlung einer relativen Anordnung zueinander.
Bevorzugt weist das Fahrzeug wenigstens zwei Sensoreinrichtungen (zur Erfassung des Fahrzeugumfelds) auf, welche sich wenigstens in ihrer Aufnahmerichtung voneinander unterscheiden. So erfolgt beispielsweise bei einer Frontkamera eine Aufnahmerichtung in Vorwärtsfahrrichtung während bei einer Heckkamera ein rückwärtiger Bereich der Fahrzeugumgebung erfasst wird und/oder insbesondere eine Aufnahmerichtung in Rückwärtsfahrrichtung erfolgt. Dabei kann sich bei mehreren Sensoreinrichtungen (selbst bei im Wesentlichen gleichzeitiger Erfassung bzw. Erzeugung einer Aufnahme durch die Sensoreinrichtungen) durch die unterschiedliche (insbesondere feste) Anordnung der Sensoreinrichtung im Fahrzeug der Aufnahmeort voneinander unterscheiden.
Bevorzugt ist für jede Sensoreinrichtung zur Erfassung des Fahrzeugumfelds, welche insbesondere zur Erzeugung der hochauflösenden Karte bzw. der Ermittlung der Kartendaten verwendet wird, wenigstens eine Aufnahmeparameter und/oder mehrere Aufnahmeparameter, insbesondere eine für einen (relativen) Aufnahmeort (innerhalb des Fahrzeugs) und/oder für eine Aufnahmerichtung und/oder für einen Aufnahmewinkel und/oder ein Sichtfeld (engl. „field of view“, FOV) und/oder Kalibrierdaten der Sensoreinrichtung charakteristische Größe auf einer Speichereinrichtung des Fahrzeugs abgelegt und insbesondere von der Kartenerzeugungseinrichtung abrufbar.
Dies ermöglicht vorteilhaft, dass die Aufnahmeparameter bei der Ermittlung der Vogelperspektive und/oder bei der Projektion auf die Bodenfläche bzw. eine Bodenebene berücksichtigt werden können und dadurch eine schnelle und weniger rechenintensive Datenverarbeitung ermöglicht wird.
Bei der Ermittlung der Vogelperspektiv-Darstellung und/oder bei Ermittlung der Projektion auf die Bodenfläche bzw. auf eine Bodenebene können vorteilhaft fahrzeugspezifische Größen (wie etwa eine Fahrzeughöhe bzw. eine Höhe der Anordnung der Sensoreinrichtung gegenüber der Bodenfläche bzw. einer Bodenebene, auf welchem sich das Fahrzeug befindet) sowie (bekannte bzw. in einer Speichereinrichtung abgelegte) Fehlergrößen (der jeweiligen Sensoreinrichtung) und/oder Korrekturgrößen (insbesondere der jeweiligen Sensoreinrichtung) berücksichtigt werden.
Bei einem bevorzugten Verfahren ist der verschiedene Aufnahmeort wenigstens zweier Aufnahmen durch eine verschiedene Fahrzeugposition des Fahrzeugs gegenüber dem Fahrzeugumfeld gegeben. Insbesondere ergibt sich der Aufnahmeort der wenigstens zwei Aufnahmen und bevorzugt einer Vielzahl von Aufnahmen (zumindest auch) aus einer jeweiligen verschiedenen Fahrzeugposition des Fahrzeugs (zum Aufnahmezeitpunkt der jeweiligen Aufnahmen). Das Fahrzeug kann sich während der Erzeugung der Aufnahmen (entlang einer Fahrzeug-Trajektorie), insbesondere kontinuierlich und/oder ohne Unterbrechung) bewegen. Bevorzugt werden die Aufnahmen in einem derartigen zeitlichen und örtlichen Abstand (in Bezug auf das Fahrzeugumfeld) erzeugt, dass (im Wesentlichen) jede Aufnahme einen Überlappungsbereich zu einer weiteren Aufnahme aufweisen und/oder jede Aufnahme wenigstens bereichsweise denselben Bereich der erfassten Fahrzeugumfeld abbildet und/oder darstellt als wenigstens eine weitere Aufnahme.
Bei einem weiter bevorzugten Verfahren wird als wenigstens einer Aufnahmegröße für jede Aufnahme der Vielzahl von Aufnahmen eine Fahrzeugposition ermittelt. Dies ermöglicht vorteilhaft eine erleichterte bzw. weniger rechenintensive Erstellung bzw. Erzeugung einer Zusammensetzung der verschiedenen Aufnahmen bei Berücksichtigung dieser Aufnahmegröße. Weiterhin erlaubt es das Ableiten einer relativen und/oder absoluten (globalen) Position (etwa Welt-Koordinaten) eines jeweiligen Kartenpixels und/oder eines Segments der erzeugten bzw. ermittelten hochauflösenden Karte.
Denkbar ist, dass zur Ermittlung der Fahrzeugposition GPS-Daten (GPS = engl. Global Positioning System) abgefragt und/oder ermittelt werden.
Bevorzugt ist, dass es sich bei der Fahrzeugposition um eine relative Fahrzeugposition in Bezug auf einen Referenzort wie etwa ein Startpunkt einer Fahrroute bzw. Fahrzeug-Trajektorie handelt.
Bei einem weiter bevorzugten Verfahren ermittelt die Kartenerzeugungseinrichtung zur Ermittlung der jeweiligen Fahrzeugposition Odometriedaten des Fahrzeugs oder hiervon abgeleitete Daten ermittelt und/oder ruft diese ab. Dies bietet den Vorteil, dass beispielsweise auch Fahrzeugpositionen, an welchen beispielsweise andere Lokalisierungsverfahren nicht möglich sind, weil etwa kein GPS-Signal empfangen werden kann bzw. verfügbar ist, dennoch eine (präzise) Lokalisierung des Fahrzeugs und Ermittlung der Fahrzeugposition vorgenommen werden kann.
Durch Hinzunahme einer Odometrie werden die Aufnahmen (etwa die Kamerabilder) an verschiedenen Fahrzeugpositionen zusammengesetzt. Somit bildet sich ein Bild bzw. eine Karte entlang der (Fahrzeug-)Trajektorie ab.
Bevorzugt werden die Odometriedaten auf Grundlage von Daten der Fahrwerksensorik ermittelt und/oder abgerufen. Beispielsweise können die Odometriedaten auf Grundlage von Größen (etwa Stellgrößen) von Lenk- und/oder Beschleunigungssensoreinrichtungen des Fahrzeugs ermittelt werden. Bevorzugt sind die Odomotriedaten charakteristisch für einen (momentanen) Lenkwinkel und/oder eine (momentane) Beschleunigung des Fahrzeugs und/oder für einen (in Bezug auf einen Referenzpunkt) zurückgelegten Weg und/oder für eine Umdrehung der Fahrzeugräder charakteristisch.
Bevorzugt erfolgt die Übermittlung und/oder das Abrufen der Odometriedaten und/oder hierfür charakteristischer Größen (aus der Fahrwerksensorik) über drahtgebundene Kommunikationsverbindungen an die Kartenerzeugungseinrichtung.
Bei einem weiter bevorzugten Verfahren wird bei der Ermittlung der Kartendaten wenigstens eine Korrekturgröße, welche charakteristisch ist für einen Odometrie-Drift, berücksichtigt. Dies bietet den Vorteil, dass die ein derartig auftretender Odometrie-Drift (automatisch) bei der Ermittlung der Kartendaten herausgerechnet bzw. korrigiert werden kann.
Beispielsweise kann eine solche Korrekturgröße auf Grundlage einer aus der Vielzahl von Aufnahmen zusammengesetzten Aufnahme abgeleitet und/oder ermittelt werden.
Bei einem weiter bevorzugten Verfahren wird die Korrekturgröße auf Basis einer, insbesondere durch die Kartenerzeugungseinrichtung ermittelte, im Wesentlichen geschlossenen Fahrzeug- Trajektorie (engl. „Loop closure“) des Fahrzeugs (entlang welcher die Vielzahl an Aufnahmen erzeugt wurden bzw. sind) ermittelt. Bei einem Loop-Closure kann vorteilhaft ein auftretender Odometrie-Drift ermittelt werden und entsprechende Korrekturen (etwa an den Kartendaten und/oder an den Umfelddaten) vorgenommen werden. Bildet die Fahrzeug-Trajektorie (also insbesondere der Bewegungspfad des Fahrzeugs) eine geschlossene Fahrzeug-Trajektorie kann beispielsweise durch Vergleich der beiden ermittelten Fahrzeugpositionen an dem Kreuzungspunkt bzw. dem Punkt, an welchem sich die Trajektorie schließt, ermittelt werden, ob ein Odometrie-Drift aufgetreten ist.
Bevorzugt ermittelt die Kartenerzeugungseinrichtung, ob eine Fahrzeug-Trajektorie des Fahrzeugs während der Ermittlung der Vielzahl an Aufnahmen eine im Wesentlichen geschlossene Fahrzeug-Trajektorie aufweist und die Ermittlung der Kartendaten wenigstens teilweise basierend auf einer Feststellung einer im Wesentlichen geschlossenen Fahrzeug- Trajektorie erfolgt.
Bei einem weiter bevorzugten Verfahren wird die Korrekturgröße auf Basis eines insbesondere vorgegebenen Krümmungsgrads wenigstens einer in der Zusammensetzung der Vielzahl von Aufnahmen auftretende gekrümmten Linie ermittelt. Bei leicht gekrümmten Linien, welche in den Umfelddaten und insbesondere in einer aus der Vielzahl von Aufnahmen zusammengesetzten Aufnahme, als Linie mit einer (insbesondere leichten) Krümmung abgebildet werden, kann (unter gewissen Annahmen) auf einen Odometrie-Drift geschlossen werden. Dies ermöglicht vorteilhaft die Vornahme einer Korrektur des Odometrie- Drifts (etwa an den ermittelten Kartendaten und/oder an den Umfelddaten).
Bevorzugt werden zur Ermittlung der Korrekturgröße auf Basis (eines insbesondere vorgegebenen Krümmungsgrads) der wenigstens einen ermittelten Linie in der zusammengesetzten Aufnahmen und/oder in wenigstens einer Aufnahme (der Vielzahl von Aufnahmen), (vorgegebene) Umgebungsmerkmale (wie einem geometrischen Linienverlauf und/oder einem Krümmungsverlauf) aus wenigstens einer Aufnahme und bevorzugt auf Grundlage einer aus mehreren Aufnahmen und insbesondere der Vielzahl von Aufnahmen zusammengesetzten Merkmale extrahiert.
Bei den vorgegebenen Umgebungsmerkmalen handelt es sich beispielsweise um einen Linienverlauf und/oder um Linien, welche als in der Realität (im Wesentlichen) als gerade Linien, also Linien mit geradem Linienverlauf, angenommen werden. Bei einer derartigen Linie könnte es sich beispielsweise um eine Straßenmarkierungslinie zur Begrenzung wenigstens eines (im Wesentlichen rechteckförmigen) Parkplatzes handeln. Solche Straßenmarkierungslinien weisen üblicherweise einen geradlinigen Verlauf auf. Werden diese in den Umfelddaten bzw. in den Kartendaten bzw. in einer Zusammensetzung der Aufnahmen leicht gekrümmt abgebildet bzw. dargestellt, kann das Vorliegen eines Odometrie-Drifts abgeleitet werden.
Unter der Annahme „Gerader Linien“ bei vorgegebenen (ermittelten) Linien bzw. einem vorgegebenen Linienverlauf können aus einer aggregierten Aufnahme (etwa einem aggregierten Bild) Zusatzinformationen, wie etwa das Vorliegen eines Odometrie-Drifts, abgeleitet werden.
Weiterhin kann zur Ermittlung der Korrekturgröße der Verlauf des Krümmungsgrades der wenigstens einen ermittelten Linie berücksichtigt werden. Insbesondere kann berücksichtigt werden, ob sich der Krümmungsgrad ändert oder ob dieser im Wesentlichen konstant bzw. innerhalb eines vorgegebenen Toleranzbereichs verläuft. Bevorzugt können derartige Umgebungsmerkmale und/oder das Vorliegen eines Odometrie- Drifts auf Grundlage der Umfelddaten, insbesondere unter Verwendung einer Prozessoreinrichtung und/oder Datenverarbeitungseinrichtung, mittels Anwendung wenigstens eines (computerimplementierten) Computer-Vision-Verfahrens erkannt bzw. detektiert werden, in welchem (computer-implementierte) Wahrnehmungs- und/oder Erfassungsaufgaben ausgeführt werden, beispielsweise (computer-implementierte) 2D - und/oder 3D- Objekterkennungsverfahren und/oder (computer-implementierte) Verfahren zur semantischen Segmentierung und/oder (computer-implementierte) Objektklassifizierung („Image Classification“) und/oder (computer-implementierte) Objektlokalisierung und/oder (computer- implementierte) Kantenerkennung. Das Computer-Vision-Verfahren kann dabei auf einem Modell maschinellen Lernens beruhen, welches etwa ein (trainiertes) neuronales Netz verwenden kann.
Bei einem weiter bevorzugten Verfahren werden die Aufnahmen der Vielzahl von Aufnahmen - bevorzugt zusammen mit diesen zugeordneten, im Wesentlichen zeitgleich und/oder nachträglich ermittelten, globalen Positionsdaten - auf einer (fahrzeuginternen) Speichereinrichtung des Fahrzeugs abgelegt.
Bevorzugt handelt es sich bei der (fahrzeuginternen) Speichereinrichtung um einen Ringspeicher.
Wenn einige Aufnahmen, insbesondere Bilder, keine globalen Positionsdaten enthalten (z.B. im Parkhaus ohne GPS), dann können bevorzugt diese nachträglich angereichert werden, wenn die Positionsdaten verfügbar sind.
Bevorzugt wird die erzeugte hochauflösende Karte und/oder die Kartendaten von dem Fahrzeug an eine externe Speichereinrichtung übermittelt. Dabei kann die Karte und/oder die Kartendaten an die externe Speichereinrichtung übermittelt werden, sobald eine vorgegebene Speichergröße bzw. ein vorgegebener Speicheranteil der maximalen Speichergröße der auf der Speichereinrichtung des Fahrzeugs, insbesondere dem Ringspeicher, erreicht ist. Denkbar ist auch, dass das Fahrzeug in regelmäßigen Zeit- und/oder Streckenabständen die hochauflösende Karte und/oder die Kartendaten an die externe Speichereinrichtung übermittelt. Dies bietet den Vorteil, dass der üblicherweise begrenzte Speicherplatz auf der fahrzeuginternen Speichereinrichtung nicht überschritten wird. Bevorzugt wird ausschließlich die (fertig erstellte bzw. erzeugte) Karte (gegebenenfalls mit deren zugeordneten, insbesondere globalen, Positionsdaten) an die externe Speichereinrichtung, nicht aber die Vielzahl der Aufnahmen übermittelt. Bevorzugt werden insbesondere nicht die Vielzahl der Aufnahmen an eine bzw. die externe Speichereinrichtung übermittelt. Dies bietet den Vorteil, dass das zu übermittelnde Datenvolumen begrenzt und/oder reduziert wird, da die (fahrzeuginternen bzw. fahrzeugspezifischen) Korrekturgrößen und/oder Aufnahmeparameter nicht (an das Backend) übermittelt werden müssen.
Bei einem bevorzugten Verfahren handelt es sich bei der externen Speichereinrichtung um eine Cloud-basierte Speichereinrichtung und/oder einen externen Server. Unter einem externen Server ist insbesondere ein in Bezug auf das Fahrzeug (des Nutzers) externer Server, insbesondere ein Backend-Server, zu verstehen. Der externe Server ist beispielsweise ein Backend eines Fahrzeugherstellers oder eines Dienstanbieters, welcher dazu eingerichtet ist, wenigstens eine Karte und/oder Kartendaten (und/oder Aufnahmen von örtlich aufgelöster Sensordaten) (insbesondere mit diesem zugeordneten Ortsdaten) zu verwalten. Weiterhin ist der externe Server dazu konfiguriert, geeignet und bestimmt, mit wenigstens dem Fahrzeug und insbesondere der Kartenerzeugungseinrichtung und bevorzugt mit einer Vielzahl von (verschiedenen) Fahrzeugen und insbesondere deren jeweiliger Kartenerzeugungseinrichtung Daten und insbesondere Kartendaten auszutauschen. Bevorzugt erfolgt der Datenaustausch über eine drahtlose Kommunikationsverbindung, insbesondere über ein öffentliches Netzwerk. Denkbar ist aber auch ein Datenaustausch über ein privates Netzwerk.
Die Funktionen des Backend bzw. des externen Servers können dabei auf (externen) Serverfarmen durchgeführt werden. Beim (externen) Server kann es sich um ein verteiltes System handeln. Der externe Server und/oder das Backend kann Cloud-basiert sein.
Bevorzugt kann das Backend ein Gebiet von Interesse (engl. Region of Interest = ROI) des (erfassten und/oder zu erfassenden) Fahrzeugumfelds vorgeben. Bevorzugt löst ein von einem Backend erhaltenes Signal (in Bezug auf die Vorgabe eines Gebiets von Interesse) das Erzeugen von Aufnahmen durch das Fahrzeug in diesem Gebiet von Interesse und/oder das Ermitteln von Kartendaten in Bezug auf dieses Gebiet von Interesse aus.
Insbesondere werden die (Roh-)Sensordaten und/oder die Umfelddaten mittels der (wenigstens einen und/oder mehrerer) Sensoreinrichtung(-en) zur Erfassung eines Fahrzeugumfelds während einer Fahrt und/oder während des Betriebs des Fahrzeugs (des Nutzers) und insbesondere in Echtzeit erzeugt und/oder ermittelt. Bevorzugt werden auch die Kartendaten während der Fahrt des Fahrzeugs erzeugt.
Bevorzugt ist die (wenigstens eine) Sensoreinrichtung zur Erfassung eines Fahrzeugumfelds (und bevorzugt sind mehrere Sensoreinrichtungen zur Erfassung eines Fahrzeugumfelds) (eines und insbesondere des Fahrzeugs) ausgewählt aus einer Gruppe von Sensoren, welche eine (Farb-)Kamera, eine Stereokamera, eine Frontkamera, eine Rückkamera bzw. eine Heckkamera, eine Seitenkamera, einen Radar-Sensor, einen Ultraschallsensor, einen Lidar- Sensor, einen thermischen Sensor und dergleichen sowie Kombinationen hiervon umfasst. Bevorzugt umfasst eine Kamera wenigstens einen CCD-Chip. Denkbar ist, dass etwa als Sensoreinrichtungen eine Frontkamera und/oder eine Heckkamera und/oder wenigstens eine Seitenkamera des Fahrzeugs verwendet werden.
Bevorzugt erzeugt die Sensoreinrichtung zur Erfassung eines Fahrzeugumfelds örtlich aufgelöste (insbesondere 2D- und/oder 3D-) Sensordaten (von dem Fahrzeugumfeld des Fahrzeugs). Bevorzugt ermittelt die Sensoreinrichtung zur Erfassung eines Fahrzeugumfelds des Fahrzeugs aktuelle Umfelddaten (zu einem aktuellen Zeitpunkt), insbesondere während der Fahrt des Fahrzeugs) durch Erfassung des Fahrzeugumfelds des Fahrzeugs.
Die vorliegende Erfindung ist weiterhin gerichtet auf eine Kartenerzeugungseinrichtung für ein Fahrzeug zur, insbesondere fahrzeuginternen, Erzeugung einer hochauflösenden Karte einer Bodenfläche in einem Fahrzeugumfeld des Fahrzeugs. Dabei weist das Fahrzeug wenigstens eine Sensoreinrichtung zur Erfassung eines Fahrzeugumfelds des Fahrzeugs auf.
Dabei ist die Kartenerzeugungseinrichtung dazu geeignet und bestimmt, eine Vielzahl von mittels der wenigstens einen Sensoreinrichtung erzeugten Aufnahmen von örtlich aufgelösten Umfelddaten zu empfangen, wobei sich die Bodenfläche des Fahrzeugumfelds wenigstens bereichsweise in dem von der wenigstens einen Sensoreinrichtung erfassten Fahrzeugumfeld befindet. Dabei unterscheiden sich die Aufnahmen jeweils, insbesondere paarweise, durch wenigstens einen Aufnahmeparameter, insbesondere einem Aufnahmeort und/oder eine Aufnahmerichtung, voneinander.
Erfindungsgemäß ist die Kartenerzeugungseinrichtung dazu geeignet und bestimmt, für jede Aufnahme der Vielzahl von Aufnahmen, wenigstens eine Aufnahmegröße zu ermitteln, welche für wenigstens einen Aufnahmeparameter der jeweiligen Aufnahme charakteristisch ist, und Kartendaten durch Zusammensetzen der Vielzahl von Aufnahmen in Abhängigkeit der jeweiligen wenigstens einen ermittelten Aufnahmegröße zu ermitteln.
Bevorzugt handelt es sich bei der Kartenerzeugungseinrichtung um eine (modulare) Einheit, welche als (insbesondere fester und bevorzugt nicht zerstörungsfrei lösbarer) Bestandteil des Fahrzeugs in das Fahrzeug integriert werden kann.
Es wird also auch im Rahmen der erfindungsgemäßen vorgeschlagen, dass mehrere Aufnahmen, wie etwa Kartenbilder, (insbesondere zu einer Bodenebene) zusammengefügt werden, aus der dann vorteilhaft Karteninformationen abgeleitet werden können bzw. ableitbar sind.
Bevorzugt ist die Kartenerzeugungseinrichtung dazu eingerichtet, geeignet und/oder bestimmt, das obig beschriebene Verfahren sowie einige oder alle bereits obig im Zusammenhang mit dem Verfahren beschriebene Verfahrensschritte einzeln oder in Kombination miteinander auszuführen. Umgekehrt kann das Verfahren mit allen im Rahmen der Kartenerzeugungseinrichtung beschriebenen Merkmalen einzeln oder in Kombination miteinander ausgestattet sein.
Die vorliegende Erfindung ist weiterhin gerichtet auf ein Fahrzeug, insbesondere Kraftfahrzeug, umfassend eine obig beschriebene Kartenerzeugungseinrichtung für ein Fahrzeug entsprechend einer Ausführungsform.
Bei dem Fahrzeug kann es sich insbesondere um ein (motorisiertes) Straßenfahrzeug handeln. Bei dem Fahrzeug kann es sich beispielsweise um einen Personenkraftwagen (PKW), einen Lastkraftwagen (LKW) oder einen Omnibus handeln.
Bei einem Fahrzeug kann es sich um ein Kraftfahrzeug handeln, welches insbesondere ein von dem Fahrer selbst gesteuertes Kraftfahrzeug („Driver only“), ein halbautonomes, autonomes (beispielsweise der Autonomiestufe Level 3 oder 4 oder 5 (der Norm SAE J3016)) oder selbstfahrendes Kraftfahrzeug ist. Die Autonomiestufe Level 5 bezeichnet dabei vollautomatisch fahrende Fahrzeuge. Ebenso kann es sich bei dem Fahrzeug um ein fahrerloses Transportsystem handeln. Das Fahrzeug kann dabei von einem Fahrer gesteuert werden oder autonom fahren. Darüber hinaus kann es sich bei dem Fahrzeug neben einem Straßenfahrzeug auch um eine Drohne, ein Flugtaxi, ein Flugzeug und ein anderes Fortbewegungsmittel oder eine andere Fahrzeugart handeln, beispielsweise ein Luft-, Wasser- oder Schienenfahrzeug wie ein Zug.
Die vorliegende Erfindung ist weiterhin gerichtet auf ein System umfassend wenigstens eine (und bevorzugt eine Vielzahl) obig beschriebene(r) Kartenerzeugungseinrichtung(-en) für (jeweils) ein Fahrzeug entsprechend einer Ausführungsform sowie umfassend eine externe Speichereinrichtung und/oder einen externen Server bzw. ein Backend entsprechend einer obig beschriebenen Ausführungsform. Bevorzugt empfängt die externe Speichereinrichtung bzw. das Backend hochauflösende Karten von einer Vielzahl (verschiedener) Fahrzeuge (welche von deren Kartenerzeugungseinrichtung(-en) ermittelt und/oder erzeugt wurden) und ist bevorzugt dazu geeignet und bestimmt, diese zu einer (noch größeren) hochauflösenden Karte zusammenzufügen.
Die vorliegende Erfindung des Verfahren zur, insbesondere fahrzeuginternen, Erzeugung einer hochauflösenden Karte wurde im Zusammenhang mit einem Fahrzeug beschrieben. Die vorliegende Erfindung ist aber auch auf andere mobile Geräte oder mobile Vorrichtungen, welche sich (insbesondere autonom) fortbewegen können und welche eine Sensoreinrichtung zur Erfassung des (Geräte- bzw. Vorrichtungs-)Umfelds, wie etwa Kameras, aufweisen, wie Roboter, übertragbar. Die Anmelderin behält sich vor, ein hierauf gerichtetes Verfahren und eine Authentifizierungseinrichtung ebenfalls zu beanspruchen.
Die vorliegende Erfindung ist weiterhin gerichtet auf ein Computerprogramm oder Computerprogrammprodukt, umfassend Programmmittel, insbesondere einen Programmcode, welcher zumindest einzelne und bevorzugt mehrere Verfahrensschritte (einzeln oder in Kombination miteinander) des erfindungsgemäßen Verfahrens und bevorzugt eine der beschriebenen bevorzugten Ausführungsformen repräsentiert oder kodiert und zum Ausführen durch eine Prozessoreinrichtung ausgebildet ist.
Die vorliegende Erfindung ist weiterhin gerichtet auf einen Datenspeicher, auf welchem zumindest eine Ausführungsform des erfindungsgemäßen Computerprogramms oder einer bevorzugten Ausführungsform des Computerprogramms gespeichert ist.
Weitere Vorteile und Ausführungsformen ergeben sich aus den beigefügten Zeichnungen:
Darin zeigen: Fig. 1 eine schematische Darstellung eines Fahrzeugs mit einer erfindungsgemäßen
Kartenerzeugungseinrichtung gemäß einer Ausführungsform; und
Fig. 2 eine Abbildung einer mit einem erfindungsgemäßen Verfahren gemäß einer Ausführungsform erzeugten Karte.
Fig. 1 zeigt eine schematische Darstellung eines Fahrzeugs 1 mit einer erfindungsgemäßen Kartenerzeugungseinrichtung 10 gemäß einer Ausführungsform. Dabei weist das Fahrzeug 1 wenigstens eine Sensoreinrichtung 12 zur Erfassung des Fahrzeugumfelds, hier eine Frontkamera, auf. Die von dieser Sensoreinrichtung 12 erfassten Aufnahmen von ortsaufgelösten Umfelddaten, bei denen es sich hier um erfasste Kamerabilder handelt, werden an die Kartenerzeugungseinrichtung 10 des Fahrzeugs übermittelt (insbesondere über eine drahtgebundene Kommunikationsverbindung) und bevorzugt durch die Kartenerzeugungseinrichtung 10 verarbeitet.
Hierzu erstellt die Kartenerzeugungseinrichtung 10 eine aus den Aufnahmen der Sensoreinrichtung bzw. hier aus den Kamerabildern, zusammengesetzte Karte. Hierfür projiziert die Kartenerzeugungseinrichtung 10 die Kamerabilder auf den Boden bzw. die Bodenfläche des Fahrzeugumfelds, wodurch eine sogenannte „BirdView“-Sicht auf das Fahrzeug bzw. eine Kartendarstellung in Vogelperspektive entsteht.
Das Bezugszeichen 30 kennzeichnet eine (optische) Ausgabeeinrichtung, mittels welcher eine derartige erzeugte Karte oder hieraus abgeleitete Informationen an einen Nutzer ausgebbar sind.
Fig. 2 zeigt eine Abbildung einer mit einem erfindungsgemäßen Verfahren gemäß einer Ausführungsform erzeugten hochauflösenden Karte 40, welche aus einer Vielzahl von Bildern B1 und B2 zusammengesetzt ist. Dies kann hier in Figur 2 beispielsweise an einer leichten Kante eines Intensitätsunterschieds k an dem Bereich, an dem verschiedene Bilder aneinandergefügt bzw. zusammengesetzt sind, erkannt werden.
Insbesondere wird durch das erfindungsgemäße Verfahren gemäß einer bevorzugten Ausführungsform vorgeschlagen, dass die (von einer Sensoreinrichtung zur Erfassung des Fahrzeugumfelds des Fahrzeugs, hier einer Kamera, erfassten) Kamerabilder auf den Boden projiziert werden. Dadurch entsteht eine sogenannte „BirdView“-Sicht bzw. Sicht aus der Vogelperspektive auf das Fahrzeug. Die Umgebung um das Fahrzeug herum wird aus den Kamerabilden B1 , B2 zusammengesetzt (z.B. 1 cm2 = 1 Pixel). Durch Hinzunahme einer Odometrie werden die Kamerabilder B1 , B2 an verschiedenen Fahrzeugpositionen zusammengesetzt. Somit bildet sich ein in Fig. 2 dargestelltes (zusammengesetztes) Bild bzw. eine Karte entlang der Trajektorie.
Die Anmelderin behält sich vor, sämtliche in den Anmeldungsunterlagen offenbarten Merkmale als erfindungswesentlich zu beanspruchen, sofern sie einzeln oder in Kombination gegenüber dem Stand der Technik neu sind. Es wird weiterhin darauf hingewiesen, dass in den einzelnen Figuren auch Merkmale beschrieben wurden, welche für sich genommen vorteilhaft sein können. Der Fachmann erkennt unmittelbar, dass ein bestimmtes in einer Figur beschriebenes Merkmal auch ohne die Übernahme weiterer Merkmale aus dieser Figur vorteilhaft sein kann. Ferner erkennt der Fachmann, dass sich auch Vorteile durch eine Kombination mehrerer in einzelnen oder in unterschiedlichen Figuren gezeigter Merkmale ergeben können.
Bezugszeichenliste
1 Fahrzeug
10 Kartenerzeugungseinrichtung
12 Sensoreinrichtung, Frontkamera
30 Ausgabeeinrichtung
40 HD-Karte
B1. B2 Bild k Kante

Claims

Patentansprüche Verfahren zur, insbesondere fahrzeuginternen, Erzeugung einer hochauflösenden Karte einer Bodenfläche in einem Fahrzeugumfeld eines Fahrzeugs (1) mittels des Fahrzeugs (1), wobei das Fahrzeug (1) wenigstens eine Sensoreinrichtung (12) zur Erfassung eines Fahrzeugumfelds des Fahrzeugs (1) aufweist, umfassend:
Erzeugung einer Vielzahl von Aufnahmen von örtlich aufgelösten Umfelddaten mittels der wenigstens einen Sensoreinrichtung (12), wobei sich die Bodenfläche des Fahrzeugumfelds wenigstens bereichsweise in dem von der wenigstens einen Sensoreinrichtung (20) erfassten Fahrzeugumfeld befindet, wobei sich die Aufnahmen jeweils, insbesondere paarweise, durch wenigstens einen Aufnahmeparameter, insbesondere einem Aufnahmeort und/oder eine Aufnahmerichtung, voneinander unterscheiden;
Für jede Aufnahme der Vielzahl von Aufnahmen, Ermitteln wenigstens einer Aufnahmegröße durch eine Kartenerzeugungseinrichtung (10) des Fahrzeugs, wobei die Aufnahmegröße für wenigstens einen Aufnahmeparameter der jeweiligen Aufnahme charakteristisch ist, wobei als wenigstens eine Aufnahmegröße für jede Aufnahme der Vielzahl von Aufnahmen eine Fahrzeugposition ermittelt wird;
Ermitteln von Kartendaten durch die Kartenerzeugungseinrichtung (10) durch Zusammensetzen der Vielzahl von Aufnahmen in Abhängigkeit der jeweiligen wenigstens einen ermittelten Aufnahmegröße. Verfahren nach Anspruch 1 , dadurch gekennzeichnet, dass der verschiedene Aufnahmeort wenigstens zweier Aufnahmen durch eine verschiedene Fahrzeugposition des Fahrzeugs (1) gegenüber dem Fahrzeugumfeld gegeben ist. Verfahren nach einem der vorangegangenen Ansprüche, dadurch gekennzeichnet, dass die Kartenerzeugungseinrichtung (10) zur Ermittlung der jeweiligen Fahrzeugposition Odometriedaten des Fahrzeugs (1) oder hiervon abgeleitete Daten ermittelt und/oder abruft. Verfahren nach einem der vorangegangenen Ansprüche, dadurch gekennzeichnet, dass die Aufnahmen der Vielzahl von Aufnahmen sowie diesen zugeordneten, im Wesentlichen zeitgleich und/oder nachträglich ermittelten, globalen Positionsdaten auf einer Speichereinrichtung des Fahrzeugs (1) abgelegt werden. Verfahren zur, insbesondere fahrzeuginternen, Erzeugung einer hochauflösenden Karte einer Bodenfläche in einem Fahrzeugumfeld eines Fahrzeugs (1) mittels des Fahrzeugs (1), wobei das Fahrzeug (1) wenigstens eine Sensoreinrichtung (12) zur Erfassung eines Fahrzeugumfelds des Fahrzeugs (1) aufweist, umfassend:
Erzeugung einer Vielzahl von Aufnahmen von örtlich aufgelösten Umfelddaten mittels der wenigstens einen Sensoreinrichtung (12), wobei sich die Bodenfläche des Fahrzeugumfelds wenigstens bereichsweise in dem von der wenigstens einen Sensoreinrichtung (20) erfassten Fahrzeugumfeld befindet, wobei sich die Aufnahmen jeweils, insbesondere paarweise, durch wenigstens einen Aufnahmeparameter, insbesondere einem Aufnahmeort und/oder eine Aufnahmerichtung, voneinander unterscheiden;
Für jede Aufnahme der Vielzahl von Aufnahmen, Ermitteln wenigstens einer Aufnahmegröße durch eine Kartenerzeugungseinrichtung (10) des Fahrzeugs, wobei die Aufnahmegröße für wenigstens einen Aufnahmeparameter der jeweiligen Aufnahme charakteristisch ist;
Ermitteln von Kartendaten durch die Kartenerzeugungseinrichtung (10) durch Zusammensetzen der Vielzahl von Aufnahmen in Abhängigkeit der jeweiligen wenigstens einen ermittelten Aufnahmegröße, wobei bei der Ermittlung der Kartendaten wenigstens eine Korrekturgröße, welche charakteristisch ist für einen Odometrie- Drift, berücksichtigt wird. Verfahren nach dem vorangegangenen Anspruch, dadurch gekennzeichnet, dass die Korrekturgröße auf Basis einer, insbesondere durch die Kartenerzeugungseinrichtung (10) ermittelte, im Wesentlichen geschlossenen Fahrzeug-Trajektorie des Fahrzeugs ermittelt wird. Verfahren nach einem der beiden vorangegangenen Ansprüche, dadurch gekennzeichnet, dass die Korrekturgröße auf Basis eines insbesondere vorgegebenen Krümmungsgrads wenigstens einer in der Zusammensetzung der Vielzahl von Aufnahmen auftretende gekrümmten Linie ermittelt wird. Kartenerzeugungseinrichtung (10) für ein Fahrzeug (1) zur, insbesondere fahrzeuginternen, Erzeugung einer hochauflösenden Karte einer Bodenfläche in einem Fahrzeugumfeld des Fahrzeugs (1), wobei das Fahrzeug (1) wenigstens eine Sensoreinrichtung (12) zur Erfassung eines Fahrzeugumfelds des Fahrzeugs (1) aufweist, wobei die Kartenerzeugungseinrichtung (10) dazu geeignet und bestimmt ist, eine Vielzahl von mittels der wenigstens einen Sensoreinrichtung (12) erzeugten Aufnahmen von örtlich aufgelösten Umfelddaten zu empfangen, wobei sich die Bodenfläche des Fahrzeugumfelds wenigstens bereichsweise in dem von der wenigstens einen Sensoreinrichtung (20) erfassten Fahrzeugumfeld befindet, wobei sich die Aufnahmen jeweils, insbesondere paarweise, durch wenigstens einen Aufnahmeparameter, insbesondere einem Aufnahmeort und/oder eine Aufnahmerichtung, voneinander unterscheiden, dadurch gekennzeichnet, dass die Kartenerzeugungseinrichtung (10) dazu geeignet und bestimmt ist, für jede Aufnahme der Vielzahl von Aufnahmen, wenigstens eine Aufnahmegröße zu ermitteln, welche für wenigstens einen Aufnahmeparameter der jeweiligen Aufnahme charakteristisch ist, und Kartendaten durch Zusammensetzen der Vielzahl von Aufnahmen in Abhängigkeit der jeweiligen wenigstens einen ermittelten Aufnahmegröße zu ermitteln, wobei bei der Ermittlung der Kartendaten wenigstens eine Korrekturgröße, welche charakteristisch ist für einen Odometrie- Drift, berücksichtigt wird. Kartenerzeugungseinrichtung (10) für ein Fahrzeug (1) zur, insbesondere fahrzeuginternen, Erzeugung einer hochauflösenden Karte einer Bodenfläche in einem Fahrzeugumfeld des Fahrzeugs (1), wobei das Fahrzeug (1) wenigstens eine Sensoreinrichtung (12) zur Erfassung eines Fahrzeugumfelds des Fahrzeugs (1) aufweist, wobei die Kartenerzeugungseinrichtung (10) dazu geeignet und bestimmt ist, eine Vielzahl von mittels der wenigstens einen Sensoreinrichtung (12) erzeugten Aufnahmen von örtlich aufgelösten Umfelddaten zu empfangen, wobei sich die Bodenfläche des Fahrzeugumfelds wenigstens bereichsweise in dem von der wenigstens einen Sensoreinrichtung (20) erfassten Fahrzeugumfeld befindet, wobei sich die Aufnahmen jeweils, insbesondere paarweise, durch wenigstens einen Aufnahmeparameter, insbesondere einem Aufnahmeort und/oder eine Aufnahmerichtung, voneinander unterscheiden, dadurch gekennzeichnet, dass die Kartenerzeugungseinrichtung (10) dazu geeignet und bestimmt ist, für jede Aufnahme der Vielzahl von Aufnahmen, wenigstens eine Aufnahmegröße zu ermitteln, welche für wenigstens einen Aufnahmeparameter der jeweiligen Aufnahme charakteristisch ist, - 21 - wobei als wenigstens eine Aufnahmegröße für jede Aufnahme der Vielzahl von Aufnahmen eine Fahrzeugposition ermittelt wird, und Kartendaten durch Zusammensetzen der Vielzahl von Aufnahmen in Abhängigkeit der jeweiligen wenigstens einen ermittelten Aufnahmegröße zu ermitteln. Fahrzeug (1), insbesondere Kraftfahrzeug, umfassend eine Kartenerzeugungseinrichtung (10) gemäß einem der beiden vorhergehenden Ansprüche.
PCT/EP2022/071528 2021-08-05 2022-08-01 Verfahren und kartenerzeugungseinrichtung für ein fahrzeug zur erzeugung einer hochauflösenden karte einer bodenfläche in einem fahrzeugumfeld WO2023012096A1 (de)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202280054287.9A CN117751385A (zh) 2021-08-05 2022-08-01 用于产生交通工具周围环境中的地面的高解析度地图的方法和用于交通工具的地图产生装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102021208525.3A DE102021208525A1 (de) 2021-08-05 2021-08-05 Verfahren und Kartenerzeugungseinrichtung für ein Fahrzeug zur Erzeugung einer hochauflösenden Karte einer Bodenfläche in einem Fahrzeugumfeld
DE102021208525.3 2021-08-05

Publications (1)

Publication Number Publication Date
WO2023012096A1 true WO2023012096A1 (de) 2023-02-09

Family

ID=83113059

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2022/071528 WO2023012096A1 (de) 2021-08-05 2022-08-01 Verfahren und kartenerzeugungseinrichtung für ein fahrzeug zur erzeugung einer hochauflösenden karte einer bodenfläche in einem fahrzeugumfeld

Country Status (3)

Country Link
CN (1) CN117751385A (de)
DE (1) DE102021208525A1 (de)
WO (1) WO2023012096A1 (de)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180188041A1 (en) 2016-12-30 2018-07-05 DeepMap Inc. Detection of misalignment hotspots for high definition maps for navigating autonomous vehicles
DE102019133536A1 (de) 2019-01-17 2020-07-23 GM Global Technology Operations LLC Verfahren und Vorrichtung zum Ermöglichen der sequentiellen Bodenansichts-Bildprojektionssynthese und der komplizierten Szenenrekonstruktion an Kartenanomalie-Hotspots

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5589900B2 (ja) 2011-03-03 2014-09-17 株式会社豊田中央研究所 局所地図生成装置、グローバル地図生成装置、及びプログラム
EP2853916A1 (de) 2013-09-25 2015-04-01 Application Solutions (Electronics and Vision) Limited Verfahren und Vorrichtung zur Bereitstellung eines dreidimensionalen Bodenflächenmodells zur Abbildung
DE102015209101A1 (de) 2015-05-19 2016-11-24 Robert Bosch Gmbh Verfahren zum Erzeugen einer Karte für ein autonomes Fahrzeug
EP3551967A2 (de) 2016-12-09 2019-10-16 TomTom Global Content B.V. Verfahren und system zur videobasierten positionierung und abbildung
WO2018225446A1 (ja) 2017-06-09 2018-12-13 株式会社デンソー 地図変化点検出装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180188041A1 (en) 2016-12-30 2018-07-05 DeepMap Inc. Detection of misalignment hotspots for high definition maps for navigating autonomous vehicles
DE102019133536A1 (de) 2019-01-17 2020-07-23 GM Global Technology Operations LLC Verfahren und Vorrichtung zum Ermöglichen der sequentiellen Bodenansichts-Bildprojektionssynthese und der komplizierten Szenenrekonstruktion an Kartenanomalie-Hotspots

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
GUO CHUNZHAO ET AL: "Automatic lane-level map generation for advanced driver assistance systems using low-cost sensors", 2014 IEEE INTERNATIONAL CONFERENCE ON ROBOTICS AND AUTOMATION (ICRA), IEEE, 31 May 2014 (2014-05-31), pages 3975 - 3982, XP032650189, DOI: 10.1109/ICRA.2014.6907436 *
SUGANUMA N ET AL: "Precise position estimation of autonomous vehicle based on map-matching", INTELLIGENT VEHICLES SYMPOSIUM (IV), 2011 IEEE, IEEE, 5 June 2011 (2011-06-05), pages 296 - 301, XP031999020, ISBN: 978-1-4577-0890-9, DOI: 10.1109/IVS.2011.5940510 *

Also Published As

Publication number Publication date
DE102021208525A1 (de) 2023-02-09
CN117751385A (zh) 2024-03-22

Similar Documents

Publication Publication Date Title
DE102016114535B4 (de) Wegbestimmung für automatisierte Fahrzeuge
DE102017120112A1 (de) Tiefenkartenschätzung mit stereobildern
DE102019101938A1 (de) Erstellung kognitiver Karten für Fahrzeuge
DE102017103123A1 (de) Fahrzeugfahrbahnplatzierung
DE102006035929B4 (de) Verfahren zum sensorgestützten Unterfahren eines Objekts oder zum Einfahren in ein Objekt mit einem Nutzfahrzeug
DE102016211182A1 (de) Verfahren, Vorrichtung und System zum Durchführen einer automatisierten Fahrt eines Fahrzeugs entlang einer aus einer Karte bereitgestellten Trajektorie
DE102016220075A1 (de) Kraftfahrzeug und Verfahren zur 360°-Umfelderfassung
DE102019104217A1 (de) Bereitstellen von Informationsreicher Kartensemantik an Navigations-Metrik-Karten
DE102014222617B4 (de) Fahrzeugerfassungsverfahren und Fahrzeugerfassungssytem
DE102020113848A1 (de) Ekzentrizitätsbildfusion
DE102018215344A1 (de) System und verfahren für fahrzeugkonvois
DE102015203016A1 (de) Verfahren und Vorrichtung zur optischen Selbstlokalisation eines Kraftfahrzeugs in einem Umfeld
EP3616181A1 (de) Verfahren zum automatischen erstellen und aktualisieren eines datensatzes für ein autonomes fahrzeug
WO2019201565A1 (de) Verfahren, vorrichtung und computerlesbares speichermedium mit instruktionen zur verarbeitung von sensordaten
DE102018133441A1 (de) Verfahren und System zum Bestimmen von Landmarken in einer Umgebung eines Fahrzeugs
DE102018100909A1 (de) Verfahren zum Rekonstruieren von Bildern einer Szene, die durch ein multifokales Kamerasystem aufgenommen werden
DE102019207448A1 (de) Simultane Lokalisierung und Kartenerstellung in 2D unter Verwendung eines 3D-Scanners
EP2579228A1 (de) Verfahren und System zur Erstellung einer digitalen Abbildung eines Fahrzeugumfeldes
DE102016119729A1 (de) Steuern eines Personenbeförderungsfahrzeugs mit Rundumsichtkamerasystem
DE102019132996A1 (de) Schätzen einer dreidimensionalen Position eines Objekts
DE102021111325A1 (de) Verfahren und Assistenzeinrichtung zum Unterstützen eines Fahrbetriebs eines Kraftfahrzeugs und Kraftfahrzeug
DE102016002232A1 (de) Verfahren zum Betrieb eines Kraftfahrzeugs
DE102017123226A1 (de) Verfahren zum Bestimmen einer kritischen Höhe eines vorausliegenden Streckenabschnitts für ein Fahrzeug, das ein Zugfahrzeug und einen Anhänger umfasst
DE102018132676A1 (de) Verfahren zum Lokalisieren eines Fahrzeugs in einer Umgebung
WO2023012096A1 (de) Verfahren und kartenerzeugungseinrichtung für ein fahrzeug zur erzeugung einer hochauflösenden karte einer bodenfläche in einem fahrzeugumfeld

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22760886

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 202280054287.9

Country of ref document: CN

ENP Entry into the national phase

Ref document number: 2022760886

Country of ref document: EP

Effective date: 20240305