WO2022258116A1 - Cloudgestütztes 3d rendering für ein egofahrzeug - Google Patents

Cloudgestütztes 3d rendering für ein egofahrzeug Download PDF

Info

Publication number
WO2022258116A1
WO2022258116A1 PCT/DE2022/200105 DE2022200105W WO2022258116A1 WO 2022258116 A1 WO2022258116 A1 WO 2022258116A1 DE 2022200105 W DE2022200105 W DE 2022200105W WO 2022258116 A1 WO2022258116 A1 WO 2022258116A1
Authority
WO
WIPO (PCT)
Prior art keywords
cloud
designed
objects
driver assistance
textures
Prior art date
Application number
PCT/DE2022/200105
Other languages
English (en)
French (fr)
Inventor
Thomas Rosenstock
Original Assignee
Continental Automotive Technologies GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Continental Automotive Technologies GmbH filed Critical Continental Automotive Technologies GmbH
Publication of WO2022258116A1 publication Critical patent/WO2022258116A1/de

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3626—Details of the output of route guidance instructions
    • G01C21/3635—Guidance using 3D or perspective road maps
    • G01C21/3638—Guidance using 3D or perspective road maps including 3D objects and buildings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks

Definitions

  • the invention relates to a cloud-supported 3D rendering for an ego vehicle. Furthermore, the invention relates to a cloud system and a driver assistance system of a host vehicle.
  • GPU graphics processor/graphics card
  • a feature film is composed of elaborately calculated individual images.
  • the individual images are created using a workflow (modeling, animation, shading, compositing). With the help of this workflow, a very good display quality can be achieved with limited computing power; However, real-time conditions are not met.
  • US 10,922,886 B2 discloses a system comprising: a display device; and a controller comprising: one or more processors for rendering virtual content for a scene at least in part according to a 3D model, wherein the virtual content for the scene includes the obscured portions of the scene with corresponding displays, and wherein the obscured portions of the scene in the rendered virtual content is obscured by objects or terrain in the scene, and wherein the virtual content for the scene includes the removed portions of the scene with corresponding indicators, and providing the rendered virtual content to the display device.
  • the object is achieved by a cloud system according to claim 1 and a driver assistance system according to claim 7.
  • a cloud system comprising a cloud, which has a communication unit for wireless communication, the communication unit being designed to receive weather data and sunshine relating to local areas through a weather service, and being designed to use the received weather and the sunshine to render the 3D objects represented by 3D object data in the local area in relation to predetermined positions in such a way that discrete position-dependent textures can thereby be generated for the 3D objects, the cloud system being a plurality of decentralized and scattered
  • a driver assistance system in a host vehicle comprising a system for determining the current position of the host vehicle and the direction of travel, the driver assistance system having a memory unit, and a communication unit also being provided for bidirectional communication to a decentralized, to a Cloud system belonging, computer architecture element, which are each arranged in a local area for communication with the host vehicle in the local area, wherein the communication unit is designed to transmit the current position of the host vehicle and the direction of travel of the host vehicle and, in return, those ahead in the direction of travel receiving 3D objects as 3D object data and the discrete position-dependent textures of the 3D objects created by rendering the 3D objects at the transmitted current position of the ego vehicle by the respective computer architecture element, wherein d
  • the 3D objects are rendered with regard to the current weather and the sunshine in the direction of travel and the driver assistance system is designed to adapt the discrete position-dependent textures to the 3D objects and the driver assistance system is also designed to create a virtual 3D environment image the current position of the host vehicle, the final position
  • the computer architecture element is designed in particular as a cloudlet or edge cloud.
  • a driver assistance system in a host vehicle is understood to mean a driver assistance system arranged in a host vehicle.
  • Textures can be viewed as a kind of "cover” for 3D objects in order to increase their level of detail, but without increasing the level of detail of the actual geometry.
  • a texture refers to the surface of a body under, for example, different viewing angles, positions and different lighting.
  • Discrete position-dependent textures are textures that are generated for predetermined positions and from a specific direction of travel. Since the views for a driver/the host vehicle are calculated, these positions are preferably on roads. For simplification, the center line of the lane is used for multi-lane directions.
  • the cloud can be an external computer or computing system that has high computing and storage capacity.
  • the 3D objects are already transmitted from the computer architecture element to the host vehicle as precalculated 3D object data and their textures rendered dependent on the position of the sun and sunshine.
  • a computer architecture element according to the invention, a low latency for the transfer can be achieved. Furthermore, there is no longer any need to store the enormously large files for a long time, since rapid transmission is possible.
  • the textures of the 3D objects are loaded into the memory unit of the host vehicle at the respective position of the host vehicle or a short time beforehand, as a result of which real-time generation of the virtual 3D environment image is possible. Complex calculations are shifted from the host vehicle and reduce the load on the computing capacity of the host vehicle. Data storage in the ego vehicle is reduced because the data is transmitted on-demand.
  • a virtual 3D environment image from the driver (ego) perspective can be calculated in real time for a 3D display by outsourcing tasks, which lowers the performance requirements for the GPU in the vehicle.
  • virtual includes augmented reality as well as virtual reality.
  • the cloud is designed to transmit the discrete position-dependent textures only upon request from the respective computer architecture element for its responsible area. This allows the transmission to be controlled.
  • the cloud can be designed to generate the discrete position-dependent textures with regard to a specified direction.
  • the cloud has street maps and is designed to generate the discrete position-dependent textures by rendering the 3D object depending on the direction and predefined positions of the 3D object relative to the streets or the street.
  • the discrete position-dependent textures are generated only in relation to the road positions and the direction of travel and in view of the changing lighting, which corresponds to a representation from the driver's ego view.
  • the cloud is designed to transmit an automatic update of the discrete position-dependent texture of the 3D objects to the computer architecture element responsible for the area when the lighting conditions change.
  • the cloud is designed to automatically transmit the update depending on the time of day. This is advantageous as the lighting / position of the sun changes according to the time of day.
  • the driver assistance system can be designed to load the 3D objects as 3D object data from the computer architecture element at a first position and to load the discrete position-dependent textures at a second position, the second position being temporally and spatially after the first position. and wherein the driver assistance system is also designed to use the 3D objects and the discrete position-dependent textures to display a virtual 3D environment image at the second position as the current position.
  • the host vehicle can transmit the direction of travel and the second position to the computer architecture element in order to obtain the discrete textures of the 3D object at the second position.
  • the driver assistance system can be designed to determine the second position by means of a prediction, so that the second position is a location of the host vehicle in the future.
  • Prediction is used to estimate the location of the ego vehicle in the future, which frees up time for assembling the pieces of the scene.
  • the composition of the individual parts of the scene means that the exact final calculation of the 3D object with the current texture takes place based on the sensor arrangements / camera position of the ego vehicle in order to achieve smooth movement sequences.
  • the driver assistance system is designed to generate a texture by interpolating the texture based on the transmitted textures for the first position and for the second position to create.
  • the textures can be created from the textures of the neighboring positions by interpolation.
  • FIG 2 schematically the determination of the discrete position-dependent textures in the cloud
  • FIG 3 the creation of a virtual 3D environment image in the driver assistance system schematically.
  • FIG. 1 shows a cloud system 10 according to the invention and the driver assistance system 5 according to the invention of a host vehicle.
  • the cloud system 10 has a cloud 1 with 3D objects of specific objects, which are stored as a 3D data record.
  • the cloud 1 can be designed as an external computer with, for example, high computing and storage capacity.
  • the 3D objects are provided with their position (absolute position). However, the position can also be specified, for example, as a reference of the 3D objects to the streets there (relative position). Furthermore, the cloud system 1 has a communication unit 2, for example in the form of an antenna. This can be designed to be wireless.
  • the cloud 1 thus has a simplified 3D object of objects in a specific area with the associated surface data (reflection, white, etc.) available.
  • the cloud 1 can be connected to a weather station 3 via the communication unit 2 for data transmission, so that the cloud 1 receives the current weather and in particular the position of the sun (course of the sun) and the light conditions, specified here with sunshine, from the weather station 3.
  • the sunshine is the light of the sun, i.e. the effect of the sun's rays on the earth, and the associated weather conditions with little or no cloud cover.
  • the cloud 1 is designed to determine different textures 7 for the 3D objects depending on the current weather conditions. In this case, the textures 7 are determined for predetermined positions. These are referred to as discrete position-dependent textures 7.
  • the discrete, position-dependent textures 7 are permanently generated depending on the time of day or the sunshine, ie at a predetermined time period or when the weather changes.
  • the textures 7 are calculated for a vehicle, these positions are on roads.
  • the center line of the roadway is used for multi-lane directions.
  • the textures 7 are generated depending on the direction and position of the 3D object, specifically by rendering the 3D object depending on the direction of the object to the street or streets and the current lighting conditions.
  • the cloud 1 can have the current road maps. As a result, discrete position-dependent textures 7 are generated from the 3D objects.
  • the cloud system 10 can have a number of decentralized and widely scattered computer architecture elements 4a, . . . , 4n.
  • a computer architecture element 4a,..., 4n can be viewed as a local "data center" in a local area.
  • Such a computer architecture element 4a,..., 4n can be embodied as an edge cloud or cloudlet.
  • the computer architecture element 4a, . . . , 4n has at least one memory unit for storing data.
  • the computer architecture element 4a,..., 4n has excellent connectivity with the cloud 1.
  • Such a computer architecture element 4a, . . . , 4n is distributed in the various local areas, specifically as close as possible to the vehicles, for example on freeways, so that high and fast transmission in conjunction with low latency is possible.
  • Each individual computer architecture element 4a, ..., 4n has the 3D object data (3D objects) at least in its area, which from the cloud 1 in the individual computer architecture elements 4a,..., 4n and stored there in memory.
  • This 3D object data of a 3D object can be regularly retransmitted or updated when a 3D object is changed (demolition, conversion).
  • the discrete position-dependent textures 7 are also transmitted from the cloud 1 . These are updated regularly, for example according to the time of day or a certain period of time, or, for example, if the weather changes significantly (a sudden thunderstorm).
  • the discrete position-dependent textures 7 for the 3D object data and the 3D objects are stored as 3D object data in the individual computer architecture elements 4a, . . . , 4n for delivery/transmission to the ego vehicles.
  • the driver assistance system 5 transmits the predicted own current position of the host vehicle and the direction of travel to the respective computer architecture element 4a, . . . , 4n.
  • the driver assistance system 5 can have GPS reception.
  • the discrete position-dependent textures 7 for the 3D objects can be loaded into the driver assistance system 5 as a function of the direction of travel. Due to the file sizes, only discrete position-dependent textures 7 can be loaded from the 3D objects into the driver assistance system 5, which are directly or almost directly ahead of the route of the host vehicle.
  • a simplified rendering method instead of, for example, a more complex ray tracing to create a virtual 3D environment image with the 3D objects and the associated textures 7 are used.
  • a prediction can be used to estimate a location of the ego vehicle as the current position in the future in order to gain time for assembling the individual scene parts.
  • the final calculation of the 3D object and the virtual 3D environment image takes place based on the exact sensor position or camera position in order to achieve smooth movement processes; i.e. the camera views are also calculated from the ego position of the ego vehicle.
  • the final position and calculation of the 3D objects together with their discrete textures 7 in the virtual environment image are carried out using recorded sensor data which show the vehicle environment and which are recorded by the host vehicle itself.
  • the virtual 3D environment image created in this way can be displayed on an augmented reality display, for example.
  • the complex calculations required for this are relocated from the ego vehicle to cloud 1 and reduce the load on the vehicle processor.
  • the Data storage in the ego vehicle is reduced because the data is transmitted on demand.
  • FIG. 2 shows the determination of a discrete position-dependent texture 7 of a 3D object in the cloud 1 (FIG. 1) schematically.
  • predetermined positions here position A and position B, and the angle to the 3D object are determined.
  • the 3D object is represented with 3D object data and has different textures 7 depending on the lighting.
  • Textures 7 can be viewed as a kind of "cover” for 3D objects in order to increase their level of detail, but without increasing the level of detail of the actual geometry.
  • a texture refers to the surface of a virtual body under, for example, different viewing angles, positions and different lighting.
  • the current weather data and sunshine data in relation to the 3D object (position of the sun) are then determined by transmission of the weather data from the weather service 3, for example.
  • the textures 7 are calculated from the position A and the position B with the help of realistic light sources 6, which reflect the current lighting conditions.
  • the reflective surface textures can be determined as discrete position-dependent textures 7 at position A and position B.
  • the light energy arriving at position A and position B for a point on a reflective surface is converted into a Emission intensity converted for the same location for a light-emitting surface.
  • Position A/B can be viewed as a camera/sensor position of a host vehicle at time A/B on the road the host vehicle is traveling along.
  • FIG. 3 shows the creation of a virtual 3D environment image in the driver assistance system 5 (FIG. 1).
  • the 3D object lying on the route is loaded into the memory of the host vehicle as 3D object data.
  • the driver assistance system 5 couples to the nearest decentralized computer architecture element 4a, . . . , 4n in order to transfer the 3D object data of the 3D object.
  • the driver assistance system 5 (FIG. 1) only downloads them when they are close to the 3D object.
  • a predicted own position of the host vehicle and the direction of travel are transmitted to the responsible decentralized computer architecture element 4a, . . . , 4n.
  • the position EGO_POS can also be a prediction that estimates the location of the ego vehicle in the future. This saves time for assembling the individual parts of the scene.
  • a simplified representation of a virtual 3D environment image can first be generated in which no light sources have to be taken into account.
  • the decentralized computer architecture element 4a,..., 4n now transmits the discrete position-dependent textures 7 for the 3D objects at the current position of the ego vehicle EGO_POS to the driver assistance system 5. If the current position EGO_POS of the host vehicle is between position A and position B, at which a discrete precalculated texture 7 is present, the required texture 7 is created by interpolation from the textures of the neighboring position A and position B.
  • a simplified rendering method (raster method) can be used instead of the more complex ray tracing.
  • the final calculation of the individual virtual 3D objects takes place based on the exact position of the ego vehicle EGO_POS or the camera position in order to achieve smooth movement sequences.

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Computer Graphics (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)
  • Traffic Control Systems (AREA)

Abstract

Die Erfindung betrifft Cloudsystem (10) umfassend einer Cloud (1), welche eine Kommunikationseinheit (2) zur drahtlosen Kommunikation aufweist, wobei die Kommunikationseinheit (2) dazu ausgebildet ist, Wetterdaten und Sonnenschein in Bezug auf lokale Gebiete durch einen Wetterdienst (3) zu empfangen, und welche dazu ausgebildet ist, anhand des empfangenen Wetters und des Sonnenscheins die durch 3D-Objektdaten dargestellten 3D-Objekte in dem lokalen Gebiet in Bezug auf vorgegebene Positionen so zu rendern, das dadurch diskrete positionsabhängige Texturen (7) für die 3D-Objekte erzeugbar sind, wobei das Cloudsystem (10) mehrere dezentralisierte und verstreute Computerarchitekturelemente (4a,..., 4n) aufweist, welche in den einzelnen lokalen Gebieten angeordnet sind, wobei die Cloud (1) dazu ausgebildet ist, die 3D-0bjekte als 3D-Objektdaten sowie die aktuellen diskreten positionsabhängigen Texturen (7) in den lokalen Gebieten, in welchem das jeweilige 3D-Objekt angeordnet ist, dem dort zuständigen Computerarchitekturelement (4a,..., 4n) zu übermitteln und ferner ein Fahrerassistenzsystem mit welches zur Kommunikation mit einem solchen Computerarchitekturelement ausgebildet ist. Ferner betrifft die Erfindung ein Fahrerassistenzsystem.

Description

Beschreibung
Cloudgestütztes 3D Rendering für ein Egofahrzeug
Die Erfindung betrifft ein cloudgestütztes 3D Rendering für ein Egofahrzeug. Ferner betrifft die Erfindung ein Cloudsystem sowie ein Fahrerassistenzsystem eines Egofahrzeugs.
Berechnungen von bewegten 3D Szenen (CGI) finden heutzutage hauptsächlich für Computerspiele oder bei dem Streamen von Spielfilmen statt. Dabei steht bei Computerspielen zumeist eine hohe Rechenkapazität mit mehreren modernen Flochleistungs-CPUs zur Verfügung sowie eine konstante hohe Internetanbindung, zur Übertragung von Daten.
Computerspiele benötigen für eine fotorealistische und flüssige Darstellung von bewegten Objekten eine erhebliche GPU (Grafikprozessor / Grafikkarte) Rechenleistung, die nochmals steigt, wenn die Szenen auf einem 3D Display dargestellt werden sollen. Hierbei kommen GPUs mit bis zu je 300W Verlustleistung zur Anwendung. Diese Rechenleistung steht für Anwendungen in Fahrzeugen in der Regel nicht zur Verfügung.
Beim Streamen von Spielfilmen sind zumeist ebenfalls hohe Rechenkapazitäten vorhanden. Ferner wird der gesamte fertige Film gestreamt. Ein Spielfilm wird aus aufwändig berechneten Einzelbildern zusammengesetzt. Die Einzelbilder werden mittels eines Workflows (Modeling, Animation, Shading, Compositing) erstellt. Mit Hilfe dieses Workflows kann bei beschränkter Rechenleistung zwar eine sehr gute Darstellungsqualität erreicht werden; Echtzeitbedingungen aber nicht eingehalten werden.
In der heutigen Zeit ist es daher unter anderem aufgrund mangelnder Rechenkapazität und Rechenzeit noch nicht oder nur mit hohem Aufwand möglich, bewegte virtuelle 3D-Umfeldbilder in Echtzeit für eine Anzeigeeinheit in einem Fahrzeug zu bestimmen. Die US 10,922,886 B2 offenbart ein System, das Folgendes umfasst: eine Anzeigevorrichtung; und eine Steuerung, die umfasst: einen oder mehrere Prozessoren zum Rendern eines virtuellen Inhalts für eine Szene zumindest teilweise gemäß einem 3D-Modell, wobei der virtuelle Inhalt für die Szene die verdeckten Abschnitte der Szene mit entsprechenden Anzeigen enthält, und wobei die verdeckten Abschnitte der Szene in dem gerenderten virtuellen Inhalt durch Objekte oder Gelände in der Szene verdeckt sind, und wobei der virtuelle Inhalt für die Szene die entfernten Abschnitte der Szene mit entsprechenden Anzeigen enthält, und Bereitstellen des gerenderten virtuellen Inhalts an die Anzeigevorrichtung.
Es ist daher eine Aufgabe Mittel anzugeben, mit denen ein reales bewegtes 3D-Umfeldbild aus der Sicht eines Egofahrzeuges in Echtzeit schnell erzeugt werden kann.
Die Aufgabe wird gelöst durch ein Cloudsystem nach Anspruch 1 und ein Fahrerassistenzsystem nach Anspruch 7.
In den Unteransprüchen sind weitere vorteilhafte Maßnahmen aufgelistet, die beliebig miteinander kombiniert werden können, um weitere Vorteile zu erzielen.
Die Aufgabe wird gelöst durch ein Cloudsystem umfassend einer Cloud, welche eine Kommunikationseinheit zur drahtlosen Kommunikation aufweist, wobei die Kommunikationseinheit dazu ausgebildet ist, Wetterdaten und Sonnenschein in Bezug auf lokale Gebiete durch einen Wetterdienst zu empfangen, und welche dazu ausgebildet ist, anhand des empfangenen Wetters und des Sonnenscheins die durch 3D-Objektdaten dargestellten 3D-Objekte in dem lokalen Gebiet in Bezug auf vorgegebene Positionen so zu rendern, das dadurch diskrete positionsabhängige Texturen für die 3D-Objekte erzeugbar sind, wobei das Cloudsystem mehrere dezentralisierte und verstreute
Computerarchitekturelemente aufweist, welche in den einzelnen lokalen Gebieten angeordnet sind, wobei die Cloud dazu ausgebildet ist, die 3D-Objekte als 3D-Objektdaten sowie die aktuellen diskreten positionsabhängigen Texturen in den lokalen Gebieten, in welchem das jeweilige 3D-Objekt angeordnet ist, dem dort zuständigen Computerarchitekturelement zu übermitteln.
Ferner wird die Aufgabe gelöst durch ein Fahrerassistenzsystem in einem Egofahrzeug, umfassend einem System zum Ermitteln der aktuellen Position des Egofahrzeugs und der Fahrtrichtung, wobei das Fahrerassistenzsystem eine Speichereinheit aufweist, und wobei ferner eine Kommunikationseinheit vorgesehen ist, zur bidirektionalen Kommunikation an ein dezentrales, zu einem Cloudsystem gehörenden, Computerarchitekturelement, welche jeweils in einem lokalen Gebiet zur Kommunikation mit dem Egofahrzeug in dem lokalen Gebiet angeordnet sind, wobei die Kommunikationseinheit dazu ausgebildet ist, die aktuelle Position des Egofahrzeugs und die Fahrtrichtung des Egofahrzeuges zu übermitteln und im Gegenzug die, in Fahrtrichtung vorausliegenden 3D-Objekte als 3D-Objektdaten und die durch rendern der 3D-Objekte entstandenen diskreten positionsabhängigen Texturen der 3D-Objekte an der übermittelten aktuellen Position des Egofahrzeugs durch das jeweilige Computerarchitekturelement zu empfangen, wobei die 3D-Objekte hinsichtlich des aktuellen Wetters und des Sonnenscheins in Fahrtrichtung gerendert sind und wobei das Fahrerassistenzsystem dazu ausgebildet ist, die diskreten positionsabhängigen Texturen an die 3D-Objekte anzupassen und wobei das Fahrerassistenzsystem ferner dazu ausgebildet ist, zur Erstellung eines virtuellen 3D-Umfeldbildes an der aktuellen Position des Egofahrzeugs, wobei die endgültige Position und Berechnung der 3D-Objekte mitsamt ihrer diskreten Texturen in dem virtuellen 3D-Umfeldbild anhand von aufgenommenen Sensordaten, welche das Fahrzeugumfeld zeigen und welche vom Egofahrzeug selbst aufgenommen werden, vorzunehmen, wobei das Fahrerassistenzsystem ferner dazu ausgebildet ist, die 3D-Objektdaten und deren Texturen nach Verwendung zu löschen. Insbesondere ist die Kommunikationseinheit zur bidirektionalen Kommunikation an ein dezentrales, zu einem wie oben beschriebenen Cloudsystem gehörenden, Computerarchitekturelement ausgebildet.
Das Computerarchitekturelement ist insbesondere als Cloudlet oder Edge Cloud ausgebildet. Unter Fahrerassistenzsystem in einem Egofahrzeug wird ein, in einem Egofahrzeug angeordnetes Fahrerassistenzsystem verstanden.
Dabei können Texturen quasi als „Überzug“ für 3D-Objekte angesehen werden, um deren Detailgrad zu erhöhen, ohne dabei jedoch den Detailgrad der eigentlichen Geometrie zu erhöhen. Eine Textur bezieht sich quasi auf die Oberfläche eines Körpers unter beispielsweise verschiedenen Betrachtungswinkeln, Positionen und der unterschiedlichen Beleuchtung. Diskrete positionsabhängige Texturen sind Texturen, die für vorab festgelegte Positionen und aus einer bestimmten Fahrtrichtung erzeugt werden. Da die Sichten für einen Fahrer/das Egofahrzeug berechnet werden, liegen diese Positionen vorzugsweise auf Straßen. Zur Vereinfachung wird bei mehrspurigen Fahrtrichtungen die Mittellinie der Fahrbahn verwendet.
Die Cloud kann ein externer Rechner oder Rechensystem sein, welcher über hohe Rechen- und Speicherkapazität verfügt.
Die 3D-Objekte werden erfindungsgemäß bereits als vorberechnete 3D-Objektdaten als auch deren vom Sonnenstand und Sonnenschein abhängig gerenderten Texturen von dem Computerarchitekturelement in das Egofahrzeug übertragen. Durch die erfindungsgemäße Verwendung eines Computerarchitekturelements kann eine niedrige Latenz zum Übertrag bewerkstelligt werden. Ferner kann auf eine lange Speicherung der enorm großen Dateien verzichtet werden, da eine schnelle Übertragung möglich ist. Erfindungsgemäß werden die Texturen der 3D-Objekte bei der jeweiligen Position des Egofahrzeugs oder im geringen Zeitmaß vorher in die Speichereinheit des Egofahrzeugs geladen, wodurch eine Echtzeitgenerierung des virtuellen 3D-Umfeldbildes möglich ist. Aufwändige Berechnungen werden aus dem Egofahrzeug verlagert und verringern die Last der Rechenkapazität des Egofahrzeugs. Die Datenhaltung im Egofahrzeug wird verringert, da die Daten On-Demand übertragen werden. Dadurch kann ein virtuelles 3D-Umfeldbild aus der Fahrer(Ego)-Perspektive in Echtzeit für ein 3D-Display berechnet werden, indem Aufgaben ausgelagert werden, wodurch die Performance-Anforderungen an die GPU im Fahrzeug abgesenkt wird. D.h. es kann im Egofahrzeug eine vereinfachte Berechnung erfolgen, bei der keine Lichtquellen berücksichtigt werden müssen.
Unter dem Begriff virtuell ist eine Augmented Reality ebenso umfasst wie die Virtual Reality.
In weiterer Ausgestaltung ist die Cloud dazu ausgebildet, die diskreten positionsabhängigen Texturen nur auf Anfrage des jeweiligen Computerarchitekturelements für sein zuständiges Gebiet zu übermitteln. Dadurch kann die Übertragung gesteuert werden.
Ferner kann die Cloud dazu ausgebildet sein, die diskreten positionsabhängigen Texturen hinsichtlich einer vorgegebenen Richtung zu erzeugen. Insbesondere weist die Cloud Straßenkarten auf, und ist dazu ausgebildet, die diskreten positionsabhängigen Texturen durch Rendern des 3D-Objektes in Abhängigkeit von der Richtung und vorgegebenen Positionen des 3D-Objekts zu den Straßen oder der Straße zu erzeugen. Somit werden die diskreten positionsabhängigen Texturen lediglich in Bezug auf die Straßenpositionen und die Fahrtrichtung und im Hinblick auf die sich ändernde Beleuchtung erzeugt, was einer Darstellung aus der Egosicht des Fahrers entspricht.
Ferner ist die Cloud dazu ausgebildet, bei sich ändernden Lichtverhältnissen ein automatisches Update der diskreten positionsabhängigen Textur der 3D-Objekte an das für das Gebiet zuständige Computerarchitekturelement zu übermitteln.
Dadurch wird immer eine aktuelle diskrete Textur zu den 3D-Objekten in dem zuständigen Computerarchitekturelement vorgehalten.
In weiterer Ausgestaltung ist die Cloud dazu ausgebildet, das Update tageszeitabhängig automatisiert zu übermitteln. Dies ist vorteilhaft, da die Beleuchtung / Sonnenstand sich nach der Tageszeit ändert. Ferner kann das Fahrerassistenzsystem dazu ausgebildet sein, die 3D-0bjekte als 3D-0bjektdaten von dem Computerarchitekturelement an einer ersten Position zu laden und die diskreten positionsabhängigen Texturen an einer zweiten Position zu laden, wobei die zweite Position zeitlich und örtlich nach der ersten Position liegt, und wobei das Fahrerassistenzsystem ferner dazu ausgebildet ist, die 3D-Objekte und die diskreten positionsabhängigen Texturen zur Darstellung eines virtuellen 3D-Umfeldbildes an der zweiten Position als aktuelle Position zu verwenden. Dabei kann das Egofahrzeug die Fahrtrichtung und die zweite Position an das Computerarchitekturelement übermitteln, zum Erhalt der diskreten Texturen des 3D-Objektes an der zweiten Position. Dadurch kann das Fierunterladen großer Datenvolumen entzerrt werden. Insbesondere steht mehr Zeit zum Fierunterladen der 3D-Objekte zur Verfügung, welche große Datenvolumen aufweisen können. Ferner kann das Fahrerassistenzsystem dazu ausgebildet sein, die zweite Position mittels einer Prädiktion zu bestimmen, so dass die zweite Position ein Ort des Egofahrzeugs in der Zukunft ist.
Dabei wird die Prädiktion eingesetzt, um den Ort des Egofahrzeugs in der Zukunft zu schätzen, wodurch Zeit für das Zusammensetzen der Szenen-Einzelteile gewonnen wird. Dabei bedeutet die Zusammensetzung der Szenen-Einzelteile, dass die genaue finale Berechnung des 3D-Objektes mit der aktuellen Textur ausgehend von den Sensoranordnungen / Kameraposition des Egofahrzeugs stattfindet, um fließende Bewegungsverläufe zu erzielen.
Ferner ist das Fahrerassistenzsystem dazu ausgebildet, bei einer Position des Egofahrzeugs, welche zwischen der ersten Position und der zweiten Position liegt, und für welche keine diskrete positionsabhängige Textur vorliegt, eine Textur durch Interpolation der Textur anhand der übermittelten Texturen für die erste Position und für die zweite Position, zu erstellen. Somit können die Texturen durch Interpolation aus den Texturen der benachbarten Positionen erstellt werden.
Weitere Eigenschaften und Vorteile der vorliegenden Erfindung ergeben sich aus der nachfolgenden Beschreibung unter Bezugnahme auf die beiliegenden Figuren. Darin zeigen schematisch: FIG 1 : ein erfindungsgemäßes Cloudsystem und das erfindungsgemäße Fahrerassistenzsystem eines Egofahrzeugs,
FIG 2: schematisch die Bestimmung der diskreten positionsabhängigen Texturen in der Cloud schematisch,
FIG 3: die Erstellung eines virtuellen 3D-Umfeldbildes im Fahrerassistenzsystem schematisch.
FIG 1 zeigt ein erfindungsgemäßes Cloudsystem 10 und das erfindungsgemäße Fahrerassistenzsystem 5 eines Egofahrzeugs.
Das erfindungsgemäße Cloudsystem 10 weist eine Cloud 1 mit 3D-Objekten bestimmter Objekte auf, welche als 3D-Datensatz gespeichert sind. Dabei kann die Cloud 1 als ein externer Rechner mit beispielsweise hoher Rechen- und Speicherkapazität ausgestaltet sein.
Die 3D-Objekte sind mit ihrer Position versehen (absolute Position). Die Position kann aber auch beispielsweise als Bezug der 3D-Objekte zu den dortigen Straßen angegeben werden (relative Position). Ferner weist das Cloudsystem 1 eine Kommunikationseinheit 2, beispielsweise in Form einer Antenne auf. Diese kann drahtlos ausgestaltet sein.
Die Cloud 1 hat somit ein simplifiziertes 3D-Objekt von Objekten in einem bestimmten Gebiet mit den zugehörigen Oberflächen-Daten (Spiegelung, weiß etc.) zur Verfügung.
Die Cloud 1 kann zur Datenübertragung mit einer Wetterstation 3 über die Kommunikationseinheit 2 verbunden sein, so dass die Cloud 1 das aktuelle Wetter und insbesondere den Sonnenstand (Sonnenverlauf) und die Lichtverhältnisse, hier mit Sonnenschein, angegeben, von der Wetterstation 3 erhält. Dabei ist der Sonnenschein der Lichtschein der Sonne, sprich die Wirkung der Sonnenstrahlen auf die Erde, und die dazugehörige Wetterlage mit geringer oder keiner Bewölkung. Ferner ist die Cloud 1 dazu ausgebildet, in Abhängigkeit von der aktuellen Wetterlage verschiedene Texturen 7 für die 3D-Objekte zu bestimmen. Dabei werden die Texturen 7 für vorab festgelegte Positionen bestimmt. Diese werden als diskrete positionsabhängige Texturen 7 bezeichnet. Die diskreten positionsabhängigen Texturen 7 werden abhängig von der Tageszeit oder dem Sonnenschein permanent, d.h. zu vorgegebener Zeitdauer oder aber auch bei einer Wetteränderung neu erzeugt.
Da die Texturen 7 für ein Fahrzeug berechnet werden, liegen diese Positionen auf Straßen. Zur Vereinfachung wird für mehrspurige Fahrtrichtungen die Mittellinie der Fahrbahn verwendet. Das heißt, dass die Texturen 7 in Abhängigkeit von der Richtung und Position des 3D-Objekts erzeugt werden und zwar durch Rendern des 3D-Objektes in Abhängigkeit von der Richtung des Objekts zu den oder der Straße und der aktuellen Lichtverhältnisse. Dazu kann die Cloud 1 die aktuellen Straßenkarten aufweisen. Dadurch werden diskrete positionsabhängige Texturen 7 von den 3D-Objekten erzeugt.
Ferner kann das Cloudsystem 10 mehrere dezentralisierte und weit verstreute Computerarchitekturelemente 4a,... , 4n aufweisen.
Ein Computerarchitekturelement 4a,... , 4n kann als ein lokales „Datenzentrum“ in einem lokalen Gebiet angesehen werden. Ein solches Computerarchitekturelement 4a,... , 4n kann als Edge Cloud oder Cloudlet ausgebildet sein. Das Computerarchitekturelement 4a,... ,4n weist zumindest eine Speichereinheit zum Vorhalten von Daten auf. Ebenso weist das Computerarchitekturelement 4a,... , 4n eine exzellente Konnektivität mit der Cloud 1 auf. Ein solches Computerarchitekturelement 4a,... , 4n ist in den verschiedenen lokalen Gebieten verteilt und zwar möglichst nahe an den Fahrzeugen beispielsweise an Autobahnen, so dass eine hohe und schnelle Übertragung in Verbindung mit einer niedrigen Latenz möglich ist.
Jedes einzelne Computerarchitekturelement 4a,... , 4n weist die 3D-Objektdaten (3D-Objekte) zumindest seines Gebietes auf, welche von der Cloud 1 in die einzelnen Computerarchitekturelemente 4a,... , 4n übertragen und dort im Speicher gespeichert werden. Diese 3D-Objektdaten eines 3D-Objektes können regelmäßig bei Veränderung eines 3D-Objektes (Abriss, Umbau) neu übertragen bzw. upgedated werden.
Ferner werden zu den 3D-Objekten noch die diskreten positionsabhängigen Texturen 7 von der Cloud 1 übertragen. Diese werden regelmäßig aktualisiert, beispielsweise nach Tageszeit oder einer bestimmten Zeitdauer, oder beispielsweise auch bei starker Veränderung der Wetterlage (plötzlich auftretendes Gewitter).
Dabei werden die diskreten positionsabhängigen Texturen 7 für die 3D-Objektdaten und die 3D-Objekte als 3D-Objektdaten in den einzelnen Computerarchitekturelementen 4a,... , 4n gespeichert zur Auslieferung /Übermittlung an die Egofahrzeuge.
Fährt nun ein Egofahrzeug mit einem Fahrerassistenzsystem 5 in ein Gebiet einer der Computerarchitekturelemente 4a,... , 4n ein und koppelt zur Datenübertragung an diese an, so werden zunächst die, auf der vorausliegenden Strecke liegenden 3D-Objekte in das Egofahrzeug geladen.
Ferner übermittelt das Fahrerassistenzsystem 5 an das jeweilige Computerarchitekturelement 4a,... , 4n die prädizierte eigene aktuelle Position des Egofahrzeugs und die Fahrtrichtung. Zur Bestimmung der aktuellen Position des Egofahrzeugs kann das Fahrerassistenzsystem 5 ein GPS-Empfang aufweisen.
Zu einem späteren Zeitpunkt, können die zu den 3D-Objekten diskreten positionsabhängigen Texturen 7 in Abhängigkeit von der Fahrtrichtung in das Fahrerassistenzsystem 5 geladen werden. Dabei können aufgrund der Dateigrößen immer nur diskrete positionsabhängige Texturen 7 von den 3D-Objekten in das Fahrerassistenzsystem 5 geladen werden, welche unmittelbar oder nahezu unmittelbar der Fahrstrecke des Egofahrzeugs vorausliegen.
Da die Lichtsituation / Sonnenschein bereits in die diskreten positionsabhängigen Texturen 7 eingerechnet ist, kann ein vereinfachtes Render-Verfahren (Rastermethode) statt beispielsweise einem aufwändigeren Ray Tracing zum Erstellen eines virtuellen 3D-Umfeldbildes mit den 3D-Objekten und den dazugehörigen Texturen 7 eingesetzt werden. Dabei kann eine Prädiktion eingesetzt werden, um einen Ort des Egofahrzeugs als aktuelle Position in der Zukunft zu schätzen, um Zeit für das Zusammensetzen der Szenen-Einzelteile zu gewinnen.
Die finale Berechnung des 3D-Objektes und des virtuellen 3D-Umfeldbildes findet ausgehend von der exakten Sensorposition bzw. Kameraposition statt, um fließende Bewegungsverläufe zu erzielen; d.h. die Berechnung der Kamerasichten erfolgt ebenso von der Egoposition des Egofahrzeugs. Dies bedeutet, dass die endgültige Position und Berechnung der 3D-Objekte mitsamt ihrer diskreten Texturen 7 in dem virtuellen Umfeldbild anhand von aufgenommenen Sensordaten, welche das Fahrzeugumfeld zeigen und welche vom Egofahrzeug selber aufgenommen werden, vorgenommen werden.
Durch die Verwendung von berechneten diskreten Texturen 7 und den bereits in das Egofahrzeug geladenen 3D-Objekten als 3D-Objektdaten in Verbindung mit der niedrigen Latenz (schnellere Übertragung als durch die Cloud selber) durch Verwendung der Computerarchitekturelemente 4a,... , 4n kann nun ein unmittelbar vorausliegendes virtuelles 3D-Umfeldbild in Echtzeit oder nahezu in Echtzeit erstellt werden.
Das so erstellte virtuelle 3D-Umfeldbild kann beispielsweise auf einem Augmented Reality Display angezeigt werden.
Durch Verwendung eines 3D-Objektes mit den Texturen 7, welche den aktuellen Sonnenstand, d.h. die aktuelle Beleuchtung und das aktuelle Wetter berücksichtigen, kann eine hohe Übereinstimmung der simulierten Szenerie mit der Realität erreicht werden.
Die dafür notwendigen aufwändigen Berechnungen werden aus dem Egofahrzeug in die Cloud 1 verlagert und verringern die Last auf den Fahrzeugprozessor. Die Datenhaltung im Egofahrzeug wird verringert, da die Daten On-Demand übertragen werden.
Durch das Cloudsystem 10 mit der Cloud 1 und den mehreren dezentralisierten und weit verstreuten Computerarchitekturelementen 4a,... , 4n kann eine schnelle Datenübertragung und eine Generierung von virtuellen 3D-Umfeldbildern unter Echtzeitbedingungen erfolgen.
FIG 2 zeigt die Bestimmung einer diskreten positionsabhängigen Textur 7 von einem 3D-Objekt in der Cloud 1 (FIG 1 ) schematisch.
Dabei werden in Abhängigkeit vom Verlauf der Straße und der Fahrtrichtung vorab festgelegte Positionen, hier Position A und Position B und der Winkel zu dem 3D-Objekt bestimmt. Das 3D-Objekt ist mit 3D-Objektdaten dargestellt und weist, je nach Beleuchtung, unterschiedliche Texturen 7 auf.
Dabei können Texturen 7 quasi als „Überzug“ für 3D-Objekte angesehen werden, um deren Detailgrad zu erhöhen, ohne dabei jedoch den Detailgrad der eigentlichen Geometrie zu erhöhen. Eine Textur bezieht sich quasi auf die Oberfläche eines virtuellen Körpers unter beispielsweise verschiedenen Betrachtungswinkeln, Positionen und der unterschiedlichen Beleuchtung.
Anschließend werden die aktuellen Wetterdaten und Sonnenscheindaten in Bezug auf das 3D-Objekt (Sonnenstand), durch Übertragung der Wetterdaten von beispielsweise dem Wetterdienst 3 ermittelt.
Die Berechnung der Texturen 7 aus der Position A und der Position B erfolgt somit mit Hilfe von realistischen Lichtquellen 6, die die momentanen Lichtverhältnisse widerspiegeln. Dadurch können die reflektierenden Oberflächentexturen als diskrete positionsabhängige Texturen 7 an der Position A und der Position B bestimmt werden. Die an der Position A und der Position B eintreffende Lichtenergie für einen Punkt auf einer reflektierenden Oberfläche wird in eine Emissions-Intensität für den gleichen Ort für eine lichtabgebende Oberfläche umgerechnet.
Die Position A/B kann als eine Kamera-/Sensorposition eines Egofahrzeugs zum Zeitpunkt A/B auf der, das Egofahrzeug entlangfahrenden Straße, angesehen werden.
FIG 3 zeigt die Erstellung eines virtuellen 3D-Umfeldbildes im Fahrerassistenzsystem 5 (FIG 1). Dazu wird an einer ersten Position A das 3D-Objekt, welches auf der Fahrstrecke liegt, als 3D-Objektdaten in den Speicher des Egofahrzeugs geladen.
Dazu koppelt das Fahrerassistenzsystem 5 (FIG 1) an das nächstliegende dezentralisierte Computerarchitekturelement 4a,... ,4n zum Übertragen der 3D-Objektdaten des 3D-Objektes an.
Da auch die 3D-Objekte großes Datenvolumen aufweisen, lädt das Fahrerassistenzsystem 5 (FIG 1) diese erst in Nähe des 3D-Objektes herunter.
An einer Position EGO_POS, welche zeitlich und örtlich der ersten Position A nachfolgt, wird eine prädizierte eigene Position des Egofahrzeugs und die Fahrtrichtung, an das zuständige dezentralisierte Computerarchitekturelement 4a,..., 4n übermittelt. Ferner kann die Position EGO_POS auch eine Prädiktion sein, welche den Ort des Egofahrzeugs in der Zukunft schätzt. Dadurch wird Zeit für das Zusammensetzen der Szenen-Einzelteile gewonnen.
In dem Fahrerassistenzsystem 5 (FIG 1) kann zunächst eine vereinfachte Darstellung eines virtuellen 3D- Umfeldbildes generiert werden, bei der keine Lichtquellen berücksichtigt werden müssen.
Das dezentralisierte Computerarchitekturelement 4a,..., 4n übermittelt nun die diskreten positionsabhängigen Texturen 7 für die 3D-Objekte an der aktuellen Position des Egofahrzeugs EGO_POS an das Fahrerassistenzsystem 5. Liegt die aktuelle Position EGO_POS des Egofahrzeugs zwischen der Position A und Position B, an denen jeweils eine diskrete vorausberechnete Textur 7 vorhanden ist, so wird die benötigte Textur 7 durch Interpolation aus den Texturen der benachbarten Position A und Position B erstellt.
Dies kann beispielsweise im Egofahrzeug selber vorgenommen werden.
Da die Lichtsituation bereits in die diskreten Texturen 7 eingerechnet ist, kann ein vereinfachtes Render-Verfahren (Rastermethode) statt dem aufwändigeren Ray Tracing eingesetzt werden. Die finale Berechnung der einzelnen virtuellen 3D-Objekte findet ausgehend von der exakten Position des Egofahrzeugs EGO_POS bzw. der Kameraposition statt, um fließende Bewegungsverläufe zu erzielen.
Werden die diskreten Texturen 7 eines 3D-Objektes und die 3D-Objektdaten des 3D-Objektes nicht mehr benötigt, so werden diese aus dem Speicher gelöscht.
Bezugszeichenliste:
1 Cloud
2 Kommunikationseinheit
3 Wetterdienst
4a,... ,4h Computerarchitekturelement
5 Fahrerassistenzsystem
6 Lichtquelle 7 Texturen
10 Cloudsystem

Claims

Patentansprüche
1. Cloudsystem (10) umfassend einer Cloud (1 ), welche eine Kommunikationseinheit (2) zur drahtlosen Kommunikation aufweist, wobei die Kommunikationseinheit (2) dazu ausgebildet ist, Wetterdaten und Sonnenschein in Bezug auf lokale Gebiete durch einen Wetterdienst (3) zu empfangen, und welche dazu ausgebildet ist, anhand des empfangenen Wetters und des Sonnenscheins die durch 3D-Objektdaten dargestellten 3D-Objekte in dem lokalen Gebiet in Bezug auf vorgegebene Positionen so zu rendern, das dadurch diskrete positionsabhängige Texturen (7) für die 3D-Objekte erzeugbar sind, wobei das Cloudsystem (10) mehrere dezentralisierte und verstreute
Computerarchitekturelemente (4a,... , 4n) aufweist, welche in den einzelnen lokalen Gebieten angeordnet sind, wobei die Cloud (1 ) dazu ausgebildet ist, die 3D-Objekte als 3D-Objektdaten sowie die aktuellen diskreten positionsabhängigen Texturen (7) in den lokalen Gebieten, in welchem das jeweilige 3D-Objekt angeordnet ist, dem dort zuständigen Computerarchitekturelement (4a,... , 4n) zu übermitteln.
2. Cloudsystem (10), nach Anspruch 1 , dadurch gekennzeichnet, dass die Cloud (1 ) dazu ausgebildet ist, die diskreten positionsabhängigen Texturen (7) nur auf Anfrage des jeweiligen Computerarchitekturelements (4a,... , 4n) für sein zuständiges Gebiet zu übermitteln.
3. Cloudsystem (10) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Cloud (1 ) dazu ausgebildet ist, die diskreten positionsabhängigen Texturen (7) hinsichtlich einer vorgegebenen Richtung zu erzeugen.
4. Cloudsystem (10) nach Anspruch 3, dadurch gekennzeichnet, dass die Cloud (1 ) Straßenkarten aufweist, und dazu ausgebildet ist, die diskreten positionsabhängigen Texturen (7) durch Rendern des 3D-Objektes in Abhängigkeit von der Richtung und vorgegebenen Positionen des 3D-Objekts zu den Straßen oder der Straße zu erzeugen.
5. Cloudsystem (10) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Cloud (1 ) dazu ausgebildet ist, bei sich ändernden Lichtverhältnissen ein automatisches Update der diskreten positionsabhängigen Textur (7) der 3D-Objekte an das für das Gebiet zuständige Computerarchitekturelement (4a,... , 4n) zu übermitteln, in dem das 3D-Objekt angeordnet ist.
6. Cloudsystem (10) nach Anspruch 5, dadurch gekennzeichnet, dass die Cloud (1 ) dazu ausgebildet ist, das Update tageszeitabhängig automatisiert zu übermitteln.
7. Fahrerassistenzsystem (5) in einem Egofahrzeug, umfassend einem System zum Ermitteln der aktuellen Position des Egofahrzeugs und der Fahrtrichtung, wobei das Fahrerassistenzsystem (5) eine Speichereinheit aufweist, und wobei ferner eine Kommunikationseinheit (2) vorgesehen ist, zur bidirektionalen Kommunikation an ein dezentrales, zu einem Cloudsystem (10) gehörenden,
Computerarchitekturelement (4a,... , 4n), welche jeweils in einem lokalen Gebiet zur Kommunikation mit dem Egofahrzeug in dem lokalen Gebiet angeordnet sind, wobei die Kommunikationseinheit (2) dazu ausgebildet ist, die aktuelle Position des Egofahrzeugs und die Fahrtrichtung des Egofahrzeuges zu übermitteln und im Gegenzug die, in Fahrtrichtung vorausliegenden 3D-Objekte als 3D-Objektdaten und die durch rendern der 3D-Objekte entstandenen diskreten positionsabhängigen Texturen (7) der 3D-Objekte an der übermittelten aktuellen Position des Egofahrzeugs durch das jeweilige Computerarchitekturelement (4a,... , 4n) zu empfangen, wobei die 3D-Objekte hinsichtlich des aktuellen Wetters und des Sonnenscheins in Fahrtrichtung gerendert sind und wobei das Fahrerassistenzsystem (5) dazu ausgebildet ist, die diskreten positionsabhängigen Texturen (7) an die 3D-Objekte anzupassen und wobei das Fahrerassistenzsystem (5) ferner dazu ausgebildet ist, zur Erstellung eines virtuellen 3D-Umfeldbildes an der aktuellen Position des Egofahrzeugs, wobei die endgültige Position und Berechnung der 3D- Objekte mitsamt ihrer diskreten positionsabhängigen Texturen (7) in dem virtuellen 3D-Umfeldbild anhand von aufgenommenen Sensordaten, welche das Fahrzeugumfeld zeigen und welche vom Egofahrzeug selbst aufgenommen werden, vorzunehmen, wobei das Fahrerassistenzsystem (5) dazu ausgebildet ist, die 3D-0bjektdaten und deren Texturen nach Verwendung zu löschen.
8. Fahrerassistenzsystem (5) eines Egofahrzeugs nach Anspruch 7, dadurch gekennzeichnet, dass das Fahrerassistenzsystem dazu ausgebildet ist, die 3D-Objekte als 3D-Objektdaten von dem Computerarchitekturelement (4a,.., 4n) an einer ersten Position (Pos A) zu laden und die diskreten positionsabhängigen Texturen (7) an einer zweiten Position (Pos B) zu laden, wobei die zweite Position (Pos B) zeitlich und örtlich nach der ersten Position (Pos A) liegt, und wobei das Fahrerassistenzsystem (5) dazu ausgebildet ist, die 3D-Objekte und die diskreten positionsabhängigen Texturen (7) zur Darstellung eines virtuellen 3D-Umfeldbildes an der zweiten Position (Pos B) als aktuelle Position zu verwenden.
9. Fahrerassistenzsystem (5) nach Anspruch 8, dadurch gekennzeichnet, dass das Fahrerassistenzsystem (5) dazu ausgebildet ist, die zweite Position (Pos B) mittels einer Prädiktion zu bestimmen, so dass die zweite Position (Pos B) ein Ort des Egofahrzeugs in der Zukunft ist.
10. Fahrerassistenzsystem (5) nach Anspruch 8 oder 9, dadurch gekennzeichnet, dass das Fahrerassistenzsystem (5) dazu ausgebildet ist, bei einer Position des Egofahrzeugs, welche zwischen der ersten Position (Pos A) und der zweiten Position (Pos B) liegt, und für welche keine diskrete positionsabhängige Textur (7) vorliegt, eine Textur (7) durch Interpolation der Textur anhand der übermittelten Texturen für die erste Position (Pos A) und für die zweite Position (Pos B), zu erstellen.
11. Fahrerassistenzsystem (5) nach einem der vorhergehenden Ansprüche 7 bis 10, dadurch gekennzeichnet, dass die Kommunikationseinheit (2) zur bidirektionalen Kommunikation an ein dezentrales, zu einem Cloudsystem (10) nach einem der vorhergehenden Ansprüche 1 bis 6 gehörenden, Computerarchitekturelement (4a,..,4n) ausgebildet ist.
PCT/DE2022/200105 2021-06-09 2022-05-30 Cloudgestütztes 3d rendering für ein egofahrzeug WO2022258116A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102021205834.5 2021-06-09
DE102021205834.5A DE102021205834A1 (de) 2021-06-09 2021-06-09 Cloudgestütztes 3D Rendering für ein Egofahrzeug

Publications (1)

Publication Number Publication Date
WO2022258116A1 true WO2022258116A1 (de) 2022-12-15

Family

ID=82156739

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/DE2022/200105 WO2022258116A1 (de) 2021-06-09 2022-05-30 Cloudgestütztes 3d rendering für ein egofahrzeug

Country Status (2)

Country Link
DE (1) DE102021205834A1 (de)
WO (1) WO2022258116A1 (de)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140277939A1 (en) * 2013-03-14 2014-09-18 Robert Bosch Gmbh Time and Environment Aware Graphical Displays for Driver Information and Driver Assistance Systems
US20190172220A1 (en) * 2009-10-19 2019-06-06 Apple Inc. Method for Determining the Pose of a Camera and for Recognizing an Object of a Real Environment
EP3506207A1 (de) * 2017-12-28 2019-07-03 Centre National d'Etudes Spatiales Dynamische strassenansicht mit sichtbildverbesserung
DE102019204279A1 (de) * 2018-03-28 2019-10-02 Robert Bosch Gmbh Verfahren und system zum effizienten wiedergeben akkumulierten niederschlags für wettereffekte
US10922886B2 (en) 2016-09-23 2021-02-16 Apple Inc. Augmented reality display
CN112815958A (zh) * 2021-01-07 2021-05-18 腾讯科技（深圳）有限公司 一种导航对象显示方法、装置、设备及存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190172220A1 (en) * 2009-10-19 2019-06-06 Apple Inc. Method for Determining the Pose of a Camera and for Recognizing an Object of a Real Environment
US20140277939A1 (en) * 2013-03-14 2014-09-18 Robert Bosch Gmbh Time and Environment Aware Graphical Displays for Driver Information and Driver Assistance Systems
US10922886B2 (en) 2016-09-23 2021-02-16 Apple Inc. Augmented reality display
EP3506207A1 (de) * 2017-12-28 2019-07-03 Centre National d'Etudes Spatiales Dynamische strassenansicht mit sichtbildverbesserung
DE102019204279A1 (de) * 2018-03-28 2019-10-02 Robert Bosch Gmbh Verfahren und system zum effizienten wiedergeben akkumulierten niederschlags für wettereffekte
CN112815958A (zh) * 2021-01-07 2021-05-18 腾讯科技（深圳）有限公司 一种导航对象显示方法、装置、设备及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
WANG KUNFENG ET AL: "Parallel vision for perception and understanding of complex scenes: methods, framework, and perspectives", ARTIFICIAL INTELLIGENCE REVIEW, SPRINGER NETHERLANDS, NL, vol. 48, no. 3, 18 July 2017 (2017-07-18), pages 299 - 329, XP036334686, ISSN: 0269-2821, [retrieved on 20170718], DOI: 10.1007/S10462-017-9569-Z *

Also Published As

Publication number Publication date
DE102021205834A1 (de) 2022-12-15

Similar Documents

Publication Publication Date Title
EP1054354B1 (de) Verfahren zum Gewinnen einer dreidimensionalen Kartendarstellung und Navigationssystem
DE102018119235A1 (de) System und verfahren zum bereitstellen einer karte für autonome fahrzeuge über ein cloud-basiertes system
DE202008018626U1 (de) System zum Betrachten von Panoramabildern
DE102019204242A1 (de) Verfahren und System zum effizienten Rendern von Wolkenwitterungseinflussgrafiken in dreidimensionalen Karten
DE102019219212A1 (de) Dynamisch erweiterte Vogelperspektive
DE202012013434U1 (de) Vorabruf von Kartenkacheldaten entlang einer Route
DE102007030226A1 (de) Kameragestütztes Navigationssystem und Verfahren zu seinem Betrieb
DE112017000910T5 (de) Verfahren und System zur Steuerung eines Platooning-Betriebs, wenn ein Fahrzeug die Kolonne verlassen soll
DE102020115011B4 (de) Nutzerschnittstelle für autonomes Fahrzeug mit prognostizierten Trajektorien
DE202014010937U1 (de) Überlagerung zweidimensionaler Kartendaten auf einer dreidimensionalen Szene
DE102009031275A1 (de) Navigationsanordnung für ein Kraftfahrzeug
DE202012013450U1 (de) Beschriftungspositionierbildwiedergabesystem zur Reduzierung des Kriechens bei Zoom-Aktivitäten
DE19549306A1 (de) Verfahren und Vorrichtung zur bildlichen Darstellung raumbezogener Daten
DE202011110906U1 (de) Bahnplanung für die Navigation auf Strassenniveau in einer dreidimensionalen Umgebung und Anwendungen davon
EP2335024A1 (de) Verfahren und vorrichtung zum anzeigen von informationen in einem fahrzeug
EP3377858B1 (de) Verfahren zur aggregation von fahrspurinformationen für digitale kartendienste
WO2004109604A1 (de) Verfahren zur generierung eines dreidimensionalen geländemodells
EP2836992A1 (de) Verfahren zur synchronen wiedergabe einer virtuellen realität in einer verteilten simulationsvorrichtung
DE202012013439U1 (de) Das Verwenden von Banding zur Optimierung der Kartenwiedergabe in einer dreidimensionalen Neigungsansicht
DE102017203896A1 (de) Kraftfahrzeug mit einem Beleuchtungsmodul zur Generierung einer Symbolik
DE102010022726B4 (de) Vorrichtung zur Darstellung von Gelände auf einer Anzeigevorrichtung eines Flugkörpers
WO2022258116A1 (de) Cloudgestütztes 3d rendering für ein egofahrzeug
DE102016009506A1 (de) Verfahren zur Darstellung von Umgebungsinformationen eines Fahrzeuges
EP2344845B1 (de) Verfahren und navigationsvorrichtung zur dreidimensionalen perspektivischen darstellung einer geländetopographie auf einer zweidimensionalen anzeigeeinrichtung
WO2017092733A1 (de) Verfahren zur vorbereitenden simulation eines militärischen einsatzes in einem einsatzgebiet

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22732392

Country of ref document: EP

Kind code of ref document: A1