WO2021115980A1 - Fahrerassistenzsystem, crowdsourcing-modul, verfahren und computerprogramm - Google Patents

Fahrerassistenzsystem, crowdsourcing-modul, verfahren und computerprogramm Download PDF

Info

Publication number
WO2021115980A1
WO2021115980A1 PCT/EP2020/084797 EP2020084797W WO2021115980A1 WO 2021115980 A1 WO2021115980 A1 WO 2021115980A1 EP 2020084797 W EP2020084797 W EP 2020084797W WO 2021115980 A1 WO2021115980 A1 WO 2021115980A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
environment
crowdsourcing
vehicle
host vehicle
Prior art date
Application number
PCT/EP2020/084797
Other languages
English (en)
French (fr)
Inventor
Herbert - c/o Continental Automotive GmbH MEIER
Ronald - c/o Continental Automotive GmbH HAIN
Thomas - c/o Continental Automotive GmbH ROSENSTOCK
Original Assignee
Continental Automotive Gmbh
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Continental Automotive Gmbh filed Critical Continental Automotive Gmbh
Priority to CN202080083019.0A priority Critical patent/CN114830616A/zh
Publication of WO2021115980A1 publication Critical patent/WO2021115980A1/de

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle

Definitions

  • the invention relates to a driver assistance system in a host vehicle comprising a sensor system which is designed to record data on the surroundings of a view of the surroundings.
  • the invention also relates to a crowdsourcing module, a method for operating such a driver assistance system and a computer program.
  • driver assistance systems require information about the surroundings of a host vehicle. These can only partially be created in real time using the vehicle's own sensor systems. In particular, the visual coverage of the area around the vehicle by the sensor systems is insufficient in critical situations. Furthermore, the processing time and the recording of the environmental data play an important role. These are often too slow. A distinction is made primarily between two types of driver assistance systems.
  • driver assistance systems that intervene laterally and / or longitudinally in the vehicle control system.
  • driver assistance systems that visualize information about the environment for the driver and highlight certain situations or warn the driver of dangerous situations. The latter is the case, for example, with a parking aid with a 360 ° view.
  • a view of the surroundings is, however, not covered by the own sensor system, in particular at confusing traffic sections, such as, for example, intersections. Processing the sensor data in real time is also a major challenge.
  • EP 2817785 B1 discloses a system for generating a virtual 3D environment model and for sharing an environment that includes the virtual 3D environment model comprises, including a network for receiving images, an image processing server connected to the network for receiving the images, the server processing the images to create a virtual 3D environment model of one or more targets near the point of interest to build based at least in part on the images; an experience platform, which is connected to the image processing server, in order to store the virtual 3D environment model of one or more targets, wherein users can connect to the experience platform.
  • the object is also achieved by a method according to claim 9 and a computer program according to claim 14.
  • a driver assistance system in a host vehicle comprising a sensor system which is designed to record a view of the surroundings using surroundings data, a communication unit being provided which is designed to send the surroundings data to a crowdsourcing module, the surroundings data at least the position of the The host vehicle and which is also designed to receive vehicle-specific crowdsourcing data by the crowdsourcing module, the vehicle-specific crowdsourcing data, together with the environment data of the host vehicle, forming an expanded or supplemented 3D environment model of the environment view of the host vehicle.
  • An environment view is a view of the environment of the host vehicle.
  • Road users are primarily other vehicles, such as cars but also motorcycles etc. or, for example, pedestrians with Flandy cameras.
  • a device located in the environment and equipped with appropriate sensors, in particular a permanently installed device, can also act as a road user who can make environment data available to the crowdsourcing module.
  • the crowdsourcing module is preferably configured to receive vehicle sensor data or traffic data from one or more contributing vehicles or road users. These are preferably located in a service area.
  • Vehicle-specific crowdsourcing data are data which are recorded by other road users and which can thus be used to supplement or expand the view of the surroundings of the host vehicle. These are determined using the position of the host vehicle. All existing crowdsourcing data can also be used. According to the invention, it was recognized that, for example, at an intersection, a view of the surroundings can be expanded or supplemented if the respective vehicle perspectives of the other road users at the intersection can be included as additional data, since the other road users each have a different view of the surroundings. A 3D environment model of the environment view extension or addition is created from the additional data and the environment data of the host vehicle.
  • the obscuration of view in the host vehicle is canceled / compensated for by the sensor systems of the other road users.
  • the relevant environment of the host vehicle can be shown in an improved manner in complex situations such as intersections, confusing junctions that are not covered by the host vehicle's own sensor system, for example in the host vehicle.
  • the timely creation of the 3D environment model from environment data obtained during a journey is possible through external processing in the crowdsourcing module. In this way, the matching (comparison) of the individually transmitted additional data from the various vehicles with the surrounding data can be carried out in the crowdsourcing module.
  • the invention provides a host vehicle with a 3D environment model for, for example, confusing and dangerous intersections.
  • the communication unit preferably sends the environment data in real time and receives the crowdsourcing data in real time.
  • the real-time calculation is done by relocating the computationally intensive processing steps from the host vehicle to the crowdsourcing module. This ensures a low latency time (delay time) for providing the 3D environment model in real time. Thanks to the real-time display, the driver of the host vehicle can act in a more controlled and proactive manner in confusing situations.
  • the communication unit is preferably designed to receive the vehicle-specific crowdsourcing data as a vehicle-specific video stream or by broadcast.
  • the vehicle-specific crowdsourcing data When receiving as a broadcast, the vehicle-specific crowdsourcing data must be taken individually from the data stream.
  • the vehicle-specific crowdsourcing data are designed as a scene description, the driver assistance system also being designed to generate the 3D environment model on the basis of the received scene description. This causes a reduction in the amount of data to be transmitted, which is transmitted from the crowdsourcing module to the host vehicle. From the Scene description, the view of the respective road user is reconstructed in the 3D environment model as a supplement or extension of the environment view of the host vehicle.
  • the driver assistance system preferably has a display unit for displaying the 3D environment model, the driver assistance system being designed to display the originally recorded environment data of the host vehicle in a non-transparent manner and to display the environment data that was not originally generated by the host vehicle in a semi-transparent manner. This allows the added views to be clearly highlighted.
  • the data to be displayed semitransparently can be identified by the crowdsourcing module, for example, so that a simple distinction is possible.
  • the object is also achieved by a crowdsourcing module for generating a 3D environment model from different perspectives, the crowdsourcing module being designed to receive environment data representing a view of the environment from road users from an environment, and where the road users are in a predefined service area are located at different positions, the service area specifying an area around a predetermined position, and wherein the crowdsourcing module is designed to generate a 3D environment model or a scene description or a 3D environment model or scene description tailored to the respective road user from the environment data is, and wherein the crowdsourcing module for sending the 3D environment model or the scene description or a 3D environment model or scene description tailored to the respective road user to the respective road user it is designed as vehicle-specific crowdsourcing data in the service area.
  • the 3D environment model tailored to the road user or the tailored description of the scene is an extension or Completion of the surrounding data recorded by the respective road user.
  • the crowdsourcing module enables a calculation of a 3D environment model from the various road users' perspectives.
  • the obscuration of vision generated by a first road user by the sensors of the other road users can be removed by generating a 3D environment model for this first road user with the help of the other road users' sensor systems.
  • the environment data is enriched with the data of the other road users, so that the obscurations can be compensated.
  • the crowdsourcing module is preferably designed to be provided in a mobile edge cloud.
  • This can also be referred to as an edge server.
  • An edge server is preferably a network component that is located on the edge of a network. This enables fast and secure transmission by the individual road users.
  • the edge server is preferably installed near the service area. This can be, for example, in a traffic light.
  • the crowdsourcing module is preferably connected to a backend.
  • the received environment data and / or the generated 3D environment models / scene descriptions can be stored.
  • the crowdsourcing module is preferably designed to refuse to send the 3D environment model or the scene description or a 3D environment model or scene description tailored to the respective road user to road users who are not or no longer in the service area.
  • the 3D environment model or the scene description is therefore made available to all road users who are in the service area.
  • the Road users who leave the local service area are not sent a 3D environment model / scene description.
  • road users in the service area for example an intersection
  • the object is achieved by a method for operating a driver assistance system in a host vehicle, comprising the steps:
  • the surrounding data including at least the position of the host vehicle
  • the environment data are preferably sent in real time and the crowdsourcing data are received in real time.
  • the driver assistance system when a scene description is received, the driver assistance system generates a 3D environment model based on the received scene description to complete and / or expand the environment view generated by the environment data.
  • the originally recorded environment data of the host vehicle are preferably displayed in a non-transparent manner and the environment data which were not originally generated by the host vehicle are displayed in a semitransparent manner.
  • the vehicle-specific crowdsourcing data are preferably received by the driver assistance system only within a service area specified by the crowdsourcing module.
  • the object is achieved by a computer program comprising commands which cause the driver assistance system as described above to carry out the method as described above.
  • a computer program comprising commands which cause the driver assistance system as described above to carry out the method as described above.
  • FIG 2 schematically the method with a 3D environment model
  • FIG. 3 schematically, the method with a description of the scene.
  • the host vehicle 5 has a sensor system, for example cameras, lidar radar sensors, with which a view of the surroundings S, i.e. the driver's perspective, can be captured by means of surroundings data .
  • This view of the surroundings is restricted and not complete by the detection system of the host vehicle 5 and by occlusions.
  • the relevant environment of the host vehicle 5 is not covered by the sensor system of the host vehicle 5 in this complex intersection.
  • the driver assistance system 6 according to the invention sends the view of the environment through environment data by means of a communication unit 8 to a crowdsourcing module 3.
  • the host vehicle 5 sends its position (s) to the crowdsourcing module 3.
  • the crowdsourcing module 3 is for provision in a mobile edge cloud designed and connected to a backend 2 for the processing of data and / or storage.
  • the crowdsourcing module 3 is designed to receive data from a service area L defined in advance. This means that in principle all road users 7a, 7b, 7c, 7d who are located in the service area L can send data to the crowdsourcing module 3.
  • the road users 7a, 7b, 7c, 7d who each have their own vehicle perspective with their sensor system and thus - as seen from the host vehicle 5 - have a different view of the surroundings, which is referred to here as additional views Z.
  • the additional views Z generated by the road users 7a, 7b, 7c, 7d are sent as data to the crowdsourcing module 3. These data can also have the position data of the road users 7a, 7b, 7c, 7d.
  • the data are processed in real time using an algorithm 4; for example, they can be transformed into a common coordinate system or put together in some other way.
  • the processing can also be carried out partially or completely in the backend 2.
  • the crowdsourcing module 3 generates a 3D environment model / scene description from the transmitted environment view of the host vehicle 5 and the additional views Z of the road users 7a, 7b, 7c, 7d.
  • the 3D environment model / scene description is represented by crowdsourcing data.
  • a tailored 3D environment model or a tailored description of the scene is then transmitted to the host vehicle 5.
  • the 3D model of the environment or the tailored description of the scene is transmitted using vehicle-specific crowdsourcing data.
  • Such a cut can be, for example, that the view of the surroundings or the data of the surroundings are enriched with data from the additional views Z in order to eliminate obscurations or all data are added that point in the direction of view of the host vehicle 5.
  • the vehicle-specific crowdsourcing data determined in this way are transmitted to the host vehicle 5, where they are displayed as a 3D environment model by a display unit.
  • the vehicle-specific crowdsourcing data can be transmitted from the crowdsourcing module 3 to the host vehicle 5, for example, as a vehicle-specific video stream or by broadcast.
  • the originally recorded environment data of the host vehicle 5 can be displayed in a non-transparent manner and the environment data that were not originally generated by the host vehicle 5 can be displayed semitransparently.
  • the driver can accurately identify the added data.
  • the 3D environment model can contain a 3D view (3D reconstruction) of the environment of the host vehicle 5 and additionally provide, for example, a top view (bird's eye view) of the environment of the host vehicle 5.
  • the driver assistance system 6 shows the relevant surroundings of the host vehicle 5 as a “live 3D view” in real time. Parts of the environment that cannot be detected by the sensor system of the host vehicle 5 can be caused by the Sensor systems of the other road users 7a, 7b, 7c, 7d are covered in a locally limited service area L. In this way, confusing and dangerous intersections can be made visible.
  • real-time processing and real-time provision of the 3D environment model in the host vehicle 5 can take place.
  • the crowdsourcing module 3 achieves a low latency time for providing the vehicle-specific crowdsourcing data and thus the 3D environment model in real time.
  • FIG. 2 shows the method in which the vehicle-specific crowdsourcing data is designed as a reconstructed 3D image or reconstructed 3D video.
  • the host vehicle 5 (FIG 1) is located in the service area L (FIG 1) of the crowdsourcing module 3 (FIG 1).
  • the host vehicle 5 (FIG. 1) records a view of the surroundings based on surroundings data.
  • the view of the surroundings can be designed as a video, for example.
  • the host vehicle 5 (FIG. 1) determines its own position (own localization). This is transmitted with the video to the crowdsourcing module 3 (FIG. 1) by the communication unit 8 (FIG. 1).
  • the videos are analyzed, for example with regard to objects (object recognition), on the basis of the transmitted videos and the own position (s data).
  • the recognized objects are put together accordingly (object consolidation) and a tailored 3D environment model is created from them. Only the objects are taken into account which, for example, point in the direction of travel / viewing direction of the host vehicle 5 (FIG. 1).
  • Objects that are picked up by the other road users 7a, 7b, 7c, 7d (FIG. 1) and are, for example, opposite or outside the viewing direction of the host vehicle 5 (FIG. 1) are not taken into account in the vehicle-specific 3D environment model or are not used.
  • the 3D environment model is streamed - for example as a video - to the host vehicle 5 (FIG. 1) using the vehicle-specific crowdsourcing data and displayed there on the display unit.
  • the originally recorded environment data of the host vehicle 5 can be displayed in a non-transparent manner and the environment data that were not originally generated by the host vehicle 5 (FIG. 1) can be displayed semitransparently.
  • the visual obscuration generated in the host vehicle 5 (FIG. 1) for an individual road user, for example the road user 7a (FIG. 1), is supplemented or compensated for by the sensor systems and the additional views Z recorded with them, in this case by the road user 7b (FIG. 1).
  • the road user 7a (FIG. 1) can thus be shown semitransparently in the transmitted 3D video.
  • the 3D video can also contain a top view of the intersection 1 (FIG. 1) or the objects recognized therein.
  • FIG. 3 shows the method in which the vehicle-specific crowdsourcing data is designed as a scene description.
  • the host vehicle 5 (FIG 1) is located in the service area L of the crowdsourcing module 3 (FIG 1).
  • the host vehicle 5 (FIG. 1) records a view of the surroundings based on surroundings data.
  • the view of the surroundings is designed here as a video / image / scene description.
  • the host vehicle 5 determines its own position (own localization). These is transmitted with the video / environment image / scene description to the crowdsourcing module 3 (FIG. 1) by the communication unit 8 (FIG. 1).
  • road users 7a, 7b, 7c, 7d who are also located in the service area L (FIG 1) of the crowdsourcing module 3 (FIG 1), generate additional views Z (FIG 1) as a scene description and preferably with the respective own position (s data) to the crowdsourcing module 3 (FIG 1).
  • a scene description preferably contains the object data, such as the position and trajectories of recognized objects (road users, buildings, traffic signs, etc.).
  • the transmitted video / surroundings / scene description and the own position (s data) of the host vehicle 5 (FIG. 1) are enriched with the detected objects (object consolidation) and a vehicle-specific scene description is created using vehicle-specific crowdsourcing data .
  • a vehicle-specific scene description is created using vehicle-specific crowdsourcing data .
  • only those objects are taken into account which, for example, point in the direction of travel / viewing direction of the host vehicle 5 (FIG. 1).
  • Objects that are picked up by the other road users 7a, 7b, 7c, 7d and are, for example, opposite or outside the viewing direction of the host vehicle 5 (FIG. 1) are not taken into account in the vehicle-specific crowdsourcing data and are not used.
  • the 3D environment model / scene description is represented by crowdsourcing data.
  • the scene description is transmitted to the host vehicle 5 (FIG. 1) using the vehicle-specific crowdsourcing data and is shown there on the display unit as a 3D environment model.
  • the originally recorded environment data of the host vehicle 5 can be displayed in a non-transparent manner, and the environment data, which which were not originally generated by the host vehicle 5 (FIG. 1) can be displayed in a semitransparent manner.
  • the visual obscuration generated in the host vehicle 5 (FIG. 1) for an individual road user, for example the road user 7a (FIG. 1), is supplemented or compensated for by the sensor system and the additional views recorded with it, in this case by the road user 7b (FIG. 1).
  • the road user 7a (FIG. 1) can thus be represented semitransparently in the transmitted 3D environment model.
  • the 3D environment model can also contain a top view of the intersection 1 (FIG. 1) or the objects recognized therein.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Traffic Control Systems (AREA)

Abstract

Die Erfindung betrifft ein Fahrerassistenzsystem (6) in einem Egofahrzeug (5) umfassend einem Sensorsystem welches zur Aufnahme einer Umfeldansicht durch Umfelddaten ausgebildet ist, wobei eine Kommunikationseinheit (8) vorgesehen ist, welche zur Aussendung der Umfelddaten an ein Crowdsourcing-Modul (3) ausgebildet ist, wobei die Umfelddaten zumindest die Position des Egofahrzeuges (5) umfassen und wobei die Kommunikationseinheit (8) ferner zum Empfang von fahrzeugspezifischen Crowdsourcing-Daten durch das Crowdsourcing-Modul (3) ausgebildet ist, wobei die fahrzeugspezifischen Crowdsourcing-Daten zusammen mit den Umfelddaten des Egofahrzeuges (5) ein erweitertes oder ergänztes 3D-Umgebungsmodell der Umfeldansicht des Egofahrzeuges (5) ausbilden. Ferner betrifft die Erfindung ein Crowdsourcing-Modul, ein Verfahren zum Betreiben eines solchen Fahrerassistenzsystems und ein Computerprogramm.

Description

Beschreibung
Fahrerassistenzsystem, Crowdsourcing-Modul, Verfahren und Computerprogramm
Die Erfindung betrifft ein Fahrerassistenzsystem in einem Egofahrzeug umfassend einem Sensorsystem, welches zur Aufnahme von Umfelddaten einer Umfeldansicht ausgebildet ist. Ferner betrifft die Erfindung ein Crowdsourcing-Modul, ein Verfahren zum Betreiben eines solchen Fahrerassistenzsystems und ein Computerprogramm.
Es ist bekannt, dass Fahrerassistenzsysteme Informationen über die Umgebung eines Egofahrzeuges benötigen. Diese können nur teilweise in Echtzeit über die fahrzeugeigenen Sensorsysteme erstellt werden. Insbesondere die Sichtabdeckung des Fahrzeugumfelds durch die Sensorsysteme ist in kritischen Situationen nur unzureichend. Ferner spielt die Verarbeitungszeit und die Erfassung der Umfelddaten eine wichtige Rolle. Diese sind häufig zu langsam. Dabei wird vor allem zwischen zwei Ausprägungen von Fahrerassistenzsystemen unterschieden.
Dies sind zum einen Fahrerassistenzsysteme, die lateral und /oder longitudinal in die Fahrzeugsteuerung eingreifen. Zum anderen sind dies Fahrerassistenzsysteme, die dem Fahrer Informationen über die Umgebung visualisieren und bestimmte Situationen hervorheben bzw. den Fahrer vor gefährlichen Situationen warnen. Letzteres ist beispielsweise bei einer Einparkhilfe mit 360° View der Fall.
Insbesondere an unübersichtlichen Verkehrsabschnitten, wie beispielsweise Kreuzungen, ist eine Umfeldansicht durch das eigene Sensorsystem jedoch nicht abgedeckt. Ferner ist die Verarbeitung der Sensordaten in Echtzeit eine große Herausforderung.
Die EP 2817785 B1 offenbart ein System zum Erzeugen eines virtuellen 3D-Umgebungsmodells und zum Teilen einer Umgebung, die das virtuelle 3D-Umgebungsmodell umfasst, beinhaltend ein Netzwerk zum Empfangen von Bildern, einen Bildverarbeitungsserver, der zum Empfangen der Bilder, mit dem Netzwerk verbunden ist, wobei der Server die Bilder, verarbeitet, um ein virtuelles 3D-Umgebungsmodell von einem oder mehreren Zielen nahe dem Punkt von Interesse, basierend zumindest teilweise auf den Bildern, zu bauen; eine Erfahrungsplattform, die mit dem Bildverarbeitungsserver verbunden ist, um das virtuelle 3D-Umgebungsmodell von einem oder mehreren Zielen zu speichern, wobei sich Benutzer mit der Erfahrungsplattform verbinden können.
Es ist eine Aufgabe der Erfindung, Mittel anzugeben, welche eine verbesserte Umfeldansicht erzielt.
Diese Aufgabe wird durch ein Fahrerassistenzsystem mit den Merkmalen des Anspruchs 1 sowie ein Crowdsourcing-Modul mit den Merkmalen des Anspruchs 6 gelöst.
Weiter wird die Aufgabe gelöst durch ein Verfahren nach Anspruch 9 und ein Computerprogramm nach Anspruch 14.
In den Unteransprüchen sind weitere vorteilhafte Maßnahmen aufgelistet, die miteinander kombiniert werden können, um weitere Vorteile zu erzielen.
Die Aufgabe wird gelöst durch ein Fahrerassistenzsystem in einem Egofahrzeug umfassend einem Sensorsystem, welches zur Aufnahme einer Umfeldansicht durch Umfelddaten ausgebildet ist, wobei eine Kommunikationseinheit vorgesehen ist, welche zur Aussendung der Umfelddaten an ein Crowdsourcing-Modul ausgebildet ist, wobei die Umfelddaten zumindest die Position des Egofahrzeuges umfassen und welche ferner zum Empfang von fahrzeugspezifischen Crowdsourcing-Daten durch das Crowdsourcing-Modul ausgebildet ist, wobei die fahrzeugspezifischen Crowdsourcing-Daten zusammen mit den Umfelddaten des Egofahrzeuges ein erweitertes oder ergänztes 3D-Umgebungsmodell der Umfeldansicht des Egofahrzeuges ausbilden.
Eine Umfeldansicht ist eine Ansicht des Umfelds des Egofahrzeuges. Verkehrsteilnehmer sind vor allem andere Fahrzeuge, wie PKW aber auch Motorräder etc. oder beispielsweise Fußgänger mit Flandykameras. Als Verkehrsteilnehmer, der Umfelddaten dem Crowdsourcing-Modul zur Verfügung stellen kann, kann auch eine in der Umgebung verortete und mit entsprechenden Sensoren ausgestattete Einrichtung, insbesondere eine fest installierte Einrichtung, fungieren.
Das Crowdsourcing-Modul ist vorzugsweise dafür konfiguriert, Fahrzeugsensordaten bzw. Verkehrsdaten von einem oder mehreren beitragenden Fahrzeugen bzw. Verkehrsteilnehmern zu empfangen. Diese bewegen sich vorzugsweise in einem Servicebereich.
Fahrzeugspezifische Crowdsourcing-Daten sind Daten, welche von anderen Verkehrsteilnehmern erfasst werden und welche somit zur Ergänzung oder Erweiterung der Umfeldansicht des Egofahrzeugs verwendet werden können. Diese werden unter Verwendung der Position des Egofahrzeugs bestimmt. Dabei können auch alle vorhandenen Crowdsourcing-Daten verwendet werden. Erfindungsgemäß wurde erkannt, dass beispielsweise bei einer Kreuzung, eine Umfeldansichterweiterung oder -ergänzung möglich ist, wenn die jeweilige Fahrzeugperspektiven der übrigen Verkehrsteilnehmer, welche sich an der Kreuzung befinden, als Zusatzdaten miteinbezogen werden können, da die anderen Verkehrsteilnehmer jeweils eine andere Umfeldansicht aufweisen. Aus den Zusatzdaten und den Umfelddaten des Egofahrzeuges wird ein 3D-Umgebungsmodell der Umfeldansichterweiterung oder -ergänzung erstellt.
Die im Egofahrzeug vorhandene Sichtverdeckung wird durch die Sensorsysteme der übrigen Verkehrsteilnehmer aufgehoben/ausgeglichen. Dadurch kann das relevante Umfeld des Egofahrzeuges bei komplexen Situationen wie Kreuzungen, unübersichtliche Einmündungen, welche nicht von dem eigenen Sensorsystem des Egofahrzeugs abgedeckt wird, beispielsweise im Egofahrzeug verbessert dargestellt werden. Die rechtzeitige Erstellung des 3D-Umgebungsmodells aus während einer Fahrt erhaltenen Umfelddaten ist durch die externe Verarbeitung im Crowdsourcing-Modul möglich. So kann das Matching (Abgleich) der einzelnen übermittelten Zusatzdaten von den verschiedenen Fahrzeugen mit den Umfelddaten in dem Crowdsourcing-Modul vorgenommen werden.
Dadurch kann eine Unterstützung des Fahrers mittels „Echtzeit 3D View“ für unübersichtliche Situationen bewirkt werden.
Durch die Erfindung wird ein 3D-Umgebungsmodell für beispielsweise unübersichtliche und gefährliche Kreuzungen einem Egofahrzeug zur Verfügung gestellt.
Vorzugsweise sendet die Kommunikationseinheit die Umfelddaten in Echtzeit und empfängt die Crowdsourcing-Daten in Echtzeit. Die Echtzeitberechnung wird durch Verlagerung der rechenintensiven Verarbeitungsschritte vom Egofahrzeug in das Crowdsourcing-Modul bewerkstelligt. Dadurch kann eine niedrige Latenzzeit (Verzögerungszeit) zur Bereitstellung des 3D-Umgebungsmodells in Echtzeit gewährleistet werden. Durch die Echtzeit-Darstellung kann der Fahrer des Egofahrzeuges in unübersichtlichen Situationen kontrollierter und vorausschauender handeln.
Weiterhin vorzugsweise ist die Kommunikationseinheit dazu ausgebildet, die fahrzeugspezifischen Crowdsourcing-Daten als fahrzeugindividuellen Video-Stream oder per Broadcast zu empfangen. Bei einem Empfangen als Broadcast müssen die fahrzeugspezifischen Crowdsourcing-Daten dem Datenstrom individuell entnommen werden.
In weiterer bevorzugter Ausgestaltung sind die fahrzeugspezifischen Crowdsourcing-Daten als eine Szenenbeschreibung ausgebildet, wobei das Fahrerassistenzsystem ferner dazu ausgebildet ist, anhand der empfangenen Szenenbeschreibung das 3D-Umgebungsmodell zu erzeugen. Dies bewirkt eine Reduktion der zu übertragenden Datenmenge, welche von dem Crowdsourcing-Modul an das Egofahrzeug übermittelt wird. Aus der Szenenbeschreibung wird die Sicht des jeweiligen Verkehrsteilnehmers im 3D-Umgebungsmodell als Ergänzung oder Erweiterung der Umfeldansicht des Egofahrzeuges rekonstruiert.
Vorzugsweise weist das Fahrerassistenzsystem eine Anzeigeeinheit zur Darstellung des 3D-Umgebungsmodells auf, wobei das Fahrerassistenzsystem dazu ausgebildet ist die ursprünglichen aufgenommenen Umfelddaten des Egofahrzeuges intransparent darzustellen, und die Umfelddaten, welche nicht ursprünglich durch das Egofahrzeug erzeugt worden sind, semitransparent darzustellen. Dadurch können die hinzugefügten Ansichten deutlich herausgestellt werden. Die semitransparent darzustellenden Daten können beispielsweise vom Crowdsourcing-Modul gekennzeichnet werden, so dass eine einfache Unterscheidung möglich ist.
Ferner wird die Aufgabe gelöst durch ein Crowdsourcing-Modul zur Erzeugung eines 3D-Umgebungsmodells aus verschiedenen Perspektiven, wobei das Crowdsourcing-Modul zum Empfang von Umfelddaten, welche eine Umfeldansicht darstellen, von Verkehrsteilnehmern aus einem Umfeld ausgebildet ist, und wobei sich die Verkehrsteilnehmer in einem vordefinierten Servicebereich an verschiedenen Positionen befinden, wobei der Servicebereich einen Bereich um eine vorgegebene Position angibt, und wobei das Crowdsourcing-Modul zum Generieren eines 3D-Umgebungsmodells oder einer Szenenbeschreibung oder eines auf den jeweiligen Verkehrsteilnehmer zugeschnittenen 3D-Umgebungsmodells oder zugeschnittene Szenenbeschreibung aus den Umfelddaten ausgebildet ist, und wobei das Crowdsourcing-Modul zum Senden des 3D-Umgebungsmodells oder der Szenenbeschreibung oder eines auf den jeweiligen Verkehrsteilnehmer zugeschnittenen 3D-Umgebungsmodells oder zugeschnittene Szenenbeschreibung an den jeweiligen Verkehrsteilnehmer im Servicebereich als fahrzeugspezifische Crowdsourcing-Daten ausgebildet ist.
Dabei ist das auf den Verkehrsteilnehmer zugeschnittene 3D-Umgebungsmodell oder die zugeschnittene Szenenbeschreibung eine Erweiterung oder Vervollständigung der von dem jeweiligen Verkehrsteilnehmer aufgenommenen Umfelddaten.
Aus den Sensorsystemen wie Kamera, GPS, Radar der Verkehrsteilnehmer wird durch das Crowdsourcing-Modul eine Berechnung eines 3D-Umgebungsmodells aus den verschiedenen Verkehrsteilnehmerperspektiven möglich. Damit kann beispielsweise die durch einen ersten Verkehrsteilnehmer erzeugte Sichtverdeckung durch die Sensorik der anderen Verkehrsteilnehmer aufgehoben werden, indem ein 3D-Umgebungsmodell für diesen ersten Verkehrsteilnehmer mithilfe der Sensorsysteme der anderen Verkehrsteilnehmer erzeugt wird. In diesem 3D-Umgebungsmodell werden die Umfelddaten mit den Daten der anderen Verkehrsteilnehmer angereichert, wodurch die Sichtverdeckungen ausgeglichen werden können.
Vorzugsweise ist das Crowdsourcing-Modul zur Bereitstellung in einer Mobile Edge Cloud ausgebildet ist. Dieses kann auch als Edge- Server bezeichnet werden. Ein Edge- Server ist vorzugsweise eine Netzwerkkomponente, die sich am Rand eines Netzwerks befindet. Dadurch ist eine schnelle und sichere Übertragung von den einzelnen Verkehrsteilnehmern möglich. Vorzugsweise ist der Edge-Server in der Nähe des Servicebereiches installiert. Dies kann beispielsweise in einer Ampel sein.
Vorzugsweise ist das Crowdsourcing-Modul mit einem Backend verbunden. In diesem können beispielsweise die empfangenen Umfelddaten und/oder die erzeugten 3D-Umgebungsmodelle/ Szenenbeschreibungen gespeichert werden. Vorzugsweise ist das Crowdsourcing-Modul dazu ausgebildet, ein Übersenden des 3D-Umgebungsmodells oder der Szenenbeschreibung oder eines auf den jeweiligen Verkehrsteilnehmer zugeschnittenen 3D-Umgebungsmodells oder zugeschnittene Szenenbeschreibung an Verkehrsteilnehmer zu verweigern, welche sich nicht oder nicht mehr im Servicebereich befinden. Das 3D-Umgebungsmodell oder die Szenenbeschreibung wird daher allen den Verkehrsteilnehmern zur Verfügung gestellt, welche sich in dem Servicebereich befinden. Den Verkehrsteilnehmern, die den lokalen Servicebereich verlassen, wird kein 3D-Umgebungsmodell / Szenenbeschreibung übersandt.
Befinden sich Verkehrsteilnehmer in dem Servicebereich, beispielsweise einer Kreuzung, so werden diese vom Crowdsourcing-Modul erfasst und es findet ein Datenaustausch der Eigenposition und der Umfelddaten eines Verkehrsteilnehmers mit den Umfelddaten der anderen Verkehrsteilnehmer in dem Servicebereich statt.
Ferner wird die Aufgabe gelöst durch ein Verfahren zum Betrieb eines Fahrerassistenzsystems in einem Egofahrzeug umfassend der Schritte:
- Aufnahme einer Umfeldansicht anhand von Umfelddaten durch ein Sensorsystem des Fahrerassistenzsystems,
- Aussenden der Umfelddaten an ein Crowdsourcing-Modul, wobei die Umfelddaten zumindest die Position des Egofahrzeugs umfassen,
- Empfangen von fahrzeugspezifischen Crowdsourcing-Daten durch das Crowdsourcing-Modul, wobei die fahrzeugspezifischen Crowdsourcing-Daten zusammen mit den Umfelddaten des Egofahrzeuges ein erweitertes oder ergänztes 3D-Umgebungsmodell der Umfeldansicht des Egofahrzeuges ausbilden.
Dadurch kann bei einer kritischen komplexen Verkehrssituation wie einer Kreuzung, unübersichtlicher Einmündung etc. das relevante Umfeld des Egofahrzeugs verbessert abgedeckt werden.
Durch die Nutzung des Crowdsourcing-Moduls zur Bereitstellung des 3D-Umgebungsmodells in Echtzeit wird ferner eine niedrige Latenzzeit benötigt. Vorzugsweise werden die Umfelddaten in Echtzeit gesendet und die Crowdsourcing-Daten in Echtzeit empfangen.
In weiterer bevorzugter Ausgestaltung erzeugt bei einem Empfang einer Szenenbeschreibung, das Fahrerassistenzsystem aufgrund der empfangenen Szenenbeschreibung ein 3D-Umgebungsmodell zur Vervollständigung und/oder Erweiterung der durch die Umfelddaten erzeugten Umfeldansicht. Vorzugsweise werden die ursprünglichen aufgenommenen Umfelddaten des Egofahrzeuges intransparent dargestellt und die Umfelddaten, welche nicht ursprünglich durch das Egofahrzeug erzeugt worden sind, semitransparent dargestellt.
Bevorzugt werden die fahrzeugspezifischen Crowdsourcing-Daten durch das Fahrerassistenzsystem nur innerhalb eines durch das Crowdsourcing-Modul vorgegebenen Servicebereiches empfangen.
Ferner wird die Aufgabe gelöst durch ein Computerprogramm, umfassend Befehle, die bewirken, dass das wie oben beschriebene Fahrerassistenzsystem das wie oben beschriebene Verfahren ausführt. Mittels des Computerprogramms kann daher noch sehr einfach nachträglich eine Installation des erfindungsgemäßen Verfahrens in die Egofahrzeuge installiert werden.
Weitere Eigenschaften und Vorteile der vorliegenden Erfindung ergeben sich aus der nachfolgenden Beschreibung unter Bezugnahme auf die beiliegenden Figuren. Darin zeigen schematisch:
FIG 1: ein erstes Ausführungsbeispiel eines erfindungsgemäßen Fahrerassistenzsystems in einem Egofahrzeug an einer Kreuzung,
FIG 2: schematisch das Verfahren mit einem 3D-Umgebungsmodell,
FIG 3: schematisch das Verfahren mit einer Szenenbeschreibung.
FIG 1 zeigt eine erste Ausgestaltung eines erfindungsgemäßen Fahrerassistenzsystems 6 in einem Egofahrzeug 5 an einer Kreuzung 1. Das Egofahrzeug 5 weist ein Sensorsystem, beispielsweise Kameras, Lidar-Radarsensoren auf, mit dem eine Umfeldansicht S, das heißt die Fahrerperspektive, durch Umfelddaten erfasst werden kann. Diese Umfeldansicht ist durch das Erfassungssystem des Egofahrzeuges 5 sowie durch Sichtverdeckungen beschränkt und nicht vollständig. Das relevante Umfeld des Egofahrzeugs 5 wird bei dieser komplexen Kreuzung nicht von dem Sensorsystem des Egofahrzeugs 5 abgedeckt. Das erfindungsgemäße Fahrerassistenzsystem 6 sendet die Umfeldansicht durch Umfelddaten mittels einer Kommunikationseinheit 8 an ein Crowdsourcing-Modul 3. Ferner sendet das Egofahrzeug 5 seine Position(sdaten) an das Crowdsourcing-Modul 3. Das Crowdsourcing-Modul 3 ist zur Bereitstellung in einer Mobile Edge Cloud ausgebildet und zur Verarbeitung von Daten und/oder Speicherung mit einem Backend 2 verbunden.
Das Crowdsourcing-Modul 3 ist zum Empfang von Daten aus einem vorab definierten Servicebereich L ausgebildet. Dies bedeutet, dass prinzipiell von allen Verkehrsteilnehmern 7a, 7b, 7c, 7d, welche sich in dem Servicebereich L befinden, Daten an das Crowdsourcing-Modul 3 gesendet werden können. In dem Servicebereich L befinden sich die Verkehrsteilnehmer 7a, 7b, 7c, 7d, welche mit ihrem Sensorsystem jeweils eine eigene Fahrzeugperspektive aufweisen, und somit - vom Egofahrzeug 5 aus gesehen- eine andere Umfeldansicht, welche hier als Zusatzansichten Z bezeichnet wird, aufweisen.
Die von den Verkehrsteilnehmern 7a, 7b, 7c, 7d erzeugten Zusatzansichten Z werden als Daten an das Crowdsourcing-Modul 3 gesendet. Diese Daten können ebenfalls die Positionsdaten der Verkehrsteilnehmer 7a, 7b, 7c, 7d aufweisen.
Im Crowdsourcing-Modul 3 werden die Daten in Echtzeit mittels eines Algorithmus 4 verarbeitet; so können diese beispielsweise in ein gemeinsames Koordinatensystem transformiert werden oder anderweitig zusammengefügt werden. Auch kann die Verarbeitung teilweise oder vollständig im Backend 2 vorgenommen werden.
Das Crowdsourcing-Modul 3 erzeugt ein 3D-Umgebungsmodell/Szenen- beschreibung aus der übermittelten Umfeldansicht des Egofahrzeuges 5 und den Zusatzansichten Z der Verkehrsteilnehmer 7a, 7b, 7c, 7d. Das 3D-Umgebungsmodell/Szenenbeschreibung wird durch Crowdsourcing-Daten dargestellt. Anschließend wird auf das Egofahrzeug 5 ein zugeschnittenes 3D-Umgebungsmodell oder eine zugeschnittene Szenenbeschreibung übermittelt. Das 3D-Umgebungsmodell oder die zugeschnittene Szenenbeschreibung wird durch fahrzeugspezifische Crowdsourcing-Daten übermittelt.
Dabei kann ein solcher Zuschnitt beispielsweise sein, dass die Umfeldansicht bzw. die Umfelddaten mit Daten aus den Zusatzansichten Z angereichert werden, um Sichtverdeckungen zu eliminieren oder es werden alle Daten hinzugefügt, die in Blickrichtung des Egofahrzeugs 5 weisen.
Die so ermittelten fahrzeugspezifischen Crowdsourcing-Daten werden an das Egofahrzeug 5 übermittelt, wo diese durch eine Anzeigeeinheit als 3D-Umgebungsmodell dargestellt werden.
Die fahrzeugspezifischen Crowdsourcing-Daten können beispielsweise als fahrzeugindividuellen Video-Stream oder per Broadcast vom Crowdsourcing-Modul 3 and das Egofahrzeug 5 übertragen werden.
Ferner können die ursprünglichen aufgenommenen Umfelddaten des Egofahrzeuges 5 intransparent dargestellt werden und die Umfelddaten, welche nicht ursprünglich durch das Egofahrzeug 5 erzeugt worden sind, semitransparent dargestellt werden. Somit kann der Fahrer die hinzugefügten Daten genau identifizieren.
Verlässt das Egofahrzeug 5 den Servicebereich L, so können weder Daten an das Crowdsourcing-Modul 3 übertragen, noch Daten vom Crowdsourcing-Modul 3 empfangen werden. Dies gilt auch für die anderen Verkehrsteilnehmer 7a, 7b, 7c, 7d. Ferner kann das 3D-Umgebungsmodell ein 3D-View (3D-Rekonstruktion) des Umfeldes des Egofahrzeugs 5 beinhalten als auch zusätzlich beispielsweise eine Draufsicht (Vogelperspektive) des Umfeldes des Egofahrzeuges 5 bereitstellen.
Durch das erfindungsgemäße Fahrerassistenzsystem 6 wird das relevante Umfeld des Egofahrzeuges 5 als „Live 3DView“ in Echtzeit dargestellt. Nicht durch das Sensorsystem des Egofahrzeugs 5 erfassbare Teile des Umfelds können durch die Sensorsysteme der anderen Verkehrsteilnehmer 7a, 7b, 7c, 7d in einem lokal begrenzten Servicebereich L abgedeckt werden. Somit können unübersichtliche und gefährliche Kreuzungen sichtbar gemacht werden. Durch eine Verlagerung der rechenintensiven Verarbeitungsschritte vom Egofahrzeug 5 in das Crowdsourcing-Modul 3 kann eine Echtzeitbearbeitung und Echtzeitbereitstellung des 3D-Umfeldmodells im Egofahrzeug 5 erfolgen.
Durch das Crowdsourcing-Modul 3 wird eine niedrige Latenzzeit zur Bereitstellung der fahrzeugspezifischen Crowdsourcing-Daten und damit des 3D-Umfeldmodells in Echtzeit erzielt.
FIG 2 zeigt das Verfahren bei dem die fahrzeugspezifischen Crowdsourcing-Daten als rekonstruiertes 3D-Bild oder rekonstruiertes 3D-Video ausgebildet sind.
Das Egofahrzeug 5 (FIG 1 ) befindet sich in dem Servicebereich L (FIG 1 ) des Crowdsourcing-Moduls 3 (FIG 1).
Das Egofahrzeug 5 (FIG 1 ) nimmt eine Umfeldansicht anhand von Umfelddaten auf. Die Umfeldansicht kann beispielsweise als Video ausgebildet sein. Zudem ermittelt das Egofahrzeug 5 (FIG 1 ) die Eigenposition (Eigenlokalisierung). Diese wird mit dem Video an das Crowdsourcing-Modul 3 (FIG 1 ) durch die Kommunikationseinheit 8 (FIG 1 ) übermittelt.
Ferner werden von anderen Verkehrsteilnehmern 7a, 7b, 7c, 7d (FIG 1 ), die sich ebenfalls im Servicebereich L des Crowdsourcing-Moduls 3 (FIG 1) befinden weitere Zusatzansichten Z (FIG 1 ) des Umfelds beispielsweise als Video generiert und vorzugsweise mit der jeweiligen Eigenposition(sdaten) an das Crowdsourcing-Modul 3 (FIG 1 ) übermittelt.
In dem Crowdsourcing-Modul 3 (FIG 1) werden anhand der übermittelten Videos und der Eigenposition(sdaten), die Videos beispielsweise hinsichtlich Objekte analysiert (Objekterkennung). Die erkannten Objekte werden entsprechend zusammengefügt (Objektkonsolidierung) und daraus ein zugeschnittenes 3D-Umgebungsmodell erstellt. Hierbei werden nur die Objekte berücksichtigt, welche beispielsweise in Fahrtrichtung / Blickrichtung des Egofahrzeugs 5 (FIG 1 ) weisen. Objekte, welche von den anderen Verkehrsteilnehmern 7a, 7b, 7c, 7d (FIG 1 ) aufgenommen werden und beispielsweise entgegen oder außerhalb der Blickrichtung des Egofahrzeuges 5 (FIG 1) liegen, bleiben im fahrzeugspezifischen 3D-Umgebungsmodell nicht berücksichtigt bzw. werden nicht verwertet.
Das 3D-Umgebungsmodell wird - beispielsweise als Video- an das Egofahrzeug 5 (FIG 1 ) anhand der fahrzeugspezifischen Crowdsourcing-Daten gestreamt und dort auf der Anzeigeeinheit dargestellt.
Dabei können die ursprünglichen aufgenommenen Umfelddaten des Egofahrzeuges 5 (FIG 1 ) intransparent dargestellt und die Umfelddaten, welche nicht ursprünglich durch das Egofahrzeug 5 (FIG 1) erzeugt worden sind, semitransparent dargestellt werden.
Die im Egofahrzeug 5 (FIG 1) erzeugte Sichtverdeckung für einen individuellen Verkehrsteilnehmer, beispielsweise den Verkehrsteilnehmer 7a (FIG 1 ) wird durch die Sensorsysteme und die damit aufgenommenen Zusatzansichten Z, in diesem Fall durch den Verkehrsteilnehmer 7b (FIG 1 ) ergänzt bzw. ausgeglichen.
Somit kann der Verkehrsteilnehmer 7a (FIG 1 ) in dem übermittelten 3D-Video semitransparent dargestellt werden.
Das 3D-Video kann auch eine Draufsicht auf die Kreuzung 1 (FIG 1 ) bzw. die darin erkannten Objekte beinhalten.
FIG 3 zeigt das Verfahren bei dem die fahrzeugspezifischen Crowdsourcing-Daten als Szenenbeschreibung ausgebildet sind.
Das Egofahrzeug 5 (FIG 1 ) befindet sich in dem Servicebereich L des Crowdsourcing-Moduls 3 (FIG 1).
Das Egofahrzeug 5 (FIG 1 ) nimmt eine Umfeldansicht anhand von Umfelddaten auf. Die Umfeldansicht ist hier als Video /Umfeldbild/Szenenbeschreibung ausgebildet. Zudem ermittelt das Egofahrzeug 5 die Eigenposition (Eigenlokalisierung). Diese wird mit dem Video /Umfeldbild/ Szenenbeschreibung an das Crowdsourcing-Modul 3 (FIG 1 ) durch die Kommunikationseinheit 8 (FIG 1) übermittelt.
Ferner werden von anderen Verkehrsteilnehmern 7a, 7b, 7c, 7d (FIG 1 ), die sich ebenfalls im Servicebereich L (FIG 1 ) des Crowdsourcing-Moduls 3 (FIG 1) befinden, weitere Zusatzansichten Z (FIG 1 ) als Szenenbeschreibung generiert und vorzugsweise mit der jeweiligen Eigenposition(sdaten) an das Crowdsourcing-Modul 3 (FIG 1). Eine Szenenbeschreibung enthält vorzugsweise die Objektdaten, wie Position und Trajektorien von erkannten Objekten (Verkehrsteilnehmern, Gebäuden, Verkehrsschildern etc.).
In dem Crowdsourcing-Modul 3 (FIG 1 ) werden das übermittelte Video /Umfeldbilder/ Szenenbeschreibung und die Eigenposition(sdaten) des Egofahrzeuges 5 (FIG 1 ), mit den erkannten Objekten angereichert (Objektkonsolidierung) und eine fahrzeugspezifische Szenenbeschreibung durch fahrzeugspezifische Crowdsourcing-Daten erstellt. Hierbei werden nur die Objekte berücksichtigt, welche beispielsweise in Fahrtrichtung / Blickrichtung des Egofahrzeugs 5 (FIG 1 ) weisen. Objekte, welche von den anderen Verkehrsteilnehmern 7a, 7b, 7c, 7d aufgenommen werden und beispielsweise entgegen oder außerhalb der Blickrichtung des Egofahrzeuges 5 (FIG 1 ) liegen, bleiben in den fahrzeugspezifischen Crowdsourcing-Daten nicht berücksichtigt und werden nicht verwertet.
Das 3D-Umgebungsmodell/Szenenbeschreibung wird durch Crowdsourcing-Daten dargestellt.
Die Szenenbeschreibung wird an das Egofahrzeug 5 (FIG 1 ) anhand der fahrzeugspezifischen Crowdsourcing-Daten übermittelt und dort auf der Anzeigeeinheit als 3D- Umgebungsmodell dargestellt.
Dabei können die ursprünglichen aufgenommenen Umfelddaten des Egofahrzeuges 5 (FIG 1 ) intransparent dargestellt und die Umfelddaten, welche nicht ursprünglich durch das Egofahrzeug 5 (FIG 1) erzeugt worden sind, semitransparent dargestellt werden.
Die im Egofahrzeug 5 (FIG 1) erzeugte Sichtverdeckung für einen individuellen Verkehrsteilnehmer, beispielsweise den Verkehrsteilnehmer 7a (FIG 1) wird durch das Sensorsystem und die damit aufgenommenen Zusatzansichten, in diesem Fall durch den Verkehrsteilnehmer 7b (FIG 1) ergänzt bzw. ausgeglichen.
Somit kann der Verkehrsteilnehmer 7a (FIG 1) in dem übermittelten 3D-Umgebungsmodell semitransparent dargestellt werden.
Diejenigen Verkehrsteilnehmer 7a, 7b, 7c, 7d (FIG 1), die den lokalen Servicebereich L (FIG 1) verlassen, können weder Daten an das Crowdsourcing-Modul 3 (FIG 1) senden, noch empfangen. Das 3D-Umgebungsmodell kann auch eine Draufsicht auf die Kreuzung 1 (FIG 1) bzw. die darin erkannten Objekte beinhalten.

Claims

Patentansprüche
1 . Fahrerassistenzsystem (6) in einem Egofahrzeug (5) umfassend einem Sensorsystem welches zur Aufnahme einer Umfeldansicht durch Umfelddaten ausgebildet ist, d a d u r c h g e k e n n z e i c h n et, d a s s eine Kommunikationseinheit (8) vorgesehen ist, welche zur Aussendung der Umfelddaten an ein Crowdsourcing-Modul (3) ausgebildet ist, wobei die Umfelddaten zumindest die Position des Egofahrzeuges (5) umfassen und wobei die Kommunikationseinheit (8) ferner zum Empfang von fahrzeugspezifischen Crowdsourcing-Daten durch das Crowdsourcing-Modul (3) ausgebildet ist, wobei die fahrzeugspezifischen Crowdsourcing-Daten zusammen mit den Umfelddaten des Egofahrzeuges (5) ein erweitertes oder ergänztes 3D-Umgebungsmodell der Umfeldansicht des Egofahrzeuges (5) ausbilden.
2. Fahrerassistenzsystem (6) nach Anspruch 1 , dadurch gekennzeichnet, dass die Kommunikationseinheit (8) die Umfelddaten in Echtzeit sendet und die fahrzeugspezifischen Crowdsourcing-Daten in Echtzeit empfängt.
3. Fahrerassistenzsystem (6) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Kommunikationseinheit (8) dazu ausgebildet ist, die fahrzeugspezifischen Crowdsourcing-Daten als fahrzeugindividuellen Video-Stream oder per Broadcast zu empfangen.
4. Fahrerassistenzsystem (6) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die fahrzeugspezifischen Crowdsourcing-Daten als eine Szenenbeschreibung ausgebildet sind, wobei das Fahrerassistenzsystem (6) dazu ausgebildet ist, anhand der empfangenen Szenenbeschreibung das 3D-Umgebungsmodell zu erzeugen.
5. Fahrerassistenzsystem (6) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Fahrerassistenzsystem (6) eine Anzeigeeinheit zur Darstellung des 3D-Umgebungsmodells aufweist, wobei das Fahrerassistenzsystem (6) dazu ausgebildet ist, die ursprünglichen aufgenommenen Umfelddaten des Egofahrzeuges (5) intransparent darzustellen und die Umfelddaten, welche nicht ursprünglich durch das Egofahrzeug (5) erzeugt worden sind, semitransparent darzustellen.
6. Crowdsourcing-Modul (3) zur Erzeugung eines 3D-Umgebungsmodells aus verschiedenen Perspektiven, dadurch gekennzeichnet, dass das Crowdsourcing-Modul (3) zum Empfang von Umfelddaten, welche eine Umfeldansicht darstellen, von Verkehrsteilnehmern aus einem Umfeld ausgebildet ist, und wobei sich die Verkehrsteilnehmer in einem vordefinierten Servicebereich (L) an verschiedenen Positionen befinden, wobei der Servicebereich (L) einen Bereich um eine vorgegebene Position angibt, und wobei das Crowdsourcing-Modul (3) zum Generieren eines 3D-Umgebungsmodells oder einer Szenenbeschreibung oder eines auf den jeweiligen Verkehrsteilnehmer (7a, 7b ,7,c,7d) zugeschnittenen 3D-Umgebungsmodells oder zugeschnittene Szenenbeschreibung aus den Umfelddaten ausgebildet ist, und wobei das Crowdsourcing-Modul (3) zum Senden des 3D-Umgebungsmodells oder der Szenenbeschreibung oder eines auf den jeweiligen Verkehrsteilnehmer (7a, 7b ,7,c,7d) zugeschnittenen 3D-Umgebungsmodells oder zugeschnittene Szenenbeschreibung an den jeweiligen Verkehrsteilnehmer (7a, 7b ,7,c,7d) im Servicebereich (L) als fahrzeugspezifische Crowdsourcing-Daten ausgebildet ist.
7. Crowdsourcing-Modul (3) nach Anspruch 6, dadurch gekennzeichnet, dass das Crowdsourcing-Modul (3) zur Bereitstellung in einer Mobile Edge Cloud ausgebildet ist.
8. Crowdsourcing-Modul (3) nach Anspruch 6 oder 7, dadurch gekennzeichnet, dass das Crowdsourcing-Modul (3) dazu ausgebildet ist, ein Übersenden des 3D-Umgebungsmodells oder der Szenenbeschreibung oder eines auf den jeweiligen Verkehrsteilnehmer zugeschnittenen 3D-Umgebungsmodells oder zugeschnittene Szenenbeschreibung an Verkehrsteilnehmer zu verweigern, welche sich nicht oder nicht mehr im Servicebereich (L) befinden.
9. Verfahren zum Betrieb eines Fahrerassistenzsystems (6) in einem Egofahrzeug (5) mit den Schritten:
- Aufnahme einer Umfeldansicht anhand von Umfelddaten durch ein Sensorsystem des Fahrerassistenzsystems (6),
- Aussenden der Umfelddaten an ein Crowdsourcing-Modul (3), wobei die Umfelddaten zumindest die Position des Egofahrzeuges (5) umfassen,
- Empfangen von fahrzeugspezifischen Crowdsourcing-Daten durch das Crowdsourcing-Modul (3), wobei die fahrzeugspezifischen Crowdsourcing-Daten zusammen mit den Umfelddaten des Egofahrzeuges (5) ein erweitertes oder ergänztes 3D-Umgebungsmodell der Umfeldansicht des Egofahrzeuges (5) ausbilden.
10. Verfahren nach Anspruch 9, dadurch gekennzeichnet, dass die Umfelddaten in Echtzeit gesendet und die Crowdsourcing-Daten in Echtzeit empfangen werden.
11 . Verfahren nach Anspruch 9 oder 10, dadurch gekennzeichnet, dass bei einem Empfang einer Szenenbeschreibung, das Fahrerassistenzsystem (6) aufgrund der empfangenen Szenenbeschreibung ein 3D-Umgebungsmodell zur Vervollständigung und/oder Erweiterung der durch die Umfelddaten erzeugten Umfeldansicht erzeugt.
12. Verfahren nach einem der vorhergehenden Ansprüche 9 bis 11 , dadurch gekennzeichnet, dass die ursprünglichen aufgenommenen Umfelddaten des Egofahrzeuges (5) intransparent dargestellt werden und die Umfelddaten, welche nicht ursprünglich durch das Egofahrzeug (5) erzeugt worden sind, semitransparent dargestellt werden.
13. Verfahren nach einem der vorhergehenden Ansprüche 9 bis 12, dadurch gekennzeichnet, dass die fahrzeugspezifischen Crowdsourcing-Daten durch das Fahrerassistenzsystem (6) nur innerhalb eines durch das Crowdsourcing-Modul (3) vorgegebenen Servicebereiches (L) empfangen werden.
14. Computerprogramm, umfassend Befehle, die bewirken, dass das
Fahrerassistenzsystem (6) nach einem der vorhergehenden Ansprüche 1 bis 5 das Verfahren nach Anspruch 9 bis 13 ausführt.
PCT/EP2020/084797 2019-12-09 2020-12-07 Fahrerassistenzsystem, crowdsourcing-modul, verfahren und computerprogramm WO2021115980A1 (de)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202080083019.0A CN114830616A (zh) 2019-12-09 2020-12-07 驾驶员辅助系统、众包模块、方法和计算机程序

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102019219171.1 2019-12-09
DE102019219171.1A DE102019219171A1 (de) 2019-12-09 2019-12-09 Fahrerassistenzsystem, Crowdsourcing-Modul, Verfahren und Computerprogramm

Publications (1)

Publication Number Publication Date
WO2021115980A1 true WO2021115980A1 (de) 2021-06-17

Family

ID=73834467

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2020/084797 WO2021115980A1 (de) 2019-12-09 2020-12-07 Fahrerassistenzsystem, crowdsourcing-modul, verfahren und computerprogramm

Country Status (3)

Country Link
CN (1) CN114830616A (de)
DE (1) DE102019219171A1 (de)
WO (1) WO2021115980A1 (de)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11875461B2 (en) 2021-01-22 2024-01-16 Dtis, Llc Visual data management system and method

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180253899A1 (en) * 2014-03-25 2018-09-06 Conti Temic Micorelectronic GMBH Method and device for displaying objects on a vehicle display
US10098014B1 (en) * 2018-01-31 2018-10-09 Toyota Jidosha Kabushiki Kaisha Beam alignment using shared driving intention for vehicular mmWave communication
WO2019000417A1 (en) * 2017-06-30 2019-01-03 SZ DJI Technology Co., Ltd. SYSTEMS AND METHODS OF GENERATING CARDS
EP2817785B1 (de) 2012-02-23 2019-05-15 Charles D. Huston System und verfahren zur erzeugung einer umgebung und zur gemeinsamen nutzung einer ortsbasierten erfahrung in einer umgebung

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102010040803A1 (de) * 2010-09-15 2012-03-15 Continental Teves Ag & Co. Ohg Visuelles Fahrerinformations- und Warnsystem für einen Fahrer eines Kraftfahrzeugs
DE102016208239A1 (de) * 2016-05-12 2017-11-16 Continental Automotive Gmbh Verfahren zum Ermitteln von dynamischen 3D-Kartendaten, Verfahren zum Ermitteln von Analysedaten, Vorrichtung, Computerprogramm und Computerprogrammprodukt
DE102016223830A1 (de) * 2016-11-30 2018-05-30 Robert Bosch Gmbh Verfahren zum Betreiben eines automatisierten Fahrzeugs

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2817785B1 (de) 2012-02-23 2019-05-15 Charles D. Huston System und verfahren zur erzeugung einer umgebung und zur gemeinsamen nutzung einer ortsbasierten erfahrung in einer umgebung
US20180253899A1 (en) * 2014-03-25 2018-09-06 Conti Temic Micorelectronic GMBH Method and device for displaying objects on a vehicle display
WO2019000417A1 (en) * 2017-06-30 2019-01-03 SZ DJI Technology Co., Ltd. SYSTEMS AND METHODS OF GENERATING CARDS
US10098014B1 (en) * 2018-01-31 2018-10-09 Toyota Jidosha Kabushiki Kaisha Beam alignment using shared driving intention for vehicular mmWave communication

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11875461B2 (en) 2021-01-22 2024-01-16 Dtis, Llc Visual data management system and method

Also Published As

Publication number Publication date
DE102019219171A1 (de) 2021-05-27
CN114830616A (zh) 2022-07-29

Similar Documents

Publication Publication Date Title
DE102016114535B4 (de) Wegbestimmung für automatisierte Fahrzeuge
EP2805183B1 (de) Verfahren und vorrichtung zum visualisieren der umgebung eines fahrzeugs
EP2149131B1 (de) Verfahren und vorrichtung zur erkennung von verkehrsrelevanten informationen
DE102009005505B4 (de) Verfahren und Vorrichtung zur Erzeugung eines Abbildes der Umgebung eines Kraftfahrzeugs
EP3438901A1 (de) Testfahrtszenario-datenbanksystem für realitätsnahe virtuelle testfahrtszenarien
DE102018215344A1 (de) System und verfahren für fahrzeugkonvois
DE102016211182A1 (de) Verfahren, Vorrichtung und System zum Durchführen einer automatisierten Fahrt eines Fahrzeugs entlang einer aus einer Karte bereitgestellten Trajektorie
DE102016208025B4 (de) Verfahren zur Erfassung von Verkehrszeichen
DE102018214510A1 (de) Parkplatzkartenerzeugung auf der Straße
DE102016212688A1 (de) Verfahren und Vorrichtung zur Ermittlung des Umfelds eines Fahrzeugs
DE112018000477T5 (de) Ereignisvorhersagesystem, Ereignisvorhersageverfahren, Programm und Aufzeichnungsmedium, auf dem dieses aufgezeichnet ist
EP2813999B1 (de) Augmented-Reality-System und Verfahren zum Erzeugen und Anzeigen von Augmented-Reality-Objektdarstellungen für ein Fahrzeug
EP2996327B1 (de) Surround-view-system für fahrzeuge mit anbaugeräten
WO2021115980A1 (de) Fahrerassistenzsystem, crowdsourcing-modul, verfahren und computerprogramm
DE102016114693A1 (de) Verfahren zum Unterstützen eines Fahrers eines Kraftfahrzeugs beim Führen des Kraftfahrzeugs, Fahrerassistenzsystem sowie Kraftfahrzeug
DE102017123226A1 (de) Verfahren zum Bestimmen einer kritischen Höhe eines vorausliegenden Streckenabschnitts für ein Fahrzeug, das ein Zugfahrzeug und einen Anhänger umfasst
DE102005013706A1 (de) Vorrichtung zur Unterstützung des Einparkens eines Fahrzeugs
WO2015062750A1 (de) Infotainmentsystem für ein fahrzeug
EP2009397A2 (de) Verfahren und Vorrichtung zur Übermittlung von Informationen an Fahrzeuginsassen
DE102020111471A1 (de) Verfahren und System zur Bilderkennung für ein automatisiert fahrendes Fahrzeug
DE102008042726A1 (de) Verfahren zur Erkennung, insbesondere von Objekten eines Umfelds eines Kraftfahrzeugs
DE102005002636A1 (de) Verfahren und System zur Verarbeitung von Videodaten eines Kamerasystems
DE102014225673B4 (de) Verfahren und System zur Darstellung einer Positionierungshilfe für ein Fahrzeug
DE102015215979B3 (de) Funktionsgesteuertes Head-up-Display mit erweiterter Informationsdarstellung für ein Fahrzeug
DE102021133608A1 (de) Erstellung von Testdaten mit konsistenten Anfangsbedingungen zum Stimulieren eines zu testenden Steuergeräts

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20824145

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20824145

Country of ref document: EP

Kind code of ref document: A1