WO2018091046A1 - Dreidimensionales rundumsichtsystem für ein fahrzeug - Google Patents

Dreidimensionales rundumsichtsystem für ein fahrzeug Download PDF

Info

Publication number
WO2018091046A1
WO2018091046A1 PCT/DE2017/200092 DE2017200092W WO2018091046A1 WO 2018091046 A1 WO2018091046 A1 WO 2018091046A1 DE 2017200092 W DE2017200092 W DE 2017200092W WO 2018091046 A1 WO2018091046 A1 WO 2018091046A1
Authority
WO
WIPO (PCT)
Prior art keywords
dimensional
infrastructure element
vehicle
round
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/DE2017/200092
Other languages
English (en)
French (fr)
Inventor
Jörg Schrepfer
Rodrigo GARCIA MARQUES
Stefan MILZ
Martin Simon
Syed Kamran Ali
Peerayut Khongsab
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aumovio Microelectronic GmbH
Original Assignee
Conti Temic Microelectronic GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Conti Temic Microelectronic GmbH filed Critical Conti Temic Microelectronic GmbH
Priority to DE112017005826.0T priority Critical patent/DE112017005826A5/de
Publication of WO2018091046A1 publication Critical patent/WO2018091046A1/de
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/188—Capturing isolated or intermittent images triggered by the occurrence of a predetermined event, e.g. an object reaching a predetermined position
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967—Systems involving transmission of highway information, e.g. weather, speed limits
    • G08G1/096708—Systems involving transmission of highway information, e.g. weather, speed limits where the received information might be used to generate an automatic action on the vehicle control
    • G08G1/096716—Systems involving transmission of highway information, e.g. weather, speed limits where the received information might be used to generate an automatic action on the vehicle control where the received information does not generate an automatic action on the vehicle control
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967—Systems involving transmission of highway information, e.g. weather, speed limits
    • G08G1/096733—Systems involving transmission of highway information, e.g. weather, speed limits where a selection of the information might take place
    • G08G1/096758—Systems involving transmission of highway information, e.g. weather, speed limits where a selection of the information might take place where no selection takes place on the transmitted or the received information
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967—Systems involving transmission of highway information, e.g. weather, speed limits
    • G08G1/096766—Systems involving transmission of highway information, e.g. weather, speed limits where the system is characterised by the origin of the information transmission
    • G08G1/096783—Systems involving transmission of highway information, e.g. weather, speed limits where the system is characterised by the origin of the information transmission where the origin of the information is a roadside individual element
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/165—Anti-collision systems for passive traffic, e.g. including static obstacles, trees

Definitions

  • the invention relates to a three-dimensional all-round visibility system for a vehicle. Further claims are on a vehicle with the three-dimensional all-round visibility system, a method for
  • Today's driver assistance systems typically include a plurality of cameras mounted on a vehicle and forming part of a three-dimensional all-round visibility system. The data from the cameras are typically used for visualization. In order to produce a realistic projection of the camera image, it is important in three-dimensional all-round vision systems, one
  • the three-dimensional all-round vision system comprises several cameras for mounting on a vehicle.
  • vehicle is, for example, a motor vehicle, such as car, bus or
  • Trucks or even a rail vehicle, a ship, an aircraft, such as helicopters or aircraft, or, for example, a bicycle.
  • the three-dimensional all-round visibility system is configured to capture at least one three-dimensional infrastructure element in an environment of the vehicle and to take a two-dimensional image including the infrastructure element.
  • the cameras of the three-dimensional all-round vision system are preferably digital cameras, which are mounted on the vehicle such that the cameras are the three-dimensional
  • Infrastructure element in the environment of the vehicle can capture, with the digital cameras taking pictures or
  • the three-dimensional all-round visibility system is set up, of which at least one three-dimensional
  • Infrastructure element via a Car2X communication system to receive a three-dimensional model of the infrastructure element.
  • Under the Car2X communication system can in the
  • Infrastructure element may in particular be an object such as a traffic sign, a traffic light or a building in the vicinity of the vehicle, e.g. beside a road on which the vehicle drives. In other words, this can be at least one
  • Infrastructure element provide a three-dimensional model of itself and transmit via the Car2X communication system to the three-dimensional all-round visibility system.
  • the at least one infrastructure element can have a memory unit on which model data are stored, which the three-dimensional model of the infrastructure element
  • Infrastructure element have a transmitting unit, by means of which the model data is transmitted via the Car2X communication system to the three-dimensional all-round visibility system.
  • the three-dimensional all-round vision system may have a receiving unit, by means of which the model data can be received.
  • the three-dimensional all-round vision system is configured to display a three-dimensional representation of the three-dimensional model of the infrastructure element based on the two-dimensional image including the infrastructure element
  • the three-dimensional all-round vision system is configured to generate a realistic three-dimensional image of at least a part of the surroundings of the vehicle by selecting from the plurality of cameras of the three-dimensional
  • All-round vision system generated image data combined with three-dimensional model data, which are generated by the at least one infrastructure element and transmitted to the three-dimensional all-round visibility system. Due to the fact that the three-dimensional all-round visibility system does not have to generate the three-dimensional model itself, the three-dimensional all-round visibility system needs to generate the three-dimensional one
  • All-round vision system are equipped and detect the at least one infrastructure element, computing power can be saved in each of the three-dimensional all-round vision systems, resulting in the central generation and transmission of the three-dimensional model of the infrastructure element has a particularly positive effect.
  • the three-dimensional all-round visibility system is set up, apart from the at least one infrastructure element, at least one further object in an environment of the
  • All-round vision system adapted to the at least one three-dimensional infrastructure element on the
  • Car2X communication system to receive a three-dimensional model of the object.
  • the object may be another one
  • Infrastructure element such as a traffic sign, a traffic light, a curb, a fire hydrant or a building act.
  • the object may be any other stationary or movable object having a three-dimensional shape.
  • data that represent the three-dimensional model of the object can be stored in the storage unit of the infrastructure element, whereby the three-dimensional all-round visibility system in particular has three-dimensional models of stationary objects can be provided with very low processing power.
  • Infrastructure element also have sensors which objects within the environment of the infrastructure element
  • the transmission unit of the infrastructure element can represent the three-dimensional model of the at least one object in the environment of the infrastructure element
  • Model data are transmitted via the Car2X communication system to the three-dimensional all-round vision system, which can receive the model data by means of its receiving unit.
  • the three-dimensional all-round visibility system is adapted to generate a three-dimensional representation of the object based on the received three-dimensional model of the object and based on the two-dimensional image containing the object.
  • the three-dimensional all-round visibility system is adapted to generate a three-dimensional representation of the object based on the received three-dimensional model of the object and based on the two-dimensional image containing the object.
  • the first embodiment thus enables both the at least one infrastructure element and the at least one further object can be displayed in three dimensions.
  • a vehicle comprising a three-dimensional all-round vision system according to the first aspect of the invention, wherein the plurality of cameras are mounted on the vehicle such that the cameras include at least one three-dimensional infrastructure element in an environment of the vehicle capture another object in an environment of the three-dimensional infrastructure element and continue to capture a two-dimensional image that includes the infrastructure element and the object.
  • a method for the three-dimensional representation of objects includes providing a vehicle according to the second aspect of the invention. Furthermore, at least one three-dimensional object, e.g. a traffic sign and a building detected in an environment of the vehicle and taking a two-dimensional image including the at least one object by means of the cameras of the three-dimensional all-round vision system of the vehicle according to the second aspect of the invention. Furthermore, a three-dimensional object, e.g. a traffic sign and a building detected in an environment of the vehicle and taking a two-dimensional image including the at least one object by means of the cameras of the three-dimensional all-round vision system of the vehicle according to the second aspect of the invention. Furthermore, a three-dimensional object, e.g. a traffic sign and a building detected in an environment of the vehicle and taking a two-dimensional image including the at least one object by means of the cameras of the three-dimensional all-round vision system of the vehicle according to the second aspect of the invention. Furthermore, a three-dimensional object, e.g. a traffic sign
  • All-round vision system is transmitted, and there is a generating a three-dimensional representation of the at least one object based on the received three-dimensional model of at least one three-dimensional object and based on the two-dimensional image, which includes the at least one object, by means of the three-dimensional panoramic system.
  • a two-dimensional image is recorded by means of the cameras, which is a first three-dimensional object, for example a
  • a second three-dimensional object e.g. a movable object in the vicinity of the traffic sign
  • a first three-dimensional model of the first object is stored in a storage unit of the first object
  • a second three-dimensional model of the second object is generated by means of a sensor of the first object.
  • the first three-dimensional model and the second three-dimensional model are transmitted from the first object via the first object
  • All-round vision system transmitted, and it is generated by the three-dimensional all-round vision system, a three-dimensional representation of the first object and a three-dimensional representation of the second object, wherein the
  • Three-dimensional representations are based respectively on the respective received first and second three-dimensional model and on the two-dimensional image, which includes the first object and the second object.
  • a program element which, when executed on a processor, instructs the processor to perform the method steps of the method according to the third aspect of the invention.
  • a fifth aspect of the invention is a
  • Program element is stored according to the fourth aspect of the invention, wherein the program element, if it is on a Processor is running the processor that instructs
  • Fig. 1 is a side view of a vehicle with a
  • Embodiment of a three-dimensional all-round visibility system according to the invention.
  • Fig.l shows in a highly simplified schematic
  • the all-round vision system 2 has a plurality of cameras, of which a camera 3 is shown in FIG. 1.
  • the cameras 3 are digital cameras which are mounted on the vehicle 1 such that the cameras 3 can detect an environment 4 of the vehicle 1.
  • the cameras 3 record a sequence of two-dimensional images of the environment 4.
  • a first object 5 and a second object 6 are shown in the environment 4 .
  • the first object 5 in the example represented by FIG. 1 is an infrastructure element in the form of a traffic sign, which is located next to a road 11 on which the vehicle 1 travels.
  • the second object 6 is a larger stationary obstacle, which is also located next to the road 11.
  • the second object 6 is located both in the environment 4 of the vehicle 1 and in an environment 4 of the infrastructure element 5.
  • the cameras 3 record a sequence of two-dimensional images, each containing the environment 4 with the first object 5 and with the second object 6, and generate corresponding ones
  • the traffic sign 5 further comprises a transmitting antenna 7 and the vehicle 1 is equipped with a receiving antenna 8.
  • the traffic sign 5 has a three-dimensional shape.
  • a storage unit 9 of the traffic sign 5 are first
  • Model data deposited representing a three-dimensional model of the three-dimensional shape of the traffic sign 5.
  • the first model data can be transmitted via the transmitting antenna 7 and the receiving antenna 8 to a control unit 10 of the
  • second model data which represent a three-dimensional model of a three-dimensional shape of the second object 6, are also stored in the memory unit 9. These model data can also be transmitted via the transmitting antenna 7 and the
  • Receiving antenna 8 are transmitted to the control unit 10.
  • the second model data can also be obtained by means of a sensor, e.g. a radar sensor, the traffic sign 5 is generated and transmitted via the transmitting antenna 7 and the receiving antenna 8 to the control unit 10.
  • the cameras 3 transmit their generated image data to the control unit 10.
  • the control unit 10 generates a first three-dimensional representation of the traffic sign 5 and a second three-dimensional representation of the second object 6.
  • the first three-dimensional representation of the traffic sign 5 is based on the image data received from the cameras 3 and on the first model data of the traffic sign 5 received from the traffic sign 5.
  • the second three-dimensional representation of the second object 6 is based on the image data received from the cameras 3 and on the from the traffic sign 5 received second model data of the second object. 6

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Atmospheric Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Traffic Control Systems (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)

Abstract

Die Erfindung betrifft ein dreidimensionales Rundumsichtsystem (2) für ein Fahrzeug (1). Das Rundumsichtsystem (2) umfasst mehrere Kameras (3) zur Montage an einem Fahrzeug (1), wobei das dreidimensionale Rundumsichtsystem (2) dazu eingerichtet ist, wenigstens ein dreidimensionales Infrastruktur-Element (5) in einer Umgebung (4) des Fahrzeugs (1) zu erfassen und ein zweidimensionales Bild aufzunehmen, welches das Infrastruktur-Element (5) beinhaltet. Weiterhin ist das dreidimensionale Rundumsichtsystem (2) dazu eingerichtet, von dem wenigstens einen dreidimensionalen Infrastruktur-Element (5) über ein Car2X-Kommunikationssystem (12) ein dreidimensionales Modell des Infrastruktur-Elements (5) zu empfangen, und basierend auf dem empfangenen dreidimensionalen Modell des Infrastruktur-Elements (5) und basierend auf dem zweidimensionalen Bild, welches das Infrastruktur-Element (5) beinhaltet, eine dreidimensionale Darstellung des Infrastruktur-Elements (5) zu erzeugen.

Description

Dreidimensionales Rundumsichtsystem für ein Fahrzeug
Die Erfindung betrifft ein dreidimensionales Rundumsichtsystem für ein Fahrzeug. Weitere Ansprüche sind auf ein Fahrzeug mit dem dreidimensionalen Rundumsichtsystem, ein Verfahren zur
Darstellung dreidimensionaler Objekte in einem Bild einer Kamera, ein Programmelement und ein computerlesbares Medium gerichtet . Heutige Fahrerassistenzsysteme umfassen typischerweise mehrere Kameras, welche an einem Fahrzeug montiert sind und Teil eines dreidimensionalen Rundumsichtsystems sind. Die Daten der Kameras werden typischerweise zur Visualisierung genutzt. Um eine realistische Projektion des Kamerabilds zu erzeugen, ist es in dreidimensionalen Rundumsichtsystemen wichtig, eine
detaillierte Kenntnis der dreidimensionalen Struktur der Umgebung des Fahrzeugs zu haben. Ansonsten können
Verzerrungsfehler wie der sogenannte „Manhattan"-Effekt auftreten .
Es ist bekannt, ein realistisches dreidimensionales Bild einer Umgebung des Fahrzeugs bzw. einer Szenerie zu erzeugen, indem dreidimensionalen Erkennungsverfahren wie das sogenannte „Structure from Motion (SfM) " durch die Kameras selbst angewendet werden. Weiterhin können auch Sensoren wie Radareinheiten und Ultraschall-Sensoren eingesetzt werden, um das realistische dreidimensionale Bild der Umgebung des Fahrzeugs zu erzeugen. Dabei kann jedoch das Problem auftreten, dass diese Verfahren lediglich Ergebnisse mit einer beschränkten Genauigkeit liefern oder eine hohe Rechenleistung erfordern.
Es ist eine Aufgabe der vorliegenden Erfindung, ein
dreidimensionales Rundumsichtsystem für ein Fahrzeug
bereitzustellen, wobei das Rundumsichtsystem bei Vermeidung von Verzerrungsfehlern und erhöhter Rechenleistung eine
realistische und genaue dreidimensionale Visualisierung der Fahrzeugumgebung ermöglicht. Die Aufgabe wird gelöst durch die Gegenstände der unabhängigen Patentansprüche. Vorteilhafte Ausführungsformen sind Gegenstand der abhängigen Ansprüche, der folgenden Beschreibung sowie der Figuren . Gemäß einem ersten Aspekt der Erfindung wird ein
dreidimensionales Rundumsichtsystem für ein Fahrzeug
bereitgestellt .
Das dreidimensionale Rundumsichtsystem umfasst mehrere Kameras zur Montage an einem Fahrzeug. Bei dem Fahrzeug handelt es sich beispielsweise um ein Kraftfahrzeug, wie Auto, Bus oder
Lastkraftwagen, oder aber auch um ein Schienenfahrzeug, ein Schiff, ein Luftfahrzeug, wie Helikopter oder Flugzeug, oder beispielsweise um ein Fahrrad.
Das dreidimensionale Rundumsichtsystem ist dazu eingerichtet, wenigstens ein dreidimensionales Infrastruktur-Element in einer Umgebung des Fahrzeugs zu erfassen und ein zweidimensionales Bild aufzunehmen, welches das Infrastruktur-Element beinhaltet. Bei den Kameras des dreidimensionalen Rundumsichtsystems handelt es sich bevorzugt um digitale Kameras, welche derart an dem Fahrzeug montiert sind, dass die Kameras das dreidimensionale
Infrastruktur-Element in der Umgebung des Fahrzeugs erfassen können, wobei die digitalen Kameras Bildaufnahmen oder
Filmaufnahmen von dem dreidimensionalen Infrastruktur-Element machen können und die Bildaufnahmen bzw. Filmaufnahmen repräsentierende Bilddaten speichern, ausgeben und übermitteln können. Insbesondere können die digitalen Kameras die Bilddaten an eine Steuerungseinheit des dreidimensionalen
Rundumsichtsystems übermitteln.
Weiterhin ist das dreidimensionale Rundumsichtsystem dazu eingerichtet, von dem wenigstens einen dreidimensionalen
Infrastruktur-Element über ein Car2X-Kommunikationssystem ein dreidimensionales Modell des Infrastruktur-Elements zu empfangen. Unter dem Car2X-Kommunikationssystem kann im
Zusammenhang mit der vorliegenden Erfindung insbesondere ein Kommunikationssystem verstanden werden, welches eine
Kommunikation zwischen dem dreidimensionalen Rundumsichtsystem mit wenigstens einem Infrastruktur-Element in einer Umgebung des Fahrzeugs bzw. in einer Umgebung des dreidimensionalen
Rundumsichtsystems erlaubt. Bei dem wenigstens einen
Infrastruktur-Element kann es sich insbesondere um ein Objekt wie ein Verkehrsschild, um eine Ampel oder um ein Gebäude in der Umgebung des Fahrzeugs handeln, z.B. seitlich neben einer Straße, auf welcher das Fahrzeug fährt. Mit anderen Worten kann das wenigstens eine
Infrastruktur-Element ein dreidimensionales Modell seiner selbst bereitstellen und über das Car2X-Kommunikationssystem an das dreidimensionale Rundumsichtsystem übermitteln. Dazu kann das wenigstens eine Infrastruktur-Element eine Speichereinheit aufweisen, auf welcher Modelldaten hinterlegt sind, welche das dreidimensionale Modell des Infrastrukturelements
repräsentieren. Weiterhin kann das wenigstens eine
Infrastruktur-Element eine Sendeeinheit aufweisen, mittels welcher die Modelldaten über das Car2X-Kommunikationssystem an das dreidimensionale Rundumsichtsystem übermittelt werden. Das dreidimensionale Rundumsichtsystem kann eine Empfangseinheit aufweisen, mittels welcher die Modelldaten empfangen werden können . Außerdem ist das dreidimensionale Rundumsichtsystem dazu eingerichtet, basierend auf dem empfangenen dreidimensionalen Modell des Infrastruktur-Elements und basierend auf dem zweidimensionalen Bild, welches das Infrastruktur-Element beinhaltet, eine dreidimensionale Darstellung des
Infrastruktur-Elements zu erzeugen. Dazu kann vorgesehen sein, dass die Steuerungseinheit des dreidimensionalen
Rundumsichtsystems auf die Modelldaten des
Infrastruktur-Elements sowie auf die Bilddaten der Kameras zugreifen kann und die Modelldaten sowie die Bilddaten derart überlagert, dass die dreidimensionale Darstellung des
Infrastruktur-Elements erzeugt wird.
Mit anderen Worten ist das dreidimensionale Rundumsichtsystem dazu eingerichtet, ein realistisches dreidimensionales Bild zumindest eines Teils der Umgebung des Fahrzeugs zu erzeugen, indem von den mehreren Kameras des dreidimensionalen
Rundumsichtsystems erzeugte Bilddaten mit dreidimensionalen Modelldaten kombiniert werden, welche durch das wenigstens eine Infrastruktur-Element generiert und an das dreidimensionale Rundumsichtsystem übermittelt werden. Dadurch, dass das dreidimensionale Rundumsichtsystem das dreidimensionale Modell nicht selbst generieren muss, benötigt das dreidimensionale Rundumsichtsystem zur Erzeugung der dreidimensionalen
Darstellung des Infrastruktur-Elements lediglich eine relativ geringe Rechenleistung. Das dreidimensionale Modell des
Infrastruktur-Elements wird sozusagen zentral durch das
Infrastruktur-Element selbst generiert und an das
dreidimensionale Rundumsichtsystem übermittelt. Sofern mehrere Fahrzeuge mit dem erfindungsgemäßen dreidimensionalen
Rundumsichtsystem ausgestattet sind und das wenigstens eine Infrastruktur-Element erfassen, kann Rechenleistung in jedem der dreidimensionalen Rundumsichtsysteme eingespart werden, wodurch sich die zentrale Generierung und Übermittlung des dreidimensionalen Modells des Infrastrukturelements besonders positiv auswirkt.
Gemäß einer ersten Ausführungsform ist vorgesehen, dass das dreidimensionale Rundumsichtsystem dazu eingerichtet ist, - abgesehen von dem wenigstens einen Infrastruktur-Element - wenigstens ein weiteres Objekt in einer Umgebung des
dreidimensionalen Infrastruktur-Elements zu erfassen und ein zweidimensionales Bild aufzunehmen, welches (neben dem wenigstens einen Infrastruktur-Element) auch das Objekt beinhaltet. Weiterhin ist das dreidimensionale
Rundumsichtsystem dazu eingerichtet, von dem wenigstens einen dreidimensionalen Infrastruktur-Element über das
Car2X-Kommunikationssystem ein dreidimensionales Modell des Objekts zu empfangen.
Die Fahrzeug-Umgebung, welche von den Kameras erfasst wird, und die Infrastruktur-Element-Umgebung, innerhalb welcher sich das weitere Objekt befindet, überlappen sich dabei zumindest bereichsweise, sodass die Kameras Bilddaten von dem Objekt erzeugen können und das Infrastruktur-Element Modelldaten desselben Objekts an das dreidimensionale Rundumsichtsystem übermitteln kann. Bei dem Objekt kann es sich beispielsweise um ein weiteres
Infrastruktur-Element wie ein Verkehrsschild, eine Ampel, ein Bordstein, ein Hydrant oder ein Gebäude handeln. Das Objekt kann jedoch auch ein beliebiges anderes ortsfestes oder bewegliches Objekt sein, welches eine dreidimensionale Form aufweist. Dabei können in der Speichereinheit des Infrastruktur-Elements Daten hinterlegt sein, welche das dreidimensionale Modell des Objekts repräsentieren, wodurch dem dreidimensionalen Rundumsichtsystem insbesondere dreidimensionale Modelle von ortsfesten Objekten mit besonders geringer Rechenleistung bereitgestellt werden können .
Alternativ oder zusätzlich kann das wenigstens eine
Infrastruktur-Element auch Sensoren aufweisen, welche Objekte innerhalb der Umgebung des Infrastruktur-Elements
dreidimensional erfassen und entsprechende Modelldaten über das Car2X-Kommunikationssystem an das dreidimensionale
Rundumsichtsystem übermitteln, wodurch dem dreidimensionalen Rundumsichtsystem insbesondere dreidimensionale Modelle von beweglichen Objekten mit hoher Aktualität bereitgestellt werden können .
Mittels der Sendeeinheit des Infrastruktur-Elements können die das dreidimensionale Modell des wenigstens einen Objekts in der Umgebung des Infrastrukturelements repräsentierenden
Modelldaten über das Car2X-Kommunikationssystem an das dreidimensionale Rundumsichtsystem übermittelt werden, welches die Modelldaten mittels seiner Empfangseinheit empfangen kann.
Weiterhin ist gemäß der ersten Ausführungsform vorgesehen, dass das dreidimensionale Rundumsichtsystem dazu eingerichtet ist, basierend auf dem empfangenen dreidimensionalen Modell des Objekts und basierend auf dem zweidimensionalen Bild, welches das Obj ekt beinhaltet , eine dreidimensionale Darstellung des Obj ekts zu erzeugen. Dazu kann vorgesehen sein, dass die
Steuerungseinheit des dreidimensionalen Rundumsichtsystems auf die Modelldaten des Objekts innerhalb der Umgebung des
Infrastruktur-Elements sowie auf die Bilddaten der Kameras zugreifen kann und die Modelldaten sowie die Bilddaten derart überlagert, dass die dreidimensionale Darstellung des Objekts erzeugt wird. Die erste Ausführungsform ermöglicht somit, dass sowohl das wenigstens eine Infrastruktur-Element als auch das wenigstens eine weitere Objekt dreidimensional dargestellt werden kann.
Gemäß einem zweiten Aspekt der Erfindung wird ein Fahrzeug bereitgestellt, welches ein dreidimensionales Rundumsichtsystem gemäß dem ersten Aspekt der Erfindung umfasst, wobei die mehreren Kameras derart an dem Fahrzeug montiert sind, dass die Kameras wenigstens ein dreidimensionales Infrastruktur-Element in einer Umgebung des Fahrzeugs und ein weiteres Objekt in einer Umgebung des dreidimensionalen Infrastruktur-Elements erfassen können und weiterhin ein zweidimensionales Bild aufnehmen können, welches das Infrastruktur-Element und das Objekt beinhaltet. Bezüglich Ausführungsformen, Effekten und Vorteilen des erfindungsgemäßen Fahrzeugs wird zur Vermeidung von
Wiederholungen auf die Ausführungen im Zusammenhang mit dem dreidimensionalen Rundumsichtsystem gemäß dem ersten Aspekt der Erfindung verwiesen.
Gemäß einem dritten Aspekt der Erfindung wird ein Verfahren zur dreidimensionalen Darstellung von Objekten bereitgestellt. Das Verfahren umfasst ein Bereitstelen eines Fahrzeugs gemäß dem zweiten Aspekt der Erfindung. Weiterhin wird wenigstens ein dreidimensionales Objekt, z.B. ein Verkehrsschild und ein Gebäude, in einer Umgebung des Fahrzeugs erfasst und es erfolgt ein Aufnehmen eines zweidimensionales Bilds, welches das wenigstens eine Objekt beinhaltet, mittels der Kameras des dreidimensionalen Rundumsichtsystems des Fahrzeugs gemäß dem zweiten Aspekt der Erfindung. Weiterhin wird ein
dreidimensionales Modell des wenigstens einen dreidimensionalen Objekts von dem wenigstens einen Objekt über ein
Car2X-Kommunikationssystem an das dreidimensionale
Rundumsichtsystem übermittelt, und es erfolgt ein Erzeugen einer dreidimensionalen Darstellung des wenigstens einen Objekts basierend auf dem empfangenen dreidimensionalen Modell des wenigstens einen dreidimensionalen Objekts und basierend auf dem zweidimensionalen Bild, welches das wenigstens eine Objekt beinhaltet, mittels des dreidimensionalen Rundumsichtsystems. Gemäß einer Ausführungsform des Verfahrens ist vorgesehen, dass mittels der Kameras ein zweidimensionales Bild aufgenommen wird, welches ein erstes dreidimensionales Objekt, z.B. ein
Verkehrsschild, und ein zweites dreidimensionales Objekt, z.B. ein bewegliches Objekt in der Umgebung des Verkehrsschildes, beinhaltet, wobei ein erstes dreidimensionales Modell des ersten Objekts in einer Speichereinheit des ersten Objekts hinterlegt ist, und ein zweites dreidimensionales Modell des zweiten Objekts mittels eines Sensors des ersten Objekts erzeugt wird. Weiterhin werden das erste dreidimensionale Modell und das zweite dreidimensionale Modell von dem ersten Objekt über das
Car2X-Kommunikationssystem an das dreidimensionale
Rundumsichtsystem übermittelt, und es wird mittels des dreidimensionalen Rundumsichtsystems eine dreidimensionale Darstellung des ersten Objekts und eine dreidimensionale Darstellung des zweiten Objekts erzeugt, wobei die
dreidimensionalen Darstellungen jeweils auf dem betreffenden empfangenen ersten bzw. zweiten dreidimensionalen Modell sowie auf dem zweidimensionalen Bild basieren, welches das erste Objekt und das zweite Objekt beinhaltet.
Gemäß einem vierten Aspekt der Erfindung wird ein Programmelement bereitgestellt, das, wenn es auf einem Prozessor ausgeführt wird, den Prozessor anleitet, die Verfahrensschritte des Verfahrens gemäß dem dritten Aspekt der Erfindung durchzuführen.
Gemäß einem fünften Aspekt der Erfindung wird ein
Computerlesbares Medium bereitgestellt, auf dem ein
Programmelement gemäß dem vierten Aspekt der Erfindung gespeichert ist, wobei das Programmelement, wenn es auf einem Prozessor ausgeführt wird, den Prozessor anleitet, die
Verfahrensschritte des Verfahrens gemäß dem dritten Aspekt der Erfindung durchzuführen. Im Folgenden werden Ausführungsbeispiele der Erfindung anhand der schematischen Zeichnung näher erläutert. Hierbei zeigt
Fig. 1 eine Seitenansicht eines Fahrzeugs mit einem
Ausführungsbeispiel eines erfindungsgemäßen dreidimensionalen Rundumsichtsystems.
Fig.l zeigt in einer stark vereinfachten schematischen
Darstellung ein Fahrzeug 1, welches ein dreidimensionales Rundumsichtsystem 2 umfasst.
Das Rundumsichtsystem 2 weist mehrere Kameras auf, von denen in Fig. 1 eine Kamera 3 dargestellt ist. Bei den Kameras 3 handelt es sich um digitale Kameras, welche derart an dem Fahrzeug 1 montiert sind, dass die Kameras 3 eine Umgebung 4 des Fahrzeugs 1 erfassen können. Die Kameras 3 nehmen eine Folge von zweidimensionalen Bildern der Umgebung 4 auf. In der Umgebung 4 befinden sich mehrere Objekte, von denen in Fig. 1 ein erstes Objekt 5 und ein zweites Objekt 6 dargestellt sind. Bei dem ersten Objekt 5 handelt es sich in dem durch Fig. 1 dargestellten Beispiel um ein Infrastruktur-Element in Form eines Verkehrsschilds, welches sich neben einer Straße 11 befindet, auf welcher sich das Fahrzeug 1 fortbewegt. Bei dem zweiten Objekt 6 handelt es sich in dem durch Fig. 1 dargestellten Beispiel um ein größeres ortsfestes Hindernis, welches sich ebenfalls neben der Straße 11 befindet. Das zweite Objekt 6 befindet sich sowohl in der Umgebung 4 des Fahrzeugs 1 als auch in einer Umgebung 4 des Infrastruktur-Elements 5. Somit fallen die Umgebungen 4 des Fahrzeugs 1 und des Infrastruktur-Elements 5 in dem durch Fig. 1 gezeigten Ausführungsbeispiel zusammen. Die Kameras 3 nehmen eine Folge von zweidimensionalen Bildern auf, welche jeweils die Umgebung 4 mit dem ersten Objekt 5 und mit dem zweiten Objekt 6 beinhalten, und erzeugen entsprechende
Bilddaten.
Das Verkehrsschild 5 umfasst weiterhin eine Sendeantenne 7 und das Fahrzeug 1 ist mit einer Empfangsantenne 8 ausgestattet. Das Verkehrsschild 5 weist eine dreidimensionale Gestalt auf. In einer Speichereinheit 9 des Verkehrsschilds 5 sind erste
Modelldaten hinterlegt, welche ein dreidimensionales Modell der dreidimensionalen Gestalt des Verkehrsschilds 5 repräsentieren. Die ersten Modelldaten können über die Sendeantenne 7 und die Empfangsantenne 8 an eine Steuerungseinheit 10 des
dreidimensionalen Rundumsichtsystems 2 übermittelt werden.
Weiterhin sind in dem durch Fig. 1 gezeigten Ausführungsbeispiel in der Speichereinheit 9 auch zweite Modelldaten hinterlegt, welche ein dreidimensionales Modell einer dreidimensionalen Gestalt des zweiten Objekts 6 repräsentieren. Auch diese Modelldaten können über die Sendeantenne 7 und die
Empfangsantenne 8 an die Steuerungseinheit 10 übermittelt werden. Alternativ können die zweiten Modelldaten auch mittels eines Sensors, z.B. eines Radarsensors, des Verkehrsschilds 5 erzeugt und über die Sendeantenne 7 und die Empfangsantenne 8 an die Steuerungseinheit 10 übermittelt werden. Durch die vorstehend beschriebene Übermittlung der ersten Modelldaten und zweiten Modelldaten von dem Verkehrsschild 5 an das
dreidimensionale Rundumsichtsystem 2 entsteht ein
Car2X-Kommunikationssystem 12.
Weiterhin übermitteln die Kameras 3 ihre erzeugten Bilddaten an die Steuerungseinheit 10. Die Steuerungseinheit 10 erzeugt eine erste dreidimensionale Darstellung des Verkehrsschilds 5 und eine zweite dreidimensionale Darstellung des zweiten Objekts 6. Die erste dreidimensionale Darstellung des Verkehrsschilds 5 basiert auf den von den Kameras 3 empfangenen Bilddaten und auf den von dem Verkehrsschild 5 empfangenen ersten Modelldaten des Verkehrsschilds 5. Die zweite dreidimensionale Darstellung des zweiten Objekts 6 basiert auf den von den Kameras 3 empfangenen Bilddaten und auf den von dem Verkehrsschild 5 empfangenen zweiten Modelldaten des zweiten Objekts 6.

Claims

Patentansprüche
1. Dreidimensionales Rundumsichtsystem (2) für ein Fahrzeug (1), das Rundumsichtsystem (2) umfassend mehrere Kameras (3) zur Montage an einem Fahrzeug (1), wobei das dreidimensionale Rundumsichtsystem (2) dazu eingerichtet ist,
- wenigstens ein dreidimensionales Infrastruktur-Element (5) in einer Umgebung (4) des Fahrzeugs (1) zu erfassen und ein zweidimensionales Bild aufzunehmen, welches das
Infrastruktur-Element (5) beinhaltet,
- von dem wenigstens einen dreidimensionalen
Infrastruktur-Element (5) über ein Car2X-Kommunikationssystem (12) ein dreidimensionales Modell des Infrastruktur-Elements (5) zu empfangen, und
- basierend auf dem empfangenen dreidimensionalen Modell des Infrastruktur-Elements (5) und basierend auf dem
zweidimensionalen Bild, welches das Infrastruktur-Element (5) beinhaltet, eine dreidimensionale Darstellung des
Infrastruktur-Elements (5) zu erzeugen.
2. Dreidimensionales Rundumsichtsystem (2) nach Anspruch 1, wobei das dreidimensionale Rundumsichtsystem (2) dazu
eingerichtet ist,
- wenigstens ein weiteres Objekt (6) in einer Umgebung (4) des dreidimensionalen Infrastruktur-Elements (5) zu erfassen und ein zweidimensionales Bild aufzunehmen, welches das Objekt (6) beinhaltet,
- von dem wenigstens einen dreidimensionalen
Infrastruktur-Element (5) über das Car2X-Kommunikationssystem (12) ein dreidimensionales Modell des Objekts (6) zu empfangen, und
- basierend auf dem empfangenen dreidimensionalen Modell des Objekts (6) und basierend auf dem zweidimensionalen Bild, welches das Objekt (6) beinhaltet, eine dreidimensionale Darstellung des Objekts (6) zu erzeugen.
3. Fahrzeug (1) umfassend ein dreidimensionales
Rundumsichtsystem (2) nach einem der vorstehenden Ansprüche, wobei die mehreren Kameras (3) derart an dem Fahrzeug (1) montiert sind, dass die Kameras (3) wenigstens ein dreidimensionales Infrastruktur-Element (5) in einer Umgebung (4) des Fahrzeugs (1) und ein weiteres Objekt (6) in einer Umgebung (4) des
dreidimensionalen Infrastruktur-Elements ( 5 ) erfassen können und ein zweidimensionales Bild aufnehmen können, welches das Infrastruktur-Element (5) und das Objekt (6) beinhaltet.
4. Verfahren zur dreidimensionalen Darstellung von Objekten (5, 6), das Verfahren umfassend die Schritte:
- Bereitstelen eines Fahrzeugs (1) nach Anspruch 3,
- Erfassen wenigstens eines dreidimensionalen Objekts (5, 6) in einer Umgebung (4) des Fahrzeugs (1) und Aufnehmen eines zweidimensionales Bilds, welches das wenigstens eine Objekt (5, 6) beinhaltet, mittels der Kameras (3) des dreidimensionalen Rundumsichtsystems (2) des Fahrzeugs (1),
- Übermitteln eines dreidimensionalen Modells des wenigstens einen dreidimensionalen Objekts (5, 6) von dem wenigstens einen Objekt (5) über ein Car2X-Kommunikationssystem (12) an das dreidimensionale Rundumsichtsystem (2), und
- Erzeugen einer dreidimensionalen Darstellung des wenigstens einen Objekts (5, 6) basierend auf dem empfangenen
dreidimensionalen Modell des wenigstens einen dreidimensionalen Objekts (5, 6) und basierend auf dem zweidimensionalen Bild, welches das wenigstens eine Objekt (5, 6) beinhaltet, mittels des dreidimensionalen Rundumsichtsystems (2).
5. Verfahren nach Anspruch 4, wobei
- mittels der Kameras (3) ein zweidimensionales Bild aufgenommen wird, welches ein erstes dreidimensionales Objekt (5) und ein zweites dreidimensionales Objekt (6) beinhaltet,
- ein erstes dreidimensionales Modell des ersten Objekts (5) in einer Speichereinheit des ersten Objekts (5) hinterlegt ist,
- ein zweites dreidimensionales Modell des zweiten Objekts (6) mittels eines Sensors des ersten Objekts (5) erzeugt wird, - das erste dreidimensionale Modell und das zweite
dreidimensionale Modell von dem ersten Objekt (5) über das Car2X-Kommunikationssystem (12) an das dreidimensionale
Rundumsichtsystem (2) übermittelt werden, und
- eine dreidimensionale Darstellung des ersten Objekts (5) und des zweiten Objekts (6) basierend auf dem empfangenen ersten dreidimensionalen Modell und zweiten dreidimensionalen Modell und basierend auf dem zweidimensionalen Bild, welches das erste Objekt (5) und das zweite Objekt (6) beinhaltet, mittels des dreidimensionalen Rundumsichtsystems (2) erzeugt wird.
6. Programmelement, das, wenn es auf einem Prozessor ausgeführt wird, den Prozessor anleitet, die Verfahrensschritte nach einem der Ansprüche 4 oder 5 durchzuführen.
7. Computerlesbares Medium, auf dem ein Programmelement gespeichert ist, das, wenn es auf einem Prozessor ausgeführt wird, den Prozessor anleitet, die Verfahrensschritte nach einem der Ansprüche 4 oder 5 durchzuführen.
PCT/DE2017/200092 2016-11-18 2017-09-14 Dreidimensionales rundumsichtsystem für ein fahrzeug Ceased WO2018091046A1 (de)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE112017005826.0T DE112017005826A5 (de) 2016-11-18 2017-09-14 Dreidimensionales Rundumsichtsystem für ein Fahrzeug

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102016222746.7A DE102016222746A1 (de) 2016-11-18 2016-11-18 Dreidimensionales Rundumsichtsystem für ein Fahrzeug
DE102016222746.7 2016-11-18

Publications (1)

Publication Number Publication Date
WO2018091046A1 true WO2018091046A1 (de) 2018-05-24

Family

ID=60268147

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/DE2017/200092 Ceased WO2018091046A1 (de) 2016-11-18 2017-09-14 Dreidimensionales rundumsichtsystem für ein fahrzeug

Country Status (2)

Country Link
DE (2) DE102016222746A1 (de)
WO (1) WO2018091046A1 (de)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102010040803A1 (de) * 2010-09-15 2012-03-15 Continental Teves Ag & Co. Ohg Visuelles Fahrerinformations- und Warnsystem für einen Fahrer eines Kraftfahrzeugs
DE102011115739A1 (de) * 2011-10-11 2013-04-11 Daimler Ag Verfahren zur Integration von virtuellen Objekten in Fahrzeuganzeigen

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102375411B1 (ko) * 2015-05-11 2022-03-18 삼성전자주식회사 차량 주변 영상 제공 방법 및 장치

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102010040803A1 (de) * 2010-09-15 2012-03-15 Continental Teves Ag & Co. Ohg Visuelles Fahrerinformations- und Warnsystem für einen Fahrer eines Kraftfahrzeugs
DE102011115739A1 (de) * 2011-10-11 2013-04-11 Daimler Ag Verfahren zur Integration von virtuellen Objekten in Fahrzeuganzeigen

Also Published As

Publication number Publication date
DE112017005826A5 (de) 2019-08-08
DE102016222746A1 (de) 2018-05-24

Similar Documents

Publication Publication Date Title
EP2805183B1 (de) Verfahren und vorrichtung zum visualisieren der umgebung eines fahrzeugs
DE102017120112A1 (de) Tiefenkartenschätzung mit stereobildern
EP2594446B1 (de) Vorrichtung und Verfahren zum Betreiben eines Fahrzeugs
DE102019100717A1 (de) System und verfahren zum erkennen der position einer heckklappe und zum einstellen des betriebs einer benutzeroberflächenvorrichtung basierend auf der heckklappenposition
DE102009050368A1 (de) Verfahren zum automatischen Kalibrieren einer virtuellen Kamera
DE102017107396A1 (de) Testverfahren und Testvorrichtung für Fahrerassistenzsysteme
DE102010006521A1 (de) Verfahren und Vorrichtung zur Bestimmung des Knickwinkels eines Fahrzeuggespanns
WO2016124189A1 (de) Sensorsystem für ein fahrzeug und verfahren
EP3292535A1 (de) Verfahren zum erzeugen eines gesamtbildes einer fahrzeugumgebung eines fahrzeuges und entsprechende vorrichtung
EP3844946A1 (de) Verfahren und anordnung zum erzeugen einer mit bildinformationen texturierten umfeldkarte eines fahrzeugs und fahrzeug umfassend eine solche anordnung
EP2888623B1 (de) Betreiben eines head-up-displays eines fahrzeugs und bildermittlungssystem für das head-up-display
DE102020213862B4 (de) Verfahren, Umgebungserfassungssystem und Computerprogramm zum Bereitstellen von Umgebungsdaten
DE102017201796A1 (de) Steuervorrichtung zum Ermitteln einer Eigenbewegung eines Kraftfahrzeugs sowie Kraftfahrzeug und Verfahren zum Bereitstellen der Steuervorrichtung
EP1283406A2 (de) Bildverarbeitungsvorrichtung für ein Fahrzeug und Betriebsverfahren
DE102012213132A1 (de) Fusion von Kameraaufnahmen von zumindest zwei Fahrzeugen
DE102011088167A1 (de) Detektion eines Ladungsverlusts bei einem Kraftfahrzeug
WO2018091046A1 (de) Dreidimensionales rundumsichtsystem für ein fahrzeug
EP4381465A1 (de) Verfahren und kartenerzeugungseinrichtung für ein fahrzeug zur erzeugung einer hochauflösenden karte einer bodenfläche in einem fahrzeugumfeld
DE102010018333A1 (de) Verfahren und Auswertevorrichtung zum Auswerten von Informationen zumindest eines von zumindest einer optischen Kamera aufgenommenen Bildes
DE102016001308A1 (de) Verfahren zum Betreiben eines Fahrzeugs sowie Fahrzeug zum Durchführen des Verfahrens
EP4198482B1 (de) Erstellen von testdaten mit konsistenten anfangsbedingungen zum stimulieren eines zu testenden steuergeräts
DE112016001238B4 (de) Fahrzeugumgebungsbildanzeigesteuerungsvorrichtung und fahrzeugumgebungsbildanzeigesteuerungsprogramm
DE102020200875A1 (de) Verfahren zum Bereitstellen von Sensordaten durch eine Sensorik eines Fahrzeugs
DE102019002664A1 (de) Verfahren zur Anzeige einer fahrzeugdynamischen virtuellen Realität in einem Fahrzeug
DE102017214973A1 (de) Verfahren und Vorrichtung zur bildbasierenden Objektidentifikation für ein Fahrzeug

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17794657

Country of ref document: EP

Kind code of ref document: A1

REG Reference to national code

Ref country code: DE

Ref legal event code: R225

Ref document number: 112017005826

Country of ref document: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17794657

Country of ref document: EP

Kind code of ref document: A1