WO2024022774A1 - Verfahren zur dreidimensionalen rekonstruktion einer fahrzeugumgebung - Google Patents

Verfahren zur dreidimensionalen rekonstruktion einer fahrzeugumgebung Download PDF

Info

Publication number
WO2024022774A1
WO2024022774A1 PCT/EP2023/068618 EP2023068618W WO2024022774A1 WO 2024022774 A1 WO2024022774 A1 WO 2024022774A1 EP 2023068618 W EP2023068618 W EP 2023068618W WO 2024022774 A1 WO2024022774 A1 WO 2024022774A1
Authority
WO
WIPO (PCT)
Prior art keywords
vehicle
camera
area
environment
lighting elements
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/EP2023/068618
Other languages
English (en)
French (fr)
Inventor
Sinan Yargeldi
Max Wehle
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mercedes Benz Group AG
Original Assignee
Mercedes Benz Group AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mercedes Benz Group AG filed Critical Mercedes Benz Group AG
Publication of WO2024022774A1 publication Critical patent/WO2024022774A1/de
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/141—Control of illumination
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/145—Illumination specially adapted for pattern recognition, e.g. using gratings
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/02—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments
    • B60Q1/22—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments for reverse drive
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/02—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments
    • B60Q1/24—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments for lighting other areas than only the way ahead
    • B60Q1/249—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments for lighting other areas than only the way ahead for illuminating the field of view of a sensor or camera
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10152—Varying illumination
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle

Definitions

  • the invention relates to a method for the three-dimensional reconstruction of a vehicle environment.
  • a method for the automated detection of a destination area of a vehicle with a camera and with a high-resolution pixel headlight is known, with the pixel headlight being used to project a pattern into the destination area during ferry operation of the vehicle.
  • the pattern is briefly projected in addition to or briefly in place of basic lighting, with a period of time for the short-term projection being chosen to be so short that it is not perceived by the human eye.
  • the camera records the destination area at least optically whenever the pattern is projected into the destination area.
  • a method for generating a three-dimensional depth information map of an environment wherein a light pattern formed by a large number of feature points is thrown into the environment using a projector.
  • a camera image of the environment showing a section of the light pattern is generated.
  • the camera image is evaluated, whereupon a respective position of the feature points on their corresponding epipolar lines is recognized.
  • depth information is obtained to form the three-dimensional depth information map.
  • the projector projects a light pattern in the form of a rectangular field into the environment, with two rectangular rows running in a width direction having a height that differs from one another and two rectangular columns running in a height direction having a width that differs from one another exhibit. Corner points of touching rectangles are used as feature points.
  • the invention is based on the object of specifying a novel method for the three-dimensional reconstruction of a vehicle environment.
  • an area on a driving surface located behind the vehicle is illuminated with light patterns by means of several individual lighting elements of at least one rear headlight of the vehicle.
  • the illuminated area is captured at least in sections by means of at least one camera, with the environment being reconstructed three-dimensionally based on camera images captured by the camera.
  • the individual lighting elements are dynamically controlled and/or interconnected using pulse width modulation in such a way that a contrast between individual light patterns generated and the light patterns and the environment is increased.
  • the captured camera images are assigned a respective switching situation of the lighting elements at the time of capture, which is taken into account in the three-dimensional reconstruction.
  • the rear field or vehicle rear field For various applications in the vehicle, information about its rear environment, also referred to as the rear field or vehicle rear field, is required. These applications include, for example, areas such as parking assistance or automatic parking as well as automated driving functions. For this purpose, a structure of the rear field and objects located in it must be recorded and either interpreted automatically or forwarded to a vehicle driver for interpretation.
  • the present method enables reliable and high-resolution detection and reconstruction of the vehicle rear field independently of the geometry and nature of a respective scene.
  • the method enables output of results to be further usable directly in the three-dimensional vehicle coordinate system.
  • an enlarged detection range with significantly increased resolution can be achieved using the present method.
  • the method can be implemented at least for the most part with components already installed on a vehicle, so that additional costs can be minimized compared to alternative systems, for example radar or lidar systems.
  • FIG. 1 shows a schematic side view of a vehicle located on a driving surface
  • FIG. 2 shows a schematic rear view of the vehicle according to FIG. 1.
  • FIG. 3 shows a schematic top view of the vehicle according to FIG. 1 and
  • FIG. 4 schematically shows structured light emitted by means of rear headlights of the vehicle according to FIG.
  • FIG. 1 shows a side view of a vehicle 1 located on a driving surface U. 2 shows a rear view and FIG. 3 shows a top view of the vehicle 1 according to FIG. 1.
  • FIG. 4 structured light emitted by means of rear headlights 3, 4 of the vehicle according to FIG.
  • the vehicle 1 includes a camera 2 for detecting a vehicle environment in a detection area E and two rear headlights 3, 4, which are designed to project light patterns M1 to Mn shown in more detail in FIG.
  • the rear headlights 3, 4 each include several individual lighting elements, not shown, whose contrast limits are used as evaluation points for reconstructing an environment located behind the vehicle 1.
  • All lighting systems that achieve sufficient resolution at vehicle-typical luminosities can be used. These can be, for example, systems based on a so-called digital micromirror device technology, a so-called pLED technology, a so-called microlens array technology and/or an LCD technology.
  • the light patterns are captured in three dimensions using active triangulation using structured light.
  • the light patterns M1 to Mn which are adapted in advance to a vehicle geometry, are projected onto the driving surface U behind the vehicle 1, that is to say a vehicle rear field.
  • the camera 2 which is, for example, a rear-view camera or alternatively an additionally installed camera 2
  • the projected light patterns M1 to Mn are detected in order to reconstruct the surroundings of the vehicle 1 behind it, including the detected driving surface U, in three dimensions.
  • Camera images captured by the camera 2 are sent to a processing unit, not shown, which carries out the three-dimensional reconstruction.
  • the triangulation takes place in overlapping areas OB1, OB2 of a detection area E of the camera 2 and the areas B1, B2 illuminated by the lighting elements of the rear headlights s, 4.
  • An entire light image of the rear headlights 3, 4 is made up of the light from the individual lighting elements, that is to say the individual light patterns M1 to Mn.
  • the individual lighting elements are dynamically controlled and / or interconnected by means of pulse width modulation in such a way that a contrast between individually generated light patterns M1 to Mn and the Light patterns M1 to Mn and the environment is increased. This means that clear contrast points can be achieved at any time.
  • a respective switching situation of the lighting elements at the time of capture is assigned to the captured camera images or camera frames and, together with these, is transmitted to the processing unit for reconstruction and thus taken into account in the three-dimensional reconstruction.
  • the light patterns M1 to Mn projected in this way are shifted and distorted depending on a geometry of the scene or topography and texture of the objects 5 located in it. This means that if a raised or lowered object O occurs on the driving surface U, the light patterns M1 to Mn at the corresponding position deviate from a stored reference curve.
  • the light patterns M1 to Mn are output using red light, for example using a taillight and/or brake light of the vehicle 1.
  • red light for example using a taillight and/or brake light of the vehicle 1.
  • extraneous light can be extracted from the camera images via a red color channel in order to retain only the desired components illuminated by the rear headlights 3, 4.
  • the projected light patterns M1 to Mn can thus be easily extracted from the camera images.
  • the possible detection area E in the camera image can be clearly limited and an evaluation area can also be limited in the spatial dimension, which enables robust detection.
  • suitable methods for evaluation can also be used, such as evaluation using a trained artificial neural network, for example using an adapted so-called YOLOv4.
  • a calibration of the camera 2 that is to say an intrinsic matrix of imaging properties of the camera 2 and an extrinsic matrix which describes a pose of the camera 2
  • it can be used with the plane description and a position of the respective light pattern M1 to Mn and/or its edges
  • a position of an impact point of the light in three-dimensional space can be clearly determined in the camera image. It is irrelevant here which section of the light pattern M1 to Mn and/or its edges is recognized in the camera image.
  • Each pixel that is detected as a section of the light pattern M1 to Mn and/or its edges provides a three-dimensional information point of the vehicle rear field.
  • the exact three-dimensional position of the objects 5 and roadways in the vehicle's rear field are now encoded by two-dimensional positions of the image points which show the light pattern M1 to Mn and/or its edges, which are encoded by the information from the camera calibration and already known information about the light patterns M1 to Mn, for example the level description, can be calculated out.
  • These positions of the image points can now be converted into three-dimensional points in the vehicle coordinate system. This is done, for example, using a calculation with a triangulation of the two-dimensional image points and the camera calibration with the plane description. This means that a large amount of three-dimensional information about the rear field of the vehicle is available for each camera frame.
  • the three-dimensional information obtained from a camera frame can be linked to previous and subsequent camera frames to obtain a complete image of the vehicle's rear field during the scene.
  • vehicle movement between the camera frames is measured in order to correctly orient the corresponding three-dimensional points to one another. This is done, for example, using data recorded using steering angle, wheel speed, acceleration and/or rotation rate sensors.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Optics & Photonics (AREA)
  • Artificial Intelligence (AREA)
  • Signal Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Lighting Device Outwards From Vehicle And Optical Signal (AREA)

Abstract

Die Erfindung betrifft ein Verfahren zur dreidimensionalen Rekonstruktion einer Umgebung eines Fahrzeugs (1). Erfindungsgemäß wird mittels mehrerer einzelner Leuchtelemente zumindest eines Rückscheinwerfers (3, 4) des Fahrzeugs ein Bereich (B1, B2) auf einem hinter dem Fahrzeug (1) befindlichen Fahruntergrund (U) mit Lichtmustern (M1 bis Mn) beleuchtet. Der beleuchtete Bereich (B1, B2) wird zumindest abschnittweise mittels zumindest einer Kamera (2) erfasst, wobei anhand mittels der Kamera (2) erfasster Kamerabilder die Umgebung dreidimensional rekonstruiert wird. Die einzelnen Leuchtelemente werden mittels einer Pulsweitenmodulation derart dynamisch gesteuert und/oder zusammengeschaltet, dass ein Kontrast zwischen einzelnen erzeugten Lichtmustern (M1 bis Mn) und den Lichtmustern (M1 bis Mn) und der Umgebung erhöht wird. Den erfassten Kamerabildern wird eine jeweilige Schaltsituation der Leuchtelemente zum Zeitpunkt der Erfassung zugeordnet und bei der dreidimensionalen Rekonstruktion berücksichtigt.

Description

Verfahren zur dreidimensionalen Rekonstruktion einer Fahrzeugumgebung
Die Erfindung betrifft ein Verfahren zur dreidimensionalen Rekonstruktion einer Fahrzeugumgebung.
Aus der DE 102015 008 774 B4 ist ein Verfahren zur automatisierten Erfassung eines Fahrtzielbereichs eines Fahrzeugs mit einer Kamera und mit einem hochauflösenden Pixelscheinwerfer bekannt, wobei mittels des Pixelscheinwerfers ein Muster im Fährbetrieb des Fahrzeuges in den Fahrtzielbereich projiziert wird. Das Muster wird kurzzeitig ergänzend zu einer oder kurzzeitig anstelle einer Grundbeleuchtung projiziert, wobei eine Zeitspanne der kurzzeitigen Projektion so kurz gewählt wird, dass sie vom menschlichen Auge nicht wahrgenommen wird. Die Kamera erfasst den Fahrtzielbereich zumindest immer dann optisch, wenn das Muster in den Fahrtzielbereich projiziert wird.
Weiterhin ist aus der DE 102020 007613 A1 ein Verfahren zur Generierung einer dreidimensionalen Tiefeninformationskarte einer Umgebung bekannt, wobei ein von einer Vielzahl an Merkmalspunkten ausgebildetes Lichtmuster mittels eines Projektors in die Umgebung geworfen wird. Mittels einer Kamera wird ein einen Ausschnitt des Lichtmusters zeigendes Kamerabild der Umgebung erzeugt. Das Kamerabild wird ausgewertet, woraufhin eine jeweilige Position der Merkmalspunkte auf ihren entsprechenden Epipolarlinien erkannt wird. Durch Ermitteln einer Verschiebung der Merkmalspunkte auf ihren Epipolarlinien gegenüber einer jeweiligen Referenzposition werden Tiefeninformationen zur Ausbildung der dreidimensionalen Tiefeninformationskarte gewonnen. Der Projektor projiziert ein Lichtmuster in Form eines Rechteckfelds in die Umgebung, wobei zwei in eine Breitenrichtung verlaufende Rechteckzeilen eine zueinander abweichende Höhe aufweisen und zwei in eine Höhenrichtung verlaufende Rechteckspalten eine zueinander abweichende Breite aufweisen. Als Merkmalspunkte werden Eckpunkte sich einander berührender Rechtecke verwendet.
Der Erfindung liegt die Aufgabe zu Grunde, ein neuartiges Verfahren zur dreidimensionalen Rekonstruktion einer Fahrzeugumgebung anzugeben.
Die Aufgabe wird erfindungsgemäß gelöst durch ein Verfahren, welches die im Anspruch 1 angegebenen Merkmale aufweist.
Vorteilhafte Ausgestaltungen der Erfindung sind Gegenstand der Unteransprüche.
In einem Verfahren zur dreidimensionalen Rekonstruktion einer Umgebung eines Fahrzeugs wird erfindungsgemäß mittels mehrerer einzelner Leuchtelemente zumindest eines Rückscheinwerfers des Fahrzeugs ein Bereich auf einem hinter dem Fahrzeug befindlichen Fahruntergrund mit Lichtmustern beleuchtet. Der beleuchtete Bereich wird zumindest abschnittweise mittels zumindest einer Kamera erfasst, wobei anhand mittels der Kamera erfasster Kamerabilder die Umgebung dreidimensional rekonstruiert wird. Die einzelnen Leuchtelemente werden dabei mittels einer Pulsweitenmodulation derart dynamisch gesteuert und/oder zusammengeschaltet, dass ein Kontrast zwischen einzelnen erzeugten Lichtmustern und den Lichtmustern und der Umgebung erhöht wird. Den erfassten Kamerabildern wird eine jeweilige Schaltsituation der Leuchtelemente zum Zeitpunkt der Erfassung zugeordnet, welche bei der dreidimensionalen Rekonstruktion berücksichtigt wird.
Für verschiedene Anwendungen im Fahrzeug sind Informationen über dessen rückwärtige Umgebung, auch als Rückfeld oder Fahrzeugrückfeld bezeichnet, erforderlich. Diese Anwendungen umfassen beispielsweise Bereiche wie eine Einparkhilfe oder ein automatisches Einparken sowie Funktionen automatisierten Fahrens. Hierfür müssen eine Struktur des Rückfelds und in diesem befindliche Objekte erfasst und entweder automatisiert interpretiert oder an einen Fahrzeugführer zur Interpretation weitergeleitet werden. Gegenüber einer Erfassung des Rückfelds allein mittels Rückfahrkameras und Ultraschallsensoren, welche sich durch einen beschränkten Erfassungsbereich, eine beschränkte Auflösung und Genauigkeit sowie eine fehlende Entfernungsmessung und eine eingeschränkte Nachtfunktionalität (Rückfahrkamera) auszeichnen, ermöglicht das vorliegende Verfahren eine zuverlässige und hochauflösende Erfassung und Rekonstruktion des Fahrzeugrückfelds unabhängig von einer Geometrie und Beschaffenheit einer jeweiligen Szene. Dies kann mit einer großen Anzahl an Messpunkten durch eine vollständige Verwertung des beleuchteten Bereichs sowie einem Zusammenfügen der einzelnen Kamerabilder erfolgen. Weiterhin ermöglicht das Verfahren, dass eine Ausgabe von Ergebnissen direkt im dreidimensionalen Fahrzeugkoordinatensystem weiter verwertbar ist. Insbesondere im Vergleich zu einer Erfassung des Fahrzeugrückfelds mit Ultraschallsensoren kann mittels des vorliegenden Verfahrens ein vergrößerter Erfassungsbereich mit deutlich erhöhter Auflösung erzielt werden.
In besonders vorteilhafter Weise ist das Verfahren zumindest zum größten Teil mit bereits an einem Fahrzeug verbauten Komponenten realisierbar, so dass Zusatzkosten im Vergleich zu Alternativsystemen, beispielsweise Radar- oder Lidarsystemen, minimiert werden können.
Ausführungsbeispiele der Erfindung werden im Folgenden anhand von Zeichnungen näher erläutert.
Dabei zeigen:
Fig. 1 schematisch eine Seitenansicht eines auf einem Fahruntergrund befindlichen Fahrzeugs,
Fig. 2 schematisch eine Heckansicht des Fahrzeugs gemäß Figur 1 ,.
Fig. 3 schematisch eine Draufsicht des Fahrzeugs gemäß Figur 1 und
Fig. 4 schematisch mittels Rückscheinwerfern des Fahrzeugs gemäß Figur 1 emittiertes strukturiertes Licht.
Einander entsprechende Teile sind in allen Figuren mit den gleichen Bezugszeichen versehen.
In Figur 1 ist eine Seitenansicht eines auf einem Fahruntergrund U befindlichen Fahrzeugs 1 dargestellt. Figur 2 zeigt eine Heckansicht und Figur 3 eine Draufsicht des Fahrzeugs 1 gemäß Figur 1. In Figur 4 ist mittels Rückscheinwerfern 3, 4 des Fahrzeugs gemäß Figur 1 emittiertes strukturiertes Licht in Form von Lichtmustern M1 bis Mn dargestellt. Das Fahrzeug 1 umfasst eine Kamera 2 zur Erfassung einer Fahrzeugumgebung in einem Erfassungsbereich E und zwei Rückscheinwerfer 3, 4, welche zu einer Projektion von in Figur 4 näher dargestellten Lichtmustern M1 bis Mn ausgebildet sind.
Hierzu umfassen die Rückscheinwerfer 3, 4 jeweils mehrere nicht näher dargestellte einzelne Leuchtelemente, deren Kontrastgrenzen als Auswertepunkte zur Rekonstruktion einer hinter dem Fahrzeug 1 befindlichen Umgebung verwendet werden. Dabei können alle Lichtsysteme verwendet werden, welche eine ausreichende Auflösung bei fahrzeugtypischen Leuchtstärken erreichen. Dies können beispielsweise Systeme basierend auf einer so genannten Digital-Micromirror-Device-Technologie, einer so genannten pLED-Technologie, einer so genannten Mikrolinsen-Array-Technologie und/oder einer LCD-Technologie sein.
Eine dreidimensionale Erfassung der Lichtmuster erfolgt unter Verwendung einer aktiven Triangulation per strukturiertem Licht.
Die im Voraus an eine Fahrzeuggeometrie angepassten Lichtmuster M1 bis Mn werden dabei auf den Fahruntergrund U hinter das Fahrzeug 1 , das heißt ein Fahrzeugrückfeld, projiziert.
Mittels der Kamera 2, welche beispielsweise eine Rückfahrkamera oder alternativ eine zusätzlich verbaute Kamera 2 ist, werden die projizierten Lichtmuster M1 bis Mn erfasst, um die Umgebung des Fahrzeugs 1 hinter diesem, einschließlich des erfassten Fahruntergrunds U, dreidimensional zu rekonstruieren. Mittels der Kamera 2 erfasste Kamerabilder werden an eine nicht näher dargestellte Verarbeitungseinheit, welche die dreidimensionale Rekonstruktion ausführt, übersendet.
Die Triangulation erfolgt in Überlappungsbereichen OB1 , OB2 eines Erfassungsbereichs E der Kamera 2 und der von den Leuchtelementen der Rückscheinwerfer s, 4 beleuchteten Bereiche B1 , B2. Dabei setzt sich ein gesamtes Lichtbild der Rückscheinwerfer 3, 4 aus dem Licht der einzelnen Leuchtelemente, das heißt den einzelnen Lichtmustern M1 bis Mn, zusammen.
Damit sich das gesamte Lichtbild der Rückscheinwerfer 3, 4 zu der dreidimensionalen Rekonstruktion eignet, werden die einzelnen Leuchtelemente mittels einer Pulsweitenmodulation derart dynamisch gesteuert und/oder zusammengeschaltet, dass ein Kontrast zwischen einzelnen erzeugten Lichtmustern M1 bis Mn und den Lichtmustern M1 bis Mn und der Umgebung erhöht wird. Das heißt, es können zu jedem Zeitpunkt klare Kontrastpunkte realisiert werden. Den erfassten Kamerabildern bzw. Kameraframes wird eine jeweilige Schaltsituation der Leuchtelemente zum Zeitpunkt der Erfassung zugeordnet und gemeinsam mit diesen zur Rekonstruktion an die Verarbeitungseinheit übermittelt und so bei der dreidimensionalen Rekonstruktion berücksichtigt.
Die auf diese Weise projizierten Lichtmuster M1 bis Mn werden abhängig von einer Geometrie der Szene bzw. Topographie und Textur der in ihr befindlichen Objekte 5 verschoben und verzerrt. Das heißt, tritt auf dem Fahruntergrund U ein erhabenes oder abgesenktes Objekt O auf, weichen die Lichtmuster M1 bis Mn an der entsprechenden Position von einem hinterlegten Referenzverlauf ab.
Beispielsweise werden die Lichtmuster M1 bis Mn mittels rotem Licht, beispielsweise mittels eines Schlusslichts und/oder Bremslichts des Fahrzeugs 1, ausgegeben. Über einen roten Farbkanal kann bei der Auswertung der Kamerabilder Fremdlicht aus den Kamerabildern extrahiert werden, um nur gewünschte, durch die Rückscheinwerfer 3, 4 beleuchtete Komponenten zu behalten. Somit können die projizierten Lichtmuster M1 bis Mn in einfacher Weise aus den Kamerabildern extrahiert werden.
Zusätzlich ist durch den geometrischen Aufbau des Fahrzeugs und der festen Platzierung von Kamera 2 und Rückscheinwerfern 3, 4 der mögliche Erfassungsbereich E im Kamerabild klar begrenzbar und somit ein Auswertebereich auch in der räumlichen Dimension einschränkbar, was eine robuste Erfassung ermöglicht. Alternativ oder zusätzlich zur beschriebenen Filterung des roten Lichts können auch andere geeignete Methoden zur Auswertung verwendet werden, wie beispielsweise eine Auswertung mittels eines trainierten künstlichen neuronalen Netzes, zum Beispiel mittels eines angepassten so genannten YOLOv4.
In von der Kamera 2 erfassten Kamerabildern der Lichtmuster M1 bis Mn werden beispielsweise Unterkanten, Oberkanten und/oder Seitenkanten in der Triangulation verwendet. Hierbei ist es ausreichend, einen horizontalen Hell-Dunkel-Gradienten zu erhalten, welcher mit einer beliebigen Lichttechnologie erzeugt werden kann.
Hierbei kann beispielsweise die Tatsache ausgenutzt werden, dass die Lichtmuster M1 bis Mn bei ihrer Ausbreitung im Fahrzeugrückfeld eine Ebene aufspannen. Ist eine Kalibration der Kamera 2, das heißt eine intrinsische Matrix von Abbildungseigenschaften der Kamera 2 und eine extrinsische Matrix, welche eine Pose der Kamera 2 beschreibt, bekannt, kann mit der Ebenenbeschreibung und einer Position des jeweiligen Lichtmusters M1 bis Mn und/oder dessen Kanten im Kamerabild eindeutig eine Position eines Auftreffpunkts des Lichts im dreidimensionalen Raum bestimmt werden. Hierbei ist es unbedeutend, welcher Abschnitt des Lichtmusters M1 bis Mn und/oder dessen Kanten im Kamerabild erkannt wird. Jeder Bildpunkt, der als Abschnitt des Lichtmusters M1 bis Mn und/oder dessen Kanten detektiert wird, liefert einen dreidimensionalen Informationspunkt des Fahrzeugrückfeldes.
In den so erfassten Kamerabildern des entsprechenden Lichtmusters M1 bis Mn sind durch zweidimensionale Positionen der Bildpunkte, welche das Lichtmuster M1 bis Mn und/oder dessen Kanten zeigen, nun exakte dreidimensionale Position der Objekte 5 und Fahrbahnen im Fahrzeugrückfeld codiert, die durch die Informationen der Kamerakalibrierung und bereits bekannte Informationen über die Lichtmuster M1 bis Mn, beispielsweise die Ebenenbeschreibung, herausgerechnet werden können.
Diese Positionen der Bildpunkte können nun in dreidimensionale Punkte in das Fahrzeugkoordinatensystem überführt werden. Dies erfolgt beispielsweise anhand einer Berechnung mit einer Triangulation der zweidimensionalen Bildpunkte und der Kamerakalibrierung mit der Ebenenbeschreibung. Somit liegt eine Vielzahl an dreidimensionalen Informationen über das Fahrzeugrückfeld für jeden Kameraframe vor.
Die so aus einem Kameraframe gewonnen dreidimensionalen Informationen können mit vorherigen und nachfolgenden Kameraframes verknüpft werden, um eine komplette Aufnahme des Fahrzeugrückfelds während der Szene zu erhalten. Hierzu wird eine Fahrzeugbewegung zwischen den Kameraframes gemessen, um die entsprechenden dreidimensionalen Punkte korrekt zueinander zu orientieren. Dies erfolgt beispielsweise anhand von mittels Lenkwinkel-, Raddrehzahl-, Beschleunigungs- und/oder Drehratensensoren erfassten Daten.

Claims

Patentansprüche Verfahren zur dreidimensionalen Rekonstruktion einer Umgebung eines
Fahrzeugs (1), dadurch gekennzeichnet, dass
- mittels mehrerer einzelner Leuchtelemente zumindest eines Rückscheinwerfers (3, 4) des Fahrzeugs ein Bereich (B1, B2) auf einem hinter dem Fahrzeug (1) befindlichen Fahruntergrund (U) mit Lichtmustern (M1 bis Mn) beleuchtet wird,
- der beleuchtete Bereich (B1, B2) zumindest abschnittweise mittels zumindest einer Kamera (2) erfasst wird,
- anhand mittels der Kamera (2) erfasster Kamerabilder die Umgebung dreidimensional rekonstruiert wird,
- die einzelnen Leuchtelemente mittels einer Pulsweitenmodulation derart dynamisch gesteuert und/oder zusammengeschaltet werden, dass ein Kontrast zwischen einzelnen erzeugten Lichtmustern (M1 bis Mn) und den Lichtmustern (M1 bis Mn) und der Umgebung erhöht wird, und
- den erfassten Kamerabildern eine jeweilige Schaltsituation der Leuchtelemente zum Zeitpunkt der Erfassung zugeordnet und bei der dreidimensionalen Rekonstruktion berücksichtigt wird. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass in einem Überlappungsbereich (OB1, OB2) eines Erfassungsbereichs (E) der Kamera (2) und des von den Leuchtelementen beleuchteten Bereichs (B1, B2) eine Triangulation durchgeführt wird. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass in der dreidimensionalen Rekonstruktion - Positionen und/oder Kanten der das jeweilige Lichtmuster (M1 bis Mn) darstellenden Bildpunkte in einem Kameraframe mittels eines Gradienten und/oder Intensitätsverläufe auswertenden Algorithmus ermittelt werden,
- die Bildpunkte in Abhängigkeit einer intrinsischen und extrinsischen Kalibrierung der Kamera (2) sowie einer Beschreibung des Lichtmusters (M1 bis Mn) in ein dreidimensionales Fahrzeugkoordinatensystem überführt werden und
- anhand von aus den Bildpunkten resultierenden dreidimensionalen Informationen die Umgebung des Fahrzeugs (1) zumindest in dem hinter dem Fahrzeug (1) befindlichen Bereich (B1, B2) bestimmt und dreidimensional rekonstruiert wird. Verfahren nach Anspruch 3, dadurch gekennzeichnet, dass
- dreidimensionale Informationen mehrerer zeitlich nacheinander erfasster Kameraframes in Abhängigkeit von einer Fahrzeugbewegung miteinander verknüpft werden und
- anhand der verknüpften dreidimensionalen Informationen die Fahrzeugumgebung zumindest in einem von dem Fahrzeug (1) überfahrenen Bereich bestimmt und dreidimensional rekonstruiert wird.
PCT/EP2023/068618 2022-07-29 2023-07-05 Verfahren zur dreidimensionalen rekonstruktion einer fahrzeugumgebung Ceased WO2024022774A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102022002766.6 2022-07-29
DE102022002766.6A DE102022002766B4 (de) 2022-07-29 2022-07-29 Verfahren zur dreidimensionalen Rekonstruktion einer Fahrzeugumgebung

Publications (1)

Publication Number Publication Date
WO2024022774A1 true WO2024022774A1 (de) 2024-02-01

Family

ID=83005365

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2023/068618 Ceased WO2024022774A1 (de) 2022-07-29 2023-07-05 Verfahren zur dreidimensionalen rekonstruktion einer fahrzeugumgebung

Country Status (2)

Country Link
DE (1) DE102022002766B4 (de)
WO (1) WO2024022774A1 (de)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4685434A1 (de) * 2024-07-24 2026-01-28 Hexagon Innovation Hub GmbH Variables laserlinienmodul

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102015008774B4 (de) 2015-07-07 2018-01-04 Daimler Ag Verfahren und Vorrichtung zur Erfassung eines Fahrzeug-Umfelds
DE102020007613A1 (de) 2020-12-11 2021-03-18 Daimler Ag Verfahren zur Generierung einer dreidimensionalen Tiefeninformationskarte einer Umgebung

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102010043829B4 (de) 2010-11-12 2023-04-20 Robert Bosch Gmbh Optisches Abtastsystem und optisches Abtastverfahren
DE102017124956B4 (de) 2017-10-25 2019-05-09 Dr. Ing. H.C. F. Porsche Aktiengesellschaft Verfahren zum Extrahieren eines Lichtmusters aus einem mittels einer Fahrzeugkamera erfassten Abbild davon
DE102018116511B3 (de) 2018-07-09 2019-07-11 Dr. Ing. H.C. F. Porsche Aktiengesellschaft Verfahren zur Tiefenwahrnehmung basierend auf beidseitig angeordneten Scheinwerfern eines Fahrzeugs
DE102020007760B4 (de) 2020-12-18 2025-01-02 Mercedes-Benz Group AG Verfahren zur Klassifizierung von Fahrbahnmarkierungen und Fahrzeug
DE102021000724B3 (de) 2021-02-12 2022-07-28 Mercedes-Benz Group AG Mikrolinsenarray-Projektionsvorrichtung, Beleuchtungsvorrichtung und Fahrzeug

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102015008774B4 (de) 2015-07-07 2018-01-04 Daimler Ag Verfahren und Vorrichtung zur Erfassung eines Fahrzeug-Umfelds
DE102020007613A1 (de) 2020-12-11 2021-03-18 Daimler Ag Verfahren zur Generierung einer dreidimensionalen Tiefeninformationskarte einer Umgebung

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
FELLER MICHAEL ET AL: "Active Stereo Vision for Precise Autonomous Vehicle Hitching", 2019, pages 1 - 74, XP093078120, ISBN: 979-8-3796-7314-7, Retrieved from the Internet <URL:https://hammer.purdue.edu/articles/Active_Stereo_Vision_for_Precise_Autonomous_Vehicle_Hitching/11310134/files/20047508.pdf> [retrieved on 20230901] *

Also Published As

Publication number Publication date
DE102022002766A1 (de) 2022-09-15
DE102022002766B4 (de) 2024-04-25

Similar Documents

Publication Publication Date Title
DE10114932B4 (de) Dreidimensionale Umfelderfassung
EP1928687B1 (de) Verfahren und fahrerassistenzsystem zur sensorbasierten anfahrtsteuerung eines kraftfahrzeugs
DE102010039092B4 (de) Verfahren und Steuergerät zum Ermitteln eines Abstandes eines Objektes von einem Fahrzeug
DE102009023326A1 (de) Vorrichtung und Verfahren zum Detektieren eines kritischen Bereiches und Fußgängerdetektionsvorrichtung unter Verwendung derselben
DE102017124955B4 (de) Verfahren zum Feststellen einer Lagebeziehung zwischen einer Kamera und einem Scheinwerfer eines Fahrzeugs
EP3552144A1 (de) Kameravorrichtung sowie verfahren zur situationsangepassten erfassung eines umgebungsbereichs eines fahrzeugs
EP3183721A1 (de) Verfahren und achsenzähl-vorrichtung zur berührungslosen achsenzählung eines fahrzeugs sowie achsenzählsystem für den strassenverkehr
DE19860676A1 (de) Visualisierungseinrichtung für die von wenigstens einem Scheinwerfer eines Fahrzeugs bewirkte Beleuchtung vor dem Fahrzeug
DE102004010197A1 (de) Verfahren zur Funktionskontrolle einer Positionsermittlungs- oder Umgebungserfassungseinrichtung eines Fahrzeugs oder zur Kontrolle einer digitalen Karte
EP2788224A1 (de) Verfahren und vorrichtung zur erkennung einer bremssituation
DE102012221563A1 (de) Funktionsdiagnose und validierung eines fahrzeugbasierten bildgebungssystems
EP2033165B1 (de) Verfahren für die erfassung eines verkehrsraums
DE102020121504A1 (de) Antriebssteuervorrichtung für ein autonom fahrendes Fahrzeug, Halteziel und Antriebssteuersystem
DE102020007613A1 (de) Verfahren zur Generierung einer dreidimensionalen Tiefeninformationskarte einer Umgebung
DE102024001248B4 (de) Verfahren zur Steuerung einer Beleuchtungsvorrichtung eines Kraftwagens sowie Beleuchtungssystem
DE102010043829B4 (de) Optisches Abtastsystem und optisches Abtastverfahren
EP2715666A1 (de) Verfahren zum bestimmen einer nickbewegung einer in einem fahrzeug verbauten kamera und verfahren zur steuerung einer lichtaussendung zumindest eines frontscheinwerfers eines fahrzeugs
DE102011082477A1 (de) Verfahren und System zur Erstellung einer digitalen Abbildung eines Fahrzeugumfeldes
DE102022002766B4 (de) Verfahren zur dreidimensionalen Rekonstruktion einer Fahrzeugumgebung
DE102013215408A1 (de) Anzeigesystem für ein Fahrzeug und Verfahren für die Anzeige einer Fahrzeugumgebung
DE102006037600B4 (de) Verfahren zur auflösungsabhängigen Darstellung der Umgebung eines Kraftfahrzeugs
DE102023123054B3 (de) Kraftfahrzeug und Verfahren zum Betreiben eines Kraftfahrzeugs
EP3844947A1 (de) Verfahren und anordnung zum erzeugen einer umgebungsrepräsentation eines fahrzeugs und fahrzeug mit einer solchen anordnung
DE102021202584A1 (de) Verfahren und Vorrichtung zum Erzeugen eines Lichtobjekts
DE102022001440A1 (de) Verfahren zur Erfassung einer Fahrzeugumgebung

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23739502

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 23739502

Country of ref document: EP

Kind code of ref document: A1