WO2019114889A1 - 3d-umfelderfassung mittels projektion einer reihe pseudo-zufälligen mustern und stereo-kameramodulen - Google Patents

3d-umfelderfassung mittels projektion einer reihe pseudo-zufälligen mustern und stereo-kameramodulen Download PDF

Info

Publication number
WO2019114889A1
WO2019114889A1 PCT/DE2018/200094 DE2018200094W WO2019114889A1 WO 2019114889 A1 WO2019114889 A1 WO 2019114889A1 DE 2018200094 W DE2018200094 W DE 2018200094W WO 2019114889 A1 WO2019114889 A1 WO 2019114889A1
Authority
WO
WIPO (PCT)
Prior art keywords
camera
vehicle
light
camera modules
camera device
Prior art date
Application number
PCT/DE2018/200094
Other languages
English (en)
French (fr)
Inventor
Stefan Heinrich
Joachim Massen
Dieter KRÖKEL
Thomas Fechner
Original Assignee
Conti Temic Microelectronic Gmbh
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Conti Temic Microelectronic Gmbh filed Critical Conti Temic Microelectronic Gmbh
Priority to DE112018002835.6T priority Critical patent/DE112018002835A5/de
Priority to JP2020527930A priority patent/JP2021507205A/ja
Priority to US16/766,070 priority patent/US11073379B2/en
Priority to CN201880080303.5A priority patent/CN111465819B/zh
Publication of WO2019114889A1 publication Critical patent/WO2019114889A1/de

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2513—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with several lines being projected in more than one direction, e.g. grids, patterns
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2545—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with one projection direction and several detection directions, e.g. stereo
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/254—Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Definitions

  • the invention relates to a camera device for a vehicle, which ensures a 3D environment detection, as well as a Ver drive for 3D environment detection by means of the camera device.
  • Device and method can be used in particular in the context of driver assistance systems.
  • stereo cameras are used for 3D environment detection.
  • the image information between the camera images is correlated.
  • SGM SemiGlobalMatching
  • the stereo correlation methods used quickly reach their limits despite vehicle lighting. Due to the limited dark sensitivity of the imagers used, structures in the images of the video sensors can not be correlated sufficiently well at night.
  • DE 19730414 A1 discloses a method for predictive assessment of the road surface on which wheels of a motor vehicle roll, a laser light pattern emitted by a laser beam source being evaluated in the triangulation method.
  • DE 202015105376 U1 describes a 3D camera for recording three-dimensional images from a surveillance area with a lighting unit for generating a structured illumination pattern in the surveillance area.
  • a lighting unit for generating a structured illumination pattern in the surveillance area.
  • two camera modules are mounted at a known fixed distance from each other and each take pictures of the surveillance area.
  • An evaluation unit is configured to calculate a three-dimensional image from image data and to initially generate a pre-image of the surveillance area without a structured illumination pattern and to calculate a structured illumination pattern to be projected from the pre-image and a desired structured illumination pattern in the surveillance area.
  • the illumination unit is designed for the real-time projection of a pixel-resolved, quantized structured illumination pattern, and has a switchable LED or laser diode array.
  • DE 102015008551 A1 relates to a method for calibrating a camera unit of a motor vehicle.
  • a predeterminable pattern is projected into an environment of the motor vehicle by means of a headlight of the motor vehicle.
  • the predefinable pattern projected into the environment of the motor vehicle is optically detected by means of the camera unit. Taking into account the optically recorded pattern, the camera unit is automatically calibrated.
  • the point light projector is arranged and configured such that the ceremonilichtproj ector projected a light pattern of measuring points in the vehicle environment.
  • the at least two camera modules are arranged and configured such that at least part of the projected light pattern is imaged in the overlapping detection area.
  • the evaluation unit is configured to determine the 3D position of measuring points in the vehicle environment with the image data recorded by at least two camera modules.
  • the Nursinglichtproj ector is configured to generate a sequence of "pseudo-noise pattern" as a light pattern, the "pseudo-noise pattern” in time (tO, tl, ... tn) are projected into the vehicle environment.
  • the camera control device is preferably configured to determine the temporal relationship between projection sequence and recording of the image sequence by means of the at least two camera modules.
  • the camera control unit can transmit data to the point light projector and / or receive data from the point projector.
  • illonproj ector and measuring point are not to be understood to the effect that only circular points of light are provided as building blocks of the light pattern. Rather, it means that area areas with at least different intensity can be illuminated by the projector.
  • a pattern of light may consist of "holes" (negative marks / measurement points with otherwise uniform illumination), or patterns of intersecting lines, corners, or checkerboard patterns.
  • the camera control unit or the evaluation unit may in particular comprise a microcontroller or processor, a digital signal processor (DSP), an ASIC (Application Specific Integrated Circuit), an FPGA (Field Programmable Gate Array) and the like, as well as software for carrying out the corresponding control or evaluation steps include.
  • the present invention may thus be implemented in digital electronic circuits, computer hardware, firmware or software.
  • the invention further relates to a method for spatially detecting an environment of a vehicle by means of at least two camera modules with at least partially overlapping detection areas and a ceremonilichtproj ector.
  • the point light projector projects a light pattern from measuring points into the vehicle environment. At least part of the projected light pattern is imaged in the overlapping detection area of the at least two camera modules.
  • the 3D position of measuring points in the vehicle environment is determined from the image data recorded with the at least two camera modules.
  • a sequence of "pseudo-noise pattern" is generated, which are delivered in chronological order (tO, tl, ... tn) in the vehicle environment.
  • the method may in particular in the form of software on one or more control devices or the Be implemented by evaluation unit of the camera device.
  • the Punklichtpattern is at no time regularly.
  • the projected light pattern consists of a sequence of "pseudo-noise patterns" which are emitted one after the other in a sequence (to, t1, ..., tn).
  • each environmental position is occupied at least once by a measuring point of the light pattern within n time steps.
  • the camera system can thus determine 3D measured values evenly distributed in every spatial direction.
  • the time period during which the point light patterns are emitted is adapted to the exposure time of the video sensor system in such a way that the punctured light patterns are visible within the exposure phase of the video sensor system.
  • the spatial distance between the measuring points within the "pseudo noise pattern" is adapted to the size of the correlation masks of the triangulation algorithm of the stereo camera sensor.
  • the angle between the emitted light points corresponds in the video image to about 2 times the size of the patch correlators.
  • the measurement points are no larger than 1/3 of the patch correlator size.
  • the relative speed of the measuring points is thus determined directly from the length of the line elements.
  • the light pattern and the acquisition of the measuring points can be done in any direction on the vehicle.
  • the system can be installed at the rear of the vehicle or laterally.
  • the system can be used in two operating modes depending on the ambient light. - During the day, the stereo system works without the projected points of light. When sufficient ambient light is available, the stereo system determines the 3D measurements based on the visible structures in the video image.
  • the Punklichtmaschineor is used at night or in low light conditions. Because of the lower residual light (sunlight is not available) but less La ser power is needed here to come to comparable ranges.
  • the existing LED headlights can be used in the vehicle.
  • the point lights are changed in rapid succession so that the driver creates a uniform light distribution of a conventional headlight.
  • the points of light are varied in time so that each area of the evaluation area is illuminated at least once within a 24th of a second.
  • light in the visible or non-visible range can be used.
  • a "complete" 3D environment map is determined by the system by superimposing the 3D measurements from the time-sequentially recorded 3D point clouds of the stereo sensor or multi-camera sensor.
  • the temporal superimposition of the measurements takes place e.g. using an Iterative Closest Points (ICP) algorithm.
  • ICP Iterative Closest Points
  • the specified light pattern can also be a point pattern consisting of "holes" (negative marks / measurement points with otherwise uniform illumination) ver used.
  • a camera system consisting of several cameras for triangulating the 3D measuring points can also be used.
  • the light spot pattern can be composed of light spots from a plurality of point light projectors.
  • the projectors can be installed in different locations on the vehicle.
  • the camera system can perform a mounting position calibration. - Calibration of the camera by the light pattern is possible at standstill and while driving.
  • a continuous determination of the installation position with respect to a flat surface is possible.
  • the presence test (detection of all light spots) is carried out as a self-test before each vehicle start.
  • the method allows the distance measurement on untex tur convinced surfaces.
  • the distance to the pattern points is also measured / triangulated on otherwise "uniform" surfaces.
  • the presented method results in an increased range since during the daytime the visible structures are used for distance measurement in the video images. - Concerning. Eye safety is also an advantage as less laser / light is emitted compared to "classic" systems.
  • surround-view cameras all-round vision camera systems
  • Side or rear of the vehicle possible by several surround-view cameras determine the 3D position of the points of light using triangulation.
  • Fig. 1 shows schematically a projection of measuring points in the environment of a vehicle with a camera device
  • Fig. 2 schematically shows a 3D triangulation of measuring points in space
  • Fig. 3 schematically shows an arrangement of point light projector and stereo camera, which is independent of the direction of travel;
  • Fig. 4 shows schematically the distance of measuring points in the
  • Fig. 5 schematically shows a temporal sequence of pseudo-noise patterns.
  • a laser Punklichttechnikor (3) is used together with a stereo camera (2).
  • a vehicle (1) which has a direction of travel looking stereo camera (2), for example in the windshield of the vehicle (1).
  • a Punklichttechnikor (3) is attached to a vehicle (1), so that its light pattern is proj i into in the vehicle environment.
  • the ceremonianderproj ector (3) projects a pattern of illuminated measuring points (6), represented as black filled circles, on the environment in front of the vehicle (1).
  • the illustrated surrounding environment of the vehicle (1) corresponds to a plane, eg a flat road surface.
  • the projection beams (5) of individual activated light elements, eg LEDs or laser diodes ofumblelichtproj ector (3) are shown schematically as dashed lines. Points not currently illuminated by the point light projector (3) (7) are illustrated as white circles.
  • the two camera modules of the stereo camera (2) have an overlapping area in which the coverage area of both camera modules overlap. Measuring points (6) lying in this overlapping area are detected by both camera modules.
  • the detection directions (4) of the two camera modules are shown in FIG. 1 for a measuring point shown schematically as solid lines.
  • the stereo camera (2) comprises a first (21) and a second (22) camera module, which are fixedly connected to one another by a housing and have a defined base width (a lateral distance from one another).
  • the ceremonibitproj ektor (3) projects a pattern of illuminated measuring points (16, 26) on the environment (10, 11).
  • the environment comprises a flat surface (10) and a raised cuboid object (11).
  • the Instructorlichtproj ektor (3) In the area of the plane Surface projected the Instructorlichtproj ektor (3) a pattern of illuminated first measuring points (16) and unlit surfaces (white circles) comparable to the situation in Fig. 1.
  • First and second measuring points (16, 26) are formed by both camera modules (21, 22) of the stereo camera (2) till.
  • the 3D position of the vehicle surroundings (10, 11) can be determined from the displacement (disparity) of a measuring point (16, 26) in simultaneously recorded images of the first (21) and second (2) camera modules. calculated, which illuminates this measuring point (16, 26).
  • the 3D environment can be reconstructed.
  • FIG. 3 an alternative arrangement of a stereo camera (22) and aumblelichtproj ector (33) on a vehicle (1) is shown schematically. In this case, the left side and rear surroundings of the vehicle (1) can be detected. The operation corresponds to that previously explained in FIGS. 1 and 2.
  • Fig. 4 illustrates schematically how the distance and size of the light spots can be adapted to the size of a correlation mask (40; 41) (English: patch correlator). This refers to the distance between two adjacent points that can be illuminated by the projector.
  • the spatial distance between the measurement points within the "pseudo-noise pattern" is adapted to the size of the correlation masks (40; 41) of the triangulation algorithm of the stereo camera sensor (2) 2 times the size of the SGM patch correlators
  • the measurement points are no larger than 1/3 of the
  • FIG. 5 schematically illustrates a sequence of n time varying pseudo-noise spot light patterns.
  • the dot-light pattern ie the totality of the (6) and non-illuminated (7) areas illuminated by the spotlight projector (3), is at no point regular but pseudo-randomly noisy.
  • the projected light pattern (6, 7) consists of a sequence of "pseudo-noise patterns", which are emitted at the successive times to, ti,... T n or projected into the vehicle environment.
  • the exemplary patterns shown in FIG. 5 each comprise 10 ⁇ 10 points, numbered from al (top left) to J10 (bottom right).
  • the points a2, al0, b7, c4, e2, e8, g6, gl0, h3, i7, j1 and j5 are illuminated.
  • the points a5, b2, b8, cl0, d6, e3, gl, g5, h8, i2, j6 and j10 are illuminated.
  • the points a1, a8, b4, c7, d3, d10, f5, g2, g8, h10, i6, j3 and j9 are illuminated.
  • the temporal sequence of the "pseudo-noise patterns” means that every surrounding position is occupied by a measuring point of the light pattern at least once within n time steps.
  • the camera device can thus determine 3D measured values distributed uniformly in each spatial direction, ie a 3D point cloud
  • the period of time during which the point light patterns are emitted is adapted to the exposure time of the camera modules so that the punctured light patterns are visible within the exposure phase of the camera modules.
  • 3D environmental map is determined by the system by superimposing the 3D measurements from the temporally posteriorly recorded 3D point clouds of the stereo camera.
  • the temporal superimposition of the measurements takes place e.g. using an Iterative Closest Points (ICP) algorithm.
  • ICP Iterative Closest Points

Abstract

Die Erfindung betrifft eine Kameravorrichtung für ein Fahrzeug (1), welche eine 3D-Umfelderfassung gewährleistet, sowie ein Verfahren zur 3D-Umfelderfassung mittels der Kameravorrichtung. Vorrichtung und Verfahren können insbesondere im Rahmen von Fahrerassistenzsystemen eingesetzt werden. Die Kameravorrichtung für ein Fahrzeug (1) umfasst mindestens zwei Kameramodule (21, 22) mit zumindest teilweise überlappenden Erfassungsbereichen, ein Kamerasteuergerät, eine Auswerteeinheit und einen Punktlichtprojektor (3). Der Punktlichtprojektor (3) ist derart angeordnet und konfiguriert, dass der Punktlichtprojektor (3) ein Lichtmuster aus Messpunkten (6, 16, 26) in das Fahrzeugumfeld (10, 11) projiziert. Die mindestens zwei Kameramodule (21, 22) sind derart angeordnet und konfiguriert, dass zumindest ein Teil des projizierten Lichtmusters im überlappenden Erfassungsbereich abgebildet wird. Die Auswerteeinheit ist dazu konfiguriert, die 3D-Position von Messpunkten (6, 16, 26) im Fahrzeugumfeld (10, 11) aus mit den mindestens zwei Kameramodulen (21, 22) aufgenommenen Bilddaten zu bestimmen. Der Punktlichtproj ektor (3) ist dazu konfiguriert, als Lichtmuster eine Folge von „Pseudo-Noise-Pattern" zu erzeugen, wobei die „Pseudo-Noise-Pattern" zeitlich hintereinander (t0, t1,... tn) in das Fahrzeugumfeld (10, 11) projiziert werden.

Description

3D-UMFELDERFASSUNG MITTELS PROJEKTION EINER REIHE PSEUDO-ZUFÄLLIGEN MUSTERN UND STEREO-KAMERAMODULEN
Die Erfindung betrifft eine Kameravorrichtung für ein Fahrzeug, welche eine 3D-Umfelderfassung gewährleistet, sowie ein Ver fahren zur 3D-Umfelderfassung mittels der Kameravorrichtung. Vorrichtung und Verfahren können insbesondere im Rahmen von Fahrerassistenzsystemen eingesetzt werden.
Für die Erkennung von Objekten im Fahrzeugumfeld werden Ste reokameras zur 3D-Umfelderfassung eingesetzt. Zur Berechnung der Entfernungsinformationen werden die Bildinformationen zwischen den Kamerabildern korreliert.
Ein häufig im Fahrzeugumfeld eingesetztes Verfahren zur Ent fernungsbestimmung aus der Korrelation zwischen Stereobildern ist SemiGlobalMatching (SGM) .
Hierbei können folgende Probleme auftreten:
Unter günstigen Lichtverhältnissen (z.B. tagsüber) ist meist genügend Texturinformation zur Bestimmung dichter (bildfül lender) Tiefeninformation in den Videobildern vorhanden. Für die Stereobildverarbeitung genügt das Tageslicht daher meist für die Korrelationsanalyse aus.
Unter schlechten Lichtverhältnissen (z.B. nachts) geraten die eingesetzten Stereo-Korrelationsverfahren (SGM) , trotz Fahr zeugbeleuchtung jedoch schnell an ihre Grenzen. Aufgrund der begrenzten Dunkel-Empfindlichkeit der verwendeten Imager können Strukturen in den Bildern der Videosensorik nachts nicht ausreichend gut korreliert werden.
Lange Belichtungszeiten haben nachts einen zusätzlich, negativen Einfluss da durch die Bewegungsunschärfe (Englisch: motion blur) in den Videodaten die für die Korrelation erforderlichen Strukturen nicht mehr erkennbar sind. Aus der DE 19730414 Al ist ein Verfahren zur vorausschauenden Beurteilung der Fahrbahn, auf der Räder eines Kraftfahrzeugs abrollen, bekannt, wobei ein von einer Laserstrahlquelle ausgesendetes Laser-Lichtmuster im Triangulationsverfahren ausgewertet wird.
In DE 202015105376 Ul wird eine 3D-Kamera zur Aufnahme von dreidimensionalen Bildern aus einem Überwachungsbereich mit einer Beleuchtungseinheit zum Erzeugen eines strukturierten Beleuchtungsmusters in dem Überwachungsbereich beschrieben. In der 3D-Kamera sind zwei Kameramodule in einem bekannten festen Abstand zueinander montiert und nehmen jeweils Bilder des Überwachungsbereichs auf. Eine Auswertungseinheit ist dafür ausgebildet, ein dreidimensionales Bild aus Bilddaten zu be rechnen sowie zunächst eine Vorabaufnahme des Überwachungs bereichs ohne strukturiertes Beleuchtungsmuster zu erzeugen und ein zu projizierendes strukturiertes Beleuchtungsmuster aus der Vorabaufnahme und einem gewünschten strukturierten Beleuch tungsmuster in dem Überwachungsbereich zu berechnen. Die Be leuchtungseinheit ist für die Echtzeitproj ektion eines pi xelaufgelösten, quantisierten strukturierten Beleuchtungs musters ausgebildet, und weist ein schaltbares LED- oder La- serdiodenarray auf.
DE 102015008551 Al betrifft ein Verfahren zum Kalibrieren einer Kameraeinheit eines Kraftwagens. Ein vorgebbares Muster wird in eine Umgebung des Kraftwagens mittels eines Scheinwerfers des Kraftwagens projiziert. Das in die Umgebung des Kraftwagens projizierte vorgebbare Muster wird mittels der Kameraeinheit optisch erfasst. Unter Berücksichtigung des optisch erfassten Musters wird die Kameraeinheit automatisiert kalibriert.
Es wird im Folgenden eine Lösung vorgestellt, die eine ver besserte 3D-Umfelderfassung gewährleistet. Eine erfindungsgemäße Kameravorrichtung für ein Fahrzeug umfasst mindestens zwei Kameramodule mit zumindest teilweise über lappenden Erfassungsbereichen, ein Kamerasteuergerät, eine Auswerteeinheit und einen Punktlichtproj ektor . Der Punkt lichtprojektor ist derart angeordnet und konfiguriert, dass der Punktlichtproj ektor ein Lichtmuster aus Messpunkten in das Fahrzeugumfeld proj iziert . Die mindestens zwei Kameramodule sind derart angeordnet und konfiguriert, dass zumindest ein Teil des projizierten Lichtmusters im überlappenden Erfassungsbereich abgebildet wird. Die Auswerteeinheit ist dazu konfiguriert, die 3D-Position von Messpunkten im Fahrzeugumfeld aus mit den mindestens zwei Kameramodulen aufgenommenen Bilddaten zu be stimmen. Der Punktlichtproj ektor ist dazu konfiguriert, als Lichtmuster eine Folge von „Pseudo-Noise-Pattern" zu erzeugen, wobei die „Pseudo-Noise-Pattern" zeitlich hintereinander (tO, tl, ... tn) in das Fahrzeugumfeld projiziert werden.
Vorzugsweise ist das Kamerasteuergerät dazu konfiguriert, den zeitlichen Zusammenhang zwischen Projektionsfolge und Aufnahme der Bildfolge mittels der mindestens zwei Kameramodule her zustellen. Dazu kann das Kamerasteuergerät Daten an den Punktlichtproj ektor übermitteln und/oder Daten vom Punkt- lichproj ektor empfangen. Optional kann das Kamerasteuergerät synchrone AufnahmestartZeitpunkte der mindestens zwei Kame ramodule vorgeben.
Die Begriffe Punktlichtproj ektor und Messpunkt sind nicht dahingehend zu verstehen, dass nur kreisförmige Lichtpunkte als Bausteine des Lichtmusters vorgesehen sind. Gemeint ist vielmehr, dass flächige Bereiche mit zumindest unterschiedlicher Intensität durch den Projektor beleuchtet werden können. Ein Lichtmuster kann beispielsweise aus „Löchern" (negative Mar ken/Messpunkte bei sonst gleichmäßiger Beleuchtung) bestehen. Es können auch Lichtmuster aus sich kreuzenden Linien, Ecken oder Schachbrettmuster verwendet werden. Das Kamerasteuergerät bzw. die Auswertungseinheit können insbesondere einen Mikrocontroller oder -prozessor, einen Digital Signal Processor (DSP) , einen ASIC (Application Specific Integrated Circuit) , einen FPGA (Field Programmable Gate Array) und dergleichen mehr sowie Software zur Durchführung der entsprechenden Steuerungs- bzw. Auswertungsschritte umfassen. Die vorliegende Erfindung kann somit in digitalen elektronischen Schaltkreisen, Computer-Hardware, Firmware oder Software im plementiert sein.
Gegenstand der Erfindung ist weiterhin ein Verfahren zur räumlichen Erfassung eines Umfeld eines Fahrzeugs mittels mindestens zwei Kameramodulen mit zumindest teilweise über lappenden Erfassungsbereichen und einen Punktlichtproj ektor . Der Punktlichtproj ektor projiziert ein Lichtmuster aus Mess punkten in das Fahrzeugumfeld. Zumindest ein Teil des proji zierten Lichtmusters wird im überlappenden Erfassungsbereich der mindestens zwei Kameramodule abgebildet. Die 3D-Position von Messpunkten im Fahrzeugumfeld wird aus mit den mindestens zwei Kameramodulen aufgenommenen Bilddaten bestimmt. Als Lichtmuster wird eine Folge von „Pseudo-Noise-Pattern" erzeugt, die zeitlich hintereinander (tO, tl, ... tn) in das Fahrzeugumfeld abgegeben werden. Das Verfahren kann insbesondere in Form von Software auf einem Steuergerät oder mehreren Steuergeräten oder der Aus wertungseinheit der Kameravorrichtung implementiert sein.
Weitere vorteilhafte Aspekte sind Gegenstand der abhängigen Ansprüche. Der Inhalt der Ansprüche wird durch ausdrückliche Inbezugnahme zum Inhalt der Beschreibung gemacht. Weitere vorteilhafte Aspekte werden im Folgenden angegeben.
Lichtmuster bestehend aus Pseudo-Noise Folge
- Das Punklichtpattern ist zu keinem Zeitpunkt regelmäßig. - Das projizierte Lichtmuster besteht aus einer Folge von „Pseudo-Noise-Pattern" , die zeitlich hintereinander in einer Folge (tO, tl, ... tn) abgestrahlt werden.
- Durch die zeitliche Abfolge der „Pseudo-Noise-Pattern" wird innerhalb von n Zeitschritten jede Umfeldposition mindestens einmal von einem Messpunkt des Lichtmusters belegt.
- Das Kamerasystem kann damit 3D-Messwerte in jeder Raumrichtung gleichmäßig verteilt bestimmen.
- Der Wechsel der Punktlicht-Pattern erfolgt jeweils zwischen den Aufnahmen der Stereokamera bzw. Videosensorik.
Zeitdauer der wechselnden Punktlicht-Projektionen
- Die Zeitdauer während der die Punktlicht-Muster abgestrahlt werden, ist an die Belichtungszeit der Videosensorik so angepasst dass die Punklichtmuster innerhalb der Belichtungsphase der Videosensorik sichtbar sind.
Abstand und Größe der Lichtpunkte angepasst an Größe der Korrelationsmasken der Videosensorik
- Der räumliche Abstand zwischen den Messpunkten innerhalb des „Pseudo-Noise-Pattern" ist angepasst an die Größe der Korre lationsmasken der Triangulations-Algorithmik des Ste- reo-Kamera-Sensors .
- Der Winkel zwischen den abgestrahlten Lichtpunkten entspricht im Videobild ca. der 2-fachen Größe der Patch-Korrelatoren.
Die Messpunkte sind nicht größer als 1/3 der Patch-Korrelator-Größe .
Kalibrierung/Kopplung von Kamera und Punklichtprojektor
- Bei dem angegebenen Verfahren wird auf eine Kalibrierung zwischen dem Kamerasystem und der Punklicht-Quelle verzichtet.
- Die 3D-Messfähigkeit des Systems ist durch die Stereo-Kamera oder Multi-Kamera bereits vollständig gegeben. - Eine Triangulation zwischen Lichtprojektor u. Kamera, wie bei „klassischen" Structured Light Ansätzen, ist bei dem vorlie genden Verfahren nicht erforderlich.
- Eine mechanische Kopplung oder Kalibrierung zwischen Kamera und Projektor ist daher nicht notwendig.
Direkte Messung von 3D-Position u. Relativgeschwindigkeit
- Durch die „quasistatische" Montage zwischen Projektor und Kamera werden die Lichtpunkte auch bei bewegter Kamera frei von Bewegungsunschärfe (motion blur) aufgenommen.
- Ändert sich während der Belichtungszeit jedoch der Abstand zu einem Messpunkt, so tritt im Videobild eine linienförmige Verzeichnung an dem jeweiligen Lichtpunkt in den Stereobildern auf .
- Bei linienförmig verzeichneten Lichtpunkten wird die Rela tivgeschwindigkeit der Messpunkte damit direkt aus der Länge der Linienelemente ermittelt.
- Gegenüber klassischen Stereo- u. Laser-Systemen ist damit eine „direkte" Geschwindigkeitsmessung möglich, die ansonsten nur über aufeinanderfolgende Messungen und Tracking ermittelt werden kann .
Einbau unabhängig von Fahrtrichtung
- Das Lichtpattern und die Erfassung der Messpunkte kann in beliebiger Richtung am Fahrzeug erfolgen.
- Es besteht keine Abhängigkeit bzgl. Fahrrichtung. Das System kann am Fahrzeugheck oder seitlich verbaut werden.
- Der Einbau des Punktlichtproj ektors hinter der Scheibe oder im Bereich der Frontscheinwerfer ist möglich.
Tag- / Nacht-Modus => Verbesserte AugenSicherheit
- Das System kann je nach Umgebungslicht in zwei Betriebsmodi verwendet werden. - Tagsüber arbeitet das Stereo-System ohne die projizierten Lichtpunkte. Bei genügend Umgebungslicht ermittelt das Ste reo-System die 3D-Messungen anhand der sichtbaren Strukturen im Videobild .
- Eine „Überstrahlung des Sonnenlichts" durch die Messpunkte ist bei dem vorgestellten Verfahren nicht erforderlich. Dadurch ergibt sich bzgl. Augensicherheit (es kann weniger Laser/Licht abgestrahlt werden) ein Vorteil gegenüber den „klassischen" Laser-Systemen .
- Der Punklichtprojektor wird nachts oder unter schlechten Lichtbedingungen verwendet. Wegen des geringeren Restlichts (Sonnenlicht nicht vorhanden) wird hier aber weniger La ser-Leistung benötigt um auf vergleichbare Reichweiten zu kommen .
Pixel-Licht, Fahrzeugscheinwerfer
- Als Punktlichtquelle können die im Fahrzeug vorhandenen LED-Scheinwerfer (Pixel-Licht) verwendet werden.
- Dabei werden die Punktlichter in schneller Folge so gewechselt, dass für den Fahrer eine gleichmäßige Lichtverteilung eines üblichen Frontscheinwerfers entsteht.
- Die Lichtpunkte werden zeitlich so variiert, dass jeder Bereich des Auswertebereichs innerhalb einer 24'tel Sekunde mindestens einmal beleuchtet wird.
Verwendung von nichtsichtbarem IR-Licht
- Für die Projektion der Messpunkte kann Licht im sichtbaren- oder nichtsichtbaren Bereich verwendet werden.
- Bei Verwendung einer Punktlichtquelle im nichtsichtbaren Infrarot-Bereich wird die Unterdrückung des Umgebungslichtes durch einen IR-Bandpass-Filter in der Kamera realisiert. Erstellung 3D-Tiefenkarte aus Lichtpunkten
- Eine „vollständige" 3D-Umgebungs-Karte wird von dem System durch die Überlagerung der 3D-Messungen aus den zeitlich hintereinander aufgenommen 3D-Punktwolken des Stereo-Sensors oder Multi-Kamera-Sensors ermittelt.
- Die zeitliche Überlagerung der Messungen erfolgt z.B. mittels eines Iterative Closest Points (ICP) Algorithmus.
Beliebige Lichtmuster
- Anstelle des angegeben Lichtmusters (kreisförmige Lichtpunkte) kann auch ein Punkte-Pattern bestehend aus „Löchern" (negative Marken/Messpunkte bei sonst gleichmäßiger Beleuchtung) ver wendet werden.
- Es können auch Muster aus sich kreuzenden Linien, Ecken oder Schachbrettmuster verwendet werden.
Anwendung mit mehreren Sensoren
- Die Lichtpunkte des Punklichtprojektors können von mehreren Sensoren gleichzeitig ausgewertet werden
- Eine zeitliche Synchronisierung der Sensoren untereinander und zum Punktlichtproj ektor ist nicht erforderlich.
- Anstelle der Stereokamera kann auch ein Kamerasystem bestehend aus mehreren Kameras zur Triangulation der 3D-Messpunkte verwendet werden.
Anwendung mit mehreren Punktlicht-Projektoren
Das Lichtpunktmuster kann aus Lichtpunkten von mehreren Punktlicht-Proj ektoren zusammengesetzt werden.
- Die Projektoren können an verschieden Orten am Fahrzeug Verbaut werden .
Einbaulage-Kalibrierung
- Durch die Projektion der Lichtpunkte auf eine ebene Fläche kann das Kamerasystem eine Einbaulage-Kalibrierung durchführen. - Die Kalibrierung der Kamera durch das Licht-Pattern ist im Stillstand und während der Fahrt möglich.
- Eine kontinuierliche Ermittlung der Einbaulage gegenüber einer ebenen Fläche (z.B. Fahrbahnoberfläche) ist möglich.
Erkennung von Störungen
- Durch eine kontinuierliche Überwachung des Punktemusters können Störungen im Fahrzeugumfeld oder im optischen Pfad (z.B. durch Verschmutzung) erkannt werden.
- Ein Defekt oder eine Störung liegt vor, wenn in einer Raumrichtung die Lichtpunkte des Patterns nicht mehr erkannt werden .
- Der Test auf Vorhandensein (Erkennung aller Lichtpunkte) wird als Selbsttest vor jedem Fahrzeugstart durchgeführt.
Vorteile der vorgestellten Lösung
- Gegenüber klassischen „Structured Light" Ansätzen ist bei dem vorgeschlagenen Verfahren keine Kalibrierung zwischen der Punklichtquelle und dem Kamerasystem erforderlich.
- Es tritt kein „Motion Blur"-Effekt in den Videodaten da sich die Punktlichtproj ektion relativ zur Kamera nicht bewegt.
- Die Methode ermöglicht die Entfernungs-Messung auf untex turierten Oberflächen. Gemessen/trianguliert wird der Abstand zu den Pattern-Punkten auch auf ansonsten „uniformen" Oberflächen.
Durch das „wechselnde" Lichtmuster sind 3D-Messwerte in gleichmäßiger Verteilung in jeder Raumrichtung möglich.
- Gegenüber klassischen Stereo-, Multi-Camera- u. Laser-Systemen ist eine „direkte" Geschwindigkeitsmessung möglich.
- Gegenüber den „klassischen" Systemen ergibt sich bei der vorgestellten Methode eine erhöhte Reichweite da tagsüber die sichtbaren Strukturen zur Entfernungsmessung in den Videobildern verwendet werden. - Bzgl. Augensicherheit ergibt sich ebenfalls ein Vorteil, da im Vergleich zu „klassischen" Systemen weniger Laser/Licht ab gestrahlt wird.
- Es sind keine „speziellen" Punktlichtquellen erforderlich. Es können die im Fahrzeug bereits vorhandenen LED-Scheinwerfer (Pixel-Lichter) verwendet werden.
Weitere Einsatzmöglichkeiten
- Anwendung für Surround-View Kameras (Rundumsichtkamerasys- teme) , d.h. seitlich oder hinter dem Fahrzeug möglich, indem mehrere Surround-View Kameras die 3D-Position der Lichtpunkte mittels Triangulation ermitteln.
Weitere Merkmale, Vorteile und Wirkungen der Erfindung ergeben sich aus der nachfolgenden Beschreibung bevorzugter Ausfüh rungsbeispiele der Erfindung. Dabei zeigen:
Fig. 1 schematisch eine Projektion von Messpunkten in das Umfeld eines Fahrzeugs mit einer Kamera vorrichtung;
Fig . 2 schematisch eine 3D-Triangulation von Mess punkten im Raum;
Fig . 3 schematisch eine Anordnung von Punktlichtpro- jektor und Stereokamera, die unabhängig von der Fahrtrichtung ist;
Fig. 4 schematisch den Abstand von Messpunkten in der
Bildebene der Kameravorrichtung; und
Fig . 5 schematisch eine zeitliche Folge von Pseu- do-Noise Pattern. Um die Stereo-Performance vor allem nachts zu verbessern, wird gemäß einem Ausführungsbeispiel ein Laser-Punklichtprojektor (3) zusammen mit einer Stereokamera (2) verwendet. In Fig. 1 ist ein Fahrzeug (1) dargestellt, welches eine ein Fahrtrichtung blickende Stereokamera (2) aufweist, z.B. im Bereich der Windschutzscheibe des Fahrzeugs (1) . Ein Punklichtprojektor (3) wird an einem Fahrzeug (1) befestigt, sodass sein Lichtmuster in das Fahrzeugumfeld proj iziert wird. Der Punktlichtproj ektor (3) projiziert ein Muster von beleuchteten Messpunkten (6), dar gestellt als schwarze gefüllte Kreise, auf das Umfeld vor dem Fahrzeug (1). Das dargestellte vorausliegende Umfeld des Fahrzeugs (1) entspricht einer Ebene, z.B. einer ebenen Fahrbahnoberfläche. Die Projektionsstrahlen (5) von einzelnen aktivierten Lichtelemente, z.B. LEDs oder Laserdioden des Punktlichtproj ektors (3) sind schematisch als gestrichelte Linien dargestellt. Vom Punktlichtproj ektor (3) momentan nicht beleuchtete Punkte (7) sind als weiße Kreise veranschaulicht. Die beiden Kameramodule der Stereokamera (2) weisen einen Überlappungsbereich auf, in dem die Erfassungsbereich beider Kameramodule überlappen. Messpunkte (6), die in diesem Über lappungsbereich liegen, werden von beiden Kameramodulen erfasst. Die Erfassungsrichtungen (4) der beiden Kameramodule sind in Fig . 1 für einen Messpunkt schematisch als durchgezogene Linien dargestellt .
In Fig. 2 wird veranschaulicht, wie die 3D-Positionen von Messpunkten (16; 26) durch Triangulation bestimmt werden kann. Die Stereokamera (2) umfasst ein erstes (21) und ein zweites (22) Kameramodul, die durch ein Gehäuse fest miteinander verbunden sind und eine definierte Basisbreite (einen seitlichen Abstand zueinander) aufweisen. Der Punktlichtproj ektor (3) projiziert ein Muster von beleuchteten Messpunkten (16, 26) auf das Umfeld (10, 11) . Das Umfeld umfasst eine ebene Fläche (10) und ein erhabenes quaderförmiges Objekt (11) . Im Bereich der ebenen Fläche projiziert der Punktlichtproj ektor (3) ein Muster aus beleuchteten ersten Messpunkten (16) und unbeleuchteten Flächen (weiße Kreise) vergleichbar der Situation in Fig. 1. Auf der dem Punktlichtproj ektor (3) zugewandten Seite (12) des erhabenen Objekts (11) werden zweite Messpunkte (26) und unbeleuchtete Flächen projiziert. Erste und zweite Messpunkte (16, 26) werden von beiden Kameramodulen (21, 22) der Stereokamera (2) abge bildet. In an sich bekannter Weise kann aus der Verschiebung (Disparität) eines Messpunkts (16; 26) in zeitgleich aufge nommenen Bilder des ersten (21) und des zweiten (2) Kameramoduls die 3D-Position des Fahrzeugumfelds (10, 11) bestimmt bzw. berechnet, die dieser Messpunkt (16, 26) beleuchtet. Somit kann das 3D-Umfeld rekonstruiert werden.
In Fig. 3 ist eine alternative Anordnung einer Stereokamera (22) und eines Punktlichtproj ektors (33) an einem Fahrzeug (1) schematisch dargestellt. In diesem Fall kann das linke seitliche und rückwärtige Umfeld des Fahrzeugs (1) erfasst bzw. ermittelt werden. Die Funktionsweise entspricht der zuvor bei Fig. 1 und 2 erläuterten.
Fig. 4 veranschaulicht schematisch wie Abstand und Größe der Lichtpunkte an die Größe einer Korrelationsmaske (40; 41) (Englisch: patch correlator) angepasst werden können. Gemeint ist hier der Abstand zwischen zwei benachbarten Punkten, die vom Projektor beleuchtet werden können. Der räumliche Abstand zwischen den Messpunkten innerhalb des „Pseudo-Noise Pattern" ist angepasst an die Größe der Korrelationsmasken (40; 41) der Triangulations-Algorithmik des Stereo-Kamera-Sensors (2). Der Winkel zwischen den abgestrahlten Lichtpunkten entspricht im Videobild ca. der 2-fachen Größe der SGM-Patch-Korrelatoren . Die Messpunkte sind nicht größer als 1/3 der
SGM-Patch-Korrelator-Größe . Fig. 5 veranschaulicht schematisch eine Folge von n zeitlich variierenden Pseudo-Noise Punktlicht-Mustern. Das Punkt- licht-Muster, also die Gesamtheit der vom Punktlichtproj ektor (3) beleuchteten (6) und nichtbeleuchteten (7) Flächen, ist zu keinem Zeitpunkt regelmäßig, sondern pseudo-zufällig ver rauscht. Das projizierte Lichtmuster (6, 7) besteht aus einer Folge von „Pseudo-Noise-Pattern" , die zu den aufeinander folgenden Zeitpunkten to, ti, ... tn abgestrahlt bzw. in das Fahrzeugumfeld projiziert werden.
Die in Fig. 5 exemplarisch dargestellten Pattern umfassen jeweils 10x10 Punkte, nummeriert von al (links oben) bis jlO (rechts unten) . Zum Zeitpunkt to sind die Punkte a2, alO, b7, c4, e2, e8, g6, glO, h3, i7, j 1 und j 5 beleuchtet . Zum nachfolgenden Zeitpunkt ti sind die Punkte a5, b2, b8, clO, d6, e3, gl, g5, h8, i2, j6 und jlO beleuchtet. Zum Zeitpunkt tn sind die Punkte al, a8, b4, c7, d3, dlO, f5, g2, g8, hlO, i6, j3 und j9 beleuchtet.
Durch die zeitliche Abfolge der „Pseudo-Noise-Pattern" wird innerhalb von n Zeitschritten jede Umfeldposition mindestens einmal von einem Messpunkt des Lichtmusters belegt. Die Ka meravorrichtung kann damit 3D-Messwerte in jeder Raumrichtung gleichmäßig verteilt bestimmen, also eine 3D-Punktwolke . Der Wechsel der Punktlicht-Pattern erfolgt jeweils zwischen den Aufnahmen der Kameramodule . Die Zeitdauer, während der die Punktlicht-Muster abgestrahlt werden, ist an die Belichtungszeit der Kameramodule so angepasst, dass die Punklichtmuster in nerhalb der Belichtungsphase der Kameramodule sichtbar sind. Eine„vollständige" 3D-Umgebungs-Karte wird von dem System durch die Überlagerung der 3D-Messungen aus den zeitlich hinterei nander aufgenommen 3D-Punktwolken der Stereokamera ermittelt. Die zeitliche Überlagerung der Messungen erfolgt z.B. mittels eines Iterative Closest Points (ICP) Algorithmus.

Claims

Patentansprüche / Patent Claims
1. Kameravorrichtung für ein Fahrzeug (1) umfassend mindestens zwei Kameramodule (21, 22) mit zumindest teilweise überlappenden Erfassungsbereichen, ein Kamerasteuergerät, eine Auswer teeinheit und einen Punktlichtproj ektor (3), wobei
- der Punktlichtproj ektor (3) derart angeordnet und konfiguriert ist, dass der Punktlichtproj ektor (3) ein Lichtmuster aus Messpunkten (6, 16, 26) in das Fahrzeugumfeld (10, 11) pro- j iziert ,
- die mindestens zwei Kameramodule (21, 22) derart angeordnet und konfiguriert sind, dass zumindest ein Teil des projizierten Lichtmusters im überlappenden Erfassungsbereich abgebildet wird,
- die Auswerteeinheit dazu konfiguriert ist, die 3D-Position von Messpunkten ( 86, 16, 26) im Fahrzeugumfeld (10, 11) aus mit den mindestens zwei Kameramodulen (21, 22) aufgenommenen Bilddaten zu bestimmen, und
der Punktlichtproj ektor (3) dazu konfiguriert ist, als Lichtmuster eine Folge von „Pseudo-Noise-Pattern" zu erzeugen, die zeitlich hintereinander (tO, tl, ... tn) in das Fahrzeugumfeld (10, 11) projiziert werden.
2. Kameravorrichtung nach Anspruch 1, wobei der Punktlicht- projektor (3) derart konfiguriert ist, dass durch die zeitliche Abfolge der„Pseudo-Noise-Pattern" innerhalb von n Zeitschritten jede Umfeldposition, die im überlappenden Erfassungsbereich der mindestens zwei Kameramodule (21, 22) liegt, mindestens einmal von einem Messpunkt (6, 16, 26) des Lichtmusters belegt wird.
3. Kameravorrichtung nach Anspruch 1 oder 2, wobei der Punktlichtproj ektor (3) derart konfiguriert ist, dass der Abstand zwischen benachbarten beleuchtbaren Messpunkten (6, 7, 16, 26) des Lichtmusters angepasst ist an die Größe einer Korrelationsmaske (40, 41), wobei die Korrelationsmaske (40, 41) von der Auswerteeinheit verwendet wird, um die 3D-Position aus den aufgenommenen Bilddaten zu bestimmen.
4. Kameravorrichtung nach einem der vorhergehenden Ansprüche, wobei als Punktlichtproj ektor (3) Scheinwerfer des Fahrzeugs (1) verwendet werden, deren Leuchtelemente maxtrixförmig angeordnet sind und ein einzeln angesteuert werden können.
5. Kameravorrichtung nach Anspruch 4, wobei die Scheinwerfer derart konfiguriert sind, dass die Punktlichter in schneller Folge so gewechselt werden, dass für den Fahrer eine gleichmäßige Lichtverteilung eines üblichen Frontscheinwerfers entsteht.
6. Kameravorrichtung nach einem der vorhergehenden Ansprüche, wobei die Auswerteeinheit dazu konfiguriert ist, eine 3D-Rekonstruktion des Fahrzeugumfelds durch eine Überlagerung der 3D-Messungen aus den zeitlich hintereinander mit den Ka meramodulen aufgenommenen Messpunkten des Lichtmusters zu ermitteln .
7. Kameravorrichtung nach einem der vorhergehenden Ansprüche, wobei die beiden Kameramodule (21, 22) starr miteinander verbunden und Elemente einer Stereokamera (2) mit parallelen optischen Achsen sind.
8. Kameravorrichtung nach einem der Ansprüche 1 bis 6, wobei die Kameravorrichtung derart ausgebildet ist, dass mindestens zwei Kameramodule (21, 22) an unterschiedlichen Positionen im oder am Fahrzeug (1) befestigt sind, insbesondere als Elemente eines Rundumsichtkamerasystems ( Surround-View Systems) , welches eine optische 360 Grad Erfassung des Umfelds (10, 11) des Fahrzeugs (1) bietet.
9. Kameravorrichtung nach einem der vorhergehenden Ansprüche, wobei die Kameravorrichtung dazu konfiguriert ist, durch eine Projektion der Lichtpunkte auf eine ebene Fläche eine Ein baulage-Kalibrierung der Kameramodule (21, 22) durchzuführen.
10. Verfahren zur räumlichen Erfassung eines Umfelds (10, 11) eines Fahrzeugs (1) mittels mindestens zwei Kameramodulen (21, 22) mit zumindest teilweise überlappenden Erfassungsbereichen und eines Punktlichtproj ektors (3), wobei
- der Punktlichtproj ektor (3) ein Lichtmuster aus Messpunkten (6,
16, 17) in das Fahrzeugumfeld (10, 11) projiziert,
- zumindest ein Teil des projizierten Lichtmusters wird im überlappenden Erfassungsbereich der mindestens zwei Kame ramodule (21, 22) abgebildet,
- die 3D-Position von Messpunkten (6, 16, 26) im Fahrzeugumfeld wird aus mit den mindestens zwei Kameramodulen (21, 22) auf genommenen Bilddaten bestimmt, und
- als Lichtmuster wird eine Folge von „Pseudo-Noise-Pattern" erzeugt, die zeitlich hintereinander (tO, tl, ... tn) in das Fahrzeugumfeld (6, 16, 26) abgegeben werden.
PCT/DE2018/200094 2017-12-14 2018-10-19 3d-umfelderfassung mittels projektion einer reihe pseudo-zufälligen mustern und stereo-kameramodulen WO2019114889A1 (de)

Priority Applications (4)

Application Number Priority Date Filing Date Title
DE112018002835.6T DE112018002835A5 (de) 2017-12-14 2018-10-19 3D-Umfelderfassung mittels Projektion einer Reihe Pseudo-zufälligen Mustern und Stereo-Kameramodulen
JP2020527930A JP2021507205A (ja) 2017-12-14 2018-10-19 プロジェクタとカメラモジュールを用いた３ｄ−周辺把握
US16/766,070 US11073379B2 (en) 2017-12-14 2018-10-19 3-D environment sensing by means of projector and camera modules
CN201880080303.5A CN111465819B (zh) 2017-12-14 2018-10-19 借助伪随机图案序列的投射以及立体摄像模块的三维环境感测

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102017222708.7A DE102017222708A1 (de) 2017-12-14 2017-12-14 3D-Umfelderfassung mittels Projektor und Kameramodulen
DE102017222708.7 2017-12-14

Publications (1)

Publication Number Publication Date
WO2019114889A1 true WO2019114889A1 (de) 2019-06-20

Family

ID=64267408

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/DE2018/200094 WO2019114889A1 (de) 2017-12-14 2018-10-19 3d-umfelderfassung mittels projektion einer reihe pseudo-zufälligen mustern und stereo-kameramodulen

Country Status (5)

Country Link
US (1) US11073379B2 (de)
JP (1) JP2021507205A (de)
CN (1) CN111465819B (de)
DE (2) DE102017222708A1 (de)
WO (1) WO2019114889A1 (de)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102310102B1 (ko) * 2020-05-13 2021-10-08 이동우 그린라이 상태정보를 바탕으로 사용자의 예상 퍼팅경로를 제공하는 그린라이 계측장치

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020068960A1 (en) * 2018-09-26 2020-04-02 Coherent Logix, Inc. Any world view generation
DE102020117060B4 (de) * 2020-06-29 2022-05-05 Audi Aktiengesellschaft Vorrichtung und Verfahren zur Umfelderfassung eines Fahrzeugs
DE102020130473B3 (de) * 2020-11-18 2022-01-27 Dr. Ing. H.C. F. Porsche Aktiengesellschaft Verfahren und System zur abstandsabhängigen Projektion von Bildobjekten bei HD-Matrix-Scheinwerfern
DE102021202779A1 (de) 2021-03-23 2022-09-29 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren und Vorrichtung zur Kalibrierung einer Kamera in einem Fortbewegungsmittel
DE102021206336A1 (de) 2021-06-21 2022-12-22 Robert Bosch Gesellschaft mit beschränkter Haftung Vorrichtung und Verfahren zur optischen Analyse einer Oberfläche
US20240029443A1 (en) * 2022-07-25 2024-01-25 Lumileds Llc Vehicle camera vision and control system and method
DE102022003313A1 (de) 2022-09-09 2024-03-14 Mercedes-Benz Group AG Verfahren zur Kalibrierung von Fahrzeugscheinwerfern

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19730414A1 (de) 1997-07-16 1999-01-21 Opel Adam Ag Verfahren und Vorrichtung zur vorausschauenden Fahrbahnbeurteilung
US20090066929A1 (en) * 2006-01-08 2009-03-12 Hermann Tropf Creation of a Range Image
DE102012207716A1 (de) * 2012-05-09 2013-11-14 Robert Bosch Gmbh Optisches Abtastsystem und optisches Abtastverfahren
DE202015105376U1 (de) 2015-10-12 2015-10-19 Sick Ag 3D-Kamera zur Aufnahme von dreidimensionalen Bildern
DE102015008551A1 (de) 2015-07-07 2016-01-14 Daimler Ag Kalibrierung einer Kameraeinheit eines Kraftwagens
EP3070641A1 (de) * 2015-03-11 2016-09-21 Ricoh Company, Ltd. Abbildungssystem, bildverarbeitungssystem, lichtprojektionsvorrichtung und objekterkennungsverfahren

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0687377A (ja) * 1992-09-04 1994-03-29 Yazaki Corp 車両周辺監視装置
JP2001338280A (ja) * 2000-05-30 2001-12-07 Nippon Telegr & Teleph Corp <Ntt> ３次元空間情報入力装置
US7027634B2 (en) * 2002-02-13 2006-04-11 Ascension Technology Corporation Range adaptable system for determining the angular position and distance of a radiating point source and method of employing
JP2006054504A (ja) * 2004-08-09 2006-02-23 Olympus Corp 画像生成方法および装置
JP4837610B2 (ja) * 2007-03-29 2011-12-14 パナソニック株式会社 暗視撮像装置及びヘッドライトモジュール
DE102010007396B4 (de) 2010-02-03 2013-10-02 Carl Zeiss Oim Gmbh Verfahren und Vorrichtung zum optischen Inspizieren eines Prüflings mit einer zumindest teilweise reflektierenden Oberfläche
EP2400261A1 (de) * 2010-06-21 2011-12-28 Leica Geosystems AG Optisches Messverfahren und Messsystem zum Bestimmen von 3D-Koordinaten auf einer Messobjekt-Oberfläche
JP2013114290A (ja) * 2011-11-25 2013-06-10 Seiko Epson Corp 安全支援装置、及び、安全支援方法
DE102011121696A1 (de) * 2011-12-16 2013-06-20 Friedrich-Schiller-Universität Jena Verfahren zur 3D-Messung von tiefenlimitierten Objekten
DE102012015939A1 (de) * 2012-08-10 2014-02-13 Audi Ag Kraftfahrzeug mit Fahrerassistenzsystem und Verfahren zum Betrieb eines Fahrerassistenzsystems
DE102013102820A1 (de) * 2013-03-19 2014-09-25 Conti Temic Microelectronic Gmbh Stereokameramodul sowie Verfahren zur Herstellung
US20140307055A1 (en) * 2013-04-15 2014-10-16 Microsoft Corporation Intensity-modulated light pattern for active stereo
DE102014203335A1 (de) * 2014-02-25 2015-08-27 Automotive Lighting Reutlingen Gmbh Lichtmodul eines Kraftfahrzeugscheinwerfers und Scheinwerfer mit einem solchen Lichtmodul
EP3067826B1 (de) * 2015-03-11 2021-05-05 Ricoh Company, Ltd. Bildverarbeitungssystem und verfahren zur parallax-bilderzeugung
JP6687886B2 (ja) * 2015-03-11 2020-04-28 株式会社リコー 画像処理システム、移動体制御システム、移動体装置、物体検出方法、物体検出プログラム
CN105222752B (zh) * 2015-09-29 2017-12-26 中国民用航空总局第二研究所 一种使用结构光的移动式道面检测装置及方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19730414A1 (de) 1997-07-16 1999-01-21 Opel Adam Ag Verfahren und Vorrichtung zur vorausschauenden Fahrbahnbeurteilung
US20090066929A1 (en) * 2006-01-08 2009-03-12 Hermann Tropf Creation of a Range Image
DE102012207716A1 (de) * 2012-05-09 2013-11-14 Robert Bosch Gmbh Optisches Abtastsystem und optisches Abtastverfahren
EP3070641A1 (de) * 2015-03-11 2016-09-21 Ricoh Company, Ltd. Abbildungssystem, bildverarbeitungssystem, lichtprojektionsvorrichtung und objekterkennungsverfahren
DE102015008551A1 (de) 2015-07-07 2016-01-14 Daimler Ag Kalibrierung einer Kameraeinheit eines Kraftwagens
DE202015105376U1 (de) 2015-10-12 2015-10-19 Sick Ag 3D-Kamera zur Aufnahme von dreidimensionalen Bildern

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
DANICK DESJARDINS ET AL: "Dense Stereo Range Sensing with Marching Pseudo-Random Patterns", COMPUTER AND ROBOT VISION, 2007. CRV '07. FOURTH CANADIAN CONFERE NCE ON, 1 May 2007 (2007-05-01), Pi, pages 216 - 226, XP055555460, ISBN: 978-0-7695-2786-4, DOI: 10.1109/CRV.2007.22 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102310102B1 (ko) * 2020-05-13 2021-10-08 이동우 그린라이 상태정보를 바탕으로 사용자의 예상 퍼팅경로를 제공하는 그린라이 계측장치

Also Published As

Publication number Publication date
CN111465819A (zh) 2020-07-28
US20200348127A1 (en) 2020-11-05
US11073379B2 (en) 2021-07-27
DE112018002835A5 (de) 2020-02-20
DE102017222708A1 (de) 2019-06-19
JP2021507205A (ja) 2021-02-22
CN111465819B (zh) 2023-07-25

Similar Documents

Publication Publication Date Title
WO2019114889A1 (de) 3d-umfelderfassung mittels projektion einer reihe pseudo-zufälligen mustern und stereo-kameramodulen
EP1933167B1 (de) Optoelektronischer Sensor sowie Verfahren zur Erfassung und Abstandsbestimmung eines Objekts
DE102010037744B3 (de) Optoelektronischer Sensor
DE10305010B4 (de) Vorrichtung und Verfahren zur Bilderzeugung
DE19727281C1 (de) Verfahren und Vorrichtung zur geometrischen Kalibrierung von CCD-Kameras
DE102008025458B4 (de) Verfahren und Vorrichtung zur Kalibrierung einer durch einen Frontscheinwerfer eines Fahrzeugs erzeugten horizontalen Hell-Dunkel-Grenze
EP3465534B1 (de) Beleuchtungseinrichtung für ein kraftfahrzeug zur erhöhung der erkennbarkeit eines hindernisses
EP2416139A1 (de) Verfahren zur Kalibrierung eines wenigstens einen Scheinwerfer eines Kraftfahrzeuges ansteuernden Fahrzeugsystems
DE102012211791B4 (de) Verfahren und Anordnung zum Prüfen eines Fahrzeugunterbodens eines Kraftfahrzeuges
DE102011109440A1 (de) Verfahren zum Justieren und/oder Kalibrieren zumindest eines Scheinwerfers eines Fahrzeugs
DE102010039092B4 (de) Verfahren und Steuergerät zum Ermitteln eines Abstandes eines Objektes von einem Fahrzeug
DE102020007613A1 (de) Verfahren zur Generierung einer dreidimensionalen Tiefeninformationskarte einer Umgebung
DE102008062995A1 (de) 3D-Kamera zur Raumüberwachung
DE102011081384B4 (de) Verfahren und Vorrichtung zur Abstandsbestimmung für ein Fahrzeug
DE102007004349A1 (de) Nachtsichtsystem, insbesondere für ein Fahrzeug, und Verfahren zum Erstellen eines Nachtsichtbildes
DE102005037094B3 (de) Kalibrierverfahren für einen Sensor zur Abstandsmessung
EP3775767A1 (de) Verfahren und system zur vermessung eines objekts mittels stereoskopie
DE102013007886B3 (de) Time-of-Flight-System mit räumlich voneinander getrennten Time-of-Flight-Empfangseinrichtungen und Verfahren zur Abstandsmessung von einem Objekt
DE202015105376U1 (de) 3D-Kamera zur Aufnahme von dreidimensionalen Bildern
DE102015223500B4 (de) Verfahren und Vorrichtung zur Prüfung der Funktionalität einer außenseitigen Lichteinrichtung eines Fahrzeugs
DE112018004292T5 (de) Vorrichtung und verfahren
DE102013007961B4 (de) Optisches Messsystem für ein Fahrzeug
DE102011017707A1 (de) Verfahren und Vorrichtung zur Erkennung von einem Objekt in einer Umgebung einer Kamera
DE102020117060B4 (de) Vorrichtung und Verfahren zur Umfelderfassung eines Fahrzeugs
WO2018210986A1 (de) Anordnung und verfahren zur berührungslosen entfernungsbestimmung nach art des lichtschnittverfahrens

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18800032

Country of ref document: EP

Kind code of ref document: A1

REG Reference to national code

Ref country code: DE

Ref legal event code: R225

Ref document number: 112018002835

Country of ref document: DE

ENP Entry into the national phase

Ref document number: 2020527930

Country of ref document: JP

Kind code of ref document: A

122 Ep: pct application non-entry in european phase

Ref document number: 18800032

Country of ref document: EP

Kind code of ref document: A1