WO2022002719A1 - Vorrichtung und verfahren zur umfelderfassung eines fahrzeugs - Google Patents

Vorrichtung und verfahren zur umfelderfassung eines fahrzeugs Download PDF

Info

Publication number
WO2022002719A1
WO2022002719A1 PCT/EP2021/067156 EP2021067156W WO2022002719A1 WO 2022002719 A1 WO2022002719 A1 WO 2022002719A1 EP 2021067156 W EP2021067156 W EP 2021067156W WO 2022002719 A1 WO2022002719 A1 WO 2022002719A1
Authority
WO
WIPO (PCT)
Prior art keywords
light pattern
lighting device
evaluation unit
camera module
surroundings
Prior art date
Application number
PCT/EP2021/067156
Other languages
English (en)
French (fr)
Inventor
Thilo Krause
Markus Heidrich
Timo Iken
Original Assignee
Volkswagen Ag
Audi Ag
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Volkswagen Ag, Audi Ag filed Critical Volkswagen Ag
Priority to CN202180045321.1A priority Critical patent/CN115720633A/zh
Priority to US18/010,942 priority patent/US20230236320A1/en
Publication of WO2022002719A1 publication Critical patent/WO2022002719A1/de

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/46—Indirect determination of position data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G01S7/4814—Constructional features, e.g. arrangements of optical elements of transmitters alone
    • G01S7/4815—Constructional features, e.g. arrangements of optical elements of transmitters alone using multiple transmitters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/251—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/254—Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Definitions

  • the invention relates to a device for detecting the surroundings of a vehicle.
  • the invention also relates to a method for detecting the surroundings by means of a structure-providing camera module and also to a vehicle set up to carry out this method.
  • driver assistance systems that intervene in the driving dynamics of the vehicle to support a driver or (partially) autonomously.
  • Current driver assistance systems in particular of motor vehicles, are set up to be able to react dynamically to the surroundings of the motor vehicle in traffic.
  • means must be provided by which the geometric and dynamic properties, such as the spatial distance from certain objects in the vicinity to the motor vehicle, can be determined. Therefore, such driver assistance systems that intervene in longitudinal and lateral guidance require a valid model of the environment for safe navigation. This information is made available in vehicles in particular by radar, lidar and camera sensors.
  • All of these sensors have specific properties and features that make the respective modality preferable or restrict its suitability for certain applications.
  • two-dimensional measurements of the position or measurements of the speed of objects in the vicinity are sufficient.
  • a 3D sensor is advantageous for applications in which precise navigation is required, for example in (partially) automated driving. In this way, structures can be simulated in three-dimensional space and robust, collision-free navigation can be guaranteed.
  • Laser scanners, stereo cameras and mono cameras with so-called “structure-from-motion” algorithms (SfM) are used to measure objects and surrounding structures. Reconstruction algorithms based on neural networks which can be applied to mono or stereo camera images are also being developed.
  • Laser scanner methods are known, a laser light pattern emitted by a laser beam source being evaluated using the triangulation method. For this, if infrared lasers are used, a camera used must be sensitive to infrared, which, however, falsifies the color perception in the visible spectral range, or the laser light patterns must be in the visible spectral range, which can be disruptive in traffic. In addition, due to their complex technology, laser scanners are still very cost-intensive.
  • stereo cameras that are used for 3D environment detection
  • the image information between the camera images is correlated to calculate the distance information.
  • Stereo cameras require a texture of the object to be recognized in order to use this technology. Under favorable lighting conditions, there is usually enough texture information to determine depth information in the video images. For stereo image processing, the daylight is therefore usually sufficient for the correlation analysis. Texture information can essentially be obtained from contrast differences at object edges. In poor lighting conditions, for example at night, the stereo processes quickly reach their limits despite vehicle lighting.
  • LED headlights are increasingly being used in modern vehicles. In higher-quality equipment, these are designed as so-called matrix LED headlights. Due to their construction, in particular their individually controllable pixels, these matrix headlights are able to project patterns onto the roadway and the objects in the vicinity.
  • the invention is now based on the object of overcoming the disadvantages of the prior art and of providing a method and a vehicle which enable simplified and improved three-dimensional environment recognition, in particular of unstructured surfaces.
  • the object is achieved by a device, a method and a motor vehicle according to the main claims.
  • Preferred embodiments of the invention emerge from the respective dependent claims and the associated description.
  • a first aspect of the present invention relates to a device for detecting the surroundings for a vehicle, in particular a structure-providing camera sensor, comprising at least one camera module, a camera control device, an evaluation unit and a lighting device.
  • the lighting device is formed by a matrix headlight of the vehicle and is set up to project a light pattern into the environment that is related to the distance to Lighting device varies.
  • the at least one camera module is designed to image at least part of the light pattern projected into the surroundings.
  • the evaluation unit is set up to determine a 3D position from image data recorded with the camera module.
  • the evaluation unit is set up to determine environmental areas on the basis of values that are critical for determining the 3D position.
  • the lighting device is further designed to project the light pattern only into the critical environmental areas determined by the evaluation unit and the evaluation unit is further designed to determine a 3D position of measurement points formed by the light pattern in the surroundings from image data recorded with the at least one camera module .
  • the invention has the advantage that comprehensive and reliable three-dimensional images are generated.
  • the device is set up to provide objects and image areas that have, for example, a contrast that leads to unusable 3D image data, with an additional structure or texture based on critical values of the scene under consideration and thus selectively the three-dimensional recognition of To improve sub-areas or even to establish them in the first place.
  • the camera module records two-dimensional image data with an image sensor and the evaluation unit uses this to calculate three-dimensional images in a manner known per se. Using object recognition and classification, hazard assessments, recommendations or direct interventions in the vehicle's driving dynamics can be made within the framework of a driver assistance system.
  • the structured lighting provided by the light pattern makes it possible to provide flat, reliable distance information.
  • the evaluation unit checks the image data with regard to predetermined criteria that are relevant for the three-dimensional position determination. Since the additional structured lighting also imposes a sufficient distinguishable contrast, for example, non-contrasting or repetitive image areas that actually do not meet the criteria, the lighting device ensures that correspondences can also be reliably found in such areas without a natural structure. For example, in structured environments such as parking garages, there are often insufficient textures on the surfaces. In particular, homogeneous road surfaces or smooth monochrome walls, which cause difficulties for the 3D environment detection by stereo cameras, can also be detected according to the invention.
  • a permanent static light pattern that occupies the entire scene can also have disadvantages, for example by superimposing the light pattern with the natural texture of the scene that areas are overexposed or the desired contrast improvement is lost again.
  • the quality and reliability of the distance information may therefore be impaired by a deterioration in contrast or uniqueness.
  • This disadvantage is avoided by the present invention in that a light pattern is only projected into areas in which the evaluation unit has determined a critical area on the basis of the captured image data. This reduces the evaluation effort and also the performance for the lighting device.
  • Contrast values can preferably be used as critical values.
  • the evaluation of the density of measurement points, which are formed, for example, by the texture, with regard to a limit value is also preferred.
  • a speed value or a rapidly changing distance value of a surrounding area apply as a critical value.
  • a critical area can be determined by object identification and / or object classification carried out by the evaluation unit on the basis of image data.
  • Certain recognized object classes are therefore preferably considered to be a critical value in the context of the invention. It is particularly preferred that object classes which include living beings such as humans and animals are covered with a light pattern.
  • the entire surrounding area captured by the camera module is preferably considered to be the critical surrounding area and is preferably assigned a light pattern.
  • Measurement points formed by the light pattern are not only to be understood as point or circular light points as elements of the light pattern, but also flat areas that can be illuminated by the lighting device with different intensities. Holes, i.e. darkened areas, are also included in the term measuring point.
  • the measuring points of the light pattern can also have the most varied of geometric shapes and, for example, also represent lines. Furthermore, the measuring points can be regular or uncorrelated and irregular, but can be determined by the evaluation unit.
  • the lighting device is formed by a matrix headlight, the individual pixels of which can be precisely controlled in terms of brightness and direction.
  • the headlights of the vehicle are used as lighting equipment, no additional light source has to be installed and the rigid installation defines a fixed position to the camera module, which facilitates the calibration of the entire device. Components that are present in the vehicle are thus used and combined to ensure the robustness and accuracy of the
  • Lighting device has a switchable LED or laser diode array.
  • the lighting device must be able to be switched over quickly, preferably so quickly that an average uniform light distribution of a conventional headlight is created for the driver. This is preferably implemented in that the light pattern preferably does not come through
  • Switchable semiconductor arrays with a large number of LEDs or laser diodes are therefore particularly suitable.
  • Each pixel is preferably formed by an LED or laser diode, or an individually controllable and switchable micromirror array is illuminated by optics.
  • Both matrix LED headlights and matrix laser headlights are available as front headlights, but the latter are not yet used in the broad mass market due to their high cost.
  • the control unit synchronize the camera module and the lighting device in such a way that projected light patterns are assigned to a recording of the camera module and additionally or alternatively control the light pattern projection only for the time that the shutter of the camera module is opened.
  • the camera module is formed by a stereo camera.
  • the camera module has two image sensors in offset, fixedly spaced perspectives and the evaluation unit uses a stereo algorithm to calculate the distance information for one of the associated partial areas of the image data recorded by the image sensors, usually using a triangulation method.
  • the lighting device is set up to project a light pattern that varies with the distance from the lighting device.
  • the distance of an object can be determined not only by detecting and calculating the distortion of a pattern and its individual pattern elements, for example by triangulation, but the pattern itself is variable and forms a distance indicator that is easy to determine for the evaluation unit when the evaluation unit activates Reference pattern course is known.
  • the computing effort and computing time for determining distance data are again significantly reduced.
  • the lighting device is set up to project a light pattern, the shape of individual measurement points of the light pattern varying with the distance from the lighting device. This offers the evaluation another simple distance indicator in order to reduce computational effort and computing time and can replace the correlation algorithm in order to create a first, fast depth image, which can then be further refined with correlation algorithms if necessary.
  • the invention also relates to a method for spatial detection of the surroundings of a vehicle by means of at least one camera module, a camera control device, an evaluation unit and a lighting device, the lighting device, which is formed by a matrix headlight of the vehicle, projects a light pattern into the surroundings of the vehicle . At least part of the projected light pattern is imaged by the at least one camera module. A 3D position is determined by the evaluation unit from image data of the at least one camera module, and environmental areas are determined on the basis of values that are critical for determining the 3D position. The lighting device projects the light pattern into the critical environmental areas determined by the evaluation unit, and the evaluation unit determines a 3D position of measurement points in the surroundings formed by the light pattern from image data recorded with the at least one camera module.
  • the method is particularly suitable for being implemented in the form of software on a control device of the vehicle or a plurality of control devices or the evaluation unit of the camera module.
  • the method enables distance measurement on untextured surfaces.
  • the only situational projection of the light pattern in areas with low measurement point density means that distance information can also be generated for otherwise uniform, contrastless surfaces.
  • the measurement and processing effort is reduced, since the visible structures are usually used to measure the distance in the video images.
  • the light pattern is projected in such a way that the light pattern varies with the distance from the lighting device, and more preferably a light pattern is projected in which the shape of individual pattern elements varies with the distance from the lighting device. It is further preferred that the light pattern is brief in this way it is projected that a uniform light distribution of a conventional headlight is created for the driver. As a result, it is possible that the sensory impression of the driver or another road user consists only of the entire area of the lighting. In addition, it can also be avoided that the projected light pattern has a disruptive effect on other detection sensors.
  • Figure 1 is a schematic representation of a vehicle with an inventive
  • Figure 2 is a schematic representation of a projected according to the invention
  • Figure 3 is a schematic representation of a projected according to the invention
  • FIG. 1 shows a schematic representation of a vehicle 10 which has a camera module 11 which looks in the direction of travel and is designed as a stereo camera.
  • the camera module 11 is arranged, for example, in the area of the windshield of the vehicle 10.
  • the camera module 11 is set up to record three-dimensional image data, also referred to as distance images or depth maps, of a surrounding area 12 of the vehicle 10.
  • the camera module 11 consists of two camera units 11a, 11b, which are mounted at a known fixed distance from one another and each record image data of the surrounding area 12.
  • An image sensor is provided in each camera unit 11a, b, usually a matrix-shaped recording chip which records a rectangular pixel image, for example a CCD or a CMOS sensor.
  • the image sensors are usually assigned an objective with imaging optics, which in practice can be implemented as any known imaging optics.
  • the two camera units 11a, b as a stereo camera formed camera module 11 have an overlap area 12 in which the detection areas of the two camera units 11a, b overlap.
  • a lighting device 13 designed as a headlight of the vehicle 10 with a light source and transmission optics is shown.
  • the lighting device 13 enables a pixel-based, quantized structured light pattern 14, which is shown in simplified form as a point pattern, to be projected in real time.
  • the light pattern 14 should preferably be at least locally unambiguous or self-dissimilar in the sense that structures of the light pattern 14 do not lead to apparent correlations or unambiguously characterize an illumination area.
  • the lighting device 13 is able to project any given pixel pattern as a structured light pattern 14 in real time via a camera control unit 15 which controls the camera module 11 and the lighting device 13.
  • a camera control unit 15 which controls the camera module 11 and the lighting device 13.
  • Such an adaptive, dynamic lighting device 13 can be implemented, for example, by using a micro-display with a light source in the form of one or more high-power LEDs or laser diodes, in particular in an array.
  • the lighting device 13 uses a switchable array of LEDs or laser diodes.
  • the individual light sources themselves form the pixels of the light pattern 14.
  • a combined evaluation and control unit is connected to camera module 11 and lighting device 13. This can be integrated in the vehicle control device in order to be able to access the vehicle headlights 13 and the camera modules 11 via the integrated vehicle electronics and also the driving electronics and mechanics by means of the driver assistance system.
  • the structured light pattern 14 is specified by means of the evaluation unit 16 and it receives image data from the image sensors. From this image data, the evaluation unit 16 calculates three-dimensional image data of the environmental area 12 under consideration using a stereo algorithm known per se 17th
  • the lighting device 13 and the camera module 11 should preferably go through a calibration process so that the exact assignment between lighting pixels and the captured image pixels is determined. In the case of an integrated lighting device 13 as shown in FIG. 1, this is preferably done at the factory.
  • the projected light pattern 14 is adapted to the surroundings 12.
  • the camera module 11 preferably as a passive stereo camera, continuously records data on the surroundings and generates three-dimensional depth maps from them. This can be done, for example, without supporting lighting of the vehicle 10, but usually with homogeneous lighting by the lighting device 13, for example by daytime running lights or in poor natural light conditions, for example at night or in a tunnel, by the low or high beam of the lighting device 13 of the vehicle 10 happen.
  • Contrast information and possibly distance information of the currently detected area of the surroundings 12 are calculated from the recorded image data of the image sensors and, if applicable, a three-dimensional image generated therefrom in the stereo camera.
  • the evaluation unit 16 can determine for image areas whether information for creating a relevant depth image is missing because, for example, the natural texture formed by the edges of an object 17 or a surface of an object 17 is too small or below a critical value.
  • the light pattern 14 to be projected can then provide sufficient contrast at all relevant points in order to enable reliable 3D detection. According to the invention, a light pattern 14 is applied only to points with insufficient contrast ratios or unreliable distance values.
  • the lighting device 13 projects the light pattern 14 to be projected into the surrounding area 12.
  • the two two-dimensional output images are recorded with the image sensors of the camera module 11 of the stereo camera and are converted into a three-dimensional image by the evaluation unit.
  • the light pattern 14 can then be used in further recordings for capturing the three-dimensional image. This makes it possible to adapt the light pattern 14 and the evaluation of the image data to the surrounding situation. In certain situations, for example when an object 17 is approaching or at an object 17, a part of the surroundings 12 can be illuminated and evaluated in a more highly structured manner than in other situations, for example when the field of view is clear.
  • a targeted adaptation of lighting, evaluation and light patterns 14 can be implemented, for example when cornering or in relation to the driving speed of vehicle 10.
  • the invention is based on the stereo camera shown in FIG. 1, other 3D cameras are also conceivable, in particular with only one high-resolution camera and a projection method in which the pattern distortion of the light pattern 14, which is correlated with the distance, results in a displacement of the image data point 18 results (active triangulation).
  • a camera unit can therefore be omitted and the stereo camera is correspondingly redesigned into a triangulation unit.
  • the light pattern projection method according to the invention can, however, also be implemented in the stereo camera using one of the camera units 11a, b, the camera control 15 and evaluation unit 16 then being designed for both methods.
  • FIG. 2 schematically shows an example of the projection of a light pattern 14 in such a way that the light pattern 14 varies with the distance from the lighting device 13.
  • Such variability can be implemented, for example, in that some of the individually controllable lighting pixels, e.g. switchable LEDs that can be varied in brightness and emission direction, or elements of a micromirror array that form the light pattern elements, do not run parallel to one another. If some reference elements are then stored for the light pattern 14, the evaluation unit 16 can easily infer the distance of the surface from the changed distance between individual surface measurement points 18. This is also possible for otherwise identical, structureless smooth surfaces. Another possibility is to use projection optics, in particular microlenses.
  • measuring points 18 can have different focal lengths, so that the light pattern 14, which is projected into the surroundings 12 of the vehicle 10, varies with the distance. Not all measuring points 18 then appear in different image planes 19 that are dependent on the distance.
  • Individual beam courses 20 are shown by way of example, these being formed by the projected light of the individually controllable pixels of the pixel matrix spotlight 13. These beam courses 20 intersect a first and a second image plane 19 and form a measuring point 18 there.
  • a first group 21 of measuring points 18 remains constant regardless of the distance, while a second group 22 of measuring points 18 is variable relative to the first group 21. Characterized here by a different beam angle.
  • the first group 21 of measuring points 18 forms a reference to which the evaluation unit 16 determines the relative change in the second group 22.
  • a light pattern 14 is projected in that the individual elements of the light pattern 14, that is to say the measurement points 18, vary with the distance from the lighting device 13, as shown schematically in FIG. You can do this
  • microlenses can be used, some or all of the microlenses having multiple different focal lengths, so that the measuring points 18 do not appear in all image planes 19.
  • Astigmatic micro-projection lenses can also be used as microlenses, which means that the shape of the measuring points 19 changes.
  • This distance information which can be evaluated comparatively quickly, can additionally reduce the computing effort and computing time by using, for example, two-stage 3D recognition. For example, a rough evaluation can initially be carried out in this way and if, for example, an area is identified that is approaching at a high speed, a more precise and more complex evaluation can be carried out.
  • different light patterns 14 can be used within the scope of the invention, for example, but expressly not exhaustively, line patterns, stripe patterns, point patterns, grid patterns, checkerboard patterns and / or pseudo-random patterns.
  • pseudo random means that the light pattern 14 is generated randomly, but both the control unit of the pixel headlight 13, which ensures the emission and projection of the light pattern 14, and the camera control unit 15, or the evaluation unit 16 of the camera module 11, which does the Light pattern 14 uses to identify the environment-specific properties, is known.
  • a non-uniform, uncorrelated light pattern 14 is used.
  • This also includes, for example, a quasi-periodic light pattern 14, which has parallel sections in a first direction, which in turn contain uncorrelated patterns in a second direction.
  • Uncorrelated light pattern 14 means in the case that the positions of the measurement points 18 are uncorrelated in the sense that an autocorrelation of the pattern 14 becomes insignificant for a displacement larger than the point size 18. This is particularly important for use with stereo camera modules 11, so that the individual camera units 11a, b always evaluate the same measuring points 18 of the light pattern 14 and not, for example, compare an identical but shifted pattern section with one another as in a regular pattern.

Abstract

Die Erfindung betrifft eine Vorrichtung zur Umfelderfassung eines Fahrzeugs (10). Die Erfindung betrifft ferner ein Verfahren zur Umfelderfassung und ferner ein zum Durchführen dieses Verfahrens eingerichtetes Fahrzeug (10). Es ist sind ein Kameramodul (11), ein Kamerasteuergerät (15), eine Auswerteeinheit (16) und eine Beleuchtungseinrichtung (13) vorgesehen. Die Beleuchtungseinrichtung (13) ist durch einen Matrixscheinwerfer des Fahrzeugs (10) gebildet und derart eingerichtet, dass die sie ein Lichtmuster (14) in das Umfeld (12) projizieren kann. Das projizierte Lichtmuster (14) wird im Erfassungsbereich des Kameramoduls (11) abgebildet und durch die Auswerteeinheit (16) wird die 3D-Position von durch das Lichtmuster (14) gebildeten Messpunkten (18) im Umfeld (12) bestimmt. Die Beleuchtungseinrichtung (13) projiziert jedoch das Lichtmuster (14) nur in Umfeldbereiche, in denen die Auswerteeinheit (16) aufgrund von Bilddaten einen für die 3D-Positionsbestimmung kritischen Wert festgestellt hat.

Description

Beschreibung
Vorrichtung und Verfahren zur Umfelderfassung eines Fahrzeugs
Die Erfindung betrifft eine Vorrichtung zur Umfelderfassung eines Fahrzeugs. Die Erfindung betrifft ferner ein Verfahren zur Umfelderfassung mittels eines strukturgebenden Kameramoduls und ferner ein zum Durchführen dieses Verfahrens eingerichtetes Fahrzeug.
Es gibt zunehmend Fahrzeuge, insbesondere PKW, die mit Fahrerassistenzsystemen ausgestattet sind, die unterstützend zu einem Fahrer oder (teil-)autonom in die Fahrdynamik des Fahrzeugs eingreifen. Aktuelle Fahrerassistenzsysteme, insbesondere von Kraftfahrzeugen, sind dazu eingerichtet, im Verkehr dynamisch auf die Umgebung des Kraftfahrzeugs reagieren zu können. Um vor allem die Fahrbahn vorausschauend beurteilen zu können, müssen Mittel vorgesehen sein, durch welche die geometrischen und dynamischen Eigenschaften, wie etwa der räumliche Abstand von bestimmten Objekten in der Umgebung zu dem Kraftfahrzeug feststellbar sind. Daher benötigen solche in die Längs- und Querführung eingreifende Fahrerassistenzsysteme zur sicheren Navigation ein valides Umfeldmodell. Diese Informationen werden in Fahrzeugen insbesondere durch Radar-, Lidar-, und Kamerasensoren zur Verfügung gestellt.
All diese Sensoren haben spezifische Eigenschaften und Merkmale, die eine Nutzung der jeweiligen Modalität für bestimmte Anwendungsfälle vorziehen oder die Eignung einschränken. Je nach Anwendungsfall sind zweidimensionale Messungen der Position oder Messungen der Geschwindigkeit von Objekten in der Umgebung ausreichend. Bei Anwendungen in denen eine präzise Navigation gefordert ist, beispielsweise beim (teil-)automatisierten Fahren, ist ein 3D- Sensor von Vorteil. Hierdurch können Strukturen im dreidimensionalen Raum nachgebildet werden und kann eine robuste, kollisionsfreie Navigation gewährleistet werden.
Zur Vermessung von Objekten und Umgebungsstrukturen kommen dabei Laserscanner, Stereokameras sowie Monokameras mit sogenannten „Structure-from-motion“-Algorithmen (SfM) zum Einsatz. In der Entwicklung befinden sich ebenfalls Rekonstruktionsalgorithmen auf Basis neuronaler Netze welche auf Mono- oder Stereokamerabilder angewendet werden können. Es sind Laserscannerverfahren bekannt, wobei ein von einer Laserstrahlquelle ausgesendetes Laser-Lichtmuster im Triangulationsverfahren ausgewertet wird. Dafür muss, im Falle einer Verwendung von Infrarotlasern, eine verwendete Kamera empfindlich für Infrarot sein, was aber die Farbwahrnehmung im sichtbaren Spektralbereich verfälscht, oder die Laser-Lichtmuster müssen im sichtbaren Spektralbereich liegen, was aber im Straßenverkehr störend sein kann. Außerdem sind Laserscanner aufgrund ihrer komplexen Technologie noch sehr kostenintensiv.
Bei Stereokameras, die zur 3D-Umfelderfassung verwendet werden, wird zur Berechnung der Entfernungsinformation die Bildinformation zwischen den Kamerabildern korreliert. Stereokameras benötigen dabei eine Textur des zu erkennenden Objektes, um diese Technologie anzuwenden. Unter günstigen Lichtverhältnissen ist zumeist genügend Texturinformation zur Bestimmung von Tiefeninformation in den Videobildern vorhanden. Für die Stereobildverarbeitung genügt das Tageslicht daher meist für die Korrelationsanalyse aus. Texturinformationen lassen sich im Wesentlichen aus Kontrastdifferenzen an Objektkanten gewinnen. Unter schlechten Lichtverhältnissen, beispielsweise bei Nacht, geraten die Stereo- Verfahren trotz Fahrzeugbeleuchtung jedoch schnell an ihre Grenzen.
Bei modernen Fahrzeugen werden zunehmend LED-Scheinwerfer verbaut. In höherwertigen Ausstattungen sind diese als sogenannte Matrix-LED-Scheinwerfer ausgeführt. Diese Matrixscheinwerfer sind durch ihre Konstruktion, insbesondere durch ihre einzeln ansteuerbaren Pixel, in der Lage Muster auf die Fahrbahn und die Objekte in der Umgebung zu projizieren.
Der Erfindung liegt nun die Aufgabe zugrunde, die Nachteile des Standes der Technik zu überwinden, und ein Verfahren und ein Fahrzeug bereitzustellen, die eine vereinfachte und verbesserte dreidimensionale Umfelderkennung insbesondere von unstrukturierten Oberflächen ermöglicht. Die Aufgabe wird gelöst durch eine Vorrichtung, ein Verfahren und ein Kraftfahrzeug gemäß den Hauptansprüchen. Bevorzugte Ausgestaltungen der Erfindung ergeben sich aus den jeweiligen rückbezogenen Unteransprüchen und der zugehörigen Beschreibung.
Ein erster Aspekt der vorliegenden Erfindung betrifft eine Vorrichtung zur Umfelderfassung für ein Fahrzeug, insbesondere einen strukturgebenden Kamerasensor, umfassend mindestens ein Kameramodul, ein Kamerasteuergerät, eine Auswerteeinheit und eine Beleuchtungseinrichtung. Die Beleuchtungseinrichtung ist durch einen Matrixscheinwerfer des Fahrzeugs gebildet und dazu eingerichtet ist, ein Lichtmuster in das Umfeld zu projizieren, das mit dem Abstand zur Beleuchtungseinrichtung variiert. Das mindestens eine Kameramodul ist dazu ausgebildet, zumindest einen Teil des in das Umfeld projizierten Lichtmusters abzubilden. Die Auswerteeinheit ist dazu eingerichtet, eine 3D-Position aus mit dem Kameramodul aufgenommenen Bilddaten zu bestimmen. Ferner ist die Auswerteeinheit dazu eingerichtet, anhand von für die 3D-Positionsermittlung kritischen Werten, Umfeldbereiche zu ermitteln. Die Beleuchtungseinrichtung ist weiter dazu ausgebildet, das Lichtmuster nur in die von der Auswerteeinheit ermittelten kritischen Umfeldbereiche zu projizieren und die Auswerteeinheit ist weiter dazu ausgebildet, eine 3D-Position von durch das Lichtmuster gebildeten Messpunkten im Umfeld aus mit dem mindestens einen Kameramodul aufgenommenen Bilddaten zu bestimmen.
Die Erfindung hat den Vorteil, dass flächendeckend und zuverlässig dreidimensionale Bilder erzeugt werden. Die Vorrichtung ist dabei dazu eingerichtet, abhängig anhand von kritischen Werten der betrachteten Szene, Objekte und Bildbereiche, die beispielsweise einen Kontrast aufweisen, der zu nicht brauchbaren 3D-Bilddaten führt, mit einer zusätzlichen Struktur beziehungsweise Textur zu versehen und damit selektiv die dreidimensionale Erkennung von Teilbereichen zu verbessern oder gar erst herzustellen. Das Kameramodul nimmt mit einem Bildsensor zweidimensionale Bilddaten auf und die Auswerteeinheit berechnet daraus in an sich bekannter Weise dreidimensionale Bilder. Über Objekterkennung und -klassifizierung können im Rahmen eines Fahrerassistenzsystems daraus Gefahrenabschätzungen, Empfehlungen oder direkte Eingriffe in die Fahrdynamik des Fahrzeugs getroffen werden.
Durch die strukturierte Beleuchtung, die durch das Lichtmuster bereitgestellt wird, ist es möglich flächige, zuverlässige Entfernungsinformationen zu liefern. Die Auswerteeinheit überprüft die Bilddaten im Hinblick auf vorgegebene Kriterien, die für die dreidimensionale Positionsermittlung relevant sind. Da durch die zusätzliche strukturierte Beleuchtung auch beispielsweise kontrastlosen oder sich wiederholenden Bildbereichen, welche die Kriterien eigentlich nicht erfüllen, ein ausreichender unterscheidbarer Kontrast aufgeprägt wird, sorgt die Beleuchtungseinrichtung dafür, dass sich auch in solchen Bereichen ohne natürliche Struktur zuverlässig Korrespondenzen finden lassen. So sind beispielsweise in strukturierten Umgebungen wie Parkhäusern oft keine ausreichenden Texturen der Oberflächen vorhanden. Insbesondere auch homogene Fahrbahnoberflächen oder einfarbige glatte Wände, die der 3D- Umfelderfassung von Stereokameras Schwierigkeiten bereiten, lassen sich erfindungsgemäß erfassen. Ein dauerhaftes statisches Lichtmuster, das die gesamte Szene belegt kann jedoch auch Nachteile mit sich bringen, etwa kann es durch die Überlagerung des Lichtmusters mit natürlicher Textur der Szene passieren, dass Bereiche überbelichtet sind oder die gewünschte Kontrastverbesserung in Summe wieder verloren geht. Es kommt daher möglicherweise zu einer Beeinträchtigung der Qualität und Zuverlässigkeit der Entfernungsinformationen durch Kontrast- beziehungsweise Eindeutigkeitsverschlechterungen. Dieser Nachteil wird durch die vorliegende Erfindung vermieden, indem ein Lichtmuster nur in Bereiche projiziert wird in denen die Auswerteeinheit aufgrund der erfassten Bilddaten einen kritischen Bereich festgestellt hat. Dadurch wird Auswertungsaufwand und auch die Leistung für die Beleuchtungseinrichtung verringert. Als kritische Werte lassen sich dabei bevorzugt Kontrastwerte heranziehen. Ebenfalls bevorzugt ist die Auswertung der Dichte von Messpunkten, welche beispielsweise durch die Textur gebildet sind im Hinblick auf einen Grenzwert. Ebenfalls bevorzugt ist, dass ein Geschwindigkeitswert oder schnell ändernder Abstandswert eines Umfeldbereichs als kritischer Wert gelten. So lassen sich schnell herannahende Objekte bei Überschreiten eines kritischen Geschwindigkeitswerts oder Abstands mit einem Lichtmuster belegen, so dass deren dreidimensionale Erkennung verbessert wird. Weiter bevorzugt kann ein kritischer Bereich durch eine von der Auswerteeinheit anhand von Bilddaten durchgeführte Objektidentifizierung und/oder Objektklassifizierung bestimmt werden. So gelten bevorzugt bestimmte erkannte Objektklassen als kritischer Wert im Sinne der Erfindung. So ist besonders bevorzugt, dass Objektklassen, die Lebewesen wie Menschen und Tiere umfassen mit einem Lichtmuster belegt werden. Wenn beispielsweise bei Nacht selbst die Beleuchtung der Umgebung mit dem Fahrzeugscheinwerfer zu Bilddaten führt, bei dem der natürliche Kontrast und/oder die Textur zu kritischen Werten führt, gilt bevorzugt der gesamte vom Kameramodul erfasste Umfeldbereich als kritischer Umfeldbereich und wird bevorzugt mit einem Lichtmuster belegt.
Unter durch das Lichtmuster gebildete Messpunkte sind dahingehend nicht nur punkt-, beziehungsweise kreisförmige Lichtpunkte als Elemente des Lichtmusters zu verstehen, sondern flächige Bereiche, die von der Beleuchtungseinrichtung mit unterschiedlicher Intensität beleuchtet werden können. So sind auch Löcher, also abgedunkelte Bereiche, mit dem Begriff Messpunkt umfasst. Die Messpunkte des Lichtmusters können auch verschiedenste geometrische Formen haben und beispielsweise auch Linien darstellen. Weiter können die Messpunkte regelmäßig oder auch unkorreliert und unregelmäßig, jedoch durch die Auswerteeinheit bestimmbar sein. Um ein derartiges Lichtmuster erzeugen zu können, ist die Beleuchtungseinrichtung durch einen Matrixscheinwerfer gebildet, dessen einzelne Pixel dabei präzise in puncto Helligkeit und Richtung ansteuerbar sind. Da die Scheinwerfer des Fahrzeugs als Beleuchtungseinrichtung verwendet werden, muss keine zusätzliche Lichtquelle verbaut werden und der starre Einbau legt eine fixierte Lage zu dem Kameramodul fest, was die Kalibrierung der gesamten Vorrichtung erleichtert. Es werden somit im Fahrzeug vorhandene Komponenten genutzt und kombiniert, um die Robustheit und Genauigkeit der
Umfeldwahrnehmung des Fahrzeugs zu steigern, ohne zusätzliche Komponenten zu verwenden.
Weitere bevorzugte Ausgestaltungen der Erfindung ergeben sich aus den übrigen, in den Unteransprüchen genannten Merkmalen. Insbesondere ist es bevorzugt, dass die
Beleuchtungseinrichtung ein schaltbares LED- oder Laserdiodenarray aufweist. Die
Beleuchtungseinrichtung muss schnell umschaltbar sein, bevorzugt so schnell, dass für den Fahrer eine im Mittel gleichmäßige Lichtverteilung eines üblichen Frontscheinwerfers entsteht. Das ist bevorzugt dadurch realisiert, dass das Lichtmuster bevorzugt nicht durch
Helligkeitsunterschiede, sondern durch Frequenzunterschiede des Lichts gebildet ist. Daher sind schaltbare Halbleiterarrays mit einer Vielzahl von LEDs oder Laserdioden besonders gut geeignet. Dabei ist jeder Pixel bevorzugt durch eine LED oder Laserdiode gebildet, oder es wird durch eine Optik ein einzeln ansteuerbares und schaltbares Mikrospiegelarray beleuchtet. Als Frontscheinwerfer sind sowohl Matrix-LED-Scheinwerfer als auch Matrix-Laserscheinwerfer verfügbar, letztere jedoch werden aufgrund hoher Kosten noch nicht im breiten Massenmarkt verwendet. Weiter ist es daher bevorzugt, dass die Steuereinheit das Kameramodul und die Beleuchtungseinrichtung derart synchronisiert, dass projizierte Lichtmuster einer Aufnahme des Kameramoduls zugeordnet werden und zusätzlich oder alternativ die Lichtmusterprojektion nur für die Zeit der Verschlussöffnung des Kameramoduls zu steuern.
In einer bevorzugten Ausgestaltung der Erfindung ist vorgesehen, dass das Kameramodul durch eine Stereokamera gebildet ist. Dazu weist das Kameramodul zwei Bildsensoren in zueinander versetzter, fest beabstandeter Perspektive auf und die Auswerteeinheit errechnet mittels eines Stereoalgorithmus für einen der zugehörigen Teilbereiche der von den Bildsensoren aufgenommenen Bilddaten die Entfernungsinformationen, in der Regel über ein T riangulationsverfahren.
Erfindungsgemäß ist vorgesehen, dass die Beleuchtungseinrichtung dazu eingerichtet ist ein Lichtmuster zu projizieren, das mit dem Abstand von der Beleuchtungseinrichtung variiert. Dadurch lässt sich der Abstand eines Objektes nicht nur durch die Erfassung und Berechnung der Verzerrung eines Musters und dessen einzelner Musterelemente, beispielsweise durch Triangulation ermitteln, sondern das Muster selbst ist veränderlich und bildet einen für die Auswerteeinheit einfach festzustellenden Entfernungsindikator, wenn der Auswerteeinheit ein Referenzmusterverlauf bekannt ist. Dadurch werden Rechenaufwand und Rechenzeit zur Ermittlung von Entfernungsdaten nochmals deutlich reduziert.
Weiter ist es bevorzugt, dass die Beleuchtungseinrichtung dazu eingerichtet ist, ein Lichtmuster zu projizieren, wobei die Form von einzelnen Messpunkten des Lichtmusters mit dem Abstand von der Beleuchtungseinrichtung variiert. Das bietet der Auswertung einen weiteren einfachen Entfernungsindikator, um Rechenaufwand und Rechenzeit zu reduzieren und kann den Korrelationsalgorithmus ersetzen, um ein erstes schnelles Tiefenbild zu erstellen, das dann bei Bedarf mit Korrelationsalgorithmen weiter verfeinert werden kann.
Gegenstand der Erfindung ist weiterhin ein Verfahren zur räumlichen Erfassung eines Umfelds eines Fahrzeugs, mittels mindestens einem Kameramodul, einem Kamerasteuergerät, einer Auswerteeinheit und einer Beleuchtungseinrichtung, wobei die Beleuchtungseinrichtung, die durch einen Matrixscheinwerfer des Fahrzeugs gebildet ist, ein Lichtmuster in das Umfeld des Fahrzeugs projiziert. Dabei wird zumindest ein Teil des projizierten Lichtmusters von dem mindestens einen Kameramodul abgebildet. Von der Auswerteeinheit wird eine 3D-Position aus Bilddaten des mindestens einen Kameramoduls bestimmt und anhand von für die 3D- Positionsermittlung kritischen Werten werden Umfeldbereiche ermittelt. Von der Beleuchtungseinrichtung wird das Lichtmuster in die von der Auswerteeinheit ermittelten kritischen Umfeldbereiche projiziert und von der Auswerteeinheit wird eine 3D-Position von durch das Lichtmuster gebildeten Messpunkten im Umfeld aus mit dem mindestens einen Kameramodul aufgenommenen Bilddaten bestimmt.
Das Verfahren ist insbesondere dazu geeignet, in Form von Software auf einem Steuergerät des Fahrzeugs oder mehreren Steuergeräten oder der Auswertungseinheit des Kameramoduls implementiert zu sein. Das Verfahren ermöglicht die Entfernungsmessung auf untexturierten Oberflächen. Durch die nur situative Projektion des Lichtmusters in Bereiche mit geringer Messpunktdichte, kann Entfernungsinformation auch für ansonsten uniforme kontrastlose Oberflächen generiert werden. Gleichzeitig wird der Mess- und Verarbeitungsaufwand reduziert, da üblicherweise die sichtbaren Strukturen zur Entfernungsmessung in den Videobildern verwendet werden.
Weiter bevorzugt erfolgt eine Projektion des Lichtmusters in der Weise, dass das Lichtmuster mit dem Abstand von der Beleuchtungseinrichtung variiert und weiter bevorzugt wird ein Lichtmuster projiziert, bei dem die Form einzelner Musterelemente mit dem Abstand von der Beleuchtungseinrichtung variiert. Weiter ist es bevorzugt, dass das Lichtmuster derart kurzzeitig projiziert wird, dass für den Fahrer eine gleichmäßige Lichtverteilung eines üblichen Frontscheinwerfers entsteht. Dadurch ist es möglich, dass der Sinneseindruck des Fahrers oder eines anderen Verkehrsteilnehmers nur aus der Gesamtfläche der Beleuchtung besteht. Zudem kann dadurch auch vermieden werden, dass das projizierte Lichtmuster störend auf andere Erfassungssensoren einwirkt.
Die verschiedenen in dieser Anmeldung genannten Ausführungsformen der Erfindung sind, sofern im Einzelfall nicht anders ausgeführt, mit Vorteil miteinander kombinierbar.
Die Erfindung wird nachfolgend in Ausführungsbeispielen anhand der zugehörigen
Zeichnungen erläutert. Es zeigen:
Figur 1 eine schematische Darstellung eines Fahrzeugs mit einer erfindungsgemäßen
Vorrichtung zur dreidimensionalen Umfelderkennung mittels einer Stereokamera;
Figur 2 eine schematische Darstellung eines erfindungsgemäßen projizierten
Lichtmusters mit entfernungsabhängig veränderlicher Messpunktanordnung; und
Figur 3 eine schematische Darstellung eines erfindungsgemäßen projizierten
Lichtmusters mit entfernungsabhängig veränderlichen Messpunkten.
Figur 1 zeigt in einer schematischen Darstellung ein Fahrzeug 10, welches ein in Fahrtrichtung blickendes Kameramodul 11 aufweist, das als Stereokamera ausgebildet ist. Das Kameramodul 11 ist zum Beispiel im Bereich der Windschutzscheibe des Fahrzeugs 10 angeordnet. Das Kameramodul 11 ist zur Aufnahme von dreidimensionalen Bilddaten, auch Entfernungsbilder oder Tiefenkarten bezeichnet, eines Umfeldbereichs 12 des Fahrzeugs 10 eingerichtet.
Das Kameramodul 11 besteht in der dargestellten Ausgestaltung aus zwei Kameraeinheiten 11a, 11b, die in einem bekannten festen Abstand zueinander montiert sind und jeweils Bilddaten des Umfeldbereichs 12 aufnehmen. In jeder Kameraeinheit 11a, b ist ein Bildsensor vorgesehen, üblicherweise ein matrixförmiger Aufnahmechip, der ein rechteckiges Pixelbild aufnimmt, beispielsweise ein CCD- oder ein CMOS-Sensor. Den Bildsensoren ist üblicherweise ein Objektiv mit einer abbildenden Optik zugeordnet, das in der Praxis als jede bekannte Abbildungsoptik realisiert sein kann. Die beiden Kameraeinheiten 11a, b des als Stereokamera ausgebildeten Kameramoduls 11 weisen einen Überlappungsbereich 12 auf, in dem die Erfassungsbereiche beider Kameraeinheiten 11a,b überlappen.
Eine als Frontscheinwerfer des Fahrzeugs 10 ausgebildete Beleuchtungseinrichtung 13 mit einer Lichtquelle und einer Sendeoptik ist dargestellt. Die Beleuchtungseinrichtung 13 ermöglicht in Echtzeit die Projektion eines pixelbasierten, quantisierten strukturierten Lichtmusters 14, das vereinfacht als Punktmuster dargestellt ist. Praktisch sollte das Lichtmuster 14 vorzugsweise zumindest lokal eindeutig oder selbstunähnlich in dem Sinne sein, dass Strukturen des Lichtmusters 14 nicht zu Scheinkorrelationen führen, beziehungsweise einen Beleuchtungsbereich eindeutig kennzeichnen.
Die Beleuchtungseinrichtung 13 ist in der Lage, in Echtzeit über eine Kamerasteuereinheit 15, die das Kameramodul 11 und die Beleuchtungseinrichtung 13 kontrolliert, ein vorgegebenes beliebiges Pixelmuster als strukturiertes Lichtmuster 14 zu projizieren. Eine solche adaptive, dynamische Beleuchtungseinrichtung 13 kann beispielsweise durch Einsatz eines Mikro- Displays mit einer Lichtquelle in Form von einer oder mehreren Hochleistungs-LEDs oder Laserdioden, insbesondere in einem Array, realisiert werden. Die Beleuchtungseinrichtung 13 nutzt ein schaltbares Array von LEDs oder Laserdioden. Hier bilden die einzelnen Lichtquellen selbst die Pixel des Lichtmusters 14.
Mit dem Kameramodul 11 und der Beleuchtungseinrichtung 13 ist eine kombinierte Auswerte- und Steuerungseinheit verbunden, weiter nur als Auswerteeinheit 16 bezeichnet. Diese kann im Fahrzeugsteuergerät integriert sein, um über die integrierte Fahrzeugelektronik auf die Fahrzeugscheinwerfer 13 und die Kameramodule 11, sowie mittels des Fahrerassistenzsystems auch auf die Fahrelektronik und -mechanik zugreifen zu können. Mittels der Auswerteeinheit 16 wird das strukturierte Lichtmuster 14 vorgegeben und sie empfängt Bilddaten der Bildsensoren. Aus diesen Bilddaten berechnet die Auswerteeinheit 16 mit einem an sich bekannten Stereoalgorithmus dreidimensionale Bilddaten des betrachteten Umfeldbereichs 12. Über einen Ausgang kann das Kameramodul 11 dreidimensionale Bilddaten, aber auch andere Messergebnisse ausgeben, beispielsweise Rohbilddaten des Kameramoduls 11, Auswertungsergebnisse wie Objektdaten oder die Identifizierung bestimmter Objekte 17.
Die Beleuchtungseinrichtung 13 und das Kameramodul 11 sollten vorzugsweise einen Kalibrierprozess durchlaufen, damit die genaue Zuordnung zwischen Beleuchtungspixeln und den erfassten Bildpixeln bestimmt ist. Bei einer integrierten Beleuchtungseinrichtung 13 wie in Fig. 1 dargestellt, geschieht das bevorzugt schon ab Werk.
Erfindungsgemäß ist vorgesehen, dass das projizierte Lichtmuster 14 an das Umfeld 12 angepasst ist. In einem ersten Schritt nimmt das Kameramodul 11, bevorzugt als passive Stereokamera, stetig Umfelddaten auf und generiert daraus dreidimensionale Tiefenkarten. Dies kann beispielsweise ohne unterstützende Beleuchtung des Fahrzeugs 10, in der Regel aber unter homogener Beleuchtung durch die Beleuchtungseinrichtung 13, beispielsweise durch Tagfahrlicht oder bei schlechten natürlichen Lichtverhältnissen, etwa bei Nacht oder in einem Tunnel, durch das Abblendlicht oder Fernlicht der Beleuchtungseinrichtung 13 des Fahrzeugs 10 geschehen.
Aus den erfassten Bilddaten der Bildsensoren sowie gegebenenfalls eines daraus in der Stereokamera erzeugten dreidimensionalen Bildes werden Kontrast- und gegebenenfalls Entfernungsinformationen des aktuell erfassten Umfeldbereichs 12 berechnet. Die Auswerteeinheit 16 kann für Bildbereiche feststellen, ob Informationen zur Erstellung eines relevanten Tiefenbildes fehlen, weil beispielsweise die natürliche Textur die durch Kanten eines Objektes 17 oder einer Oberfläche eines Objektes 17 gebildet ist, zu gering ist, beziehungsweise unter einem kritischen Wert liegt. Das zu projizierende Lichtmuster 14 kann dann an allen relevanten Stellen für ausreichend Kontrast sorgen um so eine zuverlässige 3D- Erfassung zu ermöglichen. Erfindungsgemäß wird nur an Stellen mit unzureichenden Kontrastverhältnissen beziehungsweise unzuverlässigen Entfernungswerten ein Lichtmuster 14 appliziert.
Im nächsten Schritt projiziert die Beleuchtungseinrichtung 13 das zu projizierende Lichtmuster 14 in den Umfeldbereich 12. Es erfolgt eine Aufnahme der beiden zweidimensionalen Ausgangsbilder mit den Bildsensoren des Kameramoduls 11 der Stereokamera und deren Verrechnung zu einem dreidimensionalen Bild durch die Auswerteeinheit. Das Lichtmuster 14 kann dann in weiteren Aufnahmen zur Erfassung des dreidimensionalen Bildes verwendet werden. Dadurch ist es möglich das Lichtmuster 14 und die Auswertung der Bilddaten an die Umgebungssituation anzupassen. So kann in bestimmten Situationen, etwa bei Annäherung eines Objekts 17 oder an ein Objekt 17, ein Teil des Umfelds 12 höher strukturiert beleuchtet und ausgewertet werden als in anderen Situationen, etwa bei freiem Sichtfeld. Es ist insbesondere auch beim (teil-) automatisierten Fahren eine gezielte Anpassung von Beleuchtung, Auswertung und Lichtmuster 14 realisierbar, beispielsweise bei Kurvenfahrten oder in Bezug auf die Fahrgeschwindigkeit des Fahrzeugs 10. Obwohl die Erfindung anhand der in Fig. 1 dargestellten Stereokamera erfolgt, sind auch andere 3D-Kameras denkbar, insbesondere mit nur einer hochauflösenden Kamera und einem Projektionsverfahren, bei dem die aus einer mit dem Abstand korrelierte Musterverzerrung des Lichtmusters 14 in einer Verschiebung des Bilddatenpunktes 18 resultiert (aktive Triangulation). Es kann also eine Kameraeinheit entfallen und die Stereokamera ist entsprechend zu einer Triangulationseinheit umgestaltet. Das erfindungsgemäße Lichtmusterprojektionsverfahren kann aber auch zusätzlich in der Stereokamera unter Verwendung einer der Kameraeinheiten 11a, b implementiert werden, wobei dann die Kamerasteuerung 15 und Auswerteeinheit 16 für beide Verfahren ausgebildet ist.
Die Figur 2 zeigt schematisch ein Beispiel für die Projektion eines Lichtmusters 14 in der Weise, dass das Lichtmuster 14 mit dem Abstand von der Beleuchtungseinrichtung 13 variiert. Eine solche Veränderlichkeit kann beispielsweise dadurch realisiert sein, dass einige der einzeln ansteuerbaren Beleuchtungspixel, also beispielsweise schaltbare LEDs, die in Helligkeit und Abstrahlrichtung variiert werden können, beziehungsweise Elemente eine Mikrospiegelarrays, welche die Lichtmusterelemente bilden, nicht parallel zueinander verlaufen. Sind dann für das Lichtmuster 14 einige Referenzelemente hinterlegt, kann die Auswerteeinheit 16 einfach aus dem veränderten Abstand einzelner Oberflächenmesspunkte 18 auf die Entfernung der Oberfläche schließen. Dies ist auch für ansonsten identische strukturlose glatte Oberflächen möglich. Eine andere Möglichkeit ist es, Projektionsoptiken zu verwenden, insbesondere Mikrolinsen. Diese können unterschiedliche Fokuslängen aufweisen, so dass das Lichtmuster 14, das in das Umfeld 12 des Fahrzeugs 10 projiziert wird, mit dem Abstand variiert. Nicht alle Messpunkte 18 erscheinen dann nämlich in verschiedenen vom Abstand abhängigen Bildebenen 19. Exemplarisch sind einzelne Strahlverläufe 20 dargestellt, wobei die durch das projizierte Licht der einzeln ansteuerbaren Pixel des Pixelmatrixscheinwerfers 13 gebildet sind. Diese Strahlverläufe 20 schneiden eine erste und eine zweite Bildebene 19 und bilden dort einen Messpunkt 18. Eine erste Gruppe 21 von Messpunkten 18 bleibt unabhängig von der Entfernung konstant, während eine zweite Gruppe 22 von Messpunkten 18 relativ zu der ersten Gruppe 21 veränderlich ist. Hier durch einen unterschiedlichen Abstrahlwinkel charakterisiert. Die erste Gruppe 21 von Messpunkten 18 bildet dabei eine Referenz zu der die Auswerteeinheit 16 die relative Veränderung der zweiten Gruppe 22 feststellt.
Es ist auch denkbar, dass ein Lichtmuster 14 projiziert wird, indem die einzelnen Elemente des Lichtmusters 14, also die Messpunkte 18, an sich mit dem Abstand von der Beleuchtungseinrichtung 13 variieren wie in Figur 3 schematisch dargestellt. Dazu können beispielsweise Mikrolinsen verwendet werden, wobei einige oder alle Mikrolinsen multiple verschiedene Fokallängen aufweisen, so dass die Messpunkte 18 nicht in allen Bildebenen 19 erscheinen. Als Mikrolinsen können auch astigmatische Mikroprojektionslinsen verwendet werden, was dazu führt, dass die Form der Messpunkte 19 sich verändert. Durch diese vergleichsweise schnell auswertbare Entfernungsinformation, kann der Rechenaufwand und die Rechenzeit zusätzlich verringert werden, indem beispielsweise eine zweistufige 3D-Erkennung genutzt wird. So kann etwa zunächst auf diese Weise eine grobe Auswertung erfolgen und wenn beispielsweise ein Bereich identifiziert ist, der sich mit einer hohen Geschwindigkeit nähert, kann eine genauere und aufwändigere Auswertung erfolgen.
Prinzipiell können im Rahmen der Erfindung verschiedene Lichtmuster 14 genutzt werden, beispielsweise, aber ausdrücklich nicht abschließend, Linienmuster, Streifenmuster, Punktmuster, Gitternetzmuster, Schachbrettmuster und/oder pseudo-zufällige Muster. Pseudo zufällig bedeutet in diesem Falle, dass zwar das Lichtmuster 14 zufällig erzeugt wird, jedoch sowohl dem Steuergerät des Pixelscheinwerfers 13, welcher für die Aussendung und Projektion des Lichtmusters 14 sorgt, sowie der Kamerasteuereinheit 15, beziehungsweise der Auswerteeinheit 16 des Kameramoduls 11, welche das Lichtmuster 14 zur Erkennung der umfeldspezifischen Eigenschaften nutzt, bekannt ist.
Vorzugsweise wird ein nicht-gleichmäßiges, unkorreliertes Lichtmuster 14 verwendet. Dazu zählt etwa auch ein quasiperiodisches Lichtmuster 14, das in einer ersten Richtung parallele Abschnitte aufweist, die wiederum in einer zweiten Richtung unkorrelierte Muster enthalten. Unkorreliertes Lichtmuster 14 heißt in dem Fall, dass die Positionen der Messpunkte 18 unkorreliert sind in dem Sinne, dass eine Autokorrelation des Musters 14 für eine Verschiebung größer als die Punktgröße 18, insignifikant wird. Das ist insbesondere wichtig für die Anwendung mit Stereokameramodulen 11, damit die einzelnen Kameraeinheiten 11a, b immer dieselben Messpunkte 18 des Lichtmusters 14 auswerten und nicht beispielsweise, wie bei einem regelmäßigen Muster einen identischen aber verschobenen Musterabschnitt miteinander vergleichen.

Claims

Patentansprüche
1. Vorrichtung zur Umfelderfassung für ein Fahrzeug (10), die Vorrichtung umfassend mindestens ein Kameramodul (11) zur Aufnahme von Bilddaten aus dem Umfeld (12), ein Kamerasteuergerät (15), eine Auswerteeinheit (16) und eine Beleuchtungseinrichtung (13), wobei
- die Beleuchtungseinrichtung (13) durch einen Matrixscheinwerfer des Fahrzeugs (10) gebildet und dazu eingerichtet ist, ein Lichtmuster (14) in das Umfeld (12) zu projizieren, das mit dem Abstand von der Beleuchtungseinrichtung (13) variiert,
- dass mindestens ein Kameramodul (11) dazu ausgebildet ist, zumindest einen Teil des in das Umfeld (12) projizierten Lichtmusters (14) abzubilden,
- die Auswerteeinheit (16) dazu ausgebildet ist, eine 3D-Position aus Bilddaten des mindestens einen Kameramoduls (11) zu bestimmen und
- die Auswerteeinheit (16) weiter dazu ausgebildet ist, anhand von für die 3D- Positionsermittlung kritischen Werten, Umfeldbereiche zu ermitteln,
- die Beleuchtungseinrichtung (13) dazu ausgebildet ist, das Lichtmuster (14) nur in die von der Auswerteeinheit (16) ermittelten kritischen Umfeldbereiche zu projizieren, und
- die Auswerteeinheit weiter dazu ausgebildet ist, eine 3D-Position von durch das Lichtmuster (14) im Umfeld (12) gebildeten Messpunkten (18) aus mit dem mindestens einen Kameramodul (11) aufgenommenen Bilddaten zu bestimmen.
2. Vorrichtung nach Anspruch 1, dadurch gekennzeichnet, dass ein kritischer Wert durch Kontrastwerte der Bilddaten gebildet ist.
3. Vorrichtung nach Anspruch 1, dadurch gekennzeichnet, dass ein kritischer Wert durch einen Grenzwert für die Dichte von Messpunkten gebildet ist.
4. Vorrichtung nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, dass die Beleuchtungseinrichtung (13) ein schaltbares LED- oder Laserdiodenarray aufweist.
5. Vorrichtung nach einem der Anspruch 1 bis 4, dadurch gekennzeichnet, dass das Kameramodul (11) durch eine Stereokamera gebildet ist.
6. Vorrichtung nach einem der Ansprüche 1 bis 5, dadurch gekennzeichnet, dass die Beleuchtungseinrichtung (13) dazu eingerichtet ist, ein Lichtmuster (14) zu projizieren, bei dem die Form einzelner Musterelemente (18) mit dem Abstand von der Beleuchtungseinrichtung (13) variiert.
7. Verfahren zur räumlichen Erfassung eines Umfelds (12) für ein Fahrzeug (10), mittels mindestens eines Kameramoduls (11) zur Aufnahme von Bilddaten aus dem Umfeld (12), eines Kamerasteuergeräts (15), einer Auswerteeinheit (16) und einer Beleuchtungseinrichtung (13), wobei
- die Beleuchtungseinrichtung (13), die durch einen Matrixscheinwerfer des Fahrzeugs (10) gebildet ist, ein Lichtmuster (14) in das Umfeld (12) projiziert, das mit dem Abstand von der Beleuchtungseinrichtung (13) variiert, wobei
- zumindest ein Teil des projizierten Lichtmusters (14) von dem mindestens einen Kameramodul (11) abgebildet wird, wobei
- von der Auswerteeinheit (16) eine 3D-Position aus Bilddaten des mindestens einen Kameramoduls (11) bestimmt wird und
- von der Auswerteeinheit (16) anhand von für die 3D-Positionsermittlung kritischen Werten, Umfeldbereiche ermittelt werden, wobei
- von der Beleuchtungseinrichtung (13) das Lichtmuster (14) nur in die von der Auswerteeinheit (16) ermittelten kritischen Umfeldbereiche projiziert wird, und wobei
- von der Auswerteeinheit eine 3D-Position von durch das Lichtmuster (14) gebildeten Messpunkten (18) im Umfeld (12) aus mit dem mindestens einen Kameramodul (11) aufgenommenen Bilddaten bestimmt wird.
8. Verfahren nach Anspruch 7, dadurch gekennzeichnet, dass das Lichtmuster (14) derart kurzzeitig projiziert wird, dass für den Fahrer eine gleichmäßige Lichtverteilung eines üblichen Frontscheinwerfers entsteht.
9. Fahrzeug (10), aufweisend eine Vorrichtung zur Umfelderfassung gemäß einem der Ansprüche 1 bis 6.
PCT/EP2021/067156 2020-06-29 2021-06-23 Vorrichtung und verfahren zur umfelderfassung eines fahrzeugs WO2022002719A1 (de)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202180045321.1A CN115720633A (zh) 2020-06-29 2021-06-23 用于检测交通工具的周围环境的设备和方法
US18/010,942 US20230236320A1 (en) 2020-06-29 2021-06-23 Device and method for detecting the surroundings of a vehicle

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102020117060.2 2020-06-29
DE102020117060.2A DE102020117060B4 (de) 2020-06-29 2020-06-29 Vorrichtung und Verfahren zur Umfelderfassung eines Fahrzeugs

Publications (1)

Publication Number Publication Date
WO2022002719A1 true WO2022002719A1 (de) 2022-01-06

Family

ID=76744813

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2021/067156 WO2022002719A1 (de) 2020-06-29 2021-06-23 Vorrichtung und verfahren zur umfelderfassung eines fahrzeugs

Country Status (4)

Country Link
US (1) US20230236320A1 (de)
CN (1) CN115720633A (de)
DE (1) DE102020117060B4 (de)
WO (1) WO2022002719A1 (de)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20240027049A1 (en) * 2022-07-25 2024-01-25 Lumileds Llc Controllable headlamp system

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170186166A1 (en) * 2015-12-26 2017-06-29 Intel Corporation Stereo depth camera using vcsel with spatially and temporally interleaved patterns
US20180275278A1 (en) * 2016-09-01 2018-09-27 Sony Semiconductor Solutions Corporation Imaging device
DE102017117614A1 (de) * 2017-08-03 2019-02-07 Dr. Ing. H.C. F. Porsche Aktiengesellschaft Verfahren zum trajektorienbasierten Bestimmen eines Auswertebereiches in einem Bild einer Fahrzeugkamera
DE102017222708A1 (de) * 2017-12-14 2019-06-19 Conti Temic Microelectronic Gmbh 3D-Umfelderfassung mittels Projektor und Kameramodulen

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102011017707A1 (de) 2011-04-28 2012-10-31 Robert Bosch Gmbh Verfahren und Vorrichtung zur Erkennung von einem Objekt in einer Umgebung einer Kamera
DE102011017770A1 (de) 2011-04-29 2012-10-31 Voith Patent Gmbh Ballendrahtschneider
DE102016223671A1 (de) 2016-11-29 2018-05-30 Continental Automotive Gmbh Leuchtsystem zur Ermittlung geometrischer Eigenschaften sowie Fahrerassistenzsystem und Verfahren dazu

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170186166A1 (en) * 2015-12-26 2017-06-29 Intel Corporation Stereo depth camera using vcsel with spatially and temporally interleaved patterns
US20180275278A1 (en) * 2016-09-01 2018-09-27 Sony Semiconductor Solutions Corporation Imaging device
DE102017117614A1 (de) * 2017-08-03 2019-02-07 Dr. Ing. H.C. F. Porsche Aktiengesellschaft Verfahren zum trajektorienbasierten Bestimmen eines Auswertebereiches in einem Bild einer Fahrzeugkamera
DE102017222708A1 (de) * 2017-12-14 2019-06-19 Conti Temic Microelectronic Gmbh 3D-Umfelderfassung mittels Projektor und Kameramodulen

Also Published As

Publication number Publication date
US20230236320A1 (en) 2023-07-27
DE102020117060A1 (de) 2021-12-30
DE102020117060B4 (de) 2022-05-05
CN115720633A (zh) 2023-02-28

Similar Documents

Publication Publication Date Title
DE102013102144B4 (de) Vorrichtung zum Steuern von Fahrzeugscheinwerfern
DE102014112820A9 (de) Fahrzeugaußenumgebungerkennungsvorrichtung
DE212017000101U1 (de) Kamerabasiertes Scheinwerferlicht-Steuerungssystem
DE102009025545A1 (de) Verfahren und Vorrichtung zum Erkennen von Bremslichtsystemen
WO2013029722A2 (de) Verfahren zur umgebungsrepräsentation
EP2788224A1 (de) Verfahren und vorrichtung zur erkennung einer bremssituation
DE102007019491A1 (de) Fahrzeugumgebungs-Überwachungsvorrichtung, Fahrzeug, Fahrzeugumgebungs-Überwachungsverfahren und Fahrzeugumgebungs-Überwachungsprogramm
WO2019114889A1 (de) 3d-umfelderfassung mittels projektion einer reihe pseudo-zufälligen mustern und stereo-kameramodulen
DE102019115459A1 (de) Verfahren und vorrichtung zur bewertung einer fahrbahnoberfläche für kraftfahrzeuge
DE102010039092B4 (de) Verfahren und Steuergerät zum Ermitteln eines Abstandes eines Objektes von einem Fahrzeug
DE102005056647A1 (de) Fahrzeugumgebungsüberwachungsvorrichtung
WO2010103061A1 (de) Vorrichtung und verfahren zur detektion mindestens eines objektes
DE102020129096A1 (de) Erzeugung dreidimensionaler punktwolken mittels einer polarimetrischen kamera in einem mit einem fahrassistenzsystem ausgestatteten fahrzeug
DE102015223500B4 (de) Verfahren und Vorrichtung zur Prüfung der Funktionalität einer außenseitigen Lichteinrichtung eines Fahrzeugs
DE102020117060B4 (de) Vorrichtung und Verfahren zur Umfelderfassung eines Fahrzeugs
DE102017117211B3 (de) Verfahren zur trajektorienbasierten Merkmalszuordnung in einem von einer Bilderfassungseinheit eines Fahrzeugs erfassten Bild
DE102017117614B4 (de) Verfahren zum trajektorienbasierten Bestimmen eines Auswertebereiches in einem Bild einer Fahrzeugkamera
DE102018113026A1 (de) Fahrzeugaussenlichtausfall
DE102005056665A1 (de) Fahrzeugumgebungsüberwachungsvorrichtung
DE102017204836A1 (de) Verfahren und Vorrichtung zum Erfassen von Objekten in der Umgebung eines Fahrzeuges
DE102013022050A1 (de) Verfahren zum Verfolgen eines Zielfahrzeugs, insbesondere eines Motorrads, mittels eines Kraftfahrzeugs, Kamerasystem und Kraftfahrzeug
DE102019200099A1 (de) Sensorvorrichtung für ein Ego-Fahrzeug, Fahrerassistenzvorrichtung und Fahrzeug mit einer solchen Sensorvorrichtung
EP2192550A1 (de) Verfahren zum Ermitteln der Lageänderung eines Kamerasystems und Vorrichtung zum Erfassen und Verarbeiten von Bildern
DE102014209863A1 (de) Verfahren und Vorrichtung zum Betreiben einer Stereokamera für ein Fahrzeug sowie Stereokamera für ein Fahrzeug
EP2103984B1 (de) Verfahren und Vorrichtung zum Verarbeiten von Bilddaten

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21737005

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 21737005

Country of ref document: EP

Kind code of ref document: A1