WO2013029606A2 - Verfahren, anordnung und fahrassistenzsystem zur ermittlung der räumlichen verteilung von objekten relativ zu einem fahrzeug - Google Patents

Verfahren, anordnung und fahrassistenzsystem zur ermittlung der räumlichen verteilung von objekten relativ zu einem fahrzeug Download PDF

Info

Publication number
WO2013029606A2
WO2013029606A2 PCT/DE2012/100255 DE2012100255W WO2013029606A2 WO 2013029606 A2 WO2013029606 A2 WO 2013029606A2 DE 2012100255 W DE2012100255 W DE 2012100255W WO 2013029606 A2 WO2013029606 A2 WO 2013029606A2
Authority
WO
WIPO (PCT)
Prior art keywords
vehicle
camera
voxel
images
image
Prior art date
Application number
PCT/DE2012/100255
Other languages
English (en)
French (fr)
Other versions
WO2013029606A3 (de
Inventor
Anton Kummert
Jörg VELTEN
Fritz Boschen
Sam Schauland
Anselm Haselhoff
Lars HÖHMANN
Original Assignee
Bergische Universität Wuppertal
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bergische Universität Wuppertal filed Critical Bergische Universität Wuppertal
Priority to DE112012003630.1T priority Critical patent/DE112012003630B4/de
Publication of WO2013029606A2 publication Critical patent/WO2013029606A2/de
Publication of WO2013029606A3 publication Critical patent/WO2013029606A3/de

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/564—Depth or shape recovery from multiple images from contours
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle

Definitions

  • the invention relates to a method and an arrangement for determining the spatial distribution of objects in a limited spatial area relative to a vehicle equipped with at least one camera.
  • the invention also relates to a driver assistance system that uses a plurality of arrangements according to the invention for exchanging information about the spatial distribution of objects relative to the vehicles between vehicles.
  • Sensors detected data e.g. support braking, automatically observe certain distances to vehicles in front, recognize road signs such as speed limits or prohibition signs in particular and can issue corresponding warnings acoustically and / or visually.
  • a driver assistance system eg a brake system
  • a driver assistance system eg a brake system
  • the determination of depth information ie the distance of an object to a vehicle is not trivial, especially for objects such as pedestrians and larger distances
  • Systems based on ultrasound, radar or laser waves for the determination of depth information require, on the one hand, special transmitters and receivers, which can generally be used only for the purpose of depth detection, and, on the other hand, the active (invasive) emission of corresponding waves
  • Radar waves are not reflected equally well by all objects.
  • the term "camera” here all types of image sensors and corresponding image processing hardware and software are understood to be possible to record an at least roughly resolved, spatially two-dimensional image.
  • stereo vision which is based on the same principles as human vision.
  • pictures from the same scene are taken from two different locations
  • Stereo vision is computationally expensive and error prone, as often similar points are wrongly considered as corresponding points, resulting in the creation of so-called phantom objects. This occurs especially when the images contain objects with periodic patterns, eg fences.
  • Another method for determining depth information is computationally expensive and error prone, as often similar points are wrongly considered as corresponding points, resulting in the creation of so-called phantom objects. This occurs especially when the images contain objects with periodic patterns, eg fences.
  • Depth information can be used in real time.
  • the invention has for its object to provide a method and an arrangement that allow the spatial distribution of objects in a limited space area relative to one with at least one camera
  • the invention is based on the idea of using cheaper and now in many vehicles e.g. built in anyway for traffic sign recognition
  • Voxelraums was mapped taking into account the mapping laws and then the pixel values associated with the respective pixels (eg gray values) in the Voxels and to possibly add up there already existing values, wherein the process is repeated several times, which leads to accumulate certain values in those voxels in whose associated real volume elements, which then allows one
  • the two-dimensional images can be viewed directly under the above-mentioned question, or beforehand a fast-to-perform image processing, e.g. be subjected to a low-pass filtering.
  • a fast-to-perform image processing e.g. be subjected to a low-pass filtering.
  • Picture position to close the distance to the camera results from the Evaluation of a single two-dimensional image still no clear depth information, because different object constellations can lead to the same two-dimensional image.
  • a small but camera-proximate object positioned in viewing space can produce the same image as a large, but camera-aligned, object of the same shape and color.
  • Such ambiguities are inventively by evaluation of multiple images of the same scene, but from different
  • Shots from a few different aspect angles e.g. 15 to 20 images covering only a small aspect angle range, e.g. 5 to 10 degrees, sufficient to gain important depth information on traffic scenarios to increase traffic safety.
  • This finding is surprising insofar as experience shows that complete information about the existing objects can not be detected when viewing a scene only from a small aspect angle range. For example, looking at the outwardly curved side of a column from only a small aspect angle range, it can not be recognized whether the column has a cross-section, e.g. round or semicircular.
  • the tomographic methods known from medicine also always teach that an object must be viewed from as many different aspect angles as possible or, in the case of transmission tomography, must be irradiated, in order to obtain relevant information. In medical tomography, this requirement can also easily be met, while no road user "circles" an object in order to obtain information about its travel path.
  • the invention allows for the first time, from the recorded while driving by a camera located in the vehicle itself To gain important safety-relevant in-depth information about the current traffic scenario quickly and cheaply.
  • the invention makes it possible to decide for the considered area of space whether and, if so, where an object, ie a solid body, is present relative to the vehicle.
  • an object ie a solid body
  • the recorded images need not be subjected to pattern recognition followed by a recognition decision. Rather, the pixel values assigned to the individual pixels of a two-dimensional image can be used directly or, if necessary, according to a fast-to-execute filtering, for example a weighted one
  • Averaging from e.g. five spatially and temporally adjacent images of a sequence of images are transmitted into the voxel space and accumulated there.
  • FIG. 1 shows a highly schematic schematic of a vehicle moving relative to an object and a two-dimensional image of the corresponding traffic scene taken by the vehicle. is a schematic diagram to illustrate the problem that can not be obtained from a two-dimensional image without further depth information.
  • Fig. 3 illustrates a basic principle of the invention, accordingly
  • Vehicle is first determined which spatial area to be considered. in the
  • volume elements typically cubes or cubes of a side length of e.g. 10 to 30 cm, divided, each volume element by a voxel of a
  • Voxel space is represented by B x H x T (B, H, T e N + ) voxels, where B stands for the number of voxels in the width direction, H for the number of voxels in the height direction and T for the number of voxels in the depth direction.
  • the space area is divided into cubes having a side length of 20 cm.
  • each voxel is assigned an m-dimensional vector (me N + ) whose individual components are, for example, color and brightness values or, for purposes of normalization, counts over the number of entries in the respective voxel, to what follows will be received.
  • m memory cells are reserved in a suitable memory device, and the values in the m memory cells are reset to a predetermined initial value, i.d.R. set to zero.
  • Volume element is on the camera level in the order of one pixel, so if B is greater than or equal to b and H is greater than or equal to h.
  • the resolution of the voxel space in height and width should therefore correspond approximately to the resolution of the two-dimensional image. This prevents a conspicuous but small object that differs from its surroundings clearly in eg a color or brightness value is distinguished, is not recognized only because significantly more pixels are received in the image of a voxel, as are taken by the object in a two-dimensional image of high resolution.
  • the camera may be advantageous to a commercial, for example in the
  • Fig. 1 shows a highly schematic of the process of receiving a
  • Width axis with x the height axis with y and the depth axis with z is designated.
  • a single object 10 is laterally obliquely in front of a vehicle 12 in the plane x-z. If this scene is taken from the vehicle, a two-dimensional image 14 of the plane x-y with b x h pixels is obtained, where the real object
  • Each pixel of the captured image is assigned an n-dimensional vector (ne N + ), with the vectors in the simplest case, if it is
  • Gray scale images are one-dimensional (scalar), so that their components, only a generally integer from a predetermined range of values, e.g. [0, 63], with a predetermined number, e.g. 64, of possible numerical values which then correspond to possible gray levels of the respective digital image, e.g. the lowest value for a white, the highest value for a completely black picture element, but of course any other
  • the pixels may also be colored, e.g. in color images, be associated with three-dimensional vectors whose three components correspond to the possible intensity levels of three primary colors, e.g. Red, green, blue or cyan, magenta and yellow.
  • three primary colors e.g. Red, green, blue or cyan, magenta and yellow.
  • the pixels can also be associated with vectors with more than three dimensions, eg 5-dimensional, with three components, for example Color intensity levels, a component a gray scale level and a
  • the components of the vectors are usually referred to briefly as image or brightness values.
  • image or brightness values For the determination of whether or not an object is present in the considered space, as a rule the observation of a gray scale image is sufficient.
  • Color images may be converted to grayscale images before the evaluation described below.
  • the images taken are grayscale images, and each pixel is only a scalar pixel value, e.g. assigned a number between 0 and 255. In this case, it is sufficient to assign each voxel one or preferably two memory cells, wherein in one of the
  • Gray levels are accumulated, the other e.g. for counting (for purposes of normalization) how many two-dimensional images have been "viewed" by the voxel.
  • a step may be taken which may be termed "viewing the two-dimensional image from the voxel space” and in which at least certain voxels, preferably all voxels, of the voxel space are based on the voxel space
  • pixel value (s) associated with the pixel (s) are determined by appropriate methods, e.g. Averaging or weighted averaging, an image value or (if the vectors associated with the pixels have more than one component and more than one component is evaluated) determines image values and to the one or more in the respective memory cell (s) of the respective voxel stored value (s) added.
  • the pixel value of a pixel on which a voxel maps is added to the numerical value present in the corresponding memory cell of the voxel. Forms a voxel on more than one pixel or hits from the center of a
  • one of the memory cells reserved for each voxel may be
  • Entry Counts function to detect the number of entries per voxel, which may be used to normalize or weight the values contained in the other memory cell (s) of each voxel. Since several different two-dimensional images of the considered space are consecutively subjected to the "Voxel space observation" described above, with the corresponding image values being accumulated in the voxels, it may be expedient to prevent individual extreme values from corrupting the result. To do this, voxels that have mapped many images may be weighted differently than voxels in their memory cells at a few, e.g. a single backproject an entry was made.
  • At least certain of the b x h pixels of a filtering in particular a low-pass filtering or a filtering with a two-dimensional image from the voxel space
  • the filter within each image can act on the lines and / or columns and / or within a sequence of temporally and spatially offset images on a temporal course of particular pixels or each pixel. Since, as explained below, it suffices to consider only certain levels in the voxel space, it may accordingly be sufficient to include only certain pixels, e.g. some horizontal lines, which advantageously further reduces the computational effort.
  • Fig. 2 illustrates that without knowledge of the object properties from the map 20 of a real object 10 in a single two-dimensional image
  • the scene must be viewed from different aspect angles, so that a sequence of temporally and spatially offset images of the scene arises, wherein the temporal and spatial distances of the individual images of the sequence need not be the same. It only needs the relative position of Vehicle or camera when taking a picture relative to the space considered area to be known.
  • the vehicle is moved relative to the space region, wherein detected by suitable means a measure of the movement or the relative position of the vehicle and the space area and another image of the space of interest is recorded.
  • FIG. 3 this is indicated schematically by way of example.
  • images of the object 10 are taken at different times t1, t2 and t3, to which the vehicle not shown here is located at different locations. It should be noted at this point that this is not to mean that the vehicle is in the recording of the images and then moved. Rather, the driver moves the vehicle in the normal way
  • volume elements of the space region whose assigned voxels in at least one of the memory cells have numerical values which lie in a certain range of values, as volume elements containing an object, but of course provides meaningful results only if the scene was viewed from different angles.
  • the steps of "taking a picture", “moving the vehicle” and “evaluating the pictures” are repeated several times, e.g. between 5 and 30, preferably between 10 and 20 times repeated, of course, when evaluating the images, the degree of movement of the vehicle and thus the new position of the vehicle relative to the space area (ie the new aspect angle) is taken into account and the numerical values in the
  • Memory cells are accumulated according to predeterminable criteria (e.g., application of additional filters) before any actually deemed to be relevant
  • 2-dimensional image can be an object at virtually arbitrary locations within the cone shown in Fig. 2, it follows from the in Fig. 3rd
  • Area 40 must be located.
  • volume elements of the space region whose assigned voxels in at least one of the m memory cells have numerical values which lie in a certain value range are included as an object
  • Volume elements identified which can then be used for a variety of purposes. For example, warning messages can be issued to the driver or certain driver assistance systems can be activated if a collision with an object threatens. The thus obtained can be particularly advantageous
  • Voxelraum is analyzed and only after analysis of e.g. 10-20 images of the step of identifying, or any captured image can be immediately examined to see which voxels have mapped which pixels and which volume elements contain objects.
  • Indicating scale information wherein the volume elements identified as containing an object, which lie in the illustrated plane, are visibly displayed differently than the other in-plane volume elements.
  • the cutting plane may be at a fixed height, e.g. 50 cm above the ground, or several cutting planes can be displayed superimposed.
  • the current image of the first camera can also be displayed on a display device in the vehicle, wherein the image is superimposed on a color-coded representation generated from the information obtained according to the invention, from which a distance information with respect to the distance of any present in the image objects relative to the Vehicle is readable.
  • a color-coded representation generated from the information obtained according to the invention, from which a distance information with respect to the distance of any present in the image objects relative to the Vehicle is readable.
  • Information retrieval Rather, it is more important that the information be forwarded to other driver assistance systems and these systems so that depth information on the spatial distribution of objects relative to the vehicle can be made available in quasi real-time, as previously could only get a human by viewing the scene.
  • the space area is at least partially subdivided and new voxels are added to the voxel space, while others are omitted.
  • predetermined criteria for example the inclusion of a certain number of images, eg after 15 pictures, or after covering a certain distance, the space area is at least partially subdivided and new voxels are added to the voxel space, while others are omitted.
  • a new voxel space is defined, which overlaps partially with previously defined, so that meaningful depth information can be obtained via the voxels, which are common to several adjacent voxel spaces.
  • the position of the objects in the considered spatial area can also change, since they can be moving objects. Since the inventive
  • Object recognition works very fast, also an object movement can be detected and visualized, e.g. by representing a so-called motion shadow on a display device in the vehicle. Also, when sharing
  • images of at least one second camera are taken of at least one second spatial area that at least partially overlaps the first spatial area, so that the images captured by the second camera in the
  • Determining the spatial distribution of objects in the first space area can be considered.
  • the second camera may be attached to the vehicle on which the first camera is mounted.
  • the information of the second or further cameras can be backprojected into the overlapping voxel space.
  • the at least one second camera is attached to another vehicle or to a stationary device, for example to a traffic sign, which thus allows a completely different view of the area of interest and makes it possible, for example, to detect objects hidden behind another object , For example, if a vehicle approaches you in its Driving direction on the right side of the road after a crossing parked truck behind the children play, while another, equipped with a system according to the invention vehicle from a cross street on the crossroads so that the children lie in his view, the vehicles can as described below Form an ad-hoc network and exchange complementary information about the respective traffic scenario.
  • the accurate detection of the absolute position of the vehicle is necessary: This can be done via the positioning functions of mobile units or via
  • Positioning systems such as e.g. GPS done.
  • An arrangement according to the invention for determining the spatial distribution of objects in a specific spatial area relative to a vehicle equipped with at least one camera comprises a data processing unit designed to carry out the method described above, comprising at least one camera and means for detecting the movement of the vehicle relative to the first room area.
  • the arrangement further comprises means for wireless communication with fixed means for transmitting position data and / or
  • Image data and / or means for wireless communication with other vehicles for the exchange of image data are preferably designed to form a so-called.
  • Ad-hoc network which is characterized by flat hierarchical structures and in the foreign vehicles, for example, coming from different directions at an intersection communicate with each other to inventively determined To exchange information about areas of interest.
  • Arrangements according to the invention, together with fixed devices with precisely known position data, can be used wirelessly with the arrangements for the purpose of transmitting position data and / or image data
  • Driver assistance systems can be implemented which convey information to the drivers also about complex traffic scenarios and / or with certain safety systems arranged in the vehicles, e.g.
  • Brake assist systems can work together to avoid impending collisions. In this case, e.g. be done so that in fixed
  • FIG. 1 Facilities such as e.g. Traffic lights (traffic lights), suitable transmitting / receiving means are installed, which allow it with appropriate inventive arrangements equipped vehicles that approach the fixed device, to determine the vehicle location very quickly and accurately. If more vehicles of the same stationary device approach each other, the means installed in the device can assume a guiding function in the exchange of information between the vehicles in order to bring about a data comparison or data supplement via the space regions respectively considered by the vehicles.
  • Traffic lights traffic lights
  • cameras can also be installed in the stationary devices, the supplementary images of the traffic scenario from another
  • the invention enables technical systems that warn a driver optically and / or acoustically and / or by movement, for example by shaking the steering wheel, when an object is in a driving trajectory of his vehicle. Also, the invention enables technical systems that initiate braking when an object is in a driving trajectory of a vehicle and the driver appears overwhelmed with the situation.

Abstract

Bei einem Verfahren zur Ermittlung der räumlichen Verteilung von Objekten (10) in einem bestimmten ersten Raumgebiet relativ zu einem mit wenigstens einer Kamera ausgestatteten Fahrzeug (12), wird zunächst das Raumgebiet in Volumenelemente unterteilt, wobei jedem Volumenelement einem Voxel eines Voxelraum aus Voxeln zugeordnet wird. Für jedes Voxel wird eine Anzahl von Speicherzellen reserviert, wobei die Werte in den Speicherzellen auf einen vorbestimmten Anfangswert gesetzt werden. Sodann erfolgt ein nicht-invasives Aufnehmen einer Sequenz von räumlich und zeitlich versetzten zweidimensionalen Bildern (14) des ersten Raumgebietes mit der wenigstens einen Kamera. Dann wird bzw. werden für zumindest bestimmte Voxel das oder die Pixel in einem zweidimensionalen Bild der Sequenz ermittelt, auf das/die die das jeweilige Voxel ggf. abgebildet wurde, worauf die Zahlenwerte in den entsprechenden Speicherzellen des Voxels basierend auf zumindest einer Komponenten des/der Pixel erhöht wird. Dieser Schritt wird für mehrere Bilder der Sequenz wiederholt, wobei die Zahlenwerte in den Speicherzellen nach vorgebbaren Kriterien akkumuliert werden. Auf diese Weise können diejenigen Volumenelemente des Raumgebietes identifiziert werden, die ein Objekt enthalten.

Description

VERFAHREN, ANORDNUNG UND FAHRASSISTENZSYSTEM ZUR
ERMITTLUNG DER RÄUMLICHEN VERTEILUNG VON OBJEKTEN RELATIV ZU EINEM FAHRZEUG
TECHNISCHES GEBIET DER ERFINDUNG
Die Erfindung betrifft ein Verfahren und eine Anordnung zur Ermittlung der räumlichen Verteilung von Objekten in einem begrenzten Raumgebiet relativ zu einem mit wenigstens einer Kamera ausgestatteten Fahrzeug. Die Erfindung betrifft auch ein Fahrassistenzsystem, das mehrere erfindungsgemäße Anordnungen verwendet, um zwischen Fahrzeugen Informationen über die räumliche Verteilung von Objekten relativ zu den Fahrzeugen auszutauschen.
HINTERGRUND DER ERFINDUNG
Dank der gesteigerten Leistungsfähigkeit von Prozessoren konnten bereits verschiedene Fahrassistenzsysteme realisiert werden, die anhand der von
Sensoren ermittelten Daten z.B. das Bremsen unterstützen, automatisch bestimmte Abstände zu vorausfahrenden Fahrzeugen einhalten, Straßenverkehrszeichen wie insbesondere Geschwindigkeitsbeschränkungen oder Verbotszeichen erkennen und entsprechende Warnmeldungen akustisch und/oder optisch ausgeben können.
Eine besondere Herausforderung stellt die sog. "Erfassung von Verkehrsszenarien", also die Erfassung der räumlichen Verteilung von Objekten relativ zu einem
Fahrzeug dar, insbesondere dann, wenn das Ergebnis der Erfassung zur
Verhinderung von Unfällen dem Fahrer und/oder einem Fahrassistenzsystem (z.B. einem Bremssystem) quasi in Echtzeit zur Verfügung gestellt werden soll. Während bestimmte Muster, insbesondere einfache, stets gleiche oder ähnliche Muster wie Verkehrszeichen, in einem zweidimensionalen Bild relativ leicht erkannt werden können, ist die Ermittlung von Tiefeninformationen, also des Abstandes eines Objektes zu einem Fahrzeug gerade bei Objekten wie Fußgängern und bei größeren Abständen nicht trivial. Auf Ultraschall-, Radar- oder Laserwellen basierende Systeme zur Ermittlung von Tiefeninformationen erfordern zum einen spezielle und i.d.R. nur für den Zweck der Tiefenerkennung einsetzbare Sender und Empfänger und zum anderen das aktive (invasive) Ausstrahlen entsprechender Wellen, wobei zudem insbesondere
Radarwellen nicht von allen Objekten gleichermaßen gut reflektiert werden.
Es ist bekannt, eine Verkehrsszene aktiv mit einem vorgegebenen Muster, z.B. einem Strichgitter, zu beleuchten und aus der Veränderung des Musters im Bild auf die Verteilung der Objekte zu schließen. Solche Verfahren erfordern ebenfalls das aktive Ausstrahlen von Wellen, das, je nach Wellenlängenbereich, andere
Verkehrsteilnehmer stören kann und zudem bei weiter entfernten Objekten sehr starke Beleuchtungseinrichtungen erfordert, um zu brauchbaren Ergebnissen zu führen. Wünschenswert ist es daher, Tiefeninformationen aus zweidimensionalen digitalen
Bildern zu ermitteln, da solche Bilder in einfacher, kostengünstiger und vor allem nicht-invasiver Weise mit digitalen Kameras erhalten werden können, wobei unter dem Begriff "Kamera" hier alle Arten von Bildsensoren und entsprechender Bildverarbeitungshard- und -Software verstanden werden, die es erlauben, ein zumindest grob aufgelöstes, räumlich zweidimensionales Bild aufzunehmen.
Zur Ermittlung von Tiefeninformationen aus zweidimensionalen Bildern sind verschiedene Verfahren bekannt. Ein solches Verfahren ist die sog. Stereovision, die auf den gleichen Prinzipien wie das menschliche Sehen basiert. Dabei werden von zwei verschiedenen Orten aus gleichzeitig Bilder derselben Szene
aufgenommen. Anschließend werden korrespondierende Punkte in den beiden Bildern gesucht und zueinander in Relation gesetzt, um die Entfernung des zu den Punkten gehörigen Objektes zu ermitteln. Allerdings ist die maschinelle
Stereovision rechenaufwendig und fehleranfällig, da oftmals ähnliche Punkte fälschlich als korrespondierende Punkte angesehen werden, was zur Erzeugung sog. Phantomobjekte führt. Dies tritt insbesondere dann auf, wenn die Bilder Objekte mit periodischen Mustern enthalten, z.B. Zäune. Ein weiteres Verfahren zur Ermittlung von Tiefeninformationen aus
zweidimensionalen Bildern ist das sog. "Inverse Perspective Mapping", das auf der Tatsache basiert, daß die sog. Fußpunkte weiter entfernt liegender Objekte näher am Bildhorizont, also in einem vertikal aufgenommenen Bild höher liegen als die Fußpunkte kameranäherer Objekte. Bei diesem Verfahren muß zunächst eine aufwendige Mustererkennung durchgeführt werden, d.h. es muß erkannt werden, ob, vom unteren Bildrand gesehen, ein bestimmter Bildbereich den Anfang (den Fußpunkt) eines neuen Objektes darstellt oder zu einem Objekt gehört, das bereits näher des unteren Bildrandes begonnen hat. Das Verfahren ist bei komplexen Verkehrsszenarien, in denen sich stark unterschiedliche, teilweise bewegte Objekte wie Fahrzeuge und Fußgänger befinden, nicht zur Gewinnung von
Tiefeninformationen in Echtzeit einsetzbar.
Ebenfalls auf einer Mustererkennung basiert das in der Zeitschrift Pattern
Recognotion 1992, Vol. 1 , Conference A: Computer Vision and Applications auf den
Seiten 505-508 in dem Artikel von Hamano, T. et al.: "Direct Estimation of Structure From Non-Iinear Motion by Voting Algorithm Without Tracking and Matching" vorgestellte Verfahren, bei dem in jedem von mehreren, aus unterschiedlichen Perspektiven aufgenommenen zweidimensionalen Bildern zunächst Muster (Features), z.B. Kanten von Objekten gesucht und dann mittels eines
Bewertungsalgorithmus zweidimensionale Binärbilder erzeugt werden, in denen jedes Pixel nur die Information "Pixel zeigt Teil des gesuchten Musters ja oder nein" trägt. Die so erzeugten Binärbilder werden dann in einen Voxelraum rückprojiziert, ähnlich den aus der Medizin bekannten Rückprojektionsverfahren.
Ist die Größe eines Objektes genau bekannt, kann aus der Größe, die das Objekt in einem Bild einnimmt, auf dessen Entfernung geschlossen werden. Dies erlaubt es Menschen, sich auch mit nur einem Auge sehend relativ sicher und schnell durch den Raum zu bewegen, setzt aber eine extrem schnelle Mustererkennung und einen großen Erfahrungsschatz voraus und kann derzeit von Maschinen in Echtzeit bei komplexen Bildern nicht geleistet werden. OFFENBARUNG DER ERFINDUNG
Der Erfindung liegt die Aufgabe zugrunde, ein Verfahren und eine Anordnung anzugeben, die es erlauben, die räumliche Verteilung von Objekten in einem begrenzten Raumgebiet relativ zu einem mit wenigstens einer Kamera
ausgestatteten Fahrzeug schnell, quasi in Echtzeit, und kostengünstig zu ermitteln, ohne das Raumgebiet aktiv z.B. durch Ausstrahlung von elektromagnetischen Wellen oder Schallwellen zu beeinflussen und ohne in von der Kamera
aufgenommenen Bildern nach bekannten Mustern suchen zu müssen.
Die Aufgabe wird von einem Verfahren mit den Merkmalen des Anspruchs 1 bzw. einer Anordnung mit den Merkmalen des Anspruchs 17 gelöst. Vorteilhafte
Durchführungsformen und Ausgestaltungen sind Gegenstand der jeweiligen Unteransprüche. Die nebengeordneten Ansprüche 15, 16, 21 und 22 betreffen ein Computerprogramm zur Durchführung des erfindungsgemäßen Verfahrens, einen maschinenlesbaren Datenträger mit Programmcode zur Ausführung des
Verfahrens, ein Fahrassistenzsystem, das mehrere erfindungsgemäße
Anordnungen verwendet, um zwischen Fahrzeugen Informationen über die räumliche Verteilung von Objekten relativ zu den Fahrzeugen auszutauschen, sowie ein Fahrzeug mit einer erfindungsgemäßen Anordnung bzw. einem
erfindungsgemäßen Fahrassistenzsystem.
Die Erfindung beruht auf der Idee, mittels kostengünstiger und in vielen Fahrzeugen inzwischen z.B. zur Verkehrszeichenerkennung ohnehin eingebauter
Standardkameras nicht-invasiv digitale Bilder einer Verkehrszene aus
verschiedenen Aspektwinkeln aufzunehmen und in diesen Bildern nicht etwa nach bekannten Mustern zu suchen und eine Erkennungsentscheidung zu treffen, was immer mit dem Risiko behaftet ist, bestimmte wichtige Objekte nicht zu erkennen, sondern die zweidimensionalen Bilder ausgehend von einem dreidimensionalen Voxelraum, dessen einzelne Voxel bestimmten Volumenelementen des
interessierenden realen Raumes zugeordnet sind, unter der Fragestellung zu betrachten, in welche Pixel eines zweidimensionalen Bildes ein Voxel des
Voxelraums unter Berücksichtigung der Abbildungsgesetze abgebildet wurde und dann die den jeweiligen Pixeln zugeordneten Pixelwerte (z.B. Grauwerte) in die Voxel einzuschreiben und zu dort ggf. bereits vorhandenen Werten aufzuaddieren, wobei der Vorgang mehrfach wiederholt wird, was dazu führt, daß sich in denjenigen Voxeln, in deren zugehörigen realen Volumenelementen Objekte vorhanden sind, bestimmte Werte akkumulieren, was es dann erlaubt, eine
Aussage darüber zu treffen, an welchen Stellen des realen Raums Objekte vorhanden sind. Dabei können die zweidimensionalen Bilder direkt unter der genannten Fragestellung betrachtet oder aber zuvor einer schnell auszuführenden Bildbearbeitung, z.B. einer Tiefpaßfilterung unterzogen werden. Vorteilhaft kann so vorgegangen werden, daß für jedes Voxel geprüft wird, ob ein oder mehrere Pixel eines aufgenommenen Bildes durch Abbildung des Voxels auf die Abbildungsebene der Kamera hervorgerufen worden sein kann/können. Ist dies der Fall, wird bzw. werden die dem/den Pixel/n zugeordnete/n Pixelwert/e ggf. nach Mittelwertbildung in das jeweilige Voxel eingeschrieben, genauer gesagt in einer oder mehreren dem Voxel zugeordneten Speichzelle/n akkumuliert. Diese
Betrachtung der zweidimensionalen Bilder vom Voxelraum aus hat entscheidenden Vorteile hinsichtlich des Rechenaufwandes: für jedes Voxel des Voxelraums muß bei jedem bei der Auswertung berücksichtigten zweidimensionalem Bild nur einmal geprüft werden, ob unter Berücksichtigung der Abbildungsgesetze das Voxel auf ein oder mehrere Pixel abgebildet hat. Gedanklich ist dies so vorstellbar, daß ein Strahl vom Mittelpunkt eines Voxels durch den Brennpunkt der Kamera auf die von den Pixeln aufgespannte Abbildungsebene geworfen wird. Für jedes Voxel werden dann bei der Analyse eines zweidimensionalen Bildes immer nur maximal einmal die Werte in den Speicherzellen geändert. Auch eine umgekehrte Betrachtung wäre möglich, d.h. es könnte untersucht werden, welche Voxel von einem von einem
Pixel ausgehenden Strahl durch den Brennpunkt getroffen würden, jedoch ist diese Untersuchung wesentlich rechenzeitaufwendiger, da jedes Voxel von mehreren Pixeln getroffen werden kann und entsprechend bei der Analyse eines Bildes mehrfach Werte in den Speicherzellen geändert werden müssen.
Da in einem einzelnen zweidimensionalen Bild die Tiefeninformation allenfalls unter Anwendung der oben genannten rechenzeitaufwendigen Verfahren, bei denen zunächst Objekte erkannt werden müssen, um aus deren Bildgröße oder
Bildposition auf die Entfernung zur Kamera zu schließen, ergibt sich aus der Auswertung eines einzelnen zweidimensionalen Bildes noch keine eindeutige Tiefeninformation, denn unterschiedliche Objektkonstellationen können zur gleichen zweidimensionalen Abbildung führen. Beispielsweise kann ein kleines, aber kameranah im betrachten Raum positioniertes Objekt das gleiche Bild erzeugen wie ein großes, jedoch kamerafern positioniertes Objekt gleicher Form und Farbe. Solche Mehrdeutigkeiten werden erfindungsgemäß durch Auswertung von mehreren Bildern der gleichen Szene, die jedoch aus unterschiedlichen
Aspektwinkeln aufgenommen wurden und so eine Sequenz von räumlich und zeitlich versetzten Bildern bilden, stark reduziert.
Dabei hat sich überraschend gezeigt, daß bereits verhältnismäßig wenige
Aufnahmen aus wenigen unterschiedlichen Aspektwinkeln, z.B. 15 bis 20 Bilder, die lediglich einen kleinen Aspektwinkelbereich abdecken, z.B. 5 bis 10 Grad, ausreichen, um zur Erhöhung der Verkehrssicherheit wichtige Tiefeninformationen über Verkehrsszenarien zu gewinnen. Diese Erkenntnis ist insofern überraschend, als bei Betrachtung einer Szene lediglich aus einem kleinen Aspektwinkelbereich erfahrungsgemäß keine vollständigen Informationen über die vorhandenen Objekte erfaßt werden können. Beispielweise kann bei Betrachtung der nach außen gewölbten Seite einer Säule aus nur einem kleinen Aspektwinkelbereich nicht erkannt werden, ob die Säule im Querschnitt z.B. rund oder halbkreisförmig ist. Auch die aus der Medizin bekannten tomographischen Verfahren lehren stets, daß ein Objekt aus möglichst vielen unterschiedlichen Aspektwinkeln betrachtet bzw. - bei der Transmissionstomographie - durchstrahlt, werden muß, um relevante Information zu gewinnen. Bei der medizinischen Tomographie läßt sich diese Forderung auch leicht erfüllen, während kein Verkehrsteilnehmer ein Objekt "umrunden" wird, um Information über seinen Fahrweg zu erhalten.
Da jedoch zur Erhöhung der Verkehrssicherheit der ungefähre Abstand der Objekte zum Fahrzeug wichtiger ist als eine genaue Information über deren Form und Ausdehnung auf ihrer dem Fahrzeug abgewandten Seite, erlaubt es die Erfindung erstmals, aus den bei der Fahrt von einer im Fahrzeug selbst befindlichen Kamera aufgenommenen Bildern schnell und kostengünstig wichtige sicherheitsrelevante Tiefeninformationen über das aktuelle Verkehrsszenario zu gewinnen. Die Erfindung ermöglicht es, für das betrachtete Raumgebiet zu entscheiden, ob und, wenn ja, wo ein Objekt, d.h. ein Festkörper relativ zum Fahrzeug vorhanden ist. Dabei spielt die Art des Objektes vorteilhaft keinerlei Rolle, so daß auf die bekannten rechenaufwendigen Bilderkennungsalgorithmen verzichtet werden kann. Die aufgenommenen Bilder müssen keiner Mustererkennung mit anschließender Erkennungsentscheidung unterzogen werden. Vielmehr können die den einzelnen Pixeln eines zweidimensionalen Bildes zugeordneten Pixelwerte direkt oder ggf. nach einer schnell auszuführenden Filterung, z.B. einer gewichteten
Mittelwertbildung (mit positiven und negativen Gewichten) aus z.B. fünf einander räumlich und zeitlich benachbarten Bildern einer Bildsequenz, in den Voxelraum übertragen und dort akkumuliert werden.
Weitere Einzelheiten und Vorteile der Erfindung ergeben sich aus der
nachfolgenden rein beispielhaften und nicht beschränkenden Beschreibung, in welcher - teilweise unter Bezug auf die beigefügten Zeichnungen - bevorzugte Aus- und Durchführungsformen des erfindungsgemäßen Verfahrens und der
erfindungsgemäßen Anordnung sowie deren Verwendung bei einem
Fahrassistenzsystem dargestellt sind.
KURZE BESCHREIBUNG DER FIGUREN zeigt eine stark schematisierte Prinzipskizze eines Fahrzeugs, das sich relativ zu einem Objekt bewegt, und eines vom Fahrzeug aufgenommenen zweidimensionalen Bildes der entsprechenden Verkehrsszene. ist eine Prinzipskizze zur Verdeutlichung des Problems, das aus einem zweidimensionalen Bild nicht ohne weiteres Tiefeninformationen gewonnen werden können.
Fig. 3 veranschaulicht ein Grundprinzip der Erfindung, demgemäß die
Verkehrszene aus unterschiedlichen Aspektwinkeln betrachtet wird. BEVORZUGTE AUS- UND DURCHFÜHRUNGSFORMEN
Bei einem erfindungsgemäßen Verfahren zur Ermittlung der räumlichen Verteilung von Objekten relativ zu einem mit wenigstens einer Kamera ausgestatteten
Fahrzeug wird zunächst festgelegt, welches Raumgebiet betrachtet werden soll. Im
Regelfall ist dies ein Raumgebiet vor dem Fahrzeug. Das Raumgebiete wird in Volumenelemente, in der Regel Quader oder Würfel einer Seitenlänge von z.B. 10 bis 30 cm, unterteilt, wobei jedes Volumenelement durch ein Voxel eines
Voxelraumes aus B x H x T (B, H, T e N+) Voxeln repräsentiert wird, wobei B für die Anzahl der Voxel in Breitenrichtung, H für die Anzahl der Voxel in Höhenrichtung und T für die Anzahl der Voxel in Tiefenrichtung steht. Bei der derzeit bevorzugten Ausführungsform wird das Raumgebiet in Würfel mit einer Seitenlänge von 20 cm unterteilt.
In an sich bekannter Weise ist jedem Voxel ein m-dimensionaler Vektor (m e N+) zugeordnet, dessen einzelne Komponenten z.B. Färb- und Helligkeitswerte oder, Zwecken der Normierung, Zählwerte über die Anzahl von Eintragungen bei dem jeweiligen Voxel, sind, worauf nachfolgend noch eingegangen wird.
Für jedes Voxel werden m Speicherzellen in einer geeigneten Speichereinrichtung reserviert, und die Werte in den m Speicherzellen werden auf einen vorbestimmten Anfangswert, i.d.R. null gesetzt.
Sodann wird nicht-invasiv, das heißt ohne in das Verkehrsgeschehen z.B. durch Aussendung von Radar- oder Ultraschallwellen einzugreifen, ein zweidimensionales
Bild des ersten Raumgebietes mit b x h (b, h e N+) Pixeln mit der wenigstens einen im Fahrzeug angeordneten Kamera aufgenommen, wobei b für die Anzahl der Pixel in Breitenrichtung und h für die Anzahl der Pixel in Höhenrichtung steht. Dabei hat es sich als vorteilhaft erwiesen, wenn die Abbildung eines Voxels bzw.
Volumenelements auf die Kameraebene in der Größenordnung eines Pixels liegt, wenn also B größer oder ungefähr gleich b und H größer oder ungefähr gleich h ist. Die Auflösung des Voxelraums in Höhe und Breite sollte also in etwa der Auflösung des zweidimensionalen Bildes entsprechen. Dadurch wird verhindert, daß ein auffälliges, aber kleines Objekt, das sich von seiner Umgebung deutlich in z.B. einem Färb- oder Helligkeitswert unterscheidet, allein deshalb nicht erkannt wird, weil in die Abbildung eines Voxels deutlich mehr Pixel eingehen, als von dem Objekt in einem zweidimensionalen Bild hoher Auflösung eingenommen werden. Bei der Kamera kann es sich vorteilhaft um eine handelsübliche, z.B. in den
Innenrückspiegel des Fahrzeugs integrierte Kamera handeln, wie sie von vielen Fahrzeugherstellern inzwischen serienmäßig oder optional z.B. zur
Verkehrszeichenerkennung eingebaut wird. Fig. 1 zeigt stark schematisiert den Vorgang der Aufnahme eines
zweidimensionalen Bildes einer räumlichen Verkehrsszene, bei der die
Breitenachse mit x, die Höhenachse mit y und die Tiefenachse mit z bezeichnet ist. Ein einzelnes Objekt 10 befindet sich in der Ebene x-z seitlich schräg vor einem Fahrzeug 12. Wird diese Szene vom Fahrzeug aus aufgenommen, erhält man ein zweidimensionales Bild 14 der Ebene x-y mit b x h Pixeln, wobei das reale Objekt
10 in dem Bild 14 die Abbildung 20 bewirkt.
Jedem Pixel des aufgenommen Bildes ist ein n-dimensionaler Vektor (n e N+) zugeordnet, wobei die Vektoren im einfachsten Fall, wenn es sich um
Grauwertbilder handelt, eindimensional (skalar) sind, so daß deren Komponenten, nur aus einer in der Regel ganzen Zahl aus einem vorbestimmten Wertebereich, z.B. [0, 63], mit einer vorbestimmten Anzahl, z.B. 64, möglicher Zahlenwerte bestehen, die dann möglichen Graustufen des jeweiligen digitalen Bildes entsprechen, wobei z.B. der niedrigste Wert für ein weißes, der höchste Wert für ein völlig schwarzes Bildelement steht , aber natürlich auch beliebige andere
Zuordnungen möglich sind.
Den Pixeln können auch, wie z.B. bei Farbbildern, dreidimensionale Vektoren zugeordnet sein, deren drei Komponenten den möglichen Intensitätsniveaus dreier Grundfarben, z.B. den Farben Rot, Grün, Blau oder Zyan, Magenta und Gelb, entsprechen.
Schließlich können den Pixeln auch Vektoren mit mehr als drei Dimensionen zugeordnet sein, z.B. 5-dimensionale, wobei drei Komponenten z.B. Farbintensitätsniveaus, eine Komponente einen Grauwertniveau und eine
Komponente einem Infrarotniveau entsprechen. Die Komponenten der Vektoren werden üblicherweise kurz als Bild- oder Helligkeitswerte bezeichnet. Für die Bestimmung, ob ein Objekt in dem betrachteten Raum vorhanden ist oder nicht, reicht im Regelfall die Betrachtung eines Graustufenbildes aus. Farbbilder können ggf. vor der nachfolgend beschriebenen Auswertung in Graustufenbilder umgewandelt werden. Im einfachsten Fall handelt es sich bei den aufgenommenen Bildern um Graustufenbilder, und jedem Pixel ist nur ein skalarer Pixelwert, z.B. eine Zahl zwischen 0 und 255 zugeordnet. In diesem Fall reicht es, jedem Voxel eine oder vorzugsweise zwei Speicherzellen zuzuordnen, wobei in der einen die
Grauwerte akkumuliert werden, die andere z.B. zur Zählung (zwecks Normierung), wie viele zweidimensionale Bilder schon von dem Voxel aus "betrachtet" wurden, verwendet werden kann.
Sodann erfolgt ein Schritt, den man als "Betrachtung des zweidimensionalen Bildes vom Voxelraum aus" bezeichnen kann und bei dem für zumindest bestimmte, vorzugsweise für alle Voxel des Voxelraums unter Zugrundelegung der
physikalischen Abbildungsgesetze geprüft wird, ob ein oder mehrere Pixel eines aufgenommenen Bildes durch Abbildung des Voxels auf die Abbildungsebene der Kamera hervorgerufen worden sein kann/können. Ist dies der Fall, wird bzw.
werden aus dem/den Pixel/n zugeordnete/n Pixelwert/e durch geeignete Verfahren, z.B. Mittelwertbildung oder gewichtete Mittelwertbildung, ein Bildwert bzw. (wenn die den Pixeln zugeordneten Vektoren mehr als eine Komponente besitzen und mehr als eine Komponente ausgewertet wird) Bildwerte ermittelt und zu dem bzw. den in der bzw. den entsprechenden Speicherzelle(n) des jeweiligen Voxels gespeicherten Wert(en) hinzuaddiert.
Im einfachsten Fall wird der Pixelwert eines Pixels, auf das ein Voxel abbildet, zu dem in der entsprechenden Speicherzelle des Voxels vorhandenen Zahlenwert addiert. Bildet ein Voxel auf mehr als ein Pixel ab oder trifft ein vom Zentrum eines
Voxels durch die Linse der Kamera auf die Abbildungsebene gelegter Strahl genau zwischen zwei oder vier Pixel, so kann aus den betroffenen Pixeln ein Mittelwert gebildet werden, der dann in die Speicherzelle eingeschrieben bzw. zu einem dort ggf. bereits vorhandenen Wert addiert wird. Vorteilhaft kann eine der für jedes Voxel reservierten Speicherzellen als
"Eintragszähler" fungieren, um die Anzahl der Einträge pro Voxel zu erfassen, was zu einer Normierung oder Gewichtung der in der oder den anderen Speicherzellen jedes Voxels enthaltenen Werte genutzt werden kann. Da nacheinander mehrere unterschiedliche zweidimensionale Bilder des betrachteten Raums der oben beschriebenen "Betrachtung vom Voxelraum aus" unterzogen werden, wobei die entsprechenden Bildwerte in den Voxeln akkumuliert werden, kann es zweckmäßig sein, zu verhindern, daß einzelne Extremwerte das Ergebnis verfälschen. Dazu können Voxel, die in sehr viele Bilder abgebildet haben anders gewichtet werden als Voxel, in deren Speicherzellen bei wenigen, z.B. einer einzigen Rückprojektion ein Eintrag erfolgte.
Zweckmäßigerweise werden vor der genannten Betrachtung des
zweidimensionalen Bildes vom Voxelraum aus zumindest bestimmte der b x h Pixel einer Filterung, insbesondere einer Tiefpaßfilterung bzw. einer Filterung mit einem
Tiefpaß- und einem Rampenfilter unterzogen, wobei die Filterung innerhalb eines jeden Bildes auf die Zeilen und/oder Spalten und/oder innerhalb einer Sequenz von zeitlich und räumlich versetzten Bildern auf einen zeitlichen Verlauf bestimmter Pixel oder jedes Pixels wirken kann. Da es, wie nachfolgend noch erläutert, ausreichen kann, nur bestimmte Ebenen im Voxelraum zu betrachten, kann es entsprechend ausreichend sein, auch nur bestimmte Pixel, z.B. einige horizontale Zeilen, auszuwerten, was vorteilhaft den Rechenaufwand weiter reduziert.
Fig. 2 veranschaulicht, daß ohne Kenntnis der Objekteigenschaften aus der Abbildung 20 eines realen Objektes 10 in einem einzelnen zweidimensionalen Bild
14 nicht auf dessen tatsächliche räumliche Position zum Fahrzeug 12 geschlossen werden kann, denn ein beliebiges der Objekte 22 bis 34, die die gleiche Form wie das Objekt 20 besitzen jedoch in der Größe variieren, führt, wenn es wie gezeigt entsprechend innerhalb des durch die strichpunktierten Linien 36 und 38 angedeuteten Kegels positioniert ist, zu derselben Abbildung 20 in dem Bild 14.
Deshalb muß die Szene aus verschiedenen Aspektwinkeln betrachtet werden, so daß eine Sequenz zeitlich und räumlich versetzter Bilder der Szene entsteht, wobei die zeitlichen und räumlichen Abstände der einzelnen Bilder der Sequenz zueinander nicht gleich sein müssen. Es muß lediglich die relative Position von Fahrzeug bzw. Kamera bei der Aufnahme eines Bildes relativ zum betrachteten Raumgebiet bekannt sein.
Dazu wird wird das Fahrzeug relativ zum Raumgebiet bewegt, wobei durch geeignete Mittel ein Maß der Bewegung bzw. der relativen Position von Fahrzeug und Raumgebiet erfaßt und ein weiteres Bild des interessierenden Raumgebietes aufgenommen wird. In der Fig. 3 ist dies beispielhaft schematisch angedeutet. Dabei werden zu verschiedenen Zeitpunkten t1 , t2 und t3, zu denen sich das hier nicht weiter gezeigte Fahrzeug an unterschiedlichen Orten befindet, Bilder des Objektes 10 aufgenommen. Dabei sei an dieser Stelle bemerkt, daß dies nicht etwa bedeuten soll, daß das Fahrzeug bei der Aufnahme der Bilder steht und dann bewegt wird. Vielmehr bewegt der Fahrer das Fahrzeug ganz normal im
Straßenverkehr und es werden lediglich zu bestimmten Zeitpunkten, die je nach Fahrgeschwindigkeit unterschiedlich sein können und sich z.B. danach richten können, wie weit das Fahrzeug relativ zum Raumgebiet bewegt wurde, Bilder aufgenommen und ausgewertet bzw., wenn die Kamera zu anderen Zwecken fortlaufend filmt, zu bestimmten Zeitpunkten aufgenommene Bilder ausgewertet. Theoretisch kann nach jedem Schritt "Aufnehmen eines Bildes" und "Auswerten des Bildes vom Voxelraum" aus der Schritt "Entscheiden, ob ein Volumenelement ein Objekt enthält oder nicht" durchgeführt werden. Diese Entscheidung, das sog.
Identifizieren derjenigen Volumenelemente des Raumgebietes, deren zugeordnete Voxel in zumindest einer der Speicherzellen Zahlenwerte besitzen, die in einem bestimmten Wertebereich liegen, als ein Objekt enthaltende Volumenelemente, liefert aber natürlich erst dann sinnvolle Ergebnisse, wenn die Szene aus verschiedenen Blickwinkeln betrachtet wurde. Zweckmäßigerweise werden deshalb die Schritte "Aufnehmen eines Bildes", "Bewegen des Fahrzeugs" und "Auswerten der Bilder" mehrmals, z.B. zwischen 5 und 30, vorzugsweise zwischen 10 und 20 mal wiederholt, wobei natürlich bei Auswertung der Bilder das Maß der Bewegung des Fahrzeugs und damit die neue Position des Fahrzeugs relativ zum Raumgebiet (also der neue Aspektwinkel) berücksichtigt wird und die Zahlenwerte in den
Speicherzellen nach vorgebbaren Kriterien (z.B. Anwendung weiterer Filter) akkumuliert werden, bevor eine tatsächlich als relevant zu erachtende
Identifizierung von Volumenelementen erfolgt. Während sich, wie in Fig. 2 gezeigt, bei nur einer Aufnahme eines
zweidimensionalen Bildes ein Objekt an praktisch beliebigen Stellen innerhalb des in Fig. 2 gezeigten Kegels befinden kann, ergibt sich aus der in Fig. 3
veranschaulichten Überlagerung der zu unterschiedlichen Zeitpunkten
aufgenommen Bilder, daß sich das Objekt 10 innerhalb eines relativ beschränkten
Gebietes 40 befinden muß.
Schließlich werden diejenigen Volumenelemente des Raumgebietes, deren zugeordnete Voxel in zumindest einer der m Speicherzellen Zahlenwerte besitzen, die in einem bestimmten Wertebereich liegen, als ein Objekt enthaltende
Volumenelemente identifiziert, was dann für unterschiedlichste Zwecke genutzt werden kann. Beispielsweise können dem Fahrer Warnmeldungen ausgegeben oder bestimmte Fahrassistenzsysteme aktiviert werden, wenn eine Kollision mit einem Objekt droht. Besonders vorteilhaft lassen sich die so gewonnenen
Informationen jedoch - wie nachfolgend noch beschrieben - mit anderen
Fahrzeugen austauschen, um so Informationen über Objekte zu erhalten, die von einem Fahrzeug aus nicht sichtbar sind, z.B. Objekte, die hinter anderen Objekten verdeckt liegen, aber evtl. in den Fahrweg des Fahrzeugs geraten könnten. Dabei sei an dieser Stelle bemerkt, daß die Schritte Aufnehmen eines zweidimensionalen Bildes, Ermitteln, welche Voxel des Voxelraums auf welche Pixel in dem Bild abgebildet haben, und Identifizieren von Volumenelementen als ein Objekt enthaltende Volumenelemente sequentiell als auch teilparallel erfolgen können, d.h. es kann erst eine Sequenz von zum Beispiel 10 - 20 räumlich und zeitlich versetzen Bildern aufgenommen werden, worauf dann jedes Bild der Bildsequenz vom
Voxelraum aus analysiert wird und wobei erst nach Analyse von z.B. 10 - 20 Bildern der Schritt des Identifizierens durchgeführt wird, oder es kann jedes aufgenommene Bild sofort daraufhin untersucht werden, welche Voxel auf welche Pixel abgebildet haben und welche Volumenelemente Objekte enthalten.
Als vorteilhaft hat es sich erwiesen, immer Gruppen von mehreren, z.B. fünf in der Sequenz von Bildern einander benachbarten Bildern auszuwerten und dabei eine Filterung über den zeitlichen Pixelverlauf auszuführen, also z.B. aus den zu den Zeitpunkten t1 , t2, t3, t4, und t5 aufgenommenen Bildern ein erstes
zweidimensionales Bild zu berechnen, dessen Bildwerte dann den entsprechenden Voxeln zugeordnet werden, dann aus den zu den Zeitpunkten t2, t3, t4, t5, und t6 aufgenommenen Bildern ein zweites zweidimensionales Bild zu berechnen, dessen Bildwerte dann in den entsprechenden Voxeln akkumuliert werden, dann ein drittes Bild aus den zu den Zeitpunkten t3, t4, t5, t6, und t7 aufgenommenen Bildern zu berechnen usw. bis z.B. 10 bis 20 Bilder in den Voxelraum eingegangen sind, worauf die Entscheidung, in welchen den Voxeln zugeordneten Volumenelementen Objekte vorhanden sind, getroffen wird.
Mit den so gewonnenen Informationen kann z.B. eine im wesentlichen horizontale Schnittebene des Raumgebietes auf einer Anzeigevorrichtung im Fahrzeug unter
Angabe von Maßstabsinformationen angezeigt werden, wobei die als ein Objekt enthaltend identifizierten Volumenelemente, die in der dargestellten Ebene liegen, erkennbar anders dargestellt werden als die anderen in der Ebene liegenden Volumenente. Die Schnittebene kann sich zum Beispiel in einer festen Höhe, z.B. 50 cm über dem Boden, befinden, oder es können mehrere Schnittebenen überlagert anzeigt werden.
Alternativ oder zusätzlich kann auch das aktuelle Bild der ersten Kamera auf einer Anzeigevorrichtung im Fahrzeug dargestellt werden, wobei dem Bild eine aus den erfindungsgemäße gewonnen Informationen erzeugte farbcodierte Darstellung überlagert wird, aus der eine Abstandsinformation bezüglich des Abstandes etwaiger in dem Bild vorhandener Objekte relativ zu dem Fahrzeug ablesbar ist. Eine solche Darstellung im Fahrzeug ist jedoch nicht das primäre Ziel der
Informationsgewinnung. Wichtiger ist vielmehr, daß die Informationen weiteren Fahrassistenzsystemen zugeleitet und diesen Systeme damit Tiefeninformationen über die räumliche Verteilung von Objekten relativ zum Fahrzeug quasi in Echtzeit zur Verfügung gestellt werden können, wie sie bislang nur ein Mensch durch Betrachten der Szene erhalten konnte.
Selbstverständlich ändern sich bei der Bewegung des Fahrzeugs ständig nicht nur der Aspektwinkel zum betrachteten Raumgebiet, sondern auch das interessierende Raumgebiet selbst, das heißt bestimmte Volumenelemente sind nicht länger von Interesse, z.B. weil das Fahrzeug sie bereits passiert hat. Daher wird nach vorgegebenen Kriterien, z.B. der Aufnahme einer bestimmten Anzahl von Bildern, z.B. nach 15 Bildern, oder nach Zurücklegung einer bestimmten Fahrstrecke, das Raumgebiet zumindest partiell neu unterteilt und dem Voxelraum werden neue Voxel hinzugefügt, während andere entfallen. Insbesondere kann so vorgegangen werden, daß bei jedem räumlich versetzt zu einem vorhergehenden Bild
aufgenommenen Bild ein neuer Voxelraum definiert wird, der sich teilweise mit zuvor definierten überschneidet, so daß über die Voxel, die mehreren benachbarten Voxelräumen gemeinsam sind, aussagekräftige Tiefeninformation gewonnen werden können. Auch die Lage der Objekte in dem betrachteten Raumgebiet kann sich ändern, da es sich um bewegte Objekte handeln kann. Da die erfindungsgemäße
Objekterkennung sehr schnell arbeitet, kann auch eine Objektbewegung erkannt und visualisiert werden, z.B. durch Darstellung eines sog. Bewegungsschattens auf einer Anzeigevorrichtung im Fahrzeug. Auch können beim Austausch von
Informationen mit anderen Fahrzeugen und/oder feststehenden Einrichtungen nicht nur Informationen darüber ausgetauscht werden, daß in einem Raumgebiet Objekte vorhanden sind, sondern auch, daß diese sich bewegen und ggf. auch mit welcher Geschwindigkeit und Richtung sie sich bewegen. Bei einer besonders bevorzugten Durchführungsform der Erfindung werden von wenigstens einer zweiten Kamera Bilder wenigstens eines zweiten Raumgebietes aufgenommen, das sich zumindest teilweise mit dem ersten Raumgebiet überschneidet, so daß die von der zweiten Kamera erfaßten Bilder bei der
Ermittlung der räumlichen Verteilung von Objekten in dem ersten Raumgebiet berücksichtigt werden können. Dabei kann die zweite Kamera an dem Fahrzeug angebracht sein, an dem auch die erste Kamera angebracht ist. Die Information der zweiten oder weiteren Kameras kann in den sich überschneidenden Voxelraum rückprojiziert werden.
Bevorzugt ist die wenigstens eine zweite Kamera an einem anderen Fahrzeug oder einer feststehenden Einrichtung, z.B. an einem Verkehrsschild, angebracht, was damit einen völlig anderen Blickwinkel auf das interessierende Raumgebiet erlaubt und es zum Beispiel ermöglicht, auch hinter einem anderen Objekt versteckt liegende Objekte zu detektieren. Nähert sich z.B. ein Fahrzeug einem in seiner Fahrrichtung am rechten Straßenrand nach einer Kreuzung geparkten Lkw, hinter dem Kinder spielen, während ein anderes, mit einem erfindungsgemäßen System ausgerüstetes Fahrzeug von einer Querstraße so auf die Kreuzung zufährt, daß die Kinder in seinem Blickwinkel liegen, können die Fahrzeuge wie nachfolgend noch beschrieben ein Ad-hoc-Netzwerk bilden und sich ergänzende Informationen über das jeweils erfaßte Verkehrszenario austauschen.
Insbesondere für den Austausch von Informationen mit anderen Fahrzeugen ist die genaue Erfassung der absoluten Position des Fahrzeugs notwendig: Dies kann über die Positionsbestimmungsfunktionen von Mobilfunkeinheiten oder über
Positionsbestimmungssysteme wie z.B. GPS erfolgen. Vorteilhaft erfolgt die
Erfassung jedoch durch Kommunikation mit feststehenden Einrichtungen, deren Position exakt bekannt ist und die über geeignete Datenaustauschmittel verfügen, was eine schnellere und genauere Positionsbestimmung ermöglicht kann als z.B. die Positionsbestimmung über GPS. Zur Positionsbestimmung können alternativ oder zusätzlich auch Inertialsysteme des Fahrzeugs beitragen.
Eine erfindungsgemäße Anordnung zur Ermittlung der räumlichen Verteilung von Objekten in einem bestimmten Raumgebiet relativ zu einem mit wenigstens einer Kamera ausgestatteten Fahrzeug umfaßt eine zur Ausführung des zuvor beschriebenen Verfahrens ausgebildete Datenverarbeitungseinheit, die wenigstens eine Kamera und Mittel zur Erfassung der Bewegung des Fahrzeugs relativ zu dem ersten Raumgebiet. Bevorzugt umfaßt die Anordnung ferner Mittel zur drahtlosen Kommunikation mit feststehenden Einrichtungen zur Übermittlung von Positionsdaten und/oder
Bilddaten und/oder Mittel zur drahtlosen Kommunikation mit anderen Fahrzeugen zum Austausch von Bilddaten. Diese Mittel zur drahtlosen Kommunikation sind vorzugsweise zur Bildung eines sog. Ad-hoc-Netzwerks ausgebildet, das sich durch flache hierarchische Strukturen auszeichnet und bei dem fremde Fahrzeuge, die sich z.B. aus unterschiedlichen Richtungen kommend an einer Kreuzung begegnen, miteinander kommunizieren, um erfindungsgemäß ermittelte Informationen über interessierende Raumgebiete auszutauschen. Mit erfindungsgemäßen Anordnungen können zusammen mit feststehenden Einrichtungen mit genau bekannten Positionsdaten, die mit den Anordnungen zwecks Übermittlung von Positionsdaten und/oder Bilddaten drahtlos
kommunizieren können, Fahrassistenzsysteme realisiert werden, die den Fahrern Informationen auch über komplexe Verkehrsszenarien übermitteln und/oder mit bestimmten in den Fahrzeugen angeordneten Sicherheitssystemen, z.B.
Bremsassistenzsystemen, zusammenwirken können, um drohende Kollisionen zu vermeiden. Dabei kann z.B. so vorgegangen werden, daß in ortsfesten
Einrichtungen, wie z.B. Lichtsignalanlagen (Ampeln), geeignete Sende- /Empfangsmittel installiert werden, die es mit entsprechenden erfindungsgemäßen Anordnungen ausgestatteten Fahrzeugen, die sich der feststehenden Einrichtung nähern, ermöglichen, den Fahrzeugstandort sehr schnell und genau zu bestimmen. Nähern sich weitere Fahrzeuge derselben ortsfesten Einrichtung, können die in der Einrichtung installierten Mittel eine Leitfunktion beim Austausch von Informationen zwischen den Fahrzeugen übernehmen, um einen Datenabgleich bzw. eine Datenergänzung über die von den Fahrzeugen jeweils betrachteten Raumgebiete herbeizuführen.
In den ortsfesten Einrichtungen können selbstverständlich auch Kameras installiert sein, die ergänzende Bilder des Verkehrsszenarios aus einem weiteren
Aspektwinkel liefern und entsprechend in die Rückprojektion eingehen können. Die Erfindung ermöglicht technische Systeme, die einen Fahrer optisch und/oder akustisch und/oder durch Bewegung, beispielsweise durch Zittern des Lenkrads, warnen, wenn sich ein Objekt in einer Fahrtrajektorie seines Fahrzeugs befindet. Auch ermöglicht die Erfindung technische Systeme, die eine Bremsung einleiten, wenn sich ein Objekt in einer Fahrtrajektorie eines Fahrzeugs befindet und der Fahrer mit der Situation überfordert erscheint.
Im Rahmen des Erfindungsgedankens sind zahlreiche Abwandlungen und
Weiterbildungen möglich, die sich z.B. auf den Austausch und Abgleich der von verschiedenen Fahrzeugen erfaßten Informationen beziehen. Auch ist es möglich, anstelle oder zusätzlich zu den genannten Grauwerten Infrarotanteile in den mit einer geeigneten Kamera aufgenommenen Bildern zu nutzen, um so bestimmte Objekte besonders gut oder unabhängig von den Sichtverhältnissen zu erkennen.

Claims

Patentansprüche
1. Verfahren zur Ermittlung der räumlichen Verteilung von Objekten in einem bestimmten ersten Raumgebiet relativ zu einem mit wenigstens einer Kamera ausgestatteten Fahrzeug, umfassend
i) Unterteilen des Raumgebietes in Volumenelemente und Zuordnen jedes Volumenelementes zu einem Voxel eines Voxelraumes aus B x H x T (B, H, T e N+) Voxeln, wobei jedem Voxel ein m-dimensionaler Vektor (m e N+) zugeordnet ist, ii) Reservieren von m (m e N+) Speicherzellen für jedes Voxel und Setzen der Werte in den Speicherzellen auf einen vorbestimmten Anfangswert,
iii) nicht-invasives Aufnehmen einer Sequenz von räumlich und zeitlich versetzten zweidimensionalen Bildern des ersten Raumgebietes mit b x h (b, h e N+) Pixeln mit der wenigstens einen Kamera, wobei jedem Pixel ein n-dimensionaler Vektor (n e N+) zugeordnet ist, dessen n Komponenten Zahlenwerte aus bestimmten Wertebereichen sind,
iv) für zumindest bestimmte Voxel: Ermitteln des oder der Pixel in einem zweidimensionalen Bild der Sequenz, auf das/die die das jeweilige Voxel ggf.
abgebildet wurde, und Erhöhen der Zahlenwerte in den entsprechenden
Speicherzellen des Voxels basierend auf zumindest einer der n Komponenten des/der Pixel,
v) Wiederholen von Schritt iv) für mehrere Bilder der Sequenz, wobei die Zahlenwerte in den Speicherzellen nach vorgebbaren Kriterien akkumuliert werden, vi) Identifizieren derjenigen Volumenelemente des Raumgebietes, deren zugeordnete Voxel in zumindest einer der m Speicherzellen Zahlenwerte besitzen, die in einem bestimmten Wertebereich liegen, als ein Objekt enthaltende
Volumenelemente.
2. Verfahren nach Anspruch 1 , dadurch gekennzeichnet, daß zumindest bestimmte der b x h Pixel eines zweidimensionalen Bildes der Sequenz vor Schritt iv) einer Filterung oder gewichteten Mittelung unterzogen werden, insbesondere einer Filterung oder gewichteten Mittelung unter Berücksichtigung der
entsprechenden Pixel eines oder mehrerer zeitlich unmittelbar zuvor und zeitlich unmittelbar danach aufgenommenen Bilder.
3. Verfahren nach Anspruch 2, dadurch gekennzeichnet, daß die Filterung, gewählt ist aus einer Tiefpaßfilterung, einer Filterung innerhalb des
aufgenommenen Bildes auf dessen Zeilen und/oder Spalten und/oder einer Filterung auf einen zeitlichen Pixelverlauf in der Sequenz von Bildern.
4. Verfahren nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, daß Schritt iv) auf 5 bis 30, vorzugsweise auf 10 bis 20 zweidimensionale Bilder angewandt wird.
5. Verfahren nach einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, daß die Anzahl der Einträge in den Speicherzellen erfaßt und zu einer Normierung der in den Speicherzellen enthaltenen Werte vor Schritt vi) genutzt wird.
6. Verfahren nach einem der Ansprüche 1 bis 5, dadurch gekennzeichnet, daß jedes Volumenelement einem Würfel mit einer Seitenlänge von 10 bis 30 cm, vorzugsweise von etwa 20 cm entspricht.
7. Verfahren nach einem der Ansprüche 1 bis 6, dadurch gekennzeichnet, daß B größer oder gleich b und H größer oder h ist.
8. Verfahren nach einem der Ansprüche 1 bis 7, dadurch gekennzeichnet, daß die wenigstens eine Kamera für Wellenlängen im Infraroten empfindlich ist.
9. Verfahren nach einem der Ansprüche 1 bis 8, dadurch gekennzeichnet, daß von wenigstens einer zweiten Kamera Bilder eines zweiten Raumgebietes aufgenommen werden, das sich zumindest teilweise mit dem ersten Raumgebiet überschneidet, und daß die von der zweiten Kamera erfaßten Bilder bei der Ermittlung der räumlichen Verteilung von Objekten in dem ersten Raumgebiet berücksichtigt werden.
10. Verfahren nach Anspruch 9, dadurch gekennzeichnet, daß die zweite Kamera an dem Fahrzeug an gebracht ist, an dem auch die erste Kamera angebracht ist.
1 1. Verfahren nach Anspruch 9, dadurch gekennzeichnet, daß die zweite Kamera an einem anderen Fahrzeug oder einem feststehenden Objekt angebracht ist.
12. Verfahren nach einem der Ansprüche 1 bis 1 1 , dadurch gekennzeichnet, daß die absolute Position des Fahrzeugs erfaßt wird, insbesondere durch
Kommunikation mit einem feststehenden Objekt.
13. Verfahren nach einem der Ansprüche 1 bis 12, dadurch gekennzeichnet, daß nach Schritt vii) eine im wesentlichen horizontale Schnittebene des
Raumgebietes auf einer Anzeigevorrichtung im Fahrzeug unter Angabe von Maßstabsinformationen angezeigt wird, wobei die als ein Objekt enthaltend identifizierten Volumenelemente, die in der dargestellten Ebene liegen, erkennbar anders dargestellt werden als die anderen in der Ebene liegenden Volumenente.
14. Verfahren nach einem der Ansprüche 1 bis 13, wobei das aktuelle Bild der ersten Kamera auf einer Anzeigevorrichtung im Fahrzeug dargestellt wird, dadurch gekennzeichnet, daß dem Bild eine aus Schritt vi) gewonnene farbcodierte
Darstellung überlagert wird, aus der eine Abstandsinformation bezüglich des Abstandes etwaiger in dem Bild vorhandener Objekte relativ zu dem Fahrzeug ablesbar ist.
15. Computerprogramm umfassend Anweisungen zur Ausführung eines Verfahrens nach einem der Ansprüche 1 bis 14.
16. Maschinenlesbarer Datenträger umfassend Programmcode zur Ausführung eines Verfahrens nach einem der Ansprüche 1 bis 14.
17. Anordnung zur Ermittlung der räumlichen Verteilung von Objekten in einem bestimmten Raumgebiet relativ zu einem mit wenigstens einer Kamera
ausgestatteten Fahrzeug, umfassend
eine zur Ausführung eines Verfahrens nach einem der Ansprüche 1 bis 14 ausgebildete Datenverarbeitungseinheit,
die wenigstens eine Kamera und Mittel zur Erfassung der Bewegung des Fahrzeugs relativ zu dem ersten Raumgebiet.
18. Anordnung nach Anspruch 17, ferner umfassend Mittel zur drahtlosen Kommunikation mit feststehenden Objekten zur Übermittlung von Positionsdaten und/oder Bilddaten.
19. Anordnung nach Anspruch 17 oder 18, ferner umfassend Mittel zur drahtlosen Kommunikation mit anderen Fahrzeugen zum Austausch von Bilddaten.
20. Anordnung nach Anspruch 18 oder 19, dadurch gekennzeichnet, daß die Mittel zur drahtlosen Kommunikation zur Bildung eines Ad-hoc-Netzwerks ausgebildet sind.
21. Fahrassistenzsystem umfassend in Fahrzeugen vorgesehene Anordnungen nach einem der Ansprüche 18 bis 20 und feststehende Objekte mit genau bekannten Positionsdaten, die mit den Anordnungen zur Übermittlung von
Positionsdaten und/oder Bilddaten drahtlos kommunizieren können.
22. Fahrzeug umfassend eine Anordnungen nach einem der Ansprüche 17 bis 20 und/oder ein Fahrassistenzsystem nach Anspruch 21.
PCT/DE2012/100255 2011-08-29 2012-08-29 Verfahren, anordnung und fahrassistenzsystem zur ermittlung der räumlichen verteilung von objekten relativ zu einem fahrzeug WO2013029606A2 (de)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE112012003630.1T DE112012003630B4 (de) 2011-08-29 2012-08-29 Verfahren, anordnung und fahrassistenzsystem zur ermittlung der räumlichen verteilung von objekten relativ zu einem fahrzeug

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
DE102011053067 2011-08-29
DE102011053067.3 2011-08-29
DE102011057111 2011-12-28
DE102011057111.6 2011-12-28

Publications (2)

Publication Number Publication Date
WO2013029606A2 true WO2013029606A2 (de) 2013-03-07
WO2013029606A3 WO2013029606A3 (de) 2013-04-25

Family

ID=47088604

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/DE2012/100255 WO2013029606A2 (de) 2011-08-29 2012-08-29 Verfahren, anordnung und fahrassistenzsystem zur ermittlung der räumlichen verteilung von objekten relativ zu einem fahrzeug

Country Status (2)

Country Link
DE (1) DE112012003630B4 (de)
WO (1) WO2013029606A2 (de)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9286522B2 (en) 2013-01-15 2016-03-15 Mobileye Vision Technologies Ltd. Stereo assist with rolling shutters

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000161915A (ja) * 1998-11-26 2000-06-16 Matsushita Electric Ind Co Ltd 車両用単カメラ立体視システム
US7446766B2 (en) * 2005-02-08 2008-11-04 Seegrid Corporation Multidimensional evidence grids and system and methods for applying same
US7786898B2 (en) * 2006-05-31 2010-08-31 Mobileye Technologies Ltd. Fusion of far infrared and visible images in enhanced obstacle detection in automotive applications
DE102006055344A1 (de) * 2006-11-23 2008-05-29 Vdo Automotive Ag Verfahren zur drahtlosen Kommunikation zwischen Fahrzeugen

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
HAMANO, T. ET AL.: "Direct Estimation of Structure From Non-linear Motion by Voting Algorithm Without Tracking and Matching", ZEITSCHRIFT PATTERN RECOGNOTION, vol. 1, 1992, pages 505 - 508

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9286522B2 (en) 2013-01-15 2016-03-15 Mobileye Vision Technologies Ltd. Stereo assist with rolling shutters
US9531966B2 (en) 2013-01-15 2016-12-27 Mobileye Vision Technologies Ltd. Stereo assist with rolling shutters
US9854185B2 (en) 2013-01-15 2017-12-26 Mobileye Vision Technologies Ltd. Stereo assist with rolling shutters
US10200638B2 (en) 2013-01-15 2019-02-05 Mobileye Vision Technologies Ltd. Stereo assist with rolling shutters
US10764517B2 (en) 2013-01-15 2020-09-01 Mobileye Vision Technologies Ltd. Stereo assist with rolling shutters

Also Published As

Publication number Publication date
WO2013029606A3 (de) 2013-04-25
DE112012003630A5 (de) 2014-05-22
DE112012003630B4 (de) 2020-10-22

Similar Documents

Publication Publication Date Title
DE69932021T2 (de) Dreidimensionales Darstellungssystem mit einer einzelnen Kamera für Fahrzeuge
DE60126382T2 (de) Verfahren und Gerät zur Erkennung von Gegenständen
DE60020420T2 (de) Situationsdarstellungs-Anzeigesystem
DE102010035772B4 (de) System und Verfahren zum Liefern von Leitinformation für einen Fahrer eines Fahrzeugs
EP2805183B1 (de) Verfahren und vorrichtung zum visualisieren der umgebung eines fahrzeugs
DE102018121019A1 (de) Erweitern von realen sensoraufzeichnungen mit simulierten sensordaten
DE102020100080A1 (de) Adaptive transparenz eines virtuellen fahrzeugs in einem simulierten bildgebungssystem
WO2004029877A2 (de) Verfahren und vorrichtung zur videobasierten beobachtung und vermessung der seitlichen umgebung eines fahrzeugs
DE102015105248A1 (de) Erzeugen eines bildes von der umgebung eines gelenkfahrzeugs
EP3537384A2 (de) Visuelles surround-view-system zur überwachung des fahrzeuginneren
DE102009051526A1 (de) System und Verfahren zum Abbilden der Fahrzeugumgebung mit ein- und verstellbarer Perspektive
DE102014013155A1 (de) Bildanzeigesystem
DE102004018813A1 (de) Verfahren zur Erkennung und/oder Verfolgung von Objekten
DE102018212655A1 (de) Erkennung der Bewegungsabsicht eines Fußgängers aus Kamerabildern
DE112018007485T5 (de) Straßenoberflächen-Detektionsvorrichtung, Bildanzeige-Vorrichtung unter Verwendung einer Straßenoberflächen-Detektionsvorrichtung, Hindernis-Detektionsvorrichtung unter Nutzung einer Straßenoberflächen-Detektionsvorrichtung, Straßenoberflächen-Detektionsverfahren, Bildanzeige-Verfahren unter Verwendung eines Straßenoberflächen-Detektionsverfahrens, und Hindernis-Detektionsverfahren unter Nutzung eines Straßenoberflächen-Detektionsverfahrens
DE102018108751B4 (de) Verfahren, System und Vorrichtung zum Erhalten von 3D-Information von Objekten
EP3078015B1 (de) Verfahren und vorrichtung zum erzeugen einer warnung mittels zweier durch kameras erfasster bilder einer fahrzeugumgebung
DE102018132805A1 (de) Verfahren für eine verbesserte Objekterfassung
DE10141055B4 (de) Verfahren zur Bestimmung von Bewegungsinformationen
WO2019201537A1 (de) Verfahren und steuergerät zum kennzeichnen einer person
DE102019105630B4 (de) Anzeigesteuervorrichtung, Fahrzeugumgebungsanzeigesystem und Computerprogramm
DE102006037600B4 (de) Verfahren zur auflösungsabhängigen Darstellung der Umgebung eines Kraftfahrzeugs
DE10148062A1 (de) Verfahren zur Verarbeitung eines tiefenaufgelösten Bildes
DE10335601B4 (de) Verfahren zur Objektklassifizierung unter Verwendung einer 3D-Modelldatenbank
DE102013215408A1 (de) Anzeigesystem für ein Fahrzeug und Verfahren für die Anzeige einer Fahrzeugumgebung

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12778943

Country of ref document: EP

Kind code of ref document: A2

WWE Wipo information: entry into national phase

Ref document number: 1120120036301

Country of ref document: DE

Ref document number: 112012003630

Country of ref document: DE

REG Reference to national code

Ref country code: DE

Ref legal event code: R225

Ref document number: 112012003630

Country of ref document: DE

Effective date: 20140522

122 Ep: pct application non-entry in european phase

Ref document number: 12778943

Country of ref document: EP

Kind code of ref document: A2