WO2010103061A1 - Apparatus and method for detection of at least one object - Google Patents

Apparatus and method for detection of at least one object Download PDF

Info

Publication number
WO2010103061A1
WO2010103061A1 PCT/EP2010/053074 EP2010053074W WO2010103061A1 WO 2010103061 A1 WO2010103061 A1 WO 2010103061A1 EP 2010053074 W EP2010053074 W EP 2010053074W WO 2010103061 A1 WO2010103061 A1 WO 2010103061A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
stereo camera
camera
aid
evaluation unit
Prior art date
Application number
PCT/EP2010/053074
Other languages
German (de)
French (fr)
Inventor
Matthias Hoffmeier
Original Assignee
Hella Kgaa Hueck & Co.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hella Kgaa Hueck & Co. filed Critical Hella Kgaa Hueck & Co.
Publication of WO2010103061A1 publication Critical patent/WO2010103061A1/en

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle

Abstract

The invention relates to an apparatus (10, 20, 90) for detection of at least one object (21) by means of a camera, comprising a first image detection sensor (4), a stereo camera, comprising a second image detection sensor (2) and a third image detection sensor (3), and an evaluation unit. The evaluation unit determines the image of the object (21) in an image detected with the aid of the camera, and determines the position of the image of the object (21) therein. Furthermore, the evaluation unit defines an image area of an image pair detected with the aid of the stereo camera, as a function of the determined position of the object (21) in the image detected with the aid of the camera, and processes the defined image area in order to detect an image of the object (21).

Description

Vorrichtung und Verfahren zur Detektion mindestens eines Objektes Device and method for detecting at least one object
Die Erfindung betrifft eine Vorrichtung zur Detektion mindestens eines Objektes. Die Vorrichtung umfasst eine einen ersten Bilderfassungssensor umfassende Kamera, eine einen zweiten und einen dritten Bilderfassungssensor umfassende Stereokamera und eine Auswerteeinheit. Die Auswerteeinheit detektiert in einem mit Hilfe der Kamera erfassten Bild die Abbildung des Objektes in diesem Bild und ermittelt die Position der Abbildung des Objektes in dem Bild. Ferner betrifft die Erfindung ein Verfahren zur Detektion mindestens eines Objektes.The invention relates to a device for detecting at least one object. The device comprises a camera comprising a first image detection sensor, a stereo camera comprising a second and a third image detection sensor, and an evaluation unit. The evaluation unit detects in an image acquired with the aid of the camera the image of the object in this image and determines the position of the image of the object in the image. Furthermore, the invention relates to a method for detecting at least one object.
Die Vorrichtung und das Verfahren werden insbesondere in Fahrassistenzsystemen eingesetzt. In Fahrassistenzsystemen werden zur Detektion von Objekten Stereokameras oder Monokameras verwendet, mit deren Hilfe Bilder mit Abbildungen eines Erfassungsbereiches erfasst werden. In den Bildern werden Abbildungen von Objekten detektiert und die detektierten Objekte werden in Objektklassen klassifiziert. Hierzu werden voreingestellte Detektionsalgorithmen abgearbeitet. Um eine ausreichend hohe De- tektions- und Klassifizierungsgenauigkeit zu erreichen, müssen Detektionsalgorithmen mit einer hohen Güte verwendet werden. Solche Detektionsalgorithmen mit einer hohen Güte benötigen verhältnismäßig viel Zeit zur Detektion und Klassifizierung der Objekte und viel Speicherplatz. Bei der Verwendung von Detektionsalgorithmen mit einer niedrigeren Genauigkeit werden zwar sowohl die benötigte Detektionsgeschwindigkeit als auch der benötigte Speicherplatz reduziert. Jedoch besteht dabei die Gefahr, dass Objekte nicht detektiert und/oder falsch klassifiziert werden, so dass das Fahrassistenzsystem eventuell falsche Informationen an den Fahrzeugführer oder andere durch das Fahrassistenzsystem zu steuernde Einheiten liefert. Hierdurch kann gegebenenfalls die Verkehrssicherheit gefährdet werden.The device and the method are used in particular in driver assistance systems. In driver assistance systems, stereo cameras or monocameras are used to detect objects, with the aid of which images with images of a detection area are acquired. In the images, images of objects are detected and the detected objects are classified into object classes. For this purpose, preset detection algorithms are processed. In order to achieve a sufficiently high detection and classification accuracy, detection algorithms with a high quality must be used. Such high-quality detection algorithms require relatively much time to detect and classify the objects and much storage space. Using lower-precision detection algorithms reduces both the detection speed required and the space required. However, there is a risk that objects are not detected and / or classified incorrectly, so the driver assistance system may provide incorrect information to the driver or other units to be controlled by the driver assistance system. In this way, if appropriate, road safety can be endangered.
Aus dem Dokument DE 100 33 355 Al ist eine Stereokamera mit zwei Bildsensoren bekannt, welche von einem Auslesetaktsignalgenerator gesteuert pixelweise ausgelesen werden.From the document DE 100 33 355 A1 a stereo camera with two image sensors is known, which are read out pixel-by-pixel under the control of a read-out clock signal generator.
Aus dem Dokument DE 10 2004 061 998 Al ist eine Vorrichtung für ein Kraftfahrzeug mit einem Stereokamerasystem mit einer ersten Kamera und einer zweiten Kamera bekannt, wobei die erste Kamera und die zweite Kamera sich in wenigstens einer Kameraeigenschaft unterscheiden. Insbesondere sind die Lichtempfindlichkeit der ersten Kamera und die Lichtempfindlichkeit der zweiten Kamera unterschiedlich.A device for a motor vehicle with a stereo camera system having a first camera and a second camera is known from the document DE 10 2004 061 998 A1, wherein the first camera and the second camera differ in at least one camera property. In particular, the photosensitivity of the first camera and the photosensitivity of the second camera are different.
Aus dem Dokument DE 42 19 851 Al ist eine Stereokamera bekannt, die eine einzelne Objektlinse, eine einzelne Abbildungslinse und ein Zwillingsprisma zwischen diesen beiden Linsen aufweist. Vorzugsweise ist zumindest die Abbildungslinse eine Verbundlinse.From the document DE 42 19 851 A1 a stereo camera is known having a single object lens, a single imaging lens and a twin prism between these two lenses. Preferably, at least the imaging lens is a compound lens.
Aus dem Dokument DE 44 10 358 Al ist eine Stereokamera mit elektro- mechanisch betätigbaren Verschlüssen und mit elektromechanisch betätigbaren Blenden bekannt. Es ist eine einzige Steuerelektronik mit zwei Ausgängen vorgesehen. An dem einen Ausgang sind beide Verschlussschrittmotoren, am anderen die Blendenschrittmotoren angeschlossen.The document DE 44 10 358 A1 discloses a stereo camera with electromechanically actuatable closures and with electromechanically actuated shutters. There is a single control electronics with two outputs provided. At the one output both closing stepping motors are connected, at the other the diaphragm stepping motors are connected.
Aus dem Dokument DE 100 25 593 Al ist eine Stereokamera bekannt, bei der der Abstand zwischen den optischen Achsen der Aufnahmeobjekte schmäler eingestellt ist als der herkömmliche Abstand zwischen den optischen Achsen.From the document DE 100 25 593 A1 a stereo camera is known in which the distance between the optical axes of the recording objects is set narrower than the conventional distance between the optical axes.
Es ist Aufgabe der Erfindung, eine Vorrichtung und ein Verfahren zur De- tektion mindestens eines Objektes anzugeben, bei denen das Objekt bei geringem Speicherbedarf schnell und zuverlässig detektierbar ist.It is the object of the invention to provide an apparatus and a method for detecting at least one object, in which the object can be detected quickly and reliably with a small storage requirement.
Die Aufgabe wird durch eine Vorrichtung mit den Merkmalen des Patentanspruches 1 und durch ein Verfahren mit den Merkmalen des unabhängigen Verfahrensanspruchs gelöst. Vorteilhafte Weiterbildungen der Erfindung sind in den abhängigen Patentansprüchen angegeben.The object is achieved by a device having the features of claim 1 and by a method having the features of the independent method claim. Advantageous developments of the invention are specified in the dependent claims.
Durch die Verarbeitung nur eines in Abhängigkeit von der ermittelten Position des Objektes im mit Hilfe der Kamera erfassten Bild festgelegten Bildbereichs des mit Hilfe der Stereokamera erfassten Bildpaares zur De- tektion einer Abbildung des Objektes wird, verglichen mit der Verarbeitung des gesamten Bildpaares zur Detektion der Abbildung des Objektes, eine wesentlich ressourcenschonenderere Verarbeitung der Bilddaten zur Detektion des Objektes erreicht . Dadurch wird eine höhere Detektions- geschwindigkeit bei geringerem Speicherbedarf erreicht. Auch die Detek- tionsrate, die die Anzahl der detektierten Objekte pro Zeiteinheit angibt, wird erhöht. Durch die schnellere Detektion des Objektes im mit Hilfe der Stereokamera erfassten Bildpaar kann das Objekt auch schneller klassifiziert werden und/oder eine oder mehrere Eigenschaften des Objektes schneller ermittelt werden. Bei der Weiterverarbeitung der Eigenschaften des Objektes und/oder des klassifizierten Objektes, beispielsweise in einem Fahrassistenzsystem, können anzusteuernde Einheiten des Fahrzeugs schneller angesteuert werden. Die Festlegung des weiterzuverarbeitenden Bildbereiches des mit Hilfe der Stereokamera erfassten Bildpaares in Abhängigkeit von der ermittelten Position des Objektes im mit Hilfe der - A -By processing only one image area of the image pair acquired with the aid of the camera, depending on the determined position of the object with the aid of the camera, for detecting an image of the object is compared with the processing of the entire image pair for the detection of the image of the object, a substantially more resource-conserving processing of the image data for the detection of the object achieved. This achieves a higher detection speed with a smaller storage requirement. The detection rate, which indicates the number of detected objects per time unit, is also increased. As a result of the faster detection of the object in the image pair acquired with the aid of the stereo camera, the object can also be classified more quickly and / or one or more properties of the object can be determined more quickly. In the further processing of the properties of the object and / or the classified object, for example in a driver assistance system, units of the vehicle to be activated can be controlled more quickly. The definition of the image area to be processed further of the image pair acquired with the aid of the stereo camera as a function of the determined position of the object in FIG - A -
Kamera erfassten Bild erfolgt insbesondere derart, dass derjenige Bildbereich ausgewählt wird, in dem das Objekt auf Grund der Position der Abbildung des Objektes im mit Hilfe der Kamera erfassten Bild mit hoher Wahrscheinlichkeit abgebildet ist.Camera detected image is carried out in particular such that that image area is selected in which the object is mapped due to the position of the image of the object in the captured using the camera image with high probability.
Es ist vorteilhaft, wenn den durch die Bilderfassungssensoren aufgenommenen Bildern entsprechende Bilddaten erzeugt werden. Die Bilddaten werden, insbesondere mit Hilfe der Auswerteeinheit, verarbeitet bzw. weiterverarbeitet.It is advantageous if corresponding image data are generated for the images captured by the image acquisition sensors. The image data are processed or further processed, in particular with the aid of the evaluation unit.
Es ist vorteilhaft, wenn die Stereokamera eine zweite Stereokamera ist und wenn die Kamera einen vierten Bilderfassungssensor umfasst und eine erste Stereokamera ist. Durch die Verwendung zweier Stereokameras kann mit Hilfe einer jeden Stereokamera in jeweils nur einem von der Stereokamera erfassten Bildpaar die Entfernung eines in dem Bild detektier- ten Objektes zur Vorrichtung ermittelt werden.It is advantageous if the stereo camera is a second stereo camera and if the camera comprises a fourth image capture sensor and is a first stereo camera. By using two stereo cameras, the distance of an object detected in the image to the device can be determined with the aid of each stereo camera in only one image pair detected by the stereo camera.
Es ist vorteilhaft, wenn die Auswerteeinheit anhand der Abbildung des Objektes im festgelegten Bildbereich mindestens eine Eigenschaft des Objektes, insbesondere eine Objektklasse, zu der das Objekt gehört, ermittelt. Es ist besonders vorteilhaft, wenn die Auswerteeinheit in Abhängigkeit von der Eigenschaft des Objektes ein Ausgangssignal mit Informationen über das Objekt erzeugt und eine Steuereinheit zur Steuerung mindestens eines Aktuators in Abhängigkeit des Ausgangssignals der Auswerteeinheit vorgesehen ist. Hierdurch können in einem Fahrassistenzsystem auf einfache Weise beispielsweise die Lichtabstrahlung der Frontscheinwerfer, ein Gurtstraffer, ein Bremsassistent, ein Lichtassistent, ein Geschwindigkeitsassistent, ein Spurwechselassistent und/oder eine Kopfstütze angesteuert werden. Alternativ oder zusätzlich kann das Ausgangssignal oder eine dem Ausgangssignal entsprechende Information über eine Mensch-Maschine-Schnittstelle, insbesondere über eine Anzeigeneinheit, an eine Bedienperson der Vorrichtung ausgegeben werden.It is advantageous if the evaluation unit determines at least one property of the object, in particular an object class to which the object belongs, based on the image of the object in the defined image area. It is particularly advantageous if the evaluation unit generates an output signal with information about the object as a function of the property of the object, and a control unit is provided for controlling at least one actuator as a function of the output signal of the evaluation unit. As a result, the light emission of the headlights, a belt tensioner, a brake assist, a light assistant, a speed assistant, a lane change assistant and / or a headrest can be controlled in a simple manner in a driver assistance system. Alternatively or additionally, the output signal or an information corresponding to the output signal via a Man-machine interface, in particular via a display unit, are output to an operator of the device.
Bei einer bevorzugten Ausführungsform der Erfindung arbeitet die Auswerteeinheit beim Detektieren der Abbildung des Objektes in dem mit Hilfe der Kamera erfassten Bild einen ersten Algorithmus und bei der De- tektion der Abbildung des Objektes im festgelegten Bildausschnitt des mit Hilfe der Stereokamera erfassten Bildpaares einen zweiten Algorithmus ab. Dabei hat der zweite Algorithmus eine höhere Detektionsgenauigkeit als der erste Algorithmus. Als erster Algorithmus wird insbesondere ein Algorithmus verwendet, der nur eine geringe Detektionsgenauigkeit hat, dafür aber schnell ist und nur relativ wenig Ressourcen, insbesondere relativ wenig Arbeitsspeicher, erfordert. Als zweiter Algorithmus wird vorzugsweise ein Algorithmus mit einer hohen Detektionsgenauigkeit verwendet, der verglichen mit dem ersten Algorithmus viel Ressourcen erfordert und dadurch relativ langsam ist. Insbesondere erfordert der zweite Algorithmus gegenüber dem ersten Algorithmus mehr Arbeitsspeicher. Mit Hilfe des ersten Algorithmus erfolgt lediglich eine grobe Detektion von Objekten in dem mit Hilfe der Kamera erfassten Bild. Mit Hilfe des zweiten Algorithmus werden in dem Bildbereich, in dem die Abbildungen der im mit Hilfe der Kamera erfassten Bild detektierten Objekte mit hoher Wahrscheinlichkeit dargestellt sind, die Objekte detektiert. Die Klassifizierung der Objekte erfolgt insbesondere erst anhand der im festgelegten Bildbereich detektierten Abbildungen der Objekte. Auf diese Weise wird eine zuverlässige Klassifizierung der detektierten Objekte sichergestellt. Da hierzu nur ein verhältnismäßig kleiner Bildbereich des von der Stereokamera erfassten Bildpaares mit Hilfe des zweiten Algorithmus ausgewertet werden muss, wird der benötigte Speicherplatz im Vergleich zur gesamten Auswertung des mit Hilfe der Stereokamera erfassten Bildpaares mit Hilfe des zweiten Algorithmus erheblich reduziert. Es ist vorteilhaft, wenn die Auswerteeinheit in den Bildern einer mit Hilfe der Kamera erfassten Bildfolge jeweils die Abbildung des Objektes in dem jeweiligen Bild detektiert und die Position der Abbildung des Objektes in den Bildern ermittelt, und wenn die Auswerteeinheit einen Bildbereich eines mit Hilfe der zweiten Stereokamera erfassten Bildpaares in Abhängigkeit von mindestens zwei ermittelten Positionen des Objektes in mindestens zwei Bildern der mit Hilfe der Kamera erfassten Bildfolge festlegt. Durch die Erfassung einer Bildfolge mit Hilfe der Kamera und die Detektion der Abbildungen des Objektes in mehreren Bildern dieser Bildfolge kann eine Nachverfolgung des Objektes, ein sogenanntes Tra- cking, durchgeführt werden. Hierdurch kann der Bildbereich des mit Hilfe der Stereokamera erfassten Bildpaares, in dem nach der Abbildung des Objektes gesucht wird, derart festgelegt werden, dass das Objekt mit sehr hoher Wahrscheinlichkeit abgebildet wird, und/oder ein kleiner Bildbereich ausgewählt werden.In a preferred embodiment of the invention, the evaluation unit, when detecting the image of the object in the image acquired with the aid of the camera, operates on a first algorithm and on detection of the image of the object in the defined image section of the image pair acquired with the aid of the stereo camera a second algorithm , The second algorithm has a higher detection accuracy than the first algorithm. The first algorithm used is in particular an algorithm which has only a low detection accuracy, but is fast and requires only relatively few resources, in particular relatively little working memory. As the second algorithm, it is preferable to use an algorithm having a high detection accuracy, which requires a lot of resources as compared with the first algorithm, and thus is relatively slow. In particular, the second algorithm requires more memory over the first algorithm. With the aid of the first algorithm, only coarse detection of objects in the image acquired with the aid of the camera takes place. With the aid of the second algorithm, the objects are detected in the image area in which the images of the objects detected in the image acquired with the aid of the camera are displayed with high probability. The classification of the objects takes place, in particular, only on the basis of the images of the objects detected in the defined image area. In this way a reliable classification of the detected objects is ensured. Since only a relatively small image area of the image pair captured by the stereo camera has to be evaluated with the aid of the second algorithm, the required storage space is considerably reduced in comparison to the entire evaluation of the image pair acquired with the aid of the stereo camera with the aid of the second algorithm. It is advantageous if the evaluation unit respectively detects the image of the object in the respective image in the images of an image sequence acquired with the aid of the camera and determines the position of the image of the object in the images, and if the evaluation unit uses an image region of one with the aid of the second Stereocamera detected image pair depending on at least two determined positions of the object in at least two images of the detected using the camera image sequence. By capturing a sequence of images with the aid of the camera and detecting the images of the object in a plurality of images of this image sequence, a tracking of the object, a so-called tracking, can be carried out. In this way, the image area of the image pair acquired with the aid of the stereo camera, in which the image of the object is searched for, can be set such that the object is imaged with a very high probability, and / or a small image area can be selected.
Alternativ oder zusätzlich kann hierdurch bei der Verwendung der Vorrichtung in einem Fahrassistenzsystem die Fahrbewegung des Fahrzeugs, insbesondere eine Kurvenfahrt, ermittelt werden. Auf diese Weise kann beispielsweise frühzeitig festgestellt werden, wenn ein Objekt aufgrund einer Kurvenfahrt des Fahrzeuges nicht im mit Hilfe der Stereokamera erfassten Bildpaar dargestellt werden wird, und somit auf eine Festlegung eines zu durchsuchenden Bildbereiches verzichtet werden kann.Alternatively or additionally, the driving movement of the vehicle, in particular cornering, can thereby be determined when using the device in a driver assistance system. In this way, it can be established, for example, at an early stage, if an object will not be displayed in the image pair captured with the aid of the stereo camera due to a cornering of the vehicle, and thus a determination of an image area to be searched can be dispensed with.
Bei einer bevorzugten Ausführungsform der Erfindung sind die Bilderfassungssensoren und/oder die Auswerteeinheit auf einer Platine, insbesondere einer Leiterplatte aus Epoxydharz, aufgebracht. Die Bilderfassungssensoren und die Auswerteeinheit sind fest mit der Platine verbunden, so dass die Lage der Bilderfassungssensoren zueinander fix und unveränder- bar ist. Ferner sind die Bilderfassungssensoren und die Auswerteeinheit elektrisch leitend mit der Platine verbunden. Durch die fixe Position der Bilderfassungssensoren zueinander wird der Kalibrierungsaufwand reduziert. Es ist nur ein einmaliges Kalibrieren bei der Montage der Bilderfassungssensoren notwendig, ein Nachkalibrieren während des Betriebes der Vorrichtung ist nicht notwendig.In a preferred embodiment of the invention, the image acquisition sensors and / or the evaluation unit are mounted on a printed circuit board, in particular a printed circuit board made of epoxy resin. The image acquisition sensors and the evaluation unit are firmly connected to the board, so that the position of the image acquisition sensors fixed to each other fixed and unchangeable. bar is. Furthermore, the image acquisition sensors and the evaluation unit are electrically conductively connected to the circuit board. Due to the fixed position of the image acquisition sensors to each other, the calibration effort is reduced. It is only a one-time calibration necessary in the assembly of image acquisition sensors, a recalibration during operation of the device is not necessary.
Die Bilderfassungssensoren sind vorzugsweise optische Halbleitersensoren, CCD-Bilderfassungssensoren und/oder CMOS- Bilderfassungssensoren. Solche Sensoren lassen sich einfach und kostengünstig herstellen. Ferner werden die gesamten Herstellungskosten der Vorrichtung reduziert.The image sensing sensors are preferably semiconductor optical sensors, CCD image sensing sensors and / or CMOS image sensing sensors. Such sensors can be produced easily and inexpensively. Furthermore, the overall manufacturing cost of the device is reduced.
Des Weiteren ist es vorteilhaft, wenn ein erstes und ein zweites Objektiv derart angeordnet sind, dass jeweils eine Abbildung eines Erfassungsbereiches der ersten Stereokamera auf jeweils einem Bilderfassungsbereich der Bilderfassungssensoren der ersten Stereokamera abgebildet und/oder fokussiert sind, und wenn ein drittes und ein viertes Objektiv derart angeordnet sind, dass jeweils eine Abbildung eines Erfassungsbereiches der zweiten Stereokamera auf jeweils einem Bilderfassungsbereich der Bilderfassungssensoren der zweiten Stereokamera abgebildet und/oder fokussiert sind. Die Objektive können fest mit der Platine verbunden sein und oder in einem Gehäuse, in dem die Vorrichtung aufgenommen ist, angeordnet sein.Furthermore, it is advantageous if a first and a second objective are arranged in such a way that in each case an image of a detection area of the first stereo camera is imaged and / or focused on respectively one image capture area of the image acquisition sensors of the first stereo camera, and if a third and a fourth objective are arranged such that in each case an image of a detection area of the second stereo camera are imaged and / or focused on in each case one image-capturing area of the image-capturing sensors of the second stereo camera. The lenses may be fixedly connected to the circuit board and or arranged in a housing in which the device is received.
Das erste und das zweite Objektiv sind vorzugsweise identisch. Ebenso sind das dritte und das vierte Objektiv vorzugsweise identisch. Es ist besonders vorteilhaft, wenn das erste und das zweite Objektiv einen kleineren Öffnung s winkel als das dritte und das vierte Objektiv haben. Der Öffnungswinkel des ersten und zweiten Objektivs hat insbesondere einen Wert im Bereich von 15° bis 25°, der Öffnungswinkel des dritten und vierten Objektivs im Bereich von 45° bis 65°. Hierdurch wird erreicht, dass die erste Stereokamera eine größere Brennweite als die zweite Stereokamera hat. Mit Hilfe der ersten Stereokamera wird somit ein Fernbereich erfasst, während mit Hilfe der zweiten Stereokamera ein Nahbereich vor der Vorrichtung erfasst wird. Auf diese Weise können Objekte schon in großer Entfernung zur Vorrichtung mit Hilfe der ersten Stereokamera detektiert werden und später im mit Hilfe der zweiten Stereokamera er- fassten Bildpaar klassifiziert werden, sobald sich das Objekt im Nahbereich befindet. Hierzu wird das Bildpaar der ersten Stereokamera zeitlich vor dem Bildpaar der zweiten Stereokamera erfasst.The first and second lenses are preferably identical. Likewise, the third and fourth lenses are preferably identical. It is particularly advantageous if the first and the second lens angle s have a smaller opening than the third and the fourth lens. The opening angle of the first and second lenses has a particular Value in the range of 15 ° to 25 °, the opening angle of the third and fourth lens in the range of 45 ° to 65 °. This ensures that the first stereo camera has a larger focal length than the second stereo camera. With the aid of the first stereo camera, a remote area is thus detected, while with the help of the second stereo camera, a near area in front of the device is detected. In this way, objects can already be detected at a great distance from the device with the aid of the first stereo camera and later classified in the image pair acquired with the aid of the second stereo camera as soon as the object is in the vicinity. For this purpose, the image pair of the first stereo camera is recorded in time before the image pair of the second stereo camera.
Ferner ist es vorteilhaft, mindestens eine Infrarotlichtquelle, insbesondere mit mindestens einer Infrarotleuchtdiode, zur Beleuchtung des Erfassungsbereiches der ersten Stereokamera und/oder des Erfassungsbereiches der zweiten Stereokamera vorzusehen. Auf diese Weise können Objekte auch in der Nacht detektiert und klassifiziert werden.Furthermore, it is advantageous to provide at least one infrared light source, in particular with at least one infrared light-emitting diode, for illuminating the coverage area of the first stereo camera and / or the coverage area of the second stereo camera. In this way, objects can also be detected and classified at night.
Bei einer bevorzugten Ausführungsform der Erfindung umfasst die Auswerteeinheit ein erstes Verarbeitungsmodul, ein zweites Verarbeitung s- modul und ein Zentralmodul. Das erste Verarbeitungsmodul detektiert in einem mit Hilfe der Kamera erfassten Bild die Abbildungen von Objekten in diesem Bild und übermittelt eine erste Objektliste mit Informationen über die detektierten Objekte an das Zentralmodul. Dabei werden die Informationen mit Hilfe von Daten übertragen. Ebenso detektiert das zweite Verarbeitungsmodul in einem Bildbereich des mit Hilfe der Stereokamera erfassten Bildpaares die Abbildungen der Objekte und übermittelt eine zweite Objektliste mit Informationen über die detektierten Objekte an das Zentralmodul. Das Zentralmodul erzeugt anschließend in Abhängigkeit der Informationen der ersten Objektliste und der Informationen der zwei- ten Objektliste ein Ausgangssignal mit Ausgangsinformationen. Das Ausgangssignal dient insbesondere zur Ansteuerung von Einheiten, die durch das Fahrassistenzsystem gesteuert werden. Mit Hilfe der Informationen der ersten und der zweiten Objektliste können relevante Objekte, insbesondere Spur- und Straßenbegrenzungselemente, Verkehrszeichen, Fahrzeuge und/oder Personen, zuverlässig detektiert werden.In a preferred embodiment of the invention, the evaluation unit comprises a first processing module, a second processing module and a central module. The first processing module detects in an image captured with the aid of the camera the images of objects in this image and transmits a first object list with information about the detected objects to the central module. The information is transmitted using data. Likewise, the second processing module detects the images of the objects in an image area of the image pair acquired with the aid of the stereo camera and transmits a second object list with information about the detected objects to the central module. The central module then generates, depending on the information of the first object list and the information of the two th object list an output signal with output information. The output signal is used in particular for controlling units which are controlled by the driving assistance system. With the help of the information of the first and the second object list, relevant objects, in particular lane and road boundary elements, traffic signs, vehicles and / or persons, can be reliably detected.
Ferner betrifft die Erfindung ein Verfahren zur Detektion mindestens eines Objektes, bei dem mit Hilfe einer Kamera ein Bild erfasst wird und die Abbildung des Objektes in diesem Bild detektiert und die Position der Abbildung des Objektes ermittelt wird. Ferner wird mit Hilfe einer Stereokamera ein Bildpaar erfasst und ein Bildbereich des Bildpaares in Abhängigkeit von der ermittelten Position des Objektes im mit Hilfe der Kamera erfassten Bild festgelegt. Der festgelegte Bildbereich wird nach einer Abbildung des Objektes durchsucht.Furthermore, the invention relates to a method for detecting at least one object in which an image is detected with the aid of a camera and the image of the object is detected in this image and the position of the image of the object is determined. Furthermore, a pair of images is detected with the aid of a stereo camera and an image area of the image pair is determined as a function of the determined position of the object in the image acquired with the aid of the camera. The specified image area is searched for an image of the object.
Das durch den unabhängigen Verfahrensanspruch spezifizierte Verfahren kann in gleicher Weise weitergebildet werden wie die Vorrichtung nach dem Patentanspruch 1. Insbesondere kann das Verfahren mit den in den auf die Vorrichtung rückbezogenen abhängigen Patentansprüchen angegebenen Merkmalen bzw. entsprechenden Verfahrensmerkmalen weitergebildet werden.The method specified by the independent method claim can be developed in the same way as the device according to claim 1. In particular, the method can be further developed with the features indicated in the dependent claims dependent on the device or corresponding method features.
Weitere Merkmale und Vorteile der Erfindung ergeben sich aus der folgenden Beschreibung, welche die Erfindung in Verbindung mit den beigefügten Figuren anhand von Ausführungsbeispielen näher erläutert.Further features and advantages of the invention will become apparent from the following description, which explains the invention in conjunction with the accompanying drawings with reference to exemplary embodiments.
Es zeigen: Fig. 1 eine Draufsicht auf eine schematisch dargestellte Vorrichtung zur Detektion mindestens eines Objektes gemäß einer ersten Ausführungsform der Erfindung;Show it: 1 is a plan view of a schematically illustrated device for detecting at least one object according to a first embodiment of the invention;
Fig. 2 eine schematische perspektivische Darstellung einer Vorrichtung zur Detektion mindestens eines Objektes gemäß einer zweiten Ausführung sform der Erfindung;Fig. 2 is a schematic perspective view of an apparatus for detecting at least one object according to a second embodiment of the invention;
Fig. 3 eine schematische Darstellung eines Fahrzeugs mit einer Vorrichtung zur Detektion mindestens eines Objektes nach Fig. 2 in einer ersten Verkehrssituation;FIG. 3 shows a schematic representation of a vehicle with a device for detecting at least one object according to FIG. 2 in a first traffic situation; FIG.
Fig. 4 eine schematische Darstellung des Fahrzeugs nach Fig. 3 in einer zweiten Verkehrs Situation; undFIG. 4 shows a schematic illustration of the vehicle according to FIG. 3 in a second traffic situation; FIG. and
Fig. 5 eine schematische Darstellung einer Vorrichtung zur Detektion mindestens eines Objektes gemäß einer dritten Ausführungsform der Erfindung.5 is a schematic representation of an apparatus for detecting at least one object according to a third embodiment of the invention.
In Fig. 1 ist eine Draufsicht auf eine schematische Darstellung einer Vorrichtung 10 zur Detektion mindestens eines Objektes dargestellt. Die Vorrichtung umfasst eine Platine 1 und weitere mit der Platine 1 verbundene Bauteile 2 bis 7. Die Platine 1 wiederum umfasst einen Träger aus isolierendem Material, der elektrisch leitende Verbindungen hat, die die elektrischen Anschlüsse der mit der Platine 1 verbundenen Bauteile 2 bis 7 miteinander verbinden. Die elektrisch leitenden Verbindungen sind vorzugsweise als Leiterbahnen in Form einer gedruckten Schaltung ausgeführt. Die Platine 1 ist vorzugsweise aus Epoxydharz mit Leiterbahnen aus Kupfer hergestellt und wird auch als Leiterplatte bezeichnet.FIG. 1 shows a plan view of a schematic representation of a device 10 for detecting at least one object. The device comprises a circuit board 1 and further components 2 to 7 connected to the circuit board 1. The circuit board 1 in turn comprises a carrier of insulating material which has electrically conductive connections which interconnect the electrical connections of the components 2 to 7 connected to the circuit board 1 connect. The electrically conductive connections are preferably designed as printed conductors in the form of a printed circuit. The circuit board 1 is preferably made Epoxy resin with conductor tracks made of copper and is also referred to as a printed circuit board.
Auf der Platine 1 sind ein erster Bilderfassungssensor 4, ein zweiter Bilderfassungssensor 5, ein dritter Bilderfassungssensor 2 und ein vierter Bilderfassungssensor 3 angeordnet. Die Bilderfassungssensoren 2 bis 5 sind über elektrische Verbindungen mit den nicht dargestellten Leiterbahnen der Platine 1 elektrisch verbunden. Die Bilderfassungssensoren 2 bis 5 können sowohl Farbbilderfassungssensoren als auch Grauwertbilderfassungssensoren sein. Vorzugsweise sind entweder alle Bilderfassungssensoren 2 bis 5 Farbbilderfassungssensoren oder alle Bilderfassungssensoren 2 bis 5 Grauwertbilderfassungssensoren. Der erste Bilderfassungssensor 4 und der zweite Bilderfassungssensor 5 bilden eine erste Sensorgruppe und der dritte Bilderfassungssensor 2 und der vierte Bilderfassungssensor 3 bilden eine zweite Sensorgruppe. Vorzugsweise sind die Bilderfassungssensoren 2 bis 5 jeder Sensorgruppe jeweils typengleich. Es ist vorteilhaft, wenn alle vier Bilderfassungssensoren 2 bis 5 typengleich sind.On the circuit board 1, a first image sensing sensor 4, a second image sensing sensor 5, a third image sensing sensor 2 and a fourth image sensing sensor 3 are arranged. The image detection sensors 2 to 5 are electrically connected via electrical connections to the printed conductors, not shown, of the circuit board 1. The image sensing sensors 2 to 5 may be both color image sensing sensors and gray level image sensing sensors. Preferably, either all of the image sensing sensors are 2 to 5 color image sensing sensors or all image sensing sensors are 2 to 5 grayscale imaging sensors. The first image detection sensor 4 and the second image detection sensor 5 constitute a first sensor group, and the third image detection sensor 2 and the fourth image detection sensor 3 form a second sensor group. Preferably, the image acquisition sensors 2 to 5 of each sensor group are each same type. It is advantageous if all four image acquisition sensors 2 to 5 are of the same type.
Die Bilderfassungssensoren 2 bis 5 sind mit der Platine 1 über jeweils über Lötverbindungen verbunden. Alternativ können die Bilderfassungssensoren 2 bis 5 in jeweils einen mit der Platine 1 jeweils mit Hilfe von Lötverbindungen verbunden Sockel gesteckt sein. Die Bilderfassungssensoren 2 bis 5 sind insbesondere in Form von Optoarrays aufgebracht. Durch die hierdurch bewirkte fixe Position der Bilderfassungssensoren 2 bis 5 zueinander, insbesondere durch die fixe Position des ersten Bilderfassungssensors 4 zum zweiten Bilderfassungssensor 5 und die fixe Position des dritten Bilderfassungssensors 2 zum vierten Bilderfassungssensor 3, ist der Kalibrierungsaufwand zur Kalibrierung der Vorrichtung 10 reduziert. Es ist nur ein einmaliges Kalibrieren bei der Montage der Bilderfassungssensoren 2 bis 5 notwendig. Ein Nachkalibrieren während des Betriebs der Vorrichtung 10 ist nicht notwendig.The image sensing sensors 2 to 5 are connected to the board 1 via solder joints in each case. Alternatively, the image detection sensors 2 to 5 may be plugged into a respective base connected to the circuit board 1 by means of soldered connections. The image acquisition sensors 2 to 5 are applied in particular in the form of opto-arrays. As a result of the thereby fixed position of the image acquisition sensors 2 to 5 to one another, in particular by the fixed position of the first image acquisition sensor 4 to the second image acquisition sensor 5 and the fixed position of the third image acquisition sensor 2 to the fourth image acquisition sensor 3, the calibration effort for calibrating the device 10 is reduced. It is only a one-time calibration at the installation of image acquisition sensors 2 to 5 necessary. Recalibration during operation of the device 10 is not necessary.
Die Bilderfassungssensoren 2 bis 5 sind vorzugsweise optische Halbleitersensoren, insbesondere CCD-Bilderfassungssensoren und/oder CMOS- Bilderfassungssensoren. Der dritte Bilderfassungssensor 2 und der vierte Bilderfassungssensor 4 sind insbesondere derart angeordnet, dass die Mittelpunkte ihrer Bilderfassungsbereiche auf einer Geraden liegen, die parallel zu einer der langen Seitenkanten 102 der Platine 1 verläuft. Der erste Bilderfassungssensor 4 und der zweite Bilderfassungssensor 5 sind vorzugsweise derart angeordnet, dass die Mittelpunkte ihrer Bilderfassungsbereiche auf einer zweiten Geraden liegen, die die erste Gerade orthogonal schneidet. Ferner sind die Bilderfassungssensoren 2 bis 5 insbesondere derart angeordnet, dass der Abstand des Schnittpunkts der beiden Geraden zum Mittelpunkt des Bilderfassungsbereiches des ersten Bilderfassungssensors 4 und der Abstand des Schnittpunkts zum Mittelpunkt des Bilderfassungsbereiches des zweiten Bilderfassungssensors 5 identisch sind. Ebenso sind der Abstand des Schnittpunkts zum Mittelpunkt des Bilderfassungsbereiches des dritten Bilderfassungssensors 2 und der Abstand des Schnittpunkts zum Mittelpunkt des Bilderfassungsbereiches des vierten Bilderfassungssensors 3 identisch. Die Bilderfassungssensoren 2 bis 5 sind so auf der Platine 1 angeordnet, dass zumindest die Bilderfassungsbereiche des ersten Bilderfassungssensors 4 und des zweiten Bilderfassungssensors 5 abgesehen von geringen Fertigungstoleranzen in der ersten Ebene angeordnet sind und die Bilderfassungsbereiche des dritten Bilderfassungssensors 2 und des vierten Bilderfassungssensors 5 in einer zweiten Ebene angeordnet sind. Vorzugsweise sind alle Bilderfassungsbereiche der Bilderfassungssensoren 2 bis 5 in einer Ebene angeordnet. Alternativ sind auch andere Anordnungen der Bilderfassungssensoren 2 bis 5 möglich. Insbesondere können die Bilderfassungssensoren 2 bis 5 derart angeordnet sein, dass die Mittelpunkte ihrer Bilderfassungsbereiche auf einer Geraden liegen, die parallel zur Kante 102 verläuft. Ferner können die Bilderfassungssensoren 2 bis 5 unterschiedliche Größen haben.The image acquisition sensors 2 to 5 are preferably optical semiconductor sensors, in particular CCD image acquisition sensors and / or CMOS image acquisition sensors. The third image-capturing sensor 2 and the fourth image-capturing sensor 4 are in particular arranged such that the centers of their image-capturing regions lie on a straight line that runs parallel to one of the long side edges 102 of the circuit board 1. The first image-capturing sensor 4 and the second image-capturing sensor 5 are preferably arranged such that the centers of their image-capturing regions lie on a second straight line which orthogonally intersects the first straight line. Further, the image sensing sensors 2 to 5 are particularly arranged such that the distance of the intersection of the two straight lines to the center of the image sensing area of the first image sensing sensor 4 and the distance of the intersection to the center of the image sensing area of the second image sensing sensor 5 are identical. Also, the distance of the intersection point to the center of the image capturing area of the third image sensing sensor 2 and the distance of the intersection to the center of the image capturing area of the fourth image capturing sensor 3 are identical. The image sensing sensors 2 to 5 are arranged on the board 1 so that at least the image sensing areas of the first image sensing sensor 4 and the second image sensing sensor 5 are arranged in the first plane except for small manufacturing tolerances and the image sensing areas of the third image sensing sensor 2 and the fourth image sensing sensor 5 in one second level are arranged. Preferably, all the image-capturing areas of the image-capturing sensors 2 to 5 are arranged in one plane. Alternatively, other arrangements of the image sensing sensors 2 to 5 are possible. In particular, the image sensing sensors 2 to 5 may be arranged such that the centers of their image sensing areas lie on a straight line which runs parallel to the edge 102. Further, the image sensing sensors 2 to 5 may have different sizes.
Ferner umfasst die Vorrichtung 10 eine Auswerteeinheit. In Fig. 1 sind zwei zu dieser Auswerteeinheit gehörende Bauelemente dargestellt und mit den Bezugszeichen 6 und 7 bezeichnet. Die Bauelemente 6, 7 sind insbesondere Field programmable Gate Arrays (FPGAs). Die Bauelemente 6, 7 können alternativ auch auf der Rückseite der Platine 1 angeordnet sein, die der Vorderseite der Platine 1, auf der die Bilderfassungssensoren 2 bis 5 aufgebracht sind, entgegengesetzt ist. Die von den Bilderfassungssensoren 2 bis 5 erzeugten Bilddaten werden über von der Platine 1 bereitgestellte elektrische Verbindungen zu der Auswerteeinheit übertragen. Die Verarbeitung der Bilddaten in der Auswerteeinheit erfolgt mit Hilfe von in die Auswerteeinheit implementierten Bildverarbeitungsalgorithmen. Hierzu kann in der Auswerteeinheit mindestens ein Bildverarbeitungsprogramm gespeichert sein.Furthermore, the device 10 comprises an evaluation unit. In Fig. 1, two belonging to this evaluation unit components are shown and designated by the reference numerals 6 and 7. The components 6, 7 are in particular field programmable gate arrays (FPGAs). The components 6, 7 may alternatively also be arranged on the rear side of the circuit board 1, which is opposite to the front side of the circuit board 1, on which the image detection sensors 2 to 5 are applied. The image data generated by the image acquisition sensors 2 to 5 are transmitted to the evaluation unit via electrical connections provided by the circuit board 1. The processing of the image data in the evaluation unit takes place with the aid of image processing algorithms implemented in the evaluation unit. For this purpose, at least one image processing program can be stored in the evaluation unit.
In Fig. 2 ist eine schematische perspektivische Darstellung einer Vorrichtung 20 zur Detektion mindestens eines Objektes gemäß einer zweiten Ausführungsform der Erfindung gezeigt. Elemente mit gleichem Aufbau oder gleicher Funktion haben dieselben Bezugszeichen. Die Abstände 80, 83 zwischen den Bilderfassungssensoren 2 bis 5 sind durch die gedruckte Schaltung der Platine 1 vorgegeben.FIG. 2 shows a schematic perspective view of a device 20 for detecting at least one object according to a second embodiment of the invention. Elements with the same structure or the same function have the same reference numerals. The distances 80, 83 between the image detection sensors 2 to 5 are predetermined by the printed circuit of the board 1.
Ferner umfasst die Vorrichtung 20 vier Objektive 60 bis 63. Die Objektive 60 bis 63 sind derart angeordnet, dass die optische Achse des ersten Objektives 63 durch den Mittelpunkt des Bilderfassungsbereiches des ersten Bilderfassungssensors 4, die optische Achse des zweiten Objektives 62 durch den Mittelpunkt des Bilderfassungsbereiches des zweiten Bilderfassungssensors 5, die optische Achse des dritten Objektives 60 durch den Mittelpunkt des Bilderfassungsbereiches des dritten Bilderfassungssensors 2 und die optische Achse des vierten Objektives 61 durch den Mittelpunkt des Bilderfassungsbereiches des vierten Bilderfassungssensors 3 verläuft. Die Objektive 60 bis 63 sind insbesondere derart angeordnet, dass die optischen Achsen der Objektive 60 bis 63 orthogonal zu den jeweiligen Bilderfassungsbereichen der jeweiligen Bilderfassungssensoren 2 bis 5 verlaufen. Alternativ können die Objektive 60 bis 63 derart angeordnet sein, dass ihre optischen Achsen die Bilderfassungsbereiche nahe der jeweiligen Mittelpunkte schneiden.Furthermore, the device 20 comprises four objectives 60 to 63. The objectives 60 to 63 are arranged such that the optical axis of the first objective 63 through the center of the image sensing area of the first image sensing sensor 4, the optical axis of the second objective 62 through the center of the image sensing area of the second image sensing sensor 5, the optical axis of the third objective 60 through the center of the image sensing area of the third image sensing sensor 2, and the optical axis of the fourth Objective 61 passes through the center of the image sensing area of the fourth image sensing sensor 3. The objectives 60 to 63 are particularly arranged such that the optical axes of the lenses 60 to 63 are orthogonal to the respective image sensing areas of the respective image sensing sensors 2 to 5. Alternatively, the objectives 60 to 63 may be arranged such that their optical axes intersect the image sensing areas near the respective center points.
Die Objektive 60 bis 63 sind insbesondere mit der Platine 1 verbunden, vorzugsweise auf die Platine 1 geklebt, mit der Platine 1 verschraubt oder über geeignete Klemm- oder Rastverbindungen mit der Platine 1 verbunden. Alternativ können die Objektive 60 bis 63 auch in ein nicht dargestelltes Gehäuse integriert sein. Das Gehäuse kann beispielsweise zum dauerhaften Schutz der Vorrichtung 20 vor Umwelteinflüssen, insbesondere vor Wasser und/oder Vandalismus, dienen. Die Objektive sind vorteilhafterweise mit Hilfe von Haltern an der Platine 1 befestigt, wobei jeweils zwei Stifte eines Haltes in Löcher der Platine 1 einrasten.The lenses 60 to 63 are in particular connected to the board 1, preferably glued to the board 1, bolted to the board 1 or connected via suitable clamping or snap-in connections with the board 1. Alternatively, the lenses 60 to 63 may also be integrated in a housing, not shown. The housing can serve, for example, for permanent protection of the device 20 from environmental influences, in particular against water and / or vandalism. The lenses are advantageously secured by means of holders on the board 1, wherein each two pins of a stop in holes of the board 1 engage.
Der erste Bilderfassungssensor 4, der zweite Bilderfassungssensor 5, das erste Objektiv 63 und das zweite Objektiv 62 bilden zusammen eine erste Stereokamera. Ebenso bilden der dritte Bilderfassungssensor 2, der vierte Bilderfassungssensor 3, das dritte Objektiv 60 und das vierte Objektiv 61 eine zweite Stereokamera. Bei einer alternativen Ausführungsform der Erfindung kann anstelle der ersten Stereokamera eine einen Bilderfassungssensor und ein Objektiv umfassenden Monokamera vorgesehen sein.The first image sensing sensor 4, the second image sensing sensor 5, the first lens 63 and the second lens 62 together form a first stereo camera. Likewise, the third image sensing sensor 2, the fourth image sensing sensor 3, the third lens 60, and the fourth lens 61 form a second stereo camera. In an alternative embodiment of the invention instead of the first stereo camera, a monocamera comprising an image detection sensor and a lens may be provided.
Die Objektive 60 bis 63 haben jeweils eine oder mehrere Linsen und/oder weitere optische Elemente und dienen insbesondere zur Fokussierung von Abbildungen auf die Bilderfassungsbereiche der Bilderfassungssensoren 2 bis 5. Die Objektive 62, 63 der ersten Stereokamera und die Objektive 60, 61 der zweiten Stereokamera sind vorzugsweise jeweils identisch. Die Objektive 62, 63 der ersten Stereokamera haben eine größere Brennweite als die Objektive 60, 61 der zweiten Stereokamera. Hierzu haben die Objektive 62, 63 einen Öffnung s winkel von 15° bis 25° und die Objektive 60, 61 einen Öffnungswinkel von 45° bis 65°. Durch diese Wahl der Objektive 60 bis 63 wird erreicht, dass mit Hilfe der ersten Stereokamera Bilder mit Abbildung eines Fernbereichs erfasst werden und mit Hilfe der zweiten Stereokamera Bilder mit Abbildung eines Nahbereichs erfasst werden. Als Nahbereich ist insbesondere der Bereich vor der Vorrichtung 20 bis zu einer Entfernung von ca. 60 m bezeichnet. Im Nahbereich werden auch die Randbereiche einer Fahrbahn 16 erfasst. Entsprechend wird der Bereich ab einer Entfernung von 60 m als Fernbereich bezeichnet.The objectives 60 to 63 each have one or more lenses and / or further optical elements and are used in particular for focusing images on the image capture areas of the image acquisition sensors 2 to 5. The lenses 62, 63 of the first stereo camera and the lenses 60, 61 of the second stereo camera are preferably identical in each case. The lenses 62, 63 of the first stereo camera have a larger focal length than the lenses 60, 61 of the second stereo camera. For this purpose, the lenses 62, 63 have an opening s angle of 15 ° to 25 ° and the lenses 60, 61 an opening angle of 45 ° to 65 °. By this choice of the lenses 60 to 63 is achieved that with the help of the first stereo camera images are captured with imaging of a long-range and using the second stereo camera images are captured with mapping of a short-range. In particular, the area in front of the device 20 up to a distance of about 60 m is referred to as the near zone. In the vicinity, the edge regions of a roadway 16 are detected. Accordingly, the range is referred to as the distance range from a distance of 60 m.
Ferner sind auf der Platine 1 Bauteile 70 einer Infrarotbeleuchtungsvorrichtung angeordnet. Die Bauteile 70 sind insbesondere Infrarotdioden. Durch die Verwendung von Infrarotlicht kann die Vorrichtung 20 auch bei Dunkelheit zur Bilderfassung verwendet werden, da die Erfassungsbereiche der Stereokameras zumindest teilweise mit Hilfe der Infrarotbeleuchtung s Vorrichtung ausgeleuchtet werden. Die Vorrichtung 20 zur Detektion mindestens eines Objektes wird insbesondere in Verbindung mit Fahrassistenzsystemen in Fahrzeugen, insbesondere in Straßenfahrzeugen, verwendet. Sie kann aber auch in Verbindung mit Verkehrsleitsystemen verwendet werden. Die Vorrichtung 20 ist dann vorzugsweise ortfest angeordnet, beispielsweise an einem Masten angebracht, wie einem Masten einer Lichtzeichensignalanlage.Further, components 70 of an infrared illuminating device are arranged on the circuit board 1. The components 70 are in particular infrared diodes. By using infrared light, the device 20 can be used for image acquisition even in the dark, since the detection areas of the stereo cameras are at least partially illuminated with the aid of the infrared illumination device. The device 20 for detecting at least one object is used in particular in connection with driver assistance systems in vehicles, in particular in road vehicles. It can also be used in conjunction with traffic control systems. The device 20 is then preferably stationary, for example attached to a mast, such as a mast of a beacon.
In Fig. 3 ist eine schematische Darstellung eines Fahrzeugs 15 mit einer Vorrichtung zur Detektion mindestens eines Objektes nach Fig. 2 in einer ersten Verkehrs Situation gezeigt. Das Fahrzeug 15 fährt auf der Fahrbahn 16 in Fahrtrichtung Pl.FIG. 3 shows a schematic representation of a vehicle 15 with a device for detecting at least one object according to FIG. 2 in a first traffic situation. The vehicle 15 drives on the roadway 16 in the direction of travel Pl.
Der Erfassungsbereich der ersten Stereokamera ist durch die Volllinien 17a, 17b angedeutet und mit dem Bezugszeichen 11 bezeichnet. Der Erfassungsbereich der zweiten Stereokamera ist durch die Volllinien 18a, 18b angedeutet und mit dem Bezugszeichen 12 bezeichnet. Ein neben der Fahrbahn 16 angeordnetes Objekt 21, insbesondere ein Verkehrszeichen, liegt zumindest teilweise im Erfassungsbereich 11 der ersten Stereokamera. Das Objekt 21 ist soweit vom Fahrzeug 15 entfernt, dass es sich noch nicht im Erfassungsbereich 12 der zweiten Stereokamera befindet.The detection range of the first stereo camera is indicated by the solid lines 17a, 17b and designated by the reference numeral 11. The detection range of the second stereo camera is indicated by the solid lines 18a, 18b and designated by the reference numeral 12. An object 21 arranged next to the roadway 16, in particular a traffic sign, lies at least partially in the detection area 11 of the first stereo camera. The object 21 is so far away from the vehicle 15 that it is not yet in the detection area 12 of the second stereo camera.
In Fig. 4 ist eine schematische Darstellung des Fahrzeugs 15 nach Fig. 3 in einer zweiten Verkehrs Situation gezeigt. Die zweite Verkehrssituation ist zeitlich kurz nach der in Fig. 3 gezeigten ersten Verkehrs Situation eingetreten. Das Fahrzeug 15 hat sich in der Zwischenzeit soweit in Fahrtrichtung Pl auf das Objekt 21 zu bewegt, dass das Objekt 21 außerhalb des Erfassungsbereiches 11 der ersten Stereokamera und innerhalb des Erfassungsbereiches 12 der zweiten Stereokamera angeordnet ist. Bei der Detektion eines Objektes 21 wird zunächst zu einem ersten Zeitpunkt mit Hilfe der ersten Stereokamera ein erstes Bildpaar mit einer Abbildung des Erfassungsbereiches 11 erfasst. Mit Hilfe der Auswerteeinheit wird eine Abbildung des Objektes 21 in dem mit Hilfe der ersten Stereokamera aufgenommenen ersten Bildpaar detektiert und die Position der Abbildung des Objektes 21 ermittelt. Hierzu arbeitet die Auswerteeinheit einen ersten Detektionsalgo- rithmus ab. Zu einem zweiten, zeitlich nach dem ersten Zeitpunkt angeordneten Zeitpunkt wird mit Hilfe der zweiten Stereokamera ein zweites Bildpaar mit einer Abbildung des Erfassungsbereiches 12 der zweiten Stereokamera erfasst. In Abhängigkeit von der ermittelten Position der Abbildung des Objektes 21 im ersten Bildpaar wird ein Bildbereich des zweiten Bildpaares festgelegt. Der Bildbereich wird insbesondere derart festgelegt, dass die Abbildung des detektierten Objektes 21 im zweiten Bildpaar zum zweiten Zeitpunkt mit einer hohen Wahrscheinlichkeit in dem festgelegten Bildbereich dargestellt ist. Anschließend verarbeitet die Auswerteeinheit den festgelegten Bildbereich des zweiten Bildpaares zur Detektion der Abbildung des Objektes 21 im zweiten Bildpaar. Hierzu arbeitet die Auswerteeinheit einen zweiten De- tektionsalgorithmus ab.FIG. 4 shows a schematic illustration of the vehicle 15 according to FIG. 3 in a second traffic situation. The second traffic situation occurred shortly after the first traffic situation shown in FIG. In the meantime, the vehicle 15 has moved toward the object 21 in the direction of travel P1 so far that the object 21 is arranged outside the detection area 11 of the first stereo camera and within the detection area 12 of the second stereo camera. In the detection of an object 21, a first image pair with an image of the detection area 11 is first detected at a first time with the aid of the first stereo camera. With the aid of the evaluation unit, an image of the object 21 in the first image pair recorded with the aid of the first stereo camera is detected and the position of the image of the object 21 is determined. For this purpose, the evaluation unit processes a first detection algorithm. At a second time point arranged after the first time, a second image pair with an image of the detection area 12 of the second stereo camera is acquired with the aid of the second stereo camera. Depending on the determined position of the image of the object 21 in the first image pair, an image area of the second image pair is determined. In particular, the image area is determined such that the image of the detected object 21 in the second image pair at the second time is shown with a high probability in the defined image area. Subsequently, the evaluation unit processes the defined image area of the second image pair to detect the image of the object 21 in the second image pair. For this purpose, the evaluation unit processes a second detection algorithm.
Der erste und der zweite Detektionsalgorithmus unterscheiden sich dadurch, dass der erste Detektionsalgorithmus eine wesentlich geringere Detektionsge- nauigkeit als der zweite Detektionsalgorithmus hat. Je höher die Detektions- genauigkeit eines Detektionsalgorithmus ist, umso zuverlässiger werden zu detektierende Objekte 21 auch tatsächlich detektiert. Der zweite Detektionsalgorithmus benötigt für die Detektion eines Objektes 21 eine wesentlich längere Zeit als der erste Detektionsalgorithmus und einen ebenfalls wesentlich mehr Ressourcen, insbesondere mehr Speicherplatz. Der erste Detektionsalgo- rithmus wird auch als Feature- Stereo und der zweite Detektionsalgorithmus als dichtes Stereo.The first and second detection algorithms differ in that the first detection algorithm has a significantly lower detection accuracy than the second detection algorithm. The higher the detection accuracy of a detection algorithm, the more reliably objects 21 to be detected are actually detected. The second detection algorithm requires for the detection of an object 21 a much longer time than the first detection algorithm and a likewise much more resources, in particular more storage space. The first detection algorithm rithm is also called feature stereo and the second detection algorithm is dense stereo.
Dadurch wird erreicht, dass ein Objekt 21 bereits grob mit Hilfe des mit Hilfe der ersten Stereokamera aufgenommenen ersten Bildpaares detektiert wird, wenn sich das Objekt 21 noch im Fernbereich befindet. Durch die Verwendung des ersten Detektionsalgorithmus zur Detektion des Objektes 21 im Fernbereich werden hierfür nur wenig Zeit und relativ wenig Speicher benötigt. Hat sich das Objekt 21 soweit auf die Vorrichtung 20 zu bewegt bzw. die Vorrichtung 20 soweit auf das Objekt 21 zu bewegt, dass sich das Objekt 21 im Nahbereich und somit im Erfassungsbereich 12 der zweiten Stereokamera befindet, so wird es mit Hilfe des zweiten Detektionsalgorithmus im zweiten Bildpaar zuverlässig detektiert. Da die Position des Objektes 21 im ersten Bildpaar ermittelt wurde und somit bekannt ist, kann ein Bildbereich des zweiten Bildpaares festgelegt werden, indem das Objekt 21 im zweiten Bildpaar abgebildet wird. Somit muss nicht das gesamte zweite Bildpaar mit Hilfe des zweiten Detektionsalgorithmus nach der Abbildung des Objektes 21 durchsucht werden, sondern nur der festgelegte Bildbereich. Hierdurch wird zur Detektion der Abbildung des Objektes 21 im zweiten Bildpaar trotz der hohen Detektionsgenauigkeit des zweiten Detektionsalgorithmus nur wenig Zeit und wenig Speicherplatz benötigt. Verglichen mit einer Vorrichtung zur Detektion von Objekten mit nur einer Stereokamera werden somit sowohl die Detekti- onsreichweite, die Detektionsrate, die Detektionsgeschwindigkeit und die De- tektionsgüte verbessert.It is thereby achieved that an object 21 is already roughly detected with the aid of the first image pair recorded with the aid of the first stereo camera, if the object 21 is still located in the far field. By using the first detection algorithm for the detection of the object 21 in the remote area, only little time and relatively little memory are required for this purpose. If the object 21 has moved so far toward the device 20 or the device 20 has moved toward the object 21 so far that the object 21 is in the near zone and thus in the detection zone 12 of the second stereo camera, then it is detected with the aid of the second detection algorithm reliably detected in the second image pair. Since the position of the object 21 in the first image pair has been determined and is thus known, an image area of the second image pair can be defined by imaging the object 21 in the second image pair. Thus, it is not necessary to search the entire second image pair with the help of the second detection algorithm after imaging the object 21, but only the fixed image area. As a result, only little time and little storage space is needed to detect the image of the object 21 in the second image pair despite the high detection accuracy of the second detection algorithm. Thus, compared to a device for detecting objects with only one stereo camera, both the detection range, the detection rate, the detection speed and the detection quality are improved.
Bei einer bevorzugten Ausführungsform der Erfindung wird anhand der Abbildung des Objektes 21 im zweiten Bildpaar mindestens eine Eigenschaft des Objektes 21 ermittelt. Insbesondere wird eine Objektklasse ermittelt, der das Objekt 21 zuordenbar ist. Bei Fahrassistenzsystemen wird auf diese Weise insbesondere ermittelt, ob es sich bei dem Objekt 21 um ein Verkehrs schild, ein bewegtes selbsterleuchtetes Objekt, ein statisches selbsterleuchtetes Objekt und/oder um eine Person oder ein Tier handelt. Die Ermittlung der Objektklasse erfolgt insbesondere durch den Vergleich mit in einer Datenbank hinterlegten Objekten. Um eine zuverlässige Klassifizierung von Objekten 21 zu gewährleisten, würde eine Detektion ausschließlich mit Hilfe des ersten De- tektionsalgorithmus mit der geringeren Detektionsgenauigkeit nicht ausreichen. Somit müsste bei der Verwendung nur eines Stereokamerasystems das gesamte Bildpaar mit Hilfe des zeit- und speicherintensiven zweiten Detekti- onsalgorithmus durchsucht werden.In a preferred embodiment of the invention, at least one property of the object 21 is determined on the basis of the image of the object 21 in the second image pair. In particular, an object class is determined to which the object 21 can be assigned. In driver assistance systems will work this way In particular, it determines whether the object 21 is a traffic sign, a moving self-illuminated object, a static self-illuminated object and / or a person or an animal. The object class is determined in particular by comparison with objects stored in a database. In order to ensure reliable classification of objects 21, detection using only the first detection algorithm with the lower detection accuracy would not be sufficient. Thus, when using only one stereo camera system, the entire image pair would have to be searched using the time- and memory-intensive second detection algorithm.
Bei einer weiteren bevorzugten Ausführungsform der Erfindung wird mit Hilfe der ersten Stereokamera eine Bildfolge von nacheinander aufgenommenen Bildern mit Abbildungen des Erfassungsbereiches 11 erfasst. In den Bildern der Bildfolge werden die Abbildungen des Objektes 21 mit Hilfe einer in der Auswerteeinheit hinterlegten Trackingfunktion ermittelt und somit die Abbildung des Objektes 21 über die Bilder der Bildfolge ermittelt. Durch die Verfolgung der Position der Abbildung des Objektes 21 kann eine genauere Vorhersage gemacht werden, in welchem Bildbereich des Bildpaares der zweiten Stereokamera das Objekt 21 abgebildet wird, wenn es sich im Nahbereich befindet. Insbesondere kann auf diese Weise bei einem Fahrassistenzsystem frühzeitig ermittelt werden, wenn ein Objekt 21, insbesondere aufgrund einer Kurvenfahrt eines Fahrzeugs 15, überhaupt nicht in den Nahbereich eintritt und somit nicht weiter berücksichtigt werden muss.In a further preferred embodiment of the invention, an image sequence of successively recorded images with images of the detection area 11 is detected with the aid of the first stereo camera. In the images of the image sequence, the images of the object 21 are determined with the aid of a tracking function stored in the evaluation unit, and thus the image of the object 21 is determined via the images of the image sequence. By tracking the position of the image of the object 21, a more accurate prediction can be made as to which image area of the image pair of the second stereo camera the object 21 is imaged when it is in the vicinity. In particular, it can be determined early in this way in a driver assistance system if an object 21, in particular due to cornering of a vehicle 15, does not enter the vicinity at all and thus does not need to be considered further.
In Fig. 5 ist eine schematische Darstellung einer Vorrichtung 90 zur Detektion mindestens eines Objektes 21 dargestellt. Das mit Hilfe der ersten Stereokamera erfasste Bildpaar wird in einem ersten Speicherelement 29 gespeichert. Mit Hilfe einer ersten Verarbeitungseinheit 31 wird die Abbildung des Objek- tes 21 in dem mit Hilfe der ersten Stereokamera erfassten Bildpaar detektiert und die Position der Abbildung des Objektes 21 im Bildpaar ermittelt. Ferner wird mit Hilfe der Verarbeitungseinheit 31 eine erste Objektliste mit Informationen über die im ersten Bildpaar detektierten Objekte 21 erzeugt und an eine Fusionseinheit 40 übermittelt.FIG. 5 shows a schematic representation of a device 90 for detecting at least one object 21. The image pair acquired with the aid of the first stereo camera is stored in a first memory element 29. With the aid of a first processing unit 31, the image of the objec- 21 in the image pair detected with the aid of the first stereo camera and determines the position of the image of the object 21 in the image pair. Furthermore, with the aid of the processing unit 31, a first object list with information about the objects 21 detected in the first image pair is generated and transmitted to a fusion unit 40.
Das mit Hilfe des zweiten Stereokamerasystems erfasste zweite Bildpaar wird in einem zweiten Speicherelement 28 gespeichert. Mit Hilfe einer zweiten Verarbeitungseinheit 30 wird eine zweite Objektliste mit Informationen über die im zweiten Bildpaar detektierten Objekte 21 erzeugt und ebenfalls an die Fusionseinheit 40 ermittelt. Die Fusionseinheit 40 erzeugt in Abhängigkeit von den Informationen der ersten Objektliste und den Informationen der zweiten Objektliste ein Ausgangssignal, welches an eine Mensch-Maschine- Schnittstelle 50 und/oder eine Steuereinheit 52 übermittelt wird. Die Mensch- Maschine- Schnittstelle 50 ist insbesondere eine Anzeigeeinheit, über die der Bedienperson Informationen über relevante mit Hilfe einer Vorrichtung 90 detektierte und klassifizierte Objekte 21 übermittelt werden. Die Steuereinheit 52 dient zur Ansteuerung von Aktuatoren 54 bis 58. Bei den Aktuatoren 54 bis 58 handelt es sich insbesondere um ein Steuermodul zur Steuerung der Frontscheinwerfer eines Fahrzeugs 15, einen Bremsassistent eines Fahrzeugs 15, eine Einheit zur Steuerung einer Antriebseinheit einer Kopfstütze des Fahrzeugs 15 und/oder eine Einheit zur Steuerung eines Gurtstraff ers.The second image pair acquired with the aid of the second stereo camera system is stored in a second memory element 28. With the aid of a second processing unit 30, a second object list is generated with information about the objects 21 detected in the second image pair and also determined to the fusion unit 40. The fusion unit 40 generates an output signal which is transmitted to a human-machine interface 50 and / or a control unit 52 in dependence on the information of the first object list and the information of the second object list. In particular, the human-machine interface 50 is a display unit, via which information about relevant objects 21 detected and classified by means of a device 90 is transmitted to the operator. The control unit 52 is used to control actuators 54 to 58. The actuators 54 to 58 are in particular a control module for controlling the headlights of a vehicle 15, a brake assist of a vehicle 15, a unit for controlling a drive unit of a headrest of the vehicle 15 and / or a unit for controlling a belt tensioner.
Das beschriebene Verfahren und die beschriebene Vorrichtung 10, 20, 90 können auch zur Erfassung, zur Aufzeichnung, zur Bewertung und zum Zählen von statischen und bewegten Objekten sowie zur Verfolgung und zur Analyse des Bewegungsverhaltens von Personen und/oder Objekten und zur Vermessung von Objekten und/oder Personen genutzt werden. Die Vorrichtung 10, 20, 90 kann zur Objekterkennung in Kraftfahrzeugen, für Kraftfahrzeugas- sistenzsysteme, im Straßenverkehr, in Fertigungseinrichtungen, in Veranstaltungseinrichtungen, im Fern- und Nahverkehr, in landwirtschaftlichen Betrieben, in öffentlichen Einrichtungen, zum Kontrollieren von Massenflüssen und in Industrieprozessen zum Einsatz kommen. Die Vorrichtung 10, 20, 90 wird auch als Kombikamera bezeichnet.The described method and the described apparatus 10, 20, 90 can also be used to acquire, record, evaluate and count static and moving objects as well as to track and analyze the movement behavior of persons and / or objects and to measure objects and objects / or persons are used. The device 10, 20, 90 can be used for object recognition in motor vehicles, for motor vehicle systems, in road transport, in manufacturing facilities, in event facilities, in long-distance and local traffic, on farms, in public facilities, for controlling mass flows and in industrial processes. The device 10, 20, 90 is also called combination camera.
Bei einer weiteren Ausführungsform der Erfindung kann zusätzlich ein Mikrophon zur Aufzeichnung von Geräuschen vorgesehen sein. Die Geräusche werden zusammen mit den dazugehörigen Bildern gespeichert und/oder ausgewertet. In a further embodiment of the invention, a microphone may additionally be provided for recording noises. The sounds are stored and / or evaluated together with the associated images.
BezugszeichenlisteLIST OF REFERENCE NUMBERS
1 Platine1 board
2 bis 5 Bilderfassungssensor2 to 5 image acquisition sensor
6, 7 Bauelement6, 7 component
10, 20, 90 Vorrichtung10, 20, 90 device
11 , 12 Erfassungsbereich11, 12 detection area
15 Fahrzeug15 vehicle
16 Fahrbahn16 lane
17a, 17b, 18a, 18b Volllinie17a, 17b, 18a, 18b full line
21 Objekt21 object
28, 29 S peicherelement28, 29 S storage element
30, 31 Verarbeitungseinheit30, 31 processing unit
40 Fusionseinheit40 fusion unit
50 Mensch-Maschine-Schnittstelle50 human machine interface
52 Steuereinheit52 control unit
54, 56, 58 Aktuator54, 56, 58 actuator
60 bis 63 Objektiv60 to 63 lens
70 Infrarotdiode70 infrared diode
80, 83 Abstand80, 83 distance
102 Kante102 edge
Pl Fahrtrichtung Pl direction of travel

Claims

An Sprüche Claims
1. Vorrichtung zur Detektion mindestens eines Objektes,1. Device for detecting at least one object,
mit einer Kamera, umfassend einen ersten Bilderfassungssensor (4),with a camera, comprising a first image detection sensor (4),
mit einer Stereokamera, umfassend einen zweiten Bilderfassungssensor (2) und einen dritten Bilderfassungssensor (3), undwith a stereo camera comprising a second image sensing sensor (2) and a third image sensing sensor (3), and
mit einer Auswerteeinheit,with an evaluation unit,
wobei die Auswerteeinheit in einem mit Hilfe der Kamera erfassten Bild die Abbildung des Objektes (21) in diesem Bild detektiert und die Position der Abbildung des Objektes (21) ermittelt,wherein the evaluation unit detects the image of the object (21) in this image in an image captured with the aid of the camera and determines the position of the image of the object (21),
die Auswerteeinheit einen Bildbereich eines mit Hilfe der Stereokamera erfassten Bildpaares in Abhängigkeit von der ermittelten Position des Objektes (21) im mit Hilfe der Kamera erfassten Bild festlegt, undthe evaluation unit determines an image area of an image pair acquired with the aid of the stereo camera as a function of the determined position of the object (21) in the image acquired with the aid of the camera, and
die Auswerteeinheit den festgelegten Bildbereich zur Detektion einer Abbildung des Objektes (21) verarbeitet.the evaluation unit processes the defined image area for detecting an image of the object (21).
2. Vorrichtung (10, 20, 90) nach Anspruch 1, dadurch gekennzeichnet, dass die Stereokamera eine zweite Stereokamera ist, und dass die Kamera einen vierten Bilderfassungssensor (5) umfasst und eine erste Stereokamera ist.The apparatus (10, 20, 90) according to claim 1, characterized in that the stereo camera is a second stereo camera, and that the camera comprises a fourth image sensing sensor (5) and is a first stereo camera.
3. Vorrichtung (10, 20, 90) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Auswerteeinheit anhand der Abbildung des Objektes (21) im festgelegten Bildbereich mindestens eine Eigenschaft des Objektes (21), insbesondere eine Objektklasse, der das Objekt (21) zuordenbar ist, ermittelt.3. Device (10, 20, 90) according to any one of the preceding claims, characterized in that the evaluation unit based on the Illustration of the object (21) in the specified image area at least one property of the object (21), in particular an object class to which the object (21) can be assigned determined.
4. Vorrichtung (10, 20, 90) nach Anspruch 3, dadurch gekennzeichnet, dass die Auswerteeinheit in Abhängigkeit von der Eigenschaft des Objektes (21) ein Ausgangssignal mit Informationen über das Objekt (21) erzeugt.4. Device (10, 20, 90) according to claim 3, characterized in that the evaluation unit in response to the property of the object (21) generates an output signal with information about the object (21).
5. Vorrichtung (90) nach Anspruch 4, dadurch gekennzeichnet, dass eine Steuereinheit (52) zur Steuerung mindestens eines Aktuators (54, 56, 58) in Abhängigkeit des Ausgangssignals der Auswerteeinheit vorgesehen ist.5. Device (90) according to claim 4, characterized in that a control unit (52) for controlling at least one actuator (54, 56, 58) is provided as a function of the output signal of the evaluation unit.
6. Vorrichtung (10, 20, 90) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Auswerteeinheit bei der De- tektion der Abbildung des Objektes (21) in dem mit Hilfe der Kamera erfassten Bild einen ersten Algorithmus und bei der Detektion der Abbildung des Objektes (21) im festgelegten Bildbereich des mit Hilfe der Stereokamera erfassten Bildpaares einen zweiten Algorithmus abarbeitet, wobei der zweite Algorithmus eine höhere Detektionsgenauigkeit als der erste Algorithmus hat.6. Device (10, 20, 90) according to one of the preceding claims, characterized in that the evaluation unit in the detection of the imaging of the object (21) in the image detected with the aid of the camera, a first algorithm and in the detection of the Image of the object (21) in the specified image area of the image pair detected with the aid of the stereo camera processes a second algorithm, wherein the second algorithm has a higher detection accuracy than the first algorithm.
7. Vorrichtung (10, 20, 90) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Auswerteeinheit in den Bildern einer mit Hilfe der Kamera erfassten Bildfolge jeweils die Abbildung des Objektes (21) in dem jeweiligen Bild detektiert und die Positionen der Abbildungen des Objektes (21) in den Bildern ermittelt, und dass die Auswerteeinheit einen Bildbereich eines mit Hilfe der zweiten Stereokamera erfassten Bildpaares in Abhängigkeit von mindestens zwei ermittelten Position des Objektes (21) in mindestens zwei Bildern der mit Hilfe der Kamera erfassten Bildfolge festlegt.7. Device (10, 20, 90) according to one of the preceding claims, characterized in that the evaluation unit in the images of an image sequence acquired with the aid of the camera respectively detects the image of the object (21) in the respective image and the positions of the images of the object (21) is determined in the images, and in that the evaluation unit determines an image area of an image pair acquired with the aid of the second stereo camera in dependence on determines at least two detected position of the object (21) in at least two images of the captured with the help of the camera image sequence.
8. Vorrichtung (10, 20, 90) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Kamera das Bild bzw. die Bilder der Bildfolge erfasst bevor die Stereokamera das Bildpaar er- fasst.8. Device (10, 20, 90) according to one of the preceding claims, characterized in that the camera captures the image or the images of the image sequence before the stereo camera captures the image pair.
9. Vorrichtung (10, 20, 90) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Bilderfassungssensoren (2 bis 5) und/oder die Auswerteeinheit auf einer Platine (1), insbesondere einer Leiterplatte aus Epoxydharz, aufgebracht und mit dieser elektrisch leitend verbunden sind.9. Device (10, 20, 90) according to any one of the preceding claims, characterized in that the image detection sensors (2 to 5) and / or the evaluation unit on a circuit board (1), in particular a printed circuit board made of epoxy resin, applied and electrically with this are conductively connected.
10. Vorrichtung (10, 20, 90) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Bilderfassungssensoren (2 bis 5) optische Halbleitersensoren, CCD-Bilderfassungssensoren und/oder CMOS-Bilderfassungssensoren sind.10. Device (10, 20, 90) according to any one of the preceding claims, characterized in that the image sensing sensors (2 to 5) are optical semiconductor sensors, CCD image sensing sensors and / or CMOS image sensing sensors.
11. Vorrichtung (20, 90) nach einem der Ansprüche 2 bis 10, dadurch gekennzeichnet, dass ein erstes Objektiv (63) und ein zweites Objektiv (62) derart angeordnet sind, dass jeweils eine Abbildung eines Erfassungsbereichs der ersten Stereokamera auf jeweils einem Bilderfassungsbereich der Bilderfassungssensoren (4, 5) der ersten Stereokamera abgebildet und/oder fokussiert sind, und dass ein drittes Objektiv (60) und ein viertes Objektiv (61) derart angeordnet sind, dass jeweils eine Abbildung eines Erfassungsbereichs der zweiten Stereokamera auf jeweils einem Bilderfassungsbereich der Bilderfassungssensoren (2, 3) der zweiten Stereokamera abgebildet und/oder fokussiert sind.11. Device (20, 90) according to any one of claims 2 to 10, characterized in that a first lens (63) and a second lens (62) are arranged such that in each case an image of a detection range of the first stereo camera on each of an image capture area the imaging sensor (4, 5) of the first stereo camera are imaged and / or focused, and that a third lens (60) and a fourth lens (61) are arranged such that in each case an image of a detection range of the second stereo camera on each of an image capturing region Imaging sensors (2, 3) of the second stereo camera are imaged and / or focused.
12. Vorrichtung (20, 90) nach Anspruch 11, dadurch gekennzeichnet, dass das erste Objektiv (63) und das zweite Objektiv (62) einen kleineren Öffnungswinkel als das dritte Objektiv (60) und das vierte Objektiv (61) haben.12. Device (20, 90) according to claim 11, characterized in that the first lens (63) and the second lens (62) have a smaller opening angle than the third lens (60) and the fourth lens (61).
13. Vorrichtung (20, 90) nach einem der Ansprüche 2 bis 12, dadurch gekennzeichnet, dass mindestens eine Infrarotdiode (70) zur Beleuchtung eines Teils des Erfassungsbereichs der ersten Stereokamera und/oder eines Teils des Erfassungsbereichs der zweiten Stereokamera vorgesehen ist.13. Device (20, 90) according to any one of claims 2 to 12, characterized in that at least one infrared diode (70) is provided for illuminating a part of the detection range of the first stereo camera and / or a part of the detection range of the second stereo camera.
14. Vorrichtung (90) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass14. Device (90) according to one of the preceding claims, characterized in that
die Auswerteeinheit eine erstes Verarbeitungsmodul (30), ein zweites Verarbeitungsmodul (31) und ein Zentralmodul (40) umfasst,the evaluation unit comprises a first processing module (30), a second processing module (31) and a central module (40),
das erste Verarbeitungsmodul (30) in einem mit Hilfe der Kamera erfassten Bild die Abbildungen von Objekten (21) in diesem Bild detektiert und eine erste Objektliste mit Informationen über die de- tektierten Objekte (21) an das Zentralmodul (40) übermittelt,the first processing module (30) detects the images of objects (21) in this image in an image captured with the aid of the camera and transmits a first object list with information about the detected objects (21) to the central module (40),
das zweite Verarbeitungsmodul (32) in einem Teilbereich des mit Hilfe der Stereokamera erfassten Bildpaares die Abbildungen der Objekte (21) detektiert und eine zweite Objektliste mit Informationen über die detektierten Objekte (21) an das Zentralmodul (40) ü- bermittelt, und das Zentralmodul (40) ein Ausgangssignal in Abhängigkeit der Informationen der ersten Objektliste und der Informationen der zweiten Objektliste erzeugt.the second processing module (32) detects the images of the objects (21) in a partial region of the image pair acquired with the aid of the stereo camera and transmits a second object list with information about the detected objects (21) to the central module (40), and the central module (40) generates an output signal in dependence on the information of the first object list and the information of the second object list.
15. Verfahren zur Detektion mindestens eines Objektes,15. Method for detecting at least one object
bei dem mit Hilfe einer Kamera ein Bild erfasst wird,in which a picture is captured with the help of a camera,
die Abbildung des Objektes (21) in diesem Bild detektiert und die Position der Abbildung des Objektes (21) ermittelt werden,the image of the object (21) is detected in this image and the position of the image of the object (21) is determined,
mit Hilfe einer Stereokamera ein Bildpaar erfasst wird,with the help of a stereo camera a pair of pictures is captured,
ein Bildbereich des Bildpaares in Abhängigkeit von der ermittelten Position des Objektes (21) festlegt wird, undan image area of the image pair is determined as a function of the determined position of the object (21), and
bei dem der festgelegte Bildbereich nach einer Abbildung des Objektes (21) durchsucht wird. in which the specified image area is searched for an image of the object (21).
PCT/EP2010/053074 2009-03-12 2010-03-11 Apparatus and method for detection of at least one object WO2010103061A1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102009012758A DE102009012758A1 (en) 2009-03-12 2009-03-12 Device and method for detecting at least one object
DE102009012758.5 2009-03-12

Publications (1)

Publication Number Publication Date
WO2010103061A1 true WO2010103061A1 (en) 2010-09-16

Family

ID=42226678

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2010/053074 WO2010103061A1 (en) 2009-03-12 2010-03-11 Apparatus and method for detection of at least one object

Country Status (2)

Country Link
DE (1) DE102009012758A1 (en)
WO (1) WO2010103061A1 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160214534A1 (en) * 2014-09-02 2016-07-28 FLIR Belgium BVBA Watercraft thermal monitoring systems and methods
US9451237B2 (en) 2011-01-12 2016-09-20 Myestro Interactive Gmbh Remote control device for controlling a mechanism with the aid of a movable object and an interface module based on movement and distance of the movable object with respect to a camera

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102011006564A1 (en) 2011-03-31 2012-10-04 Robert Bosch Gmbh Method for evaluating an image captured by a camera of a vehicle and image processing device
DE102011080702B3 (en) * 2011-08-09 2012-12-13 3Vi Gmbh Object detection device for a vehicle, vehicle having such an object detection device
DE102013102207A1 (en) * 2013-03-06 2014-09-11 Conti Temic Microelectronic Gmbh Camera system for a vehicle
DE102014206677A1 (en) * 2014-04-07 2015-10-08 Robert Bosch Gmbh Camera system and method for detecting an environment of a vehicle
DE102014215843A1 (en) * 2014-08-11 2016-02-11 Robert Bosch Gmbh Driver observation system for a motor vehicle
DE102016217450A1 (en) 2016-09-13 2018-03-15 Conti Temic Microelectronic Gmbh Stereo camera arrangement for a motor vehicle and motor vehicle with such a stereo camera arrangement
JP7027844B2 (en) 2017-11-29 2022-03-02 株式会社デンソー The camera module
DE102019211967B3 (en) * 2019-08-09 2020-08-20 Audi Ag Device for displaying display content and for detecting a vehicle driver and a motor vehicle for this purpose

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE4219851A1 (en) 1991-06-21 1992-12-24 Atomic Energy Authority Uk STEREOCAMERA
DE4410358A1 (en) 1994-03-25 1995-09-28 Rbt Raumbildtechnik Gmbh Stereo camera with twin shutters and aperture settings
DE10025593A1 (en) 2000-05-24 2001-12-06 Minoru Inaba Set up of distance between object lenses of stereo camera for close-up photography to provide natural impression of distance when viewing images in stereo image frame
DE10033355A1 (en) 2000-07-08 2002-01-17 Zeiss Carl Stereo camera includes marker pixels in left and right image sensors, enabling correction of image read-out and of image signal timing
US20050004762A1 (en) * 2003-07-01 2005-01-06 Nissan Motor Co., Ltd. Obstacle detection apparatus and method for automotive vehicle
US20050102070A1 (en) * 2003-11-11 2005-05-12 Nissan Motor Co., Ltd. Vehicle image processing device
US20050232463A1 (en) * 2004-03-02 2005-10-20 David Hirvonen Method and apparatus for detecting a presence prior to collision
DE102004061998A1 (en) 2004-12-23 2006-07-06 Robert Bosch Gmbh Stereo camera for a motor vehicle
WO2008081323A2 (en) * 2006-12-27 2008-07-10 Toyota Jidosha Kabushiki Kaisha Vehicle-installed obstacle detecting system and method

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10005835A1 (en) * 2000-02-10 2001-08-16 Bundesdruckerei Gmbh Authenticating of documents containing security features having different spectral responses
DE10154861A1 (en) * 2001-11-08 2003-05-22 Ibeo Automobile Sensor Gmbh Localizing system for objects uses transmitter for pulsed emission of laser beams and receiver with sensor to pick up reflected beam pulses and to analyze them regarding their execution time
US7406216B2 (en) * 2004-12-15 2008-07-29 Micron Technology, Inc. Method and apparatus for distributed analyses of images

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE4219851A1 (en) 1991-06-21 1992-12-24 Atomic Energy Authority Uk STEREOCAMERA
DE4410358A1 (en) 1994-03-25 1995-09-28 Rbt Raumbildtechnik Gmbh Stereo camera with twin shutters and aperture settings
DE10025593A1 (en) 2000-05-24 2001-12-06 Minoru Inaba Set up of distance between object lenses of stereo camera for close-up photography to provide natural impression of distance when viewing images in stereo image frame
DE10033355A1 (en) 2000-07-08 2002-01-17 Zeiss Carl Stereo camera includes marker pixels in left and right image sensors, enabling correction of image read-out and of image signal timing
US20050004762A1 (en) * 2003-07-01 2005-01-06 Nissan Motor Co., Ltd. Obstacle detection apparatus and method for automotive vehicle
US20050102070A1 (en) * 2003-11-11 2005-05-12 Nissan Motor Co., Ltd. Vehicle image processing device
US20050232463A1 (en) * 2004-03-02 2005-10-20 David Hirvonen Method and apparatus for detecting a presence prior to collision
DE102004061998A1 (en) 2004-12-23 2006-07-06 Robert Bosch Gmbh Stereo camera for a motor vehicle
WO2008081323A2 (en) * 2006-12-27 2008-07-10 Toyota Jidosha Kabushiki Kaisha Vehicle-installed obstacle detecting system and method

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9451237B2 (en) 2011-01-12 2016-09-20 Myestro Interactive Gmbh Remote control device for controlling a mechanism with the aid of a movable object and an interface module based on movement and distance of the movable object with respect to a camera
US20160214534A1 (en) * 2014-09-02 2016-07-28 FLIR Belgium BVBA Watercraft thermal monitoring systems and methods
US10931934B2 (en) * 2014-09-02 2021-02-23 FLIR Belgium BVBA Watercraft thermal monitoring systems and methods

Also Published As

Publication number Publication date
DE102009012758A1 (en) 2010-09-16

Similar Documents

Publication Publication Date Title
WO2010103061A1 (en) Apparatus and method for detection of at least one object
EP2715446B1 (en) Camera system for a vehicle
DE102004010197B4 (en) Method for checking the function of a position-finding or environment detection device of a vehicle or for controlling a digital map
DE102008006375B4 (en) monitoring system
DE102006010295B4 (en) Camera system with at least two image recorders
EP2150939B1 (en) Method and device for determining the position of a road sign
DE102008047413A1 (en) Motor vehicle object detection system has a stereo camera with two gray image sensors and a mono camera with a color image sensor
EP1589484A1 (en) Method for detecting and/or tracking objects
DE102019133642A1 (en) DIGITAL IMAGING SYSTEM INCLUDING OPTICAL PLENOPTIC DEVICE AND IMAGE DATA PROCESSING METHOD FOR DETECTING VEHICLE OBSTACLES AND GESTURES
DE102012106834A1 (en) Method for aligning two image recording elements of a stereo camera system
DE102012105436B4 (en) Vehicle camera for distance measurement
DE102006044615A1 (en) Image capturing device calibrating method for vehicle, involves locating objects in vehicle surrounding based on image information detected by image capturing device, and evaluating geometrical relations of objects
WO2006015906A1 (en) Optical module for a driver assistance system
DE10146786A1 (en) Device for the automatic switching of lighting devices of a vehicle
DE102018005969A1 (en) Method for operating a driver assistance system with two detection devices
DE102018004782A1 (en) Method and device for detecting an environment, and vehicle with such a device
EP2562685B1 (en) Method and device for classifying a light object located in front of a vehicle
WO2013056700A1 (en) Optical device for a vehicle
DE10022454A1 (en) Image pick-up esp. for 3D detection of objects e.g. by radar or laser-radar systems PDM, includes detector unit comprising photosensitive pixel elements for generating signals containing discrete picture element information
DE102012105435B4 (en) Vehicle camera for distance measurement
DE102020117060B4 (en) Device and method for detecting the surroundings of a vehicle
DE102018202205A1 (en) Telecamera for a vehicle and attachment of a telecamera on the vehicle
WO2012052308A1 (en) Determination of the base width of a stereo image capture system
DE102007008543A1 (en) Method and device for determining the state of motion of objects
DE102013102207A1 (en) Camera system for a vehicle

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 10717068

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 10717068

Country of ref document: EP

Kind code of ref document: A1