WO2015085338A1 - Verfahren und vorrichtung zur beobachtung der umgebung eines fahrzeugs - Google Patents

Verfahren und vorrichtung zur beobachtung der umgebung eines fahrzeugs Download PDF

Info

Publication number
WO2015085338A1
WO2015085338A1 PCT/AT2014/050295 AT2014050295W WO2015085338A1 WO 2015085338 A1 WO2015085338 A1 WO 2015085338A1 AT 2014050295 W AT2014050295 W AT 2014050295W WO 2015085338 A1 WO2015085338 A1 WO 2015085338A1
Authority
WO
WIPO (PCT)
Prior art keywords
image capture
image
vehicle
environment
devices
Prior art date
Application number
PCT/AT2014/050295
Other languages
English (en)
French (fr)
Inventor
Stefan Poledna
Original Assignee
Fts Computertechnik Gmbh
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fts Computertechnik Gmbh filed Critical Fts Computertechnik Gmbh
Priority to US15/103,952 priority Critical patent/US9898670B2/en
Priority to DE112014005645.6T priority patent/DE112014005645A5/de
Publication of WO2015085338A1 publication Critical patent/WO2015085338A1/de

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/251—Fusion techniques of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/147—Details of sensors, e.g. sensor lenses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/107—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using stereoscopic cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/301—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with other obstacle sensor information, e.g. using RADAR/LIDAR/SONAR sensors for estimating risk of collision
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands

Definitions

  • the invention relates to a method for monitoring the environment in front of a vehicle with a device, which device comprises at least two image capture devices, wherein at least a first, preferably exactly one first image capture device detects a first image capture angle, and at least a second, preferably exactly one second An image capture device detects a second image capture angle, wherein the second image capture angle is greater than the first image capture angle, and wherein at least one, preferably just a first image capture device, a first portion of the environment in front of the vehicle, in particular the close environment is detected in front of the vehicle, and wherein, preferably simultaneously, with the at least one, preferably exactly one second image capture device, a second subarea of the environment in front of the vehicle, in particular the distant environment in front of the vehicle is detected.
  • the invention relates to a device for monitoring the environment in front of a vehicle, wherein the device comprises at least two image capture devices.
  • image capturing devices which preferably comprise optical sensors
  • image capture devices which preferably comprise optical sensors
  • vehicles especially in motor vehicles, e.g. Automobiles, enables the partially autonomous guidance of the vehicle (piloted driving).
  • the at least one first image capture device and the at least one second image capture device are arranged at a distance, in particular a lateral distance from each other, and wherein the at least one first image capture device and the at least one second image capture device are arranged relative to one another in such a way that a central environment, ie an overlap region of the first subregion and of the second subregion, is detected both by the at least one first and the at least one second image capture device, and by fusion by the image capture devices he with- Data in or from the central environment generates a stereo image, in particular generated by a fusion computer, and wherein in or from those areas, which are each detected only by a first or a second image capture device, generates a monoscopic image, in particular generated by a computer.
  • the required accuracy of the observation of the environment of a vehicle depends on the angle between the direction of travel of the vehicle and the direction of observation. In the direction of travel, close observation of distant objects far in front of the vehicle is required, while transversely to the direction of travel moving objects (e.g., playing children) moving in close proximity to the vehicle must be detected.
  • the image capture devices also referred to as image capture devices, take digital images of the areas of the environment they have detected, which are processed according to the invention as described above.
  • the image capture devices or image capture devices are in principle digital cameras.
  • the first image capture device comprises, for example, an optical sensor and an associated telephoto lens
  • the second image capture device comprises an optical sensor, e.g. a type identical sensor as the first image capture device, and a wide angle lens.
  • the sensors have identical photosensitive surfaces.
  • optical sensor is meant in the present text, for example, an image sensor, for example a CCD or CMOS sensor, as it is known in principle from digital cameras, the optical sensor can be a color image sensor or a black and white sensor. the optical sensor can work in the visible wavelength spectrum or else in the non-visible wavelength spectrum.
  • a stereo image is generated.
  • Such a stereo image contains more information than a monoscopic image representing the areas covered only by an image capture device.
  • the additional information in the stereo image e.g., distance information to observed objects
  • the distant environment in a narrow angular range and the near environment in a wide angular range can simultaneously monoscopic and stereoscopic at the same time the particularly important central environment with only two image capture devices and thus be covered particularly cost.
  • the disclosed here method of the invention is of great economic interest, since with only two optical sensors, both the close environment next to the vehicle, as well as the distant environment in front of the vehicle and additionally a stereo image in the important environment can be created immediately in front of the vehicle.
  • the central environment is defined as the area in which the coverage areas overlap each other as described above.
  • the central environment can be placed in the desired area, which is considered particularly important.
  • the present invention is in the field of computer technology. It describes a method and a device, such as by the fusion of the data of two, in particular diverse image capture devices, in particular of optical sensors or cameras with different image angles differentiated images of the environment can be generated in front of a vehicle.
  • the image sensing devices each comprise a sensor, in particular an optical sensor and a lens;
  • the at least one first image capture device has a telephoto lens
  • the at least one second image capture device has a wide-angle objective
  • optical axes of the image acquisition devices in particular the optical axis of the sensors, are aligned parallel to one another;
  • optical axes of the image acquisition devices in particular the optical axis of the sensors, run parallel to a vehicle longitudinal axis of the vehicle;
  • the normal spacing of the optical axes of the first and second image capture devices, in particular the optical axes of the optical sensors, is greater than 4 cm;
  • the image capture devices have access to a global time base and the time points of the data acquisition of the image acquisition devices are determined by the progression of the global time. In this way, when the image capture device or the sensor allows this, it becomes possible for images from the two image capture devices / sensors to actually be captured simultaneously so that synchronized simultaneous capture is possible;
  • the image capture devices have access to a global time base and the data capture timestamps of the image capture devices are each captured in a global time timestamp associated with an image. If the image capturing devices / sensors do not allow them to be detected exactly at a defined time record point images, thus a simultaneous recording is not possible but "mating" shots are possible only within a time interval, this approach provides a way to merge "together" shots on a consideration of the speed of movement of the vehicle accordingly;
  • the image capture devices observe the environment of the vehicle cyclically;
  • the surroundings of the vehicle with the remaining functional at least one second or at least one first image capture device are observed and the vehicle is guided into a secure state, preferably by the fusion computer;
  • the focal lengths of the lenses of the image capture devices are changed in such a way that objects recognized as relevant in the surroundings of the vehicle move into the center of the field of view of the image capture devices in the following frames captured by the image capture devices;
  • the orientation of the optical axes of the image acquisition devices, in particular of the sensors, is changed, preferably by the fusion computer, in such a way that the objects identified as relevant in the surroundings of the vehicle move into the center of the field of view of the sensors in the following frames;
  • One, several or all image capture devices are mounted on or behind the windshield of the vehicle;
  • One, several or all image capture devices are designed for the visible light wave range
  • the image capture devices are designed for a wavelength range outside the visible light range.
  • FIG. 1 shows part of a device according to the invention, namely two image capture devices 110, 120.
  • the two image capture devices 110, 120 each comprise, for example, an optical sensor, for example identical optical sensors, and the first image capture device, for example a telephoto lens, and the second image capture device, for example a wide-angle lens. Accordingly, the image capture angle of the second image capture device 120 is greater than the image capture angle of the first image capture device 110, as can be seen from the schematic FIG.
  • the image capture devices are cameras.
  • the image capture angle (aperture angle), in particular the horizontal image capture angle of the first image capture device between 25 ° and 60 °, preferably between 25 ° and 50 °, in particular between about 40 ° and 50 °
  • Image capture angle (aperture angle) in particular the horizontal image capture angle of the second image capture device is between about 60 ° and 120 °.
  • the second value is to be selected such that they assume different values, in particular the second angle is greater than the first angle.
  • the first image capturing device far objects can be well observed, and with the second image capturing device having lower resolutions in remote regions, the immediate surroundings in front of and laterally of the vehicle can be observed.
  • an arrow 130 indicates the direction of the vehicle's longitudinal axis (but not its concrete position) of a vehicle.
  • the optical axis 112 of the first image capture device 110 is parallel to the axis 130.
  • the field of view (image capture region) of the first image capture device 110 is represented by a surface 111 (subregion 1).
  • the optical axis 122 of the second image capture device 120 is also parallel to the axis 130.
  • the field of view of the second image capture device 120 is represented by a surface 121 (partial region 2 of the environment).
  • the strongly edged surface 140 represents that environment of the vehicle that is covered by both image capture devices, thus the so-called "central environment”.
  • the distance of the two image capture devices 110, 120, in particular of the sensors, measured at right angles to the parallel optical axes 112, 122, is preferably at least 4 cm in order to realize a stereo effect in the central environment.
  • the image capture devices may be mounted on the windshield of the vehicle.
  • the optical sensors of the image capture devices 110, 120 may observe their surroundings in the wavelength range of visible light or use a wavelength range outside of visible light (e.g., infrared) to observe the environment. Also, a plurality of pairs of sensors may be juxtaposed, one pair for the visible light wavelength range and another pair for an out-of-visible wavelength range.
  • a stereo image of this (central) environment can be generated, from which distance information on the detected objects can be determined.
  • the environment detected only by one of the two image capturing devices 110, 120 (partial region 1111 plus partial region 2112 minus region 140), which is therefore only observed by one sensor, only one monoscopic image can be generated.
  • the image capture devices 110, 120 have access to a global time.
  • the synchronization of the clocks of the image acquisition devices can be realized via the IEEE 1588 protocol [7].
  • the acquisition times are triggered by the progression of the global time. It is an advantage if both recordings take place simultaneously.
  • the timing of taking each picture is recorded in the form of a global timestamp next to the data structure of the picture.
  • the recording times are cyclically triggered with the same cycle length.
  • the cycle length preferably results from a sampling rate of an overall data acquisition system which, in addition to the optical sensors, also includes other sensors, e.g. Radar sensors, etc., may include.
  • FIG. 2 shows the flow of processing of image data in a distributed computer system.
  • the arrows 200 indicate the data flow.
  • the image data is pre-processed in computers 211, 212 to determine significant features of the images.
  • These significant features are forwarded via a real-time communication system 201 in the form of messages to the fusion computer ("sensor fusion computer") 202.
  • sensor fusion computer a real-time communication system
  • the real-time communication system can communicate with the TT-Ethernet protocol [6].
  • other sensors for example radar sensors or laser sensors, may also be connected to the sensor fusion computer 202.
  • the sensor fusion computer 202 performs the fusion of the pre-processed image data and generates a stereo image for the image capture area (central environment) represented by the area 140, and a monoscopic image for the image capture areas represented by the areas observed by only one sensor.
  • a stereo image for the image capture area (central environment) represented by the area 140
  • a monoscopic image for the image capture areas represented by the areas observed by only one sensor.
  • the sensor fusion computer 202 decides which object in the environment of the vehicle is of particular importance and, for example via a signal line 215, the focal length and / or spatial orientation of the objective and / or sensor of the image capture device 110 focus on this object, and focus on a signal line 225, the focal length and / or spatial orientation of the lens and / or sensor of the image capture device 120 to this object.
  • the sensor fusion computer 202 may observe the environment of the vehicle with the remaining operational image capture device (s) and bring the vehicle to a safe state.
  • a safe state is e.g. parking the vehicle on the roadside or transferring control of the vehicle to the driver.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Vascular Medicine (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Studio Devices (AREA)
  • Mechanical Engineering (AREA)
  • Traffic Control Systems (AREA)

Abstract

Die Erfindung betrifft die Beobachtung des Umfelds vor einem Fahrzeug mit einer Vorrichtung mit zumindest zwei Bilderfassungseinrichtungen (110, 120). Es sind eine erste Bilderfassungseinrichtung (110), die einen ersten Bilderfassungswinkel und eine zweite Bilderfassungseinrichtung (120), die einen zweiten, größeren Bilderfassungswinkel erfasst, vorgesehen. Mit der ersten Bilderfassungseinrichtung (110) wird ein erster Teilbereich (111) des Umfeldes vor dem Fahrzeug erfasst, gleichzeitig wird mit der zweiten Bilderfassungseinrichtung (120) ein zweiter Teilbereich (121) des Umfeldes vor dem Fahrzeug erfasst. Die beiden Bilderfassungseinrichtung (110, 120) sind in einem seitlichen Abstand derart zueinander angeordnet, dass ein zentrales Umfeld (140) sowohl von der ersten als auch der zweiten Bilderfassungseinrichtung (110, 120) erfasst wird. Durch Fusion der von den Bilderfassungseinrichtungen (110, 120) ermittelten Daten wird von dem zentralen Umfeld ein Stereobild generiert, und von jenen Bereichen, welche jeweils nur von einer ersten oder einer zweiten Bilderfassungseinrichtung erfasst werden, wird ein monoskopisches Bild generiert.

Description

VERFAHREN UND VORRICHTUNG ZUR BEOBACHTUNG DER UMGEBUNG EINES FAHRZEUGS
Die Erfindung betrifft ein Verfahren zur Beobachtung des Umfelds vor einem Fahrzeug mit einer Vorrichtung, welche Vorrichtung zumindest zwei Bilderfassungseinrichtungen um- fasst, wobei zumindest eine erste, vorzugsweise genau eine erste Bilderfassungseinrichtung, einen ersten Bilderfassungswinkel erfasst, und zumindest eine zweite, vorzugsweise genau eine zweite Bilderfassungseinrichtung, einen zweiten Bilderfassungswinkel erfasst, wobei der zweite Bilderfassungswinkel größer ist als der erste Bilderfassungswinkel, und wobei mit der zumindest einen, vorzugsweise genau einen ersten Bilderfassungseinrichtung ein erster Teilbereich des Umfeldes vor dem Fahrzeug, insbesondere das nahe Umfeld vor dem Fahrzeug erfasst wird, und wobei, vorzugsweise gleichzeitig, mit der zumindest einen, vorzugsweise genau einen zweiten Bilderfassungseinrichtung ein zweiter Teilbereich des Umfeldes vor dem Fahrzeug, insbesondere das ferne Umfeld vor dem Fahrzeug erfasst wird.
Weiters betrifft die Erfindung eine Vorrichtung zur Beobachtung des Umfelds vor einem Fahrzeug, wobei die Vorrichtung zumindest zwei Bilderfassungseinrichtungen umfasst.
Die großen Fortschritte auf dem Gebiet der elektronischen Bildverarbeitung ermöglichen den Bau von elektronischen Systemen, die ihr Umfeld mit Bilderfassungseinrichtungen, welche vorzugsweise optische Sensoren umfassen, beobachten, um die notwendigen Informationen zur gewünschte Steuerung und Regelung eines technischen Prozesses zu erfassen. Der Einsatz solcher Bilderfassungseinrichtungen, welche vorzugsweise optische Sensoren umfassen, in Fahrzeugen, insbesondere in Kraftfahrzeugen, z.B. Automobilen, ermöglicht die teilautonome Führung des Fahrzeugs (Pilotiertes Fahren).
Es ist eine Aufgabe der Erfindung, pilotiertes Fahren von Fahrzeugen, insbesondere von Kraftfahrzeugen kostengünstig zu unterstützen.
Diese Aufgabe wird mit einem eingangs genannten Verfahren sowie mit einer eingangs genannten Vorrichtung dadurch gelöst, dass erfindungsgemäß die zumindest eine erste Bilderfassungseinrichtung und die zumindest eine zweite Bilderfassungseinrichtung in einem Abstand, insbesondere einem seitlichen Abstand zueinander angeordnet sind, und wobei die zumindest eine erste Bilderfassungseinrichtung und die zumindest eine zweite Bilderfassungseinrichtung derart zueinander angeordnet sind, dass ein zentrales Umfeld, d.h. ein Überlappungsbereich des ersten Teilbereiches und des zweiten Teilbereiches, sowohl von der zumindest einen ersten als auch der zumindest einen zweiten Bilderfassungseinrichtung erfasst wird, und wobei durch Fusion der von den Bilderfassungseinrichtungen ermit- telten Daten in bzw. von dem zentralen Umfeld ein Stereobild generiert, insbesondere von einem Fusions-Computer generiert wird, und wobei in bzw. von jenen Bereichen, welche jeweils nur von einer ersten oder einer zweiten Bilderfassungseinrichtung erfasst werden, ein monoskopisches Bild generiert, insbesondere von einem Computer generiert wird.
Die erforderliche Genauigkeit der Beobachtung des Umfelds eines Fahrzeugs hängt vom Winkel zwischen der Fahrtrichtung des Fahrzeugs und der Beobachtungsrichtung ab. In Fahrtrichtung ist eine genaue Beobachtung von entfernten Objekten, die sich weit vor dem Fahrzeug befinden, erforderlich, während quer zur Fahrtrichtung bewegte Objekte (z.B. spielende Kinder), die sich in unmittelbarer Nähe in Richtung des Fahrzeugs bewegen, erkannt werden müssen.
Erfindungsgemäß wird daher vorgeschlagen, zwei Bilderfassungseinrichtungen, eine erste mit einem ersten Bilderfassungswinkel und eine zweite, mit einem zweiten, größeren Bilderfassungswinkel vorzusehen.
Die Bilderfassungseinrichtungen, auch als Bildaufnahmeeinrichtungen bezeichnet, nehmen digitale Bilder der von ihnen erfassten Bereiche der Umgebung auf, welche erfindungsgemäß wie oben beschrieben verarbeitet werden. Bei den Bilderfassungseinrichtungen bzw. Bildaufnahmeeinrichtungen handelt es sich im Prinzip um Digitalkameras.
Die erste Bilderfassungseinrichtung umfasst beispielsweise einen optischen Sensor und ein zugeordnetes Teleobjektiv und die zweite Bilderfassungseinrichtung einen optischen Sensor, z.B. einen vom Typ her identischen Sensor wie die erste Bilderfassungseinrichtung, und ein Weitwinkelobjektiv. Vorzugsweise weisen die Sensoren identische lichtempfindliche Flächen auf.
Unter„optischer Sensor" ist in dem vorliegenden Text beispielsweise ein Bildsensor zu verstehen, z.B. ein CCD- oder CMOS-Sensor, wie er im Prinzip von Digitalkameras bekannt ist. Der optische Sensor kann dabei ein Farbbildsensor oder ein Schwarz/ Weiss-Sensor sein, der optische Sensor kann im sichtbaren Wellenlängenspektrum oder aber auch im nicht sichtbaren Wellenlängenspektrum arbeiten.
Mit dem Sensor und Teleobjektiv können ferne Objekte in Fahrtrichtung beobachtet werden (fernes Umfeld, Teilbereich 2), mit dem Sensor und Weitwinkelobjektiv kann die unmittelbare Umgebung vor und seitlich des Fahrzeugs beobachtet (nahes Umfeld, Teilbereich 1). Eine solche Anordnung beobachtet einen Überlappungsbereich, das zentrale Umfeld unmittelbar vor dem Fahrzeug, der von besonderer Wichtigkeit ist, mit beiden Bilderfassungseinrichtungen bzw. mit beiden Sensoren.
In diesem Überlappungsbereich, der von beiden Bilderfassungseinrichtungen erfasst wird, wird ein Stereobild generiert. Ein solches Stereobild enthält mehr Informationen als ein monoskopisches Bild, das die Bereiche, die nur von einer Bilderfassungseinrichtung abgedeckt werden, darstellt. Die zusätzlichen Informationen im Stereobild (z.B. Distanzinformationen zu beobachteten Objekten) können im Rahmen der Bildverarbeitung ohne zusätzliche physikalische Sensoren aus den sich überlappenden monoskopischen Bildern abgeleitet werden.
Durch die Verwendung von Bilderfassungseinrichtungen mit unterschiedlichen Bilderfassungswinkeln, wobei sich die Bilderfassungsbereiche in einem zentralen Umfeld überlappen, können gleichzeitig das ferne Umfeld in einem schmalen Winkelbereich und das nahe Umfeld in einem breiten Winkelbereich monoskopisch und gleichzeitig das besonders wichtige zentrale Umfeld stereoskopisch mit nur zwei Bilderfassungseinrichtungen und somit besonders kostengünstig abgedeckt werden.
In der recherchierten Patentliteratur [1] - [4] wurden mehrere Patente gefunden, die sich mit der Generierung von Stereobildern einer Fahrzeugumgebung befassen. Alle gefundenen Patente gehen jedoch davon aus, dass zwei gleichwertige Kameras das Umfeld des Fahrzeugs beobachten. Die Generierung eines Stereobilds aus den Daten, die mit einer Teleobjektivkamera aufgenommen wurden, und den Daten, die mit einer Weitwinkelkamera aufgenommen wurden, wie dies von der vorliegenden Erfindung vorgeschlagen wird, ist in keinem der gefundenen Patente angesprochen.
Das hier offen gelegte erfindungsgemäße Verfahren ist von großem wirtschaftlichen Interesse, da mit nur zwei optischen Sensoren sowohl die nahe Umgebung neben dem Fahrzeug, wie auch die ferne Umgebung vor dem Fahrzeug und zusätzlich ein Stereobild im wichtigen Umfeld unmittelbar vor dem Fahrzeug erstellt werden kann.
Das zentrale Umfeld ist dabei als jener Bereich definiert, in welchem sich die Erfassungsbereiche wie oben beschrieben überlappen. Durch geeignete Anordnung der Bilderfassungseinrichtungen und geeignete Wahl der unterschiedlichen Bilderfassungswinkel kann das zentrale Umfeld in den gewünschten Bereich gelegt werden, der als besonders wichtig erachtet wird. Die vorliegende Erfindung liegt im Bereich der Computertechnik. Sie beschreibt ein Verfahren und eine Vorrichtung, wie durch die Fusion der Daten zweier, insbesondere diversitäter Bilderfassungseinrichtungen, insbesondere von optischen Sensoren bzw. Kameras mit unterschiedlichen Bildwinkeln differenzierte Bilder des Umfelds vor einem Fahrzeug erzeugt werden können.
Vorteilhafte Ausführungsformen des erfindungsgemäßen Verfahrens und der erfindungsgemäßen Vorrichtung sind in den Unteransprüchen beschrieben, wobei sich beliebige Kombination aus den im Folgenden aufgezählten vorzugsweise technischen Merkmalen realisieren lassen:
• die Bilderfassungseinrichtungen jeweils einen Sensor, insbesondere einen optischen Sensor und ein Objektiv umfassen;
• die zumindest eine erste Bilderfassungseinrichtung weist ein Teleobjektiv auf;
• die zumindest eine zweite Bilderfassungseinrichtung weist ein Weitwinkelobjektiv auf;
• die optischen Achsen der Bilderfassungseinrichtungen, insbesondere die optischen Achse der Sensoren, sind parallel zueinander ausgerichtet;
• die optischen Achsen der Bilderfassungseinrichtungen, insbesondere die optischen Achse der Sensoren, verlaufen parallel zu einer Fahrzeuglängsachse des Fahrzeuges;
• der Normalabstand der optischen Achsen der ersten und der zweiten Bilderfassungseinrichtung, insbesondere der optischen Achsen der optischen Sensoren ist größer als 4 cm;
• die Bilderfassungseinrichtungen haben Zugriff auf eine globale Zeitbasis und die Zeitpunkte der Datenerfassung der Bilderfassungseinrichtungen werden vom Fortschreiten der globalen Zeit bestimmt. Auf diese Weise wird es möglich, wenn die Bilderfassungseinrichtung oder der Sensor dies zulässt, dass Bilder von den beiden Bilderfassungseinrichtungen/Sensoren tatsächlich gleichzeitig aufgenommen werden, sodass eine synchronisierte gleichzeitige Erfassung möglich ist;
• die Bilderfassungseinrichtungen haben Zugriff auf eine globale Zeitbasis und die Zeitpunkte der Datenerfassung der Bilderfassungseinrichtungen werden jeweils in einem einem Bild zugeordneten Zeitstempel der globalen Zeit festgehalten. Falls die Bilderfassungseinrichtungen/Sensoren es nicht zulassen, dass sie exakt zu einem definierten Zeit- punkt Bilder aufnehmen, somit eine gleichzeitige Aufnahme nicht möglich ist sondern „zusammengehörende" Aufnahmen nur innerhalb eines Zeitintervalls möglich sind, bietet diese Vorgangsweise eine Möglichkeit, „zusammengehörende" Aufnahmen über eine Berücksichtigung der Fortbewegungsgeschwindigkeit des Fahrzeuges entsprechend zusammenzuführen;
• die Bilderfassungseinrichtungen beobachten das Umfeld des Fahrzeugs zyklisch;
• bei Ausfall der ersten oder der zweiten Bilderfassungseinrichtungen wird das Umfeld des Fahrzeugs mit der verbleibenden funktionstüchtigen zumindest einen zweiten oder zumindest einen ersten Bilderfassungseinrichtung beobachtet und das Fahrzeug wird in einen sicheren Zustand, vorzugsweise von dem Fusions-Computer, geführt;
• die Brennweiten der Objektive der Bilderfassungseinrichtungen, vorzugsweise von dem Fusions-Computer, werden derart verändert, dass im Umfeld des Fahrzeugs als relevant erkannte Objekte in den folgenden, von den Bilderfassungseinrichtungen aufgenommenen Frames in das Zentrum des Blickfelds der Bilderfassungseinrichtungen rücken;
• die Orientierung der optischen Achsen der Bilderfassungseinrichtungen, insbesondere der Sensoren, wird, vorzugsweise von dem Fusions-Computer, derart verändert, dass die im Umfeld des Fahrzeugs als relevant erkannten Objekte in den folgenden Frames in das Zentrum des Blickfelds der Sensoren rücken;
• eine, mehrere oder alle Bilderfassungseinrichtungen sind an bzw. hinter der Windschutzscheibe des Fahrzeugs montiert;
• eine, mehrere oder alle Bilderfassungseinrichtungen sind für den Wellenbereich des sichtbaren Lichtes ausgelegt;
• die Bilderfassungseinrichtungen sind für einen Wellenbereich außerhalb des Wellenbereiches für sichtbares Licht ausgelegt.
Im Folgenden ist eine beispielhafte Realisierung der Erfindung an Hand der Zeichnung näher erörtert. In dieser zeigt die Anordnung von zwei Bilderfassungseinrichtungen, und Fig. 2 den Ablauf der Verarbeitung der von den Bilderfassungseinrichtungen erfassten Daten, insbesondere Sensordaten.
Figur 1 zeigt einen Teil einer erfindungsgemäßen Vorrichtung, nämlich zwei Bilderfassungseinrichtungen 110, 120. Die beiden Bilderfassungseinrichtungen 110, 120 umfassen beispielsweise jeweils einen optischen Sensor, beispielsweise identische optische Sensoren, sowie die erste Bilderfassungseinrichtung beispielsweise ein Teleobjektiv und die zweite Bilderfassungseinrichtung beispielsweise ein Weitwinkelobjektiv. Entsprechend ist der Bilderfassungswinkel der zweiten Bilderfassungseinrichtung 120 größer als der Bilderfassungswinkel der ersten Bilderfassungseinrichtung 110, wie dies der schematischen Figur 1 zu entnehmen ist. Beispielsweise handelt es sich bei den Bilderfassungseinrichtungen um Kameras.
Unabhängig vom konkreten Aufbau der Bilderfassungseinrichtungen liegt bei einer bevorzugten Ausführungsform der Bilderfassungswinkel (Öffnungswinkel), insbesondere der horizontale Bilderfassungswinkel der ersten Bilderfassungseinrichtung zwischen 25° und 60°, vorzugsweise zwischen 25° und 50°, insbesondere zwischen ca. 40° und 50°, der Bilderfassungswinkel (Öffnungswinkel), insbesondere der horizontale Bilderfassungswinkel der zweiten Bilderfassungseinrichtung liegt zwischen ca. 60° und 120°. Je nach gewählten konkreten Wert für einen der beiden Bilderfassungsbereiche ist der zweite Wert derart zu wählen, dass diese unterschiedliche Werte annehmen, insbesondere der zweite Winkel größer ist als der erste Winkel.
Mit der ersten Bilderfassungseinrichtung können demgemäß ferne Objekte gut beobachtet werden, mit der zweiten Bilderfassungseinrichtung, die in entfernten Regionen eine niedrigere Auflösung aufweist, kann die unmittelbare Umgebung vor und seitlich des Fahrzeugs beobachtet werden.
Weiters zeigt in Figur 1 ein Pfeil 130 die Richtung der Fahrzeuglängsachse (nicht aber deren konkrete Lage) eines Fahrzeugs an. Die optische Achse 112 der ersten Bilderfassungseinrichtung 110 liegt parallel zu der Achse 130. Das Blickfeld (Bilderfassungsbereich) der ersten Bilderfassungseinrichtung 110 ist durch eine Fläche 111 (Teilbereich 1) dargestellt. Die optische Achse 122 der zweiten Bilderfassungseinrichtung 120 liegt ebenso parallel zur Achse 130. Das Blickfeld der zweiten Bilderfassungseinrichtung 120 ist durch eine Fläche 121 (Teilbereich 2 des Umfeldes) dargestellt. Die stark umrandete Fläche 140 stellt jenes Umfeld des Fahrzeugs dar, das von beiden Bilderfassungseinrichtungen abgedeckt wird, somit das sogenannte„zentrale Umfeld". Der Abstand der beiden Bilderfassungseinrichtungen 110, 120, insbesondere der Sensoren, gemessen im rechten Winkel zu den parallelen optischen Achsen 112, 122, beträgt vorzugsweise mindestens 4 cm, um einen Stereoeffekt im zentralen Umfeld realisieren zu können. In einem Personenkraftwagen können die Bilderfassungseinrichtungen auf der Windschutzscheibe des Fahrzeugs montiert sein.
Die optischen Sensoren der Bilderfassungseinrichtungen 110, 120 können ihr Umfeld im Wellenbereich des sichtbaren Lichts beobachten oder einen Wellenbereich außerhalb des sichtbaren Lichts (z.B. Infrarot) zur Beobachtung des Umfelds nutzen. Es können auch mehrere Sensoren-Paare nebeneinander angeordnet sein, ein Paar für den Wellenbereich des sichtbaren Lichts und ein anderes Paar für einen Wellenbereich außerhalb des sichtbaren Lichts.
In dem von den beiden Bilderfassungseinrichtungen 110, 120 abgedeckten Umfeld, der Fläche 140, kann ein Stereobild dieses (zentralen) Umfelds generiert werden, aus dem sich Distanzinformationen zu den erkannten Objekten bestimmen lassen. In dem lediglich von einem der beiden Bilderfassungseinrichtungen 110, 120 erfassten Umfeld (Teilbereich 1 111 plus Teilbereich 2 121 abzüglich Bereich 140), das daher nur von einem Sensor beobachtet wird, kann nur ein monoskopisches Bild erzeugt werden.
Vorzugsweise wird angenommen, dass die Bilderfassungseinrichtungen 110, 120, insbesondere deren Sensoren Zugriff auf eine globale Zeit haben. Die Synchronisation der Uhren der Bilderfassungseinrichtungen kann über das IEEE 1588 Protokoll realisiert werden [7].
Wenn die Bilderfassungseinrichtungen 110, 120 bzw. Sensoren so konstruiert sind, dass der Aufnahmezeitpunkt von einem externen Trigger-Signal bestimmt werden kann, so werden die Aufnahmezeitpunkte vom Fortschreiten der globalen Zeit ausgelöst. Es ist von Vorteil, wenn beide Aufnahmen gleichzeitig stattfinden. Der Zeitpunkt der Aufnahme jedes Bildes wird in der Form eines globalen Zeitstempels neben der Datenstruktur des Bildes festgehalten.
Um eine zeitlich determinierte Folge von Bildern zu erhalten, werden die Aufnahmezeit- punkte zyklisch mit identischer Zykluslänge ausgelöst. Die Zykluslänge ergibt sich vorzugsweise aus einer Abtastrate eines Gesamt-Datenerfassungssystems, das neben den optischen Sensoren auch andere Sensoren, z.B. Radar-Sensoren etc., beinhalten kann.
Figur 2 zeigt den Ablauf der Verarbeitung von Bilddaten in einem verteilten Computersystem. Die Pfeile 200 zeigen den Datenfluss an. Unmittelbar nach der Erfassung der Bilddaten durch die Sensoren der Bilderfassungseinrichtungen 110, 120 werden die Bilddaten in Computern 211, 212 vorverarbeitet, um signifikante Merkmale der Bilder zu ermitteln. Diese signifikanten Merkmale werden über ein Echtzeitkommunikationssystem 201 in der Form von Nachrichten an den Fusions-Computer („Sensorfusionscomputer") 202 weitergeleitet. Optional können diese Nachrichten auch an einen Monitorcomputer 203 weitergeleitet werden. Das Echtzeitkommunikationssystem kann mit dem TT-Ethernet Protokoll [6] realisiert werden. Neben den optischen Sensoren der Bildverarbeitungseinrichtungen können auch noch andere Sensoren, z.B. Radarsensoren oder Lasersensoren an den Sensorfusionscomputer 202 angeschlossen sein.
Der Sensor fusionscomputer 202 führt die Fusion der vor verarbeiteten Bilddaten durch und generiert für den von der Fläche 140 repräsentierten Bilderfassungsbereich (zentrales Umfeld) ein Stereobild und für die von den Flächen, die nur von einem Sensor beobachtet werden, repräsentierten Bilderfassungsbereiche ein monoskopisches Bild. Ein Verfahren, wie aus zwei monoskopischen Bildern ein Stereobild erzeugt werden kann, ist im US Patent 7,180,536 von Wolowelsky et al. offen gelegt.
Optional kann vorgesehen sein, dass nach Analyse eines Bildes der Sensorfusionscomputer 202 entscheidet, welches Objekt im Umfeld des Fahrzeuges von besonderer Wichtigkeit ist, und er, beispielsweise über eine Signalleitung 215, die Brennweite und/ oder räumliche Orientierung des Objektives und/ oder Sensors der Bilderfassungseinrichtung 110 auf dieses Objekt fokussieren, und über eine Signalleitung 225 die Brennweite und/ oder räumliche Orientierung des Objektivs und/ oder Sensors der Bilderfassungseinrichtung 120 auf dieses Objekt fokussieren.
Wenn eine Bilderfassungseinrichtung ausfällt, so kann der Sensorfusionscomputer 202 das Umfeld des Fahrzeugs mit den bzw. der verbleibenden funktionstüchtigen Bilderfassungseinrichtung beobachten und das Fahrzeug in einen sicheren Zustand führen. Ein solcher sicherer Zustand ist z.B. das Abstellen des Fahrzeugs am Straßenrand oder die Übergabe der Kontrolle über das Fahrzeug an den Fahrer.
Zitierte Dokumente:
[1] US 8,108,119 Southhall et al. Apparatus and Method for Object Detection and Tracking and Roadway Awareness using Stereo Cameras. Granted Jan. 31, 2012.
[2] US 5,179,441 Anderson et al. Near Real-Time Stereo Vision System. Granted Jan 12, 1993 [[33]] UUSS 55,,552233,,888866 JJoohhnnssoonn--WWiilllliiaammss aatt aall.. SStteerreeoossccooppiicc//MMoonnoossccooppiicc VViiddeeoo DDiissppllaayy SSyysstteemm.. GGrraanntteedd JJuunnee 44,, 11999966
[[44]] UUSS 77,,118800,,553366 WWoolloowweellsskkyy eett aall.. MMeetthhoodd ffoorr pprroodduucciinngg sstteerreeoossccooppiicc IImmaaggeess ffrroomm mmoonnoossccooppiicc IImmaaggeess.. GGrraanntteedd FFeebb.. 2200,, 22000077
[[55]] KKooppeettzz,, HH.. RReeaall--TTiimmee SSyysstteemmss,, DDeessiiggnn PPrriinncciipplleess ffoorr DDiissttrriibbuutteedd EEmmbbeeddddeedd AApppplliiccaattiioonnss.. SSpprriinnggeerr VVeerrllaagg.. 22001111..
[[66]] SSAAEE SSttaannddaarrdd AASS66880022 vvoonn TTTT EEtthheerrnneett..
Figure imgf000011_0001
[7] IEEE 1588 Standard for a Precision Clock Synchronization Protocol for Network Measurement and Control Systems. URL: http://www.ieeel588.com/

Claims

PATENTANSPRÜCHE
1. Verfahren zur Beobachtung des Umfelds vor einem Fahrzeug mit einer Vorrichtung, welche Vorrichtung zumindest zwei Bilderfassungseinrichtungen (110, 120) umfasst, wobei zumindest eine erste, vorzugsweise genau eine erste Bilderfassungseinrichtung (110), einen ersten Bilderfassungswinkel erfasst, und zumindest eine zweite, vorzugsweise genau eine zweite Bilderfassungseinrichtung (120), einen zweiten Bilderfassungswinkel erfasst, wobei der zweite Bilderfassungswinkel größer ist als der erste Bilderfassungswinkel, und wobei mit der zumindest einen, vorzugsweise genau einen ersten Bilderfassungseinrichtung (110) ein erster Teilbereich (111) des Umfeldes vor dem Fahrzeug, insbesondere das nahe Umfeld vor dem Fahrzeug erfasst wird, und wobei, vorzugsweise gleichzeitig, mit der zumindest einen, vorzugsweise genau einen zweiten Bilderfassungseinrichtung (120) ein zweiter Teilbereich (121) des Umfeldes vor dem Fahrzeug, insbesondere das ferne Umfeld vor dem Fahrzeug erfasst wird, dadurch gekennzeichnet, dass die zumindest eine erste Bilderfassungseinrichtung (110) und die zumindest eine zweite Bilderfassungseinrichtung (120) in einem Abstand, insbesondere einem seitlichen Abstand zueinander angeordnet sind, und wobei die zumindest eine erste Bilderfassungseinrichtung (110) und die zumindest eine zweite Bilderfassungseinrichtung (120) derart zueinander angeordnet sind, dass ein zentrales Umfeld (140), d.h. ein Überlappungsbereich des ersten Teilbereiches und des zweiten Teilbereiches, sowohl von der zumindest einen ersten als auch der zumindest einen zweiten Bilderfassungseinrichtung (110, 120) erfasst wird, und wobei durch Fusion der von den Bilderfassungseinrichtungen (110, 120) ermittelten Daten von dem zentralen Umfeld ein Stereobild generiert wird, insbesondere von einem Fusions-Computer (202) generiert wird, und wobei von jenen Bereichen, welche jeweils nur von einer ersten oder einer zweiten Bilderfassungseinrichtung erfasst werden, ein monoskopisches Bild generiert wird, insbesondere von dem Fusions-Computer (202) generiert wird.
2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die Bilderfassungseinrichtungen (110, 120) jeweils einen Sensor, insbesondere einen optischen Sensor und ein Objektiv umfassen.
3. Verfahren nach Anspruch 2, dadurch gekennzeichnet, dass die zumindest eine erste Bilderfassungseinrichtung (110) ein Teleobjektiv aufweist.
4. Verfahren nach Anspruch 2 oder 3, dadurch gekennzeichnet, dass die zumindest eine zweite Bilderfassungseinrichtung (120) ein Weitwinkelobjektiv aufweist.
5. Verfahren nach einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, dass die optischen Achsen (112, 122) der Bilderfassungseinrichtungen (110, 120), insbesondere die optischen Achse der Sensoren, parallel zueinander ausgerichtet sind.
6. Verfahren nach Anspruch 5, dadurch gekennzeichnet, dass die optischen Achsen (112, 122) der Bilderfassungseinrichtungen (110, 120), insbesondere die optischen Achse der Sensoren, parallel zu einer Fahrzeuglängsachse (130) des Fahrzeuges verlaufen.
7. Verfahren nach einem der Ansprüche 1 bis 6, dadurch gekennzeichnet, dass der Normalabstand der optischen Achsen (112, 122) der ersten und der zweiten Bilderfassungseinrichtung, insbesondere der optischen Achsen der optischen Sensoren größer als 4 cm ist.
8. Verfahren nach einem der Ansprüche 1 bis 7, dadurch gekennzeichnet, dass die Bilderfassungseinrichtungen Zugriff auf eine globale Zeitbasis haben und die Zeitpunkte der Datenerfassung der Bilderfassungseinrichtungen vom Fortschreiten der globalen Zeit bestimmt werden.
9. Verfahren nach einem der Ansprüche 1 bis 7, dadurch gekennzeichnet, dass die Bilderfassungseinrichtungen Zugriff auf eine globale Zeitbasis haben und die Zeitpunkte der Datenerfassung der Bilderfassungseinrichtungen jeweils in einem einem Bild zugeordneten Zeitstempel der globalen Zeit festgehalten werden.
10. Verfahren nach einem der Ansprüche 1 bis 9, dadurch gekennzeichnet, dass die Bilderfassungseinrichtungen das Umfeld des Fahrzeugs zyklisch beobachten.
11. Verfahren nach einem der Ansprüche 1 bis 10, dadurch gekennzeichnet, dass bei Ausfall der ersten oder der zweiten Bilderfassungseinrichtungen das Umfeld des Fahrzeugs mit der verbleibenden funktionstüchtigen zumindest einen zweiten oder zumindest einen ersten Bilderfassungseinrichtung beobachtet wird und das Fahrzeug in einen sicheren Zustand, vorzugsweise von dem Fusions-Computer, geführt wird.
12. Verfahren nach einem der Ansprüche 2 bis 11, dadurch gekennzeichnet, dass die
Brennweiten der Objektive der Bilderfassungseinrichtungen, vorzugsweise von dem Fusions-Computer, derart verändert werden, dass im Umfeld des Fahrzeugs als relevant erkannte Objekte in den folgenden, von den Bilderfassungseinrichtungen aufgenommenen Frames in das Zentrum des Blickfelds der Bilderfassungseinrichtungen rücken.
13. Verfahren nach einem der Ansprüche 1 bis 12, dadurch gekennzeichnet, dass die Orientierung der optischen Achsen der Bilderfassungseinrichtungen, insbesondere der Sensoren, vorzugsweise von dem Fusions-Computer, derart verändert wird, dass die im Umfeld des Fahrzeugs als relevant erkannten Objekte in den folgenden Frames in das Zentrum des Blickfelds der Sensoren rücken.
14. Vorrichtung zur Beobachtung des Umfelds vor einem Fahrzeug, wobei die Vorrichtung zumindest zwei Bilderfassungseinrichtungen umfasst, wobei zumindest eine erste, vorzugsweise genau eine erste Bilderfassungseinrichtung, einen ersten Bilderfassungswinkel aufweist, sodass mit der zumindest einen ersten Bilderfassungseinrichtung ein erster Teilbereich des Umfeldes vor dem Fahrzeug, insbesondere das nahe Umfeld vor dem Fahrzeug erfassbar ist, und zumindest eine zweite, vorzugsweise genau eine zweite Bilderfassungseinrichtung, einen zweiten Bilderfassungswinkel aufweist, sodass, vorzugsweise gleichzeitig, mit der zumindest einen zweiten Bilderfassungseinrichtung ein zweiter Teilbereich des Umfeldes vor dem Fahrzeug, insbesondere das ferne Umfeld vor dem Fahrzeug erfassbar ist, wobei der zweite Bilderfassungswinkel größer ist als der erste Bilderfassungswinkel, dadurch gekennzeichnet, dass die zumindest eine erste Bilderfassungseinrichtung und die zumindest eine zweite Bilderfassungseinrichtung in einem Abstand, insbesondere einem seitlichen Abstand zueinander angeordnet sind, und wobei die zumindest eine erste Bilderfassungseinrichtung und die zumindest eine zweite Bilderfassungseinrichtung derart zueinander angeordnet sind, dass ein zentrales Umfeld, d.h. ein Überlappungsbereich des ersten Teilbereiches und des zweiten Teilberei- ches, sowohl von der zumindest einen ersten als auch der zumindest einen zweiten Bilderfassungseinrichtung erfasst wird, und wobei die Vorrichtung weiters einen Fusions-Computer umfasst, welcher durch Fusion der von den Bilderfassungseinrichtungen ermittelten Daten von dem zentralen Umfeld ein Stereobild generiert, und von jenen Bereichen, welche jeweils nur von einer ersten oder einer zweiten Bilderfassungseinrichtung erfasst werden, ein monoskopisches Bild, vorzugsweise vom dem Fusions- Computer, generiert wird.
15. Vorrichtung nach Anspruch 14, dadurch gekennzeichnet, dass die Bilderfassungseinrichtungen jeweils einen Sensor, insbesondere einem optischen Sensor und ein Objektiv umfassen.
16. Vorrichtung nach Anspruch 15, dadurch gekennzeichnet, dass die zumindest eine erste Bilderfassungseinrichtung ein Teleobjektiv aufweist.
17. Vorrichtung nach Anspruch 15 oder 16, dadurch gekennzeichnet, dass die zumindest eine zweite Bilderfassungseinrichtung ein Weitwinkelobjektiv aufweist.
18. Vorrichtung nach einem der Ansprüche 14 bis 17, dadurch gekennzeichnet, dass die optischen Achsen der Bilderfassungseinrichtungen, insbesondere die optischen Achse der Sensoren, parallel zueinander ausgerichtet sind.
19. Vorrichtung nach Anspruch 18, dadurch gekennzeichnet, dass die optischen Achsen der Bilderfassungseinrichtungen, insbesondere die optischen Achse der Sensoren, parallel zu einer Fahrzeuglängsachse des Fahrzeuges verlaufen.
20. Vorrichtung nach einem der Ansprüche 14 bis 19, dadurch gekennzeichnet, dass der Normalabstand der optischen Achsen der ersten und der zweiten Bilderfassungseinrichtung, insbesondere der optischen Achsen der optischen Sensoren größer als 4 cm ist.
21. Vorrichtung nach einem der Ansprüche 14 bis 20, dadurch gekennzeichnet, dass die Bilderfassungseinrichtungen Zugriff auf eine globale Zeitbasis haben und die Zeitpunkte der Datenerfassung der Bilderfassungseinrichtungen vom Fortschreiten der globalen Zeit bestimmt werden.
22. Vorrichtung nach einem der Ansprüche 14 bis 20, dadurch gekennzeichnet, dass die Bilderfassungseinrichtungen Zugriff auf eine globale Zeitbasis haben und die Zeitpunkte der Datenerfassung der Bilderfassungseinrichtungen jeweils in einem einem Bild zugeordneten Zeitstempel der globalen Zeit festgehalten werden.
23. Vorrichtung nach einem der Ansprüche 14 bis 22, dadurch gekennzeichnet, dass die Bilderfassungseinrichtungen das Umfeld des Fahrzeugs zyklisch beobachten.
24. Vorrichtung nach einem Ansprüche 14 bis 23, dadurch gekennzeichnet, dass bei Ausfall der ersten oder der zweiten Bilderfassungseinrichtungen das Umfeld des Fahrzeugs mit der verbleibenden funktionstüchtigen zumindest einen zweiten oder zumindest einen ersten Bilderfassungseinrichtung beobachtet wird und das Fahrzeug in einen sicheren Zustand, vorzugsweise von dem Fusions-Computer, geführt wird.
25. Vorrichtung nach einem der Ansprüche 14 bis 24, dadurch gekennzeichnet, dass die
Brennweiten der Objektive der Bilderfassungseinrichtungen, vorzugsweise von dem Fusions-Computer, derart verändert werden, dass im Umfeld des Fahrzeugs als relevant erkannte Objekte in den folgenden, von den Bilderfassungseinrichtungen aufgenommenen Frames in das Zentrum des Blickfelds der Bilderfassungseinrichtungen rücken.
26. Vorrichtung nach einem der Ansprüche 14 bis 25, dadurch gekennzeichnet, dass die Orientierung der optischen Achsen der Bilderfassungseinrichtungen, insbesondere der Sensoren, vorzugsweise von dem Fusions-Computer, derart verändert wird, dass die im Umfeld des Fahrzeugs als relevant erkannten Objekte in den folgenden Frames in das Zentrum des Blickfelds der Sensoren rücken.
27. Vorrichtung nach einem der Ansprüche 14 bis 26, dadurch gekennzeichnet, dass die Bilderfassungseinrichtungen an bzw. hinter der Windschutzscheibe des Fahrzeugs montiert sind.
28. Vorrichtung nach einem der Ansprüche 14 bis 27, dadurch gekennzeichnet, dass eine, mehrere oder alle Bilderfassungseinrichtungen für den Wellenbereich des sichtbaren Lichtes ausgelegt sind.
29. Vorrichtung nach einem der Ansprüche 14 bis 27, dadurch gekennzeichnet, dass eine, mehrere oder alle Bilderfassungseinrichtungen für einen Wellenbereich außerhalb des Wellenbereiches für sichtbares Licht ausgelegt sind.
PCT/AT2014/050295 2013-12-13 2014-12-05 Verfahren und vorrichtung zur beobachtung der umgebung eines fahrzeugs WO2015085338A1 (de)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US15/103,952 US9898670B2 (en) 2013-12-13 2014-12-05 Method and device for observing the environment of a vehicle
DE112014005645.6T DE112014005645A5 (de) 2013-12-13 2014-12-05 Verfahren und Vorrichtung zur Beobachtung der Umgebung eines Fahrzeugs

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
ATA50823/2013 2013-12-13
AT508232013 2013-12-13

Publications (1)

Publication Number Publication Date
WO2015085338A1 true WO2015085338A1 (de) 2015-06-18

Family

ID=52391715

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/AT2014/050295 WO2015085338A1 (de) 2013-12-13 2014-12-05 Verfahren und vorrichtung zur beobachtung der umgebung eines fahrzeugs

Country Status (3)

Country Link
US (1) US9898670B2 (de)
DE (1) DE112014005645A5 (de)
WO (1) WO2015085338A1 (de)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102016212730A1 (de) * 2016-07-13 2018-01-18 Conti Temic Microelectronic Gmbh Fahrzeugkameravorrichtung mit Bildauswertungselektronik
EP3495211A1 (de) * 2017-12-06 2019-06-12 Toyota Jidosha Kabushiki Kaisha Sensorhalterstruktur

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6396714B2 (ja) * 2014-08-06 2018-09-26 株式会社デンソー 物体認識装置
JP6361366B2 (ja) * 2014-08-18 2018-07-25 株式会社デンソー 物体認識装置
KR101589227B1 (ko) * 2015-01-20 2016-01-27 현대자동차주식회사 차량용 이더넷 통신망에서의 카메라 셔터 동기화 제어 방법 및 장치
KR102101438B1 (ko) * 2015-01-29 2020-04-20 한국전자통신연구원 연속 시점 전환 서비스에서 객체의 위치 및 크기를 유지하기 위한 다중 카메라 제어 장치 및 방법
KR101844885B1 (ko) * 2016-07-11 2018-05-18 엘지전자 주식회사 차량 운전 보조장치 및 이를 포함하는 차량
US10627606B2 (en) 2017-11-10 2020-04-21 Denso Corporation Camera module
US10534253B2 (en) * 2017-11-10 2020-01-14 Denso Corporation Camera module which includes lens units and configured to be mounted on inside of windshiled of vehicle
US10406995B2 (en) 2017-11-10 2019-09-10 Denso Corporation Camera module
US10661725B2 (en) 2017-11-10 2020-05-26 Denso Corporation Camera module
US10232800B1 (en) 2017-11-10 2019-03-19 Denson Corporation Camera module
US11181816B2 (en) 2017-11-10 2021-11-23 Denso Corporation Windshield-mounted camera module
JP7120835B2 (ja) * 2018-07-18 2022-08-17 トヨタ自動車株式会社 画像処理装置
CN110191333B (zh) * 2019-06-04 2022-06-28 深圳市华芯技研科技有限公司 一种集中式多镜头光度立体摄像装置

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5179441A (en) 1991-12-18 1993-01-12 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration Near real-time stereo vision system
DE4420422A1 (de) * 1994-06-10 1995-12-14 Dickmanns Ernst Dieter Prof Dr Technisches Komplexauge für dynamisches maschinelles Sehen
US5523886A (en) 1994-01-04 1996-06-04 Sega Of America, Inc. Stereoscopic/monoscopic video display system
DE102004056349A1 (de) * 2004-11-22 2006-05-24 Robert Bosch Gmbh Bilderfassungssystem
EP1684531A2 (de) * 2005-01-19 2006-07-26 Hitachi, Ltd. Auf Fahrzeug montierte Stereokamera
US7180536B2 (en) 2002-06-10 2007-02-20 Raphael-Armament Development Authority Ltd. Method for producing stereoscopic images from monoscopic images
US20110211068A1 (en) * 2010-03-01 2011-09-01 Soichiro Yokota Image pickup apparatus and rangefinder
US8108119B2 (en) 2006-04-21 2012-01-31 Sri International Apparatus and method for object detection and tracking and roadway awareness using stereo cameras
DE102011118551A1 (de) * 2011-11-16 2013-05-16 Continental Teves Ag & Co. Ohg Verfahren und Vorrichtung für ein Assistenzsystem in einem Fahrzeug zur Durchführung eines autonomen oder teilautonomen Fahrmanövers
WO2014054752A1 (ja) * 2012-10-04 2014-04-10 アルプス電気株式会社 画像処理装置及び車両前方監視装置
WO2014054753A1 (ja) * 2012-10-04 2014-04-10 アルプス電気株式会社 画像処理装置及び車両前方監視装置

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE4111993B4 (de) 1990-04-23 2005-05-25 Volkswagen Ag Kamera für ein Bildverarbeitungssystem
US7337650B1 (en) * 2004-11-09 2008-03-04 Medius Inc. System and method for aligning sensors on a vehicle
DE102005039192A1 (de) 2005-08-18 2007-03-01 Siemens Ag Verfahren zur Störungsanalyse eines Datenstroms, insbesondere eines Echtzeit-Datenstroms, in einem Datennetz, Kommunikationssystem und Überwachungsrechner
EP2145431B1 (de) 2007-04-11 2011-10-05 FTS Computertechnik GmbH Kommunikationsverfahren und apparat zur effizienten und sicheren übertragung von tt-ethernet nachrichten
JP5233583B2 (ja) 2008-10-24 2013-07-10 株式会社リコー 車載用監視装置
WO2012085744A2 (en) 2010-12-22 2012-06-28 Koninklijke Philips Electronics N.V. Device, system and method for handling alarm message storms in a communications network
US9588214B2 (en) * 2011-07-26 2017-03-07 Thales Visionix, Inc. Sensing direction and distance
AT512290B1 (de) 2011-12-19 2013-07-15 Fts Computertechnik Gmbh Verfahren zur zeitrichtigen beobachtung von ttethernet nachrichten
US9720089B2 (en) 2012-01-23 2017-08-01 Microsoft Technology Licensing, Llc 3D zoom imager
US9861040B2 (en) * 2012-02-10 2018-01-09 Deere & Company Method and stereo vision system for facilitating the unloading of agricultural material from a vehicle
DE102012004854A1 (de) 2012-03-13 2013-09-19 Deutsche Telekom Ag Verfahren zum effizienten Betrieb eines überwachten Telekommmunikationsnetzes mit Hilfe eines Netzmanagementsystems, von Computerprogrammen und Computerprogrammprodukten
WO2015157410A1 (en) * 2014-04-08 2015-10-15 Tk Holdings Inc. System and method for night vision object detection and driver assistance
WO2015164897A1 (de) 2014-05-02 2015-11-05 Fts Computertechnik Gmbh Verfahren zur flexiblen steuerung von zeitgesteuerten datenflüssen in einem verteilten computersystem
US10175360B2 (en) * 2015-03-31 2019-01-08 Faro Technologies, Inc. Mobile three-dimensional measuring instrument

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5179441A (en) 1991-12-18 1993-01-12 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration Near real-time stereo vision system
US5523886A (en) 1994-01-04 1996-06-04 Sega Of America, Inc. Stereoscopic/monoscopic video display system
DE4420422A1 (de) * 1994-06-10 1995-12-14 Dickmanns Ernst Dieter Prof Dr Technisches Komplexauge für dynamisches maschinelles Sehen
US7180536B2 (en) 2002-06-10 2007-02-20 Raphael-Armament Development Authority Ltd. Method for producing stereoscopic images from monoscopic images
DE102004056349A1 (de) * 2004-11-22 2006-05-24 Robert Bosch Gmbh Bilderfassungssystem
EP1684531A2 (de) * 2005-01-19 2006-07-26 Hitachi, Ltd. Auf Fahrzeug montierte Stereokamera
US8108119B2 (en) 2006-04-21 2012-01-31 Sri International Apparatus and method for object detection and tracking and roadway awareness using stereo cameras
US20110211068A1 (en) * 2010-03-01 2011-09-01 Soichiro Yokota Image pickup apparatus and rangefinder
DE102011118551A1 (de) * 2011-11-16 2013-05-16 Continental Teves Ag & Co. Ohg Verfahren und Vorrichtung für ein Assistenzsystem in einem Fahrzeug zur Durchführung eines autonomen oder teilautonomen Fahrmanövers
WO2014054752A1 (ja) * 2012-10-04 2014-04-10 アルプス電気株式会社 画像処理装置及び車両前方監視装置
WO2014054753A1 (ja) * 2012-10-04 2014-04-10 アルプス電気株式会社 画像処理装置及び車両前方監視装置

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
IEEE 1588 STANDARD FOR A PRECISION CLOCK SYNCHRONIZATION PROTOCOL FOR NETWORK MEASUREMENT AND CONTROL SYSTEMS, Retrieved from the Internet <URL:http://www.ieee1588.com>
KOPETZ, H.: "Real-Time Systems, Design Principles for Distributed Embedded Applications", 2011, SPRINGER VERLAG
SAE STANDARD AS6802 VON TT ETHERNET, Retrieved from the Internet <URL:http://standards.sae.org/as6802>
WOLFGANG GUNTHNER ET AL: "An Inertially Stabilised Vehicle Camera System - Hardware, Algorithms, Test Drives", IEEE INDUSTRIAL ELECTRONICS, IECON 2006 - 32ND ANNUAL CONFERENCE ON, IEEE, PISCATAWAY, NJ, USA, November 2006 (2006-11-01), pages 3815 - 3820, XP031076897, ISBN: 978-1-4244-0135-2 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102016212730A1 (de) * 2016-07-13 2018-01-18 Conti Temic Microelectronic Gmbh Fahrzeugkameravorrichtung mit Bildauswertungselektronik
EP3495211A1 (de) * 2017-12-06 2019-06-12 Toyota Jidosha Kabushiki Kaisha Sensorhalterstruktur
CN109878428A (zh) * 2017-12-06 2019-06-14 丰田自动车株式会社 传感器搭载结构
US10837807B2 (en) 2017-12-06 2020-11-17 Toyota Jidosha Kabushiki Kaisha Sensor mount structure

Also Published As

Publication number Publication date
US9898670B2 (en) 2018-02-20
US20160314365A1 (en) 2016-10-27
DE112014005645A5 (de) 2016-09-08

Similar Documents

Publication Publication Date Title
WO2015085338A1 (de) Verfahren und vorrichtung zur beobachtung der umgebung eines fahrzeugs
EP3205090B1 (de) Stereokamera für fahrzeuge
DE60020420T2 (de) Situationsdarstellungs-Anzeigesystem
EP2044573B1 (de) Überwachungskamera, verfahren zur kalibrierung der überwachungskamera sowie verwendung der überwachungskamera
DE602005000532T2 (de) Überwachungssystem für den Aussenbereich eines Fahrzeugs
WO2008083869A1 (de) Verfahren, vorrichtung und computerprogramm zur selbstkalibrierung einer überwachungskamera
EP2690459B1 (de) Vorrichtung und Verfahren zum Identifizieren und Dokumentieren mindestens eines ein Strahlungsfeld durchfahrenden Objektes
DE10132982B4 (de) Einrichtung zum Erfassen optischer Informationen
DE10131196A1 (de) Vorrichtung zur Detektion von Gegenständen, Personen oder dergleichen
DE102016206493A1 (de) Verfahren und Kamerasystem zur Entfernungsbestimmung von Objekten zu einem Fahrzeug
WO2012152475A1 (de) Verfahren und vorrichtung zur kalibrierung einer projektionseinrichtung eines fahrzeugs
EP2234081A2 (de) Verfahren zur Herstellung einer bekannten festen räumlichen Beziehung zwischen einem Laserscanner und einer Digitalkamera zur Verkehrsüberwachung
DE102012223481A1 (de) Vorrichtung und Verfahren zum Verfolgen der Position eines peripheren Fahrzeugs
EP2649802A1 (de) Verfahren und vorrichtung zum verarbeiten von bildinformationen zweier zur bilderfassung geeigneter sensoren eines stereo-sensor-systems
DE102019103197B4 (de) Insassenüberwachungsvorrichtung
DE102009012758A1 (de) Vorrichtung und Verfahren zur Detektion mindestens eines Objektes
EP1460454B1 (de) Verfahren zur gemeinsamen Verarbeitung von tiefenaufgelösten Bildern und Videobildern
WO2018233733A1 (de) Kamerasystem mit unterschiedlichen shuttermodi
DE102013019226A1 (de) Vorrichtung zur kamerabasierten Umgebungserfassung für ein Fahrzeug
DE102014213175A1 (de) Vorrichtung zur entfernungsmessung, fahrzeug und verfahren
DE102005055879A1 (de) Flugverkehr-Leiteinrichtung
DE3919265A1 (de) Opto-elektronische ausblickbaugruppe
DE102017100885B4 (de) Verfahren und vorrichtung zum erzeugen und projizieren eines 3d-thermogramms samt daten zu den aufnahmebedingungen
WO2020020654A1 (de) Verfahren zum betreiben eines fahrerassistenzsystems mit zwei erfassungseinrichtungen
WO1997004428A1 (de) Interaktives überwachungssystem

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14828122

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 112014005645

Country of ref document: DE

WWE Wipo information: entry into national phase

Ref document number: 15103952

Country of ref document: US

REG Reference to national code

Ref country code: DE

Ref legal event code: R225

Ref document number: 112014005645

Country of ref document: DE

122 Ep: pct application non-entry in european phase

Ref document number: 14828122

Country of ref document: EP

Kind code of ref document: A1