WO2018233733A1 - Kamerasystem mit unterschiedlichen shuttermodi - Google Patents

Kamerasystem mit unterschiedlichen shuttermodi Download PDF

Info

Publication number
WO2018233733A1
WO2018233733A1 PCT/DE2017/200125 DE2017200125W WO2018233733A1 WO 2018233733 A1 WO2018233733 A1 WO 2018233733A1 DE 2017200125 W DE2017200125 W DE 2017200125W WO 2018233733 A1 WO2018233733 A1 WO 2018233733A1
Authority
WO
WIPO (PCT)
Prior art keywords
camera
camera system
image
angle
global shutter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/DE2017/200125
Other languages
English (en)
French (fr)
Inventor
Dieter KRÖKEL
Stefan Hegemann
Stefan Heinrich
Simon Hachfeld
Aless Lasaruk
Reik MÜLLER
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aumovio Microelectronic GmbH
Original Assignee
Conti Temic Microelectronic GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Conti Temic Microelectronic GmbH filed Critical Conti Temic Microelectronic GmbH
Priority to DE112017007452.5T priority Critical patent/DE112017007452B4/de
Priority to US16/612,477 priority patent/US11146719B2/en
Priority to CN201780092285.8A priority patent/CN110771153B/zh
Publication of WO2018233733A1 publication Critical patent/WO2018233733A1/de
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/25—Image signal generators using stereoscopic image cameras using two or more image sensors with different characteristics other than in their location or field of view, e.g. having different resolutions or colour pickup characteristics; using image signals from one sensor to control the characteristics of another sensor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two two-dimensional [2D] image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/296—Synchronisation thereof; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/53—Control of the integration time
    • H04N25/531—Control of the integration time by controlling rolling shutters in CMOS SSIS
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/04—Synchronising
    • H04N5/06—Generation of synchronising signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation

Definitions

  • the invention relates to a camera system, in particular a stereo camera system, for a driver assistance system comprising a camera with a rolling shutter and a camera with a global shutter.
  • Conventional stereo cameras known from the prior art consist of two identical cameras which have both the same aperture angle and identical imagers with the same shutter modes .
  • shutter modes a distinction is made between rolling shutter (all pixels are successively exposed and read out) and global shutter (all pixels are exposed simultaneously and then successively read out).
  • Stereo cameras are preferably operated with global shutter imagers, since a synchronization of all pixels of the imagers is easy to realize even with different opening angle. Even with stereo cameras with rolling shutter imagers and the same aperture angle of the cameras, a good synchronicity of the exposure of the pixels can be realized, so that even depth images can be created with high precision.
  • WO 2014/111814 A2 describes how imagers with rolling shutters are to be synchronized when they are used in a stereo camera system whose cameras have a different aperture angle in order to produce depth images with acceptable precision even with such camera systems. It is therefore an object of the invention to provide a novel camera system, which is adapted to receive depth images with high precision. This object is achieved by an inventive device according to claim 1 and by a method according to claim 11. Advantageous embodiments and embodiments are the subject of the dependent claims. Initial thoughts were to the effect that can at Stereokame ⁇ rasystemen not only cameras are used with different opening angles, but also cameras with different imagers and in particular with different ⁇ union Shuttermodi. Here it was important to provide a sufficiently high accuracy in the distance determination, since different shutter modes, the pixels of both cameras are exposed at different times.
  • the invention relates to a camera system, in particular a stereo camera system, for a driver assistance system which comprises a first camera with a first aperture angle and a second camera with a second aperture angle, wherein the first camera generates a wide angle camera image and the second camera generates a telecamera image, wherein both camera images Have overlap area.
  • the first camera is a rolling shutter camera and the second camera is a global shutter camera, wherein the camera system is designed to synchronize the two cameras.
  • the optical axes of the first and second cameras may be parallel to each other.
  • the overlapping area is preferably arranged centrally in the recorded wide-angle camera image.
  • the over ⁇ overlapping part can also be arranged in another arbitrary image area of the wide-angle image.
  • the rolling shutter camera is designed to trigger the synchronization.
  • the synchronization takes place in such a way that, when a specific pixel is exposed by the rolling shutter camera, the global shutter of the second camera is opened. At one point in time, the exposure of the particular pixel of the rolling shutter camera and of the entire image sensor of the global shutter camera takes place. The selected pixel thus sets the synchronization point.
  • the synchronization point can be arranged arbitrarily in the overlapping area.
  • the camera system is arranged such that the global shutter of the telephoto camera image is syn ⁇ chronized towards the center of the overlap region.
  • the global shutter is triggered when a central pixel in the overlapping area is exposed by the rolling shutter.
  • a central area of the listed taken image can be taken with a high distance accuracy ⁇ . This may be advantageous, for example, for objects such as lost cargo on lanes (Highways, highways) to be recognized at great distances.
  • the camera system is designed to synchronize the global shutter of the telecamera image so that it is triggered when the detected object is exposed in the wide-angle camera image upon detection of an object relevant to the driving situation.
  • the global shutter is triggered when the relevant object is exposed in the wide-angle camera by the rolling shutter. That is, the synchro nization ⁇ the two cameras is adjusted upon detection of a relevant object, so that an alternative synchronization is possible.
  • a regular synchronization of the cameras takes place again. In this way it is possible to perform an accurate size and distance determination of the detected object.
  • Such an object may, for example, be another road user, such as a car or pedestrian, or else an obstacle or traffic sign.
  • the rolling shutter camera has an opening angle between 100 ° and 140 °, preferably between 110 ° and 130 ° and particularly preferably of 120 °.
  • the global shutter camera has an opening angle between 15 ° and 35 °, preferably between 20 ° and 30 ° and particularly preferably of 25 °.
  • the Global Shutter Camera has a 2 n -fold higher resolution in pixels / degree than the Rolling Shutter Camera.
  • the exponent n is selected from the set of natural numbers and 0.
  • the camera system is designed such that a trigger signal is output to a pulsed operable illumination source such that the illumination source is operated synchronously with the global shutter camera.
  • a trigger signal is output to a pulsed operable illumination source such that the illumination source is operated synchronously with the global shutter camera.
  • the camera system comprises the pulsed operable illumination source and the illumination source is designed to provide illumination in the non-visible wavelength range.
  • An invisible pulsed illumination is vor ⁇ geous, not to dazzle other road users.
  • the pulsed illumination is preferably an infrared illumination.
  • other light spectra not visible to humans would also be conceivable.
  • the camera system is designed such that the resolution in the overlapping region of the cameras is upscaled by interpolation of the resolution of the wide-angle camera image.
  • the invention further relates to a method for synchro nize a camera system, in particular a Stereokame ⁇ rasystem, for a driver assistance system, comprising a first camera having a first angle and a second camera with a second opening angle,
  • the first camera is a wide-angle camera image and the second Camera generates a telecamera image
  • both camera images have an overlap area
  • the first camera is a rolling shutter camera and the second camera is a global shutter camera
  • the global shutter camera is set to a time synchro nized ⁇ , when a specific pixel of the rolling shutter camera is exposed in the overlap region.
  • FIG. 1 shows an exemplary representation of an image taken by the Ka ⁇ merasystem image in accordance with a preferred embodiment
  • Figure 2 another exemplary representation of a through the
  • FIG. 3 is a schematic flow diagram for a method according to the invention.
  • Figure 4 a schematic view of an inventive
  • FIG. 1 shows an exemplary representation of an image 1 taken by the camera system 10 according to a preferred embodiment.
  • a wide-angle camera image 2 and a telecamera image 3 are shown.
  • an overlapping region 6 of the two camera images 2, 3 is obtained.
  • This synchronization point 4 is defined by a pixel which is located centrally within the overlap area 6. The synchronization therefore takes place when the central pixel or the synchronization point 4 is exposed by the rolling shutter. Furthermore, a roadway 5 is shown in this illustration.
  • FIG. 2 shows a further exemplary representation of an image 1 taken by the camera system 10 according to a preferred embodiment.
  • the individual camera images 2, 3 and the overlapping region 6 are shown here.
  • the roadway 5 is also recognizable.
  • a relevant object 7 is detected.
  • the relevant object 7 is another, located on the roadway 5 vehicle. Due to the detection of this object 7, the synchronization point 4 is moved out of the center of the camera image 1, so that it is now located centrally on the object 7.
  • the global shutter is triggered only when the pixel of the shifted synchronization ⁇ point 4 is exposed by the rolling shutter.
  • FIG. 3 shows a schematic flow diagram for a method according to the invention.
  • step S1 a wide-angle camera image 2 is recorded.
  • a Te ⁇ legensent 3 is received in step S2, which is initially synchronized such that it is triggered in a step S3, when the center of the overlap region is exposed in Sl.
  • the overlap area has previously been determined in a calibration step. This can for example already be carried out at the factory. However, the overlap area 6 of the two images can be moderately continuously recalibrated online.
  • an adaptation of the synchronization takes place the global shutter camera instead when an object in the overlapping ⁇ pungs Scheme is detected.
  • FIG. 4 shows a schematic view of a camera system 10 according to the invention.
  • two cameras 11 and 12 are shown. These cameras 11, 12 each have a different opening angle.
  • a camera as a rolling shutter camera and the other camera as a global shutter camera is formed from ⁇ .
  • the two cameras 11, 12 are in turn connected to an image processing module 13.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)
  • Cameras In General (AREA)

Abstract

Die Erfindung betrifft ein Kamerasystem, insbesondere ein Stereokamerasystem, für ein Fahrerassistenzsystem umfassend eine erste Kamera mit einem ersten Öffnungswinkel sowie eine zweite Kamera mit einem zweiten Öffnungswinkel, wobei die erste Kamera ein Weitwinkelkamerabild und die zweite Kamera ein Telekamerabild erzeugt, wobei beide Kamerabilder einen Überlappungsbereich aufweisen. Hierbei ist die erste Kamera eine Rolling Shutter Kamera und die zweite Kamera eine Global Shutter Kamera, wobei das Kamerasystem dazu ausgebildet ist, dass eine Synchronisierung der beiden Kameras erfolgt.

Description

Kamerasystem mit unterschiedlichen Shuttermodi
Beschreibung Die Erfindung betrifft ein Kamerasystem, insbesondere ein Stereokamerasystem, für ein Fahrerassistenzsystem umfassend eine Kamera mit einem Rolling Shutter und eine Kamera mit einem Global Shutter. Übliche aus dem Stand der Technik bekannte Stereokameras bestehen aus zwei identischen Kameras, die sowohl den gleichen Öffnungswinkel und gleiche Imager mit gleichen Shuttermodi be¬ sitzen. Bei den Shuttermodi unterscheidet man zwischen Rolling Shutter (alle Pixel werden sukzessive belichtet und ausgelesen) und Global Shutter (alle Pixel werden gleichzeitig belichtet und anschließend sukzessive ausgelesen) .
Stereokameras werden bevorzugt mit Global Shutter Imagern betrieben, da hier eine Synchronisierung aller Pixel der Imager selbst bei unterschiedlichem Öffungswinkel einfach realisierbar ist. Auch bei Stereokameras mit Rolling Shutter Imagern und gleichem Öffnungswinkel der Kameras ist eine gute Synchronität der Belichtung der Pixel realisierbar, so dass noch Tiefenbilder mit hoher Präzision erstellbar sind.
In der Druckschrift WO 2014/111814 A2 wird beschrieben, wie Imager mit Rolling Shutter zu synchronisieren sind, wenn sie in einem Stereokamerasystem benutzt werden, deren Kameras einen unterschiedlichen Öffnungswinkel besitzen, um auch mit solchen Kamerasystemen Tiefenbilder mit akzeptabler Präzision zu erzeugen . Es ist demnach eine Aufgabe der Erfindung, ein neuartiges Kamerasystem bereitzustellen, welches dazu ausgebildet ist Tiefenbilder mit einer hohen Präzision aufzunehmen.. Diese Aufgabe wird durch eine erfindungsgemäße Vorrichtung nach Anspruch 1 sowie durch ein Verfahren nach Anspruch 11 gelöst. Vorteilhafte Ausgestaltungen und Ausführungsformen sind Gegenstand der Unteransprüche. Erste Überlegungen waren dahingehend, dass bei Stereokame¬ rasystemen nicht nur Kameras mit unterschiedlichen Öffnungswinkeln verwendet werden können, sondern auch Kameras mit unterschiedlichen Imagern und insbesondere mit unterschied¬ lichen Shuttermodi . Hierbei war es wichtig eine ausreichend hohe Genauigkeit bei der Entfernungsbestimmung bereitzustellen, da bei unterschiedlichen Shuttermodi die Pixel beider Kameras zu unterschiedlichen Zeiten belichtet werden.
Die Erfindung betrifft ein Kamerasystem, insbesondere ein Stereokamerasystem, für ein Fahrerassistenzsystem, welches eine erste Kamera mit einem ersten Öffnungswinkel sowie eine zweite Kamera mit einem zweiten Öffnungswinkel umfasst, wobei die erste Kamera ein Weitwinkelkamerabild und die zweite Kamera ein Telekamerabild erzeugt, wobei beide Kamerabilder einen Über- lappungsbereich aufweisen. Hierbei ist die erste Kamera eine Rolling Shutter Kamera und die zweite Kamera eine Global Shutter Kamera, wobei das Kamerasystem dazu ausgebildet ist, dass eine Synchronisierung der beiden Kameras erfolgt. Die optischen Achsen von der ersten und der zweiten Kamera können parallel zueinander sein.
Durch eine geeignete Synchronisierung der Rolling Shutter Kamera und der Global Shutter Kamera ist es möglich, Objekte in großen Entfernungen zu detektieren und eine Entfernungsbestimmung durchzuführen. Insbesondere im Hinblick auf Fahrerassistenzsysteme ist dies vorteilhaft, da hierbei eine frühzeitige und präzise Erkennung von potentiellen Gefahren, Umgebungsdetails bzw. weiterer Verkehrsteilnehmer notwendig ist, um die ent- sprechenden Maßnahmen durch das Fahrerassistenzsystem zu veranlassen. Vorzugsweise ist der Überlappungsbereich zentral in dem aufgenommenen Weitwinkelkamerabild angeordnet. Der Über¬ lappungsbereich kann allerdings auch in einem anderen beliebigen Bildbereich des Weitwinkelbildes angeordnet sein.
In einer bevorzugten Ausführungsform ist die Rolling Shutter Kamera dazu ausgebildet, die Synchronisierung auszulösen. Das bedeutet, dass die Synchronisierung derart erfolgt, dass bei Belichtung eines bestimmten Pixels durch die Rolling Shutter Kamera der der Global Shutter der zweiten Kamera geöffnet wird. Zu einem Zeitpunkt erfolgt also die Belichtung des bestimmten Pixels der Rolling Shutter Kamera und des gesamten Bildsensors der Global Shutter Kamera. Das ausgewählte Pixel legt somit den Synchronisationspunkt fest. Der Synchronisationspunkt kann je nach Situation beliebig in dem Überlappungsbereich angeordnet sein .
In einer weiteren bevorzugten Ausführungsform ist das Kamerasystem dazu ausgebildet, dass der Global Shutter des Tele- kamerabilds auf das Zentrum des Überlappungsbereichs syn¬ chronisiert ist. In dieser speziellen Ausführungsform wird demnach der Global Shutter dann ausgelöst, wenn ein zentrales Pixel im Überlappungsbereich durch der Rolling Shutter belichtet wird. Auf diese Weise kann ein zentraler Bereich des aufge- nommenen Bildes mit einer hohen Entfernungsgenauigkeit auf¬ genommen werden. Dies kann vorteilhaft sein, um beispielsweise Objekte wie beispielsweise verlorene Ladung auf Fahrbahnen (Autobahnen, Landstraßen) in großen Entfernungen erkennen zu können .
Bevorzugt ist das Kamerasystem dazu ausgebildet, bei Erkennung eines bezüglich der Fahrsituation relevanten Objekts, den Global Shutter des Telekamerabilds so zu synchronisieren, dass er ausgelöst wird, wenn das erkannte Objekt im Weitwinkelkamerabild belichtet wird. In dieser Ausführungsform wird der Global Shutter ausgelöst, wenn in der Weitwinkelkamera durch den Rolling Shutter das relevante Objekt belichtet wird. Das heißt die Synchro¬ nisierung der beiden Kameras wird bei Erfassen eines relevanten Objekts angepasst, sodass eine alternative Synchronisierung möglich ist . Nachdem das relevante Obj ekt den Aufnahmebereich des Kamerasystems verlassen hat, findet wieder eine reguläre Synchronisierung der Kameras statt. Auf diese Weise ist es möglich, eine genaue Größen- und Entfernungsbestimmung des erkannten Objekts durchzuführen. Ein derartiges Objekt kann beispielsweise ein anderer Verkehrsteilnehmer, wie ein Auto oder Fußgänger oder aber auch ein Hindernis oder ein Verkehrszeichen sein.
In einer weiteren bevorzugten Ausführungsform weist die Rolling Shutter Kamera einen Öffnungswinkel zwischen 100° und 140°, bevorzugt zwischen 110° und 130° und besonders bevorzugt von 120° auf .
Weiterhin ist vorteilhaft, dass die Global Shutter Kamera einen Öffnungswinkel zwischen 15° und 35°, bevorzugt zwischen 20° und 30° und besonders bevorzugt von 25° aufweist.
Besonders bevorzugt weist die Global Shutter Kamera eine 2n-fach höhere Auflösung in Pixel/Grad auf als die Rolling Shutter Kamera. Der Exponent n ist dabei ausgewählt aus der Menge der natürlichen Zahlen und 0.
In einer weiteren bevorzugten Ausführungsform ist das Kame- rasystem dazu ausgebildet, dass ein Triggersignal an eine gepulst betreibbare Beleuchtungsquelle derart ausgegeben wird, dass die Beleuchtungsquelle synchron mit der Global Shutter Kamera betrieben wird. Die gepulste Beleuchtung bei der Global Shutter Kamera zu verwenden ist vorteilhaft, da die Beleuchtung genau zum Shutter synchronisiert werden kann. Durch die gepulste Be¬ leuchtung wird die Detektionsleistung für die Global Shutter Kamera insbesondere nachts oder bei schlechter Sicht verbessert.
Besonders bevorzugt umfasst das Kamerasystem die gepulst betreibbare Beleuchtungsquelle und die Beleuchtungsquelle ist dazu ausgebildet, eine Beleuchtung im nicht sichtbaren Wellenlängenbereich bereitzustellen. Eine nicht sichtbare gepulste Beleuchtung ist vor¬ teilhaft, um andere Verkehrsteilnehmer nicht zu blenden. Bei der gepulsten Beleuchtung handelt es sich bevorzugt um eine Inf- rarotbeleuchtung . Es wären allerdings auch andere, für den Menschen nicht sichtbare Lichtspektren denkbar.
Bevorzugt ist das Kamerasystem dazu ausgebildet, dass die Auflösung im Überlappungsbereich der Kameras durch Interpolation der Auflösung des Weitwinkelkamerabildes hochskaliert wird.
Durch die Interpolation kann somit in dem Überlappungsbereich eine gleiche Auflösung der Kameras simuliert werden.
Die Erfindung betrifft weiterhin ein Verfahren zum Synchro- nisieren eines Kamerasystems, insbesondere eines Stereokame¬ rasystem, für ein Fahrerassistenzsystem umfassend eine erste Kamera mit einem ersten Öffnungswinkel sowie eine zweite Kamera mit einem zweiten Öffnungswinkel,
wobei die erste Kamera ein Weitwinkelkamerabild und die zweite Kamera ein Telekamerabild erzeugt,
wobei beide Kamerabilder einen Überlappungsbereich aufweisen, wobei die erste Kamera eine Rolling Shutter Kamera und die zweite Kamera eine Global Shutter Kamera ist,
wobei die Global Shutter Kamera auf einen Zeitpunkt synchro¬ nisiert wird, zu dem ein bestimmtes Pixel der Rolling Shutter Kamera im Überlappungsbereich belichtet wird.
Weitere Merkmale, Wirkungen und Vorteile der Erfindung ergeben sich aus der Beschreibung bevorzugter Ausführungsbeispiele der Erfindung. Dabei zeigen:
Figur 1: eine beispielhafte Darstellung eines durch das Ka¬ merasystem aufgenommenen Bildes gemäß einer bevorzugten Ausführungsform;
Figur 2: eine weitere beispielhafte Darstellung eines durch das
Kamerasystem aufgenommenen Bildes gemäß einer bevorzugten Ausführungsform;
Figur 3: ein schematisches Ablaufdiagramm für ein erfindungsgemäßes Verfahren;
Figur 4: eine schematische Ansicht eines erfindungsgemäßen
Kamerasystems .
Figur 1 zeigt eine beispielhafte Darstellung eines durch das Kamerasystem 10 aufgenommenen Bildes 1 gemäß einer bevorzugten Ausführungsform. In dieser Darstellung sind ein Weitwinkelkamerabild 2 sowie ein Telekamerabild 3 gezeigt. Weiterhin ist ein Überlappungsbereich 6 der beiden Kamerabilder 2, 3 er- ^
sichtlich. Innerhalb dieses Überlappungsbereichs 6 befindet sich der Synchronisationspunkt 4. Dieser Synchronisationspunkt 4 wird durch ein Pixel festgelegt, welches sich zentral innerhalb des Überlappungsbereichs 6 befindet. Die Synchronisierung findet demnach dann statt, wenn das zentrale Pixel bzw. der Synchronisationspunkt 4 durch den Rolling Shutter belichtet wird. Weiterhin ist in dieser Darstellung eine Fahrbahn 5 gezeigt.
Figur 2 zeigt eine weitere beispielhafte Darstellung eines durch das Kamerasystem 10 aufgenommenen Bildes 1 gemäß einer bevorzugten Ausführungsform. Wie in Figur 1 sind hier die einzelnen Kamerabilder 2, 3 sowie der Überlappungsbereich 6 gezeigt. Weiterhin ist ebenfalls die Fahrbahn 5 erkennbar. In dieser Darstellung wird jedoch ein relevantes Objekt 7 erfasst. In diesem Fall ist das relevante Objekt 7 ein weiteres, sich auf der Fahrbahn 5 befindliches Fahrzeug. Aufgrund der Erfassung dieses Objekts 7, wird der Synchronisationspunkt 4 aus dem Zentrum des Kamerabildes 1 verschoben, so dass sich dieser nun mittig auf dem Objekt 7 befindet. Somit wird der Global Shutter erst dann ausgelöst, wenn das Pixel des verschobenen Synchronisations¬ punktes 4 durch den Rolling Shutter belichtet wird.
Figur 3 zeigt ein schematisches Ablaufdiagramm für ein erfindungsgemäßes Verfahren. In dem Schritt Sl wird ein Weit- winkelkamerabild 2 aufgenommen. Parallel hierzu wird ein Te¬ lekamerabild 3 in Schritt S2 aufgenommen, das zunächst so synchronisiert ist, dass es in einem Schritt S3 ausgelöst wird, wenn das Zentrum des Überlappungsbereiches in Sl belichtet wird. Der Überlappungsbereich ist zuvor in einem Kalibrierschritt ermittelt worden . Dieser kann beispielsweise werksseitig bereits durchgeführt werden. Der Überlappungsbereich 6 der beiden Bilder kann allerdings mäßig kontinuierlich online nachkalibriert werden. In Schritt S4 findet eine Anpassung der Synchronisierung der Global Shutter Kamera statt, wenn ein Objekt im Überlap¬ pungsbereich detektiert wird.
Figur 4 zeigt eine schematische Ansicht eines erfindungsgemäßen Kamerasystems 10. Hierbei sind zwei Kameras 11 und 12 gezeigt. Diese Kameras 11, 12 weisen jeweils einen unterschiedlichen Öffnungswinkel auf. Weiterhin ist eine Kamera als Rolling Shutter Kamera und die andere Kamera als Global Shutter Kamera aus¬ gebildet. Die beiden Kameras 11, 12 sind wiederum mit einem Bildverarbeitungsmodul 13 verbunden.
Bezugszeichenliste
1 Kamerabild
2 Weitwinkelkamerabild
3 Telekamerabild
4 Synchronisationspunkt
5 Fahrbahn
6 Überlappungsbereich
7 Fahrzeug
10 Kamerasystem
11 Erste Kamera
12 Zweite Kamera
13 Bildverarbeitungsmodul
α erster Öffnungswinkel
ß zweiter Öffnungswinkel
Sl - S4 Verfahrensschritte

Claims

Patentansprüche
Kamerasystem (10), insbesondere ein Stereokamerasystem, für ein Fahrerassistenzsystem umfassend eine erste Kamera (11) mit einem ersten Öffnungswinkel ( ) sowie eine zweite Kamera (12) mit einem zweiten Öffnungswinkel (ß), wobei die erste Kamera (11) ein Weitwinkelkamerabild (2) und die zweite Kamera (12) ein Telekamerabild (3) erzeugt, wobei beide Kamerabilder (2,3) einen Überlappungsbereich (6) aufweisen,
wobei
die erste Kamera (11) eine Rolling Shutter Kamera und die zweite Kamera (12) eine Global Shutter Kamera ist, wobei das Kamerasystem (10) dazu ausgebildet ist, dass eine Syn¬ chronisierung der beiden Kameras (11, 12) erfolgt.
Kamerasystem (10) nach Anspruch 1,
wobei
die Rolling Shutter Kamera dazu ausgebildet ist, die Synchronisierung auszulösen.
Kamerasystem (10) nach einem der Ansprüche 1 bis 2, wobei
das Kamerasystem (10) dazu ausgebildet ist, dass der Global Shutter des Telekamerabilds (3) auf das Zentrum des Überlappungsbereichs (6) synchronisiert ist.
Kamerasystem (10) nach einem der Ansprüche 1 bis 2, wobei
das Kamerasystem (10) dazu ausgebildet ist, dass bei Erkennung eines bezüglich der Fahrsituation relevanten Objekts (7) im Überlappungsbereich (6), den Global Shutter des Telekamerabilds (3) so zu synchronisieren, dass er ausgelöst wird, wenn das erkannte Objekt (7) im Weit¬ winkelkamerabild (2) belichtet wird.
Kamerasystem (10) nach einem der vorangegangenen Ansprüche, wobei
die Rolling Shutter Kamera einen Öffnungswinkel zwischen 100° und 140°, bevorzugt zwischen 110° und 130° und be¬ sonders bevorzugt von 120° aufweist.
Kamerasystem (10) nach einem der vorangegangenen Ansprüche, wobei
die Global Shutter Kamera einen Öffnungswinkel zwischen 15° und 35°, bevorzugt zwischen 20° und 30° und besonders bevorzugt von 25° aufweist.
Kamerasystem (10) nach einem der vorangegangenen Ansprüche, wobei
die Global Shutter Kamera eine 2n-fach höhere Auflösung in Pixel/0 aufweist als die Rolling Shutter Kamera.
Kamerasystem (10) nach einem der vorangegangenen Ansprüche, wobei
das Kamerasystem (10) dazu ausgebildet ist, dass ein Triggersignal an eine gepulst betreibbare Beleuchtungs¬ quelle derart ausgegeben wird, dass Beleuchtungsquelle synchron mit der Global Shutter Kamera betrieben wird.
Kamerasystem nach Anspruch 8,
wobei das Kamerasystem (10) die gepulst betreibbare Be¬ leuchtungsquelle umfasst und die Beleuchtungsquelle dazu ausgebildet ist, eine Beleuchtung im nicht sichtbaren Wellenlängenbereich bereitzustellen. Kamerasystem (10) nach einem der vorangegangenen Ansprüche, wobei
das Kamerasystem
(10) dazu ausgebildet ist, dass die Auflösung im Überlappungsbereich (6) der Kameras (11, 12) durch Interpolation der Auflösung des Weitwinkelkamerabildes (2) hochskaliert wird.
11. Verfahren zum Synchronisieren eines Kamerasystems
(10), insbesondere eines Stereokamerasystem, für ein Fahrerassistenzsystem umfassend eine erste Kamera (11) mit einem ersten Öffnungswinkel sowie eine zweite Kamera (12) mit einem zweiten Öffnungswinkel,
wobei die erste Kamera (11) ein Weitwinkelkamerabild (2) und die zweite Kamera (12) ein Telekamerabild (3) erzeugt, wobei beide Kamerabilder (2,3) einen Überlappungsbereich (6) aufweisen,
wobei die erste Kamera eine Rolling Shutter Kamera und die zweite Kamera eine Global Shutter Kamera ist,
wobei die Global Shutter Kamera auf einen Zeitpunkt synchronisiert wird, zu dem ein bestimmtes Pixel der Rolling Shutter Kamera im Überlappungsbereich (6) belichtet wird.
PCT/DE2017/200125 2017-06-21 2017-12-05 Kamerasystem mit unterschiedlichen shuttermodi Ceased WO2018233733A1 (de)

Priority Applications (3)

Application Number Priority Date Filing Date Title
DE112017007452.5T DE112017007452B4 (de) 2017-06-21 2017-12-05 Kamerasystem mit unterschiedlichen Shuttermodi
US16/612,477 US11146719B2 (en) 2017-06-21 2017-12-05 Camera system having different shutter modes
CN201780092285.8A CN110771153B (zh) 2017-06-21 2017-12-05 具有不同快门模式的摄像机系统

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102017210408.2 2017-06-21
DE102017210408.2A DE102017210408A1 (de) 2017-06-21 2017-06-21 Kamerasystem mit unterschiedlichen Shuttermodi

Publications (1)

Publication Number Publication Date
WO2018233733A1 true WO2018233733A1 (de) 2018-12-27

Family

ID=61005644

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/DE2017/200125 Ceased WO2018233733A1 (de) 2017-06-21 2017-12-05 Kamerasystem mit unterschiedlichen shuttermodi

Country Status (4)

Country Link
US (1) US11146719B2 (de)
CN (1) CN110771153B (de)
DE (2) DE102017210408A1 (de)
WO (1) WO2018233733A1 (de)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110493526B (zh) * 2019-09-10 2020-11-20 北京小米移动软件有限公司 基于多摄像模块的图像处理方法、装置、设备及介质
US20230239452A1 (en) * 2020-06-04 2023-07-27 Advanced Farm Technologies, Inc. Color stereo camera systems with global shutter synchronization
CN112261309B (zh) * 2020-10-22 2022-04-08 北京嘀嘀无限科技发展有限公司 基于ims摄像头和dms摄像头的拍摄方法及系统
WO2022099482A1 (zh) * 2020-11-10 2022-05-19 深圳市大疆创新科技有限公司 曝光控制方法、装置、可移动平台及计算机可读存储介质
US12372744B2 (en) 2021-01-27 2025-07-29 Samsung Electronics Co., Ltd. Lens assembly and electronic device including the same
US11962912B2 (en) * 2021-06-16 2024-04-16 Aptiv Technologies AG Object detection via comparison of synchronized pulsed illumination and camera imaging
CN115714899A (zh) * 2021-08-20 2023-02-24 北京小米移动软件有限公司 微距拍摄方法、装置、电子设备和存储介质
US11425304B1 (en) * 2021-12-06 2022-08-23 Black Sesame Technologies Inc. Reducing global motion and rolling shutter in a dual camera system

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014111814A2 (en) 2013-01-15 2014-07-24 Mobileye Technologies Limited Stereo assist with rolling shutters
DE112013001647T5 (de) * 2012-03-23 2014-12-18 Hitachi Automotive Systems, Ltd. Bildverarbeitungsvorrichtung und Bildverarbeitungsverfahren im Fahrzeug
KR101610512B1 (ko) * 2014-09-23 2016-04-07 현대자동차주식회사 스테레오 카메라 및 그 작동 방법
DE102014220585A1 (de) * 2014-10-10 2016-04-14 Conti Temic Microelectronic Gmbh Stereokamera für Fahrzeuge

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2998791B2 (ja) * 1996-10-31 2000-01-11 日本電気株式会社 三次元構造推定装置
US7599521B2 (en) * 2004-11-30 2009-10-06 Honda Motor Co., Ltd. Vehicle vicinity monitoring apparatus
JP2011071605A (ja) * 2009-09-24 2011-04-07 Fujifilm Corp 立体撮像装置及び立体撮像方法
US8803990B2 (en) * 2011-01-25 2014-08-12 Aptina Imaging Corporation Imaging system with multiple sensors for producing high-dynamic-range images
DE102012106860A1 (de) * 2012-07-27 2014-02-13 Jenoptik Robot Gmbh Vorrichtung und Verfahren zum Identifizieren und Dokumentieren mindestens eines ein Strahlungsfeld durchfahrenden Objektes
US20150002734A1 (en) * 2013-07-01 2015-01-01 Motorola Mobility Llc Electronic Device with Modulated Light Flash Operation for Rolling Shutter Image Sensor
US9185291B1 (en) * 2013-06-13 2015-11-10 Corephotonics Ltd. Dual aperture zoom digital camera
US20160205378A1 (en) * 2015-01-08 2016-07-14 Amir Nevet Multimode depth imaging
US20160309135A1 (en) * 2015-04-20 2016-10-20 Ilia Ovsiannikov Concurrent rgbz sensor and system
CN104918019A (zh) * 2015-06-16 2015-09-16 武汉烽火众智数字技术有限责任公司 一种能全天候同时看清车牌和车内人员的双目摄像机
KR102384175B1 (ko) * 2015-07-29 2022-04-08 주식회사 만도모빌리티솔루션즈 차량의 카메라 장치
US10453185B2 (en) * 2015-11-12 2019-10-22 Aquifi, Inc. System and method for high dynamic range depth capture using multiple cameras
CN106534632B (zh) * 2016-11-03 2019-03-29 桂林电子科技大学 同步扫描成像系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE112013001647T5 (de) * 2012-03-23 2014-12-18 Hitachi Automotive Systems, Ltd. Bildverarbeitungsvorrichtung und Bildverarbeitungsverfahren im Fahrzeug
WO2014111814A2 (en) 2013-01-15 2014-07-24 Mobileye Technologies Limited Stereo assist with rolling shutters
KR101610512B1 (ko) * 2014-09-23 2016-04-07 현대자동차주식회사 스테레오 카메라 및 그 작동 방법
DE102014220585A1 (de) * 2014-10-10 2016-04-14 Conti Temic Microelectronic Gmbh Stereokamera für Fahrzeuge

Also Published As

Publication number Publication date
DE112017007452B4 (de) 2025-11-13
CN110771153B (zh) 2022-07-29
CN110771153A (zh) 2020-02-07
DE102017210408A1 (de) 2018-12-27
US20200128161A1 (en) 2020-04-23
US11146719B2 (en) 2021-10-12
DE112017007452A5 (de) 2020-04-16

Similar Documents

Publication Publication Date Title
DE112017007452B4 (de) Kamerasystem mit unterschiedlichen Shuttermodi
EP3205090B1 (de) Stereokamera für fahrzeuge
EP2234081B1 (de) Verfahren zur Herstellung einer bekannten festen räumlichen Beziehung zwischen einem Laserscanner und einer Digitalkamera zur Verkehrsüberwachung
DE102016206493A1 (de) Verfahren und Kamerasystem zur Entfernungsbestimmung von Objekten zu einem Fahrzeug
WO2015085338A1 (de) Verfahren und vorrichtung zur beobachtung der umgebung eines fahrzeugs
EP1460454B1 (de) Verfahren zur gemeinsamen Verarbeitung von tiefenaufgelösten Bildern und Videobildern
DE102018004782B4 (de) Verfahren und Vorrichtung zum Erfassen einer Umgebung, sowie Fahrzeug mit einer solchen Vorrichtung
DE102010062496A1 (de) Verfahren und Vorrichtung zum Verarbeiten von Bildinformationen zweier zur Bilderfassung geeigneter Sensoren eines Stereo-Sensor-Systems
EP2690459A2 (de) Vorrichtung und Verfahren zum Identifizieren und Dokumentieren mindestens eines ein Strahlungsfeld durchfahrendes Objektes
DE102011010865A1 (de) Fahrzeug mit einer Vorrichtung zur Erfassung einer Fahrzeugumgebung
DE102014208272A1 (de) Verfahren und Vorrichtung zur Tracking-basierten Sichtweitenschätzung
DE102012023060A1 (de) Verfahren zum Detektieren eines beweglichen Objekts mithilfe eines Histogramms anhand von Bildern einer Kamera und Kamerasystem für ein Kraftfahrzeug
EP1049064B1 (de) Verkehrsüberwachungseinrichtung mit Polarisationsfiltern
WO2018099525A1 (de) Leuchtsystem zur ermittlung geometrischer eigenschaften sowie fahrerassistenzsystem und verfahren dazu
DE102010015532B4 (de) Verfahren zur Abstandsbestimmung einer sich relativ zu einer Kameraanordnung bewegenden Objekts
DE102014224903A1 (de) Optischer Umfeldsensor für Fahrzeuge
DE102011083745B4 (de) Verfahren zum monokularen Motion-Stereo-basierten automatischen Vermessen von freien Parkplätzen, Computerprogrammprodukt und Vorrichtung
EP3082119B1 (de) Abstandsmessung von fahrzeugen
DE3517671A1 (de) Vorrichtung zum bildpunktweisen erfassen der oberflaechengestalt eines entfernten objektes
DE102021205593B3 (de) Verfahren und System zur Korrektur einer Position zumindest eines Merkmals in einem Umfeld eines Ego-Fahrzeugs
DE102013211648A1 (de) Verfahren und Vorrichtung zum Kalibrieren einer ersten und einer zweiten Kamera
DE102018205144B3 (de) Testverfahren zur Erkennung von Fehler-Frames bei hochauflösenden Scheinwerfern
DE102016212730A1 (de) Fahrzeugkameravorrichtung mit Bildauswertungselektronik
DE102015200583A1 (de) Verfahren zur kamerabasierten Umgebungslichterkennung eines Fahrzeugs und Sensoreinheit zur Durchführung des Verfahrens
DE102024103584A1 (de) Fahrzeug und Verfahren zu dessen Betrieb

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17832195

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 112017007452

Country of ref document: DE

REG Reference to national code

Ref country code: DE

Ref legal event code: R225

Ref document number: 112017007452

Country of ref document: DE

WWP Wipo information: published in national office

Ref document number: 112017007452

Country of ref document: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17832195

Country of ref document: EP

Kind code of ref document: A1

WWG Wipo information: grant in national office

Ref document number: 112017007452

Country of ref document: DE