WO2020125877A2 - Synchronisiertes kamerasystem mit zwei unterschiedlichen kameras - Google Patents

Synchronisiertes kamerasystem mit zwei unterschiedlichen kameras Download PDF

Info

Publication number
WO2020125877A2
WO2020125877A2 PCT/DE2019/200148 DE2019200148W WO2020125877A2 WO 2020125877 A2 WO2020125877 A2 WO 2020125877A2 DE 2019200148 W DE2019200148 W DE 2019200148W WO 2020125877 A2 WO2020125877 A2 WO 2020125877A2
Authority
WO
WIPO (PCT)
Prior art keywords
camera
image
line
cameras
angle
Prior art date
Application number
PCT/DE2019/200148
Other languages
English (en)
French (fr)
Other versions
WO2020125877A3 (de
Inventor
Aless Lasaruk
Reik MÜLLER
Simon Hachfeld
Dieter KRÖKEL
Stefan Heinrich
Original Assignee
Conti Temic Microelectronic Gmbh
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Conti Temic Microelectronic Gmbh filed Critical Conti Temic Microelectronic Gmbh
Priority to US17/309,807 priority Critical patent/US12015840B2/en
Priority to DE112019006274.3T priority patent/DE112019006274B4/de
Publication of WO2020125877A2 publication Critical patent/WO2020125877A2/de
Publication of WO2020125877A3 publication Critical patent/WO2020125877A3/de

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/25—Image signal generators using stereoscopic image cameras using two or more image sensors with different characteristics other than in their location or field of view, e.g. having different resolutions or colour pickup characteristics; using image signals from one sensor to control the characteristics of another sensor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/58—Means for changing the camera field of view without moving the camera body, e.g. nutating or panning of optics or image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/41—Extracting pixel data from a plurality of image sensors simultaneously picking up an image, e.g. for increasing the field of view by combining the outputs of a plurality of sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/53—Control of the integration time
    • H04N25/531—Control of the integration time by controlling rolling shutters in CMOS SSIS
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera

Definitions

  • the invention relates to a camera system for recording images of an environment of a vehicle for a driver assistance system of the vehicle and a method for controlling or synchronizing a first and a second camera of the camera system.
  • ADAS Advanced Driver Assistance Systems, driver assistance systems
  • stereoscopy or stereo reconstruction
  • vehicle camera systems are becoming increasingly important in the ADAS market.
  • stereoscopy or stereo reconstruction
  • the spatial geometry of the scene is reconstructed from differences in the position and shape of objects (such as disparity) in the respective camera images by triangulation.
  • Known stereoscopic systems for ADAS applications implement the corresponding camera system as two optics, which are mounted almost parallel in a rigid circuit board carrier and have a defined basic length as a lateral distance from one another.
  • the resulting stereo camera is often installed in an area of the windshield behind the interior rearview mirror.
  • An object of the present invention is to provide an optimized camera system which enables a robust spatial reconstruction of the surroundings of a vehicle.
  • a starting point of the invention is to use a camera system in which the individual cameras are arranged mechanically coupled at a large distance and loosely from one another.
  • the individual cameras can be referred to as satellite cameras. Satellite systems with different optical properties represent a particular challenge, as explained below.
  • stereo systems for ADAS applications there is the problem of simultaneously exposing those photosensitive elements (pixels) of the two cameras that image the same objects.
  • the latter property is essential for an accurate reconstruction, because even small differences at the time the exposure starts can result in a high displacement of the objects in the corresponding images at high speeds of the vehicle and thus in artifacts in correspondence finding as well as errors in the triangulation to lead.
  • DE 10 2014 220 585 A1 and WO 2016/055060 A1 each show a stereo camera for a vehicle with two different (partially) overlapping visual image areas.
  • WO 2017/028848 A1 shows a vehicle camera device for recording the surroundings of a motor vehicle with first and second optronics.
  • the first and the second optronics have different angles of view and their detection areas overlap one another.
  • An object of the invention is to provide a further improved camera system with improved exposure control.
  • a camera system according to the invention for recording images of an environment of a vehicle for a driver assistance system of the vehicle comprises a first rolling shutter camera with a first opening angle, a second rolling shutter camera with a second opening angle ⁇ and control electronics.
  • the first camera is suitable for generating a wide-angle camera image, ie the first aperture angle (in particular in the horizontal direction) is larger, for example greater than 90 degrees, than the second aperture angle ⁇ , for example less than 30 degrees, of the second camera, which is suitable for generating a telecamera image .
  • the two cameras are configured such that both camera images have an overlap area.
  • the control electronics are designed so that the two cameras are synchronized.
  • the geometric arrangement of the two cameras relative to one another and the position of the overlap area in the wide-angle image and in the telephoto camera image are determined by continuous estimation.
  • the system's stereo geometry is continuously determined. This can be done using standard methods to estimate the stereo geometry.
  • the determined geometric arrangement and location are taken into account during synchronization.
  • the geometric arrangement of the two cameras with respect to one another and the position of the overlap area in the wide-angle image and in the telecamera image were determined by calibrating the camera system, and information relating to the geometric arrangement and position is stored in a memory (of the camera system).
  • the stored geometric arrangement and position are taken into account when the first and second cameras of the camera system are synchronized.
  • the control electronics should have access to the memory or the memory should be integrated into the control electronics.
  • the exact type of synchronization taking into account the geometric arrangement and location can be done in different ways as described in more detail below.
  • At least two spatial points can be selected which are imaged synchronously by the first and second camera in the overlap area.
  • the pixels of the first and second cameras, which capture or map a spatial point typically have different sizes, in particular it can be assumed that the spatial area, which is imaged on a pixel by the first (wide-angle) camera, by a plurality of adjacent pixels the second (tele) camera is imaged.
  • the resolution of the cameras in pixels / degrees decides this. It can usually be assumed that this resolution in the overlap area is constant for each of the two cameras.
  • Each camera typically has an image sensor or imager.
  • the image sensor comprises pixels arranged in rows and columns, which can be read out pixel by row or in rows.
  • control electronics are designed to effect the synchronization such that a larger line and clock frequency of the first camera dictate the start of synchronization and the clock frequency of the second camera such that (in the overlap area) the exposure of each line of the first camera is synchronized with the corresponding line of the second camera is started.
  • the following lines of the second camera, which are "contained" in the same line of the first camera, are recorded with a time delay.
  • the cycle for the exposure start times corresponds to the read cycle of an image sensor.
  • the exposure start time is the readout start time minus Exposure time.
  • the following is referred to as readout clock, which denotes the clock with which a pixel is read out after it has been exposed.
  • the first camera preferably requires the time Dt L to read out a line and the second camera the time At j / k for one line, where k indicates the number of lines of the second camera that are contained in a line of the first camera.
  • the second camera preferably requires the readout time (k-1) * At j / k per line.
  • two pixels of the second camera are predefined within the overlap area and are exposed synchronously to the corresponding pixels of the first camera.
  • the start pixel of the first and the end pixel of the last line of the second camera are each exposed synchronously to the corresponding start or end pixel of the line of the first camera within the overlap area for each line of the first camera.
  • An optimal timing for the synchronization is that at which the corresponding lines in the overlap area start reading at the same time (top line of the telecamera) and stop reading at the end of the same line of the wide-angle camera and the bottom overlapping line of the telecamera, i.e. both lines .
  • the second camera (telecamera) has more pixels / degrees. The telecamera collects significantly less light per pixel and therefore generally has to be exposed for longer than one pixel of the first camera (wide-angle camera).
  • the image sensor of the first camera preferably exposes with an exposure time bl and the image sensor of the second camera with exposure time b2, where b2> bl, and the exposure start of the first camera is delayed by (b2-bl) / 2 compared to the exposure start of the second camera .
  • This ensures that exactly half of the exposure time span is synchronized for both cameras. This has the effect that the motion blur of the (high-resolution) image sensor of the second camera is distributed more evenly to corresponding areas of the (low-resolution) image sensor of the first camera.
  • the image sensors of the first and the second camera preferably have a comparable number of pixels, in particular the same number or a number that differs by less than ten percent. Taking into account the respective camera lens, the resolution of the respective camera in the overlap area is then obtained.
  • the resolution of the second camera is particularly advantageously 2 n times the resolution of the first camera, where n is a natural number.
  • the geometric arrangement of the two cameras is continuously estimated relative to one another and the position of the overlap area in the wide-angle image and in the telecamera image is carried out by means of a fundamental matrix estimate.
  • a fundamental matrix estimate For example, see Algorithm 10.3 on p. 269 in R. Hartley and A. Zisserman “Multiple View Geometry in Computer Vision", Cambridge Univ. Press, 2000.
  • the invention further relates to a method for controlling a camera system for recording images of an environment of a vehicle for a driver assistance system of the vehicle.
  • a first rolling shutter camera has a first opening angle
  • a second rolling shutter camera has a second opening angle ⁇ .
  • the first camera is configured to generate a wide-angle camera image
  • the second camera is configured to generate a telecamera image. Both camera images have an overlap area.
  • the geometric arrangement of the two cameras with respect to one another and the position of the overlap area in the wide-angle image and in the telephoto camera image are determined by an estimation or calibration.
  • the two cameras are synchronized by taking the determined geometric arrangement and position into account in the synchronization.
  • An object of the present invention is a satellite system for ADAS applications consisting of two mechanically loosely coupled, almost parallel cameras, the optics having different fields of view.
  • the cameras can be designed as rolling shutter cameras with different resolutions.
  • a possible implementation of such a system is a combination of a wide-angle camera and a telecamera.
  • An existing calibration of the optics determines approximately corresponding areas in the images of both systems, an approximately rectangular area of the field of view of one of the optics being determined in the image of the other optics. By comparing the sizes of the two areas, a line-by-line or pixel-by-pixel correction of the exposure detection times determined, which leads to a largely simultaneous start of the exposure of corresponding sensor lines.
  • FIG. 1 shows an exemplary embodiment of a method for controlling the camera system (shown schematically);
  • FIG. 2 shows a schematic representation of the viewing areas of the two cameras of the camera system and a projection of the viewing area of one into the image of the other camera;
  • 3 shows the relation in the image plane between the projection of the field of view of the first camera into the image of the second camera; 4 shows schematically lines of the image sensor of the first camera and the second camera in an image of the first camera and corresponding time intervals;
  • FIG. 6 shows a vehicle with a camera system
  • Fig. 8 shows a second course of the time offset delta T over the line numbers.
  • FIG. 6 An exemplary embodiment of a camera system according to the invention is shown in FIG. 6.
  • the camera system or the camera device comprises two cameras (1) and (2) which are arranged in the room in a mechanically loosely coupled manner.
  • the two cameras (1) and (2) can be used in this configuration in an ADAS system.
  • the first camera (1) seen from the interior, can be mounted on the right side of the rear window and the second camera (2) on the left side of the rearview mirror on the windshield of a vehicle (15).
  • the first camera (1) has a wide-angle lens and the second camera (2) has a telephoto lens.
  • 2 shows schematically the relationships between the spatial geometry of the viewing areas of the two cameras (1, 2) and a projection of the viewing area of the second (2) into the image of the first camera (1).
  • a spatial point (5) lies in the field of view ( 8) of the first camera (1) and in the field of view (7) of the second camera (2).
  • a projection of the spatial point (5) onto a field of view of the second camera (2) results in the image (9) of the second camera (2).
  • the projection (9) of the field of view of the second camera (2) is intersected with the image of the first camera (1), a quadrilateral (6).
  • Fig. 3 serves to illustrate the relation in the image plane between the projection of the field of view (7) of the second camera (2) into the image (8) of the first camera (1).
  • the square (9) has almost straight sides and is approximately axially parallel to the image axes of the image of the first camera (1).
  • the latter is indicated by the dashed lines (9) in Fig. 3.
  • the rectangle (10) can now be interpreted as follows: If there is a spatial point (5) in the field of view of both cameras (1, 2), then this is located in the area (10) in the image of the camera (1).
  • the rectangle (10) thus represents approximately the overlap area of the fields of view (7, 8) of both cameras (1, 2).
  • the aim of the synchronization is that the line with the image of each spatial point (5) in the first camera (1 ) is exposed at the same time as the corresponding line in the image of the second camera (2).
  • the latter requirement is generally only useful for a parallel camera system without optical distortions.
  • FIG. 1 an embodiment of a method for controlling the camera system is shown schematically.
  • a spatial point (5) lies in the overlap area of the first (1) and the second (2) camera.
  • the stereogeometry of the system is determined in the evaluation unit (3) on the basis of the image data captured by the two cameras (1, 2) by means of an initially roughly set exposure control or imager control (approximately time-synchronous start of the imager / image sensors). This is done using standard methods for estimating stereo geometry (such as fundamental matrix estimation).
  • the ratio shown in FIGS. 2 and 3 can thus be estimated by geometric calculations.
  • the calibration information about the determined overlap area (10) is forwarded to the imager control (4) and used there for synchronizing the exposure of both cameras (1, 2).
  • Exposure data can be transmitted to each of the two cameras (1, 2).
  • the synchronized images captured by the first (1) and second (2) cameras are transferred to a method (16) for evaluating stereo images.
  • the stereo method (16) determines distance or depth information from the disparity (image shift) of image features in the overlap area in simultaneously acquired images of the first (1) and second (2) cameras.
  • a semi-global matching (SGM) method can be used as the stereo method (16).
  • Fig. 4 relationships are shown, based on which an embodiment of the imager control (4) is explained in more detail. It is assumed that the exposure start clock (times of the start of exposure of each pixel) of the imager of the first camera (1) is known. In Fig. 4 this is represented by the left scale (outside the frame), which is entered from 0 to 6.
  • the exposure cycle of the first camera (1) that is the time interval Dt L between the start of exposure of a line (eg line 3, upper dashed line (12)) and the following line (line 4, lower dashed line (11)). Knowing the position of the first line of the second camera (2) in the image of the first camera (1) results in the time offset D t s by which the second camera (2) should start the exposure process later.
  • the solid rectangle (10) symbolizes the overlap area of the two cameras (1, 2).
  • the lines of the second camera (2) are symbolized by the right scale (within the frame), which is entered from 0 to 4. It can thus be achieved that the exposure of the first line of the second camera (2) is started simultaneously with the corresponding corresponding line of the first camera (1).
  • the exposure start cycle corresponds to the read cycle of a line.
  • the second camera (2) thus has a shorter exposure start cycle time overall. This ensures that the k lines of the second camera (2) start the exposure in the time At t . It follows from this that line n + 1 of the first camera (1) in turn starts at the same time as the corresponding line of the second camera (2).
  • the optimized imager control (4) can now be used to repeat the method according to FIG. 1 cyclically. This allows the camera system geometry and thus the imager control (4) to be further adapted and improved.
  • An exemplary overlap area of the two cameras (1, 2) is shown schematically in FIG. 5.
  • Pl w of the "wide-angle" image sensor "contains” a group of pixels (17) of the second camera (2), as shown in the upper row (13) .
  • One pixel of the first camera (1) corresponds to 3x3 pixels of the second camera (2).
  • the line n w with four pixels of the first camera (1) corresponds to three lines h t, Pt + 1, P t + 2, each with 12 pixels of the “telephoto” image sensor of the second camera (2).
  • the start pixel (17) of the first line n T and the end pixel (18) of the last line n T + 2 of the second camera (2) are each synchronized with the corresponding start or end pixel (ie bottom line in FIG. 5) (14) the first or the fourth pixel) of the line n w of the first camera (1).
  • An optimal timing for the synchronization is that at which the reading of the first pixel is started at the same time (top line of the telecamera) and the reading of the last pixel (bottom line of the telecamera) is stopped.
  • the second camera (2) usually has more pixels / degrees. It collects significantly less light per pixel and therefore usually has to be exposed longer than a pixel from the first camera (1). The second camera (2) thus exposes object movements over a longer period of time than the first camera (1). The latter leads to other (more pronounced) smearings in the image of the second camera (2), in particular due to the motion blur.
  • the motion blur effect for the formation of the stereo image to reduce, the following synchronization can be used in a preferred embodiment.
  • the motion blur of the image sensor of the second camera (2) would thus be distributed more evenly to corresponding areas of the image sensor of the first camera (1) and an error in the calculation of the stereo image would be reduced.
  • the respective imager control (4) thus allows a suitable synchronization for two cameras (1, 2) with different fields of view.
  • Results from methods of camera calibration are used in a clever way to specify a time sequence for the exposure that tries to minimize the temporal differences in the exposure of corresponding world points (5).
  • the method described above can be used to ensure that the exposure at the beginning and end of the overlap area (first and last pixel or line) takes place simultaneously. Furthermore, it is ensured that at the beginning of the exposure of a line of the wide-angle camera, one is synchronized with the first corresponding line of the telecamera. The other lines of the telecamera, which still correspond to the corresponding line of the wide-angle camera, diverge in synchronism and then converge again with the telecamera at the beginning of the next line of the wide-angle camera. This is illustrated by FIG. 5 and the very schematic representation of the time offset delta T via the image sensor lines P
  • the variable x is intended to mean that an integer ratio k of lines of the second camera (2) does not always have to lie in a line of the first camera (1).

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Studio Devices (AREA)
  • Cameras In General (AREA)

Abstract

Die Erfindung betrifft ein Kamerasystem und ein Verfahren zur Steuerung des Kamerasystems zur Aufnahme von Bildern einer Umgebung eines Fahrzeugs für ein Fahrerassistenzsystem des Fahrzeugs.Das Kamerasystem umfasst eine erste Rolling-Shutter Kamera (1) mit einem ersten Öffnungswinkel α, eine zweite Rolling-Shutter Kamera (2) mit einem zweiten Öffnungswinkel β und eine Steuerungselektronik. Die erste Kamera (1) ist zur Erzeugung eines Weitwinkelkamerabilds geeignet, d.h. der erste Öffnungswinkel α ist größer als der zweite Öffnungswinkel β der zweiten Kamera (2), die zur Erzeugung eines Telekamerabilds geeignet ist. Die beiden Kameras (1, 2) sind derart konfiguriert, dass beide Kamerabilder einen Überlappungsbereich aufweisen. Die Steuerungselektronik ist dazu ausgebildet, dass eine Synchronisierung der beiden Kameras (1, 2) erfolgt. Die geometrische Anordnung der beiden Kameras (1, 2) zueinander und die Lage des Überlappungsbereichs (10) im Weitwinkelbild und im Telekamerabild werden durch eine kontinuierliche Schätzung ermittelt. Die gespeicherte geometrische Anordnung und Lage werden bei der Synchronisierung der ersten (1) und der zweiten (2) Kamera des Kamerasystems berücksichtigt.

Description

Synchronisiertes Kamerasystem mit zwei unterschiedlichen Ka- meras
Die Erfindung betrifft ein Kamerasystem zur Aufnahme von Bildern einer Umgebung eines Fahrzeugs für ein Fahrerassistenzsystem des Fahrzeugs und ein Verfahren zur Steuerung bzw. Synchronisierung einer ersten und einer zweiten Kamera des Kamerasystems.
Die räumliche Rekonstruktion von Szenen in der Umgebung und insbesondere vor einem Fahrzeug ist ein essentieller Bestandteil vieler ADAS-Anwendungen (ADAS = Advanced Driver Assistance Systems, Fahrerassistenzsysteme) . Hierbei haben sich besonders Rekonstruktionsmethoden aus gleichzeitig aufgenommenen Bildern zweier leicht räumlich versetzter Kameras bewährt.
Dieser Ansatz ist als Stereoskopie (oder Stereorekonstruktion) bekannt und entsprechende Fahrzeugkamerasysteme gewinnen im ADAS-Markt zunehmend an Bedeutung. Bei derartigen Kamerasystemen erfolgt die Rekonstruktion der räumlichen Geometrie der Szene aus Unterschieden in der Lage und Form von Objekten (etwa Disparität) in den jeweiligen Kamerabildern durch Triangulation.
Bekannte stereoskopische Systeme für ADAS-Anwendungen reali sieren das entsprechende Kamerasystem als zwei Optiken, welche in einem starren Leiterplattenträger nahezu parallel montiert sind und eine definierte Basislänge als seitlichen Abstand zueinander aufweisen. Die so entstehende Stereokamera wird häufig in einem Bereich der Windschutzscheibe hinter dem In nenrückspiegel eingebaut.
Aufgrund von begrenztem Platz in dieser Einbauposition weisen solche Systeme meist einen relativ kleinen Abstand (Basislänge) zwischen den Optiken auf, wodurch die Genauigkeit der räumlichen Rekonstruktion der Kamerasysteme leidet. Eine Aufgabe der vorliegenden Erfindung besteht darin, ein optimiertes Kamerasystem bereitzustellen, welches eine robuste räumliche Rekonstruktion der Umgebung eines Fahrzeugs ermög licht .
Ein Ausgangspunkt der Erfindung besteht darin, ein Kamerasystem zu verwenden, bei dem die einzelnen Kameras in einem großen Abstand und voneinander lose mechanisch gekoppelt angeordnet sind. Die einzelnen Kameras können als Satellitenkameras be zeichnet werden. Eine besondere Herausforderung stellen hierbei Satellitensysteme mit unterschiedlichen optischen Eigenschaften dar, wie nachfolgend erklärt wird. Beim Einsatz von Stereo systemen für ADAS-Anwendungen besteht das Problem der gleichzeitigen Belichtung derjenigen photosensitiven Elemente (Pixel) der beiden Kameras, welche dieselben Objekte abbilden. Letztere Eigenschaft ist essentiell für eine akkurate Rekon struktion, denn bereits geringe Unterschiede im Zeitpunkt des Belichtungsstarts können sich bei hohen Geschwindigkeiten des Fahrzeuges in einem starken Versatz der Objekte in den ent sprechenden Bildern und somit zu Artefakten bei der Korres pondenzfindung sowie zu Fehlern in der Triangulation führen. Ähnliches gilt für die Länge der Belichtungszeit. Lange Be lichtung führt zu einer Verschmierung von Bildern bewegter Szenen, auch bekannt als Motion-Blur (Bewegungsunschärfe) . Unterschiedliche Belichtungszeiten führen zu unterschiedlichen Ausprägungen des Motion-Blur, was für die Findung von kor respondierenden Bildbereichen vom Nachteil ist.
Eine Verwendung von unterschiedlichen Optiken bzw. Bildsensoren stellt damit ein potentielles Problem für Anwendung von Ste reoverfahren dar, denn hier werden sowohl die Belichtungs zeitpunkte als auch die Belichtungsintervalle der Kameras unterschiedlich. Besonders schwer wiegen die Effekte bei der Rolling Shutter Methode, denn hier wird der Bildsensor zeilen- oder pixelweise belichtet.
Eine Möglichkeit zur Umgehung des geschilderten Problems besteht darin, sämtliche photosensitiven Elemente (Pixel) beider Kameras gleichzeitig zu belichten. Diese Technologie ist als Global Shutter bekannt. Entsprechende Kameratechnologien sind al lerdings teuer und weniger flexibel.
Eine Lösung für Rolling Shutter Kameras ist in WO 2014/111814 A2 beschrieben. Hier wird dargestellt, wie zwei Kameras mit un terschiedlicher Auflösung und Öffnungswinkel zu synchronisieren sind, damit ein akzeptables Stereobild errechnet werden kann. Die vorgeschlagene Synchronisierung sieht vor, die Zeitsteuerung der Kameras so anzupassen, dass die Belichtung des Anfangs- und Endpunktes des gemeinsamen Überlappungsbereichs beider Kame rabilder gleichzeitig erfolgen. Trotzdem bleibt ein uner wünschter Restfehler, der aufwendig korrigiert werden muss.
DE 10 2014 220 585 Al und WO 2016/055060 Al zeigen jeweils eine Stereokamera für ein Fahrzeug mit zwei unterschiedlichen sich (teilweise) überlappenden Sichtbildbereichen.
WO 2017/028848 Al zeigt eine Fahrzeugkameravorrichtung zur Aufnahme einer Umgebung eines Kraftfahrzeugs mit einer ersten und einer zweiten Optronik. Die erste und die zweite Optronik weisen unterschiedlich große Bildwinkel auf und ihre Erfassungsbereiche überlappen einander.
Eine Aufgabe der Erfindung besteht darin, ein weiter verbessertes Kamerasystem mit verbesserter Belichtungssteuerung bereitzu stellen . Ein erfindungsgemäßes Kamerasystem zur Aufnahme von Bildern einer Umgebung eines Fahrzeugs für ein Fahrerassistenzsystem des Fahrzeugs umfasst eine erste Rolling-Shutter Kamera mit einem ersten Öffnungswinkel , eine zweite Rolling-Shutter Kamera mit einem zweiten Öffnungswinkel ß und eine Steuerungselektronik. Die erste Kamera ist zur Erzeugung eines Weitwinkelkamerabilds geeignet, d.h. der erste Öffnungswinkel (insbesondere in horizontaler Richtung) ist größer, z.B. größer 90 Grad, als der zweite Öffnungswinkel ß, z.B. kleiner 30 Grad, der zweiten Kamera, die zur Erzeugung eines Telekamerabilds geeignet ist. Die beiden Kameras sind derart konfiguriert, dass beide Kamerabilder einen Überlappungsbereich aufweisen.
Die Steuerungselektronik ist dazu ausgebildet, dass eine Synchronisierung der beiden Kameras erfolgt.
Die geometrische Anordnung der beiden Kameras zueinander und die Lage des Überlappungsbereichs im Weitwinkelbild und im Tele kamerabild werden durch eine kontinuierliche Schätzung er mittelt. Mit anderen Worten wird die Stereogeometrie des Systems kontinuierlich ermittelt. Dies kann mit Standardverfahren zur Schätzung der Stereogeometrie erfolgen. Die ermittelte geo metrische Anordnung und Lage werden bei der Synchronisierung berücksichtigt .
Alternativ wurde die geometrische Anordnung der beiden Kameras zueinander und die Lage des Überlappungsbereichs im Weitwin kelbild und im Telekamerabild durch eine Kalibrierung des Kamerasystems ermittelt und Informationen betreffend die ge ometrische Anordnung und Lage sind in einem Speicher (des Kamerasystems) hinterlegt.
Die gespeicherte geometrische Anordnung und Lage werden bei der Synchronisierung der ersten und der zweiten Kamera des Kame rasystems berücksichtigt. Zweckmäßigerweise sollte also die Steuerungselektronik Zugriff auf den Speicher haben oder der Speicher sollte in die Steu erungselektronik integriert sein. Die genaue Art der Syn chronisierung unter Berücksichtigung der geometrischen An ordnung und Lage kann auf verschiedene Weisen erfolgen wie nachfolgend näher beschrieben wird. Es können mindestens zwei Raumpunkte ausgewählt werden, die im Überlappungsbereich also von erster und zweiter Kamera synchron abgebildet werden. Die Pixel von erster und zweiter Kamera, die einen Raumpunkt erfassen bzw. abbilden haben typischerweise unterschiedliche Größen, insbesondere kann angenommen werden, dass der Raumbereich, der von der ersten (Weitwinkel-) Kamera auf einem Pixel abgebildet wird, durch eine Mehrzahl von benachbarten Pixeln der zweiten (Tele-) Kamera abgebildet wird. Die Auflösung der Kameras in Pixel/Grad entscheidet hierüber. Es kann in der Regel angenommen werden, dass diese Auflösung im Überlappungsbereich für jede der beiden Kameras konstant ist. Jede Kamera weist typischerweise einen Bildsensor bzw. Imager auf. Der Bildsensor umfasst zeilen- und spaltenweise angeordnete Pixel, die pixel- oder zeilenweise ausgelesen werden können.
Gemäß einer bevorzugten Ausführung ist die Steuerungselektronik dazu ausgebildet, die Synchronisierung derart zu bewirken, dass eine größere Zeile und Taktfrequenz der ersten Kamera den Synchronisierungsbeginn und die Taktfrequenz der zweiten Kamera derart vorgibt, dass (im Überlappungsbereich) die Belichtung jeder Zeile der ersten Kamera synchron mit der entsprechenden Zeile der zweiten Kamera begonnen wird. Die folgenden Zeilen der zweiten Kamera, die noch in derselben Zeile der ersten Kamera „enthalten" sind, werden zeitversetzt aufgenommen.
Der Takt für die BelichtungsstartZeitpunkte entspricht dem Auslesetakt eines Bildsensors. Üblicherweise ergibt sich der BelichtungsstartZeitpunkt als AuslesestartZeitpunkt minus Belichtungszeit. Im Folgenden wird von Auslesetakt gesprochen, der den Takt bezeichnet, mit dem ein Pixel ausgelesen wird, nachdem es belichtet wurde.
Vorzugsweise benötigt die erste Kamera zum Auslesen einer Zeile die Zeit DtL und die zweite Kamera für eine Zeile die Zeit Atj/k, wobei k die Anzahl der Zeilen der zweiten Kamera angibt, die in einer Zeile der ersten Kamera enthalten sind.
Bevorzugt benötigt die zweite Kamera pro Zeile die Auslese zeit (k-1) * Atj/k.
Gemäß einer vorteilhaften Ausgestaltung werden zwei Pixel der zweiten Kamera innerhalb des Überlappungsbereichs vorgegeben, die synchron zu den entsprechenden Pixeln der ersten Kamera belichtet werden.
Bevorzugt werden innerhalb des Überlappungsbereichs für jede Zeile der ersten Kamera der Startpixel der ersten und der Endpixel der letzten Zeile der zweiten Kamera jeweils synchron zum entsprechenden Start- bzw. Endpixel der Zeile der ersten Kamera belichtet. Man könnte dies auch so formulieren, dass jeweils der erste zu synchronisierende Punkt „oben links" und der zweite Punkt „unten rechts" in einer Zeile der Weitwinkelkamera liegen. Ein optimales Timing für die Synchronisierung ist jenes, bei dem die entsprechenden Zeilen in dem Überlappungsbereich gleich zeitig das Auslesen starten (oberste Zeile der Telekamera) und am Ende derselben Zeile der Weitwinkelkamera und der untersten überlappenden Zeile der Telekamera, also beide Zeilen, das Auslesen stoppen. Die zweite Kamera (Telekamera) hat mehr Pixeln/Grad. Die Te lekamera sammelt deutlich weniger Licht pro Pixel und muss daher in der Regel länger belichtet werden als ein Pixel der ersten Kamera (Weitwinkelkamera) .
Vorzugsweise belichtet der Bildsensor der ersten Kamera mit einer Belichtungszeit bl und der Bildsensor der zweiten Kamera mit der Belichtungszeit b2, wobei b2 > bl ist, und der Belichtungsstart der ersten Kamera wird gegenüber dem Belichtungsstart der zweiten Kamera um (b2-bl)/2 verzögert. Dadurch wird erreicht, dass genau die Hälfte der Belichtungszeitspanne für beide Kameras syn chronisiert ist. Dies bewirkt den Effekt, dass die Bewe gungsunschärfe (motion blur) des (hochauflösenden) Bildsensors der zweiten Kamera gleichmäßiger auf entsprechende Bereiche des (niederauflösenden) Bildsensors der ersten Kamera verteilt wird.
Bevorzugt weisen die Bildsensoren der ersten und der zweiten Kamera eine vergleichbare Pixelzahl auf, insbesondere dieselbe oder eine um weniger als zehn Prozent abweichende. Unter Be rücksichtigung des jeweiligen Kameraobjektivs ergibt sich dann die Auflösung der jeweiligen Kamera im Überlappungsbereich.
Besonders vorteilhaft beträgt die Auflösung der zweiten Kamera das 2n-fache der Auflösung der ersten Kamera, wobei n eine natürliche Zahl ist.
Gemäß einer Ausführungsform erfolgt die kontinuierliche Schätzung der geometrische Anordnung der beiden Kameras zu einander und die Lage des Überlappungsbereichs im Weitwinkelbild und im Telekamerabild mittels einer Fundamentalmatrixschätzung. Beispielsweise sei hier auf Algorithm 10.3 auf S. 269 in R. Hartley und A. Zisserman "Multiple View Geometry in Computer Vision", Cambridge Univ. Press, 2000, verwiesen. Ein weiterer Gegenstand der Erfindung betrifft ein Verfahren zur Steuerung eines Kamerasystems zur Aufnahme von Bildern einer Umgebung eines Fahrzeugs für ein Fahrerassistenzsystem des Fahrzeugs. Eine erste Rolling-Shutter Kamera weist einen ersten Öffnungswinkel , eine zweite Rolling-Shutter Kamera weist einen zweiten Öffnungswinkel ß auf. Die erste Kamera ist zur Erzeugung eines Weitwinkelkamerabilds und die zweite Kamera zur Erzeugung eines Telekamerabilds konfiguriert. Beide Kamerabilder weisen einen Überlappungsbereich auf.
Die geometrische Anordnung der beiden Kameras zueinander und die Lage des Überlappungsbereichs im Weitwinkelbild und im Tele kamerabild werden durch eine Schätzung bzw. Kalibrierung er mittelt .
Eine Synchronisierung der beiden Kameras erfolgt, indem die ermittelte geometrische Anordnung und Lage bei der Synchro nisierung berücksichtigt wird.
Ein Einsatzziel der vorliegenden Erfindung ist ein Satelli tensystem für ADAS-Applikationen bestehend aus zwei mechanisch lose gekoppelten nahezu parallel ausgerichteten Kameras, wobei die Optiken unterschiedliche große Sichtfelder aufweisen. Die Kameras können als Rolling Shutter Kameras mit unterschiedlicher Auflösung ausgelegt sein. Eine mögliche Realisierung eines solchen Systems ist eine Kombination einer Weitwinkelkamera und einer Telekamera. Durch eine geschickte Anpassung der Ima- gersteuerung beider Kameras wird die Diskrepanz zwischen den Belichtungszeitpunkten korrespondierender Zeilen reduziert. Durch eine vorliegende Kalibrierung der Optiken werden nähe rungsweise korrespondierende Bereiche in den Bildern beider Systeme ermittelt, wobei ein näherungsweise rechteckiger Bereich des Sichtfeldes einer der Optiken im Bild der anderen Optik ermittelt wird. Durch Abgleich der Größen der beiden Bereiche wird eine zeilenweise oder pixelweise Korrektur der Belich- tungszeitpunkte ermittelt, die zu einem weitgehend geleich- zeitigen Start der Belichtung korrespondierender Sensorzeilen führt .
Im Folgenden werden Ausführungsbeispiele beschrieben und anhand von Figuren näher erläutert. Dabei zeigen:
Fig. 1 ein Ausführungsbeispiel für ein Verfahren zur Steuerung des Kamerasystems (schematisch dargestellt) ;
Fig. 2 eine schematische Darstellung der Sichtbereiche der beiden Kameras des Kamerasystems und eine Projektion des Sichtbereichs der einen in das Bild der anderen Kamera;
Fig. 3 die Relation in der Bildebene zwischen der Projektion des Sichtfeldes der ersten Kamera in das Bild der zweiten Kamera; Fig. 4 schematisch Zeilen des Bildsensors der ersten Kamera und der zweiten Kamera in einem Bild der ersten Kamera und ent sprechende Zeitintervalle ;
Fig. 5 schematisch einen Überlappungsbereich der beiden Kameras mit den jeweiligen Pixeln und Zeilen;
Fig. 6 ein Fahrzeug mit einem Kamerasystem;
Fig. 7 einen ersten Verlauf vom Zeitversatz delta T über die Zeilennummern; und
Fig. 8 einen zweiten Verlauf vom Zeitversatz delta T über die Zeilennummern .
Ein Ausführungsbeispiel eines erfindungsgemäßen Kamerasystems ist in Fig. 6 dargestellt. Das Kamerasystem bzw. die Kamera vorrichtung umfasst zwei Kameras (1) und (2) , die mechanisch lose gekoppelt im Raum angeordnet sind. Die beiden Kameras (1) und (2) können in dieser Konfiguration in einem ADAS-System zum Einsatz kommen. Wie in Fig. 6 dargestellt kann die erste Kamera (1) vom Innenraum gesehen rechts und die zweite Kamera (2) links des Rückspiegels an der Windschutzscheibe eines Fahrzeuges (15) montiert sein. Die erste Kamera (1) weist ein Weitwinkelobjektiv auf und die zweite Kamera (2) ein Teleobjektiv. Fig. 2 stellt schematisch die Zusammenhänge zwischen der Raumgeometrie der Sichtbereiche der beiden Kameras (1, 2) und eine Projektion des Sichtbereichs der zweiten (2) in das Bild der ersten Kamera (1) dar. Ein Raumpunkt (5) liegt im Sichtfeld (8) der ersten Kamera (1) und im Sichtfeld (7) der zweiten Kamera (2). Eine Projektion des Raumpunkts (5) auf eine Sichtfeidebene der zweiten Kamera (2) ergibt das Bild (9) der zweiten Kamera (2) . Im allgemeinen Fall ist die Projektion (9) des Sichtfeldes der zweiten Kamera (2) geschnitten mit dem Bild der ersten Kamera (1) ein verzeichnetes Viereck (6). Durch geeignete Produktions prozesse während des Einbaus der Kameras (1, 2) ins Fahrzeug kann man allerdings annehmen, dass die Kameras (1, 2) nahezu parallel ausgerichtet sind.
Fig. 3 dient der Veranschaulichung der Relation in der Bildebene zwischen der Projektion des Sichtfeldes (7) der zweiten Kamera (2) in das Bild (8) der ersten Kamera (1) .
In diesem Fall besitzt das Viereck (9) nahezu gerade Seiten und ist näherungsweise achsenparallel zu den Bildachsen des Bildes der ersten Kamera (1) . Letzteres ist durch die gestrichelten Linien (9) in Fig. 3 angedeutet. Das Rechteck (10) ist nun wie folgt zu interpretieren: Befindet sich ein Raumpunkt (5) im Sichtfeld beider Kameras (1, 2), so liegt dieser im Bild der Kamera (1) im Bereich (10) . Das Rechteck (10) stellt also etwa den Überlappungsbereich der Sichtfelder (7, 8) beider Kameras (1, 2) dar. Die Synchronisierung hat als Ziel, dass die Zeile mit dem Bild eines jeden Raumpunktes (5) in der ersten Kamera (1) zur gleichen Zeit belichtet wird, wie die entsprechende Zeile im Bild der zweiten Kamera (2) . Letztere Forderung ist in größter Allgemeinheit nur für ein paralleles Kamerasystem ohne optische Verzeichnungen sinnvoll. In diesem Fall sind die jeweiligen - Epipolarlinien parallel. In Fig. 1 ist ein Ausführungsbeispiel für ein Verfahren zur Steuerung des Kamerasystems schematisch dargestellt. Ein Raumpunkt (5) liegt im Überlappungsbereich der ersten (1) und der zweiten (2) Kamera. Durch eine anfänglich grob eingestellte Belichtungssteuerung bzw. Imagersteuerung (etwa zeitsynchroner Start der Imager/Bildsensoren) wird in der Auswerteeinheit (3) anhand der von den beiden Kameras (1, 2) erfassten Bilddaten die Stereogeometrie des Systems ermittelt. Dies erfolgt mit Standardverfahren zur Schätzung der Stereogeometrie (etwa Fundamentalmatrixschätzung) .
Damit ist das in Fig. 2 und 3 dargestellte Verhältnis durch geometrische Berechnungen schätzbar. Die Kalibrie rungs-Information über den ermittelten Überlappungsbereich (10) wird an die Imagersteuerung (4) weitergeleitet und dort für eine Synchronisierung der Belichtung beider Kameras (1, 2) verwendet. D.h. Belichtungsdaten können an jede der beiden Kameras (1, 2) übertragen werden. Die von der ersten (1) und zweiten (2) Kamera erfassten synchronisierten Bilder werden einem Verfahren (16) zur Auswertung von Stereobildern übergeben. Das Stereoverfahren (16) ermittelt Abstands- bzw. Tiefeninformationen aus der Disparität (Bildverschiebung) von Bildmerkmalen im Überlap pungsbereich in zeitgleich erfassten Bildern der ersten (1) und zweiten (2) Kamera. Als Stereoverfahren (16) kann ein Se- mi-Global-Matching ( SGM) -Verfahren verwendet werden.
In Fig. 4 sind Zusammenhänge dargestellt, anhand derer ein Ausführungsbeispiel der Imagersteuerung (4) näher erläutert wird. Es wird angenommen, dass der Belichtungsstarttakt (Zeitpunkte des Belichtungsstartes jedes Pixels) des Imagers der ersten Kamera (1) bekannt ist. In Fig. 4 ist dies durch die linke Skala (außerhalb des Rahmens) dargestellt, die von 0 bis 6 eingetragen ist. Der Belichtungstakt der ersten Kamera (1) , also das Zeitintervall DtL zwischen dem Belichtungsstart einer Zeile (z.B. Zeile 3, obere gestrichelte Linie (12)) und der da- rauffolgenden Zeile (Zeile 4, untere gestrichelte Linie (11)). Aus der Kenntnis der Lage der ersten Zeile der zweiten Kamera (2) im Bild der ersten Kamera (1) ergibt sich der zeitliche Versatz D ts , um den die zweite Kamera (2) den Belichtungsvorgang später starten sollte. Das durchgezogene Rechteck (10) symbolisiert den Überlappungsbereich der beiden Kameras (1, 2) . Die Zeilen der zweiten Kamera (2) sind durch die rechte Skala (innerhalb des Rahmens) symbolisiert, die von 0 bis 4 eingetragen ist. Damit kann erreicht werden, dass die Belichtung der ersten Zeile der zweiten Kamera (2) mit der entsprechenden korrespondierenden Zeile der ersten Kamera (1) gleichzeitig gestartet wird. Für die nach folgenden Zeilen der zweiten Kamera (2) wird nun die Imager- steuerung (4) wie folgt angepasst. Unter der Annahme, dass die Belichtung der Zeile n zeitsynchron mit einem rechteckigen Bereich im Bild der zweiten Kamera (2) gestartet worden ist, fallen in die Zeit zwischen dem Start der Belichtung der Zeile n und der Zeile n+1 der ersten Kamera (1) D tL k Zeilen der zweiten Kamera (2) . Im Beispiel der Fig. 4 ist beispielsweise k = 4, d.h. einer Zeile der ersten Kamera (1) entsprechen vier Zeilen der zweiten Kamera.
Der Unterschied im Belichtungsstart von nachfolgenden Zeilen, die Belichtungsstarttaktzeit , der zweiten Kamera (2) wird vorteilhaft auf den Bruchwert At = Ati/k verkürzt. Der Belich tungsstarttakt entspricht dem Auslesetakt einer Zeile. Damit weist die zweite Kamera (2) insgesamt eine kürzere Belich tungsstarttaktzeit auf. Damit wird erreicht, dass die k Zeilen der zweiten Kamera (2) in der Zeit Att die Belichtung starten. Konsequenterweise folgt daraus, dass die Zeile n+1 der ersten Kamera (1) wiederrum zeitgleich mit der korrespondierenden Zeile der zweiten Kamera (2) startet. Die optimierte Imagersteuerung (4) kann nun dazu verwendet werden, um das Verfahren gemäß Fig. 1 zyklisch zu wiederholen. Damit kann die Kamerasystemgeometrie und somit die Imager steuerung (4) weiter angepasst und verbessert werden.
In Fig. 5 ist schematisch ein exemplarischer Überlappungsbereich der beiden Kameras (1, 2) dargestellt. Ein Pixel der ersten Kamera (1) in einer Zeile (14) Plw des „Weitwinkel"-Bildsensors „be inhaltet" eine Gruppe von Pixeln (17) der zweiten Kamera (2) , wie in der oberen Zeilenreihe (13) dargestellt ist. Ein Pixel der ersten Kamera (1) entspricht 3x3 Pixeln der zweiten Kamera (2) . Die Zeile nw mit vier Pixeln der ersten Kamera (1) entspricht drei Zeilen ht,Pt+1,Pt+2 mit jeweils 12 Pixeln des „Tele"-Bildsensors der zweiten Kamera (2) .
Innerhalb des Überlappungsbereichs werden nun der Startpixel (17) der ersten Zeile nT und der Endpixel (18) der letzten Zeile nT+2 der zweiten Kamera (2) jeweils synchron zum entsprechenden Start- bzw. Endpixel (d.h. in Fig. 5 untere Zeile (14) der erste bzw. der vierte Pixel) der Zeile nw der ersten Kamera (1) belichtet. Ein optimales Timing für die Synchronisierung ist jenes, bei dem gleichzeitig das Auslesen des jeweils ersten Pixels gestartet wird (oberste Zeile der Telekamera) das Auslesen der jeweils letzten Pixel (unterste Zeile der Telekamera) gestoppt wird.
Die zweite Kamera (2) hat in aller Regel mehr Pixel/Grad. Sie sammelt deutlich weniger Licht pro Pixel und muss daher in der Regel länger belichtet werden als ein Pixel der ersten Kamera (1) . Somit belichtet die zweite Kamera (2) Objektbewegungen über eine längere Zeitdauer, als die erste Kamera (1) . Letzteres führt zu anderen (größer ausgeprägten) Verschmierungen im Bild der zweiten Kamera (2) insbesondere aufgrund der Bewegungsunschärfe . Um den Bewegungsunschärfeeffekt für die Bildung des Stereobildes zu reduzieren, kann in einer bevorzugten Ausführungsform die folgende Synchronisierung verwendet werden. Wenn beispielsweise der Bildsensor der zweiten Kamera (2) eine Belichtungszeit von b2 = 10 ms benötigt und der Bildsensor der ersten Kamera (1) nur bl = 1 ms, so könnte man den Bildsensor der ersten Kamera (1) mit einer Verzögerung von (b2 - bl)/2 = 4,5 ms starten lassen. Damit wäre der Motion-Blur des Bildsensors der zweiten Kamera (2) gleichmäßiger auf entsprechende Bereiche des Bildsensors der ersten Kamera (1) verteilt und ein Fehler in der Berechnung des Stereobildes verringert.
Die jeweilige Imagersteuerung (4) erlaubt somit eine geeignete Synchronisierung für zwei Kameras (1, 2) mit unterschiedlichen Sichtfeldern .
Auf geschickte Art und Weise werden Ergebnisse aus Methoden der Kamerakalibrierung eingesetzt, um einen Zeitablauf für die Belichtung anzugeben, der die zeitlichen Unterschiede der Belichtung korrespondierender Weltpunkte (5) zu minimieren sucht .
Mit dem oben beschriebenen Verfahren kann sichergestellt werden, dass die Belichtung am Anfang und Ende des Überlappungsbereiches (erstes und letztes Pixel bzw . Zeile) gleichzeitig geschieht . Des Weiteren ist sichergestellt, dass man zu Beginn der Belichtung einer Zeile der Weitwinkelkamera Synchronität mit der 1. entsprechenden Zeile der Telekamera hat. Die weiteren Zeilen der Telekamera, die noch mit der entsprechenden Zeile der Weit winkelkamera übereinstimmen, laufen in der Synchronität aus einander um dann zum Beginn der nächsten Zeile der Weitwin kelkamera mit der Telekamera wieder zusammen zu laufen. Dies ist veranschaulicht durch Fig.5 und die sehr schematische Dar stellung des zeitlichen Versatzes delta T über die Bildsensorzeilen P| in Fig. 7. Die Belichtung jeder Zeile nw, Plw+1 , nw+2, ... der ersten Kamera (1) wird synchron mit der entsprechenden Zeile nT, nT+X, nT+2x, ... der zweiten Kamera (2) begonnen. Die Va riable x soll bedeuten, dass nicht immer ein ganzzahliges Verhältnis k von Zeilen der zweiten Kamera (2) in einer Zeile der ersten Kamera (1) liegen muss.
Eine weitere optionale Verbesserung in der Synchronität der Aufnahme besteht darin, dass man den Aufnahmestart der Telekamera gegenüber der Weitwinkelkamera nochmals um den halben Zeilentakt der Weitwinkelkamera verzögert, wodurch die maximale Asyn- chronität delta T Max nochmals halbiert wird. Dies veran schaulicht die sehr schematische Darstellung in Fig.8.

Claims

Patentansprüche
1. Kamerasystem zur Aufnahme von Bildern einer Umgebung eines Fahrzeugs für ein Fahrerassistenzsystem des Fahrzeugs, das Kamerasystem umfassend eine erste Rolling-Shutter Kamera (1) mit einem ersten Öffnungswinkel sowie eine zweite Rolling-Shutter Kamera (2) mit einem zweiten Öffnungswinkel ß, wobei die erste Kamera (1) zur Erzeugung eines Weitwinkelkamerabilds und die zweite Kamera zur Erzeugung eines Telekamerabilds derart konfiguriert sind, dass beide Kamerabilder einen Überlap pungsbereich aufweisen,
wobei
das Kamerasystem eine Steuerungselektronik umfasst, die dazu ausgebildet ist, dass eine Synchronisierung der beiden Kameras (1, 2) erfolgt,
wobei die geometrische Anordnung der beiden Kameras (1, 2) zueinander und die Lage des Überlappungsbereichs (10) im Weitwinkelbild und im Telekamerabild durch eine kontinuierliche Schätzung ermittelt werden,
und die ermittelte geometrische Anordnung und Lage bei der Synchronisierung berücksichtigt werden.
2. Kamerasystem nach Anspruch 1, wobei die Steuerungselektronik dazu ausgebildet ist, die Synchronisierung derart zu bewirken, dass eine größere Zeilengeometrie der ersten Kamera (1) den Synchronisierungsbeginn und die Taktfrequenz der zweiten Kamera (2) derart vorgibt, dass die Belichtung jeder Zeile nw, nw+1 , nw+2, ... der ersten Kamera (1) synchron mit der entsprechenden Zeile nT, nT+X, nT+2x, ... der zweiten Kamera (2) begonnen wird.
3. Kamerasystem nach Anspruch 1 oder 2, wobei die erste Kamera (1) pro Zeile nw mit einem Auslesetakt DtL aufnimmt und die zweite Kamera (2) pro Zeile nT mit dem Auslesetakt Atj/k, wobei k die Anzahl der Zeilen nT, nT+1 , . nT+(k-1 ), der zweiten Kamera (2) angibt, die in einer Zeile nw der ersten Kamera (1) enthalten sind .
4. Kamerasystem nach einem der vorherigen Ansprüche, wobei zwei Pixel (17, 18) der zweiten Kamera (2) innerhalb des Überlap pungsbereichs vorgegeben werden, die synchron zu den ent sprechenden Pixeln der ersten Kamera (1) belichtet werden.
5. Kamerasystem nach einem der Ansprüche 2 bis 4, wobei innerhalb des Überlappungsbereichs für jede Zeile der ersten Kamera (1) der Startpixel (17) der ersten und der Endpixel (18) der letzten Zeile der zweiten Kamera (2) jeweils synchron zum entsprechenden Start- und Endpixel der Zeile der ersten Kamera (1) belichtet werden.
6. Kamerasystem nach einem der vorherigen Ansprüche, wobei der Bildsensor der ersten Kamera (1) mit einer Belichtungszeit bl und der Bildsensor der zweiten Kamera (2) mit der Belichtungszeit b2 belichtet, wobei b2 > bl ist, und der Belichtungsstart der ersten Kamera wird gegenüber dem Belichtungsstart der zweiten Kamera um (b2-bl)/2 verzögert.
7. Kamerasystem nach einem der vorherigen Ansprüche, wobei innerhalb des Überlappungsbereichs (10) der Aufnahmestart der zweiten Kamera (2) gegenüber der ersten Kamera (1) um den halben Zeilentakt DtL der ersten Kamera (1) verzögert wird.
8. Kamerasystem nach einem der vorherigen Ansprüche, wobei die Bildsensoren der ersten (1) und der zweiten (2) Kamera eine vergleichbare Pixelzahl aufweisen.
9. Kamerasystem nach einem der vorherigen Ansprüche, wobei die Auflösung der zweiten Kamera (2) im Überlappungsbereich (10) das 2n-fache der Auflösung der ersten Kamera (1) beträgt, wobei n eine natürliche Zahl ist.
10. Verfahren nach einem der vorherigen Ansprüche, wobei die kontinuierliche Schätzung der geometrische Anordnung der beiden Kameras (1, 2) zueinander und die Lage des Überlappungsbereichs (10) im Weitwinkelbild und im Telekamerabild mittels Funda mentalmatrixschätzung erfolgt.
11. Verfahren zur Steuerung eines Kamerasystems zur Aufnahme von Bildern einer Umgebung eines Fahrzeugs für ein Fahrerassis tenzsystem des Fahrzeugs, wobei eine erste Rolling-Shutter Kamera (1) einen ersten Öffnungswinkel sowie eine zweite Rolling-Shutter Kamera (2) einen zweiten Öffnungswinkel ß aufweisen, wobei die erste Kamera (1) zur Erzeugung eines Weitwinkelkamerabilds und die zweite Kamera (2) zur Erzeugung eines Telekamerabilds derart konfiguriert sind, dass beide Kamerabilder einen Überlappungsbereich (10) aufweisen, wobei die geometrische Anordnung der beiden Kameras (1, 2) zueinander und die Lage des Überlappungsbereichs (10) im Weitwinkelbild und im Telekamerabild durch eine kontinuierliche Schätzung ermittelt werden,
wobei eine Synchronisierung der beiden Kameras (1, 2) erfolgt und die ermittelte geometrische Anordnung und Lage bei der Syn chronisierung berücksichtigt werden.
PCT/DE2019/200148 2018-12-18 2019-12-17 Synchronisiertes kamerasystem mit zwei unterschiedlichen kameras WO2020125877A2 (de)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US17/309,807 US12015840B2 (en) 2018-12-18 2019-12-17 Synchronized camera system having two different cameras
DE112019006274.3T DE112019006274B4 (de) 2018-12-18 2019-12-17 Synchronisiertes Kamerasystem mit zwei unterschiedlichen Kameras und Verfahren zur Steuerung bzw. Synchronisierung einer ersten und einer zweiten Kamera des Kamerasystems

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102018221995.8A DE102018221995A1 (de) 2018-12-18 2018-12-18 Synchronisiertes Kamerasystem mit zwei unterschiedlichen Kameras
DE102018221995.8 2018-12-18

Publications (2)

Publication Number Publication Date
WO2020125877A2 true WO2020125877A2 (de) 2020-06-25
WO2020125877A3 WO2020125877A3 (de) 2020-08-13

Family

ID=70058058

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/DE2019/200148 WO2020125877A2 (de) 2018-12-18 2019-12-17 Synchronisiertes kamerasystem mit zwei unterschiedlichen kameras

Country Status (3)

Country Link
US (1) US12015840B2 (de)
DE (2) DE102018221995A1 (de)
WO (1) WO2020125877A2 (de)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114422699A (zh) * 2022-01-24 2022-04-29 成都盛锴科技有限公司 一种实现双目相机同步触发的方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014111814A2 (en) 2013-01-15 2014-07-24 Mobileye Technologies Limited Stereo assist with rolling shutters
DE102014220585A1 (de) 2014-10-10 2016-04-14 Conti Temic Microelectronic Gmbh Stereokamera für Fahrzeuge
WO2017028848A1 (de) 2015-08-14 2017-02-23 Conti Temic Microelectronic Gmbh Fahrzeugkameravorrichtung zur aufnahme einer umgebung eines kraftfahrzeugs sowie fahrerassistenzvorrichtung zur objekterkennung mit einer solchen fahrzeugkameravorrichtung

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013200603A (ja) 2012-03-23 2013-10-03 Hitachi Automotive Systems Ltd 車載用画像処理装置及び方法
JP6868789B2 (ja) * 2016-11-08 2021-05-12 ソニーグループ株式会社 画像転送装置、画像転送方法、プログラム、動画像生成システム
JP7027844B2 (ja) * 2017-11-29 2022-03-02 株式会社デンソー カメラモジュール
JP2021034743A (ja) * 2019-08-13 2021-03-01 ソニーセミコンダクタソリューションズ株式会社 撮像装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014111814A2 (en) 2013-01-15 2014-07-24 Mobileye Technologies Limited Stereo assist with rolling shutters
DE102014220585A1 (de) 2014-10-10 2016-04-14 Conti Temic Microelectronic Gmbh Stereokamera für Fahrzeuge
WO2016055060A1 (de) 2014-10-10 2016-04-14 Conti Temic Microelectronic Gmbh Stereokamera für fahrzeuge
WO2017028848A1 (de) 2015-08-14 2017-02-23 Conti Temic Microelectronic Gmbh Fahrzeugkameravorrichtung zur aufnahme einer umgebung eines kraftfahrzeugs sowie fahrerassistenzvorrichtung zur objekterkennung mit einer solchen fahrzeugkameravorrichtung

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
R. HARTLEYA. ZISSERMAN: "Multiple View Geometry in Computer Vision", 2000, CAMBRIDGE UNIV. PRESS, pages: 269

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114422699A (zh) * 2022-01-24 2022-04-29 成都盛锴科技有限公司 一种实现双目相机同步触发的方法及系统
CN114422699B (zh) * 2022-01-24 2024-03-26 成都盛锴科技有限公司 一种实现双目相机同步触发的方法及系统

Also Published As

Publication number Publication date
US12015840B2 (en) 2024-06-18
DE102018221995A1 (de) 2020-06-18
DE112019006274B4 (de) 2022-03-31
WO2020125877A3 (de) 2020-08-13
US20220038646A1 (en) 2022-02-03
DE112019006274A5 (de) 2021-10-14

Similar Documents

Publication Publication Date Title
DE69720758T2 (de) Vorrichtung zur elektro-optischen fernerkundung mit bewegungskompensation
DE69918347T2 (de) Vorrichtung und Verfahren zur Einstellung der Konvergenz einer stereoskopsichen Kamera
EP3610637B1 (de) Vorrichtungen zur abbildung von teilgesichtsfeldern, multiaperturabbildungsvorrichtungen und verfahren zum bereitstellen derselben
DE60301026T2 (de) System zur Untersuchung von stereoskopischen Bildmerkmalen
DE112010005151B4 (de) Bildaufnahmevorrichtung und bildverwacklungskorrekturverfahren
DE69434657T2 (de) System und Verfahren zur elektronischen Bildstabilisierung
DE102010062496B4 (de) Verfahren und Vorrichtung zum Verarbeiten von Bildinformationen zweier zur Bilderfassung geeigneter Sensoren eines Stereo-Sensor-Systems
EP3205090A1 (de) Stereokamera für fahrzeuge
DE4335088A1 (de) Bildaufnahmegerät
DE102016202948A1 (de) Verfahren und Vorrichtung zum Ermitteln eines Bildes einer Umgebung eines Fahrzeugs
DE102013220477B4 (de) Verfahren und Vorrichtung zur Korrektur einer bildlichen Darstellung einer Fahrzeugumgebung
DE102015208889A1 (de) Kameravorrichtung und Verfahren zum Abbilden eines Umfeldes für ein Kraftfahrzeug
WO2016146105A1 (de) Verfahren und vorrichtung zur kalibration einer kamera
DE102012105436A1 (de) Fahrzeugkamera zur Entfernungsmessung
DE112019006274B4 (de) Synchronisiertes Kamerasystem mit zwei unterschiedlichen Kameras und Verfahren zur Steuerung bzw. Synchronisierung einer ersten und einer zweiten Kamera des Kamerasystems
DE19816003A1 (de) Verfahren zum Korrigieren der Grauwerte von Bildern einer digitalen Infrarot-Kamera
DE102016104731A1 (de) Verfahren zum Detektieren eines Rolling-Shutter-Effekts in Bildern eines Umgebungsbereichs eines Kraftfahrzeugs, Rechenvorrichtung, Fahrerassistenzsystem sowie Kraftfahrzeug
EP3253045A1 (de) Verfahren zur erkennung und korrektur von bildfehlern sowie bildverarbeitungseinheit und computerprogramm hierzu
WO2021170745A1 (de) Verfahren zur bildkorrektur
EP1860492B1 (de) Verfahren zur Raumfilterung und Bildaufnahmegerät
EP3900318A1 (de) Vorrichtung mit einer multiaperturabbildungsvorrichtung zum akkumulieren von bildinformation
DE102015208442A1 (de) Verfahren und Vorrichtung zum Ermitteln zumindest eines Objektabbildes in einer Umgebung um einen änderunssensitiven optischen Bildsensor
EP2418846A2 (de) Verfahren und Vorrichtung zur korrigierten radiometrischen Messung von Objektpunkten auf Oberflächen von Himmelskörpern
EP1547368B1 (de) Verfahren zum betreiben einer optoelektronischen sensorvorrichtung
DE3446009C2 (de)

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19868227

Country of ref document: EP

Kind code of ref document: A2

REG Reference to national code

Ref country code: DE

Ref legal event code: R225

Ref document number: 112019006274

Country of ref document: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19868227

Country of ref document: EP

Kind code of ref document: A2