WO2017021197A1 - Verfahren und vorrichtung zum generieren von verzögerungssignalen für ein mehrkamerasystem und zum erzeugen fusionierter bilddaten für ein mehrkamerasystem für ein fahrzeug sowie mehrkamerasystem - Google Patents

Verfahren und vorrichtung zum generieren von verzögerungssignalen für ein mehrkamerasystem und zum erzeugen fusionierter bilddaten für ein mehrkamerasystem für ein fahrzeug sowie mehrkamerasystem Download PDF

Info

Publication number
WO2017021197A1
WO2017021197A1 PCT/EP2016/067713 EP2016067713W WO2017021197A1 WO 2017021197 A1 WO2017021197 A1 WO 2017021197A1 EP 2016067713 W EP2016067713 W EP 2016067713W WO 2017021197 A1 WO2017021197 A1 WO 2017021197A1
Authority
WO
WIPO (PCT)
Prior art keywords
vehicle
camera
delay
image data
camera system
Prior art date
Application number
PCT/EP2016/067713
Other languages
English (en)
French (fr)
Inventor
Markus Langenberg
Andreas Hinrichs
Gerrit De Boer
Original Assignee
Robert Bosch Gmbh
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch Gmbh filed Critical Robert Bosch Gmbh
Publication of WO2017021197A1 publication Critical patent/WO2017021197A1/de

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/602—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective with an adjustable viewpoint
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint

Definitions

  • the invention is based on a device or a method
  • multi-camera systems in vehicles can fuse images of multiple individual cameras into one overall image.
  • the individual cameras can in particular be arranged such that captured image sections partially overlap.
  • other methods with partly higher computational effort can be used to unify the single camera images.
  • a multi-camera system for a vehicle further an apparatus using one of these methods, a multi-camera system for a vehicle and finally presented a corresponding computer program according to the main claims.
  • a joining or a fusion a so-called stitching, for multi-camera systems mounted on moving objects or vehicles or
  • Multi-camera systems are provided. For this purpose, for example, be exploited that measured in a moving vehicle with respect to the environment positions of individual cameras of a
  • Change multi-camera system If the cameras are traveling through similar trajectories in space, a synchronization with respect to the location or a spatial or local synchronization can be approximated or established in particular by a suitable time delay of the image data or camera videos. For example, camera positions can be virtually converged and moved into a common center for the merger.
  • improved merging of images from individual cameras of a multi-camera system in particular to an improved 360-degree view or all-round view, for example for a
  • Augmented reality display to be realized in the vehicle.
  • parasitic effects can be avoided or at least reduced.
  • transitions at joints between frames can be made smoother and more accurate.
  • a multi-camera system for a vehicle wherein the multi-camera system comprises a plurality of vehicle cameras at different mounting positions of the vehicle, the method comprising the steps of:
  • the at least one camera-specific delay value for delaying a transmission of image data of at least one vehicle camera to an interface to a Fusion device for fusing image data of the vehicle cameras represented using distances between the
  • This method can be implemented, for example, in software or hardware or in a mixed form of software and hardware, for example in a control device or a device.
  • the vehicle may be designed as a motor vehicle, for example a road-bound vehicle, in particular a passenger car, a truck, a commercial vehicle or the like.
  • the vehicle cameras and additionally or alternatively the mounting positions may be arranged such that adjacent image sections captured by vehicle cameras overlap at least in an edge area.
  • the vehicle cameras may be mounted or mounted at different mounting positions on or on the vehicle, such as front, left, right, and rear.
  • a deceleration signal can be determined which represents a camera-specific deceleration value for delaying a transmission of image data of the respective vehicle camera to the interface to the fusion device.
  • the delay value can also be zero in order to effect an instantaneous forwarding.
  • the at least one delay signal may be read using
  • Speed data are determined, representing a speed value of the vehicle.
  • the fusion can be made even more accurate. Because using the speed data, temporal and additional or alternatively spatial synchronization or equalization of the image data of different vehicle cameras can be improved.
  • the step of determining the at least one deceleration signal can be determined using read-in position data representing a position and additionally or alternatively a position change of the vehicle.
  • Such an embodiment offers the advantage that an accuracy of the image data fusion can be further increased by means of this delay signal, since a drift of the vehicle can also be taken into account.
  • the at least one delay signal can be generated by using at least one image detail information that includes a
  • Image section of at least one vehicle camera represents, and additionally or alternatively be determined using read direction data representing a direction of travel of the vehicle relative to at least one mounting position of the vehicle cameras.
  • Embodiment offers the advantage that a dynamic selection of a local synchronization point can be realized, to which the image data or video signals can be synchronized in time.
  • the step of determining the at least one delay signal can be determined using at least one predetermined and additionally or alternatively maximum delay value.
  • the method for generating may also comprise a step of reading in the speed data, the position data, the at least one image detail information, the direction data and additionally or alternatively the predetermined and additionally or alternatively maximum delay value.
  • a multi-camera system for a vehicle wherein the multi-camera system comprises a plurality of vehicle cameras at different mounting positions of the vehicle, the method comprising the steps of:
  • This method can be implemented, for example, in software or hardware or in a mixed form of software and hardware, for example in a control device or a device.
  • the method for generating can be carried out in conjunction with an embodiment of the method for generating.
  • image data or video from multiple vehicle cameras may be fused together, for example by selective alpha blending of individual images, where visibility of image pixels in overlap areas may increase from outside to inside, or by other stitching techniques, such as hard blending.
  • the method for generating may also include a step of receiving or
  • the approach presented here also provides a device which is designed to implement the steps of a variant of a method presented here
  • a device can be understood as meaning an electrical device which processes sensor signals and outputs control and / or data signals in dependence thereon.
  • the device may have an interface, which may be formed in hardware and / or software.
  • the interfaces can be part of a so-called system ASIC, for example, which contains a wide variety of functions of the device.
  • the interfaces are their own integrated circuits or at least partially consist of discrete components.
  • the interfaces may be software modules that are present, for example, on a microcontroller in addition to other software modules.
  • a multi-camera system for a vehicle wherein the multi-camera system has the following features: a plurality of vehicle cameras that are at different
  • Mounting positions of the vehicle can be arranged or arranged; a fusion device for fusing image data of the vehicle cameras; at least one delay device for delaying a transmission of image data of at least one vehicle camera to an interface to the fusion device; and an embodiment of the aforementioned device, the
  • signal transmission capability is connectable or connected to the at least one delay device.
  • an embodiment of the above-mentioned method for generating and additionally or alternatively an embodiment of the above-mentioned method for generating be carried out advantageously.
  • the device may be implemented as a control device for controlling the delay.
  • a computer program product or computer program with program code which can be stored on a machine-readable carrier or storage medium such as a semiconductor memory, a hard disk memory or an optical memory and for carrying out, implementing and / or controlling the steps of the method according to one of the above
  • Fig. 1 is a schematic representation of a vehicle according to a
  • FIG. 2 shows a schematic illustration of a camera image according to an embodiment
  • 3 is a schematic representation of a camera image according to an exemplary embodiment
  • 4 is an illustration of a camera image according to a
  • Fig. 5 is a schematic representation of a vehicle according to a
  • Fig. 6 is a schematic representation of a vehicle with a
  • Multi-camera system according to an embodiment
  • 7 is an illustration of a camera image according to a
  • FIG. 8 is an illustration of a camera image according to a
  • FIG. 10 is a flowchart of a method for generating according to an exemplary embodiment.
  • the vehicle 100 is, for example, a motor vehicle, in particular in the form of a
  • vehicle 100 Of the vehicle 100, only two vehicle cameras 102 and 104 are shown by way of example. Thus, the vehicle 100 according to the embodiment shown in Fig. 1, a first vehicle camera 102 and a second
  • the first vehicle camera 102 is arranged, for example, in the region of a front end section of the vehicle 100, and the second vehicle camera 102 is arranged, for example, in the region of a vehicle side of the vehicle 100.
  • the first vehicle camera 102 has a first viewing angle 112.
  • the first viewing angle 112 includes an area that is, for example, in Forward direction is arranged in front of the vehicle 100.
  • Vehicle camera 104 has a second viewing angle 114.
  • the second viewing angle 114 includes an area that is arranged, for example, laterally next to the vehicle 100.
  • Viewing angles 114 partially overlap.
  • Vehicle camera 104 overlap, a plurality of objects 120, 122, 124 and 126 are arranged.
  • the objects 120, 122, 124 and 126 are disposed in the vicinity of the vehicle 100. These are, by way of example only, four objects, a first object 120, a second object 122, a third object 124, and a fourth object 126.
  • FIG. 2 shows a schematic representation of a camera image 202 according to an exemplary embodiment.
  • the camera image 202 also called the first camera image 202, is a camera image based on image data of the first vehicle camera from FIG. 1.
  • the first camera image 202 shows the objects 120, 122, 124 and 126 from FIG. 1 from the first viewing angle the first
  • FIG. 3 shows a schematic representation of a camera image 304 according to one exemplary embodiment.
  • the camera image 304 or second camera image 304 is a camera image based on image data of the second vehicle camera of FIG. 1.
  • the second camera image 304 shows the objects 120, 122, and 124 of FIG. 1 from the second viewpoint of the second
  • the fourth object is obscured by the first object 120 and the second object 122.
  • the cameras such as vehicle cameras 102 and 104
  • the cameras are typically mounted at different locations on the vehicle 100 are, for. B. front, left, right, back. For this reason, the cameras do not have a common camera center.
  • the images of the cameras such as the camera images 202 and 304, are taken from slightly different perspectives or viewing angles 112 and 114 and thus may have different image contents in the overlapping regions.
  • FIGS. 2 and 3 show an effect of different camera centers in a multi-camera system of the vehicle 100 of FIG. 1.
  • FIG. 4 shows a representation of a camera image 400 according to a
  • the camera image 400 is, for example, a camera image that is generated by using image data of the vehicle cameras of FIG. 1 or similar vehicle cameras by a fusion or
  • the camera image 400 is the result of suboptimal processing of the image data.
  • Fig. 4 shows differently expressed, for example, disturbing effects in stitching with crossfading.
  • the vehicle 500 is, for example, a motor vehicle, in particular in the form of a
  • vehicle 500 Of the vehicle 500, four vehicle cameras 501, 502, 503 and 504 of a multi-camera system of the vehicle 500 are shown. Thus, the vehicle 500 according to the embodiment shown in Fig. 5, a first vehicle camera
  • the first vehicle camera 501 is disposed in the region of a pre-contemplated portion of the vehicle 500.
  • the second Vehicle camera 502 is arranged in the area of a vehicle left side of vehicle 500 in the forward drive direction.
  • the third vehicle camera 503 is in the area of a right side of the vehicle in the forward direction of travel
  • the fourth vehicle camera 504 is arranged in the region of a rear section of the vehicle 500.
  • the vehicle 500 is shown at a first position ti at a first position and at a second time t 2 at a second position.
  • the fourth vehicle camera 504 is arranged along a distance s at a first location Si, wherein the first vehicle camera 501 is arranged at a second location s 2 .
  • the fourth vehicle camera 504 is arranged at the second location s 2 .
  • a movement path of the vehicle 500 between the first time ti and the second time t 2 corresponds to
  • the distance between the first location Si and the second location s 2 in the illustration of FIG. 5 corresponds to a first distance Di between the first vehicle camera 501 and the fourth vehicle camera 504.
  • a second distance D 2 between the second vehicle camera 502 and the fourth vehicle camera 504 corresponds according to the embodiment shown in FIG. 5 a third distance D 3 between the third vehicle camera 503 and the fourth vehicle camera 504.
  • FIG. 5 schematically shows a four-camera system in a moving vehicle 500 at two different times ti and t 2 and one example of a moving four-camera system in a vehicle 500.
  • FIG. 6 shows a schematic representation of a vehicle 500 with a multi-camera system 600 according to one exemplary embodiment.
  • the vehicle 500 is the vehicle of FIG. 5 or a similar vehicle.
  • the multi-camera system 600 or multi-camera system 600 only has by way of example a first vehicle camera 501, a second vehicle camera 502, a third vehicle camera 503 and a fourth vehicle camera 504.
  • the first vehicle camera 501, the second vehicle camera 502, the third vehicle camera 503, and the fourth vehicle camera 504 are the vehicle cameras 501, 502, 503, and 504 of FIG. 5 or the like
  • the multi-camera system 600 has a plurality of vehicle cameras 501, 502, 503 and 504 that are at different
  • Mounting positions of the vehicle 500 are arranged.
  • the multi-camera system 600 may include more than the four vehicle cameras 501, 502, 503, and 504, as symbolically illustrated by dots in FIG. 6 between the third vehicle camera 503 and the fourth vehicle camera 504.
  • the first vehicle camera 501 is configured to provide first image data 601.
  • the second vehicle camera 502 is configured to provide second image data 602.
  • the third vehicle camera 503 is configured to provide third image data 603.
  • the fourth vehicle camera 504 is configured to provide fourth image data 604.
  • the image data 601, 602, 603 and 604 may be present as video stream.
  • the multi-camera system 600 further includes at least one
  • Delay device 611, 612, 613, 614 according to the embodiment shown in FIG. 6, four delay devices 611, 612, 613 and 614, for delaying forwarding the image data 601, 602, 603 and 604 of the vehicle cameras 501, 502, 503 and 504 an interface to a
  • the multi-camera system 600 includes the delay devices 611, 612, 613, and 614 and the fusion device 620.
  • the vehicle cameras 501, 502, 503 and 504 are data transferable via the delay devices 611, 612, 613 and 614 are connected to the fusion device 620.
  • a first fusion device 620 Here is a first
  • Delay device 611 is configured to delay forwarding of the first image data 601 from the first vehicle camera 501 to the fusion device 620.
  • the second delay device 612 is configured to delay forwarding of the second image data 602 from the second vehicle camera 502 to the fusion device 620.
  • Delay device 613 is configured to delay forwarding of the third image data 603 from the third vehicle camera 503 to the fusion device 620.
  • the fourth delay device 614 is configured to delay a forwarding of the fourth image data 604 from the fourth vehicle camera 504 to the fusion device 620.
  • the multi-camera system 600 may also include at least one further retarder, as indicated by dots between the third retarder 613 and the fourth
  • Delay device 614 is shown symbolically.
  • the fusion device 620 is configured to fuse the image data 601, 602, 603 and 604 of the vehicle cameras 501, 502, 503 and 504 after delay by the delay devices 611, 612, 613 and 614.
  • the fusion device 620 is configured to generate an overall image fused image data 625 using the delayed-relayed image data 601, 602, 603, and 604.
  • the overall picture can be, for example
  • the multi-camera system 600 also includes a delay control device 630.
  • the delay control device 630 is configured to
  • Delay signals 631, 632, 633 and 634 for the multi-camera system 600 more precisely for the delay devices 611, 612, 613 and 614 to generate.
  • the delay signals 631, 632, 633 and 634 represent camera-specific delay values for delaying the transmission of image data by means of the delay devices 611, 612, 613 and 614.
  • the delay signals 631, 632, 633, and 634 are suitable to use
  • the delay control device 630 is designed to be the
  • the delay controller 630 is configured to provide the detected delay signals 631, 632, 633, and 634 to at least one interface to the delay devices 611, 612, 613, and 614.
  • the delay controller 630 is configured to provide a first delay signal 631 having a first camera specific one
  • Delay value for the second delay device 612 to generate a third delay signal 633 with a third camera-specific delay value for the third delay device 613 and a fourth delay signal 634 with a fourth camera-specific delay value for the fourth delay device 614.
  • the delay controller 630 may be configured to generate at least one further delay signal.
  • the vehicle 500 further includes a display device 640.
  • the display device 640 is communicatively coupled to the fusion device 620.
  • Fusion device 620 is configured to provide fused image data 625 to display device 640.
  • the display device 640 is configured to display, in particular, a panoramic view image or the like using the fused image data 625.
  • the vehicle 500 at least one vehicle sensor device 650 on.
  • the at least one vehicle sensor device 650 is connected to the delay control device 630 of the multi-camera system 600 in a data-transfer-capable manner.
  • the at least one vehicle sensor device 650 is configured to receive vehicle data 655 for the delay control device 630
  • the vehicle data 655 for example
  • Speed data representing a speed value of the vehicle 500, position data representing a position and / or position change of the vehicle 500, and / or direction data indicative of a traveling direction of the vehicle 500 relative to at least one mounting position of the vehicle cameras 501, 502, 503 and 504 represent.
  • the delay control device 630 is configured to use at least one of the delay signals 631, 632, 633 and 634 using the vehicle data 655, in particular the
  • the delay control device 630 is configured to determine at least one of the delay signals 631, 632, 633, and 634 using at least one frame information representing a frame of at least one vehicle camera 501, 502, 503, and 504.
  • the delay control device 630 is configured to determine at least one of the delay signals 631, 632, 633, and 634 using at least one frame information representing a frame of at least one vehicle camera 501, 502, 503, and 504.
  • Delay controller 630 is configured to provide the speed data, the position data, the direction data, and / or the at least one
  • the delay control device 630 is according to a
  • Detect delay signals 631, 632, 633 and 634 using at least one predetermined and / or maximum delay value.
  • Delay value stored for example, in the delay control device 630 or another device.
  • the multi-camera system 600 of the vehicle 500 is configured to combine images of a plurality of single cameras 501, 502, 503, and 504 into one
  • All-round view videos eg. B. as support when parking.
  • the fusion takes place in the fusion device 620 first for individual images; by running sequence of the overall picture 625, for example, an all-round video is produced correspondingly.
  • the fourth vehicle camera 504 which is arranged at the rear of the vehicle 500, is located at the same location at the time t 2 , at which the first vehicle camera 501 located at the front of the vehicle 500 is located at the time ti is located. If now the video stream or now the first image data 601 of the first vehicle camera 501 are delayed so that at time t 2 to the
  • Time ti taken picture is displayed, d. H. for a first
  • Speed data of the vehicle data 655 is represented, the first delay or the first delay value ⁇ by the
  • the first distance Di represents the distance between the first vehicle camera 501 and the fourth vehicle camera 504 from FIG. 5 or FIG. 6 in the direction of travel.
  • the image data 602 and 603 of the side cameras, the second vehicle camera 502, and the third vehicle camera 503 may be detected by the fusion device 620 before merging by the fusion device 620
  • Delay unit ⁇ ⁇ which the image data 601, 602, 603 and 604 or
  • triggering times of the vehicle cameras 501, 502, 503 and 504 can also be triggered. This
  • Delay operation is controlled by the delay control device 630 and the delay control unit 630, respectively.
  • the delayed image data 601, 602, 603 and 604 or video signals are combined in the fusion device 620, which is designed to stitch the image data 601, 602, 603 and 604, for example, to the overall image 625 by means of cross-fading and to the display device 640 or display unit 640 passed.
  • the delay controller 630 may determine the delay values or
  • Detect delay signals 631, 632, 632 below 634 in various ways, such as. Depending on the vehicle speed v and the individual installation position of the vehicle cameras 501, 502, 503 and 504; according to further criteria, such. B. the vehicle position to drift too
  • FIG. 7 shows a representation of a camera image 700 according to a
  • the camera image 700 is similar to the camera image of FIG. 4. In other words, the camera image 700 is the result of a fusion without different and / or optimal delay values.
  • the camera image 700 shows an environment of a vehicle.
  • FIG. 8 shows a representation of a camera image 800 according to a
  • the camera image 800 also shows the surroundings of the vehicle, similar to the camera image of FIG. 7. However, the camera image 800 in FIG. 8 is by merging image data with optimal delay values
  • Multi-camera system of the vehicle of Fig. 5 and Fig. 6 recognizable.
  • the result of stitching the images or first image data of the first vehicle camera or front camera with those of the third vehicle camera or right side camera without (FIG. 7) and with (FIG.
  • FIG. 9 shows a flow chart of a method 900 for generating according to an exemplary embodiment.
  • the method 900 is executable to
  • method 900 is for
  • the method 900 for generating comprises a step 910 of determining at least one delay signal comprising at least one of the delay signals
  • Fusion device for fusing image data of the vehicle cameras represented using distances between the
  • the method 900 for generating comprises a step 920 of providing the at least one delay signal to at least one interface to at least one
  • Delay device for delaying the transmission of image data.
  • FIG. 10 shows a flow chart of a method 1000 for generating according to an exemplary embodiment.
  • the method 1000 is executable to generate merged image data for a multi-camera system for a vehicle. That's it
  • the method 1000 is operable to be produced in conjunction with a multi-camera system having a plurality of vehicle cameras at different mounting positions of the vehicle.
  • the method 1000 for generating in conjunction with the method for generating from FIG. 9 can be executed.
  • the method 1000 for generating comprises a step 1010 of delaying a transmission of image data of at least one vehicle camera to an interface to a fusion device for fusing image data of the vehicle cameras using at least one delay signal.
  • the at least one delay signal is generated according to the method for generating from FIG. 9.
  • the method 1000 for generating comprises a step 1020 of merging the delayed-forwarded image data to produce the merged image data. If an exemplary embodiment comprises an "and / or" link between a first feature and a second feature, then this is to be read so that the embodiment according to one embodiment, both the first feature and the second feature and according to another embodiment either only first feature or only the second feature.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

Die Erfindung betrifft ein Verfahren zum Generieren von Verzögerungssignalen für ein Mehrkamerasystem (600) für ein Fahrzeug (500). Dabei weist das Mehrkamerasystem (600) eine Mehrzahl von Fahrzeugkameras (501, 502, 503, 504) an unterschiedlichen Montagepositionen des Fahrzeugs (500) auf. Das Verfahren weist einen Schritt des Ermitteins zumindest eines Verzögerungssignals, das mindestens einen kameraspezifischen Verzögerungswert zum Verzögern einer Weiterleitung von Bilddaten (601, 602, 603, 604) zumindest einer Fahrzeugkamera (501, 502, 503, 504) an eine Schnittstelle zu einer Fusionsvorrichtung (620) repräsentiert, unter Verwendung von Abständen zwischen den Montagepositionen der Fahrzeugkameras (501, 502, 503, 504) auf. Auch weist das Verfahren einen Schritt des Bereitstellens des zumindest einen Verzögerungssignals an zumindest eine Schnittstelle zu mindestens einer Verzögerungsvorrichtung (611, 612, 613, 614) auf.

Description

Beschreibung Titel
Verfahren und Vorrichtung zum Generieren von Verzögerungssignalen für ein Mehrkamerasvstem und zum Erzeugen fusionierter Bilddaten für ein
Mehrkamerasvstem für ein Fahrzeug sowie Mehrkamerasvstem
Stand der Technik
Die Erfindung geht aus von einer Vorrichtung oder einem Verfahren nach
Gattung der unabhängigen Ansprüche. Gegenstand der vorliegenden Erfindung ist auch ein Computerprogramm.
Multikamerasysteme in Fahrzeugen können beispielsweise Bilder mehrerer Einzelkameras zu einem Gesamtbild fusionieren. Die Einzelkameras können insbesondere derart angeordnet sein, dass sich erfasste Bildausschnitte teilweise überlappen. Neben beispielsweise einer Fusion durch Überblendung können auch andere Verfahren mit teils höherem Rechenaufwand zum Einsatz kommen, um die Einzelkamerabilder zu vereinigen.
Offenbarung der Erfindung
Vor diesem Hintergrund werden mit dem hier vorgestellten Ansatz ein Verfahren zum Generieren von Verzögerungssignalen für ein Mehrkamerasystem für ein Fahrzeug, ein Verfahren zum Erzeugen fusionierter Bilddaten für ein
Mehrkamerasystem für ein Fahrzeug, weiterhin eine Vorrichtung, die eines dieser Verfahren verwendet, ein Mehrkamerasystem für ein Fahrzeug sowie schließlich ein entsprechendes Computerprogramm gemäß den Hauptansprüchen vorgestellt. Durch die in den abhängigen Ansprüchen aufgeführten Maßnahmen sind vorteilhafte Weiterbildungen und Verbesserungen der im unabhängigen Anspruch angegebenen Vorrichtung möglich.
Gemäß Ausführungsformen der vorliegenden Erfindung kann insbesondere ein Zusammenfügen oder eine Fusion, ein sogenanntes Stitching, für auf bewegten Objekten bzw. Fahrzeugen montierte Multikamerasysteme bzw.
Mehrkamerasysteme bereitgestellt werden. Hierzu kann beispielsweise ausgenutzt werden, dass sich bei einem bewegten Fahrzeug bezüglich der Umgebung gemessene Positionen einzelner Kameras eines
Mehrkamerasystems verändern. Durchlaufen die Kameras ähnliche Trajektorien im Raum, so kann insbesondere durch eine geeignete zeitliche Verzögerung der Bilddaten bzw. Kameravideos eine Synchronisation bezüglich des Ortes bzw. eine räumliche oder örtliche Synchronisation angenähert oder hergestellt werden. Für die Fusion können dabei Kamerapositionen beispielsweise virtuell einander angenähert und in ein gemeinsames Zentrum bewegt werden.
Vorteilhafterweise kann gemäß Ausführungsformen der vorliegenden Erfindung beispielsweise eine verbesserte Zusammenführung der Bilder von einzelnen Kameras eines Mehrkamerasystems insbesondere zu einer verbesserten 360- Grad-Darstellung oder Rundumsichtsdarstellung, beispielsweise für eine
Augmented-Reality- Anzeige, im Fahrzeug realisiert werden. Hierbei können insbesondere Störeffekte vermieden oder zumindest reduziert werden. Auch können Übergange an Fügestellen zwischen Einzelbildern glatter und genauer gemacht werden.
Es wird ein Verfahren zum Generieren von Verzögerungssignalen für ein
Mehrkamerasystem für ein Fahrzeug vorgestellt, wobei das Mehrkamerasystem eine Mehrzahl von Fahrzeugkameras an unterschiedlichen Montagepositionen des Fahrzeugs aufweist, wobei das Verfahren folgende Schritte aufweist:
Ermitteln zumindest eines Verzögerungssignals, das mindestens einen kameraspezifischen Verzögerungswert zum Verzögern einer Weiterleitung von Bilddaten zumindest einer Fahrzeugkamera an eine Schnittstelle zu einer Fusionsvorrichtung zum Fusionieren von Bilddaten der Fahrzeugkameras repräsentiert, unter Verwendung von Abständen zwischen den
Montagepositionen der Fahrzeugkameras; und
Bereitstellen des zumindest einen Verzögerungssignals an zumindest eine Schnittstelle zu mindestens einer Verzögerungsvorrichtung zum Verzögern der Weiterleitung von Bilddaten.
Dieses Verfahren kann beispielsweise in Software oder Hardware oder in einer Mischform aus Software und Hardware beispielsweise in einem Steuergerät oder einer Vorrichtung implementiert sein. Das Fahrzeug kann als ein Kraftfahrzeug ausgeführt sein, beispielsweise ein straßengebundenes Fahrzeug, insbesondere ein Personenkraftwagen, ein Lastkraftwagen, ein Nutzfahrzeug oder dergleichen. Die Fahrzeugkameras und zusätzlich oder alternativ die Montagepositionen können so angeordnet sein, dass sich von Fahrzeugkameras erfasste, benachbarte Bildausschnitte zumindest in einem Randbereich überlappen. Bei Mehrkamerasystemen für Fahrzeuge können die Fahrzeugkameras an unterschiedlichen Montagepositionen an oder auf dem Fahrzeug montierbar oder montiert sein, beispielsweise vorne, links, rechts, hinten. Insbesondere kann für jede Fahrzeugkamera des Mehrkamerasystems ein Verzögerungssignal ermittelt werden, das einen kameraspezifischen Verzögerungswert zum Verzögern einer Weiterleitung von Bilddaten der jeweiligen Fahrzeugkamera an die Schnittstelle zu der Fusionsvorrichtung repräsentiert. Dabei kann der Verzögerungswert auch null betragen, um eine unverzögerte Weiterleitung zu bewirken.
Gemäß einer Ausführungsform kann im Schritt des Ermitteins das zumindest eine Verzögerungssignal unter Verwendung von eingelesenen
Geschwindigkeitsdaten ermittelt werden, die einen Geschwindigkeitswert des Fahrzeugs repräsentieren. Eine solche Ausführungsform bietet den Vorteil, dass mittels solcher Verzögerungssignale die Fusion noch genauer erfolgen kann. Denn unter Verwendung der Geschwindigkeitsdaten kann eine zeitliche und zusätzlich oder alternativ räumliche Synchronisation oder Angleichung der Bilddaten von unterschiedlichen Fahrzeugkameras verbessert werden. Auch kann im Schritt des Ermitteins das zumindest eine Verzögerungssignal unter Verwendung von eingelesenen Positionsdaten ermittelt werden, die eine Position und zusätzlich oder alternativ eine Positionsänderung des Fahrzeugs repräsentieren. Eine solche Ausführungsform bietet den Vorteil, dass eine Genauigkeit der Bilddatenfusion mittels dieses Verzögerungssignals noch weiter gesteigert werden kann, da auch eine Drift des Fahrzeugs berücksichtigt werden kann.
Ferner kann im Schritt des Ermitteins das zumindest eine Verzögerungssignal unter Verwendung zumindest einer Bildausschnittsinformation, die einen
Bildausschnitt zumindest einer Fahrzeugkamera repräsentiert, und zusätzlich oder alternativ unter Verwendung von eingelesenen Richtungsdaten ermittelt werden, die eine Fahrtrichtung des Fahrzeugs relativ zu mindestens einer Montageposition der Fahrzeugkameras repräsentieren. Eine solche
Ausführungsform bietet den Vorteil, dass eine dynamische Wahl eines örtlichen Synchronisationspunktes realisiert werden kann, auf weichen die Bilddaten oder Videosignale zeitlich synchronisiert werden können.
Zudem kann im Schritt des Ermitteins das zumindest eine Verzögerungssignal unter Verwendung von mindestens einem vorgegebenen und zusätzlich oder alternativ maximalen Verzögerungswert ermittelt werden. Eine solche
Ausführungsform bietet den Vorteil, dass ein für eine Fusion hinderliches Ausmaß von Unterschieden zwischen Bildinhalten der Bilddaten von
unterschiedlichen Fahrzeugkameras vermieden werden kann.
Insbesondere kann das Verfahren zum Generieren auch einen Schritt des Einlesens der Geschwindigkeitsdaten, der Positionsdaten, der zumindest einen Bildausschnittsinformation, der Richtungsdaten und zusätzlich oder alternativ des vorgegebenen und zusätzlich oder alternativ maximalen Verzögerungswertes aufweisen.
Es wird auch ein Verfahren zum Erzeugen fusionierter Bilddaten für ein Mehrkamerasystem für ein Fahrzeug vorgestellt, wobei das Mehrkamerasystem eine Mehrzahl von Fahrzeugkameras an unterschiedlichen Montagepositionen des Fahrzeugs aufweist, wobei das Verfahren folgende Schritte aufweist:
Verzögern einer Weiterleitung von Bilddaten zumindest einer Fahrzeugkamera an eine Schnittstelle zu einer Fusionsvorrichtung zum Fusionieren von Bilddaten der Fahrzeugkameras unter Verwendung zumindest eines Verzögerungssignals, das gemäß einer Ausführungsform des vorstehend genannten Verfahrens generiert ist; und
Fusionieren der verzögert weitergeleiteten Bilddaten, um die fusionierten
Bilddaten zu erzeugen.
Dieses Verfahren kann beispielsweise in Software oder Hardware oder in einer Mischform aus Software und Hardware beispielsweise in einem Steuergerät oder einer Vorrichtung implementiert sein. Dabei kann das Verfahren zum Erzeugen in Verbindung mit einer Ausführungsform des Verfahrens zum Generieren ausgeführt werden. Im Schritt des Fusionierens können Bilddaten oder Videos mehrerer Fahrzeugkameras beispielsweise durch gezieltes Alpha-Blending von Einzelbildern, wobei eine Sichtbarkeit von Bildpixeln in Überlappungsbereichen von außen nach innen ansteigen kann, oder mittels anderer Stitching-Verfahren kombiniert fusioniert werden, wie beispielsweise durch hartes Überblenden. Das Verfahren zum Erzeugen kann auch einen Schritt des Empfangens oder
Abrufens des zumindest einen Verzögerungssignals von Schnittstelle zu einer Steuereinrichtung zum Steuern einer Verzögerung aufweisen, wobei die
Steuereinrichtung ausgebildet sein kann, um eine Ausführungsform des
Verfahrens zum Generieren auszuführen.
Der hier vorgestellte Ansatz schafft ferner eine Vorrichtung, die ausgebildet ist, um die Schritte einer Variante eines hier vorgestellten Verfahrens in
entsprechenden Einrichtungen durchzuführen, anzusteuern bzw. umzusetzen. Auch durch diese Ausführungsvariante der Erfindung in Form einer Vorrichtung kann die der Erfindung zugrunde liegende Aufgabe schnell und effizient gelöst werden.
Unter einer Vorrichtung kann vorliegend ein elektrisches Gerät verstanden werden, das Sensorsignale verarbeitet und in Abhängigkeit davon Steuer- und/oder Datensignale ausgibt. Die Vorrichtung kann eine Schnittstelle aufweisen, die hard- und/oder softwaremäßig ausgebildet sein kann. Bei einer hardwaremäßigen Ausbildung können die Schnittstellen beispielsweise Teil eines sogenannten System-ASICs sein, der verschiedenste Funktionen der Vorrichtung beinhaltet. Es ist jedoch auch möglich, dass die Schnittstellen eigene, integrierte Schaltkreise sind oder zumindest teilweise aus diskreten Bauelementen bestehen. Bei einer softwaremäßigen Ausbildung können die Schnittstellen Softwaremodule sein, die beispielsweise auf einem Mikrocontroller neben anderen Softwaremodulen vorhanden sind.
Es wird zudem ein Mehrkamerasystem für ein Fahrzeug vorgestellt, wobei das Mehrkamerasystem folgende Merkmale aufweist: eine Mehrzahl von Fahrzeugkameras, die an unterschiedlichen
Montagepositionen des Fahrzeugs anordenbar oder angeordnet sind; eine Fusionsvorrichtung zum Fusionieren von Bilddaten der Fahrzeugkameras; mindestens eine Verzögerungsvorrichtung zum Verzögern einer Weiterleitung von Bilddaten zumindest einer Fahrzeugkamera an eine Schnittstelle zu der Fusionsvorrichtung; und eine Ausführungsform der vorstehend genannten Vorrichtung, die
signalübertragungsfähig mit der mindestens einen Verzögerungsvorrichtung verbindbar oder verbunden ist.
In Verbindung mit dem Mehrkamerasystem kann eine Ausführungsform des vorstehend genannten Verfahrens zum Generieren und zusätzlich oder alternativ eine Ausführungsform des vorstehend genannten Verfahrens zum Erzeugen vorteilhaft ausgeführt werden. Die Vorrichtung kann als eine Steuervorrichtung zum Steuern der Verzögerung ausgeführt sein.
Von Vorteil ist auch ein Computerprogrammprodukt oder Computerprogramm mit Programmcode, der auf einem maschinenlesbaren Träger oder Speichermedium wie einem Halbleiterspeicher, einem Festplattenspeicher oder einem optischen Speicher gespeichert sein kann und zur Durchführung, Umsetzung und/oder Ansteuerung der Schritte des Verfahrens nach einer der vorstehend
beschriebenen Ausführungsformen verwendet wird, insbesondere wenn das Programmprodukt oder Programm auf einem Computer oder einer Vorrichtung ausgeführt wird.
Ausführungsbeispiele der Erfindung sind in den Zeichnungen dargestellt und in der nachfolgenden Beschreibung näher erläutert. Es zeigt:
Fig. 1 eine schematische Darstellung eines Fahrzeugs gemäß einem
Ausführungsbeispiel in einer Umgebung;
Fig. 2 eine schematische Darstellung eines Kamerabildes gemäß einem Ausführungsbeispiel;
Fig. 3 eine schematische Darstellung eines Kamerabildes gemäß einem Ausführungsbeispiel; Fig. 4 eine Darstellung eines Kamerabildes gemäß einem
Ausführungsbeispiel;
Fig. 5 eine schematische Darstellung eines Fahrzeugs gemäß einem
Ausführungsbeispiel in zwei Positionen;
Fig. 6 eine schematische Darstellung eines Fahrzeugs mit einem
Mehrkamerasystem gemäß einem Ausführungsbeispiel; Fig. 7 eine Darstellung eines Kamerabildes gemäß einem
Ausführungsbeispiel;
Fig. 8 eine Darstellung eines Kamerabildes gemäß einem
Ausführungsbeispiel;
Fig. 9 ein Ablaufdiagramm eines Verfahrens zum Generieren gemäß einem Ausführungsbeispiel; und
Fig. 10 ein Ablaufdiagramm eines Verfahrens zum Erzeugen gemäß einem Ausführungsbeispiel.
In der nachfolgenden Beschreibung günstiger Ausführungsbeispiele der vorliegenden Erfindung werden für die in den verschiedenen Figuren dargestellten und ähnlich wirkenden Elemente gleiche oder ähnliche
Bezugszeichen verwendet, wobei auf eine wiederholte Beschreibung dieser Elemente verzichtet wird.
Fig. 1 zeigt eine schematische Darstellung eines Fahrzeugs 100 gemäß einem Ausführungsbeispiel in einer Umgebung. Bei dem Fahrzeug 100 handelt es sich beispielsweise um ein Kraftfahrzeug, insbesondere in Gestalt eines
Personenkraftwagens oder eines Nutzfahrzeuges.
Von dem Fahrzeug 100 sind beispielhaft lediglich zwei Fahrzeugkameras 102 und 104 gezeigt. Somit weist das Fahrzeug 100 gemäß dem in Fig. 1 gezeigten Ausführungsbeispiel eine erste Fahrzeugkamera 102 und eine zweite
Fahrzeugkamera 104 auf. Die erste Fahrzeugkamera 102 ist beispielsweise im Bereich eines Vorderwagenabschnittes des Fahrzeugs 100 angeordnet und die zweite Fahrzeugkamera 102 ist beispielsweise im Bereich einer Fahrzeugseite des Fahrzeugs 100 angeordnet.
Die erste Fahrzeugkamera 102 weist einen ersten Blickwinkel 112 auf. Der erste Blickwinkel 112 umfasst einen Bereich, der beispielsweise in Vorwärtsfahrtrichtung vor dem Fahrzeug 100 angeordnet ist. Die zweite
Fahrzeugkamera 104 weist einen zweiten Blickwinkel 114 auf. Der zweite Blickwinkel 114 umfasst einen Bereich, der beispielsweise seitlich neben dem Fahrzeug 100 angeordnet ist. Der erste Blickwinkel 112 und der zweite
Blickwinkel 114 überlappen sich teilweise.
In einem Überlappungsbereich, in dem sich der erste Blickwinkel 112 der ersten Fahrzeugkamera 102 und der zweite Blickwinkel 114 der zweiten
Fahrzeugkamera 104 überlappen, sind eine Mehrzahl von Objekten 120, 122, 124 und 126 angeordnet. Die Objekte 120, 122, 124 und 126 sind in der Umgebung des Fahrzeugs 100 angeordnet. Hierbei handelt es sich lediglich beispielhaft um vier Objekte, ein erstes Objekt 120, ein zweites Objekt 122, ein drittes Objekt 124 und ein viertes Objekt 126.
Fig. 2 zeigt eine schematische Darstellung eines Kamerabildes 202 gemäß einem Ausführungsbeispiel. Bei dem Kamerabild 202, auch erstes Kamerabild 202 genannt, handelt es sich um ein Kamerabild aufgrund von Bilddaten der ersten Fahrzeugkamera aus Fig. 1. Das erste Kamerabild 202 zeigt die Objekte 120, 122, 124 und 126 aus Fig. 1 aus dem ersten Blickwinkel der ersten
Fahrzeugkamera.
Fig. 3 zeigt eine schematische Darstellung eines Kamerabildes 304 gemäß einem Ausführungsbeispiel. Bei dem Kamerabild 304 oder zweiten Kamerabild 304 handelt es sich um ein Kamerabild aufgrund von Bilddaten der zweiten Fahrzeugkamera aus Fig. 1. Das zweite Kamerabild 304 zeigt die Objekte 120, 122 und 124 aus Fig. 1 aus dem zweiten Blickwinkel der zweiten
Fahrzeugkamera. Hierbei ist das vierte Objekt durch das erste Objekt 120 und das zweite Objekt 122 verdeckt.
Allgemein gesagt sowie unter Bezugnahme auf die Figuren 1 bis 3 ist anzumerken, dass bei Mehrkamerasystemen oder Multikamerasystemen für Fahrzeuge die Kameras, wie beispielsweise die Fahrzeugkameras 102 und 104, in der Regel an unterschiedlichen Positionen auf dem Fahrzeug 100 montiert sind, z. B. vorne, links, recht, hinten. Aus diesem Grund besitzen die Kameras kein gemeinsames Kamerazentrum. Dies hat zur Folge, dass die Bilder der Kameras, wie beispielsweise die Kamerabilder 202 und 304, aus leicht unterschiedlichen Perspektiven bzw. Blickwinkeln 112 und 114 aufgenommen werden und damit in den Überlappungsbereichen unterschiedliche Bildinhalte aufweisen können. Insbesondere zeigen Fig. 2 und Fig. 3 eine Auswirkung unterschiedlicher Kamerazentren bei einem Multikamerasystem des Fahrzeugs 100 aus Fig. 1.
Fig. 4 zeigt eine Darstellung eines Kamerabildes 400 gemäß einem
Ausführungsbeispiel. Bei dem Kamerabild 400 handelt es sich beispielsweise um ein Kamerabild, das unter Verwendung von Bilddaten der Fahrzeugkameras aus Fig. 1 oder ähnlicher Fahrzeugkameras durch eine Fusion bzw.
Zusammenführung von Bilddaten erhalten wird. Hierbei ist das Kamerabild 400 das Ergebnis einer suboptimalen Verarbeitung der Bilddaten. Bei der
Zusammenführung von Bildern bzw. Bilddaten zu einem Gesamtbild wie dem Kamerabild 400 kann es bei suboptimaler Bildverarbeitung in den
Überlappungsbereichen aufgrund unterschiedlicher Kamerazentren zu sichtbaren Störeffekten kommen, wie es in Fig. 4 in der Mitte zu erkennen ist, wo eine doppelte Häuserkante und ein verkürztes Auto gezeigt sind. Somit zeigt Fig. 4 anders ausgedrückt beispielsweise Störeffekte bei Stitching mit Überblendung.
Fig. 5 zeigt eine schematische Darstellung eines Fahrzeugs 500 gemäß einem Ausführungsbeispiel in zwei Positionen. Bei dem Fahrzeug 500 handelt es sich beispielsweise um ein Kraftfahrzeug, insbesondere in Gestalt eines
Personenkraftwagens oder eines Nutzfahrzeuges.
Von dem Fahrzeug 500 sind vier Fahrzeugkameras 501, 502, 503 und 504 eines Mehrkamerasystems des Fahrzeugs 500 gezeigt. Somit weist das Fahrzeug 500 gemäß dem in Fig. 5 gezeigten Ausführungsbeispiel eine erste Fahrzeugkamera
501, eine zweite Fahrzeugkamera 502, eine dritte Fahrzeugkamera 503 und eine vierte Fahrzeugkamera 504 auf. Die erste Fahrzeugkamera 501 ist im Bereich eines Vord erwägen abschnittes des Fahrzeugs 500 angeordnet. Die zweite Fahrzeugkamera 502 ist im Bereich einer in Vorwärtsfahrtrichtung linken Fahrzeugseite des Fahrzeugs 500 angeordnet. Die dritte Fahrzeugkamera 503 ist im Bereich einer in Vorwärtsfahrtrichtung rechten Fahrzeugseite des
Fahrzeugs 500 angeordnet. Die vierte Fahrzeugkamera 504 ist im Bereich eines Hinterwagenabschnittes des Fahrzeugs 500 angeordnet.
In Fig. 5 ist das Fahrzeug 500 zu einem ersten Zeitpunkt ti an einer ersten Position und zu einem zweiten Zeitpunkt t2 an einer zweiten Position dargestellt. In der ersten Position des Fahrzeugs 500 ist die vierte Fahrzeugkamera 504 entlang einer Strecke s an einer ersten Stelle Si angeordnet, wobei die erste Fahrzeugkamera 501 an einer zweiten Stelle s2 angeordnet ist. In der zweiten Position des Fahrzeugs 500 ist die vierte Fahrzeugkamera 504 an der zweiten Stelle s2 angeordnet. Somit entspricht ein Bewegungsweg des Fahrzeugs 500 zwischen dem ersten Zeitpunkt ti und dem zweiten Zeitpunkt t2 dem
Differenzbetrag eines Abstandes zwischen der ersten Stelle Si und der zweiten Stelle s2.
Der Abstand zwischen der ersten Stelle Si und der zweiten Stelle s2 entspricht in der Darstellung von Fig. 5 einem ersten Abstand Di zwischen der ersten Fahrzeugkamera 501 und der vierten Fahrzeugkamera 504. Ein zweiter Abstand D2 zwischen der zweiten Fahrzeugkamera 502 und der vierten Fahrzeugkamera 504 entspricht gemäß dem in Fig. 5 dargestellten Ausführungsbeispiel einem dritten Abstand D3 zwischen der dritten Fahrzeugkamera 503 und der vierten Fahrzeugkamera 504.
Anders ausgedrückt zeigt Fig. 5 schematisch ein Vierkamerasystem in einem bewegten Fahrzeug 500 zu zwei verschiedenen Zeitpunkten ti und t2 bzw. ein Beispiel eines bewegten Vierkamerasystems in einem Fahrzeug 500.
Fig. 6 zeigt eine schematische Darstellung eines Fahrzeugs 500 mit einem Mehrkamerasystem 600 gemäß einem Ausführungsbeispiel. Bei dem Fahrzeug 500 handelt es sich um das Fahrzeug aus Fig. 5 oder ein ähnliches Fahrzeug. Das Mehrkamerasystem 600 bzw. Multikamerasystem 600 weist lediglich beispielhaft eine erste Fahrzeugkamera 501, eine zweite Fahrzeugkamera 502, eine dritte Fahrzeugkamera 503 und eine vierte Fahrzeugkamera 504 auf. Bei der ersten Fahrzeugkamera 501, der zweiten Fahrzeugkamera 502, der dritten Fahrzeugkamera 503 und der vierten Fahrzeugkamera 504 handelt es sich um die Fahrzeugkameras 501, 502, 503 und 504 aus Fig. 5 oder ähnliche
Fahrzeugkameras.
Anders ausgedrückt weist das Mehrkamerasystem 600 eine Mehrzahl von Fahrzeugkameras 501, 502, 503 und 504 auf, die an unterschiedlichen
Montagepositionen des Fahrzeugs 500 angeordnet sind.
Gemäß einem Ausführungsbeispiel kann das Mehrkamerasystem 600 auf mehr als die vier Fahrzeugkameras 501, 502, 503 und 504 aufweisen, wie es symbolisch durch Punkte in Fig. 6 zwischen der dritten Fahrzeugkamera 503 und der vierten Fahrzeugkamera 504 veranschaulicht ist.
Die erste Fahrzeugkamera 501 ist ausgebildet, um erste Bilddaten 601 bereitzustellen. Die zweite Fahrzeugkamera 502 ist ausgebildet, um zweite Bilddaten 602 bereitzustellen. Die dritte Fahrzeugkamera 503 ist ausgebildet, um dritte Bilddaten 603 bereitzustellen. Die vierte Fahrzeugkamera 504 ist ausgebildet, um vierte Bilddaten 604 bereitzustellen. Die Bilddaten 601, 602, 603 und 604 können als Videostrom vorliegen.
Das Mehrkamerasystem 600 weist ferner mindestens eine
Verzögerungsvorrichtung 611, 612, 613, 614, gemäß dem in Fig. 6 dargestellten Ausführungsbeispiel vier Verzögerungsvorrichtungen 611, 612, 613 und 614, zum Verzögern einer Weiterleitung der Bilddaten 601, 602, 603 und 604 der Fahrzeugkameras 501, 502, 503 und 504 an eine Schnittstelle zu einer
Fusionsvorrichtung 620 auf. Somit weist das Mehrkamerasystem 600 die Verzögerungsvorrichtungen 611, 612, 613 und 614 und die Fusionsvorrichtung 620 auf.
Die Fahrzeugkameras 501, 502, 503 und 504 sind datenübertragungsfähig über die Verzögerungsvorrichtungen 611, 612, 613 und 614 mit der Fusionsvorrichtung 620 verbunden. Hierbei ist eine erste
Verzögerungsvorrichtung 611 ausgebildet, um eine Weiterleitung der ersten Bilddaten 601 von der ersten Fahrzeugkamera 501 an die Fusionsvorrichtung 620 zu verzögern. Die zweite Verzögerungsvorrichtung 612 ist ausgebildet, um eine Weiterleitung der zweiten Bilddaten 602 von der zweiten Fahrzeugkamera 502 an die Fusionsvorrichtung 620 zu verzögern. Die dritte
Verzögerungsvorrichtung 613 ist ausgebildet, um eine Weiterleitung der dritten Bilddaten 603 von der dritten Fahrzeugkamera 503 an die Fusionsvorrichtung 620 zu verzögern. Die vierte Verzögerungsvorrichtung 614 schließlich ist ausgebildet, um eine Weiterleitung der vierten Bilddaten 604 von der vierten Fahrzeugkamera 504 an die Fusionsvorrichtung 620 zu verzögern.
Gemäß einem Ausführungsbeispiel kann das Mehrkamerasystem 600 auch zumindest eine weitere Verzögerungsvorrichtung aufweisen, wie es durch Punkte zwischen der dritten Verzögerungsvorrichtung 613 und der vierten
Verzögerungsvorrichtung 614 symbolisch dargestellt ist.
Die Fusionsvorrichtung 620 ist ausgebildet, um die Bilddaten 601, 602, 603 und 604 der Fahrzeugkameras 501, 502, 503 und 504 nach einer Verzögerung durch die Verzögerungsvorrichtungen 611, 612, 613 und 614 zu fusionieren. Somit ist die Fusionsvorrichtung 620 ausgebildet, um unter Verwendung der verzögert weitergeleiteten Bilddaten 601, 602, 603 und 604 fusionierte Bilddaten 625 für ein Gesamtbild zu erzeugen. Das Gesamtbild kann beispielsweise ein
Rundumsichtbild repräsentieren.
Das Mehrkamerasystem 600 weist auch eine Verzögerungssteuervorrichtung 630 auf. Die Verzögerungssteuervorrichtung 630 ist ausgebildet, um
Verzögerungssignale 631, 632, 633 und 634 für das Mehrkamerasystem 600, genauer gesagt für die Verzögerungsvorrichtungen 611, 612, 613 und 614, zu generieren. Die Verzögerungssignale 631, 632, 633 und 634 repräsentieren kameraspezifische Verzögerungswerte zum Verzögern der Weiterleitung von Bilddaten mittels der Verzögerungsvorrichtungen 611, 612, 613 und 614. Somit sind die Verzögerungssignale 631, 632, 633 und 634 geeignet, um die
Verzögerungsvorrichtungen 611, 612, 613 und 614 zu steuern.
Die Verzögerungssteuervorrichtung 630 ist dabei ausgebildet, um die
Verzögerungssignale 631, 632, 633 und 634 unter Verwendung von Abständen zwischen den Fahrzeugkameras 501, 502, 503 und 504 bzw. zwischen
Montagepositionen der Fahrzeugkameras 501, 502, 503 und 504 zu ermitteln. Auch ist die Verzögerungssteuervorrichtung 630 ausgebildet, um die ermittelten Verzögerungssignale 631, 632, 633 und 634 an zumindest eine Schnittstelle zu den Verzögerungsvorrichtungen 611, 612, 613 und 614 bereitzustellen.
Genau gesagt ist hierbei die Verzögerungssteuervorrichtung 630 ausgebildet, um ein erstes Verzögerungssignal 631 mit einem ersten kameraspezifischen
Verzögerungswert für die erste Verzögerungsvorrichtung 611, ein zweites Verzögerungssignal 632 mit einem zweiten kameraspezifischen
Verzögerungswert für die zweite Verzögerungsvorrichtung 612, ein drittes Verzögerungssignal 633 mit einem dritten kameraspezifischen Verzögerungswert für die dritte Verzögerungsvorrichtung 613 und ein viertes Verzögerungssignal 634 mit einem vierten kameraspezifischen Verzögerungswert für die vierte Verzögerungsvorrichtung 614 zu generieren.
Gemäß einem Ausführungsbeispiel kann die Verzögerungssteuervorrichtung 630 ausgebildet sein, um zumindest ein weiteres Verzögerungssignal zu generieren. Gemäß dem in Fig. 6 gezeigten Ausführungsbeispiel weist das Fahrzeug 500 ferner eine Anzeigevorrichtung 640 auf. Die Anzeigevorrichtung 640 ist datenübertragungsfähig mit der Fusionsvorrichtung 620 verbunden. Die
Fusionsvorrichtung 620 ist ausgebildet, um die fusionierten Bilddaten 625 für die Anzeigevorrichtung 640 bereitzustellen. Die Anzeigevorrichtung 640 ist ausgebildet, um unter Verwendung der fusionierten Bilddaten 625 insbesondere ein Rundumsichtbild oder dergleichen anzuzeigen.
Ferner weist das Fahrzeug 500 gemäß dem in Fig. 6 dargestellten Ausführungsbeispiel zumindest eine Fahrzeugsensorvorrichtung 650 auf. Dabei ist die zumindest eine Fahrzeugsensorvorrichtung 650 datenübertragungsfähig mit der Verzögerungssteuervorrichtung 630 des Mehrkamerasystems 600 verbunden. Die zumindest eine Fahrzeugsensorvorrichtung 650 ist ausgebildet, um Fahrzeugdaten 655 für die Verzögerungssteuervorrichtung 630
bereitzustellen. Hierbei weisen die Fahrzeugdaten 655 beispielsweise
Geschwindigkeitsdaten, die einen Geschwindigkeitswert des Fahrzeugs 500 repräsentieren, Positionsdaten, die eine Position und/oder Positionsänderung des Fahrzeugs 500 repräsentieren, und/oder Richtungsdaten auf, die eine Fahrtrichtung des Fahrzeugs 500 relativ zu mindestens einer Montageposition der Fahrzeugkameras 501, 502, 503 und 504 repräsentieren.
Gemäß einem Ausführungsbeispiel ist die Verzögerungssteuervorrichtung 630 ausgebildet, um zumindest eines der Verzögerungssignale 631, 632, 633 und 634 unter Verwendung von den Fahrzeugdaten 655, insbesondere den
Geschwindigkeitsdaten, den Positionsdaten und/oder den Richtungsdaten zu ermitteln. Zusätzlich oder alternativ ist die Verzögerungssteuervorrichtung 630 gemäß einem Ausführungsbeispiel ausgebildet, um zumindest eines der Verzögerungssignale 631, 632, 633 und 634 unter Verwendung zumindest einer Bildausschnittsinformation zu ermitteln, die einen Bildausschnitt zumindest einer Fahrzeugkamera 501, 502, 503 und 504 repräsentiert. Hierbei ist die
Verzögerungssteuervorrichtung 630 ausgebildet, um die Geschwindigkeitsdaten, die Positionsdaten, die Richtungsdaten und/oder die zumindest eine
Bildausschnittsinformation einzulesen.
Optional ist die Verzögerungssteuervorrichtung 630 gemäß einem
Ausführungsbeispiel auch ausgebildet, um zumindest eines der
Verzögerungssignale 631, 632, 633 und 634 unter Verwendung von mindestens einem vorgegebenen und/oder maximalen Verzögerungswert zu ermitteln.
Hierbei ist der mindestens eine vorgegebenen und/oder maximalen
Verzögerungswert beispielsweise in der Verzögerungssteuervorrichtung 630 oder einer anderen Vorrichtung abgelegt. Unter Bezugnahme insbesondere auf Fig. 5 und Fig. 6 ist anzumerken, dass das Multikamerasystem 600 des Fahrzeugs 500 ausgebildet ist, um Bilder mehrerer Einzelkameras bzw. Fahrzeugkameras 501, 502, 503 und 504 zu einem
Gesamtbild 625 zu fusionieren. Möglich ist somit die Bereitstellung einer geschlossenen Darstellung der Umgebung des Fahrzeugs 500 in Form eines
Rundumsichtvideos, z. B. als Unterstützung beim Einparken. Die Fusion erfolgt in der Fusionsvorrichtung 620 zunächst für Einzelbilder; durch laufende Abfolge des Gesamtbildes 625 entsteht beispielsweise entsprechend ein Rundumsichtvideo.
Unter besonderer Bezugnahme auf Fig. 5 ist erkennbar, dass sich die vierte Fahrzeugkamera 504, die am Heck des Fahrzeugs 500 angeordnet ist, zum Zeitpunkt t2 an derselben Stelle befindet, an der sich die erste Fahrzeugkamera 501, die an der Front des Fahrzeugs 500 angeordnet ist, zum Zeitpunkt ti befindet. Wird nun der Videostrom bzw. werden nun die ersten Bilddaten 601 der ersten Fahrzeugkamera 501 so verzögert, dass zum Zeitpunkt t2 das zum
Zeitpunkt ti aufgenommene Bild angezeigt wird, d. h. um einen ersten
Verzögerungswert ΤΊ gleich der Differenz zwischen t2 und ti verzögert, ΤΊ = t2 - ti, so kann - unter der Annahme, dass sich die erste Fahrzeugkamera 501 und die vierte Fahrzeugkamera 504 auf der gleichen Bewegungstrajektorie befinden - bei einer Fusionierung der Bilder mittels der Fusionsvorrichtung 620 vom gleichen Kamerazentrum ausgegangen werden.
Bewegt sich das Fahrzeug 500 mit einer Geschwindigkeit v, die als
Geschwindigkeitsdaten der Fahrzeugdaten 655 repräsentiert ist, so kann die erste Verzögerung bzw. der erste Verzögerungswert ΤΊ durch die
Verzögerungssteuervorrichtung 630 als Quotient des ersten Abstandes Di und der Geschwindigkeit v ermittelt werden: ΤΊ = Di v. Der erste Abstand Di repräsentiert den Abstand zwischen der ersten Fahrzeugkamera 501 und der vierten Fahrzeugkamera 504 aus Fig. 5 bzw. Fig. 6 in Fahrtrichtung.
Nach dem gleichen Prinzip können die Bilddaten 602 und 603 der seitlichen Kameras, der zweiten Fahrzeugkamera 502 und der dritten Fahrzeugkamera 503, vor der Fusionierung durch die Fusionsvorrichtung 620 mittels der Verzögerungssteuervorrichtung 630 entsprechend mit dem zweiten bzw. dem dritten Verzögerungswert in den Verzögerungsvorrichtungen 612 und 613 verzögert werden: τ2 = τ3 = Ώ^ν = Da/v.
Unter besonderer Bezugnahme auf Fig. 6 ist ein Aufbau des
Mehrkamerasystems 600 dargestellt. Die von den Fahrzeugkameras 501, 502, 503 und 504 erzeugten Verzögerungssteuervorrichtung 630 bzw. Videosignale durchlaufen jeweils die ihnen jeweils zugeordnete der
Verzögerungsvorrichtungen 611, 612, 613 und 614 bzw. eine
Verzögerungseinheit τη, welche die Bilddaten 601, 602, 603 und 604 bzw.
Signale individuell verzögert. Alternativ können auch Auslösezeitpunkte der Fahrzeugkameras 501, 502, 503 und 504 getriggert werden. Dieser
Verzögerungsvorgang wird durch die Verzögerungssteuervorrichtung 630 bzw. Verzögerungssteuerungseinheit 630 gesteuert. Die verzögerten Bilddaten 601, 602, 603 und 604 bzw. Videosignale werden in der Fusionsvorrichtung 620, die ausgebildet ist, um ein sogenanntes Stitching der Bilddaten 601, 602, 603 und 604 durchzuführen, beispielsweise mittels Überblendung zu dem Gesamtbild 625 zusammengesetzt und an die Anzeigevorrichtung 640 oder Anzeigeeinheit 640 weitergegeben.
Die Verzögerungssteuervorrichtung 630 kann die Verzögerungswerte bzw.
Verzögerungssignale 631, 632, 632 unter 634 auf verschiedene Arten ermitteln oder vorgeben, wie z. B. abhängig von der Fahrzeuggeschwindigkeit v und der individuellen Verbauposition der Fahrzeugkameras 501, 502, 503 und 504; nach weiteren Kriterien, wie z. B. der Fahrzeugposition, um auch Drift zu
berücksichtigen; unter Festlegung einer maximalen Verzögerung, um zu starke Unterschiede der Bildinhalte zu vermeiden; mit dynamischer Wahl eines örtlichen Synchronisationspunktes, auf weichen die Bilddaten 601, 602, 603 und 604 bzw. Videosignale zeitlich synchronisiert werden, beispielsweise die Position der vierten Fahrzeugkamera 504 aus Fig. 5; und/oder abhängig von der
Fahrtrichtung und dem Bildausschnitt, der aktuell angezeigt wird, z. B.
umgekehrte Vorgehensweise bei Rückwärtsfahrt. Fig. 7 zeigt eine Darstellung eines Kamerabildes 700 gemäß einem
Ausführungsbeispiel. Das Kamerabild 700 ist ähnlich dem Kamerabild aus Fig. 4. Anders ausgedrückt ist das Kamerabild 700 Ergebnis einer Fusion ohne unterschiedliche und/oder optimale Verzögerungswerte. Das Kamerabild 700 zeigt eine Umgebung eines Fahrzeugs.
Fig. 8 zeigt eine Darstellung eines Kamerabildes 800 gemäß einem
Ausführungsbeispiel. Das Kamerabild 800 zeigt ebenfalls die Umgebung des Fahrzeugs, ähnlich dem Kamerabild aus Fig. 7. Jedoch ist das Kamerabild 800 in Fig. 8 durch Fusion von Bilddaten mit optimalen Verzögerungswerten
beispielsweise mittels des Mehrkamerasystems des Fahrzeugs aus Fig. 5 bzw. Fig. 6 erzeugt.
Unter Bezugnahme auf die Figuren 7 und 8 sind Unterschiede von Stitching ohne (Fig. 7) und mit (Fig. 8) Verwendung der Verzögerungssignale des
Mehrkamerasystems des Fahrzeugs aus Fig. 5 bzw. Fig. 6 erkennbar. So ist im Vergleich das Ergebnis des Stitchings der Bilder bzw. ersten Bilddaten der ersten Fahrzeugkamera bzw. Frontkamera mit denen der dritten Fahrzeugkamera bzw. rechten Seitenkamera ohne (Fig. 7) und mit (Fig. 8) Verwendung der
Verzögerungssignale dargestellt. Erkennbar ist eine Beseitigung von einem Fehler bei der Überlagerung von vertikalen Strukturen zu erkennen, z. B.
Gebäudekanten, Schriftzug usw. in Fig. 8.
Fig. 9 zeigt ein Ablaufdiagramm eines Verfahrens 900 zum Generieren gemäß einem Ausführungsbeispiel. Das Verfahren 900 ist ausführbar, um
Verzögerungssignale für ein Mehrkamerasystem für ein Fahrzeug zu generieren. Dabei ist das Verfahren 900 zum Generieren in Verbindung mit dem
Mehrkamerasystem aus Fig. 6 oder einem ähnlichen Mehrkamerasystem und/oder in Verbindung mit dem Fahrzeug aus Fig. 1, Fig. 5 bzw. Fig. 6 oder einem ähnlichen Fahrzeug ausführbar. Somit ist das Verfahren 900 zum
Generieren in Verbindung mit einem Mehrkamerasystem ausführbar, das eine Mehrzahl von Fahrzeugkameras an unterschiedlichen Montagepositionen des Fahrzeugs aufweist. Das Verfahren 900 zum Generieren weist einen Schritt 910 des Ermitteins zumindest eines Verzögerungssignals, das mindestens einen
kameraspezifischen Verzögerungswert zum Verzögern einer Weiterleitung von Bilddaten zumindest einer Fahrzeugkamera an eine Schnittstelle zu einer
Fusionsvorrichtung zum Fusionieren von Bilddaten der Fahrzeugkameras repräsentiert, unter Verwendung von Abständen zwischen den
Montagepositionen der Fahrzeugkameras auf. Auch weist das Verfahren 900 zum Generieren einen Schritt 920 des Bereitstellens des zumindest einen Verzögerungssignals an zumindest eine Schnittstelle zu mindestens einer
Verzögerungsvorrichtung zum Verzögern der Weiterleitung von Bilddaten auf.
Fig. 10 zeigt ein Ablaufdiagramm eines Verfahrens 1000 zum Erzeugen gemäß einem Ausführungsbeispiel. Das Verfahren 1000 ist ausführbar, um fusionierte Bilddaten für ein Mehrkamerasystem für ein Fahrzeug zu erzeugen. Dabei ist das
Verfahren 1000 zum Erzeugen in Verbindung mit dem Mehrkamerasystem aus Fig. 6 oder einem ähnlichen Mehrkamerasystem und/oder in Verbindung mit dem Fahrzeug aus Fig. 1, Fig. 5 bzw. Fig. 6 oder einem ähnlichen Fahrzeug ausführbar. Somit ist das Verfahren 1000 zum Erzeugen in Verbindung mit einem Mehrkamerasystem ausführbar, das eine Mehrzahl von Fahrzeugkameras an unterschiedlichen Montagepositionen des Fahrzeugs aufweist. Ferner ist das Verfahren 1000 zum Erzeugen in Verbindung mit dem Verfahren zum Generieren aus Fig. 9 ausführbar. Das Verfahren 1000 zum Erzeugen weist einen Schritt 1010 des Verzögerns einer Weiterleitung von Bilddaten zumindest einer Fahrzeugkamera an eine Schnittstelle zu einer Fusionsvorrichtung zum Fusionieren von Bilddaten der Fahrzeugkameras unter Verwendung zumindest eines Verzögerungssignals auf. Dabei ist das zumindest eine Verzögerungssignal gemäß dem Verfahren zum Generieren aus Fig. 9 generiert. Auch weist das Verfahren 1000 zum Erzeugen einen Schritt 1020 des Fusionierens der verzögert weitergeleiteten Bilddaten auf, um die fusionierten Bilddaten zu erzeugen. Umfasst ein Ausführungsbeispiel eine„und/oder"- Verknüpfung zwischen einem ersten Merkmal und einem zweiten Merkmal, so ist dies so zu lesen, dass das Ausführungsbeispiel gemäß einer Ausführungsform sowohl das erste Merkmal als auch das zweite Merkmal und gemäß einer weiteren Ausführungsform entweder nur das erste Merkmal oder nur das zweite Merkmal aufweist.

Claims

Ansprüche
1. Verfahren (900) zum Generieren von Verzögerungssignalen (631, 632, 633, 634) für ein Mehrkamerasystem (600) für ein Fahrzeug (100; 500), wobei das Mehrkamerasystem (600) eine Mehrzahl von
Fahrzeugkameras (102, 104; 501, 502, 503, 504) an unterschiedlichen Montagepositionen des Fahrzeugs (100; 500) aufweist, wobei das Verfahren (900) folgende Schritte aufweist:
Ermitteln (910) zumindest eines Verzögerungssignals (631, 632, 633, 634), das mindestens einen kameraspezifischen Verzögerungswert zum Verzögern einer Weiterleitung von Bilddaten (601, 602, 603, 604) zumindest einer Fahrzeugkamera (102, 104; 501, 502, 503, 504) an eine Schnittstelle zu einer Fusionsvorrichtung (620) zum Fusionieren von Bilddaten (601, 602, 603, 604) der Fahrzeugkameras (102, 104; 501, 502, 503, 504) repräsentiert, unter Verwendung von Abständen (Di, D2, D3) zwischen den Montagepositionen der Fahrzeugkameras (102, 104; 501, 502, 503, 504); und
Bereitstellen (920) des zumindest einen Verzögerungssignals (631, 632, 633, 634) an zumindest eine Schnittstelle zu mindestens einer
Verzögerungsvorrichtung (611, 612, 613, 614) zum Verzögern der Weiterleitung von Bilddaten (601, 602, 603, 604).
2. Verfahren (900) gemäß Anspruch 1, bei dem im Schritt (910) des
Ermitteins das zumindest eine Verzögerungssignal (631, 632, 633, 634) unter Verwendung von eingelesenen Geschwindigkeitsdaten (655) ermittelt wird, die einen Geschwindigkeitswert des Fahrzeugs (500) repräsentieren. Verfahren (900) gemäß einem der vorangegangenen Ansprüche, bei dem im Schritt (910) des Ermitteins das zumindest eine
Verzögerungssignal (631, 632, 633, 634) unter Verwendung von eingelesenen Positionsdaten (655) ermittelt wird, die eine Position und/oder Positionsänderung des Fahrzeugs (500) repräsentieren.
Verfahren (900) gemäß einem der vorangegangenen Ansprüche, bei dem im Schritt (910) des Ermitteins das zumindest eine
Verzögerungssignal (631, 632, 633, 634) unter Verwendung zumindest einer Bildausschnittsinformation, die einen Bildausschnitt zumindest einer Fahrzeugkamera (102, 104; 501, 502, 503, 504) repräsentiert, und/oder unter Verwendung von eingelesenen Richtungsdaten (655) ermittelt wird, die eine Fahrtrichtung des Fahrzeugs (500) relativ zu mindestens einer Montageposition der Fahrzeugkameras (102, 104; 501, 502, 503, 504) repräsentieren.
Verfahren (900) gemäß einem der vorangegangenen Ansprüche, bei dem im Schritt (910) des Ermitteins das zumindest eine
Verzögerungssignal (631, 632, 633, 634) unter Verwendung von mindestens einem vorgegebenen und/oder maximalen
Verzögerungswert ermittelt wird.
Verfahren (1000) zum Erzeugen fusionierter Bilddaten (625) für ein Mehrkamerasystem (600) für ein Fahrzeug (100; 500), wobei das Mehrkamerasystem (600) eine Mehrzahl von Fahrzeugkameras (102, 104; 501, 502, 503, 504) an unterschiedlichen Montagepositionen des Fahrzeugs (500) aufweist, wobei das Verfahren (1000) folgende Schritte aufweist:
Verzögern (1010) einer Weiterleitung von Bilddaten (601, 602, 603, 604) zumindest einer Fahrzeugkamera (102, 104; 501, 502, 503, 504) an eine Schnittstelle zu einer Fusionsvorrichtung (620) zum Fusionieren von Bilddaten (601, 602, 603, 604) der Fahrzeugkameras (102, 104; 501, 502, 503, 504) unter Verwendung zumindest eines Verzögerungssignals (631, 632, 633, 634), das gemäß dem Verfahren (900) nach einem der vorangegangenen Ansprüche generiert ist; und
Fusionieren (1020) der verzögert weitergeleiteten Bilddaten (601, 602, 603, 604), um die fusionierten Bilddaten (625) zu erzeugen.
Vorrichtung (611, 612, 613, 614, 620, 630), die eingerichtet ist, um ein Verfahren (900; 1000) gemäß einem der vorangegangenen Ansprüche auszuführen und/oder anzusteuern.
Mehrkamerasystem (600) für ein Fahrzeug (500), wobei das
Mehrkamerasystem (600) folgende Merkmale aufweist: eine Mehrzahl von Fahrzeugkameras (102, 104; 501, 502, 503, 504), die an unterschiedlichen Montagepositionen des Fahrzeugs (500) anordenbar oder angeordnet sind; eine Fusionsvorrichtung (620) zum Fusionieren von Bilddaten (601, 602, 603, 604) der Fahrzeugkameras (102, 104; 501, 502, 503, 504); mindestens eine Verzögerungsvorrichtung (611, 612, 613, 614) zum Verzögern einer Weiterleitung von Bilddaten (601, 602, 603, 604) zumindest einer Fahrzeugkamera (102, 104; 501, 502, 503, 504) an eine Schnittstelle zu der Fusionsvorrichtung (620); und eine Vorrichtung (630) gemäß Anspruch 7, die signalübertragungsfähig mit der mindestens einen Verzögerungsvorrichtung (611, 612, 613, 614) verbindbar oder verbunden ist.
Computerprogramm, das dazu eingerichtet ist, das Verfahren (900; 1000) gemäß einem der vorangegangenen Ansprüche auszuführen und/oder anzusteuern. Maschinenlesbares Speichermedium, auf dem das Computerprog nach Anspruch 9 gespeichert ist.
PCT/EP2016/067713 2015-08-05 2016-07-26 Verfahren und vorrichtung zum generieren von verzögerungssignalen für ein mehrkamerasystem und zum erzeugen fusionierter bilddaten für ein mehrkamerasystem für ein fahrzeug sowie mehrkamerasystem WO2017021197A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102015214900.5 2015-08-05
DE102015214900.5A DE102015214900A1 (de) 2015-08-05 2015-08-05 Verfahren und Vorrichtung zum Generieren von Verzögerungssignalen für ein Mehrkamerasystem und zum Erzeugen fusionierter Bilddaten für ein Mehrkamerasystem für ein Fahrzeug sowie Mehrkamerasystem

Publications (1)

Publication Number Publication Date
WO2017021197A1 true WO2017021197A1 (de) 2017-02-09

Family

ID=56618130

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2016/067713 WO2017021197A1 (de) 2015-08-05 2016-07-26 Verfahren und vorrichtung zum generieren von verzögerungssignalen für ein mehrkamerasystem und zum erzeugen fusionierter bilddaten für ein mehrkamerasystem für ein fahrzeug sowie mehrkamerasystem

Country Status (2)

Country Link
DE (1) DE102015214900A1 (de)
WO (1) WO2017021197A1 (de)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102018106756A1 (de) * 2018-03-22 2019-09-26 Valeo Schalter Und Sensoren Gmbh Detektion von objekten aus bildern, die von kameras aufeinem kraftfahrzeug aufgenommen werden
DE102021132334A1 (de) 2021-12-08 2023-06-15 Bayerische Motoren Werke Aktiengesellschaft Abtasten eines Umfelds eines Fahrzeugs

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009099667A1 (en) * 2008-02-08 2009-08-13 Google Inc. Panoramic camera with multiple image sensors using timed shutters
US20100060735A1 (en) * 2007-02-23 2010-03-11 Koji Sato Device and method of monitoring surroundings of a vehicle

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100060735A1 (en) * 2007-02-23 2010-03-11 Koji Sato Device and method of monitoring surroundings of a vehicle
WO2009099667A1 (en) * 2008-02-08 2009-08-13 Google Inc. Panoramic camera with multiple image sensors using timed shutters

Also Published As

Publication number Publication date
DE102015214900A1 (de) 2017-02-09

Similar Documents

Publication Publication Date Title
EP2623374B1 (de) Sichtsystem für Nutzfahrzeuge zur Darstellung von gesetzlich vorgeschriebenen Sichtfeldern eines Hauptspiegels und eines Weitwinkelspiegels
DE10292327B4 (de) Fahrzeugumgebungsbildverarbeitungsvorrichtung und Aufzeichnungsmedium
EP2484558B1 (de) Anzeigeeinrichtung für Sichtfelder eines Nutzfahrzeugs
EP3157786B1 (de) Fahrzeug mit umfeldüberwachungseinrichtung sowie verfahren zum betreiben einer solchen überwachungseinrichtung
DE112017001410B4 (de) Informationsverarbeitungsvorrichtung
WO2007087975A2 (de) Verfahren zum zusammenfügen mehrerer bildaufnahmen zu einem gesamtbild in der vogelperspektive
DE102012200731A1 (de) Verfahren und Vorrichtung zum Visualisieren der Umgebung eines Fahrzeugs
EP2040220B1 (de) Verfahren zur Hinderniserkennung
DE19860676A1 (de) Visualisierungseinrichtung für die von wenigstens einem Scheinwerfer eines Fahrzeugs bewirkte Beleuchtung vor dem Fahrzeug
DE102010062496A1 (de) Verfahren und Vorrichtung zum Verarbeiten von Bildinformationen zweier zur Bilderfassung geeigneter Sensoren eines Stereo-Sensor-Systems
DE102010006521A1 (de) Verfahren und Vorrichtung zur Bestimmung des Knickwinkels eines Fahrzeuggespanns
DE102008046544A1 (de) Verfahren und Vorrichtung zur Überwachung einer Umgebung eines Fahrzeuges
DE102012023060A1 (de) Verfahren zum Detektieren eines beweglichen Objekts mithilfe eines Histogramms anhand von Bildern einer Kamera und Kamerasystem für ein Kraftfahrzeug
DE102016011853A1 (de) Verfahren zum Generieren von dreidimensionalen Informationen einer Umgebung eines Fahrzeugs
WO2017021197A1 (de) Verfahren und vorrichtung zum generieren von verzögerungssignalen für ein mehrkamerasystem und zum erzeugen fusionierter bilddaten für ein mehrkamerasystem für ein fahrzeug sowie mehrkamerasystem
DE102013012778A1 (de) Verfahren zum Detektieren eines sich bewegenden Fußgängers anhand von charakteristischen Merkmalen und optischen Flussvektoren eines Bilds, Kamerasystem und Kraftfahrzeug
DE102014007565A1 (de) Verfahren zum Ermitteln einer jeweiligen Grenze zumindest eines Objekts, Sensorvorrichtung, Fahrerassistenzeinrichtung und Kraftfahrzeug
DE112015004341B4 (de) Fahrzeug-bildverarbeitungsvorrichtung
EP2603403A1 (de) Verfahren zum anzeigen von bildern auf einer anzeigeeinrichtung in einem kraftfahrzeug, fahrerassistenzsystem und kraftfahrzeug
DE102017011558A1 (de) Verfahren zur kamerabasierten Ermittlung einer Eigenbewegung und/oder einer Drehbewegung um eine Fahrzeughochachse eines Fahrzeugs
DE102012020778B4 (de) Verfahren zum Labeln einer Sequenz von in zeitlicher Abfolge aufgenommenen Bildern mit integrierter Qualitätsprüfung
DE112020002028T5 (de) Bildgebendes system und verfahren
DE112020003339T5 (de) Bildverarbeitungsvorrichtung und Bildverarbeitungsprogramm
DE102018127634A1 (de) Verfahren zum Bereitstellen eines Panoramabilds mit mehreren Kameras eines Fahrzeugs, computerlesbares Medium, System, und Fahrzeug
DE102020106967A1 (de) Festlegen eines aktuellen Fokusbereichs eines Kamerabildes basierend auf der Position der Fahrzeugkamera an dem Fahrzeug und einem aktuellen Bewegungsparameter

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16750122

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16750122

Country of ref document: EP

Kind code of ref document: A1