WO2014190981A1 - Kamerasystem für fahrzeuge - Google Patents

Kamerasystem für fahrzeuge Download PDF

Info

Publication number
WO2014190981A1
WO2014190981A1 PCT/DE2014/200115 DE2014200115W WO2014190981A1 WO 2014190981 A1 WO2014190981 A1 WO 2014190981A1 DE 2014200115 W DE2014200115 W DE 2014200115W WO 2014190981 A1 WO2014190981 A1 WO 2014190981A1
Authority
WO
WIPO (PCT)
Prior art keywords
camera
cameras
image processing
network
image
Prior art date
Application number
PCT/DE2014/200115
Other languages
English (en)
French (fr)
Inventor
Dieter KRÖKEL
Gerhard Müller
Eva Miel
Andreas Gruber
Jürgen HABICHER
Wolfgang Fey
Original Assignee
Conti Temic Microelectronic Gmbh
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Conti Temic Microelectronic Gmbh filed Critical Conti Temic Microelectronic Gmbh
Priority to DE112014002629.8T priority Critical patent/DE112014002629A5/de
Priority to EP14722985.0A priority patent/EP3005329A1/de
Priority to JP2016515655A priority patent/JP2016526340A/ja
Priority to US14/893,633 priority patent/US20160112624A1/en
Publication of WO2014190981A1 publication Critical patent/WO2014190981A1/de

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/41422—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance located in transportation means, e.g. personal vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/40—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the details of the power supply or the coupling to vehicle components
    • B60R2300/406—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the details of the power supply or the coupling to vehicle components using wireless transmission
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/40—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the details of the power supply or the coupling to vehicle components
    • B60R2300/408—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the details of the power supply or the coupling to vehicle components using a data bus
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/50—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the display information being shared, e.g. external display, data transfer to other traffic participants or centralised traffic controller
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras

Definitions

  • the invention relates to a camera system for vehicles.
  • Camera systems such as so-called top-view or surround-view systems, are increasingly found in vehicles in order to indicate to the driver the immediate surroundings of the vehicle and thereby prevent it, e.g. to facilitate the maneuvering of his vehicle.
  • Future systems will increasingly be equipped with automatic driver assistance functions. This requires image processing in order to automatically detect objects, in particular obstacles, and subsequently to allow intervention in the vehicle dynamics, for example automatic braking in the event of an obstacle detected when parking a vehicle.
  • the object of the present invention is therefore to propose a camera system for vehicles, which can be produced in a technically simpler and more cost-effective manner than previous architectures with a central control unit, in particular with regard to the requirements for the computing power required for efficient image processing and functional safety.
  • An idea on which the invention is based is to provide a ring topology camera system which is equipped with cameras which can each perform independent image processing not only of their own captured images but also of images captured by other cameras.
  • the computational burden of image processing on multiple components i. Distributed and / or reduced cameras of the system and there is no central control unit with sufficient computing power in the vehicle be kept.
  • the ring topology of the camera system according to the invention allows the following further advantages over a system with a central evaluation unit:
  • the video transmission must be compressed because of the bandwidth limitation (eg 100 Mbit / sec) (eg Mjpeg, H264).
  • the Compression is not loss-free, which means that essential information is lost, especially in scenes with a lot of motion. This information loss can be avoided in the ring topology system, since in the ring topology each camera system can perform its own image processing.
  • the bandwidth limitation eg 100 Mbit / sec
  • Mjpeg, H264 eg Mjpeg, H264
  • Compression can be accepted, since the information loss in the image are barely visible to a viewer.
  • An embodiment of the invention now relates to a camera system for vehicles having a plurality of cameras, which are networked with each other via a network with ring topology, each camera being adapted to perform image processing of captured images, and wherein each camera is further formed, captured images and / or Transfer image processing results to other cameras in the network for image processing by these cameras or to support the image processing performed by these cameras, so that the processing load of the image processing in the network is distributed among several cameras or the processing load of the image processing of cameras in the network is reduced , Due to the ring topology and the extension of the cameras with their own image processing, a camera system with the possibility of distributed image processing or distributed computing or reducing the image processing load of individual cameras in the system is created that failsafe and sometimes more efficient than a camera system with a central image processing unit or even an outsourced image processing as in the system known from DE 10 2010 030 068 A1.
  • the image processing results to be transmitted by a camera to other cameras in the network can be, for example, object lists, which can be used by the
  • the image distribution can not be limited to several Cameras are distributed, but also temporally multiplexed, for example, to realize an energy saving at the expense of processing time.
  • only one camera of the system performs image processing at any given time. After completing the processing, it will switch to the next camera and so on until the complete image processing is completed.
  • a power saving of about a factor of 4 is possible, while the time required for image processing is increased by about the same factor.
  • the duration of capturing an image by a camera and the duration of image processing by that camera may be such that they are less than a predetermined cycle in the camera system.
  • the duration of capturing an image by a camera and the duration of image processing by this camera can be so short that sequential image processing of all captured images is enabled within the given cycle.
  • a particularly fast image processing in the system can be realized.
  • connections in the network between two neighboring cameras in the ring topology can be bidirectional and each camera can have, in addition to its own captured images, the images captured by the cameras adjacent to the network for image processing.
  • cameras 1 and 3 may simultaneously receive images from adjacent cameras 4 and 2 during image capture or capture, and during imaging of cameras 2 and 4, they may
  • each camera receives pictures from cameras 1 and 3.
  • every frame i. each capture of a new image, the transmission direction in the network to.
  • each camera has the time of two frames.
  • Image processing in the system can be made more efficient.
  • a so-called true double-frame concept can also be implemented: for example, the cameras can always use two consecutive frames or frames A and B. to capture.
  • the cameras 1 and 3 can then process image or frame A and transmit image or frame B to the cameras 2 and 4 for image processing.
  • the cameras 2 and 4 in turn, can process the received image B and only pass on the image or frame A to the cameras 1 and 3 for image processing.
  • Each camera may also be configured to perform image processing of a captured image within the period of successively capturing two images.
  • image processing is created by the camera system, which can be of importance in particular in the case of virtually real-time requirements for the camera system and its image processing.
  • each camera may also be configured either to transmit a captured image simultaneously with capturing the image to at least one neighboring camera in the network, or to acquire a captured image after capturing the image during subsequent capturing of an image to at least one adjacent camera in the network transfer.
  • a double-frame concept can be implemented in the camera system, in which a camera can also use the images of neighboring cameras in the ring topology, for example for more efficient image processing, such as a more accurate one
  • each camera may be further configured to monitor one or more other cameras in the network for failures.
  • One or more cameras may be communicatively connected to a vehicle bus and / or at least one camera may be connected to a display unit of a vehicle via a video output via which images and / or image processing results may be output be. If two or more cameras are connected to the vehicle bus, the reliability against a system with only one attached to the vehicle bus camera can be increased.
  • a video output makes it possible to directly display images captured and possibly processed by the camera system, so that a driver can be given immediate feedback, for example when parking or maneuvering his vehicle.
  • Another embodiment of the invention relates to a camera for use in a camera system according to the invention and described herein with an image sensor for capturing images, an image processing unit for performing image calculations with captured images, and a network interface unit for a ring topology network and for receiving ring topology images and / or commands and / or image processing results from neighboring cameras in the network, and transmitting captured images and / or commands and / or image processing results to adjacent cameras in the ring topology network.
  • the camera may further comprise an image data encoding unit for encoding captured and / or processed images for transmission to adjacent cameras in the ring topology network.
  • image data encoding for example, images may be converted to a format that is particularly suitable for transmission over network connections between the cameras.
  • the present invention is particularly suitable for use with a driver assistance system that can intervene independently in the vehicle dynamics.
  • Fig. 1 shows schematically an embodiment of a camera system for
  • Fig. 2 shows the camera system shown in Fig. 1 in detail.
  • a camera system 10 is shown with four cameras 12, 14, 16 and 18, which are networked in ring topology.
  • each of the cameras with its two adjacent in the ring topology cameras is communicatively connected, so the camera 12 via a network connection 20 with the camera 14, which is connected via a network connection 22 to the camera 16.
  • the camera 16 is in turn connected to the camera 18 via a network connection 24.
  • the ring is closed via the network connection 26 between the cameras 18 and 12.
  • the network connections 20, 22, 24 and 26 may be unidirectional or bidirectional. A bidirectional network connection has certain advantages, as will be explained later.
  • the cameras 18 and 14 are also communicatively connected to the vehicle bus (motor vehicle bus) 28, via which they can be integrated, for example, in a driver assistance system and can exchange data with a control computer of the assistance system.
  • the cameras 12, 14, 16, and 18 may be part of a top-view or surround-view system and may be oriented to capture the entire environment of a vehicle.
  • Each camera 12, 14, 16 and 18 each has its own image processing unit which records the images captured by the camera as well as other cameras can process captured images.
  • the image processing performed by the unit is preferably adapted to the task of the camera system; For example, it may be designed to recognize objects in the vicinity of the vehicle and to transmit lists of recognized objects, so-called object lists, via the vehicle bus 28 to a driver assistance system with active driving dynamics influencing.
  • the cameras 12, 14, 16 and 18 are configured to outsource image processing tasks to other cameras in the system or to transmit image processing results such as object lists to other cameras of the system, thus efficiently distributing the computational load in the camera system resulting from the image processing Reduce the processing load of the image processing of cameras in the network.
  • the reliability can be increased.
  • bidirectional network connections 20, 22, 24 and 26 in the system 10 - as shown in Fig. 1 - even if one camera fails in the system, the communication of the remaining cameras in the system can be maintained. If, for example, the camera 12 fails, the cameras 14, 16 and 18 can still communicate with each other via the network connections 22 and 24. If two cameras 14 and 18 are connected to the vehicle bus 28, as in FIG. 1, communication via the vehicle bus 28 can also be ensured even if one of these two cameras 14 or 18 fails.
  • each of the cameras 12, 14, 16, 18 has an image sensor 120 (imager) for capturing images and generating digital image data of the captured images, a
  • Image processing unit 122 for processing the digital image data generated by the image sensor 120 according to a specific algorithm (for example, object recognition or environment monitoring and analysis), optionally an image data encoding unit 126 for converting the digital image data of acquired or processed images into another format and one
  • Network interface unit 124 for communication with other cameras of the system 10 on. All cameras are largely identical in terms of their hardware.
  • the cameras 14 and 18 also have an interface for coupling with the vehicle bus 28.
  • the camera 18 also has an (optional) video data output 30, via which it can be connected to a display system.
  • all cameras can be constructed completely identical, in particular all cameras can have a vehicle bus interface and a video data output.
  • ASICs Application Specific Integrated Circuits
  • the camera system 10 can output an image.
  • the camera 18, which is spatially closest to an indication in the vehicle, forward the images captured with the system 10 (camera images) for display.
  • the wiring in the vehicle can be made more efficient.
  • the ring bus formed from the network links 20, 22, 24 and 26 is Ethernet based, today's in-vehicle bandwidth limitations are typically 100 Mbits / s. Since the images allow high compression for the display, they can also be transported in the ring bus with such mentioned bandwidth limitation, and then output at the camera 18 via the video data output 30 located closest to the display in the vehicle (eg the front camera ).
  • the camera system 10 allows - as already mentioned - distributed image processing (also referred to herein as distributed computing, since digital image processing involves complex computational operations).
  • distributed image processing also referred to herein as distributed computing, since digital image processing involves complex computational operations.
  • the distributed arithmetic can be spatially distributed, ie different arithmetic operations in the context of image processing can be distributed to several cameras in the system;
  • the distributed computing can also be distributed in time (temporal multiplexing), for example, to achieve an energy saving in the image processing to (loads of processing time). This can take place, for example, in the form that only one camera at a particular time is active and carries out an image processing or image calculation, and then to the next camera is changed and so further.
  • the camera system 10 may operate at a predetermined cycle time corresponding to one clock, i. All operations performed in the system 10 are performed according to the predetermined cycle, whereby the cameras 12, 14, 16 and 18 predetermined cycle times are available, corresponding to clock periods in a clocked systems.
  • the cycle can be dimensioned such that certain operations of the cameras, for example an image acquisition or detection or a specific arithmetic operation within the framework of the image processing performed by the cameras, takes place or is carried out within one cycle.
  • the cycle can thus be understood as a given system clock.
  • the cycle can be specified by a camera of the system via the ring bus, or via the vehicle bus, or by corresponding clocks in the individual cameras.
  • each camera In a bidirectional transmission between the cameras and a suitable double frame concept (frame sequence ABAB), each camera always have your own picture and the pictures of the two neighboring cameras available for image processing.
  • frame sequence ABAB a suitable double frame concept
  • images with different camera parameters such as exposure times, characteristics, resolutions, etc. can be captured.
  • a camera can each capture two consecutive images with different parameters such as a short and a long exposure time (frame A or B).
  • the images acquired with different parameters can then be used for various applications, for example one Lane detection (images with long exposure time, frame A) and traffic sign recognition (image with short exposure time, frame B).
  • Lane detection images with long exposure time, frame A
  • traffic sign recognition image with short exposure time, frame B
  • the images or frames captured with different camera parameters can then be distributed to different cameras in the system depending on the application in order to optimally divide the workload into the system.
  • Frame A the cameras 1 u. 3 (Fig. 1) and 18 and 14 (Fig. 2) respectively capture an image and at the same time they receive the image taken by the camera 4 and 2 (Fig. 1) and 16 and 12
  • Fig. Frame B the cameras 2 u. 4 (Fig. 1) and 12 and 16 (Fig. 2) respectively capture an image and at the same time they receive the image taken by camera 1 and 3 (Fig. 1) and 18 and 14 (Fig. 2), respectively.
  • the direction of the image transmission between the cameras thus rotates with each frame.
  • the cameras have the time of 2 frames each. It is also a true double frame concept conceivable in both cameras always frame A u. B record. However, e.g.
  • the cameras 1 u.3 (18, 14) calculate on picture A and only pass on picture B.
  • the cameras 2 and 4 (12, 16) only count on picture B and only pass on picture A.
  • a temporally offset image recording here again different forms are conceivable: for example, an image can be forwarded simultaneously with the image. An image can also be outputted after it has been captured because it must be cached for internal processing anyway. In this case, the image output can take place at the same time as the image recording on the receiver camera.
  • a front camera that detects the area in front of a vehicle with a 180 ° detection area and performs image processing for object recognition, an object list with the Then, with the aid of the object list received from the front camera, the object image list of one's own captured images for recognizing a grass tread can be more efficiently executed by, for example, searching the detected one After the page strip with grass must perform images, but on the basis of the received list of objects can directly perform a verification of the sidelines with grass in their own captured images. This can reduce the image processing workload.
  • the camera system has the following advantages: All cameras can be constructed largely identical in terms of their hardware. In the system, distributed computing of the image processing is performed so that the power is distributed, or the image processing computational load of individual cameras is reduced.
  • the camera system can in principle be implemented without a central control unit.
  • One or more cameras can be connected to the vehicle bus and thus integrated into a driver assistance system.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Mechanical Engineering (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)

Abstract

Die Erfindung betrifft ein Kamerasystem (10) für Fahrzeuge mit mehreren Kameras (12, 14, 16, 18), die über ein Netzwerk (20, 22, 24, 26) mit Ringtopologie untereinander vernetzt sind, wobei jede Kamera ausgebildet ist, eine Bildverarbeitung von erfassten Bildern durchzuführen, und wobei jede Kamera ferner ausgebildet ist, erfasste Bilder und/oder Bildverarbeitungsergebnisse an andere Kameras im Netzwerk für eine Bildverarbeitung durch diese Kameras bzw. für die Unterstützung der von diesen Kameras durchgeführte Bildverarbeitung zu übertragen, so dass die Rechenlast der Bildverarbeitung im Netzwerk auf mehrere Kameras bzw. die Rechenlast der Bildverarbeitung von Kameras im Netzwerk verringert verteilt wird.

Description

KAMERASYSTEM FÜR FAHRZEUGE
Die Erfindung betrifft ein Kamerasystem für Fahrzeuge.
Kamerasysteme wie sogenannte Top-View- oder Surround-View-Systeme finden sich zunehmend in Fahrzeugen, um dem Fahrer das unmittelbare Umfeld des Fahrzeugs anzuzeigen und ihm dadurch z.B. das Rangieren seines Fahrzeugs zu erleichtern. Zukünftige Systeme sollen zunehmend mit automatischen Fahrerassistenzfunktionalitäten ausgerüstet werden. Dies bedingt eine Bildverarbeitung, um automatisch Objekte, insbesondere Hindernisse zu erkennen und in der Folge einen Eingriff in die Fahrzeugdynamik zu ermöglichen, beispielsweise eine automatische Bremsung bei einem beim Einparken eines Fahrzeugs erkannten Hindernis.
Bisherige Systemarchitekturen sehen eine Sterntopologie mit einem zentralen Steuergerät vor, an das alle Systemkameras Bilddaten übermitteln. Das Steuergerät muss allerdings eine für die Verarbeitung der Bilddaten ausreichende Rechenleistung besitzen, was insbesondere bei großen Bilddatenmengen zu erheblichen Rechenleistungsanforderungen führen kann. Die DE 10 2010 030 068 A1 schlägt daher vor, Bilddaten, die von in einem Fahrzeug eingesetzten Kameras aufgenommen wurden, zu transkodieren, und anschließend die transkodierten Bilddaten über eine Funkschnittstelle an ein Backend zur Bildverarbeitung zu übertragen, so dass die zur Bildverarbeitung notwendige Rechenleistung nicht vom Fahrzeug bereitgestellt werden muss, und somit aufwändige und teure
Spezialkomponenten im Fahrzeug eingespart werden können.
Abgesehen von den Rechenleistungsforderungen für die Bildverarbeitung können bei derartigen Systemen noch Anforderungen an die funktionale Systemsicherheit eine Rolle spielen. Wenn nämlich solche Kamera-basierten Systeme auch automatisch in die Fahrzeugdynamik eingreifen sollen, sind die Anforderungen an die funktionale Sicherheit derartiger Systeme jedoch deutlich höher als bei lediglich anzeigenden Systemen. Aufgabe der vorliegenden Erfindung ist es daher, ein Kamerasystem für Fahrzeuge vorzuschlagen, das sich insbesondere bezüglich den Anforderungen an die für eine effiziente Bildverarbeitung erforderliche Rechenleistung und an die funktionale Sicherheit technisch einfacher und auch kostengünstiger erstellen lässt als bisherige Architekturen mit einem zentralen Steuergerät.
Diese Aufgabe wird durch die Gegenstände der unabhängigen Ansprüche gelöst. Weitere Ausgestaltungen der Erfindung ergeben sich aus den abhängigen Ansprüchen.
Eine der Erfindung zugrunde liegende Idee besteht darin, ein Kamerasystem in Ringtopologie vorzusehen, das mit Kameras ausgestattet ist, die jeweils eine eigenständige Bildverarbeitung nicht nur der eigenen erfassten Bilder, sondern auch der von anderen Kameras erfassten Bilder durchführen können. Hierdurch kann die Rechenlast der Bildverarbeitung auf mehrere Komponenten, d.h. Kameras des Systems verteilt und/oder verringert werden und es muss kein zentrales Steuergerät mit einer ausreichenden Rechenleistung im Fahrzeug vorgehalten werden. Die Ringtopologie des erfindungsgemäßen Kamerasystems ermöglicht gegenüber einem System mit zentraler Auswerteeinheit noch folgende weitere Vorteile:
- Erhöhung der Ausfallsicherheit: Wenn eine der Verbindungen zwischen zwei benachbarten Kameras in der Ringtopologie ausfällt, können in der Regel trotzdem noch alle Kameras bei entsprechender Ausgestaltung der Ringtopologie miteinander kommunizieren.
- Verteiltes Rechnen: Bei Applikationen, bei denen nicht das Bild aller Kameras ausgelesen wird (z.B. Backup-Aid, Blind Spot Detection) kann das Bild oder Teilaufgaben der Bildauswertung oder Steuerung an die unbeteiligte(n) Kamera(s) weitergeleitet/übergeben werden, um so die Rechenlast gleichmäßig zu verteilen und effizienter zu gestalten.
- Bei einem System mit zentraler ECU und per Ethernet verbundener Kameras muss wegen der Bandbreitenbeschränkung (z.B. 100 Mbit/sec) die Videoübertragung komprimiert erfolgen (z.B. Mjpeg, H264). Die Komprimierung erfolgt nicht verlustfrei, wodurch insbesondere bei stark bewegten Szenen wesentliche Information verloren geht. Dieser Informationsverlust kann bei dem Ringtopologie-System vermieden werden, da bei der Ringtopologie jedes Kamerasystem seine eigene Bildverarbeitung durchführen kann. Andererseits kann für das angezeigte Bild eine hohe
Komprimierung in Kauf genommen werden, da die in dem Bild vorhandenen Informationsverluste für einen Betrachter kaum sichtbar sind.
Eine Ausführungsform der Erfindung betrifft nun ein Kamerasystem für Fahrzeuge mit mehreren Kameras, die über ein Netzwerk mit Ringtopologie untereinander vernetzt sind, wobei jede Kamera ausgebildet ist, eine Bildverarbeitung von erfassten Bildern durchzuführen, und wobei jede Kamera ferner ausgebildet ist, erfasste Bilder und/oder Bildverarbeitungsergebnisse an andere Kameras im Netzwerk für eine Bildverarbeitung durch diese Kameras bzw. für die Unterstützung der von diesen Kameras durchgeführte Bildverarbeitung zu übertragen, so dass die Rechenlast der Bildverarbeitung im Netzwerk auf mehrere Kameras verteilt bzw. die Rechenlast der Bildverarbeitung von Kameras im Netzwerk verringert wird. Durch die Ringtopologie und die Erweiterung der Kameras um eine eigenen Bildverarbeitung wird ein Kamerasystem mit der Möglichkeit verteilter Bildverarbeitung bzw. verteilten Rechnens oder der Verringerung der Bildverarbeitungs-Rechenlast einzelner Kameras im System geschaffen, dass ausfallsicherer und zum Teil effizienter als ein Kamerasystem mit einer zentralen Bildverarbeitungseinheit oder gar einer ausgelagerten Bildverarbeitung wie bei dem aus der DE 10 2010 030 068 A1 bekannten System ist. Bei den von einer Kamera an andere Kameras im Netzwerk zuu übertragende Bildverarbeitungsergebnisse kann es sich beispielsweise im Objektlisten handeln, die zur beschleunigten oder einfacheren Objekterkennung von der Bildverarbeitung der empfangenden Kamera verwendet werden können. Jede Kameras kann ferner ausgebildet sein, erst nach Abschluss einer eigenen
Bildverarbeitung erfasste Bilder an eine andere Kamera im Netzwerk zu übertragen, so dass im Netzwerk zu jedem Zeitpunkt nur jeweils eine Kamera im Netzwerk eine Bildverarbeitung durchführt. Hierdurch kann die Bildverteilung nicht nur auf mehrere Kameras verteilt werden, sondern auch zeitlich gemultiplext werden, beispielsweise um eine Energieeinsparung zu Lasten der Bearbeitungszeit zu realisieren. Hierzu führt zu einem bestimmten Zeitpunkt immer nur eine Kamera des Systems eine Bildverarbeitung durch. Nach Abschluss der Bearbeitung wird zur nächsten Kamera gewechselt und so weiter bis die komplette Bildverarbeitung abgeschlossen ist. Bei vier Kameras ist hierbei eine Leistungseinsparung um etwa den Faktor 4 möglich, während sich die für die Bildverarbeitung benötigte Zeit etwa um den gleichen Faktor verlängert. Die Dauer des Erfassens eines Bildes durch eine Kamera und die Dauer einer Bildverarbeitung durch diese Kamera können derart bemessen sein, dass sie kleiner als ein im Kamerasystem vorgegebener Zyklus sind. Beispielsweise können bei ausreichender Rechenleistung die Dauer des Erfassens eines Bildes durch eine Kamera und die Dauer einer Bildverarbeitung durch diese Kamera so kurz bemessen sein, dass innerhalb des vorgegebenen Zyklus eine sequentielle Bildverarbeitung aller erfassten Bilder ermöglicht wird. Hierdurch kann eine besonders schnelle Bildverarbeitung im System realisiert werden.
Die Verbindungen im Netzwerk zwischen zwei benachbarten Kameras in der Ringtopologie können bidirektional sein und jeder Kamera können zusätzlich zu den eigenen erfassten Bildern die von den im Netzwerk benachbarten Kameras erfassten Bilder für eine Bildverarbeitung zur Verfügung stehen. Beispielsweise kann können in einem System mit vier Kameras die Kameras 1 und 3 während der Bilderfassung oder -aufnähme gleichzeitig Bilder von benachbarten Kameras 4 und 2 empfangen, und während der Bilderfassung der Kameras 2 und 4 können diese
Bilder der Kameras 1 und 3 empfangen. Somit dreht sich bei jedem Frame, d.h. jeder Erfassung eines neuen Bildes die Übertragungsrichtung im Netzwerk um. Für die Bildverarbeitung bzw. -berechnung steht jeder Kamera die Zeit von zwei Frames zur Verfügung. Somit kann gewährleistet werden, dass jeder Kamera für eine Bildverarbeitung mehrere Bilder zur Verfügung stehen, wodurch die verteilte
Bildverarbeitung im System effizienter gestaltet werden kann. Auch ein sogenanntes echtes Doppelframekonzept ist implementierbar: beispielsweise können die Kameras immer zwei aufeinanderfolgende Bilder bzw. Frames A und B erfassen. Die Kameras 1 und 3 können dann Bild bzw. Frame A verarbeiten und Bild bzw. Frame B an die Kameras 2 und 4 zur Bildverarbeitung übertragen. Die Kameras 2 und 4 können ihrerseits das empfangene Bild B verarbeiten und nur Bild bzw. Frame A zur Bildverarbeitung an die Kameras 1 und 3 weitergeben.
Jede Kamera kann außerdem ausgebildet sein, eine Bildverarbeitung eines erfassten Bildes innerhalb der Zeitdauer des aufeinanderfolgenden Erfassens von zwei Bildern durchzuführen. Hierdurch wird ein besonderes schnelle Bildverarbeitung durch das Kamerasystem geschaffen, was insbesondere bei nahezu Echtzeitanforderungen an das Kamerasystem und dessen Bildverarbeitung von Bedeutung sein kann.
Schließlich kann auch jede Kamera ausgebildet sein, entweder ein erfasstes Bild gleichzeitig mit dem Erfassen des Bildes an mindestens eine benachbarte Kamera im Netzwerk zu übertragen oder ein erfasstes Bild nach dem Erfassen des Bildes während eines nachfolgenden Erfassens eines Bildes an mindestens eine benachbarte Kamera im Netzwerk zu übertragen. Hierdurch kann ein Doppelframekonzept im Kamerasystem implementiert werden, bei welchem eine Kamera auch die Bilder benachbarter Kameras in der Ringtopologie nutzen kann, beispielsweise für eine effizientere Bildverarbeitung wie eine genauere
Objekterkennung.
Um die Ausfallsicherheit des Kamerasystems zu erhöhen, können die Kameras sich gegenseitig überwachen. Dies spielt eine zunehmend wichtige Rolle in sicherheitsrelevanten Anwendungen, wie z.B. Personenerkennung zur Verhinderung von Unfällen beim Rangieren. Demnach kann jede Kameras ferner ausgebildet sein, eine oder mehrere andere Kameras im Netzwerk auf Ausfälle zu überwachen. Eine oder mehrere Kameras können mit einem Fahrzeugbus kommunikationsmäßig verbunden sein und/oder mindestens eine Kamera kann über einen Videoausgang, über den Bilder und/oder Bildverarbeitungsergebnisse ausgegeben werden können, mit einer Anzeigeeinheit eines Fahrzeugs verbunden sein. Wenn zwei oder mehr Kameras mit dem Fahrzeugbus verbunden sind, kann die Ausfallsicherheit gegenüber einem System mit nur einer an den Fahrzeugbus angebundenen Kamera erhöht werden. Ein Videoausgang ermöglicht es, vom Kamerasystem erfasste und ggf. verarbeitete Bilder direkt anzuzeigen, wodurch einem Fahrer unmittelbare Rückmeldung beispielsweise beim Einparken oder Rangieren mit seinem Fahrzeug gegeben werden kann.
Eine weitere Ausführungsform der Erfindung betrifft eine Kamera für den Einsatz in einem Kamerasystem nach der Erfindung und wie hierin beschrieben mit einem Bildsensor zum Erfassen von Bildern, einer Bildverarbeitungseinheit zum Durchführen von Bildberechnungen mit erfassten Bildern, und einer Netzwerk-Schnittstelleneinheit für ein Netzwerk mit Ringtopologie und zum Empfangen von Bildern und/oder Befehlen und/oder Bildverarbeitungsergebnissen von benachbarten Kameras im Netzwerk mit Ringtopologie und Übertragen von erfassten Bildern und/oder Befehlen und/oder Bildverarbeitungsergebnissen an benachbarte Kameras im Netzwerk mit Ringtopologie.
Die Kamera kann ferner eine Bilddaten-Enkodiereinheit zum Enkodieren von erfassten und/oder verarbeiteten Bildern für eine Übertragung an benachbarte Kameras im Netzwerk mit Ringtopologie aufweisen. Durch das Enkodieren können Bilder beispielsweise in ein für eine Übertragung über Netzwerkverbindungen zwischen den Kameras besonders geeignetes Format umgewandelt werden.
Die vorliegende Erfindung eignet sich insbesondere zum Einsatz mit einem Fahrerassistenzsystem, das eigenständig in die Fahrzeugdynamik eingreifen kann.
Weitere Vorteile und Anwendungsmöglichkeiten der vorliegenden Erfindung ergeben sich aus der nachfolgenden Beschreibung in Verbindung mit dem/den in der/den Zeichnung(en) dargestellten Ausführungsbeispiel(en).
In der Beschreibung, in den Ansprüchen, in der Zusammenfassung und in der/den Zeichnung(en) werden die in der hinten angeführten Liste der Bezugszeichen verwendeten Begriffe und zugeordneten Bezugszeichen verwendet. Die Zeichnung(en) zeigt/zeigen in
Fig. 1 schematisch ein Ausführungsbeispiel eines Kamerasystems für
Fahrzeuge mit vier Kameras gemäß der Erfindung;
Fig. 2 das in Fig. 1 gezeigte Kamerasystem im Detail.
In der folgenden Beschreibung können gleiche, funktional gleiche und funktional zusammenhängende Elemente mit den gleichen Bezugszeichen versehen sein. Absolute Werte sind im Folgenden nur beispielhaft angegeben und sind nicht als die Erfindung einschränkend zu verstehen.
In Fig. 1 ist ein Kamerasystem 10 mit vier Kameras 12, 14, 16 und 18 gezeigt, die in Ringtopologie vernetzt sind. Hierzu ist jede der Kameras mit ihren beiden in der Ringtopologie benachbarten Kameras kommunikationsmäßig verbunden, also die Kamera 12 über eine Netzwerkverbindung 20 mit der Kamera 14, die über eine Netzwerkverbindung 22 mit der Kamera 16 verbunden ist. Die Kamera 16 ist wiederum mit der Kamera 18 über eine Netzwerkverbindung 24 verbunden. Der Ring wird über die Netzwerkverbindung 26 zwischen den Kameras 18 und 12 geschlossen. Die Netzwerkverbindungen 20, 22, 24 und 26 können uni- oder bidirektional sein. Eine bidirektionale Netzwerkverbindung besitzt gewisse Vorteile, wie später noch erläutert wird. Die Kameras 18 und 14 sind zudem mit dem Fahrzeugbus (KFZ-Bus) 28 kommunikationsmäßig verbunden, über den sie beispielsweise in ein Fahrerassistenzsystem eingebunden sein können und mit einem Steuerrechner des Assistenzsystems Daten austauschen können. Die Kameras 12, 14, 16 und 18 können beispielsweise Teil eines Top-View- oder Surround-View-Systems und so ausgerichtet sein, dass sie das gesamte Umfeld eines Fahrzeugs erfassen können.
Jede Kamera 12, 14, 16 und 18 weist jeweils eine eigene Bildverarbeitungseinheit auf, welche die von der Kamera erfassten Bilder sowie von anderen Kameras erfasste Bilder verarbeiten kann. Die von der Einheit durchgeführte Bildverarbeitung ist vorzugsweise an die Aufgabenstellung des Kamerasystems angepasst; beispielsweise kann sie dazu ausgebildet sein, Objekte im Umfeld des Fahrzeugs zu erkennen und Listen erkannter Objekte, sogenannte Objektlisten über den Fahrzeugbus 28 an ein Fahrerassistenzsystem mit aktiver Fahrdynamikbeeinflussung zu übermitteln. Weiterhin sind die Kameras 12, 14, 16 und 18 so konfiguriert, dass sie Bildverarbeitungsaufgaben an andere Kameras des Systems auslagern oder Bildverarbeitungsergebnisse wie Objektlisten an andere Kameras des Systems übertragen können, um so die durch die Bildverarbeitung entstehende Rechenlast im Kamerasystem effizient verteilen bzw. die Rechenlast der Bildverarbeitung von Kameras im Netzwerk verringern zu können.
Durch die Ringtopologie des Kamerasystems 10 kann die Ausfallsicherheit erhöht werden. Bei bidirektionalen Netzwerkverbindungen 20, 22, 24 und 26 im System 10 - wie in Fig. 1 gezeigt - kann auch bei Ausfall einer Kamera im System die Kommunikation der restlichen Kameras im System aufrechterhalten werden. Fällt beispielsweise die Kamera 12 aus, können die Kameras 14, 16 und 18 dennoch über die Netzwerkverbindungen 22 und 24 miteinander kommunizieren. Sind zwei Kameras 14 und 18 mit dem Fahrzeugbus 28 verbunden, wie in Fig. 1 , kann zudem auch bei einem Ausfall einer dieser beiden Kameras 14 oder 18 die Kommunikation über den Fahrzeugbus 28 gewährleistet werden.
Fig. 2 zeigt den Aufbau der Kameras 12, 14, 16 und 18 des Systems 10 im Detail: jede der Kameras 12, 14, 16, 18 weist einen Bildsensor 120 (Imager) zum Erfassen von Bildern und Erzeugen digitaler Bilddaten der erfassten Bilder, eine
Bildverarbeitungseinheit 122 zum Verarbeiten der vom Bildsensor 120 erzeugten digitalen Bilddaten gemäß einem bestimmten Algorithmus (beispielsweise zur Objekterkennung oder Umfeldüberwachung und -analyse), optional eine Bilddaten-Enkodiereinheit 126 zum Umwandeln der digitalen Bilddaten erfasster oder verarbeiteter Bilder in eine anderes Format und eine
Netzwerk-Schnittstelleneinheit 124 zur Kommunikation mit anderen Kameras des Systems 10 auf. Alle Kameras sind in Bezug auf ihre Hardware weitestgehend identisch aufgebaut. Die Kameras 14 und 18 weisen zudem noch eine Schnittstelle zum Koppeln mit dem Fahrzeugbus 28 auf. Weiterhin weist die Kamera 18 noch einen (optionalen) Videodatenausgang 30 auf, über den sie mit einem Anzeigesystem verbunden werden kann. Im Prinzip können alle Kameras vollkommen identisch aufgebaut sein, insbesondere können alle Kameras eine Fahrzeugbus-Schnittstelle und einen Videodatenausgang aufweisen. Für den Aufbau - insbesondere für die Bildvorverarbeitung - können ASICs (Application Specific Integrated Circuits) verwendet werden, für die sich aufgrund der höheren Stückzahl eine spezielle Entwicklung lohnt. Wie bereits erwähnt kann vom Kamerasystem 10 eine Bildausgabe erfolgen. Hierzu kann die Kamera 18, die räumlich am nächsten zu einer Anzeige im Fahrzeuge platziert ist, die mit dem System 10 erfassten Bilder (Kamerabilder) zur Anzeige weiterleiten. Hierdurch kann die Verkabelung im Fahrzeug effizienter gestaltet werden. Wenn der aus den Netzwerkverbindungen 20, 22, 24 und 26 gebildete Ringbus auf Ethernet beruht, liegen heutige Bandbreitenbeschränkungen für die Übertragung im Fahrzeug bei typischer Weise 100 MBit/s. Da die Bilder für die Anzeige eine hohe Komprimierung erlauben, können sie auch bei einer derartigen erwähnten Bandbreitenbeschränkung im Ringbus transportiert werden, um sie dann bei der Kamera 18 über den Videodatenausgang 30 auszuleiten, die im Fahrzeug am nächsten zur Anzeige angeordnet ist (z.B. die Frontkamera).
Durch den Aufbau der Kameras 12, 14, 16 und 18 und den Ringbus ermöglicht das Kamerasystem 10 - wie bereits erwähnt - eine verteilte Bildverarbeitung (hierin auch als verteiltes Rechnen bezeichnet, da digitale Bildverarbeitung komplexe Rechenoperationen umfasst). Diesbezüglich sind zwei Aspekte zu beachten: die verteilte Rechnen kann räumlich verteilt sein, d.h. verschiedene Rechenoperationen im Rahmen einer Bildverarbeitung können auf mehrere Kameras im System verteilt werden; außerdem kann das verteilte Rechnen auch zeitlich verteilt werden (zeitliches Multiplexen), beispielsweise um eine Energieeinsparung bei der Bildverarbeitung zu (Lasten der Bearbeitungszeit) zu erzielen. Dies kann z.B. in der Form ablaufen, dass jeweils nur eine Kamera zu einem bestimmten Zeitpunkt aktiv ist und eine Bildverarbeitung oder Bildberechnung ausführt, und danach zur nächsten Kamera gewechselt wird und so weiter. Dadurch wäre eine Leistungseinsparung bei 4 Kameras etwa um bis zu einem Faktor von 4 denkbar. Bei ausreichend Rechenleistung der in den Kameras implementierten Bildverarbeitungseinheiten wäre es ebenfalls möglich, den Berechnungszyklus inklusive Bildeinzug entsprechend kürzer als einen Systemzyklus zu gestalten, womit in einem Systemzyklus auch eine sequentielle Berechnung aller Kamerabilder denkbar wäre.
Das Kamerasystem 10 kann mit einer vorgegebenen Zykluszeit bzw. einem Zyklus entsprechend einem Takt arbeiten, d.h. alle im System 10 durchgeführten Operationen werden entsprechend dem vorgegebenen Zyklus ausgeführt, wodurch den Kameras 12, 14, 16 und 18 vorgegebene Zykluszeiten zur Verfügung stehen, entsprechend Taktperioden in einem getakteten Systemen. Der Zyklus kann so bemessen sein, dass bestimmte Operationen der Kameras, beispielsweise eine Bildaufnahme oder -erfassung oder eine bestimmte Rechenoperationen im Rahmen der von den Kameras ausgeführten Bildverarbeitung innerhalb eines Zyklus erfolgt bzw. durchgeführt wird. Der Zyklus kann somit wie ein vorgegebener Systemtakt verstanden werden. Der Zyklus kann von einer Kamera des Systems über den Ringbus vorgegeben werden, oder auch über den Fahrzeugbus, oder von entsprechenden Taktgebern in den einzelnen Kameras.
Im Folgenden wird nun eine Ausführungsform des erfindungsgemäßen Kamerasystems mit einem sogenannten Doppelframekonzept beschrieben, bei dem von einer Kamera auch Nachbarbilder der in der Ringtopologie benachbarten Kameras genutzt werden: Bei einer bidirektionalen Übertragung zwischen den Kameras und einem geeigneten Doppelframekonzept (Framesequenz A-B-A-B ), kann jede Kamera immer Ihr eigenes Bild und die Bilder der beiden benachbarten Kameras zur Bildverarbeitung zu Verfügung haben. Mit dem Doppelframekonzept können beispielsweise Bilder mit unterschiedlichen Kameraparametern wie Belichtungszeiten, Kennlinien, Auflösungen etc. erfasst werden. Beispielsweise kann eine Kamera jeweils zwei aufeinanderfolgende Bilder mit unterschiedlichen Parametern wie einer kurzen und einer langen Belichtungszeit (Frame A bzw. B) erfassen. Die mit unterschiedlichen Parametern erfassten Bilder können dann für verschiedene Anwendungen verwendet werden, beispielsweise eine Fahrspurerkennung (Bilder mit langer Belichtungszeit, Frame A) und eine Verkehrszeichenerkennung (Bild mit kurzer Belichtungszeit, Frame B). Die mit unterschiedlichen Kameraparametern erfassten Bilder bzw. Frames können dann Anwendungs-abhängig auf verschiedene Kameras im System verteilt werden, um so die Rechenlast optimal auf das System aufzuteilen.
Ein Beispiel des Doppelframekonzepts soll nun im Folgenden verdeutlicht werden: Frame A: die Kameras 1 u. 3 (Fig. 1 ) bzw. 18 und 14 (Fig. 2) nehmen ein Bild auf, und gleichzeitig empfangen sie das von den Kamera 4 und 2 (Fig. 1 ) bzw. 16 und 12 (Fig. 2) aufgenommen Bild. Frame B: die Kameras 2 u. 4 (Fig. 1 ) bzw. 12 und 16 (Fig. 2) nehmen ein Bild auf, und gleichzeitig empfangen sie das von Kamera 1 und 3 (Fig. 1 ) bzw. 18 und 14 (Fig. 2) aufgenommen Bild. Die Richtung der Bildübertragung zwischen den Kameras dreht sich damit mit jedem Frame um. Für die Berechnung bzw. Bildverarbeitung steht den Kameras jeweils die Zeit von 2 Frames zur Verfügung. Es ist auch ein echtes Doppelframekonzept denkbar, bei dem beide Kameras immer Frame A u. B aufnehmen. Jedoch z.B. die Kameras 1 u.3 (18, 14) auf Bild A rechnen und Bild B nur weiter geben. Die Kameras 2 und 4 (12, 16) rechnen nur auf Bild B und geben Bild A nur weiter. Gemäß einer weiteren Ausführungsform des erfindungsgemäßen Kamerasystem kann auch eine zeitlich versetzte Bildaufnahme vorgesehen sein: Hier sind wieder verschiedene Ausprägungen vorstellbar: beispielsweise kann ein Bild gleichzeitig mit der Aufnahme weitergeleitet werden. Ein Bild kann auch, da es ohnehin für die interne Prozessierung zwischengespeichert werden muss, ausgegeben werden, nachdem es aufgenommen wurde. Die Bildausgabe kann in diesem Fall gleichzeitig zur Bildaufnahme auf der Empfängerkamera erfolgen.
Abschließend wird noch ein Ausführungsbeispiel der Erfindung erläutert, bei dem alternativ oder zusätzlich zu einer Übertragung von erfassten Bildern Bildverarbeitungsergebnisse in Form von Objektlisten an benachbarte Kameras im
System übertragen werden, hierzu kann beispielsweise eine Frontkamera, die mit einem 180° -Erfassungsbereich den Bereich vor einem Fahrzeug erfasst und eine Bildverarbeitung zur Objekterkennung durchführt, eine Objektliste mit den erkannten Objekten wie beispielsweise einer Fahrspur und Seitenbereichen mit Gras an eine benachbarte Seitenkamera übertragen, die dann anhand der von der Frontkamera empfangenen Objektliste ihre eigene Bildverarbeitung der eigenen erfassten Bilder zum Erkennen eines Seitenstreifens mit Gras effizienter ausführen kann, beispielsweise indem sie keine Suche in den erfassten Bildern nach dem Seitenstreifen mit Gras durchführen muss, sondern anhand der empfangenen Objektliste direkt eine Verifikation des Seitenstreifens mit Gras in den eigenen erfassten Bildern ausführen kann. Hierdurch kann die Bildverarbeitungs-Rechenlast verringert werden.
Das erfindungsgemäße Kamerasystem besitzt vor allem die folgenden Vorteile: Alle Kameras können bezüglich ihrer Hardware weitestgehend identisch aufgebaut sein. Im System wird ein verteiltes Rechnen der Bildverarbeitung durchgeführt, so dass die Leistung verteilt wird, oder es wird die Bildverarbeitungs-Rechenlast einzelner Kameras verringert. Das Kamerasystem kann prinzipiell ohne Zentralsteuergerät implementiert werden. Eine oder mehrere Kameras können am Fahrzeugbus angeschlossen sein und so in ein Fahrerassistenzsystem eingebunden werden.
Bezugszeichen
1 0 Kamerasystem
1 2 erste Kamera
1 20 Bildsensor
1 22 Bildverarbeitungseinheit
1 24 Netzwerk-Schnittstelleneinheit
1 26 Bilddaten-Enkodiereinheit
14 zweite Kamera
1 6 dritte Kamera
1 8 vierte Kamera
20 bidirektionale Netzwerkverbindung
22 bidirektionale Netzwerkverbindung
24 bidirektionale Netzwerkverbindung 26 bidirektionale Netzwerkverbindung
28 Fahrzeugbus
30 Videodatenausgang

Claims

Patentansprüche
Kamerasystem (10) für Fahrzeuge mit
- mehreren Kameras (12, 14, 16, 18), die über ein Netzwerk (20, 22, 24, 26) mit Ringtopologie untereinander vernetzt sind,
- wobei jede Kamera ausgebildet ist, eine Bildverarbeitung von
erfassten Bildern durchzuführen, und
- wobei jede Kamera ferner ausgebildet ist, erfasste Bilder und/oder Bildverarbeitungsergebnisse an andere Kameras im Netzwerk für eine Bildverarbeitung durch diese Kameras bzw. für die Unterstützung der von diesen Kameras durchgeführte Bildverarbeitung zu
übertragen, so dass die Rechenlast der Bildverarbeitung im Netzwerk auf mehrere Kameras verteilt bzw. die Rechenlast der
Bildverarbeitung von Kameras im Netzwerk verringert wird.
Kamerasystem nach Anspruch 1 , dadurch gekennzeichnet, dass jede Kameras ferner ausgebildet ist, erst nach Abschluss einer eigenen Bildverarbeitung erfasste Bilder an eine andere Kamera im Netzwerk zu übertragen, so dass im Netzwerk zu jedem Zeitpunkt nur jeweils eine Kamera im Netzwerk eine Bildverarbeitung durchführt.
Kamerasystem nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass die Dauer des Erfassens eines Bildes durch eine Kamera und die Dauer einer Bildverarbeitung durch diese Kamera derart bemessen sind, dass sie kleiner als ein im Kamerasystem vorgegebener Zyklus sind.
4. Kamerasystem nach Anspruch 1 , 2 oder 3, dadurch gekennzeichnet, dass die Verbindungen im Netzwerk zwischen zwei benachbarten Kameras in der Ringtopologie bidirektional sind und jeder Kamera zusätzlich zu den eigenen erfassten Bildern die von den im Netzwerk benachbarten Kameras erfassten Bilder für eine Bildverarbeitung zur Verfügung stehen.
5. Kamerasystem nach Anspruch 1 , 2, 3 oder 4, dadurch gekennzeichnet, dass jede Kamera ausgebildet ist, eine Bildverarbeitung eines erfassten Bildes innerhalb der Zeitdauer des aufeinanderfolgenden Erfassens von zwei Bildern durchzuführen.
6. Kamerasystem nach Anspruch 1 , 2, 3, 4 oder 5, dadurch gekennzeichnet, dass jede Kamera ferner ausgebildet ist, entweder
- ein erfasstes Bild gleichzeitig mit dem Erfassen des Bildes an
mindestens eine benachbarte Kamera im Netzwerk zu übertragen oder
- ein erfasstes Bild nach dem Erfassen des Bildes während eines
nachfolgenden Erfassens eines Bildes an mindestens eine
benachbarte Kamera im Netzwerk zu übertragen.
7. Kamerasystem nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass jede Kamera ferner ausgebildet ist, eine oder mehrere andere Kameras im Netzwerk auf Ausfälle zu überwachen.
8. Kamerasystem nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass eine oder mehrere Kameras mit einem Fahrzeugbus
kommunikationsmäßig verbunden sind und/oder mindestens eine Kamera über einen Videoausgang, über den Bilder und/oder
Bildverarbeitungsergebnisse ausgegeben werden können, mit einer Anzeigeeinheit eines Fahrzeugs verbunden ist.
9. Kamera (12) für den Einsatz in einem Kamerasystem (10) nach einem der vorhergehenden Ansprüche mit
- einem Bildsensor (120) zum Erfassen von Bildern,
- einer Bildverarbeitungseinheit (122) zum Durchführen von
Bildberechnungen mit erfassten Bildern, und
- einer Netzwerk-Schnittstelleneinheit (124) für ein Netzwerk mit
Ringtopologie und zum Empfangen von Bildern und/oder Befehlen und/oder Bildverarbeitungsergebnissen von benachbarten Kameras im Netzwerk mit Ringtopologie und Übertragen von erfassten Bildern und/oder Befehlen und/oder Bildverarbeitungsergebnissen an benachbarte Kameras im Netzwerk mit Ringtopologie.
10. Kamera nach Anspruch 9, ferner gekennzeichnet durch eine Bilddaten-Enkodiereinheit (126) zum Enkodieren von erfassten und/oder verarbeiteten Bildern für eine Übertragung an benachbarte Kameras im Netzwerk mit Ringtopologie.
PCT/DE2014/200115 2013-05-28 2014-03-07 Kamerasystem für fahrzeuge WO2014190981A1 (de)

Priority Applications (4)

Application Number Priority Date Filing Date Title
DE112014002629.8T DE112014002629A5 (de) 2013-05-28 2014-03-07 Kamerasystem für Fahrzeuge
EP14722985.0A EP3005329A1 (de) 2013-05-28 2014-03-07 Kamerasystem für fahrzeuge
JP2016515655A JP2016526340A (ja) 2013-05-28 2014-03-07 車両用カメラシステム
US14/893,633 US20160112624A1 (en) 2013-05-28 2014-03-07 Camera System for Vehicles

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102013209940.1A DE102013209940A1 (de) 2013-05-28 2013-05-28 Kamerasystem für Fahrzeuge
DE102013209940.1 2013-05-28

Publications (1)

Publication Number Publication Date
WO2014190981A1 true WO2014190981A1 (de) 2014-12-04

Family

ID=50687226

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/DE2014/200115 WO2014190981A1 (de) 2013-05-28 2014-03-07 Kamerasystem für fahrzeuge

Country Status (5)

Country Link
US (1) US20160112624A1 (de)
EP (1) EP3005329A1 (de)
JP (1) JP2016526340A (de)
DE (2) DE102013209940A1 (de)
WO (1) WO2014190981A1 (de)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AT516051B1 (de) * 2014-12-23 2016-02-15 Ats Datenverarbeitung Ges M B H & Co Kg Überwachungseinrichtung mit einer Bildauswerteeinrichtung für Kameras in einem Switch
MX2019014872A (es) * 2017-06-20 2020-02-07 Nissan Motor Metodo de control de desplazamiento y dispositivo de control de desplazamiento.
DE102017215347A1 (de) * 2017-09-01 2019-03-07 Conti Temic Microelectronic Gmbh Verfahren zur vorhersehbaren Belichtungssteuerung zumindest einer ersten Fahrzeugkamera
DE102019204318A1 (de) * 2019-03-28 2020-10-01 Conti Temic Microelectronic Gmbh Automatische Erkennung und Klassifizierung von Adversarial Attacks
US10816993B1 (en) * 2019-11-23 2020-10-27 Ha Q Tran Smart vehicle

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2082869A (en) * 1980-08-22 1982-03-10 Shorrock Security Systems Ltd Closed-Circuit Television Surveillance System
JPH10210077A (ja) * 1997-01-24 1998-08-07 Hitachi Ltd 通信制御システム
DE102010030068A1 (de) 2010-06-15 2011-12-15 Bayerische Motoren Werke Aktiengesellschaft Verarbeitung von Bilddaten, die durch ein Fahrzeug aufgenommen werden
US20130036149A1 (en) * 2011-04-29 2013-02-07 Yekesa Kosuru Method and apparatus for executing code in a distributed storage platform

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5973732A (en) * 1997-02-19 1999-10-26 Guthrie; Thomas C. Object tracking system for monitoring a controlled space
JP3573653B2 (ja) * 1998-04-07 2004-10-06 松下電器産業株式会社 車載画像表示装置
US20030223002A1 (en) * 2002-03-27 2003-12-04 Hiroaki Minami Camera body and a detachably coupled digital photography camera back
JP3994787B2 (ja) * 2002-04-25 2007-10-24 株式会社日立製作所 監視カメラシステム
US7353086B2 (en) * 2002-11-19 2008-04-01 Timothy James Ennis Methods and systems for providing a rearward field of view for use with motorcycles
JP2004312063A (ja) * 2003-04-01 2004-11-04 Sumitomo Electric Ind Ltd 撮像装置、画像表示システム及び画像表示方法
WO2004093438A1 (en) * 2003-04-17 2004-10-28 Nokia Corporation An improved mobile camera telephone
JP2004320642A (ja) * 2003-04-18 2004-11-11 Sumitomo Electric Ind Ltd 動体通知方法、動体検出方法、撮像装置及び動体検出システム
US7990422B2 (en) * 2004-07-19 2011-08-02 Grandeye, Ltd. Automatically expanding the zoom capability of a wide-angle video camera
US7822344B1 (en) * 2004-10-01 2010-10-26 Multidyne Electronics Inc. System for communication of video, audio, data, control or other signals over fiber in a self-healing ring topology
US7525568B2 (en) * 2004-11-09 2009-04-28 International Business Machines Corporation Personal multi-information recorder
US8144027B2 (en) * 2005-07-12 2012-03-27 Avaak, Inc. Remote meter reader using a network sensor system and protocol
US8723951B2 (en) * 2005-11-23 2014-05-13 Grandeye, Ltd. Interactive wide-angle video server
US20100020809A1 (en) * 2008-07-25 2010-01-28 Micrel, Inc. True Ring Networks Using Tag VLAN Filtering
US8704903B2 (en) * 2009-12-29 2014-04-22 Cognex Corporation Distributed vision system with multi-phase synchronization
US20110321104A1 (en) * 2010-06-24 2011-12-29 Worldplay (Barbados) Inc. System and method for mass distribution of high quality video
TWI415427B (zh) * 2010-11-04 2013-11-11 Ind Tech Res Inst 同儕即時串流系統與方法
US8867793B2 (en) * 2010-12-01 2014-10-21 The Trustees Of The University Of Pennsylvania Scene analysis using image and range data
US8988558B2 (en) * 2011-04-26 2015-03-24 Omnivision Technologies, Inc. Image overlay in a mobile device
JP2013013471A (ja) * 2011-06-30 2013-01-24 Kyoraku Sangyo Kk テーブルゲームシステム
US9489827B2 (en) * 2012-03-12 2016-11-08 Cisco Technology, Inc. System and method for distributing content in a video surveillance network
US8861664B2 (en) * 2012-06-15 2014-10-14 Smsc Holdings S.A.R.L. Communication system and method for synchronizing a plurality of network nodes after a network lock condition occurs
US8817113B2 (en) * 2012-07-10 2014-08-26 Sony Corporation Image distribution system and methods

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2082869A (en) * 1980-08-22 1982-03-10 Shorrock Security Systems Ltd Closed-Circuit Television Surveillance System
JPH10210077A (ja) * 1997-01-24 1998-08-07 Hitachi Ltd 通信制御システム
DE102010030068A1 (de) 2010-06-15 2011-12-15 Bayerische Motoren Werke Aktiengesellschaft Verarbeitung von Bilddaten, die durch ein Fahrzeug aufgenommen werden
US20130036149A1 (en) * 2011-04-29 2013-02-07 Yekesa Kosuru Method and apparatus for executing code in a distributed storage platform

Also Published As

Publication number Publication date
DE112014002629A5 (de) 2016-04-07
EP3005329A1 (de) 2016-04-13
DE102013209940A1 (de) 2014-12-04
US20160112624A1 (en) 2016-04-21
JP2016526340A (ja) 2016-09-01

Similar Documents

Publication Publication Date Title
WO2014190981A1 (de) Kamerasystem für fahrzeuge
DE102015201747A1 (de) Sensorsystem für ein fahrzeug und verfahren
EP3607740B1 (de) Kameravorrichtung und verfahren zur erfassung eines umgebungsbereichs eines fahrzeugs
DE112020002106T5 (de) Ereignisdetektionsvorrichtung, ereignisdetektionsvorrichtung enthaltendes system und ereignisdetektionsverfahren
DE102011077398B4 (de) Fahrzeugkamerasystem zur Bereitstellung eines lückenlosen Bildes der Fahrzeugumgebung und entsprechendes Verfahren
DE102010030068A1 (de) Verarbeitung von Bilddaten, die durch ein Fahrzeug aufgenommen werden
DE102014008893A1 (de) Vorrichtung, Verfahren und System zum Verarbeiten eines Bilddatenstroms
DE102016221380A1 (de) Seiten- und Rückwärts-Überwachungssystem eines Fahrzeugs mit ausfallsicherer Funktion und Verfahren hiervon
EP3677019B1 (de) Verfahren und vorrichtung zur vorhersehbaren belichtungssteuerung zumindest einer ersten fahrzeugkamera
DE102019219663B4 (de) Vorrichtung und Verfahren zum Verarbeiten von Videosignalen und Steuern von Kameras in einem autonomen oder teilautonomen Fahrzeug
WO2019174684A1 (de) Automobile kamera mit rohbildsignalschnittstelle
DE112015001285T5 (de) Kamerakopf mit integrierten Eichtabellen
EP2312525A2 (de) Verfahren und Kamerasystem zur Erzeugung von Bildern zur Übermittlung an eine externe Steuereinheit
DE102018203951A1 (de) Verfahren zum Darstellen eines Umgebungsbereichs eines Kraftfahrzeugs einer Fahrzeugkolonne, sowie Fahrerassistenzsystem
WO2021233675A1 (de) Fahrzeug-steuerungssystem mit schnittstelle zwischen datenverarbeitungspfaden
DE102016013971A1 (de) Verfahren für einen ferngesteuerten Betrieb eines Kraftwagens, sowie System zum ferngesteuerten Betrieb eines Kraftwagens
DE112020002028T5 (de) Bildgebendes system und verfahren
EP2966576A1 (de) Umfelderfassungssystem und verfahren zum betrieb eines umfelderfassungssystems
DE102019219664A1 (de) Netzwerkanordnung für ein Fahrzeug und Verfahren zum Betreiben einer solchen Netzwerkanordnung
DE102019211005A1 (de) Anhängersteuergerät, Anhängerfahrwerk, Anhänger und Zugfahrzeug-Anhänger-Kombination
WO2019042689A1 (de) Personenerkennung in bereichen mit eingeschränkter datenübertragung und datenverarbeitung
AT506412B1 (de) Verfahren und anordnung zur detektion von veränderungen einer aufgenommenen szene
WO2012031959A1 (de) Verfahren zur datenübertragung und vorrichtung zur umfelderfassung
WO2023028631A1 (de) Verteilungsverfahren für ein verteilen von objektdaten von verkehrsteilnehmern erfasster objekte
DE102014213801A1 (de) Verfahren und Vorrichtung zum Generieren einer Bildfolge zur Wiedergabe auf einem Anzeigegerät eines Fahrzeugs sowie Bilderfassungsgerät für ein Fahrzeug

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14722985

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2014722985

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2016515655

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 14893633

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 112014002629

Country of ref document: DE

REG Reference to national code

Ref country code: DE

Ref legal event code: R225

Ref document number: 112014002629

Country of ref document: DE