WO2023202844A1 - Verfahren für ein kamerasystem sowie kamerasystem - Google Patents

Verfahren für ein kamerasystem sowie kamerasystem Download PDF

Info

Publication number
WO2023202844A1
WO2023202844A1 PCT/EP2023/057806 EP2023057806W WO2023202844A1 WO 2023202844 A1 WO2023202844 A1 WO 2023202844A1 EP 2023057806 W EP2023057806 W EP 2023057806W WO 2023202844 A1 WO2023202844 A1 WO 2023202844A1
Authority
WO
WIPO (PCT)
Prior art keywords
shadow
image
ego vehicle
vehicle
camera system
Prior art date
Application number
PCT/EP2023/057806
Other languages
English (en)
French (fr)
Inventor
Deepanshu Makkar
Sneha Sinha
Markus Friebe
Huiling Tao
Original Assignee
Continental Autonomous Mobility Germany GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from DE102022206328.7A external-priority patent/DE102022206328B3/de
Application filed by Continental Autonomous Mobility Germany GmbH filed Critical Continental Autonomous Mobility Germany GmbH
Publication of WO2023202844A1 publication Critical patent/WO2023202844A1/de

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/16—Image acquisition using multiple overlapping images; Image stitching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/62—Extraction of image or video features relating to a temporal dimension, e.g. time-based feature extraction; Pattern tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle

Definitions

  • the present invention relates to a method for a camera system or surround view camera system for detecting the surroundings of a vehicle and to a generic camera system which is operated using the method according to the invention.
  • Driver assistance systems that support the driver in carrying out driving maneuvers.
  • these driver assistance systems also include, in particular, surround-view camera systems that allow the vehicle's surroundings to be displayed to the driver of the vehicle.
  • surround view camera systems generally include several vehicle cameras, which provide real images of the vehicle surroundings, which are combined in particular by a data processing unit of the surround view camera system to form an environmental image of the vehicle surroundings. The image of the vehicle surroundings can then be displayed to the driver on a display unit (such as the display of the navigation system). In this way, the driver can be supported during vehicle maneuvers, for example when reversing the vehicle or during a parking maneuver.
  • surround view camera systems there are functions or views such as “bowl” and “top view” (“bird's eye view” or “top view”), in which images or textures from the surround view cameras are put together or seamlessly lined up ( Stitching).
  • the images or textures of the surround view cameras generally have overlapping regions or overlapping areas.
  • the textures from the cameras are projected to visualize a virtual 3D bowl, which represents the entire area around the car.
  • Modern surround view camera systems can then display the resulting views to the driver, e.g. B. on a display, a cockpit or a navigation system.
  • the captured camera textures can be displayed in different ways.
  • the textured images from the cameras can be projected onto a virtual 3D plane that visualizes the entire area around the car in (360 degree view). Shadows or the shadow of your own vehicle can be recorded and shown in the display. All of these views contain a so-called “clear-sight” ground view, where the implementation is based on a historical ground level. With this special view the Drivers can see the area under the car by stitching together images from a series of historical photographs. The shadow of the ego vehicle is drawn through the entire historical floor area through stitching. This can be a disadvantage as the shadows can limit the clarity of the displayed view or image. Such restrictions should be avoided in driver assistance systems as they can have a negative impact on the driver and reduce ease of use, thereby significantly reducing safety. There is therefore a particular interest in improving visibility or improving the clarity of the view.
  • the present invention is therefore based on the object of providing a method for a (surround view) camera system through which improved visibility or reduced visibility restrictions can be achieved in a simple and cost-effective manner, thereby improving usability and safety .
  • the method according to the invention for a camera system comprises a control device for controlling the camera system, and at least one camera for detecting the surroundings, whereby an output image is generated which can be output on a display of the ego vehicle is or can be displayed by using the at least one camera to generate an input image that includes a representation of the environment and the ego vehicle. Furthermore, a shadow of the ego vehicle is recognized in the input image and the shadow of the ego vehicle is tracked over an image series comprising several successive input images. The detected and tracked shadow can then e.g.
  • luminance information can be removed from non-shadow regions using machine learning or image processing techniques.
  • the input images of the image series can be compared and unpaired image parts of shadow areas and non-shadow areas can be identified. This results in the advantage that an improved view around the ego vehicle can be generated for the driver, with no ego shadow propagation, especially in the blind spot area, which then has a negative impact on the view generated (e.g. on see-through bonnet, see-through trailer, transparent hood or similar).
  • the invention can be used on any image in which shadow tracking and removal is desired, such as: B. satellite images, water navigation maps or the like.
  • the input image can expediently be composed of the images from several cameras, in particular from several surround view cameras (in particular fisheye cameras).
  • the input image is then preferably a fisheye image or a 2D image or a 3D image, which shows the driver the surroundings of the ego vehicle as well as a silhouette of the ego vehicle itself on a display unit of the ego vehicle.
  • the shadow of the ego vehicle can be recognized and/or removed using a neural network and/or image processing techniques.
  • the output image includes a top view view, a bowl view view, a see-through trailer view and/or a see-through trailer bonnet view.
  • the invention also includes a method for a camera system, in particular a surround-view camera system, for an ego vehicle, which has a Control device for controlling the camera system and several cameras for detecting the surroundings, the method further comprising the following method steps:
  • Step II Check whether the shadow is previous shadow information from the ego vehicle (Step II).
  • Detecting the shadow of the ego vehicle in the input image in particular through shadow tracking (step Ha) or shadow detection (step Hb),
  • Step IV Removing or reexposing the shadow of the ego vehicle in the output image by using information from non-shadow areas.
  • the method can include the step of creating a (binary) ego-vehicle shadow mask (step III), whereby the shadow of the ego-vehicle in the output image is removed or re-exposed using the ego-vehicle shadow mask.
  • the method can expediently include the method step of displaying/outputting an output image without a shadow of the ego vehicle (step V), the output image being displayed/output in particular on a display or a display of the surround view camera system.
  • the present invention also includes a camera system, in particular a surround view camera system, for an ego vehicle, which includes a control device for controlling the camera system, and several cameras for detecting the surroundings, and the camera system is prepared to create an output image using a method according to the invention.
  • a camera system in particular a surround view camera system, for an ego vehicle, which includes a control device for controlling the camera system, and several cameras for detecting the surroundings, and the camera system is prepared to create an output image using a method according to the invention.
  • FIG. 1 shows a simplified schematic representation of an ego vehicle with a surround view camera system according to the invention for generating an image of the vehicle surroundings;
  • FIG. 2 shows a simplified schematic representation of a historical ground level of the ego vehicle, which was generated using the camera textures of the surround view cameras;
  • FIG. 3 shows a simplified schematic representation of the camera textures of the surround view cameras 3a-3c of the ego vehicle
  • Fig. 4 is a simplified schematic representation of shadow removal using the method according to the invention, as well
  • Fig. 5 is a simplified schematic representation of an embodiment of a method sequence according to the invention.
  • Reference number 1 in Fig. 1 denotes an ego vehicle with a control device 2 (ECU, Electronic Control Unit or ADCU, Assisted and Automated Driving Control Unit), which z. B. can access various actuators (e.g. steering, engine, brake) of the ego vehicle 1 in order to be able to carry out control processes of the ego vehicle 1.
  • the ego vehicle 1 has several surround view cameras or cameras 3a-3d, a camera sensor 4 (or front camera) and a lidar sensor 5 for detecting the surroundings, which are controlled via the control device 2.
  • the present invention expressly also includes embodiments in which no common control device 2 is provided, but individual control devices or control units are provided for sensor control (e.g.
  • B. parking assistants emergency braking assistant (EBA, Electronic Brake Assist), distance following control (ACC, Adaptive Cruise Control), lane keeping control or a lane keeping assistant (LKA, Lane Keep Assist) or the like can be implemented.
  • EBA Emergency braking assistant
  • ACC Adaptive Cruise Control
  • LKA Lane Keep Assist
  • the assistance functions can also be carried out via the control device 2 or a separate control device intended for this purpose.
  • the cameras 3a-3d are part of a surround view camera system, which is preferably controlled by the control device 2 (alternatively, a separate control can be provided, for example), which provides a complete 360 degree view around the entire ego vehicle 1 can be created by changing the fields of view of the individual surround view cameras, e.g. B. 120 degrees, can be combined to form an overall view or overall picture.
  • the surround view camera system allows the driver to see different perspectives of the ego vehicle 1, e.g. B. can be displayed via a display unit or display 6.
  • four surround view cameras 3a-3d are used, e.g. B. are arranged in the front and rear areas as well as on the side mirrors.
  • three, six, eight, ten or more surround view cameras can also be provided. These camera views or viewing angles are particularly helpful when checking the blind spot, changing lanes or parking.
  • the driver assistance system uses the visual information or the camera textures of the environment, e.g. B. help visualize blind spots and give the driver a better and safer driving experience than the pure driver perspective.
  • the driver assistance system displays a ground view as an overall view or output image on the display 6, with the historical ground data or previous ground views being displayed based on past recordings or image information from an image series comprising several individual images.
  • Such views also include the shadow(s) cast by the ego vehicle or vehicle 1. This shadow would be unlike other natural shadows, e.g. B. traffic signs, buildings or plants on the side of the road, remain consistently in the scene throughout a series of images, which can lead to irritation.
  • FIG. 3 shows an example view from a surround view camera system, which includes natural shadows and the shadow of the ego vehicle 1.
  • the shadows 10 cast by natural objects contribute to natural imaging that provides the driver with relevant information about the scene should represent.
  • the shadow of the ego vehicle 1 does not contribute to the information of the environment, but rather represents an obstacle to a seamless/smooth view for the user.
  • the natural shadows should be preserved and the shadow of the ego vehicle 1 can be removed from the view.
  • the shadows 10 of the natural scenery or other objects are preserved and only the shadow 8 of the ego vehicle 1 or the ego vehicle shadow mask is removed.
  • the resulting image is filled with the recognized road structure (i.e. with detected non-shadow areas) in such a way as if there were no shadow of the ego vehicle 1.
  • the shadow removal can take place both in the scenarios according to FIG. 3 and in the historical ground level according to FIG. 2.
  • the invention particularly aims to detect and remove the shadow of the ego vehicle while preserving natural shadows from the environment.
  • the artifacts created by the ego vehicle's shadow on the historical ground plane would make it difficult for the driver to visualize the road structure on the ground plane, e.g. E.g. cracks, cracks, potholes, spilled oil or the like.
  • the invention can be used in various views in surround view systems, such as: B. Top view (bird's eye view), "See-through bonnet" (STB), "See-through trailer” (STT) and raw camera view (Fisheyeview).
  • the invention can also be very useful in functions with 360° framing settings, as the shadows can be removed in any view (front, rear, 2D, 3D and the like).
  • scenarios can also be taken into account in which the light source is seen from different angles and the shadow has different opacities, e.g. B. depending on which light sources (sun, moon, artificial light or the like) cause the shadow and how they are arranged.
  • Step I Generate an input image with the shadow of the ego vehicle and natural shadows (input images can be fisheye images, 2D images or 3D surround view images) (Step I),
  • step II Recognizing or detecting whether there is already (previous or historical) shadow information about the shadow of the ego vehicle (step II), where
  • step Ha the shadow of the ego vehicle is tracked (step Ha) over successive frames (the tracking of the function takes place over the long term, i.e. even if the Shadow is completely closed, the shadow is tracked again if it is visible) if shadow information is available, otherwise the shadow of the ego vehicle is detected or recognized (step Hb), and
  • Step IV Removing the shadow of the ego vehicle in the resulting image using the ego vehicle shadow mask, leaving only the natural shadows of the scene (Step IV) (shadow removal can be done using image processing techniques or neural network techniques or a mixture of). both methods), and
  • Step V Output/display an output image without the shadow of the ego vehicle
  • ANN Artificial Neural Network
  • CNN Convolutional Neural Network
  • ANN Artificial Neural Networks
  • ANN Artificial Neural Networks
  • Such artificial neural networks can be single-layered (one output layer), two-layered (one output layer and one hidden layer to improve abstraction) or multi-layered (at least one output layer and several hidden layers to improve abstraction).
  • feedforward forward-directed
  • recurrent connections backward-directed edges
  • the method according to the invention can also be designed as a purely computer-implemented method, whereby the term “computer-implemented method” in the sense of the invention describes a process planning or procedure that is implemented or carried out using a computer.
  • the computer such as B. a computer, a computer network or another programmable device known from the prior art (e.g. also the control device 2 for controlling the camera system) can process data using programmable calculation rules.
  • essential properties can be, for example: B. be caused by a new program, new programs, an algorithm or the like.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

Verfahren für ein Kamerasystem, insbesondere Surroundview-Kamerasystem, für ein Ego-Fahrzeug (1), umfassend eine Steuereinrichtung (2) zum Steuern des Kamerasystems, und mindestens eine Kamera (3a-3d, 4) zur Umfelderfassung, wobei ein Ausgabebild erzeugt wird, welches auf einer Anzeige (6) des Ego-Fahrzeuges (1) ausgebbar ist, indem anhand der mindestens einen Kamera (3a-3d, 4) ein Eingangsbild erzeugt wird, das eine Darstellung der Umgebung und des Ego-Fahrzeuges (1) umfasst, ein Schatten des Ego-Fahrzeuges (1) im Eingangsbild erkannt wird, und der Schatten des Ego-Fahrzeuges (1) über eine mehrere aufeinander folgende Eingangsbilder umfassende Bildserie verfolgt wird, wobei durch einen Abgleich von zumindest zwei Eingangsbildern der Bildserie unpaarige Bildteile von Schattenbereichen und Nicht-Schattenbereichen identifiziert werden, und der verfolgte Schatten im Ausgabebild entfernt wird, indem im Ausgabebild Bildteile mit Schattenbereichen durch Bildteile mit Nicht-Schattenbereichen ersetzt werden.

Description

Verfahren für ein Kamerasystem sowie Kamerasystem
Die vorliegende Erfindung betrifft ein Verfahren für ein Kamerasystem bzw. Surroundview- Kamerasystem zur Umfelderfassung für ein Fahrzeug sowie ein gattungsgemäßes Kamerasystem, welches anhand des erfindungsgemäßen Verfahrens betrieben wird.
Technologischer Hintergrund
Fahrzeuge werden zunehmend mit Fahrerassistenzsystemen ausgerüstet, welche den Fahrer bei der Durchführung von Fahrmanövern unterstützen. Diese Fahrerassistenzsysteme umfassen neben Radarsensoren, Lidarsensoren, Ultraschallsensoren und/oder Kamerasensoren insbesondere auch Surroundview-Kamerasysteme, die es erlauben, dem Fahrer des Fahrzeugs die Fahrzeugumgebung anzuzeigen. Derartige Surroundview-Kamerasysteme umfassen in der Regel mehrere Fahrzeugkameras, welche reale Bilder der Fahrzeugumgebung liefern, die insbesondere durch eine Datenverarbeitungseinheit des Surroundview-Kamerasysteme zu einem Umgebungsbild der Fahrzeugumgebung zusammengefügt werden. Das Bild der Fahrzeugumgebung kann dann dem Fahrer auf einer Anzeigeeinheit (wie z. B. dem Display des Navigationssystems) angezeigt. Auf diese Weise kann der Fahrer bei einem Fahrzeugmanöver unterstützt werden, beispielsweise bei einem Rückwärtsfahren des Fahrzeuges oder bei einem Parkmanöver.
Im Bereich der Surroundview-Kamerasysteme gibt es Funktionen bzw. Ansichten wie „Bowl“ und „Top-View“ („Vogelperspektive“ oder „Draufsicht“), bei denen Bilder bzw. Texturen aus den Surroundview-Kameras zusammengefügt bzw. nahtlos aneinandergereiht werden (Stitching). Die Bilder bzw. Texturen der Surroundview-Kameras weisen dabei in der Regel überlappende Regionen bzw. Überlappungsbereiche auf. Insbesondere in der Bowl-Ansicht, in der die Texturen aus den Kameras projiziert werden, um eine virtuelle 3D-Bowl zu visualisieren, welche die gesamte Fläche um das Auto herum darstellt. Moderne Surroundview-Kamerasysteme können die dadurch erzeugten Ansichten dann dem Fahrer anzeigen, z. B. an einem Display, einem Cockpit oder einem Navigationssystem. Die erfassten Kameratexturen können dabei auf verschiedene Weise dargestellt werden. Insbesondere können im „Top-View“ die aus den Kameras texturierten Bilder auf eine virtuelle 3D-Ebene projiziert werden, die den gesamten Bereich um das Auto in (360 Grad-Sicht) visualisiert. Dabei können Schatten bzw. der Schatten des eigenen Fahrzeuges erfasst und mit in der Anzeige dargestellt werden. All diese Ansichten enthalten eine sogenannte „Clear-Sight“-Bodenansicht, bei der die Umsetzung anhand einer historischen Bodenebene erfolgt. Mit dieser speziellen Ansicht kann der Fahrer den Bereich unter dem Auto sehen, indem Bilder aus einer Reihe historischer Aufnahmen zusammengesetzt werden. Der Schatten des Ego-Fahrzeugs wird dabei, durch das Zusammensetzen (Stitching) durch die gesamte historische Bodenfläche gezogen. Dies kann ein Nachteil sein, da die Schatten die Übersichtlichkeit der angezeigten Ansicht bzw. des Bildes einschränken können. Derartige Einschränkungen sollten in Fahrerassistenzsystemen vermieden werden, da sie den Fahrer negativ beeinträchtigen und den Nutzungskomfort verringern können, sodass die Sicherheit dadurch in besonderem Maße verringert wird. Daher besteht ein besonderes Interesse die Sichtbarkeit zu verbessern bzw. die Übersichtlichkeit der Ansicht zu verbessern.
Druckschriftlicher Stand der Technik
Aus der EP 2 854 098 A1 ist ein Assistenzsystem bekannt, welches eine Vogelperspektive (Draufsicht) bei einer Rückwärtsfahrt offenbart, wobei die Bildaufnahme durch eine einzelne Kamera erfolgt und der Schatten des eigenen Fahrzeuges in der Draufsicht eliminiert wird.
Ferner sind auch aus den Schriften CN 111469765 A, CN 104299210 A, CN 107038690 A, US 2019340446 A1 , US 2012008021 A1 , US 2012008020 A1 , US 2012 213440 A1 , Verfahren bekannt, bei denen Schatten bzw. Schattierungen in Anzeigen des Fahrzeuges verringert oder entfernt werden.
Aufgabe der vorliegenden Erfindung
Der vorliegenden Erfindung liegt daher die Aufgabe zugrunde, ein Verfahren für ein (Surround- view-) Kamerasystem zur Verfügung zu stellen, durch das eine verbesserte Sichtbarkeit bzw. geringere Sichteinschränkungen in einfacher und kostengünstiger Weise erzielt werden können, wodurch die Bedienbarkeit und Sicherheit verbessert werden.
Lösung der Aufgabe
Die vorstehende Aufgabe wird durch die gesamte Lehre des Anspruchs 1 sowie des nebengeordneten Anspruchs gelöst. Zweckmäßige Ausgestaltungen der Erfindung sind in den Unteransprüchen beansprucht. Das erfindungsgemäße Verfahren für ein Kamerasystem, insbesondere Surroundview-Kame- rasystem, für ein Ego-Fahrzeug, umfasst eine Steuereinrichtung zum Steuern des Kamerasystems, und mindestens eine Kamera zur Umfelderfassung, wobei ein Ausgabebild erzeugt wird, welches auf einer Anzeige des Ego-Fahrzeuges ausgebbar ist bzw. angezeigt werden kann, indem anhand der mindestens einen Kamera ein Eingangsbild erzeugt wird, das eine Darstellung der Umgebung und des Ego-Fahrzeuges umfasst. Ferner wird ein Schatten des Ego- Fahrzeuges im Eingangsbild erkannt und der Schatten des Ego-Fahrzeuges wird über eine mehrere aufeinander folgende Eingangsbilder umfassende Bildserie verfolgt. Der erkannte und nachverfolgte Schatten kann dann z. B. mithilfe von Leuchtdichteinformationen aus Nicht- Schattenregionen mithilfe von maschinellem Lernen oder Bildverarbeitungstechniken entfernt werden. Beispielsweise kann ein Abgleichen der Eingangsbilder der Bildserie und Identifizieren unpaariger Bildteile von Schattenbereichen und Nicht-Schattenbereichen erfolgen. Daraus resultiert der Vorteil, dass für den Fahrer eine verbesserte Ansicht um das Ego-Fahrzeug erzeugt werden kann, wobei keine Ego-Schatten-Ausbreitung, insbesondere im Totwinkelbereich-Bereich, entsteht, die sich dann negativ auf die erzeugte Ansicht (z. B. auf See-Through- Bonnet, See-Through-Trailer, Transparent Hood oder dergleichen) auswirken könnte. In praktischer Weise kann die Erfindung bei sämtlichen Bildern verwendet werden, in denen die Schattenverfolgung und -entfernung erwünscht ist, wie z. B. Satellitenbilder, Wassernavigationskarten oder dergleichen.
Zweckmäßigerweise kann das Eingabebild aus den Bildern mehrerer Kameras insbesondere aus mehreren Surroundview-Kameras (insbesondere Fischaugenkameras) zusammengesetzt sein.
Vorzugsweise ist das Eingabebild dann ein Fischaugenbild oder ein 2 D-Bild oder ein 3D-Bild, welches dem Fahrer die Umgebung des Ego-Fahrzeuges sowie eine Silhouette des Ego-Fahrzeuges selbst auf einer Anzeigeeinheit des Ego-Fahrzeuges darstellt.
Gemäß einer besonderen Ausgestaltung der Erfindung kann das Erkennen und/oder Entfernen des Schattens des Ego-Fahrzeuges anhand eines neuronalen Netzes und/oder Bildverarbeitungstechniken („Image Processing“) erfolgen.
Vorzugsweise umfasst das Ausgabebild eine Top-View-Ansicht, eine Bowl-View-Ansicht, eine See-Through-Trailer-Ansicht und/oder eine See-Through-Trailer-Bonnet-Ansicht.
Neben- oder untergeordnet umfasst die Erfindung auch ein Verfahren für ein Kamerasystem, insbesondere ein Surroundview-Kamerasystem, für ein Ego-Fahrzeug, das eine Steuereinrichtung zum Steuern des Kamerasystems und mehrere Kameras zur Umfelderfassung umfasst, wobei das Verfahren ferner folgende Verfahrensschritte aufweist:
Erzeugen eines Eingangsbildes, umfassend eine Darstellung der Umgebung und den Schatten des Ego-Fahrzeuges (Schritt I),
Prüfen, ob es sich bei dem Schatten um frühere Schatteninformationen des Ego-Fahrzeuges handelt (Schritt II),
Erkennen des Schattens des Ego-Fahrzeuges im Eingangsbild, insbesondere durch Schattenverfolgung („Shadow tracking“) (Schritt Ha) oder Schattendetektion („Shadow detection“) (Schritt Hb),
Entfernen oder Wiederbelichten des Schattens des Ego-Fahrzeuges im Ausgabebild durch Verwenden von Informationen von Nicht-Schattenbereichen (Schritt IV), beispielsweise durch Abgleichen der Eingangsbilder der Bildserie und Identifizieren unpaariger Bildteile von Schattenbereichen und Nicht-Schattenbereichen.
Ferner kann das Verfahren den Verfahrensschritt Erstellen einer (binären) Ego-Fahrzeug- Schatten-Maske (Schritt III) umfassen, wobei der Schatten des Ego-Fahrzeuges im Ausgabebild anhand der Ego-Fahrzeug-Schatten-Maske entfernt bzw. wiederbelichtet wird.
Zweckmäßigerweise kann das Verfahren den Verfahrensschritt Anzeigen/Ausgeben eines Ausgabebildes ohne Schatten des Ego-Fahrzeuges (Schritt V) umfassen, wobei das Ausgabebild insbesondere auf einem Display bzw. einer Anzeige des Surroundview-Kamerasystems angezeigt/ausgegeben wird.
Zudem umfasst die vorliegende Erfindung auch ein Kamerasystem, insbesondere ein Surroundview-Kamerasystem, für ein Ego-Fahrzeug, welches eine Steuereinrichtung zum Steuern des Kamerasystems, und mehrere Kameras zur Umfelderfassung umfasst und das Kamerasystem dazu hergerichtet, ein Ausgabebild anhand eines erfindungsgemäßen Verfahrens zu erstellen.
Beschreibung der Erfindung anhand von Ausführungsbeispielen
Im Folgenden wird die Erfindung anhand von zweckmäßigen Ausführungsbeispielen näher beschrieben. Es zeigen: Fig. 1 eine vereinfachte schematische Darstellung eines Ego-Fahrzeuges mit einem erfindungsgemäßen Surroundview-Kamerasystem zur Erzeugung eines Bildes der Fahrzeugumgebung;
Fig. 2 eine vereinfachte schematische Darstellung einer historischen Bodenebene des Ego-Fahrzeuges, die anhand der Kameratexturen der Surroundview-Kamers erzeugt wurde;
Fig. 3 eine vereinfachte schematische Darstellung der Kameratexturen der Surround- view-Kameras 3a-3c des Ego-Fahrzeuges;
Fig. 4 eine vereinfachte schematische Darstellung einer Schattenentfernung anhand des erfindungsgemäßen Verfahrens, sowie
Fig. 5 eine vereinfachte schematische Darstellung einer Ausgestaltung eines erfindungsgemäßen Verfahrensablaufs.
Bezugsziffer 1 in Fig. 1 bezeichnet ein Ego-Fahrzeug mit einer Steuereinrichtung 2 (ECU, Electronic Control Unit oder ADCU, Assisted and Automated Driving Control Unit), welche z. B. auf verschiedene Aktoren (z. B. Lenkung, Motor, Bremse) des Ego-Fahrzeuges 1 zugreifen kann, um Steuervorgänge des Ego-Fahrzeuges 1 ausführen zu können. Ferner weist das Ego- Fahrzeug 1 zur Umfelderfassung mehrere Surroundview-Kameras bzw. Kameras 3a-3d, einen Kamerasensor 4 (bzw. Frontkamera) und einen Lidarsensor 5 auf, die über die Steuereinrichtung 2 gesteuert werden. Ausdrücklich umfasst die vorliegende Erfindung jedoch auch Ausgestaltungen, bei denen keine gemeinsame Steuereinrichtung 2 vorgesehen ist, sondern einzelne Steuereinrichtungen bzw. Steuereinheiten zur Sensorsteuerung vorgesehen sind (z. B. eine separate Steuereinheit bzw. ein separates Steuergerät zur Steuerung der Kameras 3a- 3d und zur Durchführung des erfindungsgemäßen Verfahrens). Darüber hinaus können auch weitere Sensoren, wie z. B. Radar- oder Ultraschallsensoren vorgesehen sein. Die Sensordaten können dann zur Umfeld- und Objekterkennung genutzt werden. Infolgedessen können auch verschiedene Assistenzfunktionen, wie z. B. Einparkassistenten, Notbremsassistent (EBA, Electronic Brake Assist), Abstandsfolgeregelung (ACC, Adaptive Cruise Control), Spurhalteregelung bzw. ein Spurhalteassistent (LKA, Lane Keep Assist) oder dergleichen, realisiert werden. In praktischer Weise kann die Ausführung der Assistenzfunktionen ebenfalls über die Steuereinrichtung 2 oder eine eigenes dafür vorgesehene Steuereinrichtung erfolgen. Die Kameras 3a-3d sind dabei Teil eines Surroundview-Kamerasystems, welches vorzugsweise durch die Steuereinrichtung 2 gesteuert wird (alternativ kann z. B. eine eigene Steuerung vorgesehen sein), das eine vollständige 360-Grad-Sicht rund um das gesamte Ego-Fahrzeug 1 erstellen kann, indem die Sichtfelder der einzelnen Surroundview-Kameras, z. B. 120- Grad, zu einer Gesamtsicht bzw. Gesamtbild vereint werden. Durch das Surroundview-Kame- rasystem können dem Fahrer dabei verschiedene Blickwinkel des Ego-Fahrzeuges 1 z. B. über eine Anzeigeeinheit bzw. Anzeige 6 dargestellt werden. In der Regel werden dabei vier Surroundview-Kameras 3a-3d verwendet, die z. B. im Front- und Heckbereich sowie an den Seitenspiegeln angeordnet sind. Zudem können aber auch drei, sechs, acht, zehn oder mehr Surroundview-Kameras vorgesehen sein. Besonders hilfreich sind diese Kameraansichten bzw. Blickwinkeln beim Überprüfen des toten Winkels, beim Spurwechsel oder beim Einparken.
Aktuelle Fahrerassistenzsysteme bzw. Surroundview-Kamerasysteme nutzten die visuellen Informationen bzw. die Kameratexturen der Umgebung, die z. B. bei der Visualisierung der toten Winkel helfen und dem Fahrer ein besseres und sichereres Fahrerlebnis als die reine Fahrerperspektive vermittelt. Das Fahrerassistenzsystem zeigt beispielsweise eine Bodenansicht als Gesamtansicht bzw. Ausgabebild auf der Anzeige 6 an, wobei die historischen Bodendaten bzw. früheren Bodenansichten anhand vergangener Aufnahmen bzw. Bildinformationen einer mehrere Einzelbilder umfassende Bildserie dargestellt werden. Derartige Ansichten umfassen auch den bzw. die Schatten, die das Ego-Fahrzeug bzw. Fahrzeug 1 geworfen hat. Dieser Schatten würde im Gegensatz zu anderen natürlichen Schatten, z. B. von Verkehrsschildern, Bebauungen oder Pflanzen am Straßenrand, über eine Bildserie hinweg konsequent in der Szene bleiben, was zu Irritationen führen kann. Dadurch, dass die Einzelbilder bzw. Frames verbreitert werden, um historische Daten auf der Bodenebene zu erzeugen, und angesichts der Tatsache, dass der Schatten konsequent in der Szene bleibt, wird auch der Schatten im Anzeigebild verbreitert, wodurch visuelle Aberrationen bzw. Abbildungsfehler auf der Bodenebene entstehen. Diese Effekte sind in Fig. 2 anhand der Kamerabilder bzw. Kameratexturen 7a-7c (der Kameras 3a-3c) dargestellt, wobei der Schatten 8 des Ego-Fahrzeuges 1 dargestellt ist und die historische Bodenebene 9 anhand der historischen Bodenansichten t...tn der vorderen Kamera 3a propagiert wurde. Unabhängig davon, welche Kameratextur genutzt wurde, würde die Kamerastruktur aufgrund des Schattens 8 des Ego-Fahrzeuges 1 in der Bodenebene 9 visuell abweichen.
In Fig. 3 ist eine Beispielansicht aus einem Surroundview-Kamerasystem, welche natürliche Schatten und den Schatten des Ego-Fahrzeuges 1 umfasst. Die von Naturobjekten geworfene Schatten 10 tragen zur natürlichen Bildgebung bei, die den Fahrer relevante Informationen über die Szene darstellen soll. Im Gegenteil dazu, trägt der Schatten des Ego-Fahrzeuges 1 nicht zur Information der Umgebung bei, sondern stellt eher ein Hindernis für eine naht- lose/glatte Ansicht für den Benutzer dar. Infolgedessen sollten die natürlichen Schatten erhalten und der Schatten des Ego-Fahrzeuges 1 aus der Ansicht entfernt werden.
Wie in Fig. 4 dargestellt, werden die Schatten 10 der natürlichen Szenerie bzw. von anderen Objekten bewahrt und nur der Schatten 8 des Ego-Fahrzeuges 1 bzw. die Ego-Fahrzeug- Schatten-Maske wird entfernt. Das resultierende Bild wird dabei mit der erkannten Straßenstruktur (d. h. mit erfassten Nicht-Schattenbereichen) derart befüllt, als ob kein Schatten des Ego-Fahrzeuges 1 vorhanden wäre. Die Schattenentfernung kann dabei sowohl bei den Szenarien gemäß Fig. 3 als auch bei der historischen Bodenebene nach Fig. 2 erfolgen.
Die Erfindung zielt insbesondere darauf ab, den Schatten des Ego-Fahrzeuges zu erkennen und zu entfernen und gleichzeitig natürliche Schatten aus der Umgebung zu bewahren. Die Artefakte, die durch den Schatten des Ego-Fahrzeuges auf der historischen Bodenebene entstanden sind, würden es dem Fahrer erschweren, die Straßenstruktur auf der Bodenebene zu visualisieren, z. B. Risse, Sprünge, Schlaglöcher, verschüttetes Öl oder dergleichen. Ferner kann die Erfindung bei verschiedenen Ansichten in Surroundview-Systemen verwendet werden, wie z. B. Top-View (Vogelperspektive), „See-through bonnet“ (STB), „See-through trailer“ (STT) und Roh-Kameraansicht (Fisheyeview). Darüber hinaus kann die Erfindung auch bei Funktionen mit 360°-Einstellungen für den Bildausschnitt sehr nützlich sein, da die Schatten in jeglicher Ansicht (Front, Heck, 2D, 3D und dergleichen) entfernt werden können. Ferner können auch Szenarien berücksichtigt werden, bei denen die Lichtquelle aus verschiedenen Blickwinkeln und der Schatten unterschiedliche Opazitäten aufweist, z. B. je nachdem welche Lichtquellen (Sonne, Mond, künstliches Licht oder dergleichen) den Schatten verursachen und wie diese angeordnet sind.
In Fig. 5 ist eine Ausgestaltung eines Flussdiagramms dargestellt, welches die einzelnen Schritte des Verfahrens veranschaulicht:
- Erzeugen eines Eingabebildes mit dem Schatten des Ego-Fahrzeuges und natürlichen Schatten (Eingabebilder können hierbei Fisheye-Bilder, 2D-Bilder oder 3D-Surroundview- Bilder sein) (Schritt I),
- Erkennen bzw. Detektieren, ob bereits eine (frühere bzw. historische) Schatteninformation über den Schatten des Ego-Fahrzeuges vorliegt (Schritt II), wobei
- ein Verfolgen (Schritt Ha) des Schattens des Ego-Fahrzeuges über aufeinander folgende Frames erfolgt (Die Verfolgung der Funktion erfolgt hierbei langfristig, d. h. auch wenn der Schatten vollständig geschlossen ist, wird der Schatten wieder verfolgt, wenn er sichtbar ist), sofern eine Schatteninformation vorliegt, anderenfalls wird der Schatten des Ego-Fahrzeuges detektiert bzw. erkannt (Schritt Hb), und
- Erstellen einer (binären) Ego-Fahrzeug-Schatten-Maske (Schritt III),
- Entfernen des Schattens des Ego-Fahrzeuges im resultierenden Bild anhand der Ego-Fahr- zeug-Schatten-Maske, wobei nur die natürlichen Schatten der Szene erhalten bleiben (Schritt IV) (die Schattenentfernung kann dabei mit Bildverarbeitungstechniken oder neuronalen Netzwerktechniken oder eine Mischung aus beiden Methoden erfolgen), und
- Ausgeben/Anzeigen eines Ausgabebildes ohne den Schatten des Ego-Fahrzeuges (Schritt V).
Der Begriff „Artificial Neural Network“ (ANN) oder „Convolutional Neural Network“ (CNN) bzw. „Künstliche neuronale Netze“ (KNN), umfasst Netze aus künstlichen Neuronen, welche in Hinblick auf ihre Informationsverarbeitung abstrahierend ausgedrückt wie in einem Nervensystem eines Lebewesens vernetzt sind. Hierbei können die Neuronen als Knoten und ihre Verbindungen als Kanten in einem Graphen dargestellt werden, wobei die hinterste (Knoten-) Schicht des Netzes als Ausgabeschicht („output layer“) und davorliegende (Knoten-) Schichten („nicht sichtbare“) als verdeckte Schichten („hidden layer“) bezeichnet werden. Derartige Künstliche neuronale Netze können vom Aufbau einschichtig (eine Ausgabeschicht), zweischichtig (eine Ausgabeschicht und eine verdeckte Schicht zur Verbesserung der Abstraktion) oder mehrschichtig (mindestens eine Ausgabeschicht sowie mehrere verdeckte Schichten zur Verbesserung der Abstraktion) sein. Zudem können diese in Hinblick auf ihre Datenübertragung vorwärtsgerichtet (feedforward) und/oder mit rückgerichteten Kanten (rekurrente Verbindungen) ausgestaltet sein (Rückkopplung; Feedbacknetz).
Ferner kann das erfindungsgemäße Verfahren auch als rein computerimplementiertes Verfahren ausgestaltet sein, wobei der Begriff „computerimplementiertes Verfahren“ im Sinne der Erfindung beschreibt eine Ablaufplanung oder Vorgehensweise, welche anhand eines Rechners verwirklicht bzw. durchgeführt wird. Der Rechner, wie z. B. ein Computer, ein Computernetzwerk oder eine andere aus dem Stand der Technik bekannte programmierbare Vorrichtung (z. B. auch die Steuereinrichtung 2 zum Steuern des Kamerasystems), kann dabei mittels programmierbarer Rechenvorschriften Daten verarbeiten. In Bezug auf das Verfahren können dabei wesentliche Eigenschaften z. B. durch ein neues Programm, neue Programme, einen Algorithmus oder dergleichen bewirkt werden. BEZUGSZEICHENLISTE 1 Ego-Fahrzeug
2 Steuereinrichtung
3a-3d Kamera
4 Kamerasensor
5 Lidarsensor 6 Anzeige
7a-7c Kameratextur
8 Schatten (Ego-Fahrzeug)
9 historische Bodenebene
10 Schatten (Objekt)

Claims

PATENTANSPRÜCHE
1. Verfahren für ein Kamerasystem, insbesondere Surroundview-Kamerasystem, für ein Ego-Fahrzeug (1), umfassend eine Steuereinrichtung (2) zum Steuern des Kamerasystems, und mindestens eine Kamera (3a-3d, 4) zur Umfelderfassung, wobei ein Ausgabebild erzeugt wird, welches auf einer Anzeige (6) des Ego-Fahrzeuges (1) ausgebbar ist, indem anhand der mindestens einen Kamera (3a-3d, 4) ein Eingangsbild erzeugt wird, das eine Darstellung der Umgebung und des Schattens des Ego-Fahrzeuges (1) umfasst, ein Schatten des Ego-Fahrzeuges (1) im Eingangsbild erkannt wird, und der Schatten des Ego-Fahrzeuges (1) über eine mehrere aufeinander folgende Eingangsbilder umfassende Bildserie verfolgt wird, wobei
Schattenbereiche und Nicht-Schattenbereiche identifiziert werden, und der Schatten des Ego-Fahrzeuges im Ausgabebild anhand von Informationen von Nicht-Schattenbereichen entfernt oder wiederbelichtet wird.
2. Verfahren nach Anspruch 1 , dadurch gekennzeichnet, dass das Eingabebild aus den Bildern mehrerer Kameras (3a-3d, 4) zusammengesetzt ist.
3. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass das Eingabebild ein Fischaugenbild oder ein 2 D-Bild oder ein 3D-Bild ist.
4. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Erkennen und/oder Entfernen des Schattens des Ego-Fahrzeuges (1) anhand eines neuronalen Netzes oder anhand von Bildverarbeitungstechniken erfolgt.
5. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Ausgabebild eine Top-View-Ansicht, eine Bowl-View-Ansicht, eine See- Through-Trailer-Ansicht und/oder eine See-Through-Trailer-Bonnet-Ansicht umfasst.
6. Verfahren für ein Kamerasystem, insbesondere Surroundview-Kamerasystem, für ein Ego-Fahrzeug (1), insbesondere nach einem der vorhergehenden Ansprüche, umfassend eine Steuereinrichtung (2) zum Steuern des Kamerasystems, und mehrere Kameras (3a-3d) zur Umfelderfassung, wobei das Verfahren folgende Verfahrensschritte aufweist:
- Erzeugen eines Eingangsbildes, umfassend eine Darstellung der Umgebung und den Schatten des Ego-Fahrzeugs (1) (Schritt I),
- Prüfen, ob es sich bei dem Schatten im Eingangsbild um frühere Schatteninformationen des Ego-Fahrzeuges (1) handelt (Schritt II), wobei
- der Schatten des Ego-Fahrzeuges (1) über aufeinander folgende Eingangsbilder einer Bildserie (Schritt Ha) verfolgt wird, wenn es sich bei dem Schatten im Eingangsbild um frühere Schatteninformationen des Ego-Fahrzeuges (1) handelt oder
- Erkennen des Schattens des Ego-Fahrzeuges (1) im Eingangsbild (Schritt Hb), wenn es sich bei dem Schatten im Eingangsbild nicht um frühere Schatteninformationen des Ego-Fahrzeuges (1) handelt,
- Entfernen oder Wiederbelichten des Schattens des Ego-Fahrzeuges (1 ) im Ausgabebild anhand von Informationen von Nicht-Schattenbereichen (Schritt IV). Verfahren nach Anspruch 6, dadurch gekennzeichnet, dass das Verfahren den Verfahrensschritt Erstellen einer (binären) Ego-Fahrzeug-Schatten-Maske (Schritt III), umfasst, wobei der Schatten des Ego-Fahrzeuges (1) im Ausgabebild insbesondere anhand der Ego-Fahrzeug-Schatten-Maske entfernt oder wiederbelichtet wird. Verfahren nach Anspruch 6 oder 7, dadurch gekennzeichnet, dass das Verfahren den Verfahrensschritt Ausgeben oder Anzeigen eines Ausgabebildes ohne den Schatten des Ego-Fahrzeuges (1) umfasst (Schritt V). Kamerasystem, insbesondere Surroundview-Kamerasystem, für ein Ego-Fahrzeug (1), umfassend eine Steuereinrichtung (2) zum Steuern des Kamerasystems, und mehrere Kameras (3a-3d) zur Umfelderfassung, dadurch gekennzeichnet, dass das Kamerasystem dazu hergerichtet ist, ein Ausgabebild anhand eines Verfahrens nach einem der vorhergehenden Ansprüche zu erstellen.
PCT/EP2023/057806 2022-04-19 2023-03-27 Verfahren für ein kamerasystem sowie kamerasystem WO2023202844A1 (de)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
IN202241023013 2022-04-19
IN202241023013 2022-04-19
DE102022206328.7A DE102022206328B3 (de) 2022-04-19 2022-06-23 Verfahren für ein Kamerasystem sowie Kamerasystem
DE102022206328.7 2022-06-23

Publications (1)

Publication Number Publication Date
WO2023202844A1 true WO2023202844A1 (de) 2023-10-26

Family

ID=85937461

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2023/057806 WO2023202844A1 (de) 2022-04-19 2023-03-27 Verfahren für ein kamerasystem sowie kamerasystem

Country Status (1)

Country Link
WO (1) WO2023202844A1 (de)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120008020A1 (en) 2010-07-06 2012-01-12 Gm Global Technology Operations, Inc. Shadow Removal in an Image Captured by a Vehicle Based Camera Using a Non-Linear Illumination-Invariant Kernel
US20120008021A1 (en) 2010-07-06 2012-01-12 Gm Global Technology Operations, Inc. Shadow Removal in an Image Captured by a Vehicle-Based Camera for Clear Path Detection
US20120213440A1 (en) 2010-11-22 2012-08-23 University Of Central Florida Research Foundation, Inc. Systems and Methods for Automatically Identifying Shadows in Images
CN104299210A (zh) 2014-09-23 2015-01-21 同济大学 基于多特征融合的车辆阴影消除方法
EP2854098A1 (de) 2012-05-23 2015-04-01 Denso Corporation Vorrichtung zur steuerung der anzeige von bildern einer fahrzeugumgebung, verfahren zur steuerung der anzeige von bildern einer fahrzeugumgebung, übergangsloses, greifbares, computerlesbares speichermedium mit einem befehl mit diesem verfahren sowie bildverarbeitungsverfahren mit top-view-umwandlung und anzeige von bildern einer fahrzeugumgebung
CN107038690A (zh) 2017-03-27 2017-08-11 湘潭大学 一种基于多特征融合的运动阴影去除方法
US20190340446A1 (en) 2016-08-01 2019-11-07 Peking University Shenzhen Graduate School Shadow removing method for color image and application
CN111469765A (zh) 2020-04-16 2020-07-31 苏州立唐智能科技有限公司 一种具有去除车身阴影功能的检测系统及其方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120008020A1 (en) 2010-07-06 2012-01-12 Gm Global Technology Operations, Inc. Shadow Removal in an Image Captured by a Vehicle Based Camera Using a Non-Linear Illumination-Invariant Kernel
US20120008021A1 (en) 2010-07-06 2012-01-12 Gm Global Technology Operations, Inc. Shadow Removal in an Image Captured by a Vehicle-Based Camera for Clear Path Detection
US20120213440A1 (en) 2010-11-22 2012-08-23 University Of Central Florida Research Foundation, Inc. Systems and Methods for Automatically Identifying Shadows in Images
EP2854098A1 (de) 2012-05-23 2015-04-01 Denso Corporation Vorrichtung zur steuerung der anzeige von bildern einer fahrzeugumgebung, verfahren zur steuerung der anzeige von bildern einer fahrzeugumgebung, übergangsloses, greifbares, computerlesbares speichermedium mit einem befehl mit diesem verfahren sowie bildverarbeitungsverfahren mit top-view-umwandlung und anzeige von bildern einer fahrzeugumgebung
CN104299210A (zh) 2014-09-23 2015-01-21 同济大学 基于多特征融合的车辆阴影消除方法
US20190340446A1 (en) 2016-08-01 2019-11-07 Peking University Shenzhen Graduate School Shadow removing method for color image and application
CN107038690A (zh) 2017-03-27 2017-08-11 湘潭大学 一种基于多特征融合的运动阴影去除方法
CN111469765A (zh) 2020-04-16 2020-07-31 苏州立唐智能科技有限公司 一种具有去除车身阴影功能的检测系统及其方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
HUILING TAO ET AL: "Master Thesis Ego-Car Shadow Detection and Removal in a Surround-View System using Deep Learning", 1 February 2022 (2022-02-01), XP093050910, Retrieved from the Internet <URL:https://www.ipi.uni-hannover.de/fileadmin/ipi/abschlussarbeiten/master/2022/2022_Abstract_MA_Huiling_Tao.pdf> [retrieved on 20230531] *
LIU ZHIHAO ET AL: "From Shadow Generation to Shadow Removal", 2021 IEEE/CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION (CVPR), IEEE, 20 June 2021 (2021-06-20), pages 4925 - 4934, XP034007578, DOI: 10.1109/CVPR46437.2021.00489 *

Similar Documents

Publication Publication Date Title
EP3328686B1 (de) Verfahren und vorrichtung zum anzeigen einer umgebungsszene eines fahrzeuggespanns
EP1875442B1 (de) Verfahren zur grafischen darstellung der umgebung eines kraftfahrzeugs
DE102009005505A1 (de) Verfahren zur Erzeugung eines Abbildes der Umgebung eines Kraftfahrzeugs
DE102013205882A1 (de) Verfahren und Vorrichtung zum Führen eines Fahrzeugs im Umfeld eines Objekts
EP3281178A1 (de) Verfahren zur darstellung einer fahrzeugumgebung eines fahrzeuges
DE102013213039A1 (de) Assistenzsystem und Assistenzverfahren zur Unterstützung bei der Steuerung eines Kraftfahrzeugs
EP1642770A2 (de) Verfahren zur Lenkung der Aufmerksamkeit eines Fahrers eines Fahrzeugs auf Objekte in einem Bild
WO2020051618A1 (de) Analyse dynamisscher räumlicher szenarien
DE102020213146B3 (de) Kamerasystem zur Umfelderfassung für ein Fahrzeug sowie Verfahren zum Betrieb eines derartigen Kamerasystems
DE102006037600A1 (de) Verfahren zur auflösungsabhängigen Darstellung der Umgebung eines Kraftfahrzeugs
DE102020125232A1 (de) Verfahren zur Farbkorrektur für ein Kamerasystem sowie ein Kamerasystem
DE102014223941A1 (de) Verfahren zum Kennzeichnen von Kamerabildern eines Parkmanöverassistenten
DE102017123226A1 (de) Verfahren zum Bestimmen einer kritischen Höhe eines vorausliegenden Streckenabschnitts für ein Fahrzeug, das ein Zugfahrzeug und einen Anhänger umfasst
DE102022206328B3 (de) Verfahren für ein Kamerasystem sowie Kamerasystem
WO2023202844A1 (de) Verfahren für ein kamerasystem sowie kamerasystem
WO2022106336A1 (de) Verfahren zum steuern eines kraftfahrzeugs und steuergerät
DE102017218090A1 (de) Verfahren zur Darstellung von Bildern eines Kamerasystems eines Fahrzeugs
EP3610643B1 (de) Surround-view-system für ein fahrzeug
DE102005002636A1 (de) Verfahren und System zur Verarbeitung von Videodaten eines Kamerasystems
DE102022206782A1 (de) Verfahren zum Erzeugen einer Ansicht mit einem Kamerasystem sowie Kamerasystem
DE102021208235A1 (de) Verfahren für ein Kamerasystem sowie Kamerasystem
DE102020213147A1 (de) Verfahren für ein Kamerasystem sowie Kamerasystem
DE102020122908A1 (de) Verfahren zum Anzeigen einer Umgebung eines Fahrzeuges auf einer Anzeigeeinrichtung, Verarbeitungseinheit und Fahrzeug
WO2022223087A1 (de) Detektion von einzelnen freien markierten zielflächen aus bildern eines kamerasystems einer bewegungsvorrichtung
DE102020215696A1 (de) Verfahren zur Darstellung einer Umgebung eines Fahrzeugs, Computerprogrammprodukt, Speichermedium, Steuergerät und Fahrzeug

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23715490

Country of ref document: EP

Kind code of ref document: A1