WO2023006157A1 - Verfahren für ein kamerasystem sowie kamerasystem - Google Patents

Verfahren für ein kamerasystem sowie kamerasystem Download PDF

Info

Publication number
WO2023006157A1
WO2023006157A1 PCT/DE2022/200148 DE2022200148W WO2023006157A1 WO 2023006157 A1 WO2023006157 A1 WO 2023006157A1 DE 2022200148 W DE2022200148 W DE 2022200148W WO 2023006157 A1 WO2023006157 A1 WO 2023006157A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
camera system
edges
original image
color
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/DE2022/200148
Other languages
English (en)
French (fr)
Inventor
Gustavo MACHADO
Andreas Panakos
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aumovio Autonomous Mobility Germany GmbH
Original Assignee
Continental Autonomous Mobility Germany GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Continental Autonomous Mobility Germany GmbH filed Critical Continental Autonomous Mobility Germany GmbH
Priority to US18/293,015 priority Critical patent/US12495121B2/en
Publication of WO2023006157A1 publication Critical patent/WO2023006157A1/de
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/174—Segmentation; Edge detection involving the use of two or more images
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Definitions

  • the present invention relates to a method for a camera system or surround view camera system for detecting the surroundings of a vehicle and a generic camera system or surround view camera system.
  • the present invention can improve the user experience for people with impaired color perception on any visualization system, in particular camera-based surround visualization system for vehicles. It does this by detecting objects (and/or edges) in images that show a loss of contrast due to a user-defined type of color blindness. Once detected, these objects (and/or edges) can be highlighted to make them more visible to the user as they are present around the vehicle, reducing the risk of accidents and thus increasing safety.
  • Driver assistance systems that support the driver in carrying out driving maneuvers.
  • these driver assistance systems also include, in particular, surround view camera systems, which allow the vehicle environment to be displayed to the driver of the vehicle.
  • surround view camera systems generally include several vehicle cameras, which provide real images of the vehicle environment, which are combined in particular by a data processing unit of the surround view camera system to form an image of the vehicle environment. The image of the vehicle surroundings can then be displayed to the driver on a display unit (such as the display of the navigation system). In this way, the driver can be supported during a vehicle maneuver, for example when reversing the vehicle or during a parking maneuver.
  • the camera images are either displayed directly in so-called “single views” or transformed using special methods to display merged views.
  • These views are, for example, a so-called “3D bowl” (“Bowlview ”) or “top view” (“bird's eye view” or “top view”), in which images or textures from the surround view cameras are combined or lined up seamlessly (stitching).
  • 3D bowl (“Bowlview ”)
  • top view (“bird's eye view” or “top view”
  • surround view cameras have overlapping regions or overlapping areas.
  • the textures from the cameras are projected to visualize a 3D virtual bowl representing the entire area around the car.
  • Modern surround view camera systems can then display the views or visualizations generated as a result, e.g. B. on a (2D) display, a center or driver's display in the cockpit or a navigation system.
  • the recorded camera textures can be displayed in different ways.
  • the images textured from the cameras can be projected onto a virtual 3D plane that visualizes the entire area around the car in (360 degree view).
  • Color blindness also called color vision deficiency or achromatopsia or achromasia
  • color blindness also called color vision deficiency or achromatopsia or achromasia
  • a disorder of color perception or visual impairment which e.g. B. affects a not inconsiderable part of the population in Europe.
  • the ability to distinguish between certain colors is impaired, whereby usually only contrasts (light-dark) can be perceived.
  • Objects that are clearly visible to people with normal color vision may therefore be less perceptible or even in some situations go completely unnoticed by people with color blindness.
  • a color modification system for a display module of a vehicle is known from US 2019378449 A1, wherein the display element can display color images and the colors of the color images are selectively modified.
  • Image processing can selectively modify the colors of the color images based on a user's user profile. Once a user profile associated with a color change regime is recognized, color adjustments are made in the process.
  • the adjustments can e.g. B. be different in terms of intensity or the like for color-blind users, since users with different types and intensities of color-blindness can respond to different color adjustments.
  • the present invention is therefore based on the task of providing a method for a (surround view) camera system that can be used to achieve improved visibility or fewer restricted views in a simple and cost-effective manner, thereby increasing user-friendliness and safety be improved.
  • Surround view camera system proposed for a vehicle to determine borders or edges or transitions between color and/or contrast areas that have poor contrast for color-sighted people, and their color highlighting (easily recognizable for color-sighted people).
  • the camera system includes a control device and several
  • step II Generating a simulated image of the original image (step II), which simulates a coloring of the original image, which consists of a definable
  • step V - determining edges in the difference image (step V), - generating a superimposed image by superimposing the original image with the
  • the method according to the invention thus provides an assistance function or a type of visual aid for users with color vision disorders, by means of which visual feedback on objects can be activated which, due to their nature or condition, is difficult for the user with color vision disorders, e.g. B. have a loss of contrast.
  • This can e.g. B. the risk of accidents can be reduced to a particular extent in many situations, so that the present invention makes a very special contribution in the field of driver assistance systems.
  • the invention can also be used in all areas in which images or visualization are generated. The difference image can expediently be smoothed after it has been generated (step IV). This makes edge detection even easier and safer.
  • the difference image can preferably be smoothed by means of a low-pass filter, but all other methods known from the prior art with which the difference image can be smoothed are also conceivable. Furthermore, the difference image based on a color balance, a
  • Brightness balance and / or a contrast balance between the original image and the simulated image are generated.
  • the selection of the comparison can be determined in particular by what type of simulated image was generated. For example, simulated images with gray tones can be generated for people with difficulties in the disturbed color vision area or with color nuances of a single color for people with visual impairments in the area of light-dark differentiation.
  • the adjustment preferably takes place pixel by pixel, ie pixel by pixel.
  • areas of the same/similar color or with the same/similar contrast can also be combined or clustered and compared. This saves computing capacity.
  • the process is simplified and accelerated to a particular degree.
  • the edges in the difference image can be determined using a threshold value, the threshold value representing a definable color difference and/or a definable brightness difference between the original image and the simulated image.
  • relevant objects and/or relevant edges can be determined on the basis of the differential image, e.g. B. by detecting large or particularly striking differences (large areas, strong contrast differences and the like).
  • an environment detection can be provided, z. B.
  • the edges of relevant objects can also be determined and/or displayed.
  • the fact that only the relevant edges (i.e. difficult to recognize for those with color vision impairment) are compared in the difference image results in a faster identification compared to the identification of all edges in the original image, which in turn can compensate for any time required for the creation of the two additional images.
  • various forms of highlighting this information for the user are possible, e.g. B. Enliven the color brightness with some transparency in these regions to draw the driver's attention without causing distraction.
  • the present invention also includes a camera system, in particular a surround view camera system, for a vehicle, which has a control device, multiple surround view cameras and a display device.
  • the camera system is set up to generate a superimposed image using the method according to the invention and to display it on the display device.
  • the invention can be used in a simple manner for all known types of visual impairments, in particular color vision impairment or color blindness.
  • Description of the invention based on exemplary embodiments
  • FIG. 1 shows a simplified schematic representation of a vehicle with a surround view camera system according to the invention for generating an image of the vehicle surroundings;
  • FIG. 2 a simplified schematic representation of the display of an exemplary scene for which a visualization is generated according to the method steps of the invention, wherein (a) the scene shows the original: a toy car in the grass, (b) the simulation of a perception of a Persons with impaired color perception and (c) an example display with recognized and displayed edges on a toy car, and
  • FIG. 3 shows a simplified schematic representation of an embodiment of the method sequence according to the invention.
  • Reference numeral 1 in Fig. 1 designates a vehicle with a control device 2
  • Vehicle 1 also has a number of surround view cameras 3a-3d, a front camera 4 (for example a stereo camera or the like) and a lidar sensor 5 for detecting the surroundings, which are controlled by control device 2 .
  • the present invention also expressly includes configurations in which no common control device 2 is provided is, but individual control devices or control units are provided for sensor control (e.g. a separate control unit or a separate control unit for controlling the cameras 3a-3d and for carrying out the method according to the invention).
  • other sensors such.
  • s radar sensor
  • ultrasonic sensor ultrasonic sensor
  • the sensor data can then be used for environment and object recognition.
  • various assistance functions such as B. parking assistants, emergency brake assistant (EBA, Electronic Brake Assist), distance following control (ACC, Adaptive Cruise Control), lane keeping control or a lane keeping assistant (LKA, Lane Keep Assist) or the like can be realized.
  • EBA Emergency brake assistant
  • ACC Adaptive Cruise Control
  • LKA Lane Keep Assist
  • the assistance functions can also be carried out via the control device 2 or a dedicated control device.
  • the cameras 3a-3d are part of a (surround view) camera system, which is preferably controlled by the control device 2 (alternatively, for example, a separate control can be provided), which has a full 360-degree view around the entire vehicle 1 offers by combining the fields of view of the individual cameras, e.g. B. 120 degrees, to form an overall view or overall picture.
  • the control device 2 e.g., a separate control can be provided
  • This camera system has numerous advantages in many everyday situations.
  • the camera system allows the driver to see different angles of the vehicle 1, e.g. B. on a display device 6 (z. B. a display, a cockpit display, a head-up display, navigation system, board computer or the like).
  • surround view cameras 3a-3d are used, the z. B. can be arranged in the front and rear area and on the side mirrors (as shown). In addition, however, three, six, eight, ten or more surround view cameras can also be provided. These camera views or perspectives are particularly helpful when checking the blind spot, changing lanes or parking.
  • the camera system according to the invention can recognize edges despite loss of contrast (e.g. due to a color vision impairment of the user) and (better) for the user to make visible. This makes it possible to compare the original image with the simulated image and to analyze the loss of contrast in some areas of the image.
  • the edges can be recognized by first calculating a simulated image that simulates the perception of individuals with the selected type of color blindness of the original image. After that, the difference between the original image and the simulated image can be calculated, e.g. B. the difference between each corresponding pixel and the respective color component. After that, the resulting difference image from the previous step can be smoothed, e.g. B. with a low-pass filter. The spatial gradient of the resulting image can then be calculated from this step, from which in turn the height of the color gradient can be calculated for each pixel of the resulting image. Furthermore, a threshold value for the subdivision of pixels is then used to determine whether it is one
  • Edge pixels can then be colored or blackened in a B. is overlaid on the displayed image to show the edges to the user. Loss of information or contrast through the image mask can thus be avoided in a simple manner. Furthermore, this procedure can be used for all generic edge detection algorithms or these could be adapted accordingly by the procedure.
  • FIG. 2(a) shows a simplified schematic representation of the display of an exemplary scene in the original for which a visualization is generated.
  • the scene shows a red toy car (with red shown as dark gray) in green grass (with green shown as light gray).
  • Fig. 2 (b) the simulation of a perception of a person with disturbed color perception (or "red-green visual impairment") is shown, whereby the colors red and green cannot be sufficiently distinguished, but are essentially perceived as one hue become. It turns out that the edges of the toy car “blur” so that it can no longer be clearly distinguished from its surroundings.
  • Such effects or Recognition restrictions can e.g. B. adversely affect road traffic.
  • an original image 7 is first recorded (step I) and a simulated image 8, as shown in FIG. 2(b), is generated or calculated (step II).
  • a difference image 9 is then generated (step III) based on a color comparison of the corresponding pixels in the original image 7 and in the image 8, which can be smoothed if necessary (step IV), e.g. B. by means of a low-pass filter.
  • the edges in the difference image can be determined using an edge detection algorithm (step V).
  • B. can be determined by a threshold value, where z. B.
  • edges e.g. B. can be colored in a high-contrast and for the user easily recognizable color or black.
  • the superimposed image 10 generated in this way can then be displayed to the user via the display device 6 (step VII), so that he can then easily recognize the edges of the respective objects, as also in Fig. 2 (c) based on the black border of the toy cars shown.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Signal Processing (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

Verfahren für ein Kamerasystem, insbesondere Surroundview-Kamerasystem für ein Fahrzeug (1 ), welches eine Steuereinrichtung (2) und mehrere Surroundview-Kameras (3a-3d) und eine Anzeigevorrichtung (6) aufweist und folgende Verfahrensschritte um-fasst: - Erzeugen eines Originalbildes (7) (Schritt I), - Erzeugen eines simulierten Abbildes (8) des Originalbildes (7) (Schritt II), welches eine Farbgebung des Originalbildes (7) simuliert, welche aus einer festlegbaren Sehbeeinträchtigung resultiert, - Erzeugen eines Differenzbildes (9) zwischen Originalbild (7) und simulierten Abbild (8) (Schritt III), - Bestimmen von Kanten im Differenzbild (9) (Schritt V), - Erzeugen eines überlagerten Bildes (10) durch Überlagern des Originalbildes (7) mit den Kanten des Differenzbildes (9) (Schritt VI), und - Anzeigen des überlagerten Bildes (10) anhand der Anzeigevorrichtung (6) (Schritt VII).

Description

Beschreibung
Verfahren für ein Kamerasystem sowie Kamerasystem Die vorliegende Erfindung betrifft ein Verfahren für ein Kamerasystem bzw. Surroundview-Kamerasystem zur Umfelderfassung für ein Fahrzeug sowie ein gattungsgemäßes Kamerasystem bzw. Surroundview-Kamerasystem. Durch die vorliegende Erfindung kann das Nutzererlebnis für Personen mit gestörter Farbwahrnehmung auf jedem Visualisierungssystem, insbesondere kamerabasierten Surround-Visualisierungssystem für Fahrzeuge, verbessert werden. Erreicht wird dies durch die Erkennung von Objekten (und/oder Kanten) in Bildern, die einen Kontrastverlust aufgrund einer benutzerdefinierten Art von Farbblindheit aufweisen. Nach der Erkennung können diese Objekte (und/oder Kanten) hervorgehoben werden, um sie für den Benutzer sichtbarer zu machen, da sie in der Umgebung des Fahrzeugs vorhanden sind, wodurch das Risiko von Unfällen verringert und somit die Sicherheit erhöht wird.
Technologischer Hintergrund
Fahrzeuge werden zunehmend mit Fahrerassistenzsystemen ausgerüstet, welche den Fahrer bei der Durchführung von Fahrmanövern unterstützen. Diese Fahrerassistenzsysteme umfassen neben Radarsensoren, Lidarsensoren, Ultraschallsensoren und/oder Kamerasensoren insbesondere auch Surroundview-Kamerasysteme, die es erlauben, dem Fahrer des Fahrzeugs die Fahrzeugumgebung anzuzeigen. Derartige Surroundview-Kamerasysteme umfassen in der Regel mehrere Fahrzeugkameras, welche reale Bilder der Fahrzeugumgebung liefern, die insbesondere durch eine Datenverarbeitungseinheit des Surroundview-Kamerasysteme zu einem Umgebungsbild der Fahrzeugumgebung zusammengefügt werden. Das Bild der Fahrzeugumgebung kann dann dem Fahrer auf einer Anzeigeeinheit (wie z. B. dem Display des Navigationssystems) angezeigt. Auf diese Weise kann der Fahrer bei einem Fahrzeugmanöver unterstützt werden, beispielsweise bei einem Rückwärtsfahren des Fahrzeuges oder bei einem Parkmanöver.
Für Surroundview- sowie elektronische Spiegelersatzsysteme werden entweder direkt die Kamerabilder in sogenannten „Single Views" angezeigt oder nach speziellen Methoden transformiert, um fusionierte Ansichten anzuzeigen. Bei diesen Ansichten handelt es sich z. B. um eine sogenannte „3D-Bowl“ („Bowlview“) oder „Top-View“ („Vogelperspektive“ oder „Draufsicht“), bei denen Bilder bzw. Texturen aus den Surroundview-Kameras zusammengefügt bzw. nahtlos aneinandergereiht werden (Stitching). Die Bilder bzw. Texturen der
Surroundview-Kameras weisen dabei in der Regel überlappende Regionen bzw. Überlappungsbereiche auf. Insbesondere in der Bowl-Ansicht, in der die Texturen aus den Kameras projiziert werden, um eine virtuelle 3D-Bowl zu visualisieren, welche die gesamte Fläche um das Auto herum darstellt. Moderne Surroundview-Kamerasysteme können die dadurch erzeugten Ansichten bzw. Visualisierungen dann dem Fahrer anzeigen, z. B. an einem (2D-) Display, einem Center- oder Fahrerdisplay im Cockpit oder einem Navigationssystem. Die erfassten Kameratexturen können dabei auf verschiedene Weise dargestellt werden. Insbesondere können im „Top-View“ die aus den Kameras texturierten Bilder auf eine virtuelle 3D-Ebene projiziert werden, die den gesamten Bereich um das Auto in (360 Grad-Sicht) visualisiert.
Bei aktuellen Visualisierungsfunktionen ist die Farbgebung von besonderer Bedeutung, da diese dem Benutzer ein realistisches Abbild der Umwelt anzeigen und da dadurch besondere farbliche Akzente hervorgehoben werden können, z. B. Warnfarben (Rot) auf Schildern und anderen Anzeigevorrichtungen. Weniger Beachtung findet dabei in der Regel die Farbenblindheit (auch Farbsehmangel genannt bzw. Achromatopsie oder Achromasie), eine Störung der Farbwahrnehmung bzw. Seheinschränkung, die z. B. einen nicht unerheblichen Teil der Bevölkerung in Europa betrifft. Dabei wird die Fähigkeit zwischen bestimmten Farben zu unterscheiden beeinträchtigt, wobei in der Regel nur Kontraste (hell-dunkel) wahrgenommen werden können. Objekte, die von Personen mit normaler Farbsicht deutlich sichtbar sind, können daher weniger wahrnehmbar werden oder sogar in manchen Situationen von Personen mit Farbblindheit völlig unbemerkt bleiben. Im Straßenverkehr kann sich das Risiko eines Unfalls beispielsweise dadurch erhöhen, dass viele Verkehrszeichen und Sicherheitswarnzeichen Farben verwenden, um den Fahrer zu informieren, die dann nicht sicher von einem Fahrer mit einer gestörten Farbwahrnehmung erkannt werden. In gleicherweise können auch farbliche Unterschiede in Visualisierungen auf Anzeigen oder Displays, die von gattungsgemäßen Fahrerassistenzsystemen dem Fahrer bereitgestellt werden, nicht ausreichend erkannt werden.
Druckschriftlicher Stand der Technik
Aus der US 2019378449 A1 ist ein Farbmodifikationssystem für ein Anzeigemodul eines Fahrzeuges bekannt, wobei das Anzeigeelement Farbbilder anzeigen kann und die Farben der Farbbilder selektiv modifiziert werden. Durch eine Bildverarbeitung können die Farben der Farbbilder basierend auf einem Benutzerprofil des Benutzers selektiv zu modifiziert werden. Sobald das ein Benutzerprofil, das mit einem Farbänderungsregime verknüpft ist, erkannt wurde, werden dabei Farbanpassungen vorgenommen. Die Anpassungen können z. B. in Hinblick auf Intensität oder dergleichen für farbenblinde Benutzer unterschiedlich sein, da Benutzer mit unterschiedlichen Arten und Intensitäten von Farbenblindheit auf unterschiedliche Farbanpassungen reagieren können.
Aufgabe der vorliegenden Erfindung Der vorliegenden Erfindung liegt daher die Aufgabe zugrunde, ein Verfahren für ein (Surroundview-) Kamerasystem zur Verfügung zu stellen, durch das eine verbesserte Sichtbarkeit bzw. geringere Sichteinschränkungen in einfacher und kostengünstiger Weise erzielt werden können, wodurch die Benutzerfreundlichkeit und Sicherheit verbessert werden.
Lösung der Aufgabe Die vorstehende Aufgabe wird durch die gesamte Lehre des Anspruchs 1 sowie des nebengeordneten Anspruchs gelöst. Zweckmäßige Ausgestaltungen der Erfindung sind in den Unteransprüchen beansprucht. Erfindungsgemäß wird ein Verfahren für ein Kamerasystem, insbesondere
Surroundview-Kamerasystem, für ein Fahrzeug zur Ermittlung von Rändern bzw. Kanten oder Übergängen zwischen Färb- und/oder Kontrastbereichen, die für Farbfehlsichtige einen schlechten Kontrast aufweisen, sowie deren (für Farbfehlsichtige gut erkennbare) farbliche Hervorhebung vorgeschlagen. Das Kamerasystem umfasst dabei eine Steuereinrichtung und mehrere
Surroundview-Kameras sowie eine Anzeigevorrichtung und weist folgende Verfahrensschritte auf:
- Erzeugen eines Originalbildes (Schritt I),
- Erzeugen eines simulierten Abbildes des Originalbildes (Schritt II), welches eine Farbgebung des Originalbildes simuliert, welche aus einer festlegbaren
Sehbeeinträchtigung resultiert,
- Erzeugen eines Differenzbildes zwischen Originalbild und simulierten Abbild (Schritt III),
- Bestimmen von Kanten im Differenzbild (Schritt V), - Erzeugen eines überlagerten Bildes durch Überlagern des Originalbildes mit den
Kanten des Differenzbildes (Schritt VI), und
- Anzeigen des überlagerten Bildes anhand der Anzeigevorrichtung (Schritt VII). Daraus resultiert der Vorteil, dass Bildobjekte hervorgehoben werden können, die für Personen mit Farbwahrnehmungsstörungen schlecht erkennbar sein könnten. Durch das erfindungsgemäße Verfahren wird somit eine Assistenzfunktion bzw. eine Art Sehhilfe für Anwender mit Farbwahrnehmungsstörungen zur Verfügung gestellt, durch die eine visuelle Rückmeldung zu Objekten aktiviert werden kann, die aufgrund ihrer Beschaffenheit oder ihres Zustandes für den Anwender mit Farbwahrnehmungsstörungen z. B. einen Kontrastverlust aufweisen. Dadurch kann z. B. das Unfallrisiko in vielen Situationen in besonderem Maße verringert werden, so dass die vorliegende Erfindung einen ganz besonderen Beitrag auf dem Gebiet der Fahrerassistenzsysteme leistet. Ferner kann die Erfindung auch in allen Bereichen eingesetzt werden, in denen Bilder bzw. Visualisierung erzeugt werden. Zweckmäßigerweise kann das Differenzbild nach der Erzeugung geglättet werden (Schritt IV). Dadurch kann die Kantenerkennung noch einfacher und sicherer erfolgen.
Vorzugsweise kann das Differenzbild mittels eines Tiefpassfilters geglättet werden, jedoch sind auch sämtliche andere aus dem Stand der Technik bekannte Verfahren denkbar, mit denen das Differenzbild geglättet werden kann. Ferner kann das Differenzbild anhand eines Farbabgleichs, eines
Helligkeitsabgleichs und/oder eines Kontrastabgleichs zwischen Originalbild und simuliertem Abbild erzeugt werden. Die Wahl des Abgleichs kann sich insbesondere danach bestimmen, welche Art von simuliertem Abbild erzeugt wurde. Beispielsweise können für Personen mit Schwierigkeiten im gestörten Farbsehbereich simulierte Abbilder mit Grautönen erzeugt werden oder für Personen mit Sehschwächen im Bereich Hell-Dunkel-Unterscheidung mit Farbnuancen einer einzigen Farbe.
Vorzugsweise erfolgt der Abgleich pixelweise, d. h. Pixel für Pixel. Alternativ können auch Bereiche gleicher/ähnlicher Farbe oder mit gleichem/ähnlichem Kontrast zusammengefasst bzw. geclustert und verglichen werden. Dadurch kann Rechenkapazität gespart werden. Zudem wird das Verfahren dadurch in besonderem Maße vereinfacht und beschleunigt. Gemäß einer bevorzugten Ausgestaltung der Erfindung können die Kanten im Differenzbild anhand eines Schwellenwertes bestimmt werden, wobei der Schwellenwert einen festlegbaren Farbunterschied und/oder einen festlegbaren Helligkeitsunterschied zwischen Originalbild und simulierten Abbild repräsentiert. Ferner können anhand des Differenzbildes relevante Objekte und/oder relevante Kanten ermittelt werden, z. B. indem große oder besonders markante Unterschiede (große Flächen, starke Kontrastunterschiede und dergleichen erfasst werden. Zudem kann eine Umfelderkennung vorgesehen sein, z. B. durch das Kamerasystem aber auch durch andere Sensoren, wie z. B. Radar-, Lidar oder Ultraschallsensoren, womit relevante Objekte im Umfeld des Fahrzeuges erkannt werden können. Auch anhand dieser Daten kann ermittelt werden, ob es sich um relevante Objekte/Kanten handelt, die dem Anwender zusätzlich angezeigt werden sollten oder nicht.
Zweckmäßigerweise können auch nur die Kanten relevanter Objekte bestimmt und/oder angezeigt werden. Dadurch, dass nur die relevanten Kanten (also für Farbfehlsichtige schlecht erkennbaren) im Differenzbild verglichen werden, ergibt sich eine im Vergleich zu der Identifizierung aller Kanten im Originalbild schnellere Identifizierung, welche wiederum etwaige Zeitaufwände für die Erstellung der beiden zusätzlichen Bilder aufwiegen kann. Dadurch kann der Algorithmus zur Kantenerkennung am Originalbild - insbesondere hinsichtlich der Echtzeitanforderung - in besonderem Maße effizienter ausgestaltet werden . Sobald Objekte und/oder Kanten erkannt werden, sind verschiedene Formen der Hervorhebung dieser Informationen für den Benutzer möglich, z. B. die Farbhelligkeit mit einer gewissen Transparenz in diesen Regionen zu beleben, um die Aufmerksamkeit des Fahrers zu lenken, ohne Ablenkung zu bewirken.
Neben oder untergeordnet umfasst die vorliegende Erfindung auch ein Kamerasystem, insbesondere ein Surroundview-Kamerasystem, für ein Fahrzeug, das eine Steuereinrichtung, mehrere Surroundview-Kameras und eine Anzeigevorrichtung aufweist. Das Kamerasystem ist dabei eingerichtet, um ein überlagertes Bild anhand des erfindungsgemäßen Verfahrens zu erzeugen und an der Anzeigevorrichtung anzuzeigen.
Die Erfindung kann in einfacher Weise für sämtliche bekannte Arten von Sehbeeinträchtigungen insbesondere Farbfehlsichtigkeit bzw. Farbblindheit eingesetzt werden, wobei unter den Begriffen Farbfehlsichtigkeit bzw. Farbblindheit im Sinne der Erfindung alle typischen Varianten subsummiert werden können, wie z. B. anomale Trichromasie, Monochromasie oder Dichromasie, sowie auch etwaige Subtypen, wie z. B. die Subtypen der anomalen Trichromasie (Protanomalie, Deuteranomalie oderTritanomalie) oder die Subtypen der Dichromasie (Protanopie, Deuteranopie oderTritanopie). Beschreibung der Erfindung anhand von Ausführungsbeispielen
Im Folgenden wird die Erfindung anhand von zweckmäßigen Ausführungsbeispielen näher beschrieben. Es zeigen: Fig. 1 eine vereinfachte schematische Darstellung eines Fahrzeuges mit einem erfindungsgemäßen Surroundview-Kamerasystem zur Erzeugung eines Bildes der Fahrzeugumgebung;
Fig. 2: eine vereinfachte schematische Darstellung der Anzeige einer exemplarischen Szene, für die eine Visualisierung erzeugt wird, entsprechend den erfindungsgemäßen Verfahrensschritten, wobei (a) die Szene im Original zeigt: ein Spielzeugauto im Gras, (b) die Simulation einer Wahrnehmung von einer Personen mit gestörter Farbwahrnehmung und (c) eine Beispieldarstellung mit erkannten und dargestellten Kanten am Spielzeugauto, sowie
Fig. 3 eine vereinfachte schematische Darstellung einer Ausgestaltung des erfindungsgemäßen Verfahrensablaufs. Bezugsziffer 1 in Fig. 1 bezeichnet ein Fahrzeug mit einer Steuereinrichtung 2
(ECU, Electronic Control Unit oder ADCU, Assisted and Automated Driving Control Unit), welche auf verschiedene Aktoren (z. B. Lenkung, Motor, Bremse) des Fahrzeuges 1 zugreifen kann, um Steuervorgänge des Fahrzeuges 1 ausführen zu können. Ferner weist das Fahrzeug 1 zur Umfelderfassung mehrere Surroundview-Kameras 3a-3d, eine Frontkamera 4 (z. B. eine Stereokamera oder dergleichen) und einen Lidarsensor 5, die über die Steuereinrichtung 2 gesteuert werden. Ausdrücklich umfasst die vorliegende Erfindung jedoch auch Ausgestaltungen, bei denen keine gemeinsame Steuereinrichtung 2 vorgesehen ist, sondern einzelne Steuereinrichtungen bzw. Steuereinheiten zur Sensorsteuerung vorgesehen sind (z. B. eine separate Steuereinheit bzw. ein separates Steuergerät zur Steuerung der Kameras 3a-3d und zur Durchführung des erfindungsgemäßen Verfahrens). Darüber hinaus können auch weitere Sensoren, wie z. B. Radarsensor(en) und/oder Ultraschallsensor(en) vorgesehen sein. Die Sensordaten können dann zur Umfeld- und Objekterkennung genutzt werden. Infolgedessen können verschiedene Assistenzfunktionen, wie z. B. Einparkassistenten, Notbremsassistent (EBA, Electronic Brake Assist), Abstandsfolgeregelung (ACC, Adaptive Cruise Control), Spurhalteregelung bzw. ein Spurhalteassistent (LKA, Lane Keep Assist) oder dergleichen, realisiert werden. In praktischer Weise kann die Ausführung der Assistenzfunktionen ebenfalls über die Steuereinrichtung 2 oder eine eigene Steuereinrichtung erfolgen.
Die Kameras 3a-3d sind dabei Teil eines (Surroundview-) Kamerasystems, welches vorzugsweise durch die Steuereinrichtung 2 gesteuert wird (alternativ kann z. B. eine eigene Steuerung vorgesehen sein), das eine vollständige 360-Grad-Sicht rund um das gesamte Fahrzeug 1 bietet, indem die Sichtfelderder einzelnen Kameras, z. B. 120-Grad, zu einer Gesamtsicht bzw. Gesamtbild vereint werden. Durch die einfache Überwachung der gesamten Umgebung, z. B. auch des toten Winkels, besitzt dieses Kamerasystem zahlreiche Vorteile in vielen alltäglichen Situationen. Durch das Kamerasystem können dem Fahrer verschiedene Blickwinkel des Fahrzeuges 1 z. B. übereine Anzeigeeinrichtung 6 dargestellt werden (z. B. ein Display, eine Cockpit-Anzeige, ein Head-up-Display, Navigationssystem, Boardcomputer oder dergleichen). In der Regel werden dabei vier Surroundview-Kameras 3a-3d verwendet, die z. B. im Front- und Heckbereich sowie an den Seitenspiegeln angeordnet sein können (wie dargestellt). Zudem können aber auch drei, sechs, acht, zehn oder mehr Surroundview-Kameras vorgesehen sein. Besonders hilfreich sind diese Kameraansichten bzw. Blickwinkeln beim Überprüfen des toten Winkels, beim Spurwechsel oder beim Einparken.
Das erfindungsgemäße Kamerasystem kann Kanten trotz Kontrastverlust (z. B. durch eine Farbsehstörung des Benutzers) erkennen und für den Benutzer (besser) sichtbar machen. Dadurch wird es ermöglicht, das Originalbild mit dem simulierten Bild zu vergleichen und den Kontrastverlust in einigen Bereichen des Bildes zu analysieren. Erfindungsgemäß können die Kanten erkannt werden, indem zunächst ein simuliertes Bild berechnet wird, das die Wahrnehmung von Individuen mit der ausgewählten Art von Farbblindheit des Originalbildes simuliert. Im Anschluss daran kann der Unterschied zwischen dem Originalbild und dem simulierten Bild berechnet werden, z. B. der Unterschied zwischen jedem entsprechenden Pixel und der jeweiligen Farbkomponente. Danach kann das resultierende Differenzbild aus dem vorherigen Schritt geglättet werden, z. B. mit einem Tiefpassfilter. Aus diesem Schritt kann dann der räumliche Gradient des resultierenden Bildes berechnet werden, wobei daraus wiederum die Höhe des Farbverlaufs bei jedem Pixel des resultierenden Bildes berechnet werden kann. Ferner wird dann über einen Schwellenwert für die Unterteilung von Pixeln bestimmt, ob es sich um einen
Kanten-Pixel oder einen nicht-Kanten-Pixel handelt. Kanten-Pixel können dann in einer eingefärbt bzw. geschwärzt werden, die dann z. B. dem angezeigten Bild überlagert wird, um die Kanten dem Benutzer anzuzeigen. Somit können Informations- bzw. Kontrastverluste durch die Bildmaske, in einfacherWeise vermieden werden. Ferner kann diese Prozedur für sämtliche gattungsgemäße Kantenerkennungsalgorithmen eingesetzt werden bzw. diese könnten durch die Prozedur entsprechend angepasst werden.
In Fig. 2 (a) ist eine vereinfachte schematische Darstellung der Anzeige einer exemplarischen Szene im Original dargestellt, für die eine Visualisierung erzeugt wird. Die Szene zeigt ein rotes Spielzeugauto (wobei rot dunkelgrau dargestellt ist) im grünen Gras (wobei grün hellgrau dargestellt ist). In Fig. 2 (b) ist die Simulation einer Wahrnehmung von einer Person mit gestörter Farbwahrnehmung (bzw. „Rot-Grün-Sehschwäche“) dargestellt, wobei die Farben Rot und Grün nicht hinreichend unterschieden werden können, sondern im Wesentlichen als ein Farbton wahrgenommen werden. Dabei zeigt sich, dass die Kanten des Spielzeugautos „verschwimmen“, wodurch dieses nicht mehr als solches eindeutig von der Umgebung abzugrenzen ist. Derartige Effekte bzw. Erkennungseinschränkungen können sich z. B. im Straßenverkehr nachteilig auswirken. Anhand eines erfindungsgemäßen Verfahrensablaufs, wie exemplarisch in Fig. 3 dargestellt, können diese Nachteile nunmehr überwunden werden. Um diese Nachteile zu umgehen wird zunächst ein Originalbild 7 aufgenommen (Schritt I) und ein simuliertes Abbild 8, wie in Fig. 2(b) gezeigt, erzeugt bzw. berechnet (Schritt II). Anschließend wird anhand eines Farbabgleichs der entsprechenden Pixel im Originalbild 7 und im Abbild 8 ein Differenzbild 9 erzeugt (Schritt III), welches ggf. geglättet werden kann (Schritt IV), z. B. mittels Tiefpassfilter. Im Anschluss daran können die Kanten im Differenzbild über einen Kantenerkennungsalgorithmus bestimmt werden (Schritt V), wobei dies z. B. mittels Schwellenwert bestimmt werden kann, wobei z. B. bei einer bestimmten Überschreitung des Farbwertes im Differenzbild 9 auf eine Kante bzw. einen Farbwechsel (oder auch Helligkeits- und/oder Kontrastwechsel) und somit auf einen Kanten-Pixel geschlossen werden kann. Im Anschluss daran kann das Originalbild 7 mit den Kanten aus dem Differenzbild 9 überlagert werden (Schritt VI), wobei die
Kanten z. B. eingefärbt werden können in einer kontrastreichen und für den Anwender leicht erkennbaren Farbe bzw. Schwarz. Das dabei erzeugte überlagerte Bild 10 kann anschließend dem Anwender über die Anzeigevorrichtung 6 angezeigt werden (Schritt VII), so dass dieser dann die Kanten der jeweiligen Objekte in einfacher Weise erkennen kann, wie auch in Fig. 2 (c) anhand der schwarzen Umrandung des Spielzeugautos gezeigt.
Bezugszeichenliste 1 Fahrzeug
2 Steuereinrichtung
3a-3d Kameras
4 Frontkamera
5 Lidarsensor 6 Anzeigevorrichtung
7 Originalbild
8 simuliertes Abbild
9 Differenzbild
10 überlagertes Bild

Claims

Patentansprüche
1. Verfahren für ein Kamerasystem, insbesondere Surroundview-Kamerasystem, für ein Fahrzeug (1), welches eine Steuereinrichtung (2) und mehrere Surroundview-Kameras (3a-3d) und eine Anzeigevorrichtung (6) aufweist und folgende Verfahrensschritte umfasst:
Erzeugen eines Originalbildes (7) (Schritt I),
Erzeugen eines simulierten Abbildes (8) des Originalbildes (7) (Schritt II), welches eine Farbgebung des Originalbildes (7) simuliert, welche aus einer festlegbaren Sehbeeinträchtigung resultiert,
Erzeugen eines Differenzbildes (9) zwischen Originalbild (7) und simulierten Abbild (8) (Schritt III),
Bestimmen von Kanten im Differenzbild (9) (Schritt V),
Erzeugen eines überlagerten Bildes (10) durch Überlagern des Originalbildes (7) mit den Kanten des Differenzbildes (9) (Schritt VI), und
Anzeigen des überlagerten Bildes (10) anhand der Anzeigevorrichtung (6) (Schritt VII).
2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass das Differenzbild (8) nach der Erzeugung geglättet wird (Schritt IV).
3. Verfahren nach Anspruch 2, dadurch gekennzeichnet, dass das Differenzbild (8) anhand eines Tiefpassfilters geglättet wird.
4. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Differenzbild (8) anhand eines Farbabgleichs, eines Helligkeitsabgleichs und/oder eines Kontrastabgleichs erzeugt wird.
5. Verfahren nach Anspruch 4, dadurch gekennzeichnet, dass der Abgleich pixelweise erfolgt.
6. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Kanten im Differenzbild (8) anhand eines Schwellenwertes bestimmt werden, wobei der Schwellenwert einen festlegbaren Farbunterschied und/oder festlegbaren einen Helligkeitsunterschied zwischen Originalbild (7) und simulierten Abbild (8) repräsentiert.
7. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass anhand des Differenzbildes (9) relevante Objekte und/oder relevante Kanten ermittelt werden.
8. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass eine Umfelderkennung vorgesehen ist, welche relevante Objekte im Umfeld des Fahrzeuges (1) erkennen kann.
9. Verfahren nach einem der Ansprüche 6 oder 7, d a d u r c h gekennzeichnet, dass nur Kanten relevanter Objekte bestimmt und/oder angezeigt werden.
10. Kamerasystem, insbesondere Surroundview-Kamerasystem, für ein Fahrzeug (1), aufweisend eine Steuereinrichtung (2), mehrere Surroundview-Kameras (3a-3d) und eine Anzeigevorrichtung (6), dadurch gekennzeichnet, dass das Kamerasystem eingerichtet ist, um ein überlagertes Bild (10) anhand eines Verfahren nach einem der vorhergehenden Ansprüche zu erzeugen.
PCT/DE2022/200148 2021-07-29 2022-07-01 Verfahren für ein kamerasystem sowie kamerasystem Ceased WO2023006157A1 (de)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US18/293,015 US12495121B2 (en) 2021-07-29 2022-07-01 Method for a camera system, and camera system

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102021208235.1 2021-07-29
DE102021208235.1A DE102021208235A1 (de) 2021-07-29 2021-07-29 Verfahren für ein Kamerasystem sowie Kamerasystem

Publications (1)

Publication Number Publication Date
WO2023006157A1 true WO2023006157A1 (de) 2023-02-02

Family

ID=84890092

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/DE2022/200148 Ceased WO2023006157A1 (de) 2021-07-29 2022-07-01 Verfahren für ein kamerasystem sowie kamerasystem

Country Status (3)

Country Link
US (1) US12495121B2 (de)
DE (1) DE102021208235A1 (de)
WO (1) WO2023006157A1 (de)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20250086394A (ko) * 2023-12-06 2025-06-13 현대자동차주식회사 차량의 주변영상 보정 장치 및 그 방법
DE102024211136A1 (de) * 2024-11-20 2026-05-21 Robert Bosch Gesellschaft mit beschränkter Haftung Computerimplementiertes Verfahren zur Unterstützung eines Fahrers eines Fahrzeugs, System, Fahrzeug und Computerprogrammprodukt

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190378449A1 (en) 2018-06-11 2019-12-12 Gentex Corporation Color modification system and methods for vehicle displays

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6055340A (en) * 1997-02-28 2000-04-25 Fuji Photo Film Co., Ltd. Method and apparatus for processing digital images to suppress their noise and enhancing their sharpness
US6912301B1 (en) * 2001-11-21 2005-06-28 National Taiwan University Digital amblyopia image aid system provided with individually adjustable function
US20040136570A1 (en) * 2002-04-30 2004-07-15 Shimon Ullman Method and apparatus for image enhancement for the visually impaired
US20040156554A1 (en) * 2002-10-15 2004-08-12 Mcintyre David J. System and method for simulating visual defects
DE102008002560A1 (de) * 2008-06-20 2009-12-24 Robert Bosch Gmbh Bilddatenvisualisierung
JP5460173B2 (ja) * 2009-08-13 2014-04-02 富士フイルム株式会社 画像処理方法、画像処理装置、画像処理プログラム、撮像装置
DE102009029439A1 (de) 2009-09-14 2011-03-24 Robert Bosch Gmbh Verfahren und Vorrichtung zur Darstellung von Hindernissen in einem Einparkhilfesystem von Kraftfahrzeugen
WO2011060525A1 (en) 2009-11-19 2011-05-26 Esight Corporation Image magnification on a head mounted display
CN103514583B (zh) * 2012-06-30 2016-08-24 华为技术有限公司 图像锐化方法及设备
US9619889B2 (en) * 2014-10-21 2017-04-11 General Electric Company Methods and systems for normalizing contrast across multiple acquisitions
EP3057061B1 (de) * 2015-02-16 2017-08-30 Application Solutions (Electronics and Vision) Limited Verfahren und Vorrichtung zur Schätzung von Kraftfahrzeugeigenbewegung aus Surround-Blickbildern
US11160688B2 (en) * 2016-11-10 2021-11-02 Samsung Electronics Co., Ltd. Visual aid display device and method of operating the same
US10748036B2 (en) * 2017-11-21 2020-08-18 Nvidia Corporation Training a neural network to predict superpixels using segmentation-aware affinity loss
EP3718084A4 (de) 2017-11-28 2021-07-21 Hewlett-Packard Development Company, L.P. Digitale bildanalyse und -verarbeitung zur betrachtung durch farbenblinde
DE102018203590A1 (de) * 2018-03-09 2019-09-12 Conti Temic Microelectronic Gmbh Surroundview-System mit angepasster Projektionsfläche
US11508049B2 (en) * 2018-09-13 2022-11-22 Nvidia Corporation Deep neural network processing for sensor blindness detection in autonomous machine applications
CN110942427B (zh) * 2018-09-21 2025-04-01 西安中兴新软件有限责任公司 一种图像降噪的方法及装置、设备、存储介质
WO2021097843A1 (zh) * 2019-11-22 2021-05-27 驭势科技(南京)有限公司 三维重建方法、装置、系统和存储介质
GB202009562D0 (en) * 2020-06-23 2020-08-05 Univ Of Essex Enterprise Limited Visual assistance
US11380111B2 (en) * 2020-09-29 2022-07-05 Ford Global Technologies, Llc Image colorization for vehicular camera images
US20240037445A1 (en) * 2022-07-29 2024-02-01 Denso International America, Inc. Pessimistic offline reinforcement learning system and method

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190378449A1 (en) 2018-06-11 2019-12-12 Gentex Corporation Color modification system and methods for vehicle displays

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
BRETTEL H ET AL: "COMPUTERIZED SIMULATION OF COLOR APPEARANCE FOR DICHROMATS", JOURNAL OF THE OPTICAL SOCIETY OF AMERICA A,, vol. 14, no. 10, October 1997 (1997-10-01), pages 2647 - 2655, XP001161241, ISSN: 1084-7529 *
DRECHSLER NIKLAS: "MINI Augmented Vision: A revolutionary display concept offering enhanced comfort and safety", 10 April 2015 (2015-04-10), XP055968461, Retrieved from the Internet <URL:https://www.press.bmwgroup.com/global/article/detail/T0212042EN/mini-augmented-vision:-a-revolutionary-display-concept-offering-enhanced-comfort-and-safety-exclusive-prototype-of-augmented-reality-eyewear-underlines-the-innovative-flair-and-creativity-of-the-mini-brand?language=en> [retrieved on 20221005] *
ENRICO TANUWIDJAJA ET AL: "Chroma: A Wearable Augmented-Reality Solution for Color Blindness", PERVASIVE AND UBIQUITOUS COMPUTING, ACM, 2 PENN PLAZA, SUITE 701 NEW YORK NY 10121-0701 USA, 13 September 2014 (2014-09-13), pages 799 - 810, XP058054624, ISBN: 978-1-4503-2968-2, DOI: 10.1145/2632048.2632091 *

Also Published As

Publication number Publication date
US20240259519A1 (en) 2024-08-01
DE102021208235A1 (de) 2023-02-02
US12495121B2 (en) 2025-12-09

Similar Documents

Publication Publication Date Title
DE112016005784B4 (de) Sehwahrnehmungsassistenzsystem und Sehwahrnehmungszielobjektdetektionssystem
EP3353013B1 (de) Projizieren eines vorgebbaren lichtmusters
DE10131720B4 (de) Head-Up Display System und Verfahren
EP2986225B1 (de) Verfahren zur bestimmung, ob ein insasse eines fahrzeugs relevante objekte im umfeld des fahrzeugs bemerkt
EP2720899A1 (de) Verfahren und anzeigeeinrichtung zum anzeigen eines fahrzustands eines fahrzeugs und entsprechendes computer-programprodukt
DE102021130548A1 (de) Auf Auffälligkeiten gestützte Präsentation von Objekten in einem Bild
DE102012220100A1 (de) Verfahren und Informationsgerät zum Darstellen von einer Fahrerinformation auf einer Blickfeldanzeige für ein Fahrzeug
DE102015225346A1 (de) Verfahren zum Unterstützen eines Fahrers eines Kraftfahrzeugs beim Führen des Kraftfahrzeugs
DE102014012723A1 (de) Anzeigesystem
DE102016223908A1 (de) Projektionsanzeigesystem sowie Verfahren zum Betreiben eines Projektionsanzeigesystems
DE102004034532B4 (de) Verfahren zur Kennzeichnung von Bildinformationen in der Darstellung eines mit einer fahrzeugseitigen Bildaufnahmeeinrichtung aufgenommenen Nachtsichtbildes und zugehöriges Nachtsichtsystem
DE102009003220B4 (de) Verfahren zur Kollisionswarnung sowie Kollisionswarneinrichtung
WO2018234352A1 (de) Verfahren zum unterstützen eines benutzers eines kraftfahrzeugs beim ausweichen eines hindernisses, fahrerassistenzeinrichtung, und kraftfahrzeug
EP3296795B1 (de) Verfahren zur darstellung eines bildobjekts in einem fahrzeug auf einer fahrzeugintern und einer fahrzeugextern wahrgenommenen anzeige
DE102021208235A1 (de) Verfahren für ein Kamerasystem sowie Kamerasystem
DE112020002353T5 (de) Anzeigevorrichtung
EP3583488A1 (de) Automatisierte aktivierung eines sichtunterstützungssystems
WO2024132701A1 (de) Verfahren zur darstellung einer erweiterten ansicht der umgebung eines fahrzeugs, computerprogramm, rechenvorrichtung und fahrzeug
DE102017223439B4 (de) Warnvorrichtung vor Gefahrensituationen für ein Kraftfahrzeug
EP4178822A1 (de) Intelligentes head-up-display
DE102013019114B4 (de) Verfahren und System zum Betreiben einer Anzeigeeinrichtung eines Kraftwagens sowie Kraftwagen mit einem System zum Betreiben einer Anzeigeeinrichtung
DE102022113342A1 (de) Selektives Head-Up-Display für ein Fahrzeug mit aktiver Blickführung für den Fahrer bei Gefahr
EP4208372A1 (de) Verfahren zum anzeigen einer umgebung eines fahrzeuges auf einer anzeigeeinrichtung, verarbeitungseinheit und fahrzeug
DE102023003828B4 (de) Verfahren zum Betrieb eines Fahrerassistenzsystems und Fahrzeug
DE102022113245A1 (de) Verfahren zum Betreiben einer Anzeigevorrichtung eines Kraftfahrzeugs, Steuereinrichtung, und Kraftfahrzeug

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22750993

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 18293015

Country of ref document: US

122 Ep: pct application non-entry in european phase

Ref document number: 22750993

Country of ref document: EP

Kind code of ref document: A1