WO2019072570A1 - Improved view of a motor vehicle environment - Google Patents

Improved view of a motor vehicle environment Download PDF

Info

Publication number
WO2019072570A1
WO2019072570A1 PCT/EP2018/076161 EP2018076161W WO2019072570A1 WO 2019072570 A1 WO2019072570 A1 WO 2019072570A1 EP 2018076161 W EP2018076161 W EP 2018076161W WO 2019072570 A1 WO2019072570 A1 WO 2019072570A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
motor vehicle
movement
images
environment
Prior art date
Application number
PCT/EP2018/076161
Other languages
German (de)
French (fr)
Inventor
Andrea Stupiggia
Original Assignee
Bayerische Motoren Werke Aktiengesellschaft
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bayerische Motoren Werke Aktiengesellschaft filed Critical Bayerische Motoren Werke Aktiengesellschaft
Publication of WO2019072570A1 publication Critical patent/WO2019072570A1/en

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G06T5/77—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/304—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/307—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • H04N23/811—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation by dust removal, e.g. from surfaces of the image sensor or processing of the image signal output by the electronic image sensor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection

Definitions

  • the invention relates to a method, a device and a motor vehicle, each for providing an improved view of a motor vehicle environment.
  • the invention relates to the processing of images of views of the automotive environment.
  • a motor vehicle is controllable by a driver who has a front window on a view ahead of the vehicle lying environment.
  • the picture of the environment is clouded for the driver.
  • each raindrop and each snowflake obscures a part of the relevant image
  • the human visual system is adapted to perceive a moving object in certain areas of the field of view as strongly distracting. As a result, the driver is less able to visually recognize a driving or traffic situation so that driving safety can be reduced.
  • An object underlying the invention is to provide an improved view of a motor vehicle environment.
  • the invention solves these
  • a method comprises steps of capturing a first image and capturing a second image at a predetermined time interval in a predetermined environment, wherein on the first image an object in a first image area and on the second image the object in one second image area is mapped; determining a moving speed of the object based on positions of the object
  • Moving speed exceeds a predetermined threshold, and if so, determining a third image on the basis of the first and second images, the object missing on the third image; and providing the third image.
  • the object may be hidden on the third image, so that another object of the environment on the third image can be improved visually recognizable.
  • the other object may be more relevant for driving the motor vehicle because of its lower speed of movement.
  • the third image can be presented to a driver of the motor vehicle so that he can see the environment without the object. The driver can thereby be improved in the situation to be able to guide the motor vehicle safely.
  • the third image may also be archived, for example, for later viewing or analysis.
  • the third image can also be processed automatically, for example by a driving assistant, which can influence a longitudinal and / or lateral control of the motor vehicle as a function of the third image.
  • the provision of the third image may comprise replacing the image region of the first or the second image with a corresponding image region of the respective other image.
  • Corresponding image areas have generally the same positions in the images assigned to them. Image areas of the object on the first and second images are ideally disjoint, so do not overlap one another.
  • the second image area in the second image can be replaced by the corresponding image area of the first image, wherein the corresponding image area does not contain the object.
  • a third image can be determined, which does not contain the object, but otherwise corresponds to the second image and so still can represent a closed view of the environment.
  • the first image area of the first image can also be replaced by a
  • Irregularities in a transition between the replaced part and the rest of the image can hardly disturb the overall impression of the third image.
  • a series of images may also be acquired, the speed of movement being based on any one of
  • Pair of temporally spaced detected images can be determined and the replacement of an image area containing the object by means of
  • corresponding image areas of one or more other images takes place.
  • parts of the image area containing the object can be taken from other images.
  • This can also be pictures be used whose image areas on which the object is visible in each case, or their locations in the respective image, only partially different from each other.
  • the images may be captured by a camera which is moved through the environment, the threshold being based on a
  • Movement speed of the camera is determined. The faster the camera is moved, the faster appears to be moving another object that is relevant for driving the motor vehicle, such as a traffic sign, an obstacle, a lane marking or another road user. As the speed of movement increases, the threshold can also be increased so that relevant objects can always be preserved in the third image.
  • the speed of movement of the object can be determined with respect to the environment through which the camera is moved. As a result, regardless of a movement speed or movement direction of the camera, it can be determined in an improved manner whether the object is relevant or not.
  • an object moving in the same direction and speed as the camera may be judged to be relevant because of its speed with respect to the environment, for example a slow-moving other motor vehicle.
  • Such an object can be preserved in the third image, even if its speed of movement with respect to the camera is low.
  • the threshold may be determined based on a direction of movement of the object. For example, the threshold for a horizontally moving object may be higher than for a vertically moving object. For example, falling objects can be better removed from the third image.
  • the object can be part of a meteorological precipitation.
  • liquid precipitate may include rain, freezing rain, or water droplets, which object may include a raindrop or ice grain;
  • Solid precipitate may include, for example, snow, sleet, hail, snow drizzle, or ice grain, which object may particularly include a corresponding appearance of water.
  • An object covered by precipitation may follow a characteristic movement, in particular one Falling motion that can be influenced by an airflow.
  • Such objects may also be hidden by additional criteria, for example due to the uniformity of their movements, their color, shape or size.
  • Motor vehicle can by a human driver or a
  • a device comprises
  • the processing device is set up on the basis of a first image and a second image, wherein on the first image an object in a first image area and on the second image the object in a second image area is mapped; and determining a moving speed of the object at a predetermined interval with which the first and second images have been detected; to determine if the
  • Moving speed exceeds a predetermined threshold, and if that is the case, on the basis of the first and the second image to provide a third image, wherein the object is not shown on the third image.
  • the output device is set up to provide the third image and is preferably implemented optically or as a data interface.
  • the camera may be part of an environmental observation system of the motor vehicle.
  • the environment observation system can be one or more cameras in different perspectives, resolutions, focal lengths or
  • the first and / or the second image may also be provided on the basis of a plurality of cameras or another optical sensor of the environment observation system.
  • the dispenser may be one of a head-up display, an instrument cluster, and a central display device of the
  • the head-up display can mirror the third image into a perception area of a driver of the motor vehicle, so that he can perceive both the unchanged and the changed third image without changing his perspective.
  • the instrument cluster may be configured to display certain parameters of the motor vehicle, in particular a driving speed and the state of certain
  • Lighting devices of the motor vehicle A display area of the instrument cluster is usually relatively limited.
  • Display device may be arranged in a console of the motor vehicle, for example between driver and front passenger, and is preferably configured to support an additional function of the motor vehicle, for example a navigation system, an entertainment system or an air conditioning system.
  • the apparatus may include a precipitation sensor or an interface to a precipitation sensor, the apparatus being adapted to provide the third image in response to a precipitation sensor
  • Precipitation signal of the precipitation sensor to perform. If the precipitation sensor reports precipitation, the third image can be generated automatically. If the device is active, it preferably generates a series of third images that can be perceived as a moving image. A delay time between the detection of a first or second image and the provision of the third image based on this image is thereby preferably limited and may, for example, amount to no more than a few, a few tens or a few hundred milliseconds.
  • a motor vehicle comprises a device described herein.
  • the motor vehicle can be controlled in an improved manner, even if the view of an environment is disturbed by one or more rapidly moving objects.
  • FIG. 2 shows an illustration of the processing of images in the environment of a motor vehicle
  • FIG. 3 is a flow chart of a method for providing an improved image of an exterior of a motor vehicle.
  • Fig. 4 is an illustration of a recorded and a
  • FIG. 1 shows a motor vehicle 100 with a device 105 for providing an improved image of an exterior area 1 10.
  • the exterior area 110 there are one or more objects 15 and optionally one or more further objects 120. Movement directions and movement speeds of the objects 11 are each indicated by an arrow.
  • the further object 120 is assumed to be stationary as an example.
  • Some objects 120 may be relevant to controlling the motor vehicle 100, while other objects 15 may only reduce visibility or be distracting. Irrelevant objects 15 can in particular include meteorological precipitation such as rain or snow. Relevant objects 120 may include, for example, another motor vehicle, a person, a building, a road marking, a vegetation, a road sign or an obstacle. In order to be able to control motor vehicle 100 in an improved manner as a function of an image of outdoor area 110, it is proposed to provide an image of outdoor area 110 on which at least one irrelevant object 15 is not shown. By contrast, relevant objects 120 should be displayed as unchanged as possible on the image.
  • a distinction between a relevant object 120 and an irrelevant object 15 can be made on the basis of a moving speed of the object 1 1 5, 120.
  • the movement speed can be determined with respect to the environment 110 or with respect to the motor vehicle 100.
  • the speed of movement also includes a movement direction of the object 1 15, 120. If the movement speed exceeds a predetermined threshold, it can be assumed that an irrelevant object 1 1 5, otherwise it may be a relevant object 120.
  • the device 105 is mounted on board the motor vehicle 100 and may include one or more components that are already being used for other reasons or for other purposes on the motor vehicle 100.
  • Device 105 preferably comprises a camera 125 for scanning the surrounding area 110, a processing device 130, and an output device 135.
  • a precipitation sensor 140 may also be provided.
  • the camera 125 preferably operates in the visible optical spectrum and is also preferably aligned at least substantially in the direction of travel of the motor vehicle 100.
  • the processing device 130 preferably comprises and can be a programmable microcomputer or microcontroller
  • the output device 135 may in particular comprise a screen, which may be part of a combination instrument or a central display device of the motor vehicle.
  • the output device 135 is set up in particular for informing a driver of the motor vehicle 100.
  • the output device 135 comprises a head-up display, which is adapted to convert an image into an optical
  • the driver's detection area Mirroring the driver's detection area, where it can overlap or cover an optically immediately perceivable image of the environment.
  • the provided image is sent to another
  • Processing device provided, for example, a
  • the device 105 may be configured to provide an image lacking objects 15 that are part of a meteorological precipitate, such as rain or snow.
  • the signal of the precipitation sensor 140 can be evaluated.
  • the precipitation sensor 140 may be optical or operate acoustically and be adapted to detect precipitate 1 15, which is attached to a disc of the motor vehicle 100, in particular a windscreen, deposited or flows from the disc.
  • FIG. 2 shows an illustration of the processing of images in the environment 1 10 of a motor vehicle 100.
  • a time is shown, which runs from top to bottom.
  • an image 205 from the environment 110 of the motor vehicle 100 is scanned in each case, for example by means of the camera 125.
  • a time interval ⁇ t Between adjacent times t there is in each case a time interval ⁇ t, wherein the time intervals ⁇ t are preferably the same.
  • the images 205 shown in FIG. 2 are referenced with appended suffixes 1-3, the suffix corresponding in each case to the index of the time t, the detection.
  • Each image 205 is assigned an image area 210 using the same nomenclature with suffixes.
  • a first image area 201 .1 lies in the first image 205.1 and so on.
  • the object 1 15 is for ease of understanding as a square with the
  • Image area 210.3 With the same perspective of the images 205, the image regions 210 in the associated images 205 have different layers.
  • An image area 210 preferably comprises as small a section of an associated image 205 as possible and as completely as possible a predetermined object 210 which is imaged on the image 205.
  • an image area 210 may comprise all contiguous pixels ("pixels") of an image 205 associated with the object 1.
  • the image area 210 preferably has a rectangular shape but may also be shaped differently, for example round, oval or even irregular.
  • a movement speed of the object 1 15 can be determined by the quotient of the location difference of the object 15 (or the associated
  • Image area 210) in two images 205 and the time interval (the time difference) the captures of the images 205 is determined. For this determination, it may be necessary to determine the distance and / or size of the object 15. In addition, a movement of the camera 125 between
  • an image 215 may be provided which does not include object 15.
  • Image area 210 of another image 205 to be replaced the
  • Detection time is preferably in a small time interval At the detection time of the present image 205.
  • the corresponding image region 210 preferably lies in the same position in the other image 205 as the image region 210 in the image 205.
  • Curved arrows in FIG. 2 indicate possible replacements between temporally adjacent images 205. It should be noted that a replacement can be made in both temporal directions. In further embodiments, a replacement of an image region 210 from an image 205 further in time may also take place or a plurality of parts of an image region 210 may be replaced by corresponding parts of image regions 210 of a plurality of other images 205. In this case, images 205 from different temporal directions can also be used.
  • An improved image 215, which does not contain the object 15, can be generated in the present example by replacing the image region 210.2 of the second image 205.2 with the corresponding image region 210 of the first image 205.1 or of the third image 205.3.
  • the image area 210.3 of the third image 205.3, which contains the object 15, can also be replaced by the corresponding image area of the second image 205.2 (or that of the first image 205.1).
  • the image area 210.1 of the first image 205.1, which contains the object 15, can also be replaced by the corresponding image area of the second image 205.2 (or that of the third image 205.3).
  • the starting point for the improved image 215 is preferably always the latest image 205, ie the latest image 205, and the image region 210 on which the object 1 15 is to be seen is acquired from one or more as soon as possible Images 205 used. This procedure can be performed sequentially, always keeping a predetermined number of old images 205 ready to replace image regions 210 of a current image 205.
  • a series of images 205 may be provided that may represent a sequence of images, an image stream, or a video stream.
  • FIG. 3 shows a flowchart of a method 300 for providing an improved image 215 of an exterior of a motor vehicle 100 in one embodiment.
  • the method 300 may be in whole or in part on the
  • Device 105 are carried out on board the motor vehicle 100 of Figure 1.
  • a first image 205.1 is detected, and then optionally in a step 310, a first image region 210.1 can be determined, which contains the object 1 15 on the first image 205.1.
  • a second image 205.2 is detected in a step 315 and subsequently, in a step 320, a second image region 210.2 is determined which contains the object 1 15 on the second image 205.2.
  • a movement speed of the object 15 can be determined in a step 330.
  • Embodiment to a distance of the object 1 15 is estimated or measured. For this, the size of the object 1 15 can be determined
  • the movement speed can be determined with respect to the camera 125.
  • Movement speed can also be determined with respect to the environment 1 10. For this purpose, in a step 325, a movement speed of
  • Camera 125 can be determined. Both are preferred
  • the movement of the camera 125 may correspond to a movement of the motor vehicle 100, the movement of which, for example, on the basis of a
  • Driving state of the motor vehicle 100 can be determined.
  • the determined movement speed of the object 15 can be compared with a threshold value.
  • the threshold value may be predetermined as absolute or, for example, depending on a movement speed of the motor vehicle 100. In addition, the threshold be dependent on a direction of movement, a size or a distance of the object 1 15.
  • the method 300 may end in a step 340. Otherwise, in a step 345, an image 215 may be provided on which the object 15 is missing. Possible procedures for this purpose are described in more detail in particular with reference to FIG. 2 herein.
  • the particular image 215 may then be provided in a step 350.
  • the providing may be directed by means of the display device 135 to a driver of the motor vehicle 100, or via a device arranged therefor
  • FIG. 4 shows an illustration of a captured image 205 and an improved image 215.
  • a multiplicity of objects 15 are shown as snowflakes in the first image 205 by way of example.
  • the objects 15 are preferably located in the surrounding area 10 and do not adhere to the motor vehicle 100,
  • the objects 15 can have similar sizes, distances, shapes, movement speeds or directions of movement.
  • the objects 1 15 are preferably completely removed from the captured image 205.
  • the enhanced image 215 includes
  • the remaining picture elements, in particular the objects 120, may be relevant for controlling the
  • Reference numeral 100 Motor vehicle

Abstract

The invention relates to a method (300) comprising the following steps: capturing a first image (205.1) and capturing a second image (205.2) at a predetermined time interval in a predetermined environment (110), wherein an object (115) in a first image region (210.1) is imaged in the first image (205.1) and the object (115) in a second image region (210.2) is imaged in the second image (205.2); determining (330) a speed of movement of the object (115) on the basis of positions of the image regions (210) in the images (205) and the time interval (Δt); determining (335) whether the speed of movement exceeds a predetermined threshold value, and, if so, determining (345) a third image (215) on the basis of the first and second image (205.1, 205.2), the object (110) being absent from the third image (215); and providing (350) the third image (215).

Description

Verbesserte Ansicht eines Kraftfahrzeugumfelds  Improved view of a motor vehicle environment
Die Erfindung betrifft ein Verfahren, eine Vorrichtung und ein Kraftfahrzeug, jeweils zur Bereitstellung einer verbesserten Ansicht eines Kraftfahrzeugumfelds. Insbesondere betrifft die Erfindung die Verarbeitung von Bildern von Ansichten des Kraftfahrzeugumfelds. The invention relates to a method, a device and a motor vehicle, each for providing an improved view of a motor vehicle environment. In particular, the invention relates to the processing of images of views of the automotive environment.
Ein Kraftfahrzeug ist durch einen Fahrer steuerbar, der durch eine Frontscheibe Ausblick auf ein vor dem Kraftfahrzeug liegendes Umfeld hat. Für ein sicheres Führen des Kraftfahrzeugs ist es unerlässlich, dass der Fahrer rasch und mühelos einen realistischen Eindruck des Umfelds erhält. Bei starkem Regen oder Schneefall ist das Bild des Umfelds für den Fahrer getrübt. Einerseits verdeckt jeder Regentropfen und jede Schneeflocke einen Teil des relevanten Bildes, andererseits ist der menschliche Sehapparat dazu eingerichtet, ein sich bewegendes Objekt in bestimmten Bereichen des Sichtfelds als stark ablenkend zu empfinden. Der Fahrer kann dadurch eine Fahr- oder Verkehrssituation weniger gut optisch erkennen, sodass eine Fahrsicherheit verringert sein kann. A motor vehicle is controllable by a driver who has a front window on a view ahead of the vehicle lying environment. For a safe driving of the motor vehicle, it is essential that the driver quickly and effortlessly obtains a realistic impression of the environment. In heavy rain or snow, the picture of the environment is clouded for the driver. On the one hand, each raindrop and each snowflake obscures a part of the relevant image, on the other hand, the human visual system is adapted to perceive a moving object in certain areas of the field of view as strongly distracting. As a result, the driver is less able to visually recognize a driving or traffic situation so that driving safety can be reduced.
Eine der Erfindung zu Grunde liegende Aufgabe besteht darin, eine verbesserte Ansicht eines Kraftfahrzeugumfelds bereitzustellen. Die Erfindung löst dieseAn object underlying the invention is to provide an improved view of a motor vehicle environment. The invention solves these
Aufgabe mittels der Gegenstände der unabhängigen Ansprüche. Unteransprüche geben bevorzugte Ausführungsformen wieder. Task by means of the subjects of the independent claims. Subclaims give preferred embodiments again.
Nach einem ersten Aspekt der Erfindung umfasst ein Verfahren Schritte des Erfassens eines ersten Bildes und des Erfassens eines zweiten Bildes mit einem vorbestimmten Zeitabstand in einem vorbestimmten Umfeld, wobei auf dem ersten Bild ein Objekt in einem ersten Bildbereich und auf dem zweiten Bild das Objekt in einem zweiten Bildbereich abgebildet ist; des Bestimmens einer Bewegungsgeschwindigkeit des Objekts auf der Basis von Lagen der According to a first aspect of the invention, a method comprises steps of capturing a first image and capturing a second image at a predetermined time interval in a predetermined environment, wherein on the first image an object in a first image area and on the second image the object in one second image area is mapped; determining a moving speed of the object based on positions of the object
Bildbereiche in den Bildern und des Zeitabstands; des Bestimmens, ob dieImage areas in the images and the time interval; determining if the
Bewegungsgeschwindigkeit einen vorbestimmten Schwellenwert übersteigt, und wenn das der Fall ist, des Bestimmens eines dritten Bildes auf der Basis des ersten und des zweiten Bildes, wobei das Objekt auf dem dritten Bild fehlt; sowie des Bereitstellens des dritten Bildes. Das Objekt kann auf dem dritten Bild ausgeblendet sein, sodass ein anderes Objekt des Umfelds auf dem dritten Bild verbessert optisch erkennbar sein kann. Das andere Objekt kann aufgrund seiner niedrigeren Bewegungsgeschwindigkeit relevanter für das Führen des Kraftfahrzeugs sein. Das dritte Bild kann einem Fahrer des Kraftfahrzeugs dargeboten werden, sodass dieser das Umfeld ohne das Objekt sehen kann. Der Fahrer kann dadurch verbessert in die Lage versetzt werden, das Kraftfahrzeug sicher zu führen. Alternativ kann das dritte Bild auch beispielsweise für eine spätere Ansicht oder Analyse archiviert werden. Ferner kann das dritte Bild auch automatisch verarbeitet werden, beispielsweise durch einen Fahrassistenten, der in Abhängigkeit des dritten Bildes eine Längsund/oder Quersteuerung des Kraftfahrzeugs beeinflussen kann. Moving speed exceeds a predetermined threshold, and if so, determining a third image on the basis of the first and second images, the object missing on the third image; and providing the third image. The object may be hidden on the third image, so that another object of the environment on the third image can be improved visually recognizable. The other object may be more relevant for driving the motor vehicle because of its lower speed of movement. The third image can be presented to a driver of the motor vehicle so that he can see the environment without the object. The driver can thereby be improved in the situation to be able to guide the motor vehicle safely. Alternatively, the third image may also be archived, for example, for later viewing or analysis. Furthermore, the third image can also be processed automatically, for example by a driving assistant, which can influence a longitudinal and / or lateral control of the motor vehicle as a function of the third image.
Das Bereitstellen des dritten Bildes kann ein Ersetzen des Bildbereichs des ersten oder des zweiten Bilds durch einen korrespondierenden Bildbereich des jeweils anderen Bildes umfassen. Zueinander korrespondierende Bildbereiche haben in den ihnen zugeordneten Bildern allgemein gleiche Lagen. Bildbereiche des Objekts auf dem ersten und dem zweiten Bild sind idealerweise disjunkt, überschneiden einander also nicht. Beispielsweise kann der zweite Bildbereich im zweiten Bild durch den korrespondierenden Bildbereich des ersten Bildes ersetzt werden, wobei der korrespondierende Bildbereich das Objekt nicht enthält. Dadurch kann ein drittes Bild bestimmt werden, welches das Objekt nicht enthält, ansonsten aber dem zweiten Bild entspricht und so trotzdem eine geschlossene Ansicht des Umfelds darstellen kann. In entsprechender Weise kann auch der erste Bildbereich des ersten Bildes durch einen The provision of the third image may comprise replacing the image region of the first or the second image with a corresponding image region of the respective other image. Corresponding image areas have generally the same positions in the images assigned to them. Image areas of the object on the first and second images are ideally disjoint, so do not overlap one another. For example, the second image area in the second image can be replaced by the corresponding image area of the first image, wherein the corresponding image area does not contain the object. As a result, a third image can be determined, which does not contain the object, but otherwise corresponds to the second image and so still can represent a closed view of the environment. In a corresponding manner, the first image area of the first image can also be replaced by a
korrespondierenden Bildbereich des zweiten Bildes ersetzt werden. Kleinecorresponding image area of the second image to be replaced. little one
Unregelmäßigkeiten an einem Übergang zwischen dem ersetzten Teil und dem restlichen Bild können den Gesamteindruck des dritten Bildes kaum stören. Irregularities in a transition between the replaced part and the rest of the image can hardly disturb the overall impression of the third image.
In einer weiteren Ausführungsform kann auch eine Serie von Bildern erfasst werden, wobei die Bewegungsgeschwindigkeit auf der Basis eines beliebigenIn a further embodiment, a series of images may also be acquired, the speed of movement being based on any one of
Paars zeitlich beabstandet erfasster Bilder bestimmt werden kann und das Ersetzen eines Bildbereichs, welcher das Objekt enthält, mittels Pair of temporally spaced detected images can be determined and the replacement of an image area containing the object by means of
korrespondierender Bildbereiche eines oder mehrerer anderer Bilder erfolgt. Anders ausgedrückt können Teile des Bildbereichs, welcher das Objekt enthält, aus anderen Bildern übernommen werden. Dadurch können auch Bilder verwendet werden, deren Bildbereiche, auf denen das Objekt jeweils sichtbar ist, bzw. deren Lagen im jeweiligen Bild, nur teilweise voneinander verschieden sind. corresponding image areas of one or more other images takes place. In other words, parts of the image area containing the object can be taken from other images. This can also be pictures be used whose image areas on which the object is visible in each case, or their locations in the respective image, only partially different from each other.
Die Bilder können mittels einer Kamera aufgenommen werden, die durch das Umfeld bewegt wird, wobei der Schwellenwert auf der Basis einer The images may be captured by a camera which is moved through the environment, the threshold being based on a
Bewegungsgeschwindigkeit der Kamera bestimmt wird. Je schneller die Kamera bewegt wird, desto schneller scheint sich ein anderes Objekt zu bewegen, das für das Führen des Kraftfahrzeugs relevant ist, beispielsweise ein Verkehrsschild, ein Hindernis, eine Fahrbahnmarkierung oder ein anderer Verkehrsteilnehmer. Mit steigender Bewegungsgeschwindigkeit kann auch der Schwellenwert gesteigert werden, sodass relevante Objekte stets im dritten Bild erhalten bleiben können. Movement speed of the camera is determined. The faster the camera is moved, the faster appears to be moving another object that is relevant for driving the motor vehicle, such as a traffic sign, an obstacle, a lane marking or another road user. As the speed of movement increases, the threshold can also be increased so that relevant objects can always be preserved in the third image.
Die Bewegungsgeschwindigkeit des Objekts kann bezüglich des Umfelds bestimmt werden, durch welche die Kamera bewegt wird. Dadurch kann unabhängig von einer Bewegungsgeschwindigkeit oder Bewegungsrichtung der Kamera verbessert bestimmt werden, ob das Objekt relevant ist oder nicht. The speed of movement of the object can be determined with respect to the environment through which the camera is moved. As a result, regardless of a movement speed or movement direction of the camera, it can be determined in an improved manner whether the object is relevant or not.
Beispielsweise kann ein in gleicher Richtung und Geschwindigkeit wie die Kamera bewegtes Objekt aufgrund seiner Geschwindigkeit bezüglich des Umfelds als relevant beurteilt werden, beispielsweise ein langsam überholendes anderes Kraftfahrzeug. Ein solches Objekt kann im dritten Bild erhalten bleiben, auch wenn seine Bewegungsgeschwindigkeit bezüglich der Kamera gering ist. For example, an object moving in the same direction and speed as the camera may be judged to be relevant because of its speed with respect to the environment, for example a slow-moving other motor vehicle. Such an object can be preserved in the third image, even if its speed of movement with respect to the camera is low.
Der Schwellenwert kann auf der Basis einer Bewegungsrichtung des Objekts bestimmt werden. Beispielsweise kann der Schwellenwert für ein sich horizontal bewegendes Objekt höher als für ein sich vertikal bewegendes Objekt sein. So können beispielsweise fallende Objekte verbessert aus dem dritten Bild entfernt werden. The threshold may be determined based on a direction of movement of the object. For example, the threshold for a horizontally moving object may be higher than for a vertically moving object. For example, falling objects can be better removed from the third image.
Das Objekt kann Teil eines meteorologischen Niederschlags sein. Flüssiger Niederschlag kann beispielsweise Regen, Eisregen oder Wassertropfen umfassen, wobei das Objekt einen Regentropfen oder ein Eiskorn umfassen kann; fester Niederschlag kann etwa Schnee, Graupel, Hagel, Schneegriesel oder Eiskorn umfassen, wobei das Objekt insbesondere eine entsprechende Erscheinungsform von Wasser umfassen kann. Ein von Niederschlag umfasstes Objekt kann einer charakteristischen Bewegung folgen, insbesondere einer Fallbewegung, die von einer Luftströmung beeinflusst sein kann. Derartige Objekte können auch anhand zusätzlicher Kriterien ausgeblendet werden, beispielsweise aufgrund der Gleichförmigkeit ihrer Bewegungen, ihrer Farbe, Form oder Größe. The object can be part of a meteorological precipitation. For example, liquid precipitate may include rain, freezing rain, or water droplets, which object may include a raindrop or ice grain; Solid precipitate may include, for example, snow, sleet, hail, snow drizzle, or ice grain, which object may particularly include a corresponding appearance of water. An object covered by precipitation may follow a characteristic movement, in particular one Falling motion that can be influenced by an airflow. Such objects may also be hidden by additional criteria, for example due to the uniformity of their movements, their color, shape or size.
Im ersten und im zweiten Bild können jeweils eine Vielzahl Objekte abgebildet sein und das dritte Bild kann ohne die Objekte bereitgestellt werden. In the first and in the second image, in each case a multiplicity of objects can be imaged and the third image can be provided without the objects.
Beispielsweise bei Schneefall oder starkem Regen kann so eine wesentlich verbesserte Ansicht des Umfelds im dritten Bild bereitgestellt sein. Das For example, in snowfall or heavy rain, a much improved view of the environment may be provided in the third image. The
Kraftfahrzeug kann durch einen menschlichen Fahrer oder eine Motor vehicle can by a human driver or a
Steuerungsautomatik (auch bekannt als Fahrassistent) mit verbessertem Control automatic (also known as driving assistant) with improved
Weitblick sicherer gesteuert werden. Vision can be controlled more safely.
Nach einem zweiten Aspekt der Erfindung umfasst eine Vorrichtung According to a second aspect of the invention, a device comprises
an Bord eines Kraftfahrzeugs eine Kamera zur Erfassung von Bildern eines Außenbereichs des Kraftfahrzeugs; eine Verarbeitungseinrichtung; und eine Ausgabevorrichtung. Die Verarbeitungseinrichtung ist dazu eingerichtet, auf der Basis eines ersten Bildes und eines zweiten Bildes, wobei auf dem ersten Bild ein Objekt in einem ersten Bildbereich und auf dem zweiten Bild das Objekt in einem zweiten Bildbereich abgebildet ist; und einem vorbestimmten Zeitabstand, mit dem das erste und das zweite Bild erfasst wurden, eine Bewegungsgeschwindigkeit des Objekts zu bestimmen; zu bestimmen, ob die on board a motor vehicle, a camera for capturing images of an exterior of the motor vehicle; a processing device; and an output device. The processing device is set up on the basis of a first image and a second image, wherein on the first image an object in a first image area and on the second image the object in a second image area is mapped; and determining a moving speed of the object at a predetermined interval with which the first and second images have been detected; to determine if the
Bewegungsgeschwindigkeit einen vorbestimmten Schwellenwert übersteigt, und wenn das der Fall ist, auf der Basis des ersten und des zweiten Bildes ein drittes Bild bereitzustellen, wobei das Objekt auf dem dritten Bild nicht abgebildet ist. Die Ausgabevorrichtung ist zur Bereitstellung des dritten Bildes eingerichtet und bevorzugt optisch oder als Datenschnittstelle ausgeführt. Moving speed exceeds a predetermined threshold, and if that is the case, on the basis of the first and the second image to provide a third image, wherein the object is not shown on the third image. The output device is set up to provide the third image and is preferably implemented optically or as a data interface.
Die Kamera kann Teil eines Umfeldbeobachtungssystems des Kraftfahrzeugs sein. Das Umfeldbeobachtungssystem kann eine oder mehrere Kameras in unterschiedlichen Perspektiven, Auflösungen, Brennweiten oder The camera may be part of an environmental observation system of the motor vehicle. The environment observation system can be one or more cameras in different perspectives, resolutions, focal lengths or
Wellenlängenbereichen umfassen. Das erste und/oder das zweite Bild können auch auf der Basis mehrerer Kameras oder eines anderen optischen Sensors des Umfeldbeobachtungssystems bereitgestellt sein. Die Ausgabevorrichtung kann insbesondere eines von einem Head-Up-Display, einem Kombiinstrument und einer zentralen Anzeigevorrichtung des Include wavelength ranges. The first and / or the second image may also be provided on the basis of a plurality of cameras or another optical sensor of the environment observation system. In particular, the dispenser may be one of a head-up display, an instrument cluster, and a central display device of the
Kraftfahrzeugs umfassen. Das Head-Up-Display kann das dritte Bild in einen Wahrnehmungsbereich eines Fahrers des Kraftfahrzeugs einspiegeln, sodass dieser sowohl das unveränderte als auch das veränderte dritte Bild wahrnehmen kann, ohne seinen Blickwinkel zu verändern. Das Kombiinstrument kann dazu eingerichtet sein, bestimmte Parameter des Kraftfahrzeugs anzuzeigen, insbesondere eine Fahrgeschwindigkeit und den Zustand bestimmter Motor vehicle include. The head-up display can mirror the third image into a perception area of a driver of the motor vehicle, so that he can perceive both the unchanged and the changed third image without changing his perspective. The instrument cluster may be configured to display certain parameters of the motor vehicle, in particular a driving speed and the state of certain
Beleuchtungseinrichtungen des Kraftfahrzeugs. Ein Darstellungsbereich des Kombiinstruments ist üblicherweise relativ beschränkt. Die zentrale Lighting devices of the motor vehicle. A display area of the instrument cluster is usually relatively limited. The central
Anzeigevorrichtung kann in einer Konsole des Kraftfahrzeugs, beispielsweise zwischen Fahrer und Beifahrer, angeordnet sein und ist bevorzugt dazu eingerichtet, eine zusätzliche Funktion des Kraftfahrzeugs zu unterstützen, beispielsweise ein Navigationssystem, ein Unterhaltungssystem oder eine Klimaanlage. Display device may be arranged in a console of the motor vehicle, for example between driver and front passenger, and is preferably configured to support an additional function of the motor vehicle, for example a navigation system, an entertainment system or an air conditioning system.
Die Vorrichtung kann einen Niederschlagssensor oder eine Schnittstelle zu einem Niederschlagssensor umfassen, wobei die Vorrichtung dazu eingerichtet ist, die Bereitstellung des dritten Bildes in Abhängigkeit eines The apparatus may include a precipitation sensor or an interface to a precipitation sensor, the apparatus being adapted to provide the third image in response to a precipitation sensor
Niederschlagssignals des Niederschlagssensors durchzuführen. Meldet der Niederschlagssensor einen Niederschlag, so kann das dritte Bild automatisch generiert werden. Ist die Vorrichtung aktiv, so generiert sie bevorzugt eine Serie von dritten Bildern, der als bewegtes Bild wahrgenommen werden kann. Eine Verzögerungszeit zwischen der Erfassung eines ersten oder zweiten Bildes und der Bereitstellung des auf diesem Bild basierenden dritten Bildes ist dabei bevorzugt begrenzt und kann beispielsweise nicht mehr als einige, einige zehn oder einige hundert Millisekunden betragen. Precipitation signal of the precipitation sensor to perform. If the precipitation sensor reports precipitation, the third image can be generated automatically. If the device is active, it preferably generates a series of third images that can be perceived as a moving image. A delay time between the detection of a first or second image and the provision of the third image based on this image is thereby preferably limited and may, for example, amount to no more than a few, a few tens or a few hundred milliseconds.
Nach einem dritten Aspekt der Erfindung umfasst ein Kraftfahrzeug eine hierin beschriebene Vorrichtung. Das Kraftfahrzeug kann verbessert gesteuert werden, auch wenn die Sicht auf ein Umfeld durch eines oder mehrere sich rasch bewegende Objekte gestört ist. According to a third aspect of the invention, a motor vehicle comprises a device described herein. The motor vehicle can be controlled in an improved manner, even if the view of an environment is disturbed by one or more rapidly moving objects.
Die Erfindung wird nun mit Bezug auf die beigefügten Zeichnungen genauer beschrieben, in denen: Fig. 1 ein Kraftfahrzeug mit einer Vorrichtung zur Bereitstellung eines verbesserten Bildes eines Au ßenbereichs; The invention will now be described in more detail with reference to the accompanying drawings, in which: 1 shows a motor vehicle with a device for providing an improved image of an Au ßenbereichs.
Fig. 2 eine Veranschaulichung der Verarbeitung von Bildern im Umfeld eines Kraftfahrzeugs;  2 shows an illustration of the processing of images in the environment of a motor vehicle;
Fig. 3 ein Ablaufdiagramm eines Verfahrens zum Bereitstellen eines verbesserten Bildes eines Au ßenbereichs eines Kraftfahrzeugs; und  3 is a flow chart of a method for providing an improved image of an exterior of a motor vehicle; and
Fig. 4 eine Veranschaulichung eines aufgenommenen und eines  Fig. 4 is an illustration of a recorded and a
verbesserten Bildes illustriert.  illustrated image enhanced.
Figur 1 zeigt ein Kraftfahrzeug 100 mit einer Vorrichtung 105 zur Bereitstellung eines verbesserten Bildes eines Au ßenbereichs 1 10. Im Außenbereich 1 10 befinden sich eines oder mehrere Objekte 1 15, sowie optional eines oder mehrere weitere Objekte 120. Bewegungsrichtungen und Bewegungsgeschwindigkeiten der Objekte 1 15 sind jeweils durch einen Pfeil angedeutet. Das weitere Objekt 120 wird exemplarisch als stillstehend angenommen. FIG. 1 shows a motor vehicle 100 with a device 105 for providing an improved image of an exterior area 1 10. In the exterior area 110, there are one or more objects 15 and optionally one or more further objects 120. Movement directions and movement speeds of the objects 11 are each indicated by an arrow. The further object 120 is assumed to be stationary as an example.
Einige Objekte 120 können relevant für das Steuern des Kraftfahrzeugs 100 sein, während andere Objekte 1 15 lediglich die Sicht reduzieren oder ablenkend wirken können. Irrelevante Objekte 1 15 können insbesondere meteorologischen Niederschlag wie Regen oder Schnee umfassen. Relevante Objekte 120 können beispielsweise ein anderes Kraftfahrzeug, eine Person, eine Bebauung, eine Straßenmarkierung, eine Vegetation, ein Verkehrsschild oder ein Hindernis umfassen. Um das Kraftfahrzeug 100 verbessert in Abhängigkeit eines Bildes des Außenbereichs 1 10 steuern zu können, wird vorgeschlagen, ein Bild des Außenbereichs 1 10 bereitzustellen, auf dem zumindest ein irrelevantes Objekt 1 15 nicht dargestellt ist. Relevante Objekte 120 sollen hingegen auf dem Bild möglichst unverändert dargestellt sein. Some objects 120 may be relevant to controlling the motor vehicle 100, while other objects 15 may only reduce visibility or be distracting. Irrelevant objects 15 can in particular include meteorological precipitation such as rain or snow. Relevant objects 120 may include, for example, another motor vehicle, a person, a building, a road marking, a vegetation, a road sign or an obstacle. In order to be able to control motor vehicle 100 in an improved manner as a function of an image of outdoor area 110, it is proposed to provide an image of outdoor area 110 on which at least one irrelevant object 15 is not shown. By contrast, relevant objects 120 should be displayed as unchanged as possible on the image.
Eine Unterscheidung zwischen einem relevanten Objekt 120 und einem irrelevanten Objekt 1 15 kann auf der Basis einer Bewegungsgeschwindigkeit des Objekts 1 1 5, 120 getroffen werden. Die Bewegungsgeschwindigkeit kann bezüglich der Umgebung 1 10 oder bezüglich des Kraftfahrzeugs 100 bestimmt werden. In einer Ausführungsform umfasst die Bewegungsgeschwindigkeit auch eine Bewegungsrichtung des Objekts 1 15, 120. Übersteigt die Bewegungsgeschwindigkeit einen vorbestimmten Schwellenwert, so kann von einem irrelevanten Objekt 1 1 5 ausgegangen werden, andernfalls kann es sich um ein relevantes Objekt 120 handeln. A distinction between a relevant object 120 and an irrelevant object 15 can be made on the basis of a moving speed of the object 1 1 5, 120. The movement speed can be determined with respect to the environment 110 or with respect to the motor vehicle 100. In one embodiment, the speed of movement also includes a movement direction of the object 1 15, 120. If the movement speed exceeds a predetermined threshold, it can be assumed that an irrelevant object 1 1 5, otherwise it may be a relevant object 120.
Die Vorrichtung 105 ist an Bord des Kraftfahrzeugs 100 angebracht und kann eine oder mehrere Komponenten umfassen, die bereits aus anderen Gründen oder zu anderen Zwecken am Kraftfahrzeug 100 eingesetzt werden. Die The device 105 is mounted on board the motor vehicle 100 and may include one or more components that are already being used for other reasons or for other purposes on the motor vehicle 100. The
Vorrichtung 105 umfasst bevorzugt eine Kamera 125 zur Abtastung des Umfelds 1 10, eine Verarbeitungseinrichtung 130, sowie eine Ausgabevorrichtung 135.Device 105 preferably comprises a camera 125 for scanning the surrounding area 110, a processing device 130, and an output device 135.
Optional kann auch ein Niederschlagssensor 140 vorgesehen sein. Die Kamera 125 arbeitet bevorzugt im sichtbaren optischen Spektrum und ist außerdem bevorzugt zumindest im Wesentlichen in Fahrtrichtung des Kraftfahrzeugs 100 ausgerichtet. Die Verarbeitungseinrichtung 130 umfasst bevorzugt einen programmierbaren Mikrocomputer oder MikroController und kann dazu Optionally, a precipitation sensor 140 may also be provided. The camera 125 preferably operates in the visible optical spectrum and is also preferably aligned at least substantially in the direction of travel of the motor vehicle 100. The processing device 130 preferably comprises and can be a programmable microcomputer or microcontroller
eingerichtet sein, ein hierin beschriebenes Verfahren ganz oder teilweise auszuführen. Das Verfahren kann hierfür in Form eines be configured to perform a method described herein in whole or in part. The process can take this in the form of a
Computerprogrammprodukts mit Programmcodemitteln vorliegen. Computer program product with program code means are present.
Die Ausgabevorrichtung 135 kann insbesondere einen Bildschirm umfassen, der Teil eines Kombiinstruments oder einer zentralen Anzeigevorrichtung des Kraftfahrzeugs sein kann. Die Ausgabevorrichtung 135 ist insbesondere zur Information eines Fahrers des Kraftfahrzeugs 100 eingerichtet. In einer weiter bevorzugten Ausführungsform umfasst die Ausgabevorrichtung 135 ein Head- Up-Display, das dazu eingerichtet ist, ein Bild in einen optischen The output device 135 may in particular comprise a screen, which may be part of a combination instrument or a central display device of the motor vehicle. The output device 135 is set up in particular for informing a driver of the motor vehicle 100. In a further preferred embodiment, the output device 135 comprises a head-up display, which is adapted to convert an image into an optical
Erfassungsbereich des Fahrers einzuspiegeln, wobei es ein optisch unmittelbar wahrnehmbares Bild des Umfelds 1 10 überlagern oder überdecken kann. In einer weiteren Ausführungsform wird das bereitgestellte Bild an eine weitere Mirroring the driver's detection area, where it can overlap or cover an optically immediately perceivable image of the environment. In a further embodiment, the provided image is sent to another
Verarbeitungseinrichtung bereitgestellt, die beispielsweise eine Processing device provided, for example, a
Fahrassistenzfunktion des Kraftfahrzeugs 100 realisieren kann. Driver assistance function of the motor vehicle 100 can realize.
Die Vorrichtung 105 kann insbesondere dazu eingerichtet sein, ein Bild bereitzustellen, auf dem Objekte 1 15 fehlen, die Teile eines meteorologischen Niederschlags sind, also beispielsweise Regen oder Schnee. Zur automatischen Aktivierung der Vorrichtung 105 kann das Signal des Niederschlagssensors 140 ausgewertet werden. Der Niederschlagssensor 140 kann beispielsweise optisch oder akustisch arbeiten und dazu eingerichtet sein, Niederschlag 1 15 zu detektieren, der an einer Scheibe des Kraftfahrzeugs 100, insbesondere einer Frontscheibe, angelagert oder abgelagert ist oder von der Scheibe abfließt. In particular, the device 105 may be configured to provide an image lacking objects 15 that are part of a meteorological precipitate, such as rain or snow. For automatic activation of the device 105, the signal of the precipitation sensor 140 can be evaluated. For example, the precipitation sensor 140 may be optical or operate acoustically and be adapted to detect precipitate 1 15, which is attached to a disc of the motor vehicle 100, in particular a windscreen, deposited or flows from the disc.
Figur 2 zeigt eine Veranschaulichung der Verarbeitung von Bildern im Umfeld 1 10 eines Kraftfahrzeugs 100. In vertikaler Richtung ist eine Zeit dargestellt, die von oben nach unten verläuft. Zu Zeitpunkten ti , t2, und ta wird jeweils ein Bild 205 aus dem Umfeld 1 10 des Kraftfahrzeugs 100 abgetastet, beispielsweise mittels der Kamera 125. Zwischen benachbarten Zeitpunkten t liegt jeweils ein Zeitabstand At, wobei die Zeitabstände At bevorzugt gleich groß sind. Die in Figur 2 dargestellten Bilder 205 sind mit angehängten Suffixes 1 - 3 referenziert, wobei der Suffix jeweils dem Index des Zeitpunkts t, der Erfassung entspricht. Jedem Bild 205 ist ein Bildbereich 210 zugeordnet, wobei die gleiche Nomenklatur mit Suffixes verwendet wird. Ein erster Bildbereich 201 .1 liegt im ersten Bild 205.1 und so weiter. Figure 2 shows an illustration of the processing of images in the environment 1 10 of a motor vehicle 100. In the vertical direction, a time is shown, which runs from top to bottom. At times ti, t2, and ta, an image 205 from the environment 110 of the motor vehicle 100 is scanned in each case, for example by means of the camera 125. Between adjacent times t there is in each case a time interval Δt, wherein the time intervals Δt are preferably the same. The images 205 shown in FIG. 2 are referenced with appended suffixes 1-3, the suffix corresponding in each case to the index of the time t, the detection. Each image 205 is assigned an image area 210 using the same nomenclature with suffixes. A first image area 201 .1 lies in the first image 205.1 and so on.
Das Objekt 1 15 ist zur leichteren Verständlichkeit als Quadrat mit dem The object 1 15 is for ease of understanding as a square with the
Buchstaben A dargestellt, wobei sich das Objekt 1 15 über die Bilder 205.1 bis 205.3 beispielhaft diagonal von links oben nach rechts unten bewegt. Im Bild 205.1 befindet sich das Objekt 1 15 im ersten Bildbereich 210.1 , im Bild 205.2 befindet es sich im zweiten Bildbereich 210.2 und im Bild 205.3 im dritten Letters A shown, with the object 1 15 moves over the images 205.1 to 205.3 example diagonally from top left to bottom right. In picture 205.1 the object 1 15 is in the first picture area 210.1, in picture 205.2 it is in the second picture area 210.2 and in picture 205.3 in the third one
Bildbereich 210.3. Bei gleicher Perspektive der Bilder 205 haben die Bildbereiche 210 in den zugeordneten Bildern 205 unterschiedliche Lagen. Image area 210.3. With the same perspective of the images 205, the image regions 210 in the associated images 205 have different layers.
Ein Bildbereich 210 umfasst bevorzugt einen möglichst kleinen Ausschnitt eines zugeordneten Bildes 205 und dabei möglichst vollständig ein vorbestimmtes Objekt 210, das auf dem Bild 205 abgebildet ist. Anders ausgedrückt kann ein Bildbereich 210 alle zusammenhängenden Bildelemente („pixel") eines Bildes 205 umfassen, die dem Objekt 1 15 zugeordnet sind. Der Bildbereich 210 hat bevorzugt rechteckige Form, kann aber auch anders geformt sein, beispielsweise rund, oval oder auch unregelmäßig. An image area 210 preferably comprises as small a section of an associated image 205 as possible and as completely as possible a predetermined object 210 which is imaged on the image 205. In other words, an image area 210 may comprise all contiguous pixels ("pixels") of an image 205 associated with the object 1. The image area 210 preferably has a rectangular shape but may also be shaped differently, for example round, oval or even irregular.
Eine Bewegungsgeschwindigkeit des Objekts 1 15 kann bestimmt werden, indem der Quotient aus Ortsdifferenz des Objekts 1 15 (oder des zugeordneten A movement speed of the object 1 15 can be determined by the quotient of the location difference of the object 15 (or the associated
Bildbereichs 210) in zwei Bildern 205 und des Zeitabstands (der Zeitdifferenz) der Erfassungen der Bilder 205 bestimmt wird. Für diese Bestimmung kann es erforderlich sein, die Entfernung und/oder Größe des Objekts 1 15 zu bestimmen. Außerdem kann eine Bewegung der Kamera 125 zwischen Image area 210) in two images 205 and the time interval (the time difference) the captures of the images 205 is determined. For this determination, it may be necessary to determine the distance and / or size of the object 15. In addition, a movement of the camera 125 between
Erfassungszeitpunkten der Bilder 205 zu berücksichtigen sein. Liegt die Acquisition times of the images 205 to be considered. Is that lying
Bewegungsgeschwindigkeit des Objekts 1 15 über einem vorbestimmten Movement speed of the object 1 15 over a predetermined
Schwellenwert, so kann ein Bild 215 bereitgestellt werden, welches das Objekt 1 15 nicht umfasst. Dazu kann in einem der Bilder 205 derjenige Bildbereich 210, auf dem das Objekt 1 15 zu sehen ist, durch einen korrespondierenden Threshold, so an image 215 may be provided which does not include object 15. For this purpose, in one of the images 205, the image region 210 on which the object 1 15 can be seen, by a corresponding
Bildbereich 210 eines anderen Bildes 205 ersetzt werden, dessen Image area 210 of another image 205 to be replaced, the
Erfassungszeitpunkt bevorzugt in einem geringen zeitlichen Abstand At zum Erfassungszeitpunkt des vorliegenden Bilds 205 liegt. Der korrespondierende Bildbereich 210 liegt bevorzugt im anderen Bild 205 an der gleichen Stelle wie der Bildbereich 210 im Bild 205. Gebogene Pfeile in Figur 2 zeigen mögliche Ersetzungen zwischen zeitlich benachbarten Bildern 205 an. Es ist zu beachten dass eine Ersetzung in beiden zeitlichen Richtungen erfolgen kann. In weiteren Ausführungsformen kann auch eine Ersetzung eines Bildbereichs 210 aus einem zeitlich weiter entfernten Bild 205 erfolgen oder mehrere Teile eines Bildbereichs 210 können aus jeweils korrespondierenden Teilen von Bildbereichen 210 mehrerer anderer Bilder 205 ersetzt werden. Hierbei können auch Bilder 205 aus unterschiedlichen zeitlichen Richtungen verwendet werden. Detection time is preferably in a small time interval At the detection time of the present image 205. The corresponding image region 210 preferably lies in the same position in the other image 205 as the image region 210 in the image 205. Curved arrows in FIG. 2 indicate possible replacements between temporally adjacent images 205. It should be noted that a replacement can be made in both temporal directions. In further embodiments, a replacement of an image region 210 from an image 205 further in time may also take place or a plurality of parts of an image region 210 may be replaced by corresponding parts of image regions 210 of a plurality of other images 205. In this case, images 205 from different temporal directions can also be used.
Ein verbessertes Bild 215, welches das Objekt 1 15 nicht enthält, kann im vorliegenden Beispiel dadurch erzeugt werden, dass der Bildbereich 210.2 des zweiten Bildes 205.2 durch den dazu korrespondierenden Bildbereich 210 des ersten Bildes 205.1 oder des dritten Bildes 205.3 ersetzt wird. Alternativ kann auch der Bildbereich 210.3 des dritten Bildes 205.3, der das Objekt 1 15 enthält, durch den korrespondierenden Bildbereich des zweiten Bildes 205.2 (oder den des ersten Bildes 205.1 ) ersetzt werden. In noch einer Variante kann auch der Bildbereich 210.1 des ersten Bildes 205.1 , der das Objekt 1 15 enthält, durch den korrespondierenden Bildbereich des zweiten Bildes 205.2 (oder den des dritten Bildes 205.3) ersetzt werden. An improved image 215, which does not contain the object 15, can be generated in the present example by replacing the image region 210.2 of the second image 205.2 with the corresponding image region 210 of the first image 205.1 or of the third image 205.3. Alternatively, the image area 210.3 of the third image 205.3, which contains the object 15, can also be replaced by the corresponding image area of the second image 205.2 (or that of the first image 205.1). In a further variant, the image area 210.1 of the first image 205.1, which contains the object 15, can also be replaced by the corresponding image area of the second image 205.2 (or that of the third image 205.3).
Bevorzugt dient als Ausgangsbasis für das verbesserte Bild 215 stets das zeitlich letzte, also neueste Bild 205, und der Bildbereich 210, auf dem das Objekt 1 15 zu sehen ist, wird aus einem oder mehreren möglichst zeitnah zuvor erfassten Bildern 205 eingesetzt. Diese Vorgehensweise kann sequentiell durchgeführt werden, wobei stets eine vorbestimmte Anzahl alter Bilder 205 bereitgehalten werden, um Bildbereiche 210 eines aktuellen Bilds 205 zu ersetzen. So kann eine Serie von Bildern 205 bereitgestellt werden, die eine Bildersequenz, einen Bilddatenstrom oder einen Videodatenstrom repräsentieren kann. The starting point for the improved image 215 is preferably always the latest image 205, ie the latest image 205, and the image region 210 on which the object 1 15 is to be seen is acquired from one or more as soon as possible Images 205 used. This procedure can be performed sequentially, always keeping a predetermined number of old images 205 ready to replace image regions 210 of a current image 205. Thus, a series of images 205 may be provided that may represent a sequence of images, an image stream, or a video stream.
Figur 3 zeigt ein Ablaufdiagramm eines Verfahrens 300 zum Bereitstellen eines verbesserten Bildes 215 eines Außenbereichs eines Kraftfahrzeugs 100 in einer Ausführungsform. Das Verfahren 300 kann ganz oder in Teilen auf der FIG. 3 shows a flowchart of a method 300 for providing an improved image 215 of an exterior of a motor vehicle 100 in one embodiment. The method 300 may be in whole or in part on the
Vorrichtung 105 an Bord des Kraftfahrzeugs 100 aus Figur 1 ausgeführt werden. Device 105 are carried out on board the motor vehicle 100 of Figure 1.
In einem Schritt 305 wird ein erstes Bild 205.1 erfasst und anschließend kann optional in einem Schritt 310 ein erster Bildbereich 210.1 bestimmt werden, der auf dem ersten Bild 205.1 das Objekt 1 15 enthält. Nach einem vorbestimmten Zeitabstand wird in einem Schritt 315 ein zweites Bild 205.2 erfasst und anschließend wird in einem Schritt 320 ein zweiter Bildbereich 210.2 bestimmt, der auf dem zweiten Bild 205.2 das Objekt 1 15 enthält. In a step 305, a first image 205.1 is detected, and then optionally in a step 310, a first image region 210.1 can be determined, which contains the object 1 15 on the first image 205.1. After a predetermined time interval, a second image 205.2 is detected in a step 315 and subsequently, in a step 320, a second image region 210.2 is determined which contains the object 1 15 on the second image 205.2.
Auf der Basis der Bildbereiche 210.1 und 210.2 kann in einem Schritt 330 eine Bewegungsgeschwindigkeit des Objekts 1 15 bestimmt werden. In einer On the basis of the image areas 210.1 and 210.2, a movement speed of the object 15 can be determined in a step 330. In a
Ausführungsform wird dazu eine Entfernung des Objekts 1 15 geschätzt oder gemessen. Dazu kann die Größe des Objekts 1 15 bestimmt werden,  Embodiment to a distance of the object 1 15 is estimated or measured. For this, the size of the object 1 15 can be determined
beispielsweise durch eine Objekterkennung. Die Bewegungsgeschwindigkeit kann bezüglich der Kamera 125 bestimmt werden. Die for example, by an object recognition. The movement speed can be determined with respect to the camera 125. The
Bewegungsgeschwindigkeit kann auch bezüglich der Umgebung 1 10 bestimmt werden. Dazu kann in einem Schritt 325 eine Bewegungsgeschwindigkeit derMovement speed can also be determined with respect to the environment 1 10. For this purpose, in a step 325, a movement speed of
Kamera 125 bestimmt werden. Bevorzugt werden beide Camera 125 can be determined. Both are preferred
Bewegungsgeschwindigkeiten zusammen mit Bewegungsrichtungen bestimmt. Movement speeds determined along with directions of movement.
Die Bewegung der Kamera 125 kann einer Bewegung des Kraftfahrzeugs 100 entsprechen, dessen Bewegung beispielsweise auf der Basis eines The movement of the camera 125 may correspond to a movement of the motor vehicle 100, the movement of which, for example, on the basis of a
Fahrzustands des Kraftfahrzeugs 100 bestimmt werden kann.  Driving state of the motor vehicle 100 can be determined.
In einem Schritt 335 kann die bestimmte Bewegungsgeschwindigkeit des Objekts 1 15 mit einem Schwellenwert verglichen werden. Der Schwellenwert kann als absolut oder beispielsweise in Abhängigkeit einer Bewegungsgeschwindigkeit des Kraftfahrzeugs 100 vorbestimmt sein. Außerdem kann der Schwellenwert von einer Bewegungsrichtung, einer Größe oder einer Entfernung des Objekts 1 15 abhängig sein. In a step 335, the determined movement speed of the object 15 can be compared with a threshold value. The threshold value may be predetermined as absolute or, for example, depending on a movement speed of the motor vehicle 100. In addition, the threshold be dependent on a direction of movement, a size or a distance of the object 1 15.
Bewegt sich das Objekt 1 15 langsamer als vorgegeben, kann das Verfahren 300 in einem Schritt 340 enden. Andernfalls kann in einem Schritt 345 ein Bild 215 bereitgestellt werden, auf dem das Objekt 1 15 fehlt. Mögliche Vorgehensweisen hierzu sind insbesondere mit Bezug auf Figur 2 hierin noch genauer beschrieben. Das bestimmte Bild 215 kann dann in einem Schritt 350 bereitgestellt werden. Das Bereitstellen kann mittels der Anzeigevorrichtung 135 an einen Fahrer des Kraftfahrzeugs 100 gerichtet sein, oder über eine hierzu eingerichtete If the object 1 15 moves slower than predetermined, the method 300 may end in a step 340. Otherwise, in a step 345, an image 215 may be provided on which the object 15 is missing. Possible procedures for this purpose are described in more detail in particular with reference to FIG. 2 herein. The particular image 215 may then be provided in a step 350. The providing may be directed by means of the display device 135 to a driver of the motor vehicle 100, or via a device arranged therefor
Schnittstelle an eine weitere Steuer-, Speicher- oder Verarbeitungseinrichtung. Interface to another control, storage or processing device.
Figur 4 zeigt eine Veranschaulichung eines aufgenommenen Bildes 205 und eines verbesserten Bildes 215. Eine Vielzahl Objekte 1 15 sind im ersten Bild 205 beispielhaft als Schneeflocken dargestellt. Dabei befinden sich die Objekte 1 15 bevorzugt im Umfeld 1 10 und haften nicht am Kraftfahrzeug 100 an, FIG. 4 shows an illustration of a captured image 205 and an improved image 215. A multiplicity of objects 15 are shown as snowflakes in the first image 205 by way of example. In this case, the objects 15 are preferably located in the surrounding area 10 and do not adhere to the motor vehicle 100,
beispielsweise an einer Scheibe oder einer Kameraabdeckung. Die Objekte 1 15 können ähnliche Größen, Entfernungen, Formen, Bewegungsgeschwindigkeiten oder Bewegungsrichtungen aufweisen. For example, on a disc or a camera cover. The objects 15 can have similar sizes, distances, shapes, movement speeds or directions of movement.
Im verbesserten Bild 215 sind die Objekte 1 15 bevorzugt vollständig aus dem aufgenommenen Bild 205 entfernt. Das verbesserte Bild 215 umfasst In the improved image 215, the objects 1 15 are preferably completely removed from the captured image 205. The enhanced image 215 includes
idealerweise nur noch Objekte 120, deren Bewegungsgeschwindigkeiten unter dem vorbestimmten Schwellenwert liegen. Die verbleibenden Bildelemente, insbesondere die Objekte 120, können relevant für das Steuern des ideally, only objects 120 whose movement speeds are below the predetermined threshold. The remaining picture elements, in particular the objects 120, may be relevant for controlling the
Kraftfahrzeugs 100 sein. Motor vehicle 100 be.
Bezugszeichen 100 Kraftfahrzeug Reference numeral 100 Motor vehicle
105 Vorrichtung  105 device
1 10 Außenbereich  1 10 outdoor area
1 15 Objekt  1 15 object
120 weiteres Objekt  120 other object
125 Kamera 125 camera
130 Verarbeitungseinrichtung  130 processing device
135 Ausgabevorrichtung  135 output device
140 Niederschlagssensor 205 Bild  140 precipitation sensor 205 Fig
205.1 erstes Bild  205.1 first picture
205.2 zweites Bild  205.2 second picture
205.3 drittes Bild  205.3 third picture
210 Bildbereich 210 image area
210.1 Bildbereich des ersten Bildes 210.1 Image area of the first image
210.2 Bildbereich des zweiten Bildes  210.2 Image area of the second image
210.3 Bildbereich des dritten Bildes  210.3 Image area of the third image
215 verbessertes Bild 300 Verfahren 215 improved image 300 method
305 Erfassen erstes Bild  305 Capture first image
310 Bestimmen ersten Bildbereich mit Objekt  310 Determine first image area with object
315 Erfassen zweites Bild  315 capture second image
320 Bestimmen zweiten Bildbereich mit Objekt  320 Determine second image area with object
325 Bestimmen Bewegungsgeschwindigkeit Kamera 325 Determining Movement Speed Camera
330 Bestimmen Bewegungsgeschwindigkeit Objekt  330 Determine Movement Speed Object
335 Bewegungsgeschwindigkeit des Objekts > Schwellenwert? 335 Movement speed of the object> Threshold?
340 Ende 340 end
345 Bestimmen drittes Bild  345 Determine third image
350 Bereitstellen drittes Bild 350 Provide third picture

Claims

Ansprüche  claims
Verfahren (300), mit folgenden Schritten: Method (300), comprising the following steps:
- Erfassen (305) eines ersten Bildes (205.1 ) und Erfassen (310) eines  - Detecting (305) a first image (205.1) and detecting (310) a
zweiten Bildes (205.2) mit einem vorbestimmten Zeitabstand (At) in einem vorbestimmten Umfeld (1 10),  second image (205.2) with a predetermined time interval (At) in a predetermined environment (1 10),
- wobei auf dem ersten Bild (205.1 ) ein Objekt (1 15) in einem ersten  - Wherein on the first image (205.1) an object (1 15) in a first
Bildbereich (210.1 ) und auf dem zweiten Bild (205.2) das Objekt (1 15) in einem zweiten Bildbereich (210.2) abgebildet ist;  Image area (210.1) and on the second image (205.2) the object (15) is imaged in a second image area (210.2);
- Bestimmen (330) einer Bewegungsgeschwindigkeit des Objekts (1 15) auf der Basis von Lagen der Bildbereiche (210) in den Bildern (205) und des Zeitabstands (At);  - determining (330) a moving speed of the object (15) based on locations of the image areas (210) in the images (205) and the time interval (At);
- Bestimmen (335), ob die Bewegungsgeschwindigkeit einen vorbestimmten Schwellenwert übersteigt, und wenn das der Fall ist,  Determining (335) if the speed of movement exceeds a predetermined threshold, and if so,
- Bestimmen (345) eines dritten Bildes (215) auf der Basis des ersten und des zweiten Bildes (205.1 , 205.2), wobei das Objekt (1 15) auf dem dritten Bild (215) fehlt; und  - determining (345) a third image (215) based on the first and second images (205.1, 205.2), wherein the object (1 15) is missing on the third image (215); and
- Bereitstellen (350) des dritten Bildes (215).  - providing (350) the third image (215).
Verfahren (300) nach Anspruch 1 , wobei das Bereitstellen des dritten Bildes (215) ein Ersetzen des Bildbereichs (210) des ersten Bilds (205.1 ) oder des zweiten Bilds (205.2) durch einen korrespondierenden Bildbereich (210) des jeweils anderen Bildes (205) umfasst. The method (300) of claim 1, wherein providing the third image (215) comprises replacing the image area (210) of the first image (205.1) or the second image (205.2) with a corresponding image area (210) of the other image (205 ).
Verfahren (300) nach Anspruch 1 oder 2, wobei die Bilder (205) mittels einer Kamera (125) aufgenommen werden, die durch das Umfeld (1 10) bewegt wird, und wobei der Schwellenwert auf der Basis einer The method (300) of claim 1 or 2, wherein the images (205) are captured by a camera (125) that is moved through the environment (110), and wherein the threshold value is based on a
Bewegungsgeschwindigkeit der Kamera (125) bestimmt wird. Movement speed of the camera (125) is determined.
Verfahren (300) nach Anspruch 3, wobei die Bewegungsgeschwindigkeit des Objekts (1 15) bezüglich des Umfelds (1 10) bestimmt wird, durch welche die Kamera (125) bewegt wird. Verfahren (300) nach einem der vorangehenden Ansprüche, wobei der Schwellenwert auf der Basis einer Bewegungsrichtung des Objekts (1 15) bestimmt wird. The method (300) of claim 3, wherein the speed of movement of the object (15) is determined with respect to the environment (110) by which the camera (125) is moved. The method (300) of any one of the preceding claims, wherein the threshold is determined based on a direction of movement of the object (15).
Verfahren (300) nach einem der vorangehenden Ansprüche, wobei das Objekt (1 15) Teil eines meteorologischen Niederschlags ist. A method (300) according to any one of the preceding claims, wherein the object (15) is part of a meteorological precipitate.
Verfahren (300) nach einem der vorangehenden Ansprüche, wobei im ersten und im zweiten Bild (205.1 , 205.2) eine Vielzahl Objekte (1 15) abgebildet sind und das dritte Bild (215) ohne die Objekte (1 15) bereitgestellt wird. Method (300) according to one of the preceding claims, wherein in the first and in the second image (205.1, 205.2) a plurality of objects (1 15) are shown and the third image (215) is provided without the objects (1 15).
Verfahren (300) nach einem der vorangehenden Ansprüche, wobei das erste und das zweite Bild (205.1 , 205.2) an Bord eines Kraftfahrzeugs (100) erfasst werden und das dritte Bild (215) einem Fahrer des Kraftfahrzeugs (100) bereitgestellt (350) wird. Method (300) according to one of the preceding claims, wherein the first and the second image (205.1, 205.2) are detected on board a motor vehicle (100) and the third image (215) is provided (350) to a driver of the motor vehicle (100) ,
Vorrichtung (105) an Bord eines Kraftfahrzeugs (100), wobei die Vorrichtung (105) folgendes umfasst: Device (105) on board a motor vehicle (100), the device (105) comprising:
- eine Kamera (125) zur Erfassung von Bildern eines Außenbereichs des Kraftfahrzeugs (100);  - A camera (125) for capturing images of an exterior of the motor vehicle (100);
- eine Verarbeitungseinrichtung (130), die dazu eingerichtet ist:  a processing device (130) which is set up to:
o auf der Basis eines ersten Bildes (205.1 ) und eines zweiten Bildes o based on a first image (205.1) and a second image
(205.2) eines vorbestimmten Umfelds (1 10), (205.2) a predetermined environment (1 10),
o wobei auf dem ersten Bild (205.1 ) ein Objekt (1 15) in einem ersten o wherein on the first image (205.1) an object (1 15) in a first
Bildbereich (210.1 ) und auf dem zweiten Bild (205.2) das ObjektImage area (210.1) and on the second image (205.2) the object
(1 1 5) in einem zweiten Bildbereich (210.2) abgebildet ist; o und einem vorbestimmten Zeitabstand (At), mit dem das erste und das zweite Bild (205.1 , 205.2) erfasst wurden, (1 1 5) is shown in a second image area (210.2); o and a predetermined time interval (At), with which the first and the second image (205.1, 205.2) were detected,
o eine Bewegungsgeschwindigkeit des Objekts (1 15) zu bestimmen; o zu bestimmen, ob die Bewegungsgeschwindigkeit einen  o to determine a speed of movement of the object (15); o to determine if the movement speed is one
vorbestimmten Schwellenwert übersteigt, und wenn das der Fall ist, o auf der Basis des ersten und des zweiten Bildes (205.1 , 205.2) ein drittes Bild (215) bereitzustellen, wobei das Objekt (1 15) auf dem dritten Bild (215) fehlt;  exceeds the predetermined threshold, and if so, providing a third image (215) based on the first and second images (205.1, 205.2), the object (15) on the third image (215) being absent;
- eine Ausgabevorrichtung (135) zur Bereitstellung des dritten Bildes (215). - An output device (135) for providing the third image (215).
10. Vorrichtung (105) nach Anspruch 9, wobei die Kamera Teil eines 10. Device (105) according to claim 9, wherein the camera is part of a
Umfeldbeobachtungssystems des Kraftfahrzeugs (100) ist.  Environment observation system of the motor vehicle (100).
1 1 . Vorrichtung (105) nach Anspruch 9 oder 10, wobei die Ausgabevorrichtung eines von einem Head-Up-Display, einem Kombiinstrument und einer zentralen Anzeigevorrichtung des Kraftfahrzeugs (100) umfasst. 1 1. The apparatus (105) of claim 9 or 10, wherein the output device comprises one of a head-up display, an instrument cluster and a central display device of the motor vehicle (100).
12. Vorrichtung (105) nach einem der Ansprüche 9 bis 1 1 , ferner umfassend einen Niederschlagssensor (140), wobei die Vorrichtung (105) dazu eingerichtet ist, die Bereitstellung des dritten Bildes (215) in Abhängigkeit eines Niederschlagssignals des Niederschlagssensors (140) durchzuführen. 12. Apparatus (105) according to any one of claims 9 to 11, further comprising a precipitation sensor (140), said apparatus (105) adapted to provide said third image (215) in response to a precipitation signal from said precipitation sensor (140). perform.
13. Kraftfahrzeug (100) mit einer Vorrichtung (105) nach einem der Ansprüche 9 bis 12. 13. Motor vehicle (100) with a device (105) according to one of claims 9 to 12.
PCT/EP2018/076161 2017-10-09 2018-09-26 Improved view of a motor vehicle environment WO2019072570A1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102017217872.8 2017-10-09
DE102017217872.8A DE102017217872A1 (en) 2017-10-09 2017-10-09 Improved view of a motor vehicle environment

Publications (1)

Publication Number Publication Date
WO2019072570A1 true WO2019072570A1 (en) 2019-04-18

Family

ID=63833970

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2018/076161 WO2019072570A1 (en) 2017-10-09 2018-09-26 Improved view of a motor vehicle environment

Country Status (2)

Country Link
DE (1) DE102017217872A1 (en)
WO (1) WO2019072570A1 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102019133719A1 (en) * 2019-12-10 2021-06-10 Bayerische Motoren Werke Aktiengesellschaft Correcting an Image

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7660517B2 (en) * 2005-03-16 2010-02-09 The Trustees Of Columbia University In The City Of New York Systems and methods for reducing rain effects in images
US9077869B2 (en) * 2010-11-15 2015-07-07 Indian Institute Of Technology, Kharagpur Method and apparatus for detection and removal of rain from videos using temporal and spatiotemporal properties

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
GARG K ET AL: "Detection and removal of rain from videos", PROCEEDINGS OF THE 2004 IEEE COMPUTER SOCIETY CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION 27 JUNE-2 JULY 2004 WASHINGTON, DC, USA, IEEE, PROCEEDINGS OF THE 2004 IEEE COMPUTER SOCIETY CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION IEE, vol. 1, 27 June 2004 (2004-06-27), pages 528 - 535, XP010708612, ISBN: 978-0-7695-2158-9, DOI: 10.1109/CVPR.2004.1315077 *
MATHEW ANNA ET AL: "An analytical approach on Haze and rain removal from videos", 2016 INTERNATIONAL CONFERENCE ON EMERGING TECHNOLOGICAL TRENDS (ICETT), IEEE, 21 October 2016 (2016-10-21), pages 1 - 4, XP033074743, DOI: 10.1109/ICETT.2016.7873757 *
SHAODI YOU ET AL: "Raindrop Detection and Removal from Long Range Trajectories", COMPUTER VISION -- ACCV 2014, 16 April 2015 (2015-04-16), Cham, pages 569 - 585, XP055530839, ISBN: 978-3-319-16808-1, Retrieved from the Internet <URL:https://link.springer.com/content/pdf/10.1007/978-3-319-16808-1_38.pdf> [retrieved on 20181206], DOI: 10.1007/978-3-319-16808-1_38 *

Also Published As

Publication number Publication date
DE102017217872A1 (en) 2019-04-11

Similar Documents

Publication Publication Date Title
EP1928687B1 (en) Method and driver assistance system for sensor-based driving off control of a motor vehicle
EP2427855B1 (en) Method for the presentation on the display portion of a display device of objects present in the neighborhood of a vehicle
EP3394708B1 (en) Method for operating a virtual reality system, and virtual reality system
DE102010030044A1 (en) Restoration device for weather-impaired images and driver assistance system hereby
DE102005056616B4 (en) Vehicle environment monitoring device
DE112014000591T5 (en) Attention-level detection device and attention-level detection method
EP2766877A1 (en) Method for representing the area surrounding a vehicle
DE112013001424T5 (en) Object detection device
DE102006009566A1 (en) Preventing motion sickness disturbances of motor vehicle passengers involves displaying contents of image information on visual display(s) without alteration for those passengers that have at least partly no free view of surroundings
DE102012001951A1 (en) A display device for a vehicle and method for operating a display device
WO2013083379A1 (en) Method and device for locating a predefined parking position
DE102007039377A1 (en) Method for automatic longitudinal guidance of a motor vehicle by means of a longitudinal driver assistance system with Stop &amp; Go function
DE102010042026B4 (en) Method for generating an image of at least one object in the surroundings of a vehicle
DE102009035422B4 (en) Method for geometrical image transformation
DE102004034532B4 (en) Method for identifying image information in the representation of a night vision image taken with a vehicle-side image recording device and associated night vision system
EP1327969A1 (en) Vehicle with means for recognising traffic road signs
DE102006037600B4 (en) Method for the resolution-dependent representation of the environment of a motor vehicle
EP2163429B1 (en) Method for image-supported monitoring of a vehicle environment, especially the environment of a goods vehicle
WO2019072570A1 (en) Improved view of a motor vehicle environment
WO2018149768A1 (en) Automated activation of a vision support system
DE102014116441A1 (en) Method for presenting safety information, driver assistance system and motor vehicle
DE102017221202B3 (en) Vehicle control system for autonomously driving motor vehicle
EP3833576B1 (en) Surveillance camera system
DE102009042476B4 (en) Determining conditions in the area surrounding a motor vehicle using a stereo camera
DE102007001738B4 (en) Method and computer program product for eye tracking

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18785530

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18785530

Country of ref document: EP

Kind code of ref document: A1