WO2014146864A1 - Verfahren und vorrichtung zum erstellen einer aufnahme eines gepulst aufleuchtenden objekts - Google Patents

Verfahren und vorrichtung zum erstellen einer aufnahme eines gepulst aufleuchtenden objekts Download PDF

Info

Publication number
WO2014146864A1
WO2014146864A1 PCT/EP2014/053501 EP2014053501W WO2014146864A1 WO 2014146864 A1 WO2014146864 A1 WO 2014146864A1 EP 2014053501 W EP2014053501 W EP 2014053501W WO 2014146864 A1 WO2014146864 A1 WO 2014146864A1
Authority
WO
WIPO (PCT)
Prior art keywords
images
image
pulsed
vehicle
determined
Prior art date
Application number
PCT/EP2014/053501
Other languages
English (en)
French (fr)
Inventor
Paul Ruhnau
Daniela Weiss
Dimitrios Bariamis
Frank Moesle
Original Assignee
Robert Bosch Gmbh
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch Gmbh filed Critical Robert Bosch Gmbh
Priority to CN201480017008.7A priority Critical patent/CN105247571A/zh
Priority to US14/778,902 priority patent/US20160042544A1/en
Publication of WO2014146864A1 publication Critical patent/WO2014146864A1/de

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/10—Image enhancement or restoration by non-spatial domain filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/582—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Definitions

  • the present invention relates to a method for producing a recording of a pulsed lighting object for a vehicle, to a corresponding device for taking a picture of a pulsed lighting object for a vehicle and to a corresponding one
  • pulsed light sources In traffic are pulsed light sources, in particular periodically pulsed light sources, such as variable message signs, taillights or turn signals of vehicles.
  • Driver assistance systems, forward-looking sensor systems or other imaging methods for a vehicle pick up the vehicle environment in order to reuse information obtained therefrom, whereby pulsed light sources present a particular challenge.
  • Pulsing objects are, for example, today's widespread LED luminaires whose brightness is controlled by means of pulse width modulation. In everyday life, this lighting technology is found for example with variable message signs and taillights of current vehicle types. Under certain circumstances, these objects may not be recognizable for a camera at all in only a few frames or in unfavorable constellations, especially even if parts of the object are pulsed differently. This case often occurs with variable message signs whose circle and individual digits or pictograms are governed by different phases.
  • the present invention provides a method for acquiring a recording of a pulsed lighting object for a vehicle, a device for acquiring a recording of a pulsed lighting object for a vehicle, which uses this method, and finally a corresponding computer program product according to FIGS.
  • Pulsed lighting objects can be reproduced correctly by overlaying a plurality of images. If the
  • Image recording device such as a camera, or the object to be recorded moves, can be generated by a transformation of at least one of the images taken a geometrically comparable and thus superimposable representation of the pulsed light-emitting object.
  • a method of making a recording of a pulsed lighting object for a vehicle includes the following steps:
  • the method for taking a picture of a pulsed lighting object may be carried out in a vehicle.
  • the vehicle may be a motor vehicle such as a passenger car, a commercial vehicle and / or a motorcycle.
  • the vehicle may include a driver assistance system.
  • the driver assistance system may be configured to inform a driver of the vehicle about an object or a plurality of objects, such as a traffic sign, a variable message sign, or a preceding car.
  • the object can be detected or identified.
  • the object can emit light.
  • the object may have a plurality of light sources.
  • the light sources can be controlled pulsed. In this case, different light sources of an object can be driven pulsed with a different phase.
  • the vehicle may have a camera or other imager.
  • the camera can be designed to take an image of the vehicle surroundings, in particular in the direction of travel in front of the vehicle.
  • An image may be understood to mean image information or an image of the vehicle surroundings.
  • An image can also be understood as an image section.
  • An object can be displayed on two consecutive pictures. The two images may have been taken at two consecutive recording times. From an object having a plurality of pulsed light sources, part of the pulsed light sources may be visible in an image. In an image taken at another recording time, another part of the pulsed light sources may be visible. In two images, all visible light sources of an object can be visible. An object can be between two
  • a photographing location of a first image of the two images may be spatially different from a photographing location of a second image of the two images.
  • a position of the object in the first image of the two images may differ from a position of the object in the second image of the two images.
  • An object may have a different position and / or a different geometric property, such as scaling or aggravation, compared to a second image in an image.
  • at least one image of the two images can be transformed. Under Transform, a warp,
  • a customized image can represent a frame of the image to be adjusted.
  • a camera or imager can capture a plurality of images at a frame rate.
  • An image can be called a frame.
  • a frame rate may be referred to as a frame rate.
  • a frame rate can describe a certain number of images per unit of time. The reciprocal of the frame rate is called frame period.
  • One frame period includes one
  • Exposure time for one frame and a time between two captured frames Exposure time for one frame and a time between two captured frames. To capture the frames or images, the sensor of the camera is exposed within each frame period. A pulsed lighting object is turned on and off with a certain pulse frequency and a (not necessarily constant) duty cycle. While a high
  • Pulsing frequency (for example, from 60Hz) ensures that the object of a
  • the successful capture of the object with a camera depends on the combination of frame rate, exposure time, pulsation frequency and duty cycle.
  • an image of the two images may be a synthetic image created from past images or a shot of a pulsed lighting object made in accordance with the aforementioned method of taking a photograph of a pulsed lighting object.
  • the synthetic image may have previously been created in the step of merging information from both matched images.
  • a photograph of a pulsed lighting object may be referred to as a synthetic image.
  • information can be extracted from multiple past frames or images, stored in a new synthetic image, and updated sequentially for each new frame.
  • the information stored in the synthetic image may be either the pixel intensities of the past frames, or any function thereof. In other words, a new image from the camera and the synthetic image can be read. Then a sham movement of the
  • the new image and / or the synthetic image may be transformed using the apparent motion to obtain two matched images in which the object is displayed in the same size.
  • the customized image from the camera and the fitted synthetic image can be stitched together, with the object merging superimposed congruent to create the recording of the pulsed lighting object.
  • the recording of the pulsed lighting object may include information from the past images, that is the synthetic image, as well as the current image from the camera.
  • the adjusted synthetic image can be updated and stored based on the adjusted image from the camera or the shot of the pulsed lighted object.
  • the synthetic image can be read in and processed by the camera together with a new image.
  • the apparent motion may be determined using information about a change in position of a photographing location of the two images.
  • two consecutive images can be taken from two different locations.
  • About information about the speed of the vehicle information about a change in position of the location can be determined.
  • a change in position of the location can be determined.
  • Position change of the recording location of the two images are determined.
  • An object displayed in a partial area of a first image of the two images may change its position relative to a second partial area of a second image of the two images upon a change of position of the photographing location. This can be for a viewer like a change of a position location of the object. This apparent movement of the object can be done using a
  • the object may be a traffic sign or a variable message traffic sign.
  • Traffic signs are usually mounted at the roadside at a predetermined height.
  • Variable message signs can be found on the roadside in one
  • a position of the object relative to the object type can be determined Vehicle to be predetermined. From a predetermined position of the object relative to the vehicle, a sham movement of the object can be determined.
  • the apparent motion may be determined using a predetermined position of the object.
  • a predetermined position of the object may be provided by a navigation device and simultaneously or alternatively by a database.
  • the database or the navigation device can be arranged in the vehicle. The presence of
  • Variable message signs, traffic signs or other objects to be recognized on a road segment can already be recorded in the digital maps of the navigation devices. It is probable that in the future this information will be able to take even more detailed reference to the exact position of the variable message signs, in particular their height above the roadway, or other characteristics such as the possible ones
  • Pulse frequencies can be provided.
  • a vehicle position can be determined by means of a sensor such as a satellite positioning device.
  • the vehicle position may be determined in response to satellite signals such as GPS or Galileo and / or in response to communication signals such as GSM, UMTS, LTE and / or WLAN.
  • the vehicle position can be determined in response to driving dynamics sensors.
  • a vehicle position can be understood as meaning information about a geographical location, a position and / or a direction of movement of the vehicle. If a predetermined position of the object is known, a
  • corresponding portion of the image can be used and or transformed.
  • the apparent motion determined using the predetermined position of the object may be used.
  • the apparent motion may be determined using object recognition in each of the two images, in particular to create the image of a moving pulsed lighting object.
  • vehicle rear lights can move over time.
  • the apparent movement can alternatively be determined by recognizing the object in each image.
  • plausible object candidates can be generated and the object candidates via the
  • the two adapted images can be combined using a local image operator and / or a pixel-wise image operator.
  • the image operator may prefer higher pixel intensities in one of the two images as compared to the other of the two images.
  • the image operator may be a maximum operator.
  • Position information of the object per image are determined.
  • at least one of the two images may be rendered using the
  • Position information is transformed to obtain two adapted images in which the object is displayed in a same position.
  • the object can be imaged at least in a subregion of the at least one further image.
  • the apparent movement of the object can be determined using the
  • Recording time of at least one other image are determined.
  • the at least one further image may be transformed using the apparent motion to obtain another adapted image.
  • the at least one further adapted image can be combined with the two adapted images.
  • the object can be superimposed congruent to create the recording of the pulsed light-emitting object.
  • Pulsation frequency of the light sources of the object allow an improved recording of the pulsed lighting object. It may be advantageous to combine at least three images into a recording of the pulsed lighting object. It may also be advantageous to combine four, five or more images into a recording of the pulsed lighting object.
  • An apparatus for displaying a pulsed lighting object for a vehicle is configured to perform the steps of a method of displaying a pulsed lighting object.
  • the device has the following features: an interface for reading in two images, the object being imaged at least in a respective subarea of the two images; a device for determining a sham movement of the object between two acquisition times of the two images; means for transforming at least one of the two images using the apparent motion to obtain two adjusted images in which the object is displayed in the same size; and means for merging the two adjusted images, wherein the object is superimposed upon merging to create the captured pulsed light object.
  • An apparatus for displaying a pulsed lighting object for a vehicle is configured to provide the steps of the method of displaying a pulsed lighting object for a vehicle in a corresponding manner
  • a device can be understood as meaning an electrical device which processes sensor signals and outputs control and / or data signals in dependence thereon.
  • the device may have an interface, which may be formed in hardware and / or software.
  • the interfaces can be part of a so-called ASIC, for example, which contains a wide variety of functions of the device.
  • the interfaces are their own integrated circuits or at least partially consist of discrete components.
  • the interfaces may be software modules that are present, for example, on a microcontroller in addition to other software modules.
  • An advantage is also a computer program product with program code, which on a machine-readable carrier such as a semiconductor memory, a Hard disk space or an optical memory can be stored and used to carry out the method according to one of the embodiments described above, when the program code is executed on a computer or a device.
  • a machine-readable carrier such as a semiconductor memory, a Hard disk space or an optical memory
  • the steps of the method defined in the program code can be implemented by devices of the computer or device.
  • FIG. 1 is a schematic representation of a vehicle with an apparatus for displaying a pulsed lighting object according to an embodiment of the present invention
  • FIG. 2 is a block diagram of an apparatus for displaying a pulsed lighting object according to an embodiment of the present invention
  • FIG. 3 is a flowchart of a method of displaying a pulsed lighting object according to an embodiment of the present invention.
  • FIG. 4 shows a schematic representation of the joining of two images to form a photograph of a pulsed lighting object according to an exemplary embodiment of the present invention.
  • FIG. 1 shows a schematic representation of a vehicle 100 with a device 110 for displaying a pulsed light-emitting object 120 according to an embodiment of the present invention.
  • the vehicle 100 has next to the device 1 10 for displaying a pulsed illuminating object 120, a camera 130 and a driver assistance system 140 on.
  • a viewing direction of the camera 130 points in the direction of travel of the vehicle 100.
  • the vehicle 100 is shown in a first position 150 and in a second position 150.
  • the camera 130 is connected to the device 1 10 for displaying a pulsed lighting object 120.
  • the device 110 is further connected to the driver assistance system 140.
  • the device 1 10 is integrated into the camera 130. In another not shown
  • the driver assistance system 140 is integrated into the camera 130. Alternatively, the driver assistance system 140 and the device
  • the camera 130 is designed to detect a first image 160 in the first position 150.
  • the camera is designed to detect a second image 165 in the second position 155.
  • the object 120 is imaged at least in each subarea of the two images 160, 165.
  • the device 110 has an interface for reading in the images 160, 165.
  • the vehicle 100 has navigation system which detects the position of
  • the navigation system is connected to the device 1 10 and provides the information about the position of variable message signs of the device 1 10 available.
  • the information about the position of variable message signs may include information about position relative to the road as well as the height above the roadway.
  • the device 1 10 for displaying a pulsed lighting object 120 is described in more detail.
  • FIG. 2 shows a block diagram of a device 1 10 for displaying a pulsed lighting object 120 for a vehicle 100 in accordance with one
  • the device 110 may be arranged in a vehicle 100 according to the description of FIG. 1.
  • the reference numerals are used for the vehicle 100 as well as for the object 120 according to the previous figure, although these two elements are not shown in FIG.
  • the device 110 includes an interface 210 for reading in images 160, 165, a device 220 for determining a apparent movement 225 of an object 120 between two acquisition times of the two images 160, 165, a device 230 for
  • the device 1 10 comprises a device 260
  • the synthetic image 255 can correspond to the image 250 of the pulsed light-emitting object 120.
  • the synthetic image 255 is generated by the means 240 for combining the two matched images.
  • Images 160, 165, 265 are designed to read in a synthetic image 265, which was stored in a previous execution of the device 110.
  • the subsequent devices 220, 230, 240 may process the synthetic image 265 instead of the image 165.
  • the synthetic image 265 corresponds to the synthetic image 255 stored in a previous execution of the device 110.
  • FIG. 3 shows a flow diagram of a method 300 for displaying a pulsed lighting object according to an embodiment of the present invention.
  • the method 300 may be implemented on a device 1 10 for
  • the method comprises a step 310 for reading in images, a step 320 for determining an apparent movement of an object represented in the images, a step 330 of transforming at least one of the read images using the determined apparent movement and a step 340 of assembling the step 330 customized images to create a recording of the pulsed lighting object.
  • a step 310 for reading in images a step 320 for determining an apparent movement of an object represented in the images
  • a step 330 of transforming at least one of the read images using the determined apparent movement and a step 340 of assembling the step 330 customized images to create a recording of the pulsed lighting object.
  • step 320 a first image, the object to be displayed is mapped at least in each subarea of the at least two images.
  • the two pictures were taken at two different recording times.
  • Apparent motion of the object displayed in at least a portion of the images is determined to be at least one of the images read in step 310 using the apparent movement in step 330 of transforming transform.
  • step 330 adapted images are produced, in which the object represented at least in a partial area is displayed in the same size and / or at the same position.
  • the matched images generated in step 330 are merged, at least in a subset of the matched ones
  • step 340 of the assembly a shot of the pulsed lighting object is made.
  • the described method may include a determination in step 320
  • the apparent movement of a stationary object can be predicated on the vehicle's own motion and the world position of the object. Under certain conditions or assumptions, the knowledge of sub-components of the world position is sufficient here, eg. B. the height above ground or the
  • Information may optionally be extracted from the image, may be assumed to be constant for certain categories of objects, and / or may be pre-stored. The distance of the object from
  • Vehicle can be extracted from the image or measured directly with another sensor, such as a stereo camera, a time-of-flight camera, a radar system or a comparable sensor.
  • another sensor such as a stereo camera, a time-of-flight camera, a radar system or a comparable sensor.
  • transforming may involve distortion of the entire frames or image areas where the object to be detected is located so that the object is either in the same position in each image or at easily calculable distances.
  • the distortion is made by a
  • this transformation is homography.
  • the transformation can be either completely calculated or alternatively partially (reduction of the computational effort) or completely or alternatively partially solved by an optical, mechanical or MEMS system in the beam path in front of the camera sensor.
  • the distorted frames that is, the transformed images are merged by means of a local or pixel-wise image operator.
  • This operator should prefer higher pixel intensities.
  • a maximum operator is used in the merge.
  • optical and / or mechanical conversion it may be implemented by accumulation / storage of the radiation (e.g., by means of a phosphor layer or the like).
  • FIG. 4 shows a schematic representation of the joining of two images 160, 165 to a photograph 250 of a pulsed lighting object according to an exemplary embodiment of the present invention.
  • the first image 160 may be a first image 160 taken at the first position 150 in FIG.
  • the second image 165 may be the second image 165 recorded at the second position 155 in FIG. 1.
  • the receptacle 250 shown in FIG. 4 may be the receptacle 250 described in FIG. 2.
  • the first image 160 shows a schematic representation of a road with a variable message sign. Due to the recording method and the pulsed light sources of the variable traffic sign, the image 420 of the
  • the second image 165 shows a schematic representation of a road with an image 425 of the variable traffic sign.
  • the variable traffic sign 120 and the road may be the variable traffic sign 120 shown in the first image 160, with the second image 165 taken at a second recording time. This is the second Recording time of the image 165 in time after a first recording time of the first image 160th Die Marsh 425 des
  • Variable traffic signs in the second image 165 have an unrecognized strip, similar to the image 420 of the variable traffic sign in the first image 160.
  • the unrecognized strip in the first image 160 and the unrecognized strip in the second image 165 relate to different subregions of the variable traffic sign.
  • the step of determining a apparent movement is not shown. The apparent movement may be determined from the first image 160 and the second image 165. From the first image 160, a customized image 235 becomes
  • the adjusted image 235 corrects distortion between the first image 160 and the second image 165, so that the object, in the embodiment, the
  • the recording 250 gives the detected
  • Variable message sign completely again and thus allows detection of the variable traffic sign.
  • the information from a plurality of temporally sequential images captured by the camera is used to create a new virtual, adjusted image (frame) in which pulsed light emitting objects are displayed as being constant, i. H. roughly comparable to human perception.
  • the new virtual image may be referred to as a synthetic image or as a capture of the pulsed lighted object.
  • the synthetic image may be stored in one embodiment.
  • Fig. 4 are three phases of the running in Fig. 3 method for
  • a recording of a pulsed lighting object for a vehicle shown.
  • Vertical lines separate the three phases from each other.
  • a first phase which can be assigned to step 320 of the determination in FIG. 3, a determination or prediction of the movement of an object in a sequence of images (frames) takes place.
  • the sequence consists of two images.
  • the third 3 there is a distortion of the images, or at least certain areas thereof, so that the object in each image as possible the same position and geometric
  • a third phase which can be assigned to the step 340 of assembling in FIG. 3, a congruent superposition of the distorted images (frames) or image areas into a new virtual or adapted image takes place, the object appearing to be constantly lit up.
  • One aspect of the invention is to detect pulsed illuminated objects without changing the exposure time and frame rate of the camera. This is particularly advantageous if the acquisition parameters can not be changed,

Abstract

Die Erfindung betrifft ein Verfahren zum Erstellen einer Aufnahme eines gepulst aufleuchtenden Objekts (120) für ein Fahrzeug (100). Das Verfahren umfasst einen Schritt des Einlesens (310) von zwei Bildern (160, 165), wobei das Objekt (120) zumindest in je einem Teilbereich der zwei Bilder (160, 165) abgebildet ist, einen Schritt des Bestimmens einer Schein bewegung des Objekts (120) zwischen zwei Aufnahmezeitpunkten der zwei Bilder (160, 165), einen Schritt des Transformierens zumindest eines der zwei Bilder (160, 165) unter Verwendung der Scheinbewegung, um zwei angepasste Bilder zu erhalten, in denen das Objekt (120) in gleicher Größe dargestellt wird sowie einen Schritt des Zusammenfügens der zwei angepassten Bilder, wobei das Objekt (120) beim Zusammenfügen deckungsgleich überlagert wird, um die Aufnahme des gepulst aufleuchtenden Objekts (120) zu erstellen.

Description

Beschreibung Titel
Verfahren und Vorrichtung zum Erstellen einer Aufnahme eines gepulst aufleuchtenden Objekts
Stand der Technik
Die vorliegende Erfindung bezieht sich auf ein Verfahren zum Erstellen einer Aufnahme eines gepulst aufleuchtenden Objekts für ein Fahrzeug, auf eine entsprechende Vorrichtung zum Erstellen einer Aufnahme eines gepulst aufleuchtenden Objekts für ein Fahrzeug sowie auf ein entsprechendes
Computerprogrammprodukt.
Im Straßenverkehr finden sich gepulste Lichtquellen, insbesondere periodisch gepulste Lichtquellen, beispielsweise als Wechselverkehrszeichen, Rücklichter oder Blinker von Fahrzeugen. Fahrerassistenzsysteme, vorausschauende Sensorik oder andere bildgebende Verfahren für ein Fahrzeug nehmen das Fahrzeugumfeld auf, um daraus gewonnene Informationen weiterzuverwerten, dabei stellen gepulste Lichtquellen eine besondere Herausforderung dar.
Pulsende Objekte sind beispielsweise die heute weitverbreiteten LED-Leuchten, deren Helligkeit mittels Pulsweitenmodulation geregelt wird. Im täglichen Leben findet sich diese Leuchtentechnik beispielsweise bei Wechselverkehrszeichen und Rückleuchten von aktuellen Fahrzeugtypen. Für eine Kamera sind diese Objekte unter Umständen nur in einigen wenigen Frames oder in ungünstigen Konstellationen gegebenenfalls überhaupt nicht erkennbar, insbesondere auch dann, wenn Teile des Objektes unterschiedlich gepulst werden. Dieser Fall kommt bei Wechselverkehrszeichen, deren Kreis und einzelne Ziffern oder Piktogramme mit unterschiedlichen Phasen geregelt werden, oft vor.
Offenbarung der Erfindung Vor diesem Hintergrund wird mit der vorliegenden Erfindung ein Verfahren zum Erstellen einer Aufnahme eines gepulst aufleuchtenden Objekts für ein Fahrzeug, weiterhin eine Vorrichtung zum Erstellen einer Aufnahme eines gepulst aufleuchtenden Objekts für ein Fahrzeug, die dieses Verfahren verwendet sowie schließlich ein entsprechendes Computerprogrammprodukt gemäß den
Hauptansprüchen vorgestellt. Vorteilhafte Ausgestaltungen ergeben sich aus den jeweiligen Unteransprüchen und der nachfolgenden Beschreibung.
Gepulst aufleuchtende Objekte können durch Überlagerung einer Mehrzahl von Bildaufnahmen korrekt wiedergegeben werden. Wenn die
Bildaufnahmeeinrichtung, beispielsweise eine Kamera, oder das aufzunehmende Objekt sich bewegt, kann durch eine Transformation von zumindest einem der aufgenommenen Bilder eine geometrisch vergleichbare und damit überlagerbare Darstellung des gepulst aufleuchtenden Objekts erzeugt werden.
Ein Verfahren zum Erstellen einer Aufnahme eines gepulst aufleuchtenden Objekts für ein Fahrzeug umfasst die folgenden Schritte:
Einlesen von zwei Bildern, wobei das Objekt zumindest in je einem Teilbereich der zwei Bilder abgebildet ist;
Bestimmen einer Scheinbewegung des Objekts zwischen zwei
Aufnahmezeitpunkten der zwei Bilder;
Transformieren zumindest eines der zwei Bilder unter Verwendung der
Scheinbewegung, um zwei angepasste Bilder zu erhalten, in denen das Objekt in gleicher Größe dargestellt wird; und
Zusammenfügen der zwei angepassten Bilder, wobei das Objekt beim
Zusammenfügen deckungsgleich überlagert wird, um die Aufnahme des gepulst aufleuchtenden Objekts zu erstellen.
Das Verfahren zum Erstellen einer Aufnahme eines gepulst aufleuchtendenden Objekts kann in einem Fahrzeug ausgeführt werden. Bei dem Fahrzeug kann es sich um ein Kraftfahrzeug wie einen Personenkraftwagen, ein Nutzfahrzeug und/oder ein Kraftrad handeln. Das Fahrzeug kann ein Fahrerassistenzsystem aufweisen. Das Fahrerassistenzsystem kann ausgebildet sein, einen Fahrer des Fahrzeugs über ein Objekt oder eine Mehrzahl von Objekten wie beispielsweise ein Verkehrszeichen, ein Wechselverkehrszeichen oder ein vorausfahrendes Auto, zu informieren. Dabei kann das Objekt erkannt beziehungsweise identifiziert werden. Das Objekt kann Licht emittieren. Das Objekt kann eine Vielzahl von Lichtquellen aufweisen. Die Lichtquellen können gepulst angesteuert werden. Dabei können unterschiedliche Lichtquellen eines Objekts mit einer unterschiedlichen Phase gepulst angesteuert werden. Das Fahrzeug kann eine Kamera oder einen sonstigen Bildgeber aufweisen. Die Kamera kann ausgebildet sein, ein Bild des Fahrzeugumfelds, insbesondere in Fahrtrichtung vor dem Fahrzeug, aufzunehmen. Unter einem Bild kann eine Bildinformation oder ein Abbild des Fahrzeugumfelds verstanden werden. Unter einem Bild kann auch ein Bildausschnitt verstanden werden. Ein Objekt kann auf zwei aufeinanderfolgenden Bildern abgebildet sein. Die zwei Bilder können zu zwei aufeinanderfolgenden Aufnahmezeitpunkten aufgenommen worden sein. Von einem Objekt mit einer Vielzahl von gepulsten Lichtquellen kann in einem Bild ein Teil der gepulsten Lichtquellen sichtbar sein. In einem zu einem anderen Aufnahmezeitpunkt aufgenommenen Bild kann ein anderer Teil der gepulsten Lichtquellen sichtbar sein. In zwei Bildern können alle sichtbaren Lichtquellen eines Objekts sichtbar sein. Ein Objekt kann sich zwischen zwei
Aufnahmezeitpunkten bewegen. Ein Aufnahmeort eines ersten Bildes der zwei Bilder kann sich räumlich von einem Aufnahmeort eines zweiten Bildes der zwei Bilder unterscheiden. Bei einem sich ändernden Aufnahmeort zwischen der Aufnahme der zwei Bilder kann sich eine Position des Objekts in dem ersten Bild der zwei Bilder von einer Position des Objekts in dem zweiten Bild der zwei Bilder unterscheiden. Ein Objekt kann in einem Bild eine unterschiedliche Position und oder eine unterschiedliche geometrische Eigenschaft wie beispielsweise eine Skalierung oder Erschwerung im Vergleich zu einem zweiten Bild aufweisen. Um ein Objekt, das in je einem Teilbereich der zwei Bilder dargestellt ist, deckungsgleich zu überlagern, kann zumindest ein Bild der zwei Bilder transformiert werden. Unter Transformieren kann ein Verzerren,
Verschieben, Skalieren, Scheren oder eine ähnliche Veränderung zumindest einer geometrischen Eigenschaft eines Bildes verstanden werden. Ein angepasstes Bild kann einen Bildausschnitt des anzupassenden Bildes darstellen. Eine Kamera oder ein Bildgeber kann eine Mehrzahl von Bildern mit einer Bildrate aufnehmen. Ein Bild kann als ein Frame bezeichnet werden. Folglich kann eine Bildrate als eine Framerate bezeichnet werden. Eine Framerate kann eine bestimmte Anzahl von Bildern pro Zeiteinheit beschreiben. Die Reziproke der Framerate heißt Frameperiode. Eine Frameperiode umfasst eine
Belichtungszeit für ein Frame und eine Zeit zwischen zwei aufgenommenen Frames. Um die Frames oder Bilder aufzunehmen, wird der Sensor der Kamera innerhalb jeder Frameperiode belichtet. Ein gepulst aufleuchtendes Objekt wird mit einer gewissen Pulsungsfrequenz und einem (nicht notwendigerweise konstanten) Tastverhältnis ein- und ausgeschaltet. Während eine hohe
Pulsungsfrequenz (z.B. ab 60Hz) sicherstellt, dass das Objekt von einem
Betrachter als problemlos oder dauerhaft leuchtend wahrgenommen wird, hängt die erfolgreiche Erfassung des Objektes mit einer Kamera von der Kombination von Framerate, Belichtungszeit, Pulsungsfrequenz und Tastverhältnis ab.
Ferner kann im Schritt des Einlesens ein Bild der zwei Bilder ein synthetisches Bild sein, das anhand vergangener Bilder erstellt wurde oder eine Aufnahme eines gepulst aufleuchtenden Objekts sein, die gemäß dem genannten Verfahren zum Erstellen einer Aufnahme eines gepulst aufleuchtenden Objekts erstellt wurde. Das synthetische Bild kann zuvor im Schritt des Zusammenfügens aus Information von beiden angepassten Bildern erstellt worden sein. So kann eine Aufnahme eines gepulst aufleuchtenden Objekts als ein synthetisches Bild bezeichnet werden. So kann Information von mehreren vergangenen Frames beziehungsweise Bildern extrahiert werden, in ein neues synthetisches Bild gespeichert und fortlaufend für jedes neue Bild beziehungsweise Frame aktualisiert werden. Die im synthetischen Bild gespeicherte Information kann entweder die Pixelintensitäten der vergangenen Frames sein, oder eine beliebige Funktion davon. Mit anderen Worten können ein neues Bild von der Kamera und das synthetische Bild eingelesen werden. Dann kann eine Scheinbewegung des
Objekts zwischen dem neuen Bild und dem synthetischen Bild bestimmt werden. Schließlich kann das neue Bild und/oder das synthetische Bild unter Verwendung der Scheinbewegung transformiert werden, um zwei angepasste Bilder zu erhalten, in denen das Objekt in gleicher Größe dargestellt wird. Dann können das angepasste Bild von der Kamera und das angepasste synthetische Bild zusammengefügt werden, wobei das Objekt beim Zusammenfügen deckungsgleich überlagert wird, um die Aufnahme des gepulst aufleuchtenden Objekts zu erstellen. Die Aufnahme des gepulst aufleuchtenden Objekts kann sowohl Information von den vergangenen Bildern, das heißt vom synthetischen Bild, als auch vom aktuellen Bild von der Kamera enthalten. Das angepasste synthetische Bild kann anhand des angepassten Bildes von der Kamera oder anhand der erstellten Aufnahme des gepulst aufleuchtenden Objekts aktualisiert und abgespeichert werden. Bei einem erneuten Ausführen des vorgestellten Verfahrens kann das synthetische Bild zusammen mit einem neuen Bild von der Kamera eingelesen und verarbeitet werden.
Ferner kann die Scheinbewegung unter Verwendung einer Information über eine Positionsänderung eines Aufnahmeortes der zwei Bilder bestimmt werden. Wenn das Verfahren zum Erstellen einer Aufnahme eines gepulst aufleuchtenden Objekts in einem sich bewegenden Fahrzeug ausgeführt wird, können zwei aufeinanderfolgende Bilder von zwei unterschiedlichen Orten aus aufgenommen werden. Über eine Information über die Geschwindigkeit des Fahrzeugs kann eine Information über eine Positionsänderung des Aufnahmeorts ermittelt werden. Unter Verwendung einer Information über die Länge des Zeitintervalls und der Information über die Geschwindigkeit des Fahrzeugs kann eine
Positionsänderung des Aufnahmeortes der zwei Bilder bestimmt werden. Ein in einem Teilbereich eines ersten Bildes der zwei Bilder dargestellten Objektes kann seine Position relativ in einem zweiten Teilbereich eines zweiten Bildes der zwei Bilder bei einer Positionsänderung des Aufnahmeortes ändern. Dies kann sich für einen Betrachter wie eine Änderung eines Positionsortes des Objektes darstellen. Diese Scheinbewegung des Objektes kann unter Verwendung einer
Information über die Positionsänderung des Aufnahmeortes der zwei Bilder bestimmt werden.
Günstig ist es auch, wenn die Scheinbewegung unter Verwendung einer Objektart des Objekts bestimmt wird. Wie bereits beschrieben, kann es sich bei dem Objekt um ein Verkehrszeichen oder ein Wechselverkehrszeichen handeln. Verkehrszeichen sind in der Regel am Straßenrand in einer vorbestimmten Höhe montiert. Wechselverkehrszeichen können am Straßenrand in einer
vorbestimmten Höhe oder an einer Schilderbrücke oberhalb einer Straße montiert sein. So kann über die Objektart eine Position des Objekts relativ zum Fahrzeug vorbestimmt werden. Aus einer vorbestimmten Position des Objekts relativ zum Fahrzeug kann eine Scheinbewegung des Objekts bestimmt werden.
Die Scheinbewegung kann unter Verwendung einer vorbestimmten Position des Objekts bestimmt werden. Eine vorbestimmte Position des Objekts kann von einer Navigationseinrichtung und gleichzeitig oder alternativ von einer Datenbank bereitgestellt werden. Die Datenbank oder die Navigationseinrichtung kann in dem Fahrzeug angeordnet sein. Das Vorhandensein von
Wechselverkehrszeichen, Verkehrszeichen oder anderen zu erkennenden Objekten auf einem Straßensegment kann bereits jetzt in den digitalen Karten der Navigationsgeräte verzeichnet sein. Es ist wahrscheinlich, dass diese Information in Zukunft noch detaillierter Bezug auf die genaue Position der Wechselverkehrszeichen, insbesondere auch auf ihre Höhe über der Fahrbahn nehmen kann, oder weitere Eigenschaften, wie die möglichen
Pulsungsfrequenzen, bereitgestellt werden können. Um die vorbestimmte
Position des Objektes nutzen zu können, kann eine Fahrzeugposition mittels einer Sensorik wie beispielsweise einem Satellitenortungsgerät ermittelt werden. Die Fahrzeugposition kann ansprechend auf Satellitensignale wie GPS oder Galileo und/oder ansprechend auf Kommunikationssignale wie beispielsweise GSM, UMTS, LTE und/oder WLAN bestimmt werden. Die Fahrzeugposition kann ansprechend auf Fahrdynamiksensoren bestimmt werden. Dabei kann unter einer Fahrzeugposition eine Information über einen geografischen Standort, eine Position und/oder eine Bewegungsrichtung des Fahrzeugs verstanden werden. Wenn eine vorbestimmte Position des Objekts bekannt ist, kann ein
entsprechender Teilbereich des Bildes genutzt und oder transformiert werden.
Für das Transformieren kann die Scheinbewegung, die unter Verwendung der vorbestimmten Position des Objekts bestimmt wurde, verwendet werden.
Ferner kann die Scheinbewegung unter Verwendung einer Objekterkennung in jedem der zwei Bilder bestimmt werden, insbesondere um die Aufnahme eines sich bewegenden gepulst aufleuchtenden Objekts zu erstellen. Insbesondere Fahrzeugrückleuchten können sich über die Zeit bewegen. Bei Einsatz eines hinreichend leistungsfähigen Detektors kann die Scheinbewegung alternativ durch erkennen des Objektes in jedem Bild bestimmt werden. Alternativ können plausible Objektkandidaten generiert werden und die Objektkandidaten über die
Zeit verfolgt werden, um die Scheinbewegung zu bestimmen. Dabei können die zwei angepassten Bilder unter Verwendung eines lokalen Bildoperators und/oder eines pixelweisen Bildoperators zusammengefügt werden. Der Bildoperator kann höhere Pixelintensitäten in einem der zwei Bilder im Vergleich zum anderen der zwei Bilder bevorzugen. Beispielsweise kann es sich bei dem Bildoperator um einen Maximums-Operator handeln.
In einer Ausführungsform kann im Schritt des Bestimmens eine
Positionsinformation des Objekts je Bild bestimmt werden. Im Schritt des Transformierens kann zumindest eines der zwei Bilder unter Verwendung der
Positionsinformation transformiert werden, um zwei angepasste Bilder zu erhalten, in denen das Objekt an einer gleichen Position dargestellt wird.
Günstig ist es auch, wenn im Schritt des Einlesens zumindest ein weiteres Bild eingelesen wird. Dabei kann das Objekt zumindest in einem Teilbereich des zumindest einen weiteren Bildes abgebildet sein. Um Schritt des Bestimmens kann die Scheinbewegung des Objekts unter Verwendung des
Aufnahmezeitpunkts des zumindest einen weiteren Bildes bestimmt werden. So kann im Schritt des Transformierens das zumindest eine weitere Bild unter Verwendung der Scheinbewegung transformiert werden, um ein weiteres angepasstes Bild zu erhalten. Dabei kann im Schritt des Zusammenfügens das zumindest eine weitere angepasste Bild mit den zwei angepassten Bildern zusammengefügt werden. Dabei kann das Objekt deckungsgleich überlagert werden, um die Aufnahme des gepulst aufleuchtenden Objekts zu erstellen. Bei einem ungünstigen Verhältnis der Bildrate, der Belichtungszeit und der
Pulsungsfrequenz der Lichtquellen des Objekts kann eine Vielzahl von Bildern eine verbesserte Aufnahme des gepulst aufleuchtenden Objekts erlauben. Es kann von Vorteil sein, zumindest drei Bilder zu einer Aufnahme des gepulst aufleuchtenden Objekts zusammenzufügen. Auch kann es vorteilhaft sein vier, fünf oder mehr Bilder zu einer Aufnahme des gepulst aufleuchtenden Objekts zusammenzufügen.
Eine Vorrichtung zum Darstellen eines gepulst aufleuchtenden Objekts für ein Fahrzeug ist ausgebildet, die Schritte eines Verfahrens zum Darstellen eines gepulst aufleuchtenden Objekts durchzuführen. Die Vorrichtung weist die folgenden Merkmale auf: eine Schnittstelle zum Einlesen von zwei Bildern, wobei das Objekt zumindest in je einem Teilbereich der zwei Bilder abgebildet ist; eine Einrichtung zum Bestimmen einer Scheinbewegung des Objekts zwischen zwei Aufnahmezeitpunkten der zwei Bilder; eine Einrichtung zum Transformieren zumindest eines der zwei Bilder unter Verwendung der Scheinbewegung, um zwei angepasste Bilder zu erhalten, in denen das Objekt in gleicher Größe dargestellt wird; und eine Einrichtung zum Zusammenfügen der zwei angepassten Bilder, wobei das Objekt beim Zusammenfügen deckungsgleich überlagert wird, um die Aufnahme des gepulst aufleuchtenden Objekts zu erstellen.
Eine Vorrichtung zum Darstellen eines gepulst aufleuchtenden Objekts für ein Fahrzeug ist ausgebildet, um die Schritte des Verfahrens zum Darstellen eines gepulst aufleuchtenden Objekts für ein Fahrzeug in entsprechenden
Einrichtungen durchzuführen bzw. umzusetzen. Auch durch diese
Ausführungsvariante der Erfindung in Form einer Vorrichtung kann die der
Erfindung zugrunde liegende Aufgabe schnell und effizient gelöst werden.
Unter einer Vorrichtung kann vorliegend ein elektrisches Gerät verstanden werden, das Sensorsignale verarbeitet und in Abhängigkeit davon Steuer- und/oder Datensignale ausgibt. Die Vorrichtung kann eine Schnittstelle aufweisen, die hard- und/oder softwaremäßig ausgebildet sein kann. Bei einer hardwaremäßigen Ausbildung können die Schnittstellen beispielsweise Teil eines sogenannten ASICs sein, der verschiedenste Funktionen der Vorrichtung beinhaltet. Es ist jedoch auch möglich, dass die Schnittstellen eigene, integrierte Schaltkreise sind oder zumindest teilweise aus diskreten Bauelementen bestehen. Bei einer softwaremäßigen Ausbildung können die Schnittstellen Softwaremodule sein, die beispielsweise auf einem MikroController neben anderen Softwaremodulen vorhanden sind. Von Vorteil ist auch ein Computerprogrammprodukt mit Programmcode, der auf einem maschinenlesbaren Träger wie einem Halbleiterspeicher, einem Festplattenspeicher oder einem optischen Speicher gespeichert sein kann und zur Durchführung des Verfahrens nach einer der vorstehend beschriebenen Ausführungsformen verwendet wird, wenn der Programmcode auf einem Computer oder einer Vorrichtung ausgeführt wird. Somit können die in dem Programmcode definierten Schritte des Verfahrens von Einrichtungen des Computers oder der Vorrichtung umgesetzt werden.
Die Erfindung wird nachstehend anhand der beigefügten Zeichnungen beispielhaft näher erläutert. Es zeigen:
Fig. 1 eine schematische Darstellung eines Fahrzeugs mit einer Vorrichtung zum Darstellen eines gepulst aufleuchtenden Objekts gemäß einem Ausführungsbeispiel der vorliegenden Erfindung;
Fig. 2 ein Blockschaltbild einer Vorrichtung zum Darstellen eines gepulst aufleuchtenden Objekts gemäß einem Ausführungsbeispiel der vorliegenden Erfindung;
Fig. 3 ein Ablaufdiagramm eines Verfahrens zum Darstellen eines gepulst aufleuchtenden Objekts gemäß einem Ausführungsbeispiel der vorliegenden Erfindung; und
Fig. 4 eine schematische Darstellung des Zusammenfügens von zwei Bildern zu einer Aufnahme eines gepulst aufleuchtenden Objekts gemäß einem Ausführungsbeispiel der vorliegenden Erfindung.
In der nachfolgenden Beschreibung bevorzugter Ausführungsbeispiele der vorliegenden Erfindung werden für die in den verschiedenen Figuren dargestellten und ähnlich wirkenden Elemente gleiche oder ähnliche
Bezugszeichen verwendet, wobei auf eine wiederholte Beschreibung dieser Elemente verzichtet wird.
Fig. 1 zeigt eine schematische Darstellung eines Fahrzeugs 100 mit einer Vorrichtung 1 10 zum Darstellen eines gepulst aufleuchtenden Objekts 120 gemäß einem Ausführungsbeispiel der vorliegenden Erfindung. Das Fahrzeug 100 weist neben der Vorrichtung 1 10 zum Darstellen eines gepulst aufleuchtenden Objekts 120 eine Kamera 130 sowie ein Fahrerassistenzsystem 140 auf. Eine Blickrichtung der Kamera 130 weist in Fahrtrichtung des Fahrzeugs 100. In der Darstellung in Fig. 1 ist das Fahrzeug 100 in einer ersten Position 150 sowie in einer zweiten Position 150 dargestellt. Die Kamera 130 ist mit der Vorrichtung 1 10 zum Darstellen eines gepulst aufleuchtenden Objekts 120 verbunden. Die Vorrichtung 1 10 ist weiterhin mit dem Fahrerassistenzsystem 140 verbunden. In einem nicht gezeigten Ausführungsbeispiel ist die Vorrichtung 1 10 in die Kamera 130 integriert. In einem weiteren nicht gezeigten
Ausführungsbeispiel ist das Fahrerassistenzsystem 140 in die Kamera 130 integriert. Alternativ kann das Fahrerassistenzsystem 140 und die Vorrichtung
1 10 in einer Einrichtung zusammengefasst werden. Die Kamera 130 ist ausgebildet, in der ersten Position 150 ein erstes Bild 160 zu erfassen. Die Kamera ist ausgebildet, in der zweiten Position 155 ein zweites Bild 165 zu erfassen. Das Objekt 120 ist zumindest in je einem Teilbereich der zwei Bilder 160, 165 abgebildet. Die Vorrichtung 1 10 weist eine Schnittstelle zum Einlesen der Bilder 160, 165 auf. In einem nicht gezeigten Ausführungsbeispiel weist das Fahrzeug 100 Navigationssystem auf, welches die Position von
Wechselverkehrszeichen gespeichert hat. Das Navigationssystem ist mit der Vorrichtung 1 10 verbunden und stellt die Information über die Position von Wechselverkehrszeichen der Vorrichtung 1 10 zur Verfügung. Die Information über die Position von Wechselverkehrszeichen kann eine Information zu Position relativ zur Straße als auch zur Höhe über der Fahrbahn beinhalten. In der folgenden Fig. 2 wird die Vorrichtung 1 10 zum Darstellen eines gepulst aufleuchtenden Objekts 120 näher beschrieben.
Fig. 2 zeigt ein Blockschaltbild einer Vorrichtung 1 10 zum Darstellen eines gepulst aufleuchtenden Objekts 120 für ein Fahrzeug 100 gemäß einem
Ausführungsbeispiel der vorliegenden Erfindung. Die Vorrichtung 1 10 kann in einem Fahrzeug 100 gemäß der Beschreibung zu Fig. 1 angeordnet sein. In der folgenden Beschreibung werden die Bezugszeichen für das Fahrzeug 100 sowie für das Objekt 120 gemäß der vorangegangenen Figur verwendet, obwohl diese beiden Elemente in Fig. 2 nicht dargestellt sind. Die Vorrichtung 1 10 umfasst eine Schnittstelle 210 zum Einlesen von Bildern 160, 165, eine Einrichtung 220 zum Bestimmen einer Scheinbewegung 225 eines Objekts 120 zwischen zwei Aufnahmezeitpunkten der zwei Bilder 160, 165, eine Einrichtung 230 zum
Transformieren zumindest eines der zwei Bilder 160, 165 unter Verwendung der Schein beweg ung, um zwei angepasste Bilder 235 zu erhalten, in denen das Objekt 120 in gleicher Größe dargestellt wird sowie eine Einrichtung 240 zum Zusammenfügen der zwei angepassten Bilder 235, wobei das Objekt 120 beim Zusammenfügen deckungsgleich überlagert wird, um die Aufnahme 250 des gepulst aufleuchtenden Objekts 120 zu erstellen. In einem optionalen
Ausführungsbeispiel weist die Vorrichtung 1 10 eine Einrichtung 260 zum
Speichern eines synthetischen Bildes 255 auf. Das synthetische Bild 255 kann dabei der Aufnahme 250 des gepulst aufleuchtenden Objekts 120 entsprechen. Das synthetische Bild 255 wird von der Einrichtung 240 zum Zusammenfügen der zwei angepassten Bilder erzeugt. Die Schnittstelle 210 zum Einlesen von
Bildern 160, 165, 265 ist ausgebildet, ein synthetisches Bild 265, welches in einem vorausgegangenen Ausführen der Vorrichtung 1 10 abgespeichert wurde, einzulesen. Die nachfolgenden Einrichtungen 220, 230, 240 können anstelle des Bildes 165 das synthetische Bild 265 verarbeiten. Das synthetische Bild 265 entspricht dem in einem vorangegangen Ausführen der Vorrichtung 1 10 abgespeicherten synthetischen Bild 255.
Fig. 3 zeigt ein Ablaufdiagramm eines Verfahrens 300 zum Darstellen eines gepulst aufleuchtenden Objekts gemäß einem Ausführungsbeispiel der vorliegenden Erfindung. Das Verfahren 300 kann auf einer Vorrichtung 1 10 zum
Darstellen eines gepulst aufleuchtenden Objekts 120, wie dieses in Fig. 1 und in Fig. 2 beschrieben wurde, ausgeführt werden. Das Verfahren umfasst einen Schritt 310 zum Einlesen von Bildern, einen Schritt 320 zum Bestimmen einer Scheinbewegung eines in den Bildern dargestellten Objekts, einen Schritt 330 des Transformierens zumindest eines der eingelesenen Bilder unter Verwendung der bestimmten Scheinbewegung sowie einen Schritt 340 des Zusammenfügens der im Schritt 330 angepassten Bilder um eine Aufnahme des gepulst aufleuchtenden Objekts zu erstellen. Bei den im Schritt 310 des Einlesens von zumindest zwei Bildern eingelesenen
Bildern ist das darzustellende Objekt zumindest in je einem Teilbereich der zumindest zwei Bilder abgebildet. Die zwei Bilder sind zu zwei verschiedenen Aufnahmezeitpunkten aufgenommen worden. Im Schritt 320 wird eine
Scheinbewegung des zumindest in einem Teilbereich der Bilder dargestellten Objekts bestimmt, um unter Verwendung der Scheinbewegung im Schritt 330 des transformieren zumindest eines der im Schritt 310 eingelesen Bilder zu transformieren. Als Ergebnis des Schritts 330 entstehen angepasste Bilder, in denen das zumindest in einem Teilbereich dargestellte Objekt in gleicher Größe und oder an gleicher Position dargestellt wird. Im Schritt 340 des
Zusammenfügens werden die im Schritt 330 erzeugten angepassten Bilder zusammengefügt, wobei das zumindest in einem Teilbereich der angepassten
Bilder dargestellte Objekt deckungsgleich überlagert wird. Im Schritt 340 des Zusammenfügens wird eine Aufnahme des gepulst aufleuchtenden Objekts erstellt. Das beschriebene Verfahren kann im Schritt 320 eine Bestimmung oder
Prädiktion der Scheinbewegung (im Bild) eines Objektes durchführen. Die Scheinbewegung eines ruhenden Objektes lässt sich anhand der Fahrzeug- Eigenbewegung und der Weltposition des Objektes prädizieren. Unter bestimmten Gegebenheiten oder Annahmen reicht hier auch die Kenntnis von Teilkomponenten der Weltposition aus, z. B. die Höhe über Grund oder der
Abstand vom Fahrzeug, um eine robuste Prädiktion zu erzielen. Diese
Informationen lassen sich gegebenenfalls aus dem Bild extrahieren, können für bestimmte Kategorien von Objekten als konstant angenommen werden und/oder lassen sich gegebenenfalls vorspeichern. Der Abstand des Objekts vom
Fahrzeug kann aus dem Bild extrahiert werden oder mit einem anderen Sensor direkt gemessen werden, wie beispielsweise mit einer Stereo-Kamera, einer Time-of-Flight Kamera, einem Radar-System oder einem vergleichbaren Sensor. Ein Vorteil der Prädiktion der Scheinbewegung durch diesen Ansatz ist es, dass keine explizite Detektion des Objektes notwendig ist und dass seine Wirksamkeit unabhängig von der Performance eines Objektdetektors ist. Ist ein hinreichend performanter Detektor verfügbar, so kann die Schätzung der Scheinbewegung alternativ durch Detektion des Objektes in jedem Bild (Frame) oder durch Generierung von plausiblen Objekt-Kandidaten und Verfolgung über die Zeit erfolgen. Dies wäre insbesondere notwendig, um sich bewegende Objekte, wie etwa Fahrzeugrückleuchten, zu erfassen.
Im Schritt 330 kann des Transformierens kann eine Verzerrung der ganzen Frames oder der Bildbereiche, an denen sich das zu erfassende Objekt befindet, erfolgen, damit das Objekt entweder in der gleichen Position in jedem Bild liegt oder in einfach berechenbaren Abständen. Die Verzerrung erfolgt durch eine
Transformation des Bildes, welche die optischen Eigenschaften der Kamera und die perspektivischen Effekte aufgrund der Fahrzeugeigenbewegung
berücksichtigt. Für eine Kamera, die dem Lochkameramodell näherungsweise entspricht, handelt es sich bei dieser Transformation eine Homographie. Die Transformation (Verzerrung) kann entweder vollständig berechnet werden oder alternativ teilweise (Reduktion des Rechenaufwandes) oder vollständig oder alternativ teilweise durch ein optisches, mechanisches oder MEMS-System im Strahlengang vor dem Kamerasensor, gelöst werden.
Im Schritt 340 des Zusammenfügens werden die verzerrten Frames, das heiß die transformierten beziehungsweise angepassten Bilder mittels eines lokalen oder pixelweisen Bildoperators zusammengefügt. Dieser Operator sollte höhere Pixelintensitäten bevorzugen. In einem Ausführungsbeispiel wird ein Maximum- Operator bei dem Zusammenfügen verwendet. Im Fall einer optischen und/oder mechanischen Umsetzung kann er durch eine Akkumulierung/Speicherung der Strahlung (z.B. mittels einer Phosphorschicht o.ä.) implementiert werden.
Fig. 4 zeigt eine schematische Darstellung des Zusammenfügens von zwei Bildern 160, 165 zu einer Aufnahme 250 eines gepulst aufleuchtenden Objekts gemäß einem Ausführungsbeispiel der vorliegenden Erfindung. Die hier dargestellte schematische Darstellung des Zusammenfügens von zwei Bildern
160, 165 stellt das in Fig. 3 dargestellte Verfahren anschaulich dar. Bei dem ersten Bild 160 kann es sich um ein an der ersten Position 150 in Fig. 1 aufgenommenes erstes Bild 160 handeln. Analog hierzu kann es sich bei dem zweiten Bild 165 das an der zweiten Position 155 in Fig. 1 aufgenommene zweite Bild 165 handeln. Bei der in Fig. 4 dargestellten Aufnahme 250 kann es sich um die in Fig. 2 beschriebene Aufnahme 250 handeln.
Das erste Bild 160 zeigt eine schematische Darstellung einer Straße mit einem Wechselverkehrszeichen. Bedingt durch das Aufnahmeverfahren und die gepulsten Lichtquellen des Wechselverkehrszeichens weist das Abbild 420 des
Wechselverkehrszeichens einen nicht erfassten Streifen auf. Das zweite Bild 165 zeigt eine schematische Darstellung einer Straße mit einem Abbild 425 des Wechselverkehrszeichens. Bei dem Wechselverkehrszeichen 120 und der Straße kann es sich um die in dem ersten Bild 160 gezeigte Straße mit einem Wechselverkehrszeichen 120 handeln, wobei das zweite Bild 165 zu einem zweiten Aufnahmezeitpunkt aufgenommen wurde. Hierbei liegt der zweite Aufnahmezeitpunkt des Bildes 165 zeitlich nach einem ersten Aufnahmezeitpunkt des ersten Bildes 160. Das Abbild 425 des
Wechselverkehrszeichens in dem zweiten Bild 165 weist vergleichbar zu dem Abbild 420 des Wechselverkehrszeichens in dem ersten Bild 160 einen nicht erfassten Streifen auf. Der nicht erfasste Streifen in dem ersten Bild 160 und der nicht erfasste Streifen in dem zweiten Bild 165 betreffen unterschiedliche Teilbereiche des Wechselverkehrszeichens. In der schematischen Darstellung in Fig. 4 ist der Schritt des Bestimmens einer Scheinbewegung nicht dargestellt. Die Scheinbewegung kann aus dem ersten Bild 160 und dem zweiten Bild 165 bestimmt werden. Aus dem ersten Bild 160 wird ein angepasstes Bild 235 unter
Verwendung einer vorbestimmten Scheinbewegung erstellt. Das angepasste Bild 235 korrigiert eine Verzerrung zwischen dem ersten Bild 160 und dem zweiten Bild 165, sodass das Objekt, in dem Ausführungsbeispiel das
Wechselverkehrszeichen, in der gleichen Größe und Verzerrung in dem angepassten Bild 235 und dem zweiten Bild 165 dargestellt wird. Das zweite Bild
165 und das angepasste Bild 235 des ersten Bildes 160 werden zu einer Aufnahme 250 zusammengefügt. Die Aufnahme 250 gibt das erfasste
Wechselverkehrszeichen komplett wieder und ermöglicht somit eine Erkennung des Wechselverkehrszeichens.
Mit anderen Worten wird die Information von mehreren zeitlich sequenziell von der Kamera aufgenommenen Bildern (Frames) ausgenutzt, um ein neues virtuelles, angepasstes Bild (Frame) zu erzeugen, in welchem gepulst aufleuchtende Objekte als konstant aufleuchtend, d. h. in etwa vergleichbar zur menschlichen Wahrnehmung erscheinen. Das neue virtuelle Bild kann als synthetisches Bild oder als Aufnahme des gepulst aufleuchtenden Objekts bezeichnet werden. Das synthetische Bild kann in einem Ausführungsbeispiel abgespeichert werden. In Fig. 4 werden drei Phasen des in Fig. 3 ausgeführten Verfahrens zum
Erstellen einer Aufnahme eines gepulst aufleuchtenden Objekts für ein Fahrzeug dargestellt. Senkrechte Linien separieren die drei Phasen voneinander. In einer ersten Phase, die dem Schritt 320 des Bestimmens in Fig. 3 zugeordnet werden kann, erfolgt eine Bestimmung oder Prädiktion der Bewegung eines Objektes in einer Sequenz von Bildern (Frames). In dem gezeigten Ausführungsbeispiel besteht die Sequenz aus zwei Bildern. In einer zweiten Phase, die dem dritten Schritt 330 des Transformierens in Fig. 3 zugeordnet werden kann, erfolgt eine Verzerrung der Bilder, oder zumindest bestimmter Bereiche davon, damit das Objekt in jedem Bild möglichst die gleiche Position und geometrischen
Eigenschaften, wie beispielsweise Skalierung, Scherung, usw., hat. In einer dritten Phase, die dem Schritt 340 des Zusammenfügens in in Fig. 3 zugeordnet werden kann, erfolgt eine deckungsgleiche Überlagerung der verzerrten Bilder (Frames) beziehungsweise Bildbereiche in ein neues virtuelles oder angepasstes Bild, wobei das Objekt als konstant aufleuchtend erscheint.
Ein Aspekt der Erfindung ist, gepulst aufleuchtende Objekte zu erfassen, ohne die Belichtungszeit und Framerate der Kamera zu ändern. Dies ist besonders vorteilhaft, wenn sich die Aufnahmeparameter nicht ändern lassen,
beispielsweise weil eine längere Belichtungszeit zur Verringerung der Bildqualität aufgrund von Sättigung oder Bewegungsunschärfe führen würde.
Die beschriebenen und in den Figuren gezeigten Ausführungsbeispiele sind nur beispielhaft gewählt. Unterschiedliche Ausführungsbeispiele können vollständig oder in Bezug auf einzelne Merkmale miteinander kombiniert werden. Auch kann ein Ausführungsbeispiel durch Merkmale eines weiteren Ausführungsbeispiels ergänzt werden. Ferner können erfindungsgemäße Verfahrensschritte wiederholt sowie in einer anderen als in der beschriebenen Reihenfolge ausgeführt werden.

Claims

Ansprüche
Verfahren (300) zum Erstellen einer Aufnahme (250) eines gepulst aufleuchtenden Objekts (120) für ein Fahrzeug (100), wobei das Verfahren (300) die folgenden Schritte aufweist:
Einlesen (310) von zwei Bildern (160, 165), wobei das Objekt (120) zumindest in je einem Teilbereich der zwei Bilder (160, 165) abgebildet ist;
Bestimmen (320) einer Scheinbewegung des Objekts (120) zwischen zwei Aufnahmezeitpunkten der zwei Bilder (160, 165);
Transformieren (330) zumindest eines der zwei Bilder (160, 165) unter Verwendung der Scheinbewegung, um zwei angepasste Bilder (250) zu erhalten, in denen das Objekt (120) in gleicher Größe dargestellt wird; und
Zusammenfügen (340) der zwei angepassten Bilder (235), wobei das Objekt (120) beim Zusammenfügen deckungsgleich überlagert wird, um die Aufnahme (250) des gepulst aufleuchtenden Objekts (120) zu erstellen.
Verfahren (300) gemäß Anspruch 1 , bei dem im Schritt (310) des Einlesens ein Bild (160) der zwei Bilder (160, 165) ein synthetisches Bild, das anhand einer Mehrzahl von vergangenen Bildern erstellt wurde und/oder eine Aufnahme eines gepulst aufleuchtenden Objekts nach dem Verfahren gemäß Anspruch 1 ist.
Verfahren (300) gemäß einem der vorangegangenen Ansprüche, bei dem die Scheinbewegung unter Verwendung einer Information über eine
Positionsänderung eines Aufnahmeortes (150, 155) der zwei Bilder (160, 165) bestimmt wird. Verfahren (300) gemäß einem der vorangegangenen Ansprüche, bei dem die Schein beweg ung unter Verwendung einer Objektart des Objekts (120) bestimmt wird.
Verfahren (300) gemäß einem der vorangegangenen Ansprüche, bei dem die Scheinbewegung unter Verwendung einer vorbestimmten Position des Objekts (120) bestimmt wird.
Verfahren (300) gemäß einem der vorangegangenen Ansprüche, bei dem die Scheinbewegung unter Verwendung einer Objekterkennung in jedem der zwei Bilder (160, 165) bestimmt wird, insbesondere um die Aufnahme (250) eines sich bewegenden gepulst aufleuchtenden Objekts (120) zu erstellen.
Verfahren (300) gemäß einem der vorangegangenen Ansprüche, bei dem im Schritt des Bestimmens eine Positionsinformation des Objekts (120) je Bild (160, 165) bestimmt wird und bei dem im Schritt (330) des Transformierens zumindest eines der zwei Bilder (160, 165) unter Verwendung der
Positionsinformation transformiert wird, um zwei angepasste Bilder (250) zu erhalten, in denen das Objekt (120) an einer gleichen Position dargestellt wird.
Verfahren (300) gemäß einem der vorangegangenen Ansprüche, bei dem im Schritt (310) des Einlesens zumindest ein weiteres Bild eingelesen wird, wobei das Objekt (120) zumindest in einem Teilbereich des zumindest einen weiteren Bildes abgebildet ist, und bei dem im Schritt (320) des Bestimmens die Scheinbewegung des Objekts (120) unter Verwendung des
Aufnahmezeitpunkts des zumindest einen weiteren Bildes bestimmt wird, und bei dem im Schritt (330) des Transformierens das zumindest eine weitere Bild unter Verwendung der Scheinbewegung transformiert wird, um ein weiteres angepasstes Bild zu erhalten, und bei dem im Schritt (340) des Zusammenfügens das zumindest eine weitere angepasste Bild mit den zwei angepassten Bildern (235) zusammengefügt wird, wobei das Objekt (120) deckungsgleich überlagert wird, um die Aufnahme (250) des gepulst aufleuchtenden Objekts (120) zu erstellen.
9. Vorrichtung (1 10) zum Darstellen eines gepulst aufleuchtenden Objekts (120) für ein Fahrzeug (100), die ausgebildet ist, um die Schritte (310, 320, 330, 340) eines Verfahrens (300) gemäß einem der Ansprüche 1 bis 8 durchzuführen, wobei die Vorrichtung (1 10) die folgenden Merkmale aufweist: eine Schnittstelle (210) zum Einlesen von zwei Bildern (160, 165), wobei das Objekt (120) zumindest in je einem Teilbereich der zwei Bilder (160, 165) abgebildet ist; eine Einrichtung (220) zum Bestimmen einer Scheinbewegung des Objekts (120) zwischen zwei Aufnahmezeitpunkten der zwei Bilder (160, 165); eine Einrichtung (230) zum Transformieren zumindest eines der zwei Bilder (160, 165) unter Verwendung der Scheinbewegung, um zwei angepasste Bilder (250) zu erhalten, in denen das Objekt (120) in gleicher Größe dargestellt wird; und eine Einrichtung (240) zum Zusammenfügen der zwei angepassten Bilder (235), wobei das Objekt (120) beim Zusammenfügen deckungsgleich überlagert wird, um die Aufnahme (250) des gepulst aufleuchtenden Objekts (120) zu erstellen.
10. Computer-Programmprodukt mit Programmcode zur Durchführung des Verfahrens (300) nach einem der Ansprüche 1 bis 8, wenn das
Programmprodukt auf einer Vorrichtung (1 10) ausgeführt wird.
PCT/EP2014/053501 2013-03-20 2014-02-24 Verfahren und vorrichtung zum erstellen einer aufnahme eines gepulst aufleuchtenden objekts WO2014146864A1 (de)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201480017008.7A CN105247571A (zh) 2013-03-20 2014-02-24 用于构建脉冲地发光的对象的拍摄的方法和设备
US14/778,902 US20160042544A1 (en) 2013-03-20 2014-02-24 Method and device for creating a recording of an object which lights up in a pulsed manner

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102013204935.8A DE102013204935A1 (de) 2013-03-20 2013-03-20 Verfahren und Vorrichtung zum Erstellen einer Aufnahme eines gepulst aufleuchtenden Objekts
DE102013204935.8 2013-03-20

Publications (1)

Publication Number Publication Date
WO2014146864A1 true WO2014146864A1 (de) 2014-09-25

Family

ID=50184899

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2014/053501 WO2014146864A1 (de) 2013-03-20 2014-02-24 Verfahren und vorrichtung zum erstellen einer aufnahme eines gepulst aufleuchtenden objekts

Country Status (4)

Country Link
US (1) US20160042544A1 (de)
CN (1) CN105247571A (de)
DE (1) DE102013204935A1 (de)
WO (1) WO2014146864A1 (de)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10438362B2 (en) * 2017-05-31 2019-10-08 Here Global B.V. Method and apparatus for homography estimation
WO2019032583A1 (en) * 2017-08-07 2019-02-14 Morphotrust Usa, Llc REDUCTION OF GLARE IN IMAGING DOCUMENTS
JP6412998B1 (ja) * 2017-09-29 2018-10-24 株式会社Ｑｏｎｃｅｐｔ 動体追跡装置、動体追跡方法、動体追跡プログラム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102008023853A1 (de) * 2008-05-16 2009-12-03 Continental Automotive Gmbh Verfahren und System zur Erkennung eines Wechselverkehrszeichens
EP2381416A1 (de) * 2009-01-20 2011-10-26 Honda Motor Co., Ltd. Bildwiederherstellungsverfahren in einem computeransichtssystem
US20130038754A1 (en) * 2011-08-08 2013-02-14 Fujitsu Semiconductor Limited Image processor, image pickup apparatus, image pickup system and data processing method

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5429911B2 (ja) * 2009-12-22 2014-02-26 トムソン ライセンシング 立体映像のデジタル映画に於ける最適な動き再生のための方法と装置
US9256791B2 (en) * 2012-12-04 2016-02-09 Mobileye Vision Technologies Ltd. Road vertical contour detection
GB2509102B (en) * 2012-12-20 2015-09-02 Thales Holdings Uk Plc Image processor for processing images received from a plurality of image sensors
PT2757346E (pt) * 2013-01-21 2016-06-02 Kapsch Trafficcom Ag Método para medir um perfil de altura de um veículo que passa na estrada
DE102013100804A1 (de) * 2013-01-28 2014-07-31 Conti Temic Microelectronic Gmbh Verfahren zur Erkennung von gepulst betriebenen Lichtquellen

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102008023853A1 (de) * 2008-05-16 2009-12-03 Continental Automotive Gmbh Verfahren und System zur Erkennung eines Wechselverkehrszeichens
EP2381416A1 (de) * 2009-01-20 2011-10-26 Honda Motor Co., Ltd. Bildwiederherstellungsverfahren in einem computeransichtssystem
US20130038754A1 (en) * 2011-08-08 2013-02-14 Fujitsu Semiconductor Limited Image processor, image pickup apparatus, image pickup system and data processing method

Also Published As

Publication number Publication date
US20160042544A1 (en) 2016-02-11
CN105247571A (zh) 2016-01-13
DE102013204935A1 (de) 2014-09-25

Similar Documents

Publication Publication Date Title
EP2087459B1 (de) Vorrichtung, verfahren und computerprogramm zum bestimmen einer position basierend auf einem kamerabild
DE102018206027A1 (de) Formmessvorrichtung und formmessverfahren
EP3455785B1 (de) Verfahren zur erfassung von verkehrszeichen
WO2018103795A1 (de) Kameravorrichtung sowie verfahren zur situationsangepassten erfassung eines umgebungsbereichs eines fahrzeugs
DE102014222617B4 (de) Fahrzeugerfassungsverfahren und Fahrzeugerfassungssytem
DE102014107156A1 (de) Verbesserte perspektivische Bilderzeugung in einem Frontbordstein-Visualisierungssystem
DE112018000858T5 (de) Vorrichtung und Verfahren zur Anzeige von Informationen
DE102008002560A1 (de) Bilddatenvisualisierung
DE102014213536A1 (de) Zusammenfügen von Teilbildern zu einem Abbild einer Umgebung eines Fortbewegungsmittels
DE102018100909A1 (de) Verfahren zum Rekonstruieren von Bildern einer Szene, die durch ein multifokales Kamerasystem aufgenommen werden
DE102019131971A1 (de) Ein Bildverarbeitungsmodul
DE102017106152A1 (de) Ermitteln einer Winkelstellung eines Anhängers mit optimierter Vorlage
EP2500216A1 (de) Verfahren und Vorrichtung für ein bildgebendes Fahrerassistenzsystem
WO2014146864A1 (de) Verfahren und vorrichtung zum erstellen einer aufnahme eines gepulst aufleuchtenden objekts
DE102016114693A1 (de) Verfahren zum Unterstützen eines Fahrers eines Kraftfahrzeugs beim Führen des Kraftfahrzeugs, Fahrerassistenzsystem sowie Kraftfahrzeug
DE102011082477A1 (de) Verfahren und System zur Erstellung einer digitalen Abbildung eines Fahrzeugumfeldes
DE102018210812A1 (de) Verfahren zu einer sensor- und speicherbasierten Darstellung einer Umgebung, Anzeigevorrichtung und Fahrzeug mit der Anzeigevorrichtung
DE102014007565A1 (de) Verfahren zum Ermitteln einer jeweiligen Grenze zumindest eines Objekts, Sensorvorrichtung, Fahrerassistenzeinrichtung und Kraftfahrzeug
DE112015004341B4 (de) Fahrzeug-bildverarbeitungsvorrichtung
DE102017208994A1 (de) Verfahren zur Ermittlung von Ergebnisbilddaten
DE102017210845A1 (de) Kameravorrichtung sowie Verfahren zur umgebungsangepassten Erfassung eines Umgebungsbereichs eines Fahrzeugs
EP1283406A2 (de) Bildverarbeitungsvorrichtung für ein Fahrzeug und Betriebsverfahren
DE102014209863A1 (de) Verfahren und Vorrichtung zum Betreiben einer Stereokamera für ein Fahrzeug sowie Stereokamera für ein Fahrzeug
DE112017005211T5 (de) Anzeigesteuerungsvorrichtung
DE102012020778B4 (de) Verfahren zum Labeln einer Sequenz von in zeitlicher Abfolge aufgenommenen Bildern mit integrierter Qualitätsprüfung

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14706816

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 14778902

Country of ref document: US

122 Ep: pct application non-entry in european phase

Ref document number: 14706816

Country of ref document: EP

Kind code of ref document: A1