WO2021239322A1 - Verfahren zur detektion von verlorenen bildinformationen, steuereinrichtung zur durchführung eines solchen verfahrens, detektionsvorrichtung mit einer solchen steuereinrichtung und kraftfahrzeug mit einer solchen detektionsvorrichtung - Google Patents

Verfahren zur detektion von verlorenen bildinformationen, steuereinrichtung zur durchführung eines solchen verfahrens, detektionsvorrichtung mit einer solchen steuereinrichtung und kraftfahrzeug mit einer solchen detektionsvorrichtung Download PDF

Info

Publication number
WO2021239322A1
WO2021239322A1 PCT/EP2021/059798 EP2021059798W WO2021239322A1 WO 2021239322 A1 WO2021239322 A1 WO 2021239322A1 EP 2021059798 W EP2021059798 W EP 2021059798W WO 2021239322 A1 WO2021239322 A1 WO 2021239322A1
Authority
WO
WIPO (PCT)
Prior art keywords
optical sensor
image
image information
area
recording
Prior art date
Application number
PCT/EP2021/059798
Other languages
English (en)
French (fr)
Inventor
Fridtjof Stein
Original Assignee
Daimler Ag
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Daimler Ag filed Critical Daimler Ag
Priority to US17/928,202 priority Critical patent/US20230221411A1/en
Priority to CN202180038721.XA priority patent/CN115843338A/zh
Publication of WO2021239322A1 publication Critical patent/WO2021239322A1/de

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/10—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
    • G01S17/18—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves wherein range gates are used
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4808—Evaluating distance, position or velocity data
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/02—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4865—Time delay measurement, e.g. time-of-flight measurement, time of arrival measurement or determining the exact position of a peak
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/487—Extracting wanted echo signals, e.g. pulse detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/141—Control of illumination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/147—Details of sensors, e.g. sensor lenses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G06V10/507—Summing image-intensity values; Histogram projection analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/582—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles

Definitions

  • the invention relates to a method for detecting lost image information, a control device for carrying out such a method, a detection device with such a control device and a motor vehicle with such a detection device.
  • a method emerges from the international patent application with the publication number WO 2017/009848 A1 in which a lighting device and an optical sensor are controlled in a timed manner in order to record a certain visible distance range in an observation area of the optical sensor, the visible distance range being derived the timing of the control of the lighting device and the optical sensor results.
  • a detection of image information takes place in the recordings only in the visible distance range. In this area, however, retroreflective objects are overexposed and, in the case of traffic signs, cannot be read by software. An evaluation of the image areas of the recordings which do not correspond to the visible distance area are not known.
  • the invention is therefore based on the object of creating a method for detecting lost image information, a control device which is set up to carry out such a method, a detection device with such a control device and a motor vehicle with such a detection device, at least some of the disadvantages mentioned fixed, preferably avoided.
  • the object is achieved in that the present technical teaching is provided, in particular the teaching of the independent claims and the embodiments disclosed in the dependent claims and the description.
  • the object is achieved in particular by creating a method for detecting lost image information by means of an illumination device and an optical sensor.
  • the lighting device and the optical sensor are controlled in a time-coordinated manner.
  • a local position of a visible distance area in an observation area of the optical sensor is given by the timing of the activation of the lighting device and the optical sensor.
  • a recording of the observation area is recorded with the optical sensor by means of the coordinated control.
  • image information is sought in the recording in the areas outside the visible distance area on the image side. If image information is found in the recording in the areas outside the visible distance area on the image side, this image information is detected and made accessible. “Making accessible” means in particular that the detected image information is forwarded to a control device for further processing and / or use in autonomous driving or is made available to the control device in some other way.
  • the detection and recognition of retroreflective traffic signs which have a certain fluorescent and / or phosphorescent effect, are possible with great precision.
  • the traffic signs due to a photoluminescent property, absorb light photons of the illumination and emit these photons again over a certain period of time, in particular up to a few seconds, after the end of the illumination.
  • the retroreflective traffic signs with a photoluminescent property are therefore overexposed due to the additional reflective effect in direct lighting, that is, when they are in the visible distance range, and thus cannot be read by software.
  • the method is advantageously also suitable for recognizing bicycles with photoluminescent components and people with photoluminescent clothing.
  • the method can be used particularly advantageously in automatically driving vehicles, in particular automatically driving trucks. Particularly when driving at night, traffic signs or other road users can advantageously be detected with the aid of the method.
  • the method enables a timely and appropriate reaction to the detection of the traffic signs and the other road users.
  • Such an appropriate reaction can be, for example, a speed reduction, emergency braking or driving on an evasive trajectory, which may be determined ad hoc.
  • the method for generating recordings by means of a time-coordinated control of the lighting device and optical sensor is in particular a method known as the gated imaging method;
  • the optical sensor is a camera that is only switched to be sensitive in a specific, restricted time range, which is referred to as “gated control”, ie the camera is a gated camera.
  • the lighting device is also only actuated in a specific, selected time interval in order to illuminate a scene on the object side.
  • the lighting device emits a predefined number of light pulses, preferably with a duration between 5 ns and 20 ns.
  • the beginning and the end of the exposure of the optical sensor are linked to the number and duration of the emitted light pulses.
  • a certain visible distance range can be detected by the optical sensor through the temporal control of the lighting device on the one hand and the optical sensor on the other hand with a correspondingly defined local position, i.e. in particular a certain distance between the start of the distance range and the optical sensor and a certain distance range width .
  • the visible distance range is that - object-side - area in three-dimensional space, which is determined by the number and duration of the light pulses of the lighting device in connection with the start and end of the exposure of the optical sensor by means of the optical sensor in a two-dimensional recording on an image plane of the optical Sensor is mapped.
  • the observation area is in particular the - object-side - area in three-dimensional space which, with sufficient lighting and exposure of the optical sensor by means of the optical sensor, could be mapped as a whole - in particular maximally - in a two-dimensional image.
  • the observation area corresponds to the entire exposable image area of the optical sensor that could theoretically be illuminated.
  • the visible distance range is thus a subset of the observation range in real space.
  • the observation area on the image side corresponds to all image lines present on the optical sensor.
  • the distance area visible on the image side is given as a sub-area of the image plane, in particular between a start image line and an end image line.
  • the start image line determines the beginning of the visible distance range in the recording.
  • the end image line determines the end of the visible distance range in the recording.
  • object-side an area in real space, that is to say on the side of the object to be observed, is addressed.
  • image-side an area on the image plane of the optical sensor is addressed. The observation area and the visible distance area are given on the object side. Due to the imaging laws and the timing of the lighting device and the optical sensor, associated image-side areas on the image plane correspond to them.
  • the method it is therefore possible in particular to select the appropriate timing of the lighting device on the one hand and the optical sensor on the other hand to define the position and spatial width of the visible distance range.
  • the visible distance range can be specified, the timing of the lighting device on the one hand and the optical sensor on the other hand being determined from this and being specified accordingly.
  • An image line is understood here to mean, in particular, the set of all image points of a recording in the image plane of the optical sensor which lie on a common horizontal line in the image plane.
  • the detection of image information is applied to all image lines that do not lie between the start image line and the end image line.
  • the lighting device is a laser.
  • the optical sensor is a camera.
  • a line histogram is created over all image lines assigned to an evaluation area in the observation area on the optical sensor by summing the illumination intensities per image line of the optical sensor for recording the distance area.
  • the start image line and the end image line are then determined by means of the line histogram.
  • the image-side areas outside the image-side spacing area are thus determined.
  • a line histogram is understood here in particular to mean that the individual image lines of the optical sensor in the evaluation area are assigned the sum of the illumination intensities over all image points of the respective image line located in the evaluation area. In this way, the brightness transition resulting from the time control can be detected very easily and reliably in the image plane of the optical sensor.
  • the evaluation area is identical to the observation area. This corresponds to an embodiment of the method that is particularly easy to implement. However, it is also possible that, according to another preferred embodiment, the evaluation area is selected to be smaller than the observation area, in particular as an area of interest or “region of interest” in which the objects to be detected can be located. This advantageously allows the method to be carried out more quickly and efficiently.
  • the evaluation area can in particular also be limited horizontally.
  • the evaluation area in the recording is preferably identified by a GPS preview, in particular with the course of the road projected back into the image plane, and / or by a method for optical track tracking
  • the search and detection of the image information are carried out by means of a pattern recognition algorithm.
  • the search and detection of the image information are carried out by means of deep learning.
  • the detected image information is restored and stored. This makes it possible, in particular, to show the driver the detected image information in combination with the recording.
  • the detected image information is preferably stored in order to be able to understand the reactions of the vehicle after the journey.
  • two recordings namely a first recording and a second recording, are recorded with the optical sensor by means of two differently timed controls of the lighting device and the optical sensor.
  • the first recording, the second recording and the detected image information are combined to form an overall recording.
  • the visible spacing areas of the first recording and the second recording are preferably not overlapping.
  • a photoluminescent object which is in the visible distance range of the first exposure is shown overexposed in the first exposure.
  • the photoluminescent object is advantageously not located in the visible distance range of the second recording. The object can thus be recognized outside of the visible distance range due to its luminescent property.
  • the overexposed representation of the object from the first image is preferably replaced by the image of the object from the second image. In this way, in particular, the detected image information is restored.
  • control device which is set up to carry out a method according to the invention or a method according to one of the embodiments described above.
  • the control device is preferably designed as a computing device, particularly preferably as a computer, or as a control device, in particular as a control device of a vehicle.
  • a computing device particularly preferably as a computer
  • control device in particular as a control device of a vehicle.
  • the object is also achieved by creating a detection device which has a lighting device, an optical sensor, and a control device according to the invention or a control device according to one of the exemplary embodiments described above.
  • a detection device which has a lighting device, an optical sensor, and a control device according to the invention or a control device according to one of the exemplary embodiments described above.
  • the control device is preferably operatively connected, on the one hand, to the lighting device and, on the other hand, to the optical sensor, and is set up to control them.
  • the object is finally also achieved by creating a motor vehicle with a detection device according to the invention or a detection device according to one of the exemplary embodiments described above.
  • a detection device according to the invention or a detection device according to one of the exemplary embodiments described above.
  • the motor vehicle is designed as a truck.
  • the motor vehicle it is also possible for the motor vehicle to be a passenger car, a utility vehicle, or another motor vehicle.
  • Fig. 1 is a schematic representation of an embodiment of a
  • Fig. 2 is a schematic representation of a recording in the context of a
  • Embodiment of the method with an optical sensor is included, and
  • FIG. 3 shows a schematic illustration of a line histogram which is used in one embodiment of the method.
  • FIG. 1 shows a schematic representation of an exemplary embodiment of a motor vehicle 1, with an exemplary embodiment of a detection device 3.
  • the detection device 3 has an illumination device 5 and an optical sensor 7.
  • the detection device 3 has a control device 9, which is only shown schematically here and is operatively connected in a manner not explicitly shown to the lighting device 5 and the optical sensor 7 for their respective control.
  • FIG. 1 shows a lighting frustum 11 of the lighting device 5 and an observation area 13 of the optical sensor 7.
  • a visible distance area 15, which results as a subset of the observation area 13 of the optical sensor 7, is also shown hatched.
  • a traffic sign 17 is arranged in the visible distance area 15.
  • a traffic sign 19 is arranged outside the visible distance area 15.
  • a beginning 21 and an end 23 of the visible spacing region 15 are also shown in FIG.
  • the control device 9 is set up in particular to carry out an embodiment of a method, which is described in more detail below, for the detection of lost image information in a recording 25 generated by means of an illumination device 5 and an optical sensor 7.
  • the lighting device 5 and the optical sensor 7 are controlled in a timed manner, with a visible distance range 15 in the observation area 13 from the timing of the control of the lighting device 5 and the optical sensor 7.
  • a recording of the observation area 13 is made with the optical sensor 7 using the coordinated control.
  • FIG. 2 shows a schematic representation of such a recording 25 in an image plane of the optical sensor 7.
  • the images of the traffic signs 17 and 19 are also shown.
  • the image of the traffic sign 17 is designated with 17 ‘and the image of the traffic sign 19 with 19‘. Due to the retroreflective properties of traffic signs 17 and 19, no lettering can be seen in the image of traffic sign 17 ‘.
  • the traffic sign 19 was located a few moments before the recording 25 was made in the distance area visible on the object side. Due to the photoluminescent property of the traffic sign 19, the inscription is clearly recognizable in the image of the traffic sign 19 ‘.
  • a method for detecting lost image information is then used in the areas above the end image line 29 and below the start image line 27 in order to search for image information, preferably objects with photoluminescent properties. If image information 19 'is found, this image information is detected and made available to the control device 9 and thus to the motor vehicle 1 and / or the driver.
  • the method for searching for and detecting lost image information is preferably based on pattern recognition or deep learning.
  • an evaluation area 31 is shown in FIG. 2, which can be determined in particular by a GPS forecast and / or by a method for optical track tracking.
  • the evaluation area 31, as the area of interest, is smaller here than the observation area 13. However, it can also coincide with this.
  • FIG. 3 shows a schematic representation of a line histogram 33 of the recording 25 according to FIG
  • the sum of the illumination intensities per image point is plotted over all image points of the respective image line in the evaluation area 31.
  • This line histogram 33 is created over all the image lines assigned to the evaluation area 31 on the optical sensor 7 by summing the illumination intensities per image line of the optical sensor 7.
  • the start image line 27 and the end image line 29 are then determined by means of the line histogram 33, with clear intensity jumps on the one hand in the start image line 27 and on the other hand in the end image line, in particular due to the timed control of the lighting device 5 and the optical sensor 7 29 are recognizable.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Vascular Medicine (AREA)
  • Signal Processing (AREA)
  • Mechanical Engineering (AREA)
  • Traffic Control Systems (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

Die Erfindung betrifft ein Verfahren zur Detektion von verlorenen Bildinformationen mittels einer Beleuchtungseinrichtung (5) und einem optischen Sensor (7), wobei - eine Ansteuerung der Beleuchtungseinrichtung (5) und des optischen Sensors (7) zeitlich aufeinander abgestimmt werden, wobei - ein sichtbarer Abstandsbereich (15) in einem Beobachtungsbereich (13) des optischen Sensors (7) aus der zeitlichen Abstimmung der Ansteuerung der Beleuchtungseinrichtung (5) und des optischen Sensors (7) gegeben ist, wobei eine Aufnahme (25) des Beobachtungsbereichs (13) mit dem optischen Sensor (7) mittels der abgestimmten Ansteuerung aufgenommen wird, wobei - in der Aufnahme (25) in Bereichen außerhalb des bildseitigen sichtbaren Abstandsbereichs (15) Bildinformationen gesucht werden, und wobei - gefundene Bildinformationen detektiert und zugänglich gemacht werden.

Description

Verfahren zur Detektion von verlorenen Bildinformationen, Steuereinrichtung zur Durchführung eines solchen Verfahrens, Detektionsvorrichtung mit einer solchen Steuereinrichtung und Kraftfahrzeug mit einer solchen Detektionsvorrichtung
Die Erfindung betrifft ein Verfahren zur Detektion von verlorenen Bildinformationen, eine Steuereinrichtung zur Durchführung eines solchen Verfahrens, eine Detektionsvorrichtung mit einer solchen Steuereinrichtung und ein Kraftfahrzeug mit einer solchen Detektionsvorrichtung.
Aus der internationalen Patentanmeldung mit der Veröffentlichungsnummer WO 2017/009848 A1 geht ein Verfahren hervor, bei dem eine Beleuchtungseinrichtung und ein optischer Sensor zeitlich aufeinander abgestimmt angesteuert werden, um einen bestimmten sichtbaren Abstandsbereich in einem Beobachtungsbereich des optischen Sensors aufzunehmen, wobei sich der sichtbare Abstandsbereich aus der zeitlichen Abstimmung der Ansteuerung der Beleuchtungseinrichtung und des optischen Sensors ergibt. Eine Detektion von Bildinformationen erfolgt in den Aufnahmen nur in dem sichtbaren Abstandsbereich. In diesem Bereich sind allerdings retroreflektierende Objekte überbelichtet und im Falle von Verkehrszeichen software-technisch nicht lesbar. Eine Auswertung der der Bildbereiche der Aufnahmen, welche nicht dem sichtbaren Abstandsbereich entsprechen, sind nicht bekannt.
Der Erfindung liegt daher die Aufgabe zugrunde, ein Verfahren zur Detektion von verlorenen Bildinformationen, eine Steuereinrichtung, die eingerichtet ist zur Durchführung eines solchen Verfahrens, eine Detektionsvorrichtung mit einer solchen Steuereinrichtung und ein Kraftfahrzeug mit einer solchen Detektionsvorrichtung zu schaffen, wobei die genannten Nachteile zumindest teilweise behoben, vorzugsweise vermieden sind.
Die Aufgabe wird gelöst, indem die vorliegende technische Lehre bereitgestellt wird, insbesondere die Lehre der unabhängigen Ansprüche sowie der in den abhängigen Ansprüchen und der Beschreibung offenbarten Ausführungsformen. Die Aufgabe wird insbesondere gelöst, indem ein Verfahren zur Detektion von verlorenen Bildinformationen mittels einer Beleuchtungseinrichtung und einem optischen Sensor geschaffen wird. Dabei werden die Beleuchtungseinrichtung und der optische Sensor zeitlich aufeinander abgestimmt angesteuert. Eine örtliche Lage eines sichtbaren Abstandsbereichs in einem Beobachtungsbereich des optischen Sensors ist dabei gegeben durch die zeitliche Abstimmung der Ansteuerung der Beleuchtungseinrichtung und des optischen Sensors. Es wird eine Aufnahme des Beobachtungsbereichs mit dem optischen Sensor mittels der abgestimmten Ansteuerung aufgenommen. Schließlich werden in der Aufnahme in den Bereichen außerhalb des bildseitigen sichtbaren Abstandsbereichs Bildinformationen gesucht. Falls in der Aufnahme in den Bereichen außerhalb des bildseitigen sichtbaren Abstandsbereichs Bildinformationen gefunden werden, werden diese Bildinformationen detektiert und zugänglich gemacht. Unter „Zugänglichmachen“ wird dabei insbesondere verstanden, dass die detektierte Bildinformation an ein Steuergerät zur Weiterverarbeitung und/oder Nutzung beim autonomen Fahren weitergeleitet oder dem Steuergerät anderweitig zur Verfügung gestellt wird.
Mithilfe des hier vorgeschlagenen Verfahrens ist es vorteilhaft möglich, Objekte außerhalb des sichtbaren Abstandsbereichs zu detektieren und dem Fahrzeug, in dem das Verfahren durchgeführt wird, die entsprechenden Informationen zur Verfügung zu stellen. Insbesondere sind die Detektion und Erkennung von retroreflektierenden Verkehrszeichen, welche einen gewissen fluoreszierenden und/ oder phosphoreszierenden Effekt haben, mit großer Präzision möglich. Dies ist insbesondere deswegen möglich, da die Verkehrszeichen auf Grund einer photolumineszierenden Eigenschaft Lichtphotonen der Beleuchtung absorbieren und über einen gewissen Zeitraum, insbesondere bis zu wenigen Sekunden, nach Ende der Beleuchtung diese Photonen wieder emittieren. Daher sind die retroreflektierenden Verkehrszeichen mit einer photolumineszierenden Eigenschaft bei direkter Beleuchtung, das heißt wenn sie im sichtbaren Abstandsbereich sind, durch die zusätzliche reflektierende Wirkung überbelichtet und damit software-technisch nicht lesbar. Sobald die Verkehrszeichen nicht mehr innerhalb des sicherbaren Abstandsbereich sind, wirkt der photolumineszierende Effekt, und durch die emittierten Photonen werden die Verkehrszeichen deutlich in der Aufnahme des optischen Sensors abgebildet. Vorteilhafterweise eignet sich das Verfahren auch zur Erkennung von Fahrrädern mit photolumineszierenden Bauteilen und Personen mit photolumineszierender Kleidung. Das Verfahren kann besonders vorteilhaft in automatisiert fahrenden Fahrzeugen, insbesondere automatisch fahrenden Lastkraftwagen, angewendet werden. Insbesondere bei einer Nachtfahrt können vorteilhaft mithilfe des Verfahrens Verkehrszeichen oder andere Verkehrsteilnehmer detektiert werden. Das Verfahren ermöglicht eine rechtzeitige und angemessene Reaktion auf die Detektion der Verkehrszeichen und der anderen Verkehrsteilnehmer. Eine solche angemessene Reaktion kann beispielsweise eine Geschwindigkeitsreduktion, eine Notbremsung oder das Befahren einer- gegebenenfalls ad hoc bestimmten - Ausweichtrajektorie sein.
Das Verfahren zur Erzeugung von Aufnahmen mittels einer zeitlich aufeinander abgestimmten Ansteuerung von Beleuchtungseinrichtung und optischem Sensor ist insbesondere ein als Gated-Imaging-Verfahren bekanntes Verfahren; insbesondere ist der optische Sensor eine Kamera, die nur in einem bestimmten, eingeschränkten Zeitbereich empfindlich geschaltet wird, was als „Gated-Ansteuerung“ bezeichnet wird, die Kamera ist also eine Gated-Kamera. Auch die Beleuchtungseinrichtung wird entsprechend zeitlich nur in einem bestimmten, ausgewählten Zeitintervall angesteuert, um eine objektseitige Szenerie auszuleuchten.
Insbesondere wird durch die Beleuchtungseinrichtung eine vordefinierte Anzahl von Lichtimpulsen ausgesandt, vorzugsweise mit einer Dauer zwischen 5 ns und 20 ns. Der Beginn und das Ende der Belichtung des optischen Sensors wird an die Anzahl und Dauer der abgegebenen Lichtimpulse gekoppelt. Daraus resultierend kann ein bestimmter sichtbarer Abstandsbereich durch die zeitliche Ansteuerung einerseits der Beleuchtungseinrichtung und andererseits des optischen Sensors mit entsprechend definierter örtliche Lage, das heißt insbesondere bestimmtem Abstand des Beginns des Abstandsbereichs von dem optischen Sensor und bestimmter Abstandsbereichs-Breite, durch den optischen Sensor erfasst werden.
Der sichtbare Abstandsbereich ist dabei derjenige - objektseitige - Bereich im dreidimensionalen Raum, welcher durch die Anzahl und Dauer der Lichtimpulse der Beleuchtungseinrichtung in Verbindung mit dem Start und dem Ende der Belichtung des optischen Sensors mittels des optischen Sensors in einer zweidimensionalen Aufnahme auf einer Bildebene des optischen Sensors abgebildet wird. Der Beobachtungsbereich ist demgegenüber insbesondere der - objektseitige - Bereich im dreidimensionalen Raum, welcher bei ausreichender Beleuchtung und Belichtung des optischen Sensors mittels des optischen Sensors in einer zweidimensionalen Aufnahme insgesamt - insbesondere maximal - abgebildet werden könnte. Insbesondere entspricht der Beobachtungsbereich dem gesamten belichtbaren Bildbereich des optischen Sensors, der theoretisch ausgeleuchtet werden könnte. Der sichtbare Abstandsbereich ist somit eine Teilmenge des Beobachtungsbereichs im realen Raum.
Der bildseitige Beobachtungsbereich entspricht allen auf dem optischen Sensor vorhandenen Bildzeilen. Der bildseitige sichtbare Abstandsbereich ist als Teilbereich der Bildebene insbesondere zwischen einer Start-Bildzeile und einer End-Bildzeile gegeben. Die Start-Bildzeile bestimmt den Beginn des sichtbaren Abstandsbereichs in der Aufnahme. Weiterhin bestimmt die End-Bildzeile das Ende des sichtbaren Abstandsbereichs in der Aufnahme.
Soweit hier und im Folgenden von „objektseitig“ die Rede ist, ist ein Bereich im realen Raum, das heißt auf Seiten des zu beobachtenden Objekts, angesprochen. Soweit hier und im Folgenden von „bildseitig“ die Rede ist, ist ein Bereich auf der Bildebene des optischen Sensors angesprochen. Der Beobachtungsbereich und der sichtbare Abstandsbereich sind dabei objektseitig gegeben. Ihnen entsprechen durch die Abbildungsgesetze sowie die zeitliche Ansteuerung der Beleuchtungseinrichtung und des optischen Sensors zugeordnete bildseitige Bereiche auf der Bildebene.
Abhängig von dem Start und dem Ende der Belichtung des optischen Sensors nach dem Beginn der Beleuchtung durch die Beleuchtungseinrichtung treffen Lichtimpulsphotonen auf den optischen Sensor. Je weiter der sichtbare Abstandsbereich von der Beleuchtungseinrichtung und dem optischen Sensor entfernt ist, desto länger ist die zeitliche Dauer bis ein Photon, welches in diesem Abstandsbereich reflektiert wird, auf den optischen Sensor trifft. Daher verlängert sich der zeitliche Abstand zwischen einem Ende der Beleuchtung und einem Beginn der Belichtung, je weiter der sichtbare Abstandsbereich von der Beleuchtungseinrichtung und von dem optischen Sensor entfernt ist.
Es ist also gemäß einer Ausgestaltung des Verfahrens insbesondere möglich, durch entsprechende geeignete Wahl der zeitlichen Ansteuerung der Beleuchtungseinrichtung einerseits und des optischen Sensors andererseits die Lage und räumliche Breite des sichtbaren Abstandsbereichs zu definieren.
In einer alternativen Ausgestaltung des Verfahrens kann der sichtbare Abstandsbereich vorgegeben sein, wobei daraus die zeitliche Abstimmung der Beleuchtungseinrichtung einerseits und des optischen Sensors andererseits bestimmt und entsprechend vorgegeben wird.
Unter einer Bildzeile wird hier insbesondere die Menge aller Bildpunkte einer Aufnahme in der Bildebene des optischen Sensors verstanden, die auf einer gemeinsamen horizontalen Linie in der Bildebene liegen.
Insbesondere wird die Detektion von Bildinformationen, vorzugsweise photolumineszierenden Objekten, auf alle Bild-Zeilen, die nicht zwischen der Start- Bildzeile und der End-Bildzeile liegen, angewendet.
Die Beleuchtungseinrichtung ist in bevorzugter Ausgestaltung ein Laser. Der optische Sensor ist in bevorzugter Ausgestaltung eine Kamera.
Gemäß einer Weiterbildung der Erfindung ist vorgesehen, dass für die Aufnahme des Abstandsbereichs ein Zeilenhistogramm über alle einem Auswerte-Bereich in dem Beobachtungsbereich auf dem optischen Sensor zugeordneten Bildzeilen mittels Summation der Beleuchtungsintensitäten pro Bildzeile des optischen Sensors erstellt wird. Die Start-Bildzeile und die End-Bildzeile werden dann mittels des Zeilenhistogramms bestimmt. Damit werden die bildseitigen Bereiche außerhalb des bildseitigen Abstandsbereichs bestimmt. Dies ermöglicht in vorteilhafter weise die Ermittlung der Bild- Lage des dem objektseitigen sichtbaren Abstandsbereichs bildseitig zugeordneten Bereichs auf dem optischen Sensor. Insoweit ergibt sich nämlich aus der zeitlichen Ansteuerung der Beleuchtungseinrichtung einerseits und des optischen Sensors andererseits ein klarer Helligkeitsübergang am Beginn des bildseitigen Abstandsbereichs und am Ende des bildseitigen Abstandsbereichs. Dies ermöglicht letztlich die Bestimmung der Bereiche außerhalb des bildseitigen sichtbaren Abstandsbereichs, in welchem nach Bildinformationen, insbesondere von photolumineszierenden Objekten, gesucht wird. Unter einem Zeilenhistogramm wird hier insbesondere verstanden, dass den einzelnen Bildzeilen des optischen Sensors in dem Auswerte-Bereich die Summe der Beleuchtungsintensitäten über alle in dem Auswerte-Bereich liegenden Bildpunkte der jeweiligen Bildzeile zugeordnet werden. Auf diese Weise ist der entsprechend durch die zeitliche Ansteuerung entstehende Helligkeitsübergang sehr einfach und sicher in der Bildebene des optischen Sensors detektierbar.
Der Auswerte-Bereich ist gemäß einer bevorzugten Ausgestaltung mit dem Beobachtungsbereich identisch. Dies entspricht einer besonders einfach zu implementierenden Ausführungsform des Verfahrens. Es ist aber auch möglich, dass der Auswerte-Bereich gemäß einer anderen bevorzugten Ausgestaltung kleiner gewählt wird als der Beobachtungsbereich, insbesondere als ein interessierender Bereich oder „region of interest“, in dem sich die zu detektierenden Objekte befinden können. Dies erlaubt vorteilhaft eine schnellere und effizientere Durchführung des Verfahrens.
Indem nur die in dem Auswerte-Bereich liegenden Bildpunkte in die Summation einbezogen werden, kann der Auswerte-Bereich insbesondere auch horizontal beschränkt sein.
Vorzugsweise wird der Auswerte-Bereich in der Aufnahme vor Berechnung des Zeilenhistogramms durch eine GPS-Vorausschau, insbesondere unter Rückprojektion des Straßenverlaufs in die Bildebene, und/ oder durch eine Methode zum optischen Spur- Tracking identifiziert
Gemäß einer Weiterbildung der Erfindung ist vorgesehen, dass die Suche und Detektion der Bildinformationen mittels eines Mustererkennungsalgorithmus durchgeführt werden.
Gemäß einer Weiterbildung der Erfindung ist vorgesehen, dass die Suche und Detektion der Bildinformationen mittels Deep Learning durchgeführt werden.
Gemäß einer Weiterbildung der Erfindung ist vorgesehen, dass die detektierten Bildinformationen wiederhergestellt und gespeichert werden. Damit ist es insbesondere möglich dem Fahrer die detektierten Bildinformationen in Kombination mit der Aufnahme zu zeigen. Bei autonom fahrenden Fahrzeugen werden die detektierten Bildinformationen bevorzugt gespeichert, um die Reaktionen des Fahrzeugs nach der Fahrt nachvollziehen zu können. Gemäß einer Weiterbildung der Erfindung ist vorgesehen, dass zwei Aufnahmen, nämlich eine erste Aufnahme und eine zweite Aufnahme, mit dem optischen Sensor mittels zwei unterschiedlich zeitlich abgestimmter Ansteuerungen der Beleuchtungseinrichtung und des optischen Sensors aufgenommen werden. Die erste Aufnahme, die zweite Aufnahme und die detektierten Bildinformationen werden zu einer Gesamt-Aufnahme zusammenge fügt. Bevorzugt sind die sichtbaren Abstandsbereiche der ersten Aufnahme und der zwei ten Aufnahme nicht überlappend. Ein photolumineszierendes Objekt, welches im sichtba ren Abstandsbereich der ersten Aufnahme ist, wird in der ersten Aufnahme überbelichtet dargestellt. Vorteilhafterweise befindet sich das photolumineszierende Objekt nicht im sichtbaren Abstandsbereich der zweiten Aufnahme. Damit ist das Objekt auf Grund seiner nachleuchtenden Eigenschaft außerhalb des sichtbaren Abstandsbereichs zu erkennen.
In der Gesamt-Aufnahme wird bei der Kombination der ersten Aufnahme und der zweiten Aufnahme bevorzugt die überbelichtete Darstellung des Objekts aus der ersten Aufnahme durch die Darstellung des Objekts aus der zweiten Aufnahme ersetzt. Insbesondere auf diese Weise wird die detektierte Bildinformation wiederhergestellt.
Die Aufgabe wird auch gelöst, indem eine Steuereinrichtung geschaffen wird, die eingerichtet ist, um ein erfindungsgemäßes Verfahren oder ein Verfahren nach einer der zuvor beschriebenen Ausführungsformen durchzuführen. Die Steuereinrichtung ist vorzugsweise als Recheneinrichtung, besonders bevorzugt als Computer, oder als Steuergerät, insbesondere als Steuergerät eines Fahrzeugs, ausgebildet. In Zusammenhang mit der Steuereinrichtung ergeben sich insbesondere die Vorteile, die bereits in Zusammenhang mit dem Verfahren erläutert wurden.
Die Aufgabe wird auch gelöst, indem eine Detektionsvorrichtung geschaffen wird, die eine Beleuchtungseinrichtung, einen optischen Sensor, und eine erfindungsgemäße Steuereinrichtung oder eine Steuereinrichtung nach einem der zuvor beschriebenen Ausführungsbeispiele aufweist. In Zusammenhang mit der Detektionsvorrichtung ergeben sich insbesondere die Vorteile, die bereits in Zusammenhang mit dem Verfahren und der Steuereinrichtung erläutert wurden.
Die Steuereinrichtung ist bevorzugt einerseits mit der Beleuchtungseinrichtung und andererseits mit dem optischen Sensor wirkverbunden und eingerichtet zu deren Ansteuerung. Die Aufgabe wird schließlich auch gelöst, indem ein Kraftfahrzeug mit einer erfindungsgemäßen Detektionsvorrichtung oder einer Detektionsvorrichtung nach einem der zuvor beschriebenen Ausführungsbeispiele geschaffen wird. In Zusammenhang mit dem Kraftfahrzeug ergeben sich insbesondere die Vorteile, die bereits in Zusammenhang mit dem Verfahren, der Steuereinrichtung und der Detektionsvorrichtung erläutert wurden.
In vorteilhafter Ausgestaltung ist das Kraftfahrzeug als Lastkraftwagen ausgebildet. Es ist aber auch möglich, dass das Kraftfahrzeug ein Personenkraftwagen, ein Nutzfahrzeug, oder ein anderes Kraftfahrzeug ist.
Die Erfindung wird im Folgenden anhand der Zeichnung näher erläutert. Dabei zeigen:
Fig. 1 eine schematische Darstellung eines Ausführungsbeispiels eines
Kraftfahrzeugs mit einem Ausführungsbeispiel einer Detektionsvorrichtung;
Fig. 2 eine schematische Darstellung einer Aufnahme die im Rahmen einer
Ausführungsform des Verfahrens mit einem optischen Sensor aufgenommen ist, und
Fig. 3 eine schematische Darstellung eines Zeilenhistogramms, welches in einer Ausführungsform des Verfahrens verwendet wird.
Figur 1 zeigt eine schematische Darstellung eines Ausführungsbeispiels eines Kraftfahrzeugs 1, mit einem Ausführungsbeispiel einer Detektionsvorrichtung 3. Die Detektionsvorrichtung 3 weist eine Beleuchtungseinrichtung 5 und einen optischen Sensor 7 auf. Außerdem weist die Detektionsvorrichtung 3 eine Steuereinrichtung 9 auf, die hier nur schematisch dargestellt und in nicht explizit dargestellter Weise mit der Beleuchtungseinrichtung 5 und dem optischen Sensor 7 zu deren jeweiliger Ansteuerung wirkverbunden ist. Dargestellt in Figur 1 ist insbesondere ein Beleuchtungs-Frustum 11 der Beleuchtungseinrichtung 5 und ein Beobachtungsbereich 13 des optischen Sensors 7. Schraffiert dargestellt ist außerdem ein sichtbarer Abstandsbereich 15, der sich als Teilmenge des Beobachtungsbereichs 13 des optischen Sensors 7 ergibt.
In dem sichtbaren Abstandsbereich 15 ist ein Verkehrszeichen 17 angeordnet. Außerhalb des sichtbaren Abstandsbereichs 15 ist ein Verkehrszeichen 19 angeordnet. In Figur 1 ist auch ein Beginn 21 und ein Ende 23 des sichtbaren Abstandsbereichs 15 eingezeichnet.
Die Steuereinrichtung 9 ist insbesondere eingerichtet zur Durchführung einer im Folgenden näher beschriebenen Ausführungsform eines Verfahrens zur Detektion von verlorenen Bildinformationen in einer mittels einer Beleuchtungseinrichtung 5 und einem optischen Sensor 7 erzeugten Aufnahme 25.
Dabei werden die Beleuchtungseinrichtung 5 und der optische Sensor 7 zeitlich aufeinander abgestimmt angesteuert, wobei ein sichtbarer Abstandsbereichs 15 in dem Beobachtungsbereich 13 aus der zeitlichen Abstimmung der Ansteuerung der Beleuchtungseinrichtung 5 und des optischen Sensors 7 gegeben ist. Es wird eine Aufnahme des Beobachtungsbereichs 13 mit dem optischen Sensor 7 unter Anwendung der abgestimmten Ansteuerung aufgenommen.
Figur 2 zeigt eine schematische Darstellung einer solchen Aufnahme 25 in einer Bildebene des optischen Sensors 7. Dabei ist in Figur 2 eine Start-Bildzeile 27 für den Beginn 21 und eine End-Bildzeile 29 für das Ende 23 des sichtbaren Abstandsbereichs 15 in der Aufnahme 25 dargestellt. In der Aufnahme 25 sind außerdem die Bilder der Verkehrszeichen 17 und 19 dargestellt. In der Aufnahme 25 ist mit 17‘ das Bild des Verkehrszeichens 17 und mit 19‘ das Bild des Verkehrszeichens 19 bezeichnet. Aufgrund der retroreflektierenden Eigenschaft der Verkehrszeichen 17 und 19 ist im Bild des Verkehrszeichen 17‘ keine Beschriftung erkennbar. Das Verkehrszeichen 19 war wenige Augenblicke vor dem Erstellen der Aufnahme 25 im objektseitigen sichtbaren Abstandsbereich lokalisiert. Durch die photolumineszierende Eigenschaft des Verkehrszeichens 19 ist im Bild des Verkehrszeichens 19‘ die Beschriftung deutlich erkennbar.
Ein Verfahren zur Detektion von verlorenen Bildinformationen wird dann in den Bereichen oberhalb der End-Bildzeile 29 und unterhalb der Start-Bildzeile 27 eingesetzt, um Bildinformationen, vorzugsweise Objekte mit photolumineszierender Eigenschaft, zu suchen. Falls Bildinformationen 19‘ gefunden werden, werden diese Bildinformationen detektiert und der Steuereinrichtung 9 und damit dem Kraftfahrzeug 1 und/ oder dem Fahrer zur Verfügung gestellt. Vorzugsweise basiert das Verfahren zur Suche und Detektion von verlorenen Bildinformationen auf Mustererkennung oder Deep Learning.
Darüber hinaus ist in Figur 2 ein Auswerte-Bereich 31 eingezeichnet, welcher insbesondere durch eine GPS-Vorausschau und/ oder durch eine Methode zum optischen Spur-Tracking bestimmt werden kann. Der Auswerte-Bereich 31 ist hier als interessierender Bereich kleiner als der Beobachtungsbereich 13. Er kann aber auch mit diesem zusammenfallen.
Figur 3 zeigt eine schematische Darstellung eines Zeilenhistogramms 33 der Aufnahme 25 gemäß Figur 2 oder des Auswerte-Bereichs 31 der Aufnahme 25. In diesem Zeilenhistogramm 33 sind auf der Abszisse die einzelnen Bildzeilen des optischen Sensors 7 abgetragen, wobei auf der Ordinate für jede Bildzeile eine Summe der Beleuchtungsintensitäten pro Bildpunkt über alle Bildpunkte der jeweiligen Bildzeile in dem Auswerte-Bereich 31 aufgetragen ist. Dieses Zeilenhistogramm 33 wird über alle dem Auswertebereich 31 auf dem optischen Sensor 7 zugeordneten Bildzeilen mittels Summation der Beleuchtungsintensitäten pro Bildzeile des optischen Sensors 7 erstellt. Die Start-Bildzeile 27 und die End-Bildzeile 29 werden dann mittels der Zeilenhistogramms 33 ermittelt, wobei insbesondere aufgrund der zeitlich abgestimmten Ansteuerung der Beleuchtungseinrichtung 5 und des optischen Sensors 7 deutliche Intensitätssprünge einerseits in der Start-Bildzeile 27 und andererseits in der End- Bildzeile 29 erkennbar sind.

Claims

Patentansprüche
1. Verfahren zur Detektion von verlorenen Bildinformationen mittels einer Beleuchtungseinrichtung (5) und einem optischen Sensor (7), wobei
- eine Ansteuerung der Beleuchtungseinrichtung (5) und des optischen Sensors (7) zeitlich aufeinander abgestimmt werden, wobei
- ein sichtbarer Abstandsbereich (15) in einem Beobachtungsbereich (13) des optischen Sensors (7) aus der zeitlichen Abstimmung der Ansteuerung der Beleuchtungseinrichtung (5) und des optischen Sensors (7) gegeben ist, wobei eine Aufnahme (25) des Beobachtungsbereichs (13) mit dem optischen Sensor (7) mittels der abgestimmten Ansteuerung aufgenommen wird, wobei
- in der Aufnahme (25) in Bereichen außerhalb des bildseitigen sichtbaren Abstandsbereichs (15) Bildinformationen gesucht werden, und wobei
- gefundene Bildinformationen detektiert und zugänglich gemacht werden.
2. Verfahren nach Anspruch 1 , wobei für eine Identifizierung des bildseitigen sichtbaren Abstandsbereichs (15) ein Zeilenhistogramm (33) über alle einem Auswerte-Bereich (31) in dem Beobachtungsbereich (13) auf dem optischen Sensor (7) zugeordneten Bildzeilen mittels Summation der Beleuchtungsintensitäten pro Bildzeile des optischen Sensors (7) erstellt wird, wobei eine Start-Bildzeile und eine End-Bildzeile mittels des Zeilenhistogramms (33) bestimmt werden, und wobei die Bereiche der Aufnahme (25) außerhalb des bildseitigen sichtbaren Abstandsbereichs (15) mittels der Start-Bildzeile und der End-Bildzeile identifiziert werden.
3. Verfahren nach einem der vorhergehenden Ansprüche, wobei die Suche und die Detektion der Bildinformationen mittels Mustererkennung durchgeführt wird.
4. Verfahren nach einem der vorhergehenden Ansprüche, wobei die Suche und die Detektion der Bildinformationen mittels Deep Learning durchgeführt wird.
5. Verfahren nach einem der vorhergehenden Ansprüche, wobei die detektierten Bild informationen wiederhergestellt und gespeichert werden.
6. Verfahren nach einem der vorhergehenden Ansprüche, wobei zwei Aufnahmen (25) mit dem optischen Sensor (7) mittels zwei unterschiedlich zeitlich abgestimmter An steuerungen aufgenommen werden, und wobei die Aufnahmen (25) und die detek tierten Bildinformationen zu einer Gesamt-Aufnahme zusammengefügt werden.
7. Steuereinrichtung (9), eingerichtet zur Durchführung eines Verfahrens zur Detektion von verlorenen Bildinformationen nach einem der vorhergehenden Ansprüche.
8. Detektionsvorrichtung (3) mit einer Beleuchtungseinrichtung (5), einem optischen Sensor (7) und einer Steuereinrichtung (9) nach Anspruch 7.
9. Kraftfahrzeug (1) mit einer Detektionsvorrichtung (3) nach Anspruch 8.
PCT/EP2021/059798 2020-05-28 2021-04-15 Verfahren zur detektion von verlorenen bildinformationen, steuereinrichtung zur durchführung eines solchen verfahrens, detektionsvorrichtung mit einer solchen steuereinrichtung und kraftfahrzeug mit einer solchen detektionsvorrichtung WO2021239322A1 (de)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US17/928,202 US20230221411A1 (en) 2020-05-28 2021-04-15 Method for Detecting Lost Image Information, Control Apparatus for Carrying Out a Method of this Kind, Detection Device Having a Control Apparatus of this Kind and Motor Vehicle Having a Detection Device of this Kind
CN202180038721.XA CN115843338A (zh) 2020-05-28 2021-04-15 用于探测丢失的图像信息的方法、用于执行这种方法的控制装置、具有这种控制装置的探测装置和具有这种探测装置的机动车

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102020003218.4 2020-05-28
DE102020003218.4A DE102020003218A1 (de) 2020-05-28 2020-05-28 Verfahren zur Detektion von verlorenen Bildinformationen, Steuereinrichtung zur Durchführung eines solchen Verfahrens, Detektionsvorrichtung mit einer solchen Steuereinrichtung und Kraftfahrzeug mit einer solchen Detektionsvorrichtung

Publications (1)

Publication Number Publication Date
WO2021239322A1 true WO2021239322A1 (de) 2021-12-02

Family

ID=72613740

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2021/059798 WO2021239322A1 (de) 2020-05-28 2021-04-15 Verfahren zur detektion von verlorenen bildinformationen, steuereinrichtung zur durchführung eines solchen verfahrens, detektionsvorrichtung mit einer solchen steuereinrichtung und kraftfahrzeug mit einer solchen detektionsvorrichtung

Country Status (4)

Country Link
US (1) US20230221411A1 (de)
CN (1) CN115843338A (de)
DE (1) DE102020003218A1 (de)
WO (1) WO2021239322A1 (de)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017009848A1 (en) 2015-07-14 2017-01-19 Brightway Vision Ltd. Gated structured imaging
US20170052065A1 (en) * 2015-08-20 2017-02-23 Apple Inc. SPAD array with gated histogram construction
US20170234976A1 (en) * 2014-10-27 2017-08-17 Brightway Vision Ltd. High Dynamic Range Imaging of Environment with a High Intensity Reflecting/Transmitting Source

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10701321B2 (en) * 2015-02-27 2020-06-30 Sensormatic Electronics, LLC System and method for distributed video analysis
WO2016172696A1 (en) * 2015-04-24 2016-10-27 Us Government As Represented By The Secretary Of The Army Vascular targeting system
IL239129A0 (en) * 2015-06-01 2015-11-30 Brightway Vision Ltd Image improvements in car imaging systems

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170234976A1 (en) * 2014-10-27 2017-08-17 Brightway Vision Ltd. High Dynamic Range Imaging of Environment with a High Intensity Reflecting/Transmitting Source
WO2017009848A1 (en) 2015-07-14 2017-01-19 Brightway Vision Ltd. Gated structured imaging
US20170052065A1 (en) * 2015-08-20 2017-02-23 Apple Inc. SPAD array with gated histogram construction

Also Published As

Publication number Publication date
CN115843338A (zh) 2023-03-24
US20230221411A1 (en) 2023-07-13
DE102020003218A1 (de) 2020-10-15

Similar Documents

Publication Publication Date Title
DE102009023326B4 (de) Vorrichtung und Verfahren zum Detektieren eines kritischen Bereiches und Fußgängerdetektionsvorrichtung unter Verwendung derselben
WO2021233603A1 (de) Verfahren zur messung eines abstandes zwischen einem objekt und einem optischen sensor, steuereinrichtung zur durchführung eines solchen verfahrens, abstandsmessvorrichtung mit einer solchen steuereinrichtung und kraftfahrzeug mit einer solchen abstandsmessvorrichtung
EP2755859B1 (de) Verfahren und vorrichtung für ein assistenzsystem in einem fahrzeug zur durchführung eines autonomen oder teilautonomen fahrmanövers
EP1557694A1 (de) Verfahren zur Klassifizierung von Objekten
DE102020004690A1 (de) Verfahren zur Erkennung von Objekten, Steuereinrichtung zur Durchführung eines solchen Verfahrens, Erkennungsvorrichtung mit einer solchen Steuereinrichtung und Kraftfahrzeug mit einer solchen Erkennungsvorrichtung
DE102009006113A1 (de) Vorrichtung und Verfahren zur Sensorfusion mit dynamischen Objekten
EP1642770B1 (de) Verfahren zur Lenkung der Aufmerksamkeit eines Fahrers eines Fahrzeugs auf Objekte in einem Bild
DE102017130488A1 (de) Verfahren zur Klassifizierung von Parklücken in einem Umgebungsbereich eines Fahrzeugs mit einem neuronalen Netzwerk
DE102009050519A1 (de) Verfahren zur Fahrerinformation
WO2021239323A1 (de) Verfahren zur erkennung von bildartefakten, steuereinrichtung zur durchführung eines solchen verfahrens, erkennungsvorrichtung mit einer solchen steuereinrichtung und kraftfahrzeug mit einer solchen erkennungsvorrichtung
DE102012100463A1 (de) Vorrichtung und Verfahren zur Ermittlung und Ausgabe von Daten für eine automatische Lichtsteuerung für ein Fahrzeug
DE102016014709A1 (de) Verfahren zur Visualisierung eines Fahrzustandes
DE102015200131A1 (de) Verfahren und Fahrerassistenzsystem zum Unterstützen eines Fahrers eines Fahrzeugs
DE102004039740A1 (de) Verfahren und Vorrichtung zu Abstandsbestimmung und Objektbestimmung
DE102009036196A1 (de) Verfahren und Vorrichtung zur Verkehrszeichenerkennung für ein Fahrzeug
DE102013022050A1 (de) Verfahren zum Verfolgen eines Zielfahrzeugs, insbesondere eines Motorrads, mittels eines Kraftfahrzeugs, Kamerasystem und Kraftfahrzeug
DE102020110417A1 (de) Verfahren und System zur Assistenz eines Fahrers
WO2021239322A1 (de) Verfahren zur detektion von verlorenen bildinformationen, steuereinrichtung zur durchführung eines solchen verfahrens, detektionsvorrichtung mit einer solchen steuereinrichtung und kraftfahrzeug mit einer solchen detektionsvorrichtung
DE102019129737A1 (de) Verfahren zum Klassifizieren einer Umgebung eines Fahrzeugs
DE102016201070A1 (de) Verfahren und Vorrichtung zur Fahrerassistenz
Fürstenberg et al. Fahrzeugumfelderfassung mit mehrzeiligen Laserscannern (The Use of Multi-Layer Laser Scanners for Monitoring the Environment of Driving Vehicles)
DE102016119592A1 (de) Verfahren zum Erkennen von Objekten in einem Umgebungsbereich eines Kraftfahrzeugs unter Berücksichtigung von Sensordaten im infraroten Wellenlängenbereich, Objekterkennungsvorrichtung, Fahrerassistenzsystem sowie Kraftfahrzeug
DE102021001176A1 (de) Verfahren zur Erkennung eines bevorstehenden Frontalzusammenstoßes zwischen zwei Fahrzeugen
WO2022042902A1 (de) Verfahren zur objektverfolgung von mindestens einem objekt, steuereinrichtung zur durchführung eines solchen verfahrens, objektverfolgungsvorrichtung mit einer solchen steuereinrichtung und kraftfahrzeug mit einer solchen objektverfolgungsvorrichtung
EP1962245B1 (de) Verfahren und Vorrichtung zum Ermitteln des Bewegungszustands von Objekten

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21718881

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21718881

Country of ref document: EP

Kind code of ref document: A1