WO2021233603A1 - Verfahren zur messung eines abstandes zwischen einem objekt und einem optischen sensor, steuereinrichtung zur durchführung eines solchen verfahrens, abstandsmessvorrichtung mit einer solchen steuereinrichtung und kraftfahrzeug mit einer solchen abstandsmessvorrichtung - Google Patents

Verfahren zur messung eines abstandes zwischen einem objekt und einem optischen sensor, steuereinrichtung zur durchführung eines solchen verfahrens, abstandsmessvorrichtung mit einer solchen steuereinrichtung und kraftfahrzeug mit einer solchen abstandsmessvorrichtung Download PDF

Info

Publication number
WO2021233603A1
WO2021233603A1 PCT/EP2021/058733 EP2021058733W WO2021233603A1 WO 2021233603 A1 WO2021233603 A1 WO 2021233603A1 EP 2021058733 W EP2021058733 W EP 2021058733W WO 2021233603 A1 WO2021233603 A1 WO 2021233603A1
Authority
WO
WIPO (PCT)
Prior art keywords
distance
optical sensor
image line
area
image
Prior art date
Application number
PCT/EP2021/058733
Other languages
English (en)
French (fr)
Inventor
Fridtjof Stein
Original Assignee
Daimler Ag
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Daimler Ag filed Critical Daimler Ag
Priority to CN202180035957.8A priority Critical patent/CN115803656A/zh
Priority to US17/926,412 priority patent/US20230194719A1/en
Publication of WO2021233603A1 publication Critical patent/WO2021233603A1/de

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/02—Details
    • G01C3/06—Use of electric means to obtain final indication
    • G01C3/08—Use of electric radiation detectors
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/10—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
    • G01S17/18—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves wherein range gates are used
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/46—Indirect determination of position data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4865—Time delay measurement, e.g. time-of-flight measurement, time of arrival measurement or determining the exact position of a peak
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/536—Depth or shape recovery from perspective effects, e.g. by using vanishing points
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle

Definitions

  • the invention relates to a method for measuring a distance between an object and an optical sensor, a control device which is set up to carry out such a method, a distance measuring device with such a control device and a motor vehicle with such a distance measuring device.
  • the problem here is the determination of a foot point distance of a recognized object in the distance range, in particular if a vehicle in which such a method is carried out experiences nodding movements and / or a lane on which the vehicle is traveling has a lane course, which deviates from a horizontal course or at least has varying angles of attack to the horizontal.
  • the invention is therefore based on the object of providing a method for measuring a distance between an object and an optical sensor, a control device which is set up to carry out such a method, a To create a distance measuring device with such a control device and a motor vehicle with such a distance measuring device, the disadvantages mentioned being at least partially eliminated, preferably avoided.
  • the object is achieved in particular by creating a method for measuring a distance between an object and an optical sensor by means of an illumination device and the optical sensor.
  • the lighting device and the optical sensor are controlled in a time-coordinated manner.
  • a local position of a visible distance area in an observation area of the optical sensor is given by the timing of the activation of the lighting device and the optical sensor.
  • a recording of the visible distance range is recorded with the optical sensor by means of the coordinated control.
  • a start image line is determined for the beginning of the visible distance range in the recording.
  • an end image line is determined for the end of the visible distance range in the recording.
  • a foot-point image line is determined in the recording, the foot-point image line being that image line in which the object can be detected on the one hand and which has the smallest distance - in the image plane of the optical sensor - to the start image line on the other.
  • the distance of the object is determined by evaluating the image position of the base point image line relative to the start image line and the end image line, taking into account the local position of the visible distance area.
  • the distance between the object and the optical sensor in particular a so-called foot point distance or a so-called foot point distance, with high accuracy and at least largely unaffected by the vehicle's nodding movements in which the method is being carried out , and / or to determine an angle of incidence of a roadway on which the object is arranged relative to the horizontal.
  • the foot point distance of the object is interpolated from the image position of the foot point image line relative to the start image line and the end image line in the visible distance range.
  • the image area of the distance area on the optical sensor is known by determining the start image line on the one hand and the end image line on the other. Therefore, when the base point image line is found, from its position in the image area, i.e. the image position relative to the start image line and the end image line, it is possible to refer to the spatial, object-side position of the object within the object-side visible Distance range can be closed.
  • the method can be used particularly advantageously in automatically driving vehicles, in particular automatically driving trucks. Particularly when driving afterwards without a driver in front with a high range requirement, objects that are arranged in the vehicle's own lane and cannot be driven over can advantageously be detected with the aid of the method, in particular objects that are small compared to the size of the vehicle.
  • the method enables a timely and appropriate reaction to the detection of such objects and in particular to the detection of a distance between the vehicle and these objects.
  • Such an appropriate reaction can be, for example, emergency braking or driving on an evasive trajectory - possibly determined ad hoc.
  • Such small objects that cannot be driven over are typically also referred to as “lost cargo”. Such objects can also be people or animals lying on the street, in particular those who have had an accident.
  • the method for generating recordings by means of a time-coordinated control of the lighting device and optical sensor is in particular a method known as the gated imaging method;
  • the optical sensor is a camera that is only switched to be sensitive in a specific, restricted time range, which is referred to as “gated control”, which is the camera a gated camera.
  • the lighting device is also only actuated in a specific, selected time interval in order to illuminate a scene on the object side.
  • the lighting device emits a predefined number of light pulses, preferably with a duration between 5 ns and 20 ns.
  • the beginning and the end of the exposure of the optical sensor are linked to the number and duration of the emitted light pulses.
  • a certain visible distance range can be detected by the optical sensor through the temporal control of the lighting device on the one hand and the optical sensor on the other hand with a correspondingly defined local position, i.e. in particular a certain distance between the start of the distance range from the optical sensor and a certain distance range width .
  • the visible distance range is that - object-side - area in three-dimensional space, which is determined by the number and duration of the light pulses of the lighting device in connection with the start and end of the exposure of the optical sensor by means of the optical sensor in a two-dimensional image on an image plane of the optical Sensor is mapped.
  • the observation area is in particular the - object-side - area in three-dimensional space which, with sufficient illumination and exposure of the optical sensor by means of the optical sensor, could be mapped as a whole - in particular maximally - in a two-dimensional image.
  • the observation area corresponds to the entire exposable image area of the optical sensor that could theoretically be illuminated.
  • the visible distance range is thus a subset of the observation range in real space.
  • only a subset of the image plane of the optical sensor is exposed in the method proposed here, this sub-area of the image plane being given in particular between the start image line and the end image line.
  • object-side an area in real space, that is to say on the side of the object to be observed, is addressed.
  • image-side an area on the image plane of the optical sensor is addressed.
  • the observation area and the visible one Distance ranges are given on the object side. Due to the imaging laws and the timing of the lighting device and the optical sensor, associated image-side areas on the image plane correspond to them.
  • the method it is therefore possible, in particular, to define the position and spatial width of the visible distance range by a suitable selection of the timing of the lighting device on the one hand and the optical sensor on the other.
  • the visible distance range can be specified, the timing of the lighting device on the one hand and the optical sensor on the other hand being determined from this and being specified accordingly.
  • An image line is understood here to mean, in particular, the set of all image points of a recording in the image plane of the optical sensor which lie on a common horizontal line in the image plane.
  • the lighting device is a laser.
  • the optical sensor is a camera.
  • the base point image line is preferably determined as follows: In the recording, object recognition is carried out, in particular by means of pattern recognition, preferably using a classification algorithm and / or by means of deep learning. If an object is detected, they are recorded on the basis of this Detection or classification determined all image lines in which the object is displayed. Then that image line is determined as the base point image line which has the smallest distance to the start image line.
  • the method advantageously enables, in particular, the determination of the distance between the object and the optical sensor from a single recording.
  • the distance between the object and the optical sensor is therefore preferably determined from a single recording.
  • a line histogram is created over all image lines assigned to an evaluation area in the observation area on the optical sensor by summing the illumination intensities per image line of the optical sensor for recording the distance area.
  • the start image line and the end image line are then determined by means of the line histogram.
  • a line histogram is understood here in particular to mean that the individual image lines of the optical sensor in the evaluation area are assigned the sum of the illumination intensities over all image points of the respective image line located in the evaluation area. In this way, the brightness transition resulting from the time control can be detected very easily and reliably in the image plane of the optical sensor.
  • the evaluation area is identical to the observation area. This corresponds to a particularly easy one implementing embodiment of the method.
  • the evaluation area is selected to be smaller than the observation area, in particular as an area of interest or “region of interest” in which the objects to be detected can be located. This advantageously allows the method to be carried out more quickly and efficiently.
  • the evaluation area can in particular also be limited horizontally,
  • the evaluation area in the recording is preferably identified by a GPS preview, in particular with the road course being projected back into the image plane, and / or by a method for optical track tracking
  • an object distance is determined as the distance between the object and the optical sensor, a distance range width being determined as the difference between the end of the visible distance range and the start of the visible distance range.
  • a base point distance is determined as the picture line distance on the optical sensor between the base point picture line and the start picture line.
  • a distance area image width is determined as the image line distance between the end image line and the start image line.
  • the object distance is then finally determined as the sum of the start of the visible distance range, i.e. in particular the spatial distance between the start of the visible distance range and the optical sensor, and the product of the distance range width with the ratio of the base point distance to the distance range Image width.
  • the object distance is determined using the following formula: where x near the beginning of the visible distance range, x far the end of the visible distance range, accordingly the distance area width, v near the start image line, v far the end image line, and correspondingly (y far - v near ) the distance area image width, v the base point image line, correspondingly (v - v near ) the base point distance, and x is the object distance.
  • This procedure is ultimately based on the theorem of rays, whereby two assumptions are necessary for an application. On the one hand, the road surface course is assumed to be linear within the visible distance range.
  • the theorem of rays strictly requires that imaginary connecting lines between on the one hand the start image line and the beginning of the visible distance area and on the other hand the end image line and the end of the visible distance area are parallel to one another, which is generally not the case.
  • the distance between the optical sensor and the visible distance range is usually large enough to be able to assume with a good approximation that the corresponding imaginary lines are parallel, so that the theorem of rays can be applied with a very good approximation. It then follows that the ratio of the object distance minus the start of the visible distance area to the distance area width is equal to the ratio of the base point distance to the distance area image width. This relation is then resolved for the object distance and the above equation (1) is obtained from it.
  • the lighting device and the optical sensor are each designed for operation in the near-infrared range.
  • This has the advantage that the eyes of people and / or animals into which light from the lighting device happens to fall are not adversely affected.
  • a wavelength of more than 1.4 pm, in particular 1.55 pm, is particularly advantageously used, since this is particularly strongly absorbed by the lens and the cornea of the eye, so that at most a low intensity falls on the retina. It is also advantageous that other road users are not dazzled by the lighting device, in particular when driving at night.
  • a chronological sequence of recordings is created, the chronological coordination of the lighting device and the optical sensor being changed in such a way that a chronological change in the distance of the object is determined.
  • the timing for at least two recordings of the chronological sequence of recordings is changed.
  • the timing is particularly preferably changed for each recording of the timing sequence.
  • the timing for the recordings of the temporal sequence is changed in such a way that the base point image line is held approximately in the middle between the start image line and the end image line. From the change in the timing of the Control of the lighting device and the optical sensor, which is necessary for this, can then in turn be inferred from the change in distance of the object over time.
  • a dynamic distance measurement of the object is advantageously carried out in this way.
  • control device which is set up to carry out a method according to the invention or a method according to one of the embodiments described above.
  • the control device is preferably designed as a computing device, particularly preferably as a computer, or as a control device, in particular as a control device of a vehicle.
  • a computing device particularly preferably as a computer
  • control device in particular as a control device of a vehicle.
  • the object is also achieved by creating a distance measuring device which has a lighting device, an optical sensor, and a control device according to the invention or a control device according to one of the exemplary embodiments described above.
  • a distance measuring device which has a lighting device, an optical sensor, and a control device according to the invention or a control device according to one of the exemplary embodiments described above.
  • the control device is preferably operatively connected, on the one hand, to the lighting device and, on the other hand, to the optical sensor, and is set up to control them.
  • the object is finally also achieved by creating a motor vehicle with a distance measuring device according to the invention or a distance measuring device according to one of the exemplary embodiments described above.
  • a distance measuring device according to the invention or a distance measuring device according to one of the exemplary embodiments described above.
  • the motor vehicle is designed as a truck.
  • the motor vehicle it is also possible for the motor vehicle to be a passenger car, a utility vehicle, or another motor vehicle.
  • Fig. 1 is a schematic representation of an embodiment of a
  • Fig. 2 is a schematic representation of a recording in the context of a
  • Embodiment of the method with an optical sensor is included, and
  • FIG. 3 shows a schematic illustration of a line histogram which is used in one embodiment of the method.
  • FIG. 1 shows a schematic illustration of an exemplary embodiment of a motor vehicle 1, with an exemplary embodiment of a distance measuring device 3.
  • the distance measuring device 3 has an illumination device 5 and an optical sensor 7.
  • the distance measuring device 3 has a control device 9, which is only shown schematically here and is operatively connected in a manner not explicitly shown to the lighting device 5 and the optical sensor 7 for their respective control.
  • FIG. 1 shows a lighting frustum 11 of the lighting device 5 and an observation area 13 of the optical sensor 7.
  • a visible distance area 15, which results as a subset of the observation area 13 of the optical sensor 7, is also shown hatched.
  • An object 17 is arranged in the visible distance area 15.
  • a beginning 19 and an end 21 of the visible spacing region 15 are also shown in FIG.
  • the control device 9 is set up in particular to carry out an embodiment of a method for measuring a distance x between the object 17 and the optical sensor 7, which is described in more detail below.
  • the lighting device 5 and the optical sensor 7 are controlled in a chronologically coordinated manner, with a local position of the visible distance area 15 in the observation area 13 being given by the timing of the control of the lighting device 5 and the optical sensor 7. It a recording of the visible distance region 15 is recorded with the optical sensor 7 using the coordinated control.
  • Figure 2 shows a schematic representation of such a receptacle 23 in an image plane of the optical sensor 7.
  • the position of this start image line v near and the end image line i? ar is determined.
  • a base point image line v is determined in the recording 23 as that image line with the smallest distance from the start image line v near , in which the object 17 can be detected.
  • the distance of the object 17 is then determined by evaluating the image position of the base point image line v, that is, its position in the recording 23, relative to the start image line v near and the end image line v far , taking into account the object-side local position of the visible distance range 15 is determined.
  • 17 ‘designates the image of the object 17 in the receptacle 23.
  • an evaluation area 27 is shown in FIG. 2, which can be determined in particular by a GPS forecast and / or by a method for optical track tracking.
  • the evaluation area 27, as the area of interest, is smaller here than the observation area 13. However, it can also coincide with this.
  • an object distance x - cf. Figure 1 - as the distance between the object 17 and the optical sensor 7 determined by a spacer region width i x far ⁇ x near) 19 of the visible as the difference between the end 21 of the visible distance portion 15 and the start of Distance range 15 is determined.
  • a base point distance (v - v near ) is determined as the BNdzeilen distance on the optical sensor 7 between the base point image line v and the start image line v near .
  • a distance area image width (v far - v near ) is determined as the image line distance between the end image line v far and the start image line v near .
  • FIG. 3 shows a schematic representation of a line histogram 25 of the recording 23 according to FIG
  • the sum of the illumination intensities per image point is plotted over all image points of the respective image line in the evaluation area 27.
  • This line histogram 25 is created over all the image lines assigned to the evaluation area 27 on the optical sensor 7 by summing the illumination intensities per image line of the optical sensor 7.
  • the start image line v near and the end image line v far are then determined by means of the line histogram 25, with clear intensity jumps on the one hand in the start image line v near and on the other hand in the End image line v far are recognizable.
  • the lighting device 5 and the optical sensor 7 are preferably designed for operation in the near infrared range, in particular at 1.55 pm.
  • a temporal sequence of recordings 23 is preferably created, the timing of the lighting device 5 and the optical sensor 7 being changed in such a way that a temporal change in the distance between the object 17 can be determined.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Measurement Of Optical Distance (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

Die Erfindung betrifft ein Verfahren zur Messung eines Abstandes zwischen einem Objekt (17) und einem optischen Sensor (7) mittels einer Beleuchtungseinrichtung (5) und dem optischen Sensor (7), wobei - eine Ansteuerung der Beleuchtungseinrichtung (5) und des optischen Sensors (7) zeitlich aufeinander abgestimmt werden, wobei - eine örtliche Lage eines sichtbaren Abstandsbereich (15) in einem Beobachtungsbereich (13) des optischen Sensors (7) aus der zeitlichen Abstimmung der Ansteuerung der Beleuchtungseinrichtung (5) und des optischen Sensors (7) gegeben ist, wobei eine Aufnahme (23) des sichtbaren Abstandsbereichs (15) mit dem optischen Sensor (7) mittels der abgestimmten Ansteuerung aufgenommen wird, wobei - eine Start-Bildzeile für den Beginn (19) und eine End-Bildzeile für das Ende (21) des sichtbaren Abstandsbereichs (15) in der Aufnahme (23) bestimmt werden, wobei - in der Aufnahme (23) eine Fußpunkt-Bildzeile als diejenige Bildzeile mit dem geringsten Abstand zu der Start-Bildzeile ermittelt wird, in der das Objekt (17) detektierbar ist, und wobei - der Abstand des Objekts (17) durch Auswertung der Bild-Lage der Fußpunkt-Bildzeile relativ zu der Start-Bildzeile und der End-Bildzeile unter Berücksichtigung der örtlichen Lage des sichtbaren Abstandsbereichs (15) ermittelt wird.

Description

Verfahren zur Messung eines Abstandes zwischen einem Objekt und einem optischen Sensor, Steuereinrichtung zur Durchführung eines solchen Verfahrens, Abstandsmessvorrichtung mit einer solchen Steuereinrichtung und Kraftfahrzeug mit einer solchen Abstandsmessvorrichtung
Die Erfindung betrifft ein Verfahren zur Messung eines Abstandes zwischen einem Objekt und einem optischen Sensor, eine Steuereinrichtung, die eingerichtet ist zur Durchführung eines solchen Verfahrens, eine Abstandsmessvorrichtung mit einer solchen Steuereinrichtung und ein Kraftfahrzeug mit einer solchen Abstandsmessvorrichtung.
Verfahren zur Messung eines Abstandes zwischen einem Objekt und einem optischen Sensor mittels einer Beleuchtungseinrichtung und einem optischen Sensor sind bekannt. Aus der internationalen Patentanmeldung mit der Veröffentlichungsnummer WO 2017/009848 A1 geht ein solches Verfahren hervor, bei dem eine Beleuchtungseinrichtung und ein optischer Sensor zeitlich aufeinander abgestimmt angesteuert werden, um einen bestimmten sichtbaren Abstandsbereich in einem Beobachtungsbereich des optischen Sensors aufzunehmen, wobei sich der sichtbare Abstandsbereich aus der zeitlichen Abstimmung der Ansteuerung der Beleuchtungseinrichtung und des optischen Sensors ergibt.
Problematisch dabei ist die Ermittlung einer Fußpunkt-Entfernung eines erkannten Objekts in dem Abstandsbereich, insbesondere, wenn ein Fahrzeug, in dem ein solches Verfahren durchgeführt wird, Eigennickbewegungen erfährt, und/oder eine Fahrbahn, auf der das Fahrzeug unterwegs ist, einen Fahrbahnverlauf aufweist, der von einem horizontalen Verlauf abweicht oder zumindest variierende Anstellwinkel zur Horizontalen aufweist.
Der Erfindung liegt daher die Aufgabe zugrunde, ein Verfahren zur Messung eines Abstands zwischen einem Objekt und einem optischen Sensor, eine Steuereinrichtung, die eingerichtet ist zur Durchführung eines solchen Verfahrens, eine Abstandsmessvorrichtung mit einer solchen Steuereinrichtung und ein Kraftfahrzeug mit einer solchen Abstandsmessvorrichtung zu schaffen, wobei die genannten Nachteile zumindest teilweise behoben, vorzugsweise vermieden sind.
Die Aufgabe wird gelöst, indem die vorliegende technische Lehre bereitgestellt wird, insbesondere die Lehre der unabhängigen Ansprüche sowie der in den abhängigen Ansprüchen und der Beschreibung offenbarten Ausführungsformen.
Die Aufgabe wird insbesondere gelöst, indem ein Verfahren zur Messung eines Abstandes zwischen einem Objekt und einem optischen Sensor mittels einer Beleuchtungseinrichtung und dem optischen Sensor geschaffen wird. Dabei werden die Beleuchtungseinrichtung und der optische Sensor zeitlich aufeinander abgestimmt angesteuert. Eine örtliche Lage eines sichtbaren Abstandsbereichs in einem Beobachtungsbereichs des optischen Sensors ist dabei gegeben durch die zeitliche Abstimmung der Ansteuerung der Beleuchtungseinrichtung und des optischen Sensors. Es wird eine Aufnahme des sichtbaren Abstandsbereichs mit dem optischen Sensor mittels der abgestimmten Ansteuerung aufgenommen. Es wird eine Start-Bildzeile für den Beginn des sichtbaren Abstandsbereichs in der Aufnahme bestimmt. Weiterhin wird eine End-Bildzeile für das Ende des sichtbaren Abstandsbereichs in der Aufnahme bestimmt. Es wird eine Fußpunkt-Bildzeile in der Aufnahme bestimmt, wobei die Fußpunkt-Bildzeile diejenige Bildzeile ist, in der einerseits das Objekt detektierbar ist und die andererseits den geringsten Abstand - in der Bildebene des optischen Sensors - zu der Start-Bildzeile aufweist. Schließlich wird der Abstand des Objekts ermittelt, indem die Bild-Lage der Fußpunkt-Bildzeile relativ zu der Start-Bildzeile und der End-Bildzeile unter Berücksichtigung der örtlichen Lage des sichtbaren Abstandsbereichs ausgewertet wird.
Mithilfe des hier vorgeschlagenen Verfahrens ist es vorteilhaft möglich, den Abstand des Objekts zu dem optischen Sensor, insbesondere eine sogenannte Fußpunkt-Entfernung oder einen sogenannten Fußpunkt-Abstand, mit hoher Genauigkeit und zumindest weitgehend unbeeinflusst von Eigennickbewegungen eines Fahrzeugs, in dem das Verfahren durchgeführt wird, und/oder einem Anstellwinkel einer Fahrbahn, auf der das Objekt angeordnet ist, relativ zur Horizontalen zu ermitteln. Dies ist insbesondere deswegen möglich, da die Fußpunkt-Entfernung des Objekts aus der Bild-Lage der Fußpunkt-Bildzeile relativ zu der Start-Bildzeile und der End-Bildzeile in dem sichtbaren Abstandsbereich interpoliert wird. Man kennt nämlich aus der zeitlichen Ansteuerung der Beleuchtungseinrichtung einerseits und des optischen Sensors andererseits die örtliche Lage des sichtbaren Abstandsbereichs im realen Raum, das heißt objektseitig, während zugleich durch die Ermittlung der Start-Bildzeile einerseits und der End-Bildzeile andererseits der Bildbereich des Abstandsbereichs auf dem optischen Sensor bekannt ist. Daher kann nun vorteilhaft dann, wenn die Fußpunkt-Bildzeile aufgefunden ist, aus deren Lage im Bildbereich, das heißt der Bild-Lage, relativ zu der Start-Bildzeile und der End- Bildzeile auf die räumliche, objektseitige Lage des Objekts innerhalb des objektseitigen sichtbaren Abstandsbereichs geschlossen werden. Insbesondere ändert sich bei einer Variation des Anstellwinkels des Fahrbahnverlaufs zur Horizontalen - sowie auch bei einer Veränderung des Winkels des optischen Sensors zur Fahrbahn, beispielsweise aufgrund einer Eigennickbewegung - der Bildbereich des sichtbaren Abstandsbereichs auf dem optischen Sensor stark, was durch das hier vorgeschlagene Verfahren ohne Weiteres inhärent berücksichtigt wird und daher das korrekte Ergebnis der hier vorgeschlagenen Auswertung nicht beeinträchtigt.
Das Verfahren kann besonders vorteilhaft in automatisiert fahrenden Fahrzeugen, insbesondere automatisch fahrenden Lastkraftwagen, angewendet werden. Insbesondere bei einer Nachfahrt ohne Vorausfahrer mit hoher Reichweitenanforderung können vorteilhaft mithilfe des Verfahrens auf der eigenen Fahrspur des Fahrzeugs angeordnete, nicht überfahrbare Objekte detektiert werden, insbesondere Objekte, die klein sind im Vergleich zur Größe des Fahrzeugs. Das Verfahren ermöglicht eine rechtzeitige und angemessene Reaktion auf die Detektion solcher Objekte und insbesondere auf die Erkennung eines Abstands des Fahrzeugs zu diesen Objekten. Eine solche angemessene Reaktion kann beispielsweise eine Notbremsung oder das Befahren einer - gegebenenfalls ad hoc bestimmten - Ausweichtrajektorie sein.
Solche kleinen, nicht überfahrbaren Objekte werden typischerweise auch als „lost cargo“ bezeichnet. Es kann sich bei solchen Objekten aber auch um auf der Straße liegende, insbesondere verunfallte, Personen oder Tiere handeln.
Das Verfahren zur Erzeugung von Aufnahmen mittels einer zeitlich aufeinander abgestimmten Ansteuerung von Beleuchtungseinrichtung und optischem Sensor ist insbesondere ein als Gated-Imaging-Verfahren bekanntes Verfahren; insbesondere ist der optische Sensor eine Kamera, die nur in einem bestimmten, eingeschränkten Zeitbereich empfindlich geschaltet wird, was als „Gated-Ansteuerung“ bezeichnet wird, die Kamera ist also eine Gated-Kamera. Auch die Beleuchtungseinrichtung wird entsprechend zeitlich nur in einem bestimmten, ausgewählten Zeitintervall angesteuert, um eine objektseitige Szenerie auszuleuchten.
Insbesondere wird durch die Beleuchtungseinrichtung eine vordefinierte Anzahl von Lichtimpulsen ausgesandt, vorzugsweise mit einer Dauer zwischen 5 ns und 20 ns. Der Beginn und das Ende der Belichtung des optischen Sensors wird an die Anzahl und Dauer der abgegebenen Lichtimpulse gekoppelt. Daraus resultierend kann ein bestimmter sichtbarer Abstandsbereich durch die zeitliche Ansteuerung einerseits der Beleuchtungseinrichtung und andererseits des optischen Sensors mit entsprechend definierter örtliche Lage, das heißt insbesondere bestimmtem Abstand des Beginns des Abstandsbereichs von dem optischen Sensor und bestimmter Abstandsbereichs-Breite, durch den optischen Sensor erfasst werden.
Der sichtbare Abstandsbereich ist dabei derjenige - objektseitige - Bereich im dreidimensionalen Raum, welcher durch die Anzahl und Dauer der Lichtimpulse der Beleuchtungseinrichtung in Verbindung mit dem Start und dem Ende der Belichtung des optischen Sensors mittels des optischen Sensors in einer zweidimensionalen Aufnahme auf einer Bildebene des optischen Sensors abgebildet wird.
Der Beobachtungsbereich ist demgegenüber insbesondere der - objektseitige - Bereich im dreidimensionalen Raum, welcher bei ausreichender Beleuchtung und Belichtung des optischen Sensors mittels des optischen Sensors in einer zweidimensionalen Aufnahme insgesamt - insbesondere maximal - abgebildet werden könnte. Insbesondere entspricht der Beobachtungsbereich dem gesamten belichtbaren Bildbereich des optischen Sensors, der theoretisch ausgeleuchtet werden könnte. Der sichtbare Abstandsbereich ist somit eine Teilmenge des Beobachtungsbereich im realen Raum. Entsprechend wird auch nur eine Teilmenge der Bildebene des optischen Sensors bei dem hiervorgeschlagenen Verfahren belichtet, wobei dieser Teilbereich der Bildebene insbesondere zwischen der Start-Bildzeile und der End-Bildzeile gegeben ist.
Soweit hier und im Folgenden von „objektseitig“ die Rede ist, ist ein Bereich im realen Raum, das heißt auf Seiten des zu beobachtenden Objekts, angesprochen. Soweit hier und im Folgenden von „bildseitig“ die Rede ist, ist ein Bereich auf der Bildebene des optischen Sensors angesprochen. Der Beobachtungsbereich und der sichtbare Abstandsbereich sind dabei objektseitig gegeben. Ihnen entsprechen durch die Abbildungsgesetze sowie die zeitliche Ansteuerung der Beleuchtungseinrichtung und des optischen Sensors zugeordnete bildseitige Bereiche auf der Bildebene.
Abhängig von dem Start und dem Ende der Belichtung des optischen Sensors nach dem Beginn der Beleuchtung durch die Beleuchtungseinrichtung treffen Lichtimpulsphotonen auf den optischen Sensor. Je weiter der sichtbare Abstandsbereich von der Beleuchtungseinrichtung und dem optischen Sensor entfernt ist, desto länger ist die zeitliche Dauer bis ein Photon, welches in diesem Abstandsbereich reflektiert wird, auf den optischen Sensor trifft. Daher verlängert sich der zeitliche Abstand zwischen einem Ende der Beleuchtung und einem Beginn der Belichtung, je weiter der sichtbare Abstandsbereich von der Beleuchtungseinrichtung und von dem optischen Sensor entfernt ist.
Es ist also gemäß einer Ausgestaltung des Verfahrens insbesondere möglich, durch entsprechende geeignete Wahl der zeitlichen Ansteuerung der Beleuchtungseinrichtung einerseits und des optischen Sensors andererseits die Lage und räumliche Breite des sichtbaren Abstandsbereichs zu definieren.
In einer alternativen Ausgestaltung des Verfahrens kann der sichtbare Abstandsbereich vorgegeben sein, wobei daraus die zeitliche Abstimmung der Beleuchtungseinrichtung einerseits und des optischen Sensors andererseits bestimmt und entsprechend vorgegeben wird.
Unter einer Bildzeile wird hier insbesondere die Menge aller Bildpunkte einer Aufnahme in der Bildebene des optischen Sensors verstanden, die auf einer gemeinsamen horizontalen Linie in der Bildebene liegen.
Die Beleuchtungseinrichtung ist in bevorzugter Ausgestaltung ein Laser. Der optische Sensor ist in bevorzugter Ausgestaltung eine Kamera.
Die Ermittlung der Fußpunkt-Bildzeile erfolgt bevorzugt folgendermaßen: In der Aufnahme wird eine Objekterkennung insbesondere mittels Mustererkennung, vorzugsweise unter Anwendung eines Klassifikationsalgorithmus und/oder mittels Deep Learning durchgeführt. Wird ein Objekt erkannt, werden in der Aufnahme auf der Grundlage dieser Erkennung beziehungsweise Klassifikation alle Bildzeilen ermittelt, in denen das Objekt dargestellt ist. Sodann wird diejenige Bildzeile als Fußpunkt-Bildzeile ermittelt, die den kleinsten Abstand zu der Start-Bildzeile aufweist.
Das Verfahren ermöglicht vorteilhaft insbesondere die Bestimmung des Abstands zwischen dem Objekt und dem optischen Sensor aus einer einzigen Aufnahme.
Bevorzugt wird daher der Abstand zwischen dem Objekt und dem optischen Sensor aus einer einzigen Aufnahme bestimmt. Es ist aber möglich, eine Mehrzahl von Aufnahmen in die Auswertung mit einzubeziehen, insbesondere um einen Messfehler zu reduzieren und/oder die Genauigkeit der Abstandsbestimmung zu erhöhen.
Gemäß einer Weiterbildung der Erfindung ist vorgesehen, dass für die Aufnahme des Abstandsbereichs ein Zeilenhistogramm über alle einem Auswerte-Bereich in dem Beobachtungsbereich auf dem optischen Sensor zugeordneten Bildzeilen mittels Summation der Beleuchtungsintensitäten pro Bildzeile des optischen Sensors erstellt wird. Die Start-Bildzeile und die End-Bildzeile werden dann mittels des Zeilenhistogramms bestimmt. Dies ermöglicht in vorteilhafter Weise die Ermittlung der Bild-Lage des dem objektseitigen sichtbaren Abstandsbereichs bildseitig zugeordneten Bereichs auf dem optischen Sensor. Insoweit ergibt sich nämlich aus der zeitlichen Ansteuerung der Beleuchtungseinrichtung einerseits und des optischen Sensors andererseits ein klarer Helligkeitsübergang am Beginn des bildseitigen Abstandsbereichs und am Ende des bildseitigen Abstandsbereichs. Dies ermöglicht letztlich die Bestimmung des Objektabstands durch Interpolation der Lage der Fußpunkt-Bildzeile relativ zu der Start- Bildzeile und der End-Bildzeile.
Unter einem Zeilenhistogramm wird hier insbesondere verstanden, dass den einzelnen Bildzeilen des optischen Sensors in dem Auswerte-Bereich die Summe der Beleuchtungsintensitäten über alle in dem Auswerte-Bereich liegenden Bildpunkte der jeweiligen Bildzeile zugeordnet werden. Auf diese Weise ist der entsprechend durch die zeitliche Ansteuerung entstehende Helligkeitsübergang sehr einfach und sicher in der Bildebene des optischen Sensors detektierbar.
Der Auswerte-Bereich ist gemäß einer bevorzugten Ausgestaltung mit dem Beobachtungsbereich identisch. Dies entspricht einer besonders einfach zu implementierenden Ausführungsform des Verfahrens. Es ist aber auch möglich, dass der Auswerte-Bereich gemäß einer anderen bevorzugten Ausgestaltung kleiner gewählt wird als der Beobachtungsbereich, insbesondere als ein interessierender Bereich oder „region of interest“, in dem sich die zu detektierenden Objekte befinden können. Dies erlaubt vorteilhaft eine schnellere und effizientere Durchführung des Verfahrens.
Indem nur die in dem Auswerte-Bereich liegenden Bildpunkte in die Summation einbezogen werden, kann der Auswerte-Bereich insbesondere auch horizontal beschränkt sein,
Vorzugsweise wird der Auswerte-Bereich in der Aufnahme vor Berechnung des Zeilenhistogramms durch eine GPS-Vorausschau, insbesondere unter Rückprojektion des Straßenverlufs in die Bildebene, und/ oder durch eine Methode zum optischen Spur- Tracking identifiziert
Gemäß einer Weiterbildung der Erfindung ist vorgesehen, dass als Abstand zwischen dem Objekt und dem optischen Sensor ein Objekt-Abstand bestimmt wird, wobei eine Abstandsbereichsbreite als Differenz von dem Ende des sichtbaren Abstandsbereichs und dem Beginn des sichtbaren Abstandsbereichs bestimmt wird. Es wird ein Fußpunkt- Abstand als Bildzeilen-Abstand auf dem optischen Sensor zwischen der Fußpunkt- Bildzeile und der Start-Bildzeile bestimmt. Weiterhin wird eine Abstandsbereichs- Bildbreite als Bildzeilen-Abstand zwischen der End-Bildzeile und der Start-Bildzeile ermittelt. Der Objekt-Abstand wird dann schließlich ermittelt als Summe aus dem Beginn des sichtbaren Abstandsbereichs, das heißt insbesondere des räumlichen Abstands zwischen dem Beginn des sichtbaren Abstandsbereichs und dem optischen Sensor, und dem Produkt aus der Abstandsbereichsbreite mit dem Verhältnis des Fußpunkt-Abstands zu der Abstandsbereichs-Bildbreite. Insbesondere wird der Objekt-Abstand bestimmt nach folgender Formel:
Figure imgf000009_0001
wobei xnear der Beginn des sichtbaren Abstandsbereichs, xfar das Ende des sichtbaren Abstandsbereichs, entsprechend
Figure imgf000009_0002
die Abstandsbereichsbreite, vnear die Start-Bildzeile, vfar die End-Bildzeile, und entsprechend (yfar - vnear) die Abstandsbereichs-Bildbreite, v die Fußpunkt-Bildzeile, entsprechend ( v - vnear) der Fußpunkt-Abstand, und x der Objekt-Abstand ist. Diese Vorgehensweise beruht letztlich auf dem Strahlensatz, wobei zwei Annahmen für eine Anwendung notwendig sind. Zum einen wird der Fahrbahn-Oberflächenverlauf innerhalb des sichtbaren Abstandsbereichs als linear angenommen. Zum anderen setzt der Strahlensatz dabei streng genommen voraus, dass gedachte Verbindungslinien zwischen einerseits der Start-Bildzeile und dem Beginn des sichtbaren Abstandsbereichs und andererseits der End-Bildzeile und dem Ende des sichtbaren Abstandsbereichs zueinander parallel sind, was im Allgemeinen nicht der Fall ist. Der Abstand zwischen dem optischen Sensor und dem sichtbaren Abstandsbereich ist aber in der Regel groß genug, um jedenfalls mit guter Näherung annehmen zu können, dass die entsprechenden gedachten Linien parallel sind, sodass der Strahlensatz jedenfalls mit sehr guter Näherung angewendet werden kann. Es ergibt sich dann, dass das Verhältnis des Objekt- Abstands minus den Beginn des sichtbaren Abstandsbereichs zu der Abstandsbereichsbreite gleich ist dem Verhältnis des Fußpunkt-Abstands zu der Abstandsbereichs-Bildbreite. Diese Relation wird dann nach dem Objekt-Abstand aufgelöst und daraus die oben genannte Gleichung (1) erhalten.
Gemäß einer Weiterbildung der Erfindung ist vorgesehen, dass die Beleuchtungseinrichtung und der optische Sensor jeweils für den Betrieb im Nahinfrarotbereich ausgelegt sind. Dies hat den Vorteil, dass Augen von Personen und/oder Tieren, in die zufällig Licht der Beleuchtungseinrichtung fällt, nicht nachteilig beeinträchtigt werden. Besonders vorteilhaft wird eine Wellenlänge von mehr als 1 ,4 pm, insbesondere 1,55 pm, verwendet, da diese insbesondere von der Linse und der Hornhaut des Auges stark absorbiert wird, sodass höchstens eine geringe Intensität auf die Netzhaut fällt. Vorteilhaft ist weiterhin, dass andere Verkehrsteilnehmer durch die Beleuchtungseinrichtung nicht geblendet werden, insbesondere bei Nachtfahrt.
Gemäß einer Weiterbildung der Erfindung ist vorgesehen, dass eine zeitliche Abfolge von Aufnahmen erstellt wird, wobei die zeitliche Abstimmung der Beleuchtungseinrichtung und des optischen Sensors so verändert wird, dass eine zeitliche Abstandsänderung des Objekts bestimmt wird. Insbesondere wird die zeitliche Abstimmung für wenigstens zwei Aufnahmen der zeitlichen Abfolge von Aufnahmen verändert. Besonders bevorzugt wird die zeitliche Abstimmung für jede Aufnahme der zeitlichen Abfolge verändert. Insbesondere wird die zeitliche Abstimmung für die Aufnahmen der zeitlichen Abfolge derart verändert, dass die Fußpunkt-Bildzeile ungefähr mittig zwischen der Start-Bildzeile und der End-Bildzeile gehalten wird. Aus der Änderung in der zeitlichen Abstimmung der Ansteuerung der Beleuchtungseinrichtung und des optischen Sensors, die hierfür nötig ist, kann dann wiederum auf die zeitliche Abstandsänderung des Objekts rückgeschlossen werden. Vorteilhaft wird so eine dynamische Abstandsmessung des Objekts durchgeführt.
Die Aufgabe wird auch gelöst, indem eine Steuereinrichtung geschaffen wird, die eingerichtet ist, um ein erfindungsgemäßes Verfahren oder ein Verfahren nach einer der zuvor beschriebenen Ausführungsformen durchzuführen. Die Steuereinrichtung ist vorzugsweise als Recheneinrichtung, besonders bevorzugt als Computer, oder als Steuergerät, insbesondere als Steuergerät eines Fahrzeugs, ausgebildet. In Zusammenhang mit der Steuereinrichtung ergeben sich insbesondere die Vorteile, die bereits in Zusammenhang mit dem Verfahren erläutert wurden.
Die Aufgabe wird auch gelöst, indem eine Abstandsmessvorrichtung geschaffen wird, die eine Beleuchtungseinrichtung, einen optischen Sensor, und eine erfindungsgemäße Steuereinrichtung oder eine Steuereinrichtung nach einem der zuvor beschriebenen Ausführungsbeispiele aufweist. In Zusammenhang mit der Abstandsmessvorrichtung ergeben sich insbesondere die Vorteile, die bereits in Zusammenhang mit dem Verfahren und der Steuereinrichtung erläutert wurden.
Die Steuereinrichtung ist bevorzugt einerseits mit der Beleuchtungseinrichtung und andererseits mit dem optischen Sensor wirkverbunden und eingerichtet zu deren Ansteuerung.
Die Aufgabe wird schließlich auch gelöst, indem ein Kraftfahrzeug mit einer erfindungsgemäßen Abstandsmessvorrichtung oder einer Abstandsmessvorrichtung nach einem der zuvor beschriebenen Ausführungsbeispiele geschaffen wird. In Zusammenhang mit dem Kraftfahrzeug ergeben sich insbesondere die Vorteile, die bereits in Zusammenhang mit dem Verfahren, der Steuereinrichtung und der Abstandsmessvorrichtung erläutert wurden.
In vorteilhafter Ausgestaltung ist das Kraftfahrzeug als Lastkraftwagen ausgebildet. Es ist aber auch möglich, dass das Kraftfahrzeug ein Personenkraftwagen, ein Nutzfahrzeug, oder ein anderes Kraftfahrzeug ist.
Die Erfindung wird im Folgenden anhand der Zeichnung näher erläutert. Dabei zeigen: Fig. 1 eine schematische Darstellung eines Ausführungsbeispiels eines
Kraftfahrzeugs mit einem Ausführungsbeispiel einer Abstandsmessvorrichtung;
Fig. 2 eine schematische Darstellung einer Aufnahme die im Rahmen einer
Ausführungsform des Verfahrens mit einem optischen Sensor aufgenommen ist, und
Fig. 3 eine schematische Darstellung eines Zeilenhistogramms, welches in einer Ausführungsform des Verfahrens verwendet wird.
Figur 1 zeigt eine schematische Darstellung eines Ausführungsbeispiels eines Kraftfahrzeugs 1, mit einem Ausführungsbeispiel einer Abstandsmessvorrichtung 3. Die Abstandsmessvorrichtung 3 weist eine Beleuchtungseinrichtung 5 und einen optischen Sensor 7 auf. Außerdem weist die Abstandsmessvorrichtung 3 eine Steuereinrichtung 9 auf, die hier nur schematisch dargestellt und in nicht explizit dargestellter Weise mit der Beleuchtungseinrichtung 5 und dem optischen Sensor 7 zu deren jeweiliger Ansteuerung wirkverbunden ist. Dargestellt in Figur 1 ist insbesondere ein Beleuchtungs-Frustum 11 der Beleuchtungseinrichtung 5 und ein Beobachtungsbereich 13 des optischen Sensors 7. Schraffiert dargestellt ist außerdem ein sichtbarer Abstandsbereich 15, der sich als Teilmenge des Beobachtungsbereichs 13 des optischen Sensors 7 ergibt.
In dem sichtbaren Abstandsbereich 15 ist ein Objekt 17 angeordnet.
In Figur 1 ist auch ein Beginn 19 und ein Ende 21 des sichtbaren Abstandsbereichs 15 eingezeichnet.
Die Steuereinrichtung 9 ist insbesondere eingerichtet zur Durchführung einer im Folgenden näher beschriebenen Ausführungsform eines Verfahrens zur Messung eines Abstandes x zwischen dem Objekt 17 und dem optischen Sensor 7.
Dabei werden die Beleuchtungseinrichtung 5 und der optische Sensor 7 zeitlich aufeinander abgestimmt angesteuert, wobei eine örtliche Lage des sichtbaren Abstandsbereichs 15 in dem Beobachtungsbereich 13 aus der zeitlichen Abstimmung der Ansteuerung der Beleuchtungseinrichtung 5 und des optischen Sensors 7 gegeben ist. Es wird eine Aufnahme des sichtbaren Abstandsbereichs 15 mit dem optischen Sensor 7 unter Anwendung der abgestimmten Ansteuerung aufgenommen.
Figur 2 zeigt eine schematische Darstellung einer solchen Aufnahme 23 in einer Bildebene des optischen Sensors 7. Dabei ist in Figur 2 eine Start-Bildzeile vnear für den Beginn 19 und eine End-Bildzeile vfar für das Ende 21 des sichtbaren Abstandsbereichs 15 in der Aufnahme 23 dargestellt. Die Lage dieser Start-Bildzeile vnear sowie der End- Bildzeile i? arwird bestimmt. In der Aufnahme 23 wird außerdem eine Fußpunkt-Bildzeile v bestimmt als diejenige Bildzeile mit dem geringsten Abstand zu der Start-Bildzeile vnear, in der das Objekt 17 detektierbar ist. Der Abstand des Objekts 17 wird dann durch Auswertung der Bild-Lage der Fußpunkt-Bildzeile v, das heißt deren Lage in der Aufnahme 23, relativ zu der Start-Bildzeile vnear und der End-Bildzeile vfar, unter Berücksichtigung der objektseitigen örtlichen Lage des sichtbaren Abstandsbereichs 15 ermittelt.
In Figur 2 ist mit 17‘ das Bild des Objekts 17 in der Aufnahme 23 bezeichnet.
Darüber hinaus ist in Figur 2 ein Auswerte-Bereich 27 eingezeichnet, welcher insbesondere durch eine GPS-Vorausschau und/ oder durch eine Methode zum optischen Spur-Tracking bestimmt werden kann. Der Auswerte-Bereich 27 ist hier als interessierender Bereich kleiner als der Beobachtungsbereich 13. Er kann aber auch mit diesem zusammenfallen.
Insbesondere wird ein Objektabstand x - vgl. Figur 1 - als Abstand zwischen dem Objekt 17 und dem optischen Sensor 7 bestimmt, indem eine Abstandsbereichsbreite ixfar ~ xnear ) als Differenz von dem Ende 21 des sichtbaren Abstandsbereichs 15 und dem Beginn 19 des sichtbaren Abstandsbereichs 15 bestimmt wird. Ein Fußpunkt- Abstand ( v - vnear) wird als BNdzeilen-Abstand auf dem optischen Sensor 7 zwischen der Fußpunkt-Bildzeile v und der Start-Bildzeile vnear bestimmt. Eine Abstandsbereichs- Bildbreite ( vfar - vnear ) wird als Bildzeilen-Abstand zwischen der End-Bildzeile vfar und der Start-Bildzeile vnear ermittelt. Der Objektabstand x wird dann ermittelt als Summe aus dem Beginn 19 des sichtbaren Abstandsbereichs 15 und dem Produkt aus der Abstandsbereichsbreite
Figure imgf000013_0001
mit dem Verhältnis des Fußpunkt-Abstands ( v - Vnear zu der Abstandsbereichs-Bildbreite ( vfar - vnear ) Insbesondere wird der Objektabstand x ermittelt nach der oben gegebenen Gleichung (1). Figur 3 zeigt eine schematische Darstellung eines Zeilenhistogramms 25 der Aufnahme 23 gemäß Figur 2 oder des Auswerte-Bereichs 27 der Aufnahme 23. In diesem Zeilenhistogramm 25 sind auf der Abszisse die einzelnen Bildzeilen des optischen Sensors 7 abgetragen, wobei auf der Ordinate für jede Bildzeile eine Summe der Beleuchtungsintensitäten pro Bildpunkt über alle Bildpunkte der jeweiligen Bildzeile in dem Auswerte-Bereich 27 aufgetragen ist. Dieses Zeilenhistogramm 25 wird über alle dem Auswertebereich 27 auf dem optischen Sensor 7 zugeordneten Bildzeilen mittels Summation der Beleuchtungsintensitäten pro Bildzeile des optischen Sensors 7 erstellt. Die Start-Bildzeile vnear und die End-Bildzeile vfar werden dann mittels der Zeilenhistogramms 25 ermittelt, wobei insbesondere aufgrund der zeitlich abgestimmten Ansteuerung der Beleuchtungseinrichtung 5 und des optischen Sensors 7 deutliche Intensitätssprünge einerseits in der Start-Bildzeile vnear und andererseits in der End- Bildzeile vfar erkennbar sind.
Die Beleuchtungseinrichtung 5 und der optische Sensor 7 sind bevorzugt ausgelegt für den Betrieb im nahen Infrarotbereich, insbesondere bei 1,55 pm.
Im Rahmen des Verfahrens wird bevorzugt eine zeitliche Abfolge von Aufnahmen 23 erstellt, wobei die zeitliche Abstimmung der Beleuchtungseinrichtung 5 und des optischen Sensors 7 so verändert wird, dass eine zeitliche Abstandsänderung des Objekts 17 bestimmt werden kann.

Claims

Patentansprüche
1. Verfahren zur Messung eines Abstandes zwischen einem Objekt (17) und einem optischen Sensor (7) mittels einer Beleuchtungseinrichtung (5) und dem optischen Sensor (7), wobei
- eine Ansteuerung der Beleuchtungseinrichtung (5) und des optischen Sensors (7) zeitlich aufeinander abgestimmt werden, wobei
- eine örtliche Lage eines sichtbaren Abstandsbereich (15) in einem Beobachtungsbereich (13) des optischen Sensors (7) aus der zeitlichen Abstimmung der Ansteuerung der Beleuchtungseinrichtung (5) und des optischen Sensors (7) gegeben ist, wobei eine Aufnahme (23) des sichtbaren Abstandsbereichs (15) mit dem optischen Sensor (7) mittels der abgestimmten Ansteuerung aufgenommen wird, wobei
- eine Start-Bildzeile für den Beginn (19) und eine End-Bildzeile für das Ende (21) des sichtbaren Abstandsbereichs (15) in der Aufnahme (23) bestimmt werden, wobei
- in der Aufnahme (23) eine Fußpunkt-Bildzeile als diejenige Bildzeile mit dem geringsten Abstand zu der Start-Bildzeile ermittelt wird, in der das Objekt (17) detektierbar ist, und wobei
- der Abstand des Objekts (17) durch Auswertung der Bild-Lage der Fußpunkt- Bildzeile relativ zu der Start-Bildzeile und der End-Bildzeile unter Berücksichtigung der örtlichen Lage des sichtbaren Abstandsbereichs (15) ermittelt wird.
2. Verfahren nach Anspruch 1 , wobei für die Aufnahme (23) des Abstandsbereichs (15) ein Zeilenhistogramm (25) über alle einem Auswerte-Bereich (27) in dem Beobachtungsbereich (13) auf dem optischen Sensor (7) zugeordneten Bildzeilen mittels Summation der Beleuchtungsintensitäten pro Bildzeile des optischen Sensors (7) erstellt wird, und wobei die Start-Bildzeile und die End-Bildzeile mittels des Zeilenhistogramms (25) bestimmt werden.
3. Verfahren nach einem der vorhergehenden Ansprüche, wobei ein Objekt-Abstand als Abstand zwischen dem Objekt (17) und dem optischen Sensor (7) bestimmt wird, wobei eine Abstandsbereichsbreite als Differenz von dem Ende (21) des sichtbaren Abstandsbereichs (15) und dem Beginn (19) des sichtbaren Abstandsbereichs (15) bestimmt wird, wobei ein Fußpunkt-Abstand als Bildzeilen- Abstand auf dem optischen Sensor (7) zwischen der Fußpunkt-Bildzeile und der Start-Bildzeile bestimmt wird, wobei eine Abstandsbereichs-Bildbreite als Bildzeilen- Abstand zwischen der End-Bildzeile und der Start-Bildzeile ermittelt wird, wobei der Objekt-Abstand ermittelt wird als Summe aus dem Beginn (19) des sichtbaren Abstandsbereichs (15) und dem Produkt aus der Abstandsbereichsbreite mit dem Verhältnis des Fußpunkt-Abstands zu der Abstandsbereichs-Bildbreite.
4. Verfahren nach einem der vorhergehenden Ansprüche, wobei die Beleuchtungseinrichtung (5) und der optische Sensor (7) für den Betrieb im Nahinfrarotbereich ausgelegt sind.
5. Verfahren nach einem der vorhergehenden Ansprüche, wobei eine zeitliche Abfolge von Aufnahmen (23) erstellt wird, wobei die zeitliche Abstimmung der Beleuchtungseinrichtung (5) und des optischen Sensors (7) so verändert wird, dass eine zeitliche Abstandsänderung des Objekts (17) bestimmt wird.
6. Steuereinrichtung (9) eingerichtet zur Durchführung eines Verfahrens zur Abstandsmessung nach einem der vorhergehenden Ansprüche.
7. Abstandsmessvorrichtung (3), mit einer Beleuchtungseinrichtung (5), einem optischen Sensor (7), und einer Steuereinrichtung (9) nach Anspruch 6.
8. Kraftfahrzeug (1) mit einer Abstandsmessvorrichtung (3) nach Anspruch 7.
PCT/EP2021/058733 2020-05-19 2021-04-01 Verfahren zur messung eines abstandes zwischen einem objekt und einem optischen sensor, steuereinrichtung zur durchführung eines solchen verfahrens, abstandsmessvorrichtung mit einer solchen steuereinrichtung und kraftfahrzeug mit einer solchen abstandsmessvorrichtung WO2021233603A1 (de)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202180035957.8A CN115803656A (zh) 2020-05-19 2021-04-01 用于测量对象与光学传感器之间的距离的方法、用于执行这种方法的控制装置、具有这种控制装置的测距装置和具有这种测距装置的机动车
US17/926,412 US20230194719A1 (en) 2020-05-19 2021-04-01 Method for Measuring a Distance Between an Object and an Optical Sensor, Control Device for Carrying Out Such a Method, Distance Measuring Apparatus Comprising Such a Control Device, and Motor Vehicle Comprising Such a Distance Measuring Apparatus

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102020002994.9A DE102020002994B4 (de) 2020-05-19 2020-05-19 Verfahren zur Messung eines Abstandes zwischen einem Objekt und einem optischen Sensor, Steuereinrichtung zur Durchführung eines solchen Verfahrens, Abstandsmessvorrichtung mit einer solchen Steuereinrichtung und Kraftfahrzeug mit einer solchen Abstandsmessvorrichtung
DE102020002994.9 2020-05-19

Publications (1)

Publication Number Publication Date
WO2021233603A1 true WO2021233603A1 (de) 2021-11-25

Family

ID=71079896

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2021/058733 WO2021233603A1 (de) 2020-05-19 2021-04-01 Verfahren zur messung eines abstandes zwischen einem objekt und einem optischen sensor, steuereinrichtung zur durchführung eines solchen verfahrens, abstandsmessvorrichtung mit einer solchen steuereinrichtung und kraftfahrzeug mit einer solchen abstandsmessvorrichtung

Country Status (4)

Country Link
US (1) US20230194719A1 (de)
CN (1) CN115803656A (de)
DE (1) DE102020002994B4 (de)
WO (1) WO2021233603A1 (de)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102020004690A1 (de) * 2020-08-03 2021-05-27 Daimler Ag Verfahren zur Erkennung von Objekten, Steuereinrichtung zur Durchführung eines solchen Verfahrens, Erkennungsvorrichtung mit einer solchen Steuereinrichtung und Kraftfahrzeug mit einer solchen Erkennungsvorrichtung
DE102020005343A1 (de) 2020-08-31 2022-03-03 Daimler Ag Verfahren zur Objektverfolgung von mindestens einem Objekt, Steuereinrichtung zur Durchführung eines solchen Verfahrens, Objektverfolgungsvorrichtung mit einer solchen Steuereinrichtung und Kraftfahrzeug mit einer solchen Objektverfolgungsvorrichtung
DE102020005762B4 (de) 2020-09-21 2023-10-12 Daimler Truck AG Verfahren zum Kalibrieren einer Beleuchtungseinrichtung und eines optischen Sensors, Steuereinrichtung zur Durchführung eines solchen Verfahrens, Kalibrierungsvorrichtung mit einer solchen Steuereinrichtung sowie Kraftfahrzeug mit einer solchen Kalibrierungsvorrichtung
DE102020006880A1 (de) 2020-11-09 2021-01-14 Daimler Ag Verfahren zum Detektieren eines Objekts mittels einer Beleuchtungseinrichtung und eines optischen Sensors, Steuereinrichtung zur Durchführung eines solchen Verfahrens, Detektionsvorrichtung mit einer solchen Steuereinrlchtung und Kraftfahrzeug mit einer solchen Detektionsvorrichtung
DE102020007061B4 (de) 2020-11-19 2022-08-11 Daimler Truck AG Verfahren zum Betreiben einer ersten Beleuchtungseinrichtung, einer zweiten Beleuchtungseinrichtung und eines optischen Sensors, Steuereinrichtung zur Durchführung eines solchen Verfahrens, Gated-Kamera-Vorrichtung mit einer solchen Steuereinrichtung und Kraftfahrzeug mit einer solchen Gated-Kamera-Vorrichtung
DE102021001175A1 (de) 2021-03-05 2022-09-08 Daimler Truck AG Verfahren zum Betreiben einer Gated-Kamera, Steuereinrichtung zur Durchführung eines solchen Verfahrens, Kameravorrichtung mit einer solchen Steuereinrichtung und Kraftfahrzeug mit einer solchen Kameravorrichtung
DE102021002915A1 (de) 2021-06-07 2022-12-08 Daimler Truck AG Verfahren zum Betreiben einer Gated-Kamera, Steuervorrichtung zur Durchführung eines solchen Verfahrens, Sichtweitenmessvorrichtung mit einer solchen Steuervorrichtung und Kraftfahrzeug mit einer solchen Sichtweitenmessvorrichtung
DE102021003153B4 (de) 2021-06-18 2024-10-02 Daimler Truck AG Verfahren zum Betreiben einer Gated-Kamera, Steuervorrichtung zur Durchführung eines solchen Verfahrens, Schulterblickvorrichtung mit einer solchen Steuervorrichtung und Kraftfahrzeug mit einer solchen Schulterblickvorrichtung
DE102021003728B4 (de) * 2021-07-20 2023-04-20 Daimler Truck AG Verfahren zum Betreiben einer Gated-Kamera, Steuervorrichtung zur Durchführung eines solchen Verfahrens, Gated-Kamera-Vorrichtung mit einer solchen Steuervorrichtung und Kraftfahrzeug mit einer solchen Gated-Kamera-Vorrichtung

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017009848A1 (en) 2015-07-14 2017-01-19 Brightway Vision Ltd. Gated structured imaging
US20190004149A1 (en) * 2015-12-21 2019-01-03 Koito Manufacturing Co., Ltd. Image acquiring apparatus for vehicle, control device, vehicle having image acquiring apparatus for vehicle or control device, and image acquiring method for vehicle
US20200134853A1 (en) * 2018-10-30 2020-04-30 Here Global B.V. Method, apparatus, and system for providing a distance marker in an image

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2792050C (en) 2010-03-02 2017-08-15 Elbit Systems Ltd. Image gated camera for detecting objects in a marine environment
KR102144521B1 (ko) 2012-05-29 2020-08-14 브라이트웨이 비젼 엘티디. 적응 피사계심도를 이용한 게이트된 영상 획득 방법 및 영상 시스템
US10708577B2 (en) 2015-12-16 2020-07-07 Facebook Technologies, Llc Range-gated depth camera assembly

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017009848A1 (en) 2015-07-14 2017-01-19 Brightway Vision Ltd. Gated structured imaging
US20190004149A1 (en) * 2015-12-21 2019-01-03 Koito Manufacturing Co., Ltd. Image acquiring apparatus for vehicle, control device, vehicle having image acquiring apparatus for vehicle or control device, and image acquiring method for vehicle
US20200134853A1 (en) * 2018-10-30 2020-04-30 Here Global B.V. Method, apparatus, and system for providing a distance marker in an image

Also Published As

Publication number Publication date
DE102020002994B4 (de) 2023-03-30
US20230194719A1 (en) 2023-06-22
CN115803656A (zh) 2023-03-14
DE102020002994A1 (de) 2020-07-02

Similar Documents

Publication Publication Date Title
WO2021233603A1 (de) Verfahren zur messung eines abstandes zwischen einem objekt und einem optischen sensor, steuereinrichtung zur durchführung eines solchen verfahrens, abstandsmessvorrichtung mit einer solchen steuereinrichtung und kraftfahrzeug mit einer solchen abstandsmessvorrichtung
DE112014000591T5 (de) Aufmerksamkeitsgrad-Erfassungsgerät und Aufmerksamkeitsgrad-Erfassungsverfahren
DE102012221648A1 (de) Bestimmung einer Pixelklassifikationsschwelle zur Fahrzeugbelegungserkennung
EP2788224A1 (de) Verfahren und vorrichtung zur erkennung einer bremssituation
WO2021239323A1 (de) Verfahren zur erkennung von bildartefakten, steuereinrichtung zur durchführung eines solchen verfahrens, erkennungsvorrichtung mit einer solchen steuereinrichtung und kraftfahrzeug mit einer solchen erkennungsvorrichtung
DE102012223481A1 (de) Vorrichtung und Verfahren zum Verfolgen der Position eines peripheren Fahrzeugs
DE102020004690A1 (de) Verfahren zur Erkennung von Objekten, Steuereinrichtung zur Durchführung eines solchen Verfahrens, Erkennungsvorrichtung mit einer solchen Steuereinrichtung und Kraftfahrzeug mit einer solchen Erkennungsvorrichtung
DE19809210A1 (de) Verfahren und Vorrichtung zur Überwachung einer Szene
EP1628141A1 (de) Triangulationsverfahren mit Laserdioden und einer Mono-Kamera zur Abstandsbestimmung für Stop-and-Go Anwendungen für Kraftfahrzeuge
EP3663881B1 (de) Verfahren zur steuerung eines autonomen fahrzeugs auf der grundlage von geschätzten bewegungsvektoren
EP2996327B1 (de) Surround-view-system für fahrzeuge mit anbaugeräten
WO2022096215A1 (de) Verfahren zum detektieren eines objekts mittels einer beleuchtungseinrichtung und eines optischen sensors, steuereinrichtung zur durchführung eines solchen verfahrens, detektionsvorrichtung mit einer solchen steuereinrichtung und kraftfahrzeug mit einer solchen detektionsvorrichtung
EP3934929B1 (de) Verfahren zur klassifizierung von objekten innerhalb eines kraftfahrzeugs
DE29811086U1 (de) Einrichtung zum Erfassen von sich auf die Sichtqualität zum Führen eines Kraftfahrzeuges auswirkenden Einflüssen
WO2022042902A1 (de) Verfahren zur objektverfolgung von mindestens einem objekt, steuereinrichtung zur durchführung eines solchen verfahrens, objektverfolgungsvorrichtung mit einer solchen steuereinrichtung und kraftfahrzeug mit einer solchen objektverfolgungsvorrichtung
WO2022106115A1 (de) Verfahren zum betreiben einer ersten beleuchtungseinrichtung, einer zweiten beleuchtungseinrichtung und eines optischen sensors, steuereinrichtung zur durchführung eines solchen verfahrens, gated-kamera-vorrichtung mit einer solchen steuereinrichtung und kraftfahrzeug mit einer solchen gated-kamera-vorrichtung
DE102016011246A1 (de) Verfahren zur Überwachung eines Zustandes zumindest eines Insassen eines Fahrzeuges
DE102021003153B4 (de) Verfahren zum Betreiben einer Gated-Kamera, Steuervorrichtung zur Durchführung eines solchen Verfahrens, Schulterblickvorrichtung mit einer solchen Steuervorrichtung und Kraftfahrzeug mit einer solchen Schulterblickvorrichtung
DE102021004521B4 (de) Gated-Kamera-Vorrichtung und Kraftfahrzeug mit einer solchen Gated-Kamera-Vorrichtung
DE102018219420A1 (de) Verfahren und Vorrichtung zur Bestimmung einer Entfernung von zumindest einem Objekt in einem Umfeld eines Fahrzeugs unter Verwendung einer Lasereinheit und einer Kameraeinheit
WO2021239322A1 (de) Verfahren zur detektion von verlorenen bildinformationen, steuereinrichtung zur durchführung eines solchen verfahrens, detektionsvorrichtung mit einer solchen steuereinrichtung und kraftfahrzeug mit einer solchen detektionsvorrichtung
DE102018218875A1 (de) Fahrzeugsteuerung
DE102021003728B4 (de) Verfahren zum Betreiben einer Gated-Kamera, Steuervorrichtung zur Durchführung eines solchen Verfahrens, Gated-Kamera-Vorrichtung mit einer solchen Steuervorrichtung und Kraftfahrzeug mit einer solchen Gated-Kamera-Vorrichtung
DE102022002766B4 (de) Verfahren zur dreidimensionalen Rekonstruktion einer Fahrzeugumgebung
DE102023002181B3 (de) Adaptive Filterkette zum Anzeigen eines Umfeldmodells in einem Fahrzeug

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21716725

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE