WO2011020713A1 - Verfahren und steuergerät zur bestimmung einer bewegungsinformation eines objekts - Google Patents

Verfahren und steuergerät zur bestimmung einer bewegungsinformation eines objekts Download PDF

Info

Publication number
WO2011020713A1
WO2011020713A1 PCT/EP2010/061483 EP2010061483W WO2011020713A1 WO 2011020713 A1 WO2011020713 A1 WO 2011020713A1 EP 2010061483 W EP2010061483 W EP 2010061483W WO 2011020713 A1 WO2011020713 A1 WO 2011020713A1
Authority
WO
WIPO (PCT)
Prior art keywords
coordinate
unfiltered
determined
information
time
Prior art date
Application number
PCT/EP2010/061483
Other languages
English (en)
French (fr)
Inventor
Paul-Sebastian Lauer
Richard Arndt
Original Assignee
Robert Bosch Gmbh
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch Gmbh filed Critical Robert Bosch Gmbh
Priority to EP10742134A priority Critical patent/EP2467826A1/de
Publication of WO2011020713A1 publication Critical patent/WO2011020713A1/de

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle

Definitions

  • the present invention relates to a method according to claim 1, a control device according to claim 13, and a computer program product according to claim 14.
  • the patent application DE 10 2005 008 131 A1 describes such a method. Its main feature is that it determines the 3D position and SD speed by means of at least one filter for relevant pixels.
  • the computation intensity of the method results from the fact that one filter instance, e.g. an extended Kalman filter or a multihypten Kalman filter, i. Overall, a composite of several extended Cayman filters, is needed.
  • the present invention proposes a method for determining motion information of an object located in an environment of a vehicle, furthermore a control device which uses this method and finally a corresponding computer program product according to the independent patent claims.
  • Advantageous embodiments tions result from the respective subclaims and the following description.
  • the purpose of the invention is to efficiently calculate the 3D flow of a set of relevant points.
  • the calculation can be made in a manner that it can be performed on a cost-effective controller.
  • the 3D flow describes, for a given time, the 3D position of a set of relevant pixels and an estimated SD speed for each of these points.
  • the position may be a direct, e.g. based on a disparity map and unfiltered 3D
  • the 3D velocity vector can be determined in relation to the same coordinate system using the temporally consecutive unfiltered 3D coordinates, by applying a suitable filter.
  • the temporal association of the 3D coordinates may be via a series of frames that may be provided by a camera system.
  • the 3D coordinates can be projected into the image space of the camera system, resulting in 2D image coordinates. Their displacement vectors between two successive images can then be, e.g. be determined by the determination of the optical flow.
  • the inventive approach enables an efficient 3D flow estimation.
  • the estimate may be based on recursive computation of 3D flux vectors by direct, unfiltered measurement of 3D coordinates and a derivative of a 3D velocity vector that may be determined by filtering the successive 3D coordinates.
  • the difference between 3D coordinates is a simple method that already gives good results. Furthermore, a filter can be used, the
  • both the unfiltered case and the filtered case can be used to determine the velocity vectors.
  • a waiver of the filtering for determining the 3D speed is possible. It can also be an inclusion of the proper motion of the sensor system in the 3D flow estimation for the determination of relevant pixels, for example, only those that move over ground, and / or to improve the speed estimate done.
  • a reduction of the computational effort is possible because filtering is required only for the velocity vectors of the relevant pixels.
  • an estimation of a 3D state takes place.
  • an easy-to-handle system is created, since a few manipulated variables are required for the parameterization, as they are required in contrast, with combined filtering of 3D position and 3D speed.
  • This fact stems from the fact that in a combined filtering usually a physically plausible motion model must be applied to obtain reliable estimates of speed and position.
  • linear models are used for this, which make it possible to change the (as uniformly assumed) speed, for example by (parametrizable) noise of the acceleration.
  • the noise can be fixed or adapted to the given input data (eg the video images to be evaluated).
  • a derivation of robust object hypotheses by a summary of many individual measurements into point clouds and a determination of object attributes on the basis of meaningful statistical quantities, e.g. Mean and variance possible. This can reduce the measurement uncertainty compared to the individual measurements.
  • a point cloud which has been summarized into an object, can provide several statistical quantities. The most important ones are the mean value of the velocity vector and variance, the object distance and variance, the object width and variance, and the object height and variance.
  • the 3D flow estimation according to the invention can be used, for example, for stereo video-based driver assistance systems.
  • the method is particularly suitable for security functions such as e.g. the collision avoiding braking.
  • All of the input data required for the 3D flow estimation can be provided, for example, by driver assistance systems with existing high-performance FPGA implementations, which enable an estimation of the optical flow that already provides a detection of relevant pixels and the calculation of disparity maps.
  • the reaction rate with which an object detector reacts to sudden movement changes can be increased.
  • the position of the vehicle in front can generally be correctly estimated immediately by means of the 3D flow estimation approach according to the invention.
  • the speed can vary depending on whether a filter is used or not and depending on the filter setting to go through a transient phase.
  • the present invention provides a method for determining movement information of an object located in an environment of a vehicle.
  • ject comprising the steps of: receiving, via an interface, a first unfiltered 3D coordinate, wherein the first unfiltered 3D coordinate defines a position of an object point within a predetermined coordinate system at a first time; Receiving at least a second unfiltered 3D coordinate via the interface, wherein the at least one second unfiltered 3D coordinate defines a position of the object point within the predetermined coordinate system at at least a second time; and determining velocity information concerning the object point based on the first unfiltered 3D coordinate and the at least one second unfiltered 3D coordinate.
  • the method according to the invention can be implemented, for example, in a control unit of a vehicle.
  • the vehicle may have an environment detection system with which at least a section of the surroundings of the vehicle can be detected.
  • the object may be, for example, an object, another vehicle, a person or an animal. In particular, it may be a moving object related to the environment.
  • movement information relating to a single object or a plurality of objects can be determined.
  • the object point may represent a point around the vehicle.
  • the object point can be detected by the surroundings detection system.
  • the method according to the invention can be carried out for all detected object points or for a selection of object points. For example, relevant object points can be selected from all detected object points.
  • the relevant object points may be object points that are in motion in relation to the environment.
  • it may be a point that can be assigned to a relevant object that is located in the environment.
  • the 3D coordinates may indicate spatial positions of the object point at different times.
  • a coordinate system can be spanned and the 3D coordinates can represent an x, y, and z position of the object point.
  • the x and y positions can be determined, for example, by mapping the object point onto an image plane of an optical sensor.
  • the z-position can be determined, for example, by means of a stereo depth measurement or else determined by means of other systems, such as radar measurement, navigation maps or C2X communication. Other coordinate systems and representations of the position of the object point are also possible.
  • the 3D coordinates can represent directly determined measured values. This means that the 3D coordinates can be determined without using a filter rule. Each 3D coordinate can thus be based exclusively on measured values which have been determined at a time assigned to the specific 3D coordinate. For example, each 3D coordinate may be determined from frames captured by the surround detection system simultaneously or within a detection cycle.
  • the interface may be an interface to the environment detection system or a corresponding evaluation or preprocessing device.
  • the second time may be later than the first time. In the period of time lying between the first and the second time point, the object point may have moved from the first position determined by the first 3D coordinate to the second position determined by the second 3D coordinate.
  • a movement speed and a direction of movement of the object point can be determined.
  • the speed information or motion information may include both the movement speed and the direction of movement or values based thereon.
  • the speed information can be provided for further processing to an interface. For example, the
  • the velocity information from the first unfiltered 3D coordinate and the at least one second unfiltered 3D coordinate may be determined as an unfiltered value.
  • the speed information can be determined without using a filter rule.
  • the speed information can be determined solely using the unfiltered 3D coordinate.
  • the computing intensity for determining the speed information can be kept very low.
  • the speed information can be determined using a filtering rule.
  • a filtering rule for example, a multi-model filter, for example a Kalman filter, can be used.
  • the velocity information may be a 3D velocity vector.
  • the speed information can indicate both an amount of the speed and a direction of movement of the object point.
  • the speed information may be information about an expected collision time between the object point and the vehicle.
  • the collision time can be further processed, for example, by a driver assistance system.
  • the speed information can be determined by means of a difference formation from the first unfiltered 3D coordinate and the at least one second unfiltered 3D coordinate. This enables a quick and uncomplicated determination of the speed information.
  • a plurality of unfiltered 3D coordinates and a plurality of speed information can be determined for a plurality of object points.
  • a set of object points, out of the plurality of object points, may be based on the plurality of unfiltered 3D objects.
  • Coordinates and the plurality of speed information associated with an object can be based on an assignment rule. If there are a plurality of relevant objects in the surroundings of the vehicle, then the plurality of object points can also be divided into a plurality of different objects.
  • the assignment of the set of object points can cause a combination of object points to an object cloud.
  • Each object cloud can represent an object.
  • the object can be determined by means of a suitable classification method from the object cloud. For example, adjacent object points that have a common direction of movement and movement speed can be assigned to an object. Thus, a detection and tracking of an object located in the environment of the vehicle is possible.
  • a statistical quantity may be determined that may be associated with the set of object points. This may be, for example, an average value or a variance corresponding to the observer. jekthuien associated, act values.
  • the statistical size may be determined via the velocity information of the object points associated with an object.
  • an object attribute assigned to the set of object points can be determined.
  • the object attribute may represent a distance, width, or velocity of the object.
  • the object attribute can be determined by an evaluation of the 3D coordinates as well as the speed information.
  • the object attribute can be used to classify or evaluate an object or move an object.
  • the 3D coordinates may represent information provided by a surround detection system.
  • the environment detection system may include a plurality of sensors. These may be optical sensors which are designed to detect and image the surroundings of the vehicle.
  • the surround detection system may be a stereo camera arrangement.
  • the surround detection system can provide a stereo depth measurement to determine a distance of an object point.
  • other suitable sensors, measuring methods or evaluation methods for determining the 3D coordinates can also be used.
  • the surroundings detection system can be designed to provide a first image of the environment and to the at least one second image at the first time
  • the first 3D coordinate may be determined based on the first image and the at least one second 3D coordinate may be determined based on the second image.
  • Known image analysis methods can be used to evaluate the images.
  • receiving information about an intrinsic movement of the surroundings detection system can take place via an interface. Accordingly, the speed information can also be determined based on the information about the proper motion. In this way, the Speed information can be determined with greater accuracy. In addition, the determination of relevant object points is simplified.
  • the present invention further provides a control device which is designed to carry out or implement the steps of the method according to the invention.
  • a control device in the form of a control device, the object underlying the invention can be achieved quickly and efficiently.
  • a control device can be understood as meaning an electrical device which processes sensor signals and outputs control signals in dependence thereon.
  • the control unit may have an interface, which may be formed in hardware and / or software.
  • the interfaces can be part of a so-called system ASIC, for example, which contains various functions of the control unit.
  • the interfaces are their own integrated circuits or at least partially consist of discrete components.
  • the interfaces may be software modules that are present, for example, on a microcontroller in addition to other software modules.
  • Also of advantage is a computer program product with program code, which is stored on a machine-readable carrier such as a semiconductor memory, a hard disk memory or an optical memory and is used to carry out the method according to one of the embodiments described above, when the program is executed on a control unit.
  • a machine-readable carrier such as a semiconductor memory, a hard disk memory or an optical memory
  • Fig. 1 is a flow chart of a first embodiment of the present invention.
  • FIG. 2 shows a sequence of an estimation of a vector of the 3D flux field, according to an exemplary embodiment of the present invention.
  • the same or similar reference numerals are used for the elements shown in the various figures and similarly acting, wherein a repeated description of these elements is omitted.
  • a first unfiltered 3D coordinate can be received, which can be assigned to a first point in time.
  • a second unfiltered 3D coordinate can be received, which can be assigned to a second time.
  • Time points can be assigned.
  • speed information can be determined from the 3D coordinates received with regard to the one object point.
  • Corresponding method steps 102, 104, 106 can be performed simultaneously or offset in time for further object points, so that speed information for different object points can be determined.
  • FIG. 2 shows a flow of an estimation of a vector of a 3D flow field, according to an embodiment of the present invention.
  • the vector can correspond to the velocity information which can be determined according to the invention.
  • the x-axis and the y-axis span an image plane 210 of an optical sensor.
  • the optical sensor may be disposed on a vehicle and configured to image an environment of the vehicle.
  • a focal point 212 of the optical sensor is located at the origin of the coordinate system. Further, a focal length 214 is shown.
  • An object point is at a first time at a position 221, for example in the environment of a vehicle. Located at a second time the object point at a position 222 and at a third time at a position 223.
  • the positions 221, 222, 223 can be defined with respect to the coordinate system respectively by 3D coordinates, each having an x-value, a y-value and have an z value. Distances between the focal point 212 and the object point at the positions 221, 222, 223 can each be determined via a depth measurement, for example by stereo video.
  • the object point can be imaged on the image plane 210. Thus, the object point can be imaged at position 231 at the first time, at position 232 at the second time, and at position 233 at the third time.
  • the positions 231, 232, 233 can each be described by an x and a y coordinate.
  • the object point performs a movement at a first time, the direction and magnitude of which is represented by a first velocity vector 241.
  • the object point performs a movement represented by a second velocity vector 242
  • the object point performs a motion represented by a third velocity vector 243.
  • the movements of the object point can be imaged onto the image plane 210.
  • a vector 251 represents a 2D trajectory located in the image plane 210 between position 231 at position 232.
  • a vector 252 represents a 2D trajectory between position 232 at position 233.
  • the vector represents 252 represents a shift of the relevant pixel from (t-1) to (t). This corresponds to the optical flow.
  • the positions 221, 222, 223 thus represent 3D positions of the object point at the respective times.
  • the first velocity vector 241 represents a 3D flow vector at the first time (t-2)
  • the second velocity vector 242 a 3D flow vector at the second time ( t-1)
  • the third velocity vector 243 represent a 3D flow vector at the third time (t).
  • the lengths of the velocity vectors 241, 242, 243 respectively represent SD
  • positions 221, 223, 223 represent a 3D trajectory of the relevant pixel from (t-2) to (t).
  • the real positions 221, 222, 223 of the object point can be represented by 3D coordinates passing through the corresponding 2D positions
  • respective 3D coordinates can be determined directly from the respectively corresponding 2D positions 231, 232, 233 as well as the respectively corresponding depth measurements without the use of a filter or with temporally preceded or temporally subsequent 2D positions or depth measurements.
  • one of the positions 221 corresponding 3D coordinate can be determined directly from the 2D position 231 and the depth measurements, which provides the distance between the position 221 and the focal point 212.
  • a 3D trajectory can be determined, which represents a real movement of the object point in the environment of the vehicle.
  • the 3D flow of a set of relevant pixels based on a digital image sequence and a distance-measuring sensor can be efficiently determined.
  • relevant pixels are first determined within the image sequence.
  • the 3D position of a relevant pixel is determined.
  • the pixel is captured by a suitable method, e.g. a KLT-T rackers, followed in the image sequence and then measured again 3-dimensional.
  • a 3D trajectory of the relevant pixel arises, from which an estimated value for the SD velocity vector can be derived. This can be done in the simplest case by subtraction of two consecutive 3D positions.
  • the distance traveled may then be, e.g. by including the time elapsed between observing both 3D positions, they are translated into a velocity vector.
  • various methods are conceivable, e.g. a 3-dimensional Kalman filter. Since the initial speed is i.d.R. unknown, a multihyptenal Kalman filter or, more generally, a multi-model filter can also be used. The reliability of the speed estimation as well as the selection of the relevant ones
  • Pixels can be increased if the proper motion of the sensor system is included in the calculation.
  • the proper motion can be determined by external sensors, such as odometry in the vehicle, and / or on the basis of the measured data of the sensor system itself.
  • the distance measurement can come from any sensor, eg from a stereo camera system or a MEMS LIDAR whose relative orientation to the video sensor providing the digital image sequence is known.
  • the 3D flow field is created by performing the procedure described above for many relevant pixels. Within the flow field, 3D
  • an exemplary embodiment comprises a "and / or" link between a first feature and a second feature
  • this can be read so that the embodiment according to one embodiment either only the first feature and the second feature and according to another embodiment having the first feature or only the second feature.

Abstract

Es wird ein Verfahren zur Bestimmung einer Bewegungsinformation, eines sich in einem Umfeld eines Fahrzeugs befindlichen Objekts vorgeschlagen, das einen Schritt des Empfangens einer ersten ungefilterten 3D-Koordinate (221) und einer zweiten ungefilterten 3D-Koordinate (222) umfasst, wobei 3D-Koordinaten Positionen eines Objektpunktes innerhalb eines vorbestimmten Koordinatensystems zu unterschiedlichen Zeitpunkt definieren. Das Verfahren weist ferner einen Schritt des Bestimmens einer den Objektpunkt betreffenden Geschwindigkeitsinformation, basierend auf der ersten ungefilterten 3D-Koordinate (221) und der zweiten ungefilterten 3D-Koordinate (222) auf.

Description

Beschreibung
Titel
Verfahren und Steuergerät zur Bestimmung einer Bewegungsinformation eines Objekts
Stand der Technik
Die vorliegende Erfindung bezieht sich auf ein Verfahren gemäß Anspruch 1 , ein Steuergerät gemäß Anspruch 13, sowie ein Computerprogrammprodukt gemäß Anspruch 14.
Bekannt sind rechenintensive Verfahren, die mittels Fusion von Stereo- Tiefenmessungen und des optischen Flusses die 3D-Position und SD- Geschwindigkeit (3D = dreidimensional) interessanter Punkte bestimmen.
In der Patentanmeldung DE 10 2005 008 131 A1 wird ein solches Verfahren beschrieben. Dessen Hauptmerkmal ist, dass es die 3D-Position und SD- Geschwindigkeit mittels wenigstens eines Filters für relevante Bildpunkte ermittelt. Die Rechenintensivität des Verfahrens rührt daher, dass pro Bildpunkt jeweils eine Filterinstanz, z.B. ein extended Kaimanfilter oder ein Multihypothe- sen-Kalmanfilter, d.h. insgesamt ein Verbund aus mehreren extended Kaimanfiltern, benötigt wird.
Offenbarung der Erfindung
Vor diesem Hintergrund wird mit der vorliegenden Erfindung ein Verfahren zur Bestimmung einer Bewegungsinformation eines sich in einem Umfeld eines Fahrzeugs befindlichen Objekts, weiterhin ein Steuergerät, das dieses Verfahren verwendet sowie schließlich ein entsprechendes Computerprogrammprodukt gemäß den unabhängigen Patentansprüchen vorgestellt. Vorteilhafte Ausgestal- tungen ergeben sich aus den jeweiligen Unteransprüchen und der nachfolgenden Beschreibung.
Die Erfindung hat zum Zweck, den 3D-Fluss einer Menge von relevanten BiId- punkten effizient zu berechnen. Insbesondere kann die Berechnung in einer Art und Weise erfolgen, dass sie auf einem kostengünstigen Steuergerät ausgeführt werden kann. Der 3D-Fluss beschreibt für einen gegebenen Zeitpunkt die 3D- Position einer Menge von relevanten Bildpunkten sowie eine geschätzte SD- Geschwindigkeit für jeden dieser Punkte. Bei der Position kann es sich um eine direkt, z.B. anhand einer Disparitätskarte gemessene und ungefilterte 3D-
Koordinate in Relation zu einem Sensorkoordinatensystem oder zu einem beliebigen Referenzkoordinatensystem, z.B. Fahrzeugkoordinatensystem handeln. Der 3D-Geschwindigkeitsvektor kann in Relation zu demselben Koordinatensystem anhand der zeitlich aufeinanderfolgenden ungefilterten 3D-Koordinaten, durch die Anwendung eines geeigneten Filters ermittelt werden. Die zeitliche Assoziation der 3D-Koordinaten kann über eine Serie von Einzelbildern erfolgen, die von einem Kamerasystem bereitgestellt werden können. Zum Zwecke der Verfolgung über die Zeit können die 3D-Koordinaten in den Bildraum des Kamerasystems projiziert werden, so dass 2D-Bildkoordinaten entstehen. Deren Ver- schiebungsvektoren zwischen zwei aufeinanerfolgenden Bildern können dann, z.B. durch die Bestimmung des optischen Flusses ermittelt werden.
Der erfindungsgemäße Ansatz ermöglicht eine effiziente 3D-Fluss-Schätzung. Die Schätzung kann auf einer rekursive Berechnung von 3D-Fluss-Vektoren durch direkte, ungefilterte Messung von 3D-Koordinaten und einer Ableitung eines 3D-Geschwindigkeitsvektors, der durch die Filterung der aufeinanderfolgenden 3D-Koordinaten bestimmt werden kann, basieren.
Die Differenzbildung zwischen 3D-Koordinaten ist eine einfache Methode, die be- reits gute Ergebnisse liefert. Ferner kann ein Filter eingesetzt werden, der die
Güte der Geschwindigkeitsvektoren deutlich erhöhen kann. Erfindungsgemäß kann sowohl der ungefilterten Fall als auf der gefilterten Fall verwendet werden, um die Geschwindigkeitsvektoren zu ermitteln. Anstatt oder zusätzlich zu der Schätzung der 3D-Geschwindigkeit kann eine Bestimmung des Kollisionszeitpunktes (Time-To-Contact) mit dem beobachtenden Sensorsystem bzw. dem Gesamtsystem, dem der Sensor angehört, z.B. des Ego-Fahrzeugs, pro 3D-Koordinate durchgeführt werden. Ferner ist ein Verzicht auf die Filterung zur Bestimmung der 3D-Geschwindigkeit möglich. Auch kann eine Einbeziehung der Eigenbewegung des Sensorsystems in die 3D- Flussschätzung zur Bestimmung von relevanten Bildpunkten, z.B. nur solche, die sich über Grund bewegen, und / oder zur Verbesserung der Geschwindigkeitsschätzung erfolgen.
Vorteilhafterweise ist eine Reduzierung des Rechenaufwandes möglich, da eine Filterung lediglich für die Geschwindigkeitsvektoren der relevanten Bildpunkte erforderlich ist. Es erfolgt also eine Schätzung eines 3D-Zustands. Erfindungsgemäß wird ein einfach handhabbares System geschaffen, da wenige Stellgrößen für die Parametrierung erforderlich sind, wie sie im Gegensatz dazu, bei kombinierter Filterung von 3D-Position und 3D-Geschwindigkeit erforderlich sind. Diese Tatsache rührt daher, dass bei einer kombinierten Filterung i.d.R. ein physikalisch plausibles Bewegungsmodell angewandt werden muss, um verlässliche Schätzgrößen für Geschwindigkeit und Position zu erhalten. Üblicherweise werden hierzu lineare Modelle verwendet, die eine Änderung der (als gleichförmig angenommenen) Geschwindigkeit z.B. durch ein (parametrierbares) Rauschen der Beschleunigung ermöglichen. Das Rauschen kann dabei fest sein oder sich an die gegebenen Eingangsdaten (z.B. die auszuwertenden Videobilder) anpassen. In beiden Fällen sind i.d.R. 1-N (eins bis n) Parameter erforderlich, die das Rauschen der als konstant angenommen Komponenten des Bewegungsmodells (z.B. die Beschleunigung) festlegen. Die Festlegung dieser Parameter ist kei- neswegs trivial und oft auch nicht intuitiv und kann zudem zu sehr unterschiedlichem Systemverhalten führen. Filtert man hingegen lediglich die Geschwindigkeit, ist die Anwendung einfacherer Filter bzw. deren gänzlicher Verzicht möglich, da die insbesondere für Sicherheitsfunktionen relevante Entfernung von Punktmessungen nicht mehr Teil eines Zustandsvektors ist, der indirekt über Beobach- tungen geschätzt wird. So kann z.B. ein einfacher gleitender Mittelwert des Geschwindigkeitsvektors bereits ausreichen, um eine grobe Schätzung für einen Punkt vorzunehmen. Aus einer großen Menge solcher Einzelschätzungen lassen sich dann auf Objektebene robuste Schätzwerte für Geschwindigkeit und Position ableiten. Die direkte Abstandsmessung der Bildpunkte erhöht die Verlässlichkeit bzgl. der tatsächlichen Position eines relevanten Bildpunktes. Dies ist insbesondere bei Sicherheits-Systemen vorteilhaft. Als Ergebnis kann pro Zeitschritt ein 3D-Flussfeld bestimmt werden, in dem jede
Einzelmessung, bezüglich der 3D-Position und 3D-Geschwindigkeit eines relevanten Bildpunktes, mit einer hohen Messunsicherheit versehen ist. Als Folge ist eine Ableitung robuster Objekthypothesen durch eine Zusammenfassung vieler Einzelmessungen zu Punktwolken und eine Bestimmung von Objektattributen anhand aussagekräftiger statistischer Größen, z.B. Mittelwert und Varianz möglich. Dadurch kann sich die Messunsicherheit gegenüber den Einzelmessungen verringern. Prinzipiell kann eine Punktwolke, die zu einem Objekt zusammenge- fasst wurde, mehrere statistische Größen liefern. Die wichtigsten sind dabei der Mittelwert des Geschwindigkeitsvektors und Varianz, die Objektentfernung und Varianz, die Objektbreite und Varianz und die Objekthöhe und Varianz.
Die erfindungsgemäße 3D-Fluss-Schätzung kann beispielsweise für Stereo- Video-basierte Fahrerassistenzsysteme zum Einsatz kommen. Das Verfahren eignet sich insbesondere für Sicherheits-Funktionen wie z.B. die Kollisionsver- meidende Bremsung. Alle benötigten Eingabedaten für die 3D-Fluss-Schätzung können beispielsweise von Fahrerassistenzsystemen mit existierenden perfor- manten FPGA-Implementierungen bereitgestellt werden, die eine Schätzung des optischen Flusses, die bereits eine Detektion relevanter Bildpunkte leistet, und die Berechnung von Disparitätskarten ermöglichen.
Mittels des erfindungsgemäßen Ansatzes kann die Reaktionsgeschwindigkeit, mit der ein Objektdetektor auf plötzliche Bewegungsänderungen reagiert, erhöht werden. Im Falle einer Vollbremsung eines direkt vor dem Sensor vorausfahrenden Fahrzeugs, kann mittels des erfindungsgemäßen Ansatzes zur 3D-Fluss- Schätzung die Position des vorausfahrenden Fahrzeugs i.d.R. augenblicklich richtig geschätzt werden. Die Geschwindigkeit kann, je nachdem ob ein Filter verwendet wird oder nicht und je nach Filtereinstellung eine Einschwingphase durchlaufen. Die vorliegende Erfindung schafft ein Verfahren zur Bestimmung einer Bewegungsinformation eines sich in einem Umfeld eines Fahrzeugs befindlichen Ob- jekts, das die folgenden Schritte umfasst: Empfangen einer ersten ungefilterten 3D-Koordinate über eine Schnittstelle, wobei die erste ungefilterte 3D-Koordinate eine Position eines Objektpunktes innerhalb eines vorbestimmten Koordinatensystems zu einem ersten Zeitpunkt definiert; Empfangen mindestens einer zwei- ten ungefilterten 3D-Koordinate über die Schnittstelle, wobei die mindestens eine zweite ungefilterte 3D-Koordinate eine Position des Objektpunktes innerhalb des vorbestimmten Koordinatensystems zu mindestens einem zweiten Zeitpunkt definiert; und Bestimmen einer den Objektpunkt betreffenden Geschwindigkeitsinformation, basierend auf der ersten ungefilterten 3D-Koordinate und der mindes- tens einen zweiten ungefilterten 3D-Koordinate.
Das erfindungsgemäße Verfahren kann beispielsweise in einem Steuergerät eines Fahrzeugs umgesetzt werden. Das Fahrzeug kann ein Umfelderfassendes- System aufweisen, mit dem zumindest ein Ausschnitt des Umfelds des Fahr- zeugs erfasst werden kann. Bei dem Objekt kann es sich beispielsweise um einen Gegenstand, ein weiteres Fahrzeug, eine Person oder ein Tier handeln. Insbesondere kann sich um ein, bezogen auf das Umfeld, bewegtes Objekt handeln. Mittels des erfindungsgemäßen Verfahrens können Bewegungsinformationen bezüglich eines einzigen Objekts oder mehreren Objekten bestimmt werden. Der Objektpunkt kann einen Punkt im Umfeld des Fahrzeugs repräsentieren. Der Objektpunkt kann durch das Umfelderfassende-System erfasst werden. Das erfindungsgemäße Verfahren kann für alle erfassten Objektpunkte oder für eine Auswahl von Objektpunkten durchgeführt werden. Beispielsweise können aus allen erfassten Objektpunkten relevante Objektpunkte ausgewählt werden. Bei den re- levanten Objektpunkten kann es sich um Objektpunkte handeln, die sich im Bezug auf das Umfeld in Bewegung befinden. Insbesondere kann es sich um einen Punkt handeln, der einem relevanten Objekt zugeordnet werden kann, das sich in dem Umfeld befindet. Die 3D-Koordinaten können räumliche Positionen des Objektpunktes zu unterschiedlichen Zeiten angeben. Dazu kann ein Koordina- tensystem aufgespannt werden und die 3D-Koordinaten können eine x-, y-, und z-Position des Objektpunktes repräsentieren. Die x- und y-Positionen können beispielweise durch eine Abbildung des Objektpunktes auf eine Bildebene eines optischen Sensors bestimmt werden. Die z-Position kann beispielsweise mittels einer Stereo-Tiefenmessung bestimmt werden oder auch mittels anderer Syste- me wie Radarmessung, Navigationskarten oder C2X-Kommunikation ermittelt werden. Andere Koordinatensysteme und Darstellungen der Position des Objekt- punktes sind ebenfalls möglich. Die 3D-Koordinaten können direkt ermittelte Messwerte repräsentieren. Das bedeutet, dass die 3D-Koordinaten ohne Verwendung einer Filtervorschrift bestimmt werden können. Jede 3D-Koordinate kann somit ausschließlich auf Messwerten basieren, die zu einem, der speziellen 3D-Koordinate zugeordneten Zeitpunkt ermittelt worden sind. Beispielsweise kann jede 3D-Koordinate aus Einzelbildern bestimmt werden, die von dem Umfelderfassenden-System gleichzeitig oder innerhalb eines Erfassungszyklus, er- fasst wurden. Bei der Schnittstelle kann es sich um eine Schnittstelle zu dem Umfelderfassenden-System oder einer entsprechenden Auswerte- oder Vorver- arbeitungseinrichtung handeln. Der zweite Zeitpunkt kann zeitlich nach dem ersten Zeitpunkt liegen. In der zwischen dem ersten und dem zweiten Zeitpunkt liegenden Zeitspanne kann sich der Objektpunkt von der, durch die erste 3D- Koordinate bestimmten ersten Position, zu der, durch die zweite 3D-Koordinate bestimmten zweiten Position bewegt haben. Somit können aus den 3D- Koordinaten und den jeweils zugeordneten Zeitpunkten eine Bewegungsgeschwindigkeit und eine Bewegungsrichtung des Objektpunktes bestimmt werden. Die Geschwindigkeitsinformation oder Bewegungsinformation kann sowohl die Bewegungsgeschwindigkeit als auch die Bewegungsrichtung oder darauf basierende Werte umfassen. Die Geschwindigkeitsinformation kann zur Weiterverar- beitung an eine Schnittstelle bereitgestellt werden. Beispielsweise kann die
Geschwindigkeitinformation an ein Fahrerassistenzsystem bereitgestellt werden.
Gemäß einer Ausführungsform kann die Geschwindigkeitsinformation aus der ersten ungefilterten 3D-Koordinate und der mindestens einen zweiten ungefilter- ten 3D-Koordinate als ein ungefilterter Wert bestimmt werden. Dies bedeutet, dass die Geschwindigkeitsinformation ohne Verwendung einer Filtervorschrift bestimmt werden kann. Somit kann die Geschwindigkeitsinformation ausschließlich unter Verwendung der ungefilterten 3D-Koordinate bestimmt werden. Dadurch kann die Rechenintensität zur Bestimmung der Geschwindigkeitsinforma- tion sehr gering gehalten werden.
Alternativ kann die Geschwindigkeitsinformation unter Einsatz einer Filtervorschrift bestimmt werden. Beispielsweise kann ein Multimodellfilter, z.B. ein Kaiman-Filter, eingesetzt werden. Auf diese Weise kann die Genauigkeit der Ge- schwindigkeitsinformation erhöht werden. Bei der Geschwindigkeitsinformation kann es sich um einen 3D- Geschwindigkeitsvektor handeln. Somit kann die Geschwindigkeitsinformation sowohl einen Betrag der Geschwindigkeit als auch eine Richtung der Bewegung des Objektpunktes angeben.
Alternativ oder zusätzlich kann es sich bei der Geschwindigkeitsinformation um eine Information über einen voraussichtlichen Kollisionszeitpunkt zwischen dem Objektpunkt und dem Fahrzeug handeln. Der Kollisionszeitpunkt kann beispielsweise von einem Fahrerassistenzsystem weiterverarbeitet werden.
Gemäß einer Ausführungsform kann die Geschwindigkeitsinformation mittels einer Differenzbildung aus der ersten ungefilterten 3D-Koordinate und der mindestens einen zweiten ungefilterten 3D-Koordinate bestimmt werden. Dies ermöglicht eine schnelle und unkomplizierte Ermittlung der Geschwindigkeitsinformati- on.
Erfindungsgemäß können für eine Mehrzahl von Objektpunkten eine Mehrzahl von ungefilterten 3D-Koordinaten und eine Mehrzahl von Geschwindigkeitsinformationen bestimmt werden. Eine Menge von Objektpunkten, aus der Mehrzahl von Objektpunkten, kann basierend auf der Mehrzahl von ungefilterten 3D-
Koordinaten und der Mehrzahl von Geschwindigkeitsinformationen, einem Objekt zugeordnet werden. Die Zuordnung kann basierend auf einer Zuordnungsvorschrift erfolgen. Befinden sich eine Mehrzahl von relevanten Objekten im Umfeld des Fahrzeugs, so kann die Mehrzahl von Objektpunkten entsprechen auch auf mehrere unterschiedliche Objekte aufgeteilt werden. Die Zuordnung der Menge von Objektpunkten kann ein Zusammenfassen von Objektpunkten zu einer Objektwolke bewirken. Jede Objektwolke kann ein Objekt repräsentieren. Das Objekt kann mittels eines geeigneten Klassifizierungsverfahren aus der Objektwolke bestimmt werden kann. Beispielsweise können benachbarte Objektpunkte, die eine gemeinsame Bewegungsrichtung und Bewegungsgeschwindigkeit aufweisen, einem Objekt zugeordnet werden. Somit ist eine Erkennung und Verfolgung eines, sich in dem Umfeld des Fahrzeugs befindlichen Objekts möglich.
Gemäß einer Ausführungsform kann eine statistische Größe ermittelt werden, die der Menge von Objektpunkten zugeordnet sein kann. Dabei kann es sich beispielsweise um einen Mittelwert oder um eine Varianz entsprechender, den Ob- jektpunkten zugeordneter, Werte handeln. Beispielsweise kann die statistische Größe über die Geschwindigkeitsinformationen der Objektpunkte bestimmt werden, die einem Objekt zugeordnet sind. Mittels der statistischen Größen können Messungenauigkeiten ausgeglichen werden.
Ferner kann ein Objektattribut ermittelt werden, das der Menge von Objektpunkten zugeordnet ist. Das Objektattribut kann beispielsweise eine Entfernung, Breite oder Geschwindigkeit des Objekts darstellen. Das Objektattribut kann durch eine Auswertung der 3D-Koordinaten sowie der Geschwindigkeitsinformationen bestimmt werden. Das Objektattribut kann für eine Klassifizierung oder Bewertung eines Objekts oder einer Objektbewegung eingesetzt werden.
Erfindungsgemäß können die 3D-Koordinaten Informationen repräsentieren, die von einem Umfelderfassenden-System bereitgestellt werden. Das Umfelderfas- senden-System kann eine Mehrzahl von Sensoren aufweisen. Dabei kann es sich um optische Sensoren handeln, die ausgebildet sind, um das Umfeld des Fahrzeugs zu erfassen und abzubilden. Beispielsweise kann es sich bei dem Umfelderfassenden-System um eine Stereo-Kamera-Anordnung handeln. Das Umfelderfassenden-System kann zur Ermittlung eines Abstandes eines Objekt- punktes eine Stereo-Tiefenmessung ermöglichen. Alternativ oder zusätzlich können auch andere geeignete Sensoren, Messverfahren oder Auswerteverfahren zur Ermittlung der 3D-Koordinaten eingesetzt werden.
Dabei kann das Umfelderfassende-System ausgebildet sein, um zu dem ersten Zeitpunkt ein erstes Abbild des Umfelds und zu dem mindestens einem zweiten
Zeitpunkt ein zweites Abbild des Umfelds bereitzustellen. Die erste 3D- Koordinate kann basierend auf dem ersten Abbild und die mindestens eine zweite 3D-Koordinate kann basierend auf dem zweiten Abbild ermittelt werden. Zur Auswertung der Abbilder können bekannte Bildanalyseverfahren eingesetzt wer- den.
Gemäß einer Ausführungsform kann ein Empfangen einer Information über eine Eigenbewegung des Umfelderfassenden-Systems über eine Schnittstelle erfolgen. Demnach kann die Geschwindigkeitsinformation ferner basierend auf der In- formation über die Eigenbewegung bestimmt werden. Auf diese Weise kann die Geschwindigkeitsinformation mit einer größeren Genauigkeit bestimmt werden. Zudem wird die Ermittlung relevanter Objektpunkte vereinfacht.
Die vorliegende Erfindung schafft ferner ein Steuergerät, das ausgebildet ist, um die Schritte des erfindungsgemäßen Verfahrens durchzuführen bzw. umzusetzen. Auch durch diese Ausführungsvariante der Erfindung in Form eines Steuergeräts kann die der Erfindung zugrunde liegende Aufgabe schnell und effizient gelöst werden. Unter einem Steuergerät kann vorliegend ein elektrisches Gerät verstanden werden, das Sensorsignale verarbeitet und in Abhängigkeit davon Steuersignale ausgibt. Das Steuergerät kann eine Schnittstelle aufweisen, die hard- und/oder softwaremäßig ausgebildet sein kann. Bei einer hardwaremäßigen Ausbildung können die Schnittstellen beispielsweise Teil eines sogenannten System-ASICs sein, der verschiedenste Funktionen des Steuergeräts beinhaltet. Es ist jedoch auch möglich, dass die Schnittstellen eigene, integrierte Schaltkreise sind oder zumindest teilweise aus diskreten Bauelementen bestehen. Bei einer softwaremäßigen Ausbildung können die Schnittstellen Softwaremodule sein, die beispielsweise auf einem Mikrocontroller neben anderen Softwaremodulen vorhan- den sind.
Von Vorteil ist auch ein Computerprogrammprodukt mit Programmcode, der auf einem maschinenlesbaren Träger wie einem Halbleiterspeicher, einem Festplattenspeicher oder einem optischen Speicher gespeichert ist und zur Durchführung des Verfahrens nach einem der vorstehend beschriebenen Ausführungsformen verwendet wird, wenn das Programm auf einem Steuergerät ausgeführt wird.
Die Erfindung wird nachstehend anhand der beigefügten Zeichnungen beispielhaft näher erläutert. Es zeigen:
Fig. 1 ein Ablaufdiagramm eines ersten Ausführungsbeispiels der vorliegenden Erfindung; und
Fig. 2 einen Ablauf einer Schätzung eines Vektors des 3D-Fluss-Feldes, ge- maß einem Ausführungsbeispiel der vorliegenden Erfindung. In der nachfolgenden Beschreibung bevorzugter Ausführungsbeispiele der vorliegenden Erfindung werden für die in den verschiedenen Figuren dargestellten und ähnlich wirkenden Elemente gleiche oder ähnliche Bezugszeichen verwendet, wobei auf eine wiederholte Beschreibung dieser Elemente verzichtet wird.
Fig. 1 zeigt ein Ablaufdiagramm eines Verfahrens zur Bestimmung einer Bewegungsinformation eines, sich in einem Umfeld eines Fahrzeugs befindlichen Objekts, gemäß einem Ausführungsbeispiel der vorliegenden Erfindung. In einem ersten Schritt 102 kann für einen vorbestimmten Objektpunkt eine erste ungefilterte 3D-Koordinate empfangen werden, die einem ersten Zeitpunkt zugeordnet werden kann. Für denselben vorbestimmten Objektpunkt kann in einem weiteren Schritt 104 eine zweite ungefilterte 3D-Koordinate empfangen werden, die einem zweiten Zeitpunkt zugeordnet werden kann. Bezüglich desselben Ob- jektpunktes können weitere 3D-Koordinaten empfangen werden, die weiteren
Zeitpunkten zugeordnet werden können. In einem weiteren Schritt 106 kann aus den, bezüglich des einen Objektpunktes empfangenen 3D-Koordinaten, eine Geschwindigkeitsinformation bestimmt werden. Entsprechende Verfahrensschritte 102, 104, 106 können zeitgleich oder zeitlich versetzt für weitere Objektpunkte durchgeführt werden, so dass Geschwindigkeitsinformationen für unterschiedliche Objektpunkte bestimmt werden können.
Fig. 2 zeigt einen Ablauf einer Schätzung eines Vektors eines 3D-Fluss-Feldes, gemäß einem Ausführungsbeispiel der vorliegenden Erfindung. Der Vektor kann der erfindungsgemäß bestimmbaren Geschwindigkeitsinformation entsprechen.
Gezeigt ist ein Koordinatensystem mit einer x-Achse, einer y-Achse und einer z- Achse. Die x-Achse und die y-Achse spannen eine Bildebene 210 eines opti- sehen Sensors auf. Der optische Sensor kann an einem Fahrzeug angeordnet sein, und ausgebildet sein, um ein Umfeld des Fahrzeugs abzubilden. Ein Brennpunkt 212 des optischen Sensors ist im Ursprung des Koordinatensystems angeordnet. Ferner ist eine Brennweite 214 gezeigt. Ein Objektpunkt befindet sich zu einem ersten Zeitpunkt an einer Position 221 , beispielsweise im Umfeld eines Fahrzeugs. Zu einem zweiten Zeitpunkt befindet sich der Objektpunkt an einer Position 222 und zu einem dritten Zeitpunkt an einer Position 223. Die Positionen 221 , 222, 223 können in Bezug auf das Koordinatensystem jeweils durch 3D-Koordinaten definiert werden, die jeweils einen x- Wert, einen y-Wert und einen z-Wert aufweisen. Entfernungen zwischen dem Brennpunkt 212 und dem Objektpunkt an den Positionen 221 , 222, 223 können jeweils über eine Tiefenmessung, zum Beispiel durch Stereo-Video ermittelt werden. Der Objektpunkt kann auf die Bildebene 210 abgebildet werden. So kann der Objektpunkt zum ersten Zeitpunkt auf die Position 231 , zum zweiten Zeitpunkt auf die Position 232 und zum dritten Zeitpunkt auf die Position 233 abge- bildet werden. Auf der Bildebene 210 können die Positionen 231 , 232, 233 jeweils durch eine x- und eine y-Koordinate beschrieben werden. Der Objektpunkt führt zu einem ersten Zeitpunkt eine Bewegung aus, deren Richtung und Größe durch einen ersten Geschwindigkeitsvektor 241 dargestellt ist. Zum zweiten Zeitpunkt führt der Objektpunkt eine Bewegung aus, die durch einen zweiten Ge- schwindigkeitsvektor 242 dargestellt ist und zum dritten Zeitpunkt führt der Objektpunkt eine Bewegung aus, die durch einen dritten Geschwindigkeitsvektor 243 dargestellt ist. Die Bewegungen des Objektpunktes können auf die Bildebene 210 abgebildet werden. So stellt ein Vektor 251 eine in der Bildebene 210 gelegene 2D-Trajektorie zwischen der Position 231 unter Position 232 dar. In ent- sprechender Weise, stellt ein Vektor 252 eine 2D-Trajektorie zwischen der Position 232 unter Position 233 dar. Somit stellt der Vektor 252 eine Verschiebung des relevanten Bildpunktes von (t-1 ) nach (t) dar. Dies entspricht dem optischen Fluss. Die Positionen 221 , 222, 223 stellen somit 3D-Positionen des Objektpunktes zu den jeweiligen Zeitpunkten dar. Der erste Geschwindigkeitsvektor 241 stellt einen 3D-Flussvektor zum ersten Zeitpunkt (t-2), der zweite Geschwindigkeitsvektor 242 einen 3D-Flussvektor zum zweiten Zeitpunkt (t-1 ) und der dritte Geschwindigkeitsvektor 243 einen 3D-Flussvektor zum dritten Zeitpunkt (t) dar. Die Längen der Geschwindigkeitsvektoren 241 , 242, 243 stellen jeweils SD-
Geschwindigkeiten dar. Somit stellen die Positionen 221 , 223, 223 eine 3D- Trajektorie des relevanten Bildpunktes von (t-2) nach (t) dar.
Somit können die realen Positionen 221 , 222, 223 des Objektpunktes durch 3D- Koordinaten dargestellt werden, die durch die entsprechenden 2D-Positionen
231 , 232, 233 und zugeordnete Tiefenmessungen ermittelt werden können. Die jeweiligen 3D-Koordinaten können dabei direkt aus den jeweils entsprechenden 2D-Positionen 231 , 232, 233 sowie den jeweils entsprechenden Tiefenmessungen bestimmt werden, ohne das dazu ein Filter eingesetzt wird oder zeitlich vorrangegangene oder zeitlich nachfolgende 2D-Positionen oder Tiefenmessungen mit einfließen. So kann eine der Positionen 221 entsprechende 3D-Koordinate direkt aus der 2D-Position 231 und der Tiefenmessungen ermittelt werden, die die den Abstand zwischen der Position 221 und dem Brennpunkt 212 bereitstellt.
Aus den 3D-Koordinaten kann eine 3D-Trajektorie ermittelt werden, die eine rea- Ie Bewegung des Objektpunktes im Umfeld des Fahrzeugs repräsentiert.
Gemäß dem in Fig. 2 gezeigten Ausführungsbeispiel kann der 3D-Fluss einer Menge von relevanten Bildpunkten auf Grundlage einer digitalen Bildsequenz und eines Abstandsmessenden Sensors effizient bestimmt werden. Dabei wer- den zunächst innerhalb der Bildsequenz relevante Bildpunkte ermittelt. Unter
Ausnutzung des Abstandsmessenden Sensors, z.B. eines Stereo-Kamera- Systems, wird die 3D-Position eines relevanten Bildpunktes ermittelt. In den darauf folgenden Zeitschritten wird der Bildpunkt mittels eines geeigneten Verfahrens, z.B. eines KLT-T rackers, in der Bildsequenz verfolgt und dann erneut 3- Dimensional vermessen. Auf diese Art und Weise entsteht eine 3D-Trajektorie des relevanten Bildpunktes, aus der sich ein Schätzwert für den SD- Geschwindigkeitsvektor ableiten lässt. Dies kann im einfachsten Falle durch eine Differenzbildung zwei aufeinanderfolgender 3D-Positionen geschehen. Die zurückgelegte Strecke kann dann, z.B. durch die Einbeziehung der Zeit die zwi- sehen der Beobachtung beider 3D-Positionen verstrichen ist, in einen Geschwindigkeitsvektor überführt werden. Für die Filterung des Geschwindigkeitsvektors sind verschiedene Verfahren denkbar, wie z.B. ein 3-Dimensionaler Kaimanfilter. Da die initiale Geschwindigkeit i.d.R. unbekannt ist, kann auch ein Multihypothe- sen-Kalmanfilter oder allgemeiner ein Multimodellfilter zum Einsatz kommen. Die Verlässlichkeit der Geschwindigkeitsschätzung sowie die Auswahl der relevanten
Bildpunkte kann erhöht werden, wenn die Eigenbewegung des Sensorsystems in die Berechnung einfließt. Die Eigenbewegung kann dabei von externen Sensoren, z.B. Odometrie im Kfz, und/oder anhand der Messdaten des Sensorsystems selbst bestimmt werden. Die Entfernungsmessung kann von einem beliebigen Sensor stammen, z.B. von einem Stereo-Kamera-System oder einem MEMS- LIDAR, dessen relative Orientierung zum Videosensor, der die digitale Bildsequenz liefert, bekannt ist.
Das 3D-Flussfeld entsteht, indem das oben beschriebene Verfahren für viele re- levante Bildpunkte ausgeführt wird. Innerhalb des Flussfeldes lassen sich 3D-
Objekte in Form von bewegten 3D-Punktwolken bestimmen. Zudem sind Objektattribute wie z.B. Entfernung, Breite oder Geschwindigkeit ableitbar, wobei deren Güte i.d.R. mit wachsender Anzahl zusammengefasster Bildpunkte steigt. Die beschriebenen und in den Figuren gezeigten Ausführungsbeispiele sind nur beispielhaft gewählt. Unterschiedliche Ausführungsbeispiele können vollständig oder in Bezug auf einzelne Merkmale miteinander kombiniert werden. Auch kann ein Ausführungsbeispiel durch Merkmale eines weiteren Ausführungsbeispiels ergänzt werden. Ferner können erfindungsgemäße Verfahrensschritte wiederholt sowie in einer anderen als in der beschriebenen Reihenfolge ausgeführt werden.
Umfasst ein Ausführungsbeispiel eine„und/oder" Verknüpfung zwischen einem ersten Merkmal und einem zweiten Merkmal, so kann dies so gelesen werden, dass das Ausführungsbeispiel gemäß einer Ausführungsform sowohl das erste Merkmal als auch das zweite Merkmal und gemäß einer weiteren Ausführungs- form entweder nur das erste Merkmal oder nur das zweite Merkmal aufweist.

Claims

Ansprüche
1. Verfahren zur Bestimmung einer Bewegungsinformation eines sich in einem Umfeld eines Fahrzeugs befindlichen Objekts, das die folgenden Schritte umfasst:
Empfangen (102) einer ersten ungefilterten 3D-Koordinate (221 ) über eine Schnittstelle, wobei die erste ungefilterte 3D-Koordinate eine Position eines Objektpunktes innerhalb eines vorbestimmten Koordinatensystems zu einem ersten Zeitpunkt definiert;
Empfangen (104) mindestens einer zweiten ungefilterten 3D-Koordinate (222, 223) über die Schnittstelle, wobei die mindestens eine zweite ungefilterte 3D-Koordinate eine Position des Objektpunktes innerhalb des vorbestimmten Koordinatensystems zu mindestens einem zweiten Zeitpunkt defi- niert; und
Bestimmen (106) einer den Objektpunkt betreffenden Geschwindigkeitsinformation, basierend auf der ersten ungefilterten 3D-Koordinate und der mindestens einen zweiten ungefilterten 3D-Koordinate.
2. Verfahren gemäß Anspruch 1 , bei dem die Geschwindigkeitsinformation aus der ersten ungefilterten 3D-Koordinate (221 ) und der mindestens einen zweiten ungefilterten 3D-Koordinate (222, 223) als ein ungefilterter Wert bestimmt wird.
3. Verfahren gemäß Anspruch 1 , bei dem die Geschwindigkeitsinformation unter Einsatz einer Filtervorschrift bestimmt wird.
4. Verfahren gemäß einem der vorangegangenen Ansprüche, bei dem es sich bei der Geschwindigkeitsinformation um einen 3D-Geschwindigkeitsvektor handelt.
5. Verfahren gemäß einem der vorangegangenen Ansprüche, bei dem die Geschwindigkeitsinformation eine Information über einen voraussichtlichen Kollisionszeitpunkt zwischen dem Objektpunkt und dem Fahrzeug repräsentiert.
6. Verfahren gemäß einem der vorangegangenen Ansprüche, bei dem die Geschwindigkeitsinformation mittels einer Differenzbildung aus der ersten ungefilterten 3D-Koordinate (221 ) und der mindestens einen zweiten ungefilterten
3D-Koordinate (222, 223) bestimmt wird.
7. Verfahren gemäß einem der vorangegangenen Ansprüche, bei dem für eine Mehrzahl von Objektpunkten eine Mehrzahl von ungefilterten 3D- Koordinaten und eine Mehrzahl von Geschwindigkeitsinformationen bestimmt werden und bei dem eine Menge von Objektpunkten, aus der Mehr- zahl von Objektpunkten, basierend auf der Mehrzahl von ungefilterten 3D-
Koordinaten und der Mehrzahl von Geschwindigkeitsinformationen, einem Objekt zugeordnet werden.
8. Verfahren gemäß Anspruch 7, bei dem eine statistische Größe ermittelt wird, die der Menge von Objektpunkten zugeordnet ist.
9. Verfahren gemäß einem der Ansprüche 7 oder 8, bei dem ein Objektattribut ermittelt wird, das der Menge von Objektpunkten zugeordnet ist.
10. Verfahren gemäß einem der vorangegangenen Ansprüche, bei dem die 3D-
Koordinaten Informationen repräsentieren, die von einem Umfelderfassenden-System bereitgestellt werden.
1 1. Verfahren gemäß Anspruch 10, bei dem das Umfelderfassende-System
ausgebildet ist, um zu dem ersten Zeitpunkt ein erstes Abbild (210) des Umfelds und zu dem mindestens einem zweiten Zeitpunkt ein zweites Abbild des Umfelds bereitzustellen, wobei die erste 3D-Koordinate (221 ) basierend auf dem ersten Abbild und die mindestens eine zweite 3D-Koordinate (222,
223) basierend auf dem zweiten Abbild ermittelt wird.
12. Verfahren gemäß einem der Ansprüche 10 oder 1 1 , mit einem Schritt des Empfangene einer Information über eine Eigenbewegung des Umfelderfassenden-Systems über eine Schnittstelle, und wobei die Geschwindigkeitsin- formation ferner basierend auf der Information über die Eigenbewegung bestimmt wird.
13. Steuergerät, das ausgebildet ist, um die Schritte eines Verfahrens gemäß einem der Ansprüche 1 bis 12 durchzuführen.
14. Computerprogrammprodukt mit Programmcode, der auf einem maschinenlesbaren Träger gespeichert ist, zur Durchführung des Verfahrens nach einem der Ansprüche 1 bis 12, wenn das Programm auf einem Steuergerät ausgeführt wird.
PCT/EP2010/061483 2009-08-20 2010-08-06 Verfahren und steuergerät zur bestimmung einer bewegungsinformation eines objekts WO2011020713A1 (de)

Priority Applications (1)

Application Number Priority Date Filing Date Title
EP10742134A EP2467826A1 (de) 2009-08-20 2010-08-06 Verfahren und steuergerät zur bestimmung einer bewegungsinformation eines objekts

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102009028742.6 2009-08-20
DE200910028742 DE102009028742A1 (de) 2009-08-20 2009-08-20 Verfahren und Steuergerät zur Bestimmung einer Bewegungsinformation eines Objekts

Publications (1)

Publication Number Publication Date
WO2011020713A1 true WO2011020713A1 (de) 2011-02-24

Family

ID=42751596

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2010/061483 WO2011020713A1 (de) 2009-08-20 2010-08-06 Verfahren und steuergerät zur bestimmung einer bewegungsinformation eines objekts

Country Status (3)

Country Link
EP (1) EP2467826A1 (de)
DE (1) DE102009028742A1 (de)
WO (1) WO2011020713A1 (de)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102016218852A1 (de) 2016-09-29 2018-03-29 Conti Temic Microelectronic Gmbh Detektion von Objekten aus Bildern einer Kamera
DE102016218853A1 (de) 2016-09-29 2018-03-29 Conti Temic Microelectronic Gmbh Detektion und Validierung von Objekten aus Bildern einer Kamera
DE102016218849A1 (de) 2016-09-29 2018-03-29 Conti Temic Microelectronic Gmbh Detektion und Tracking von Objekten aus Bildern einer Kamera
DE102016223107A1 (de) * 2016-11-23 2018-05-24 Volkswagen Aktiengesellschaft System und Verfahren zur Schätzung der Eigenbewegung eines Fahrzeuges
FR3070658B1 (fr) * 2017-09-06 2019-08-30 IFP Energies Nouvelles Procede de determination d'une vitesse a atteindre pour un premier vehicule precede par un deuxieme vehicule, en particulier pour un vehicule autonome

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6603535B1 (en) * 2002-08-30 2003-08-05 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration Stereo imaging velocimetry system and method
EP1589484A1 (de) * 2004-04-19 2005-10-26 IBEO Automobile Sensor GmbH Verfahren zur Erkennung und/oder Verfolgung von Objekten
DE102005008131A1 (de) 2005-01-31 2006-08-03 Daimlerchrysler Ag Objektdetektion auf Bildpunktebene in digitalen Bildsequenzen
DE102007018470A1 (de) * 2007-04-19 2008-10-23 Robert Bosch Gmbh Fahrerassistenzsystem und Verfahren zur Objektplausibilisierung
DE102008025773A1 (de) * 2008-05-29 2009-01-08 Daimler Ag Verfahren zur Schätzung eines Orts- und Bewegungszustands eines beobachteten Objekts
EP2071515A1 (de) * 2007-12-11 2009-06-17 Honda Research Institute Europe GmbH Visuelle Verfolgung eines Objekts in der realen Welt über seine 2D-Erscheinung und Multicue-Tiefenschätzungen

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6603535B1 (en) * 2002-08-30 2003-08-05 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration Stereo imaging velocimetry system and method
EP1589484A1 (de) * 2004-04-19 2005-10-26 IBEO Automobile Sensor GmbH Verfahren zur Erkennung und/oder Verfolgung von Objekten
DE102005008131A1 (de) 2005-01-31 2006-08-03 Daimlerchrysler Ag Objektdetektion auf Bildpunktebene in digitalen Bildsequenzen
DE102007018470A1 (de) * 2007-04-19 2008-10-23 Robert Bosch Gmbh Fahrerassistenzsystem und Verfahren zur Objektplausibilisierung
EP2071515A1 (de) * 2007-12-11 2009-06-17 Honda Research Institute Europe GmbH Visuelle Verfolgung eines Objekts in der realen Welt über seine 2D-Erscheinung und Multicue-Tiefenschätzungen
DE102008025773A1 (de) * 2008-05-29 2009-01-08 Daimler Ag Verfahren zur Schätzung eines Orts- und Bewegungszustands eines beobachteten Objekts

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
JIA ET AL: "Vision based data fusion for autonomous vehicles target tracking using interacting multiple dynamic models", COMPUTER VISION AND IMAGE UNDERSTANDING, ACADEMIC PRESS, US LNKD- DOI:10.1016/J.CVIU.2006.12.001, vol. 109, no. 1, 14 December 2007 (2007-12-14), pages 1 - 21, XP022391252, ISSN: 1077-3142 *
See also references of EP2467826A1 *

Also Published As

Publication number Publication date
EP2467826A1 (de) 2012-06-27
DE102009028742A1 (de) 2011-02-24

Similar Documents

Publication Publication Date Title
EP2043045B1 (de) Verfahren zur Objektverfolgung
DE102014209137B4 (de) Verfahren und Vorrichtung zur Kalibrierung eines Kamerasystems eines Kraftfahrzeugs
EP0541567B1 (de) Verfahren zur analyse zeitlicher folgen digitaler bilder
WO2017206999A1 (de) Verfahren zur auswertung von bilddaten einer fahrzeugkamera
EP1531343B1 (de) Verfahren zur Verfolgung von Objekten
DE602004012962T2 (de) Echtzeit-hinderniserkennung mit einer kalibrierten kamera und bekannter ego-bewegung
DE102012216386A1 (de) Verfahren zum Betreiben eines Fahrerassistenzsystems eines Fahrzeugs
DE112014002019T5 (de) Kurvenformmodelliereinrichtung, Fahrzeuginformationsverarbeitungssystem, Kurvenformmodellierverfahren und Kurvenformmodellierprogramm
DE102005008131A1 (de) Objektdetektion auf Bildpunktebene in digitalen Bildsequenzen
EP3044727B1 (de) Verfahren und vorrichtung zur objekterkennung aus tiefenaufgelösten bilddaten
WO2013178407A1 (de) Verfahren und vorrichtung zur verarbeitung stereoskopischer daten
DE102007049706A1 (de) Verfahren zur Schätzung der Relativbewegung von Video-Objekten und Fahrerassistenzsystem für Kraftfahrzeuge
WO2011020713A1 (de) Verfahren und steuergerät zur bestimmung einer bewegungsinformation eines objekts
DE102020211970A1 (de) Verfahren zum Steuern eines Fahrzeugs
DE102018123393A1 (de) Erkennung von Parkflächen
DE102018204451A1 (de) Verfahren und Vorrichtung zur Autokalibrierung eines Fahrzeugkamerasystems
EP2736017A2 (de) Verfahren zur Ermittlung der Bewegung eines Kraftfahrzeugs
EP2394247B1 (de) Verfahren und vorrichtung zum betrieb eines videobasierten fahrerassistenzsystems in einem fahrzeug
EP3663881B1 (de) Verfahren zur steuerung eines autonomen fahrzeugs auf der grundlage von geschätzten bewegungsvektoren
DE102011118171A1 (de) Verfahren und Vorrichtung zur Schätzung einer Fahrbahnebene und zur Klassifikation von 3D-Punkten
DE102014204360A1 (de) Verfahren sowie Vorrichtung zur Abschätzung des Abstandes eines in Bewegung befindlichen Fahrzeuges von einem Objekt
DE102008042631A1 (de) Verfahren und Vorrichtung zur Abstandsermittlung bei einem monokularen Videoassistenzsystem
DE102020105192A1 (de) Verfahren zum Detektieren bewegter Objekte in einer Fahrzeugumgebung und Kraftfahrzeug
DE102016223072B4 (de) Bestimmen einer Eigenbewegung eines Fahrzeugs anhand von ortsfesten Objekten
DE112021005777T5 (de) Systeme und Verfahren zum Entfernungsraten-Dealiasing unter Verwendung einer Positionskonsistenz

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 10742134

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2010742134

Country of ref document: EP