WO2004055548A1 - Verfahren zur erkennung und verfolgung von objekten - Google Patents

Verfahren zur erkennung und verfolgung von objekten Download PDF

Info

Publication number
WO2004055548A1
WO2004055548A1 PCT/EP2003/012903 EP0312903W WO2004055548A1 WO 2004055548 A1 WO2004055548 A1 WO 2004055548A1 EP 0312903 W EP0312903 W EP 0312903W WO 2004055548 A1 WO2004055548 A1 WO 2004055548A1
Authority
WO
WIPO (PCT)
Prior art keywords
contour
segment
elements
current
assigned
Prior art date
Application number
PCT/EP2003/012903
Other languages
English (en)
French (fr)
Inventor
Ulrich Lages
Volker Willhoeft
Martin Dittmer
Original Assignee
Ibeo Automobile Sensor Gmbh
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ibeo Automobile Sensor Gmbh filed Critical Ibeo Automobile Sensor Gmbh
Priority to JP2004559698A priority Critical patent/JP2006510097A/ja
Priority to AU2003288104A priority patent/AU2003288104A1/en
Priority to US10/539,661 priority patent/US20060115113A1/en
Priority to EP03779976A priority patent/EP1554606A1/de
Publication of WO2004055548A1 publication Critical patent/WO2004055548A1/de

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S3/00—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received
    • G01S3/78—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received using electromagnetic waves other than radio waves
    • G01S3/782—Systems for determining direction or deviation from predetermined direction
    • G01S3/785—Systems for determining direction or deviation from predetermined direction using adjustment of orientation of directivity characteristics of a detector or detector system to give a desired condition of signal derived from that detector or detector system
    • G01S3/786—Systems for determining direction or deviation from predetermined direction using adjustment of orientation of directivity characteristics of a detector or detector system to give a desired condition of signal derived from that detector or detector system the desired condition being maintained automatically
    • G01S3/7864—T.V. type tracking systems

Definitions

  • the present invention relates to a method for recognizing and tracking objects on the basis of at least one sensor for electromagnetic radiation, in particular a laser scanner, images of at least one object in a detection area of the sensor that are recorded in chronological order and include depth-resolved pixels.
  • Methods of the type mentioned are known in principle. For example, they can be used to monitor an area in front of a motor vehicle that is equipped with a corresponding sensor for electromagnetic radiation. In this way, the movement of objects, such as, for example, other motor vehicles and stationary objects or pedestrians moving relative to the motor vehicle, can be monitored in an area in front of the motor vehicle, for example, with a corresponding alignment of a detection region of the sensor.
  • Iterative methods are used for tracking, in which objects are represented by the position of a reference point of the objects.
  • a position of the reference point in a current cycle is predicted from the movement of the reference point in previous cycles.
  • the distances between the segments formed and the predicted position of the reference point are checked.
  • the position of the reference point of the object in the current cycle can then be determined from the coordinates of the pixels of the segments assigned to an object. Based on the current location and the predicted location, object locations and speeds can be estimated.
  • the tracking of the objects corresponding to the objects is made more difficult by the fact that, due to the relative movement, objects can enter the detection area of the sensor over several detection cycles of the sensor, so that the object can have different dimensions in the images captured by the sensor .
  • motor vehicles can move on a curved path relative to the sensor, which can result in different conditions for determining the position of the reference point in each cycle, for example in the case of elongated objects. This can lead to undesirable effects such as incorrect calculations of speeds and accelerations or loss of objects.
  • it may be necessary to deal with complicated procedures for treating effects such as an object decay, ie the decay of an object into two objects. Such an object decay can occur, in particular, when a partial obscuration of an object, for example, which was completely captured in previous cycles, occurs by objects in the foreground and apparently two separate objects thus arise.
  • the present invention is therefore based on the object of providing a method of the type mentioned at the outset which permits improved detection and tracking of objects.
  • At least one current object contour is formed from pixels of a current image; for objects in a previous cycle, at least one object contour assigned to the respective object in the previous cycle is at least predicts an object contour in the current cycle, for at least one of the objects a current position is determined from the current object contour and / or an object speed is determined from the current object contour and the object contour in a previous cycle.
  • a deeply resolved image of a sensor for detecting electromagnetic radiation is understood to mean a quantity of image points detected when the detection area of the sensor is scanned, to which points or, depending on the resolution of the sensor, also areas of an object detected by the sensor correspond.
  • the image points include coordinates corresponding to the position of the associated object points to define a position at least in one plane that is not orthogonal to a viewing direction of the sensor.
  • the pixels can furthermore contain data about further, in particular optical, properties of the object points, for example their reflectivity. Regions of the detection area in which no objects are present can nevertheless be assigned pixels depending on the sensor, which can then be identified accordingly.
  • sensors for electromagnetic radiation for detecting such deeply resolved images are known.
  • This can preferably be optoelectronic sensors which offer good spatial resolution and are therefore preferred for the method according to the invention.
  • systems with stereo video cameras can be used Det, which have a device for converting the scan data recorded by the cameras into depth-resolved images.
  • laser scanners are preferably used which, during a scan, scan a detection area with at least one pulsed radiation beam which sweeps over a predetermined angular range and detect, mostly diffusely, reflected radiation pulses of the radiation beam from a point or area of an object.
  • the transit time of the emitted and reflected radiation pulses is recorded for distance measurement.
  • the scan data recorded in this way for a pixel can then contain as coordinates the angle at which the reflex was recorded and the distance from the object point determined from the transit time of the radiation pulses.
  • the radiation can be visible or infrared light in particular.
  • the sensors capture the depth-resolved images in a chronological, preferably chronologically equidistant, sequence, the pixels within a single image not necessarily having to be captured one after the other.
  • the method according to the invention is carried out cyclically, with a new, current image of the sensor preferably being read into a device suitable for carrying out the method or made available for carrying out the method for each cycle.
  • One aspect of the present invention is to carry out object tracking on the basis of contours of the objects that are in the deep
  • resolved images are at least approximately captured from the sensor's point of view anyway by corresponding pixels and, on the other hand, are characteristic of many objects to be tracked, at least when used in road traffic.
  • the contour does not need to be all around the object, ie a closed line. Rather, a contour can also reproduce only a part of an outline of the object that can be detected by the sensor. In the method according to the invention, object contours assigned to the objects are therefore used.
  • At least one object contour is formed from pixels of a current image.
  • At least one object contour also assigned to the object in the current cycle is predicted starting from an object contour assigned to the respective object in the previous cycle.
  • At least the position of the object contour is predicted in the prediction, preferably also the shape. This results in an estimated position and / or shape of the object contour in the current cycle.
  • translations and / or rotations of the object contour can be taken into account in the prediction, since the position of a contour can include both the position and the orientation of the contour.
  • this prediction step can take place at any stage of the cycle after the determination of object contours in the previous cycle and the speeds and / or accelerations possibly used for the prediction in the previous cycle, but before the current object contour is used again.
  • This current object contour can be understood as a very precise determination of the actual position of the object, ie the position and orientation, especially when the depth-resolved image is recorded by a laser scanner.
  • this updated contour can thus be used to define the position and possibly also the extent of the object immediately or only after conversion, for example to a geometric center of gravity of the object contour.
  • a current position of the object and / or an object speed can now be determined from the current object contour and / or from the current object contour and the object contour in the previous cycle, in particular their positions.
  • the position of the object contour in the previous cycle can of course also be taken into account indirectly, for example by using the object contour predicted from this.
  • the time interval between successive image acquisitions can be used, which is preferably constant, but need not necessarily be constant.
  • the position and / or speed of the object can then be stored for further use or output to another device that processes the data.
  • the method according to the invention can also result in the tracking of only a single object in individual cases.
  • the method according to the invention is therefore not based on the use of an overall center of gravity of the object, so that apparent shifts in the overall center of gravity as a result of changing the object contour or the positions of the corresponding pixels do not lead to errors.
  • a rotation of an object or a yawing movement of an object can be automatically taken into account, which in particular can significantly facilitate and improve the assignment of pixels to objects.
  • the contour can also be used, for example, to trace corners or edges of objects, the method according to the invention makes it easier to avoid errors in object tracking in such situations.
  • current object contours could correspond to different predicted object contours. It is therefore preferred that a current object contour is assigned to one of the predicted object contours or object contours in a previous cycle, for which purpose a predetermined assignment criterion can be used. In this case, it can occur that a predicted object contour cannot be assigned a current object contour, for example if the corresponding object was completely covered by objects in the foreground. Furthermore, the case may occur that no object is detected by the sensor in the detection area. A new object contour cannot then be formed. It is preferred that if a current object contour cannot be assigned to a predicted object contour, the predicted object contour and / or the object contour from the previous cycle are used further and the corresponding object is retained.
  • the predi- decorated object contour can thus be used to output a position and / or speed of a corresponding object. Corresponding data can therefore also be output, if necessary, without the object having been recorded in the current cycle. Furthermore, a prediction of a new predicted object contour and a new assignment of a current object contour is possible in one of the following cycles.
  • An object corresponding to such an object contour particularly preferably does not need to be followed up if the uncertainty of the prediction becomes too great.
  • the uncertainty can arise in particular from the number of successive cycles during which no corresponding current object contour was found, or from an estimated error in the prediction.
  • current object contours can be formed in any desired manner, in particular directly, from pixels of the current image in the method according to the invention.
  • segments are formed from image points of a current image in order to form current object contours, that a segment contour assigned to the segment and its position are determined for each of the segments, that one of the segment contours with at least one of the predicted object contours with respect to their position and / or shape, and depending on the result of the comparison, the segment corresponding to the segment contour is assigned to one of the objects, and that current object contours are respectively formed from the segment contours of objects assigned to objects.
  • Segments are initially formed from pixels of a current image.
  • the pixels of the Image in particular, segments are formed, each comprising a single pixel or a set of all pixels, of which at least two are defined as belonging to the segment in accordance with at least one segmentation criterion and which do not have any common pixels.
  • This segmentation criterion can in particular be a criterion for a maximum permissible distance and / or a maximum permissible difference in an optical property, in particular the reflectivity.
  • an inclination of a surface determined from pulse widths and / or heights can also be used.
  • a segment contour assigned to the segment and its position are determined, it being possible for a segment consisting of only one pixel to have only one pixel.
  • the segment contour and its position are determined on the basis of the pixels assigned to the segment, in particular the position coordinates of the pixels.
  • segments of the current cycle are essentially assigned to predicted objects.
  • one of the segment contours preferably each segment contour, is compared with at least one of the predicted object contours in terms of position and / or shape.
  • the segment corresponding to the segment contour may then be assigned to one of the objects under consideration.
  • the comparison tries to determine whether the segment contour could at least partially correspond to an object contour in shape and / or position. If a sufficient match is found, the segment is assigned to the corresponding object, otherwise the segment becomes another assigned a suitable object. If no other object is found, a new object may be created from the segment.
  • all segments are preferably assigned to objects and current object contours are formed for all objects from the segment contours of the segments assigned to the respective objects.
  • the use of segments allows simple and quick assignment of pixels to objects as well as simple and quick formation of object contours.
  • the object tracking based on object contours can automatically take into account a rotation of an object or a yawing movement of an object, which in particular can significantly simplify and improve the segment-object assignment.
  • the contour used in the method need not correspond to the actual outline of the object corresponding to the object. Rather, differences between these two contours can occur due to partial obscuration of the object, the resolution of the sensor or also inaccuracy of the method.
  • the contour of a segment or an object can basically be defined in any way. In particular, it is possible to describe the contour using a function determined by parameters, in particular non-local descriptions using orthogonal function systems, for example Fourier series or wavelets.
  • the contour preferably runs at least approximately through the pixels of the segment or object.
  • contours are defined by a contour element or a sequence of contour elements, and that the contour element or the contour elements define data from a few at least one pixel of a segment or from contour elements of another contour.
  • sequence also includes in particular that the contour elements have a predetermined sequence.
  • the contour in the sense of the method is therefore only defined by the contour elements. If necessary, lines can be calculated from the contour elements that illustrate a contour, but this is not absolutely necessary. In this case, the handling of contours can be reduced to the handling of contour elements, which can significantly simplify the method according to the invention.
  • a contour element is defined by data relating to properties with regard to the contour.
  • This data can be determined, in particular in the case of segment contours, from at least one pixel of a segment or, in particular in the case of object contours, from contour elements of one or more other contours.
  • object contours can be formed by adopting contour elements from one segment or by adopting contour elements from several segments and possibly changing the sequence.
  • the data defining the contour elements can include any data for defining a contour corresponding to the position of the pixels. It is preferred that the contour elements each include position coordinates as data. These can in particular be determined from one or more pixels of a segment to which the contour and thus also the contour element are assigned. In such a case, the contour elements can be at least partially understood as contour points, which, when connected by corresponding lines, approximately reproduce an outline given by the image points of the segment or object. However, a contour element can also include further data. 12
  • Contour elements of a segment contour can be formed in different ways. All contour elements do not necessarily have to be determined using exactly the same method.
  • a predetermined number of polar angles ascending or decreasing in a sequence with respect to a predefined polar axis of the segment of the segment are assigned to a corresponding contour element, and that data of the contour element from the pixels are assigned be determined.
  • the polar axis can be an axis which is essentially arbitrary, but which lies in the image plane in which the position coordinates of the contour element are defined.
  • a coordinate axis of a coordinate system is preferably used, in which the coordinates of the image points are also defined.
  • groups of pixels of a segment are combined to a certain extent and assigned to contour elements, data of the contour element, in particular, for example, its position coordinates, being obtained from the pixels, for example by simple averaging.
  • the groups of pixels formed here may in principle have common pixels, but it is preferred that they have no common pixels. In this case, segments can of course occur that have a number of pixels that is not a multiple of this specified number.
  • the contour element is formed from the remaining pixels in otherwise the same way as the other contour elements of the segment contour.
  • the predetermined number can be selected in particular as a function of the resolving power of the sensor and the length scales on which the contours of objects to be traced are typically used when the method is used. 13
  • the execution speed at which the method is to be carried out can be taken into account.
  • a contour element of a segment contour in order to form a contour element of a segment contour, ascending or decreasing polar angles with respect to a predetermined polar axis, successive image points of the segment are assigned to a corresponding contour element, the distance from which is from a first image element assigned to the contour element is smaller than a predetermined maximum distance, and that data of the contour element are determined from these pixels.
  • the polar axis and the polar angle can be defined as in the previously described alternative.
  • contour elements are formed which are at a similar distance from one another. The determination of the data of the contour element from the pixels can in turn be carried out as in the alternative described above.
  • a compensation curve is laid through the pixels of a segment and contour elements are determined by determining position coordinates for contour elements at equal intervals on this compensation curve. This method results in a uniform distribution of the contour elements along an outline of the segment.
  • contour elements are obtained by vectorizing a curve, which is created by connecting the pixels of a segment in an order of increasing or decreasing polar angles with respect to a predetermined polar axis.
  • a particularly small number of contour elements are generated, which are only defined on particularly characteristic curves of an outline, namely in particular on kinks or corners of the line.
  • Procedure for Vectorization of such curves is generally known.
  • a compensation curve can in particular be laid through the pixels as a curve.
  • the positions of the image points of a segment can, due to measurement errors of the sensor, but also due to movements of an object in a direction perpendicular to the detection area and a possibly very irregular surface of the object, can under certain circumstances have considerable errors or scatter widely. However, these deviations are irrelevant to the functioning of the method. It is therefore preferred that the positions of the pixels of a segment are subjected to low-pass filtering before the contour elements are formed. For example, moving averages can be formed.
  • the number of contour elements of a segment contour can be greater than the number of pixels of the segment. However, this increases the effort in dealing with the contours. It is therefore preferred that the number of contour elements of a segment contour is not greater than the number of pixels of the segment contour. A smaller number of contour elements is particularly preferably used, since this not only reduces the processing effort, but also averages when determining the data of the contour element via the image points used to form the contour element, so that random fluctuations in the Data of the contour element can be reduced.
  • a contour of the object can be smooth, for example in the case of a wall, or also very irregular or fissured, for example in the case of a bush.
  • a contour element is formed from several pixels, it is preferred that at least one A quality is assigned to the contour element, which depends on the positions of the pixels used to determine the contour element.
  • this quality can be a measure of how strongly a property of the contour element described by the data of the contour element deviates from the corresponding property of the pixels or how significant data is about a property of contour elements.
  • the quality can depend on the number of pixels used to form the contour element or also on a mean, for example square, deviation of the corresponding properties of the pixels from the. Depend on the property of the contour element.
  • the mean square distance of the pixels used to form the contour element can also depend, for example, on a compensation curve through the pixels that leads through the position coordinates of the contour element.
  • a wall can be detected evenly, while a bush in front of the wall has a very irregular contour with an unusually high statistical noise. If the contour elements contain corresponding data, this can be taken into account when assigning contour elements.
  • the segments are assigned by comparing the segment contour with a predicted object contour. It is preferred that an object speed determined in the previous cycle is used to predict the position of an object contour in a current cycle.
  • This object speed can in particular be a translation speed of the object and / or a rotation speed of the object (yaw rate).
  • the prediction can be made using any suitable method.
  • a Cayman filter can be used, for example, by means of whose data, in particular the position coordinates of the contour elements, are predictable.
  • the position of the object contour can be achieved by shifting the position coordinates of the contour elements, which can be obtained by multiplying the object speed by the time span between the successive scans of the detection area. Accelerations are also particularly preferably used, provided that these can be determined with sufficient accuracy. This results in a very good and accurate prediction of the object contour, in particular with a high detection frequency, which facilitates the subsequent segment-object assignment or the determination of a shift in the current object contour relative to an object contour in a previous cycle.
  • each segment contour can be compared with each predicted object contour in the segment-object assignment.
  • a catch area is assigned to each object, and that a segment contour of a segment is only compared with an object contour of an object, in the catch area of which at least one reference point of the respective segment lies.
  • This reference point can in particular be an image point and / or position coordinates of at least one contour element of the segment contour.
  • the size of the capture area can be based in particular on a maximum possible speed of movement of objects that may occur in the detection area and on the scanning frequency of the sensor used.
  • object classes can be provided for pedestrians, two-wheelers, cars and trucks, for which the search areas can differ on the one hand by their shape and on the other hand by their size.
  • a search area for a pedestrian can be essentially circular, but only have a small diameter, since pedestrians can move in all directions, but only at a low speed.
  • a truck on the other hand, is not very manoeuvrable, so that a search area that is essentially elongated in the direction of the object speed can be used.
  • a segment contour When comparing a segment contour with an object contour, the case may arise that a segment contour could be assigned to two different object contours and thus the segment to two different objects, but only one assignment is permitted. It is then preferred that, for comparing a segment contour with an object contour for a segment and an object, an assignment quality is determined which is a measure of the correspondence of the respective contours with regard to position and / or shape, and that a segment that has two Objects can be assigned to the object with which it has the best value of the assignment quality. In this way, a clear assignment of segments to objects is possible.
  • pairs of a contour element of the segment contour and a contour element of the object contour are used to determine differences between corresponding data of the contour elements, and that the assignment quality is determined using the differences. Only one date of the contour element needs to be used, for example in relation to a property. In particular, differences in the position coordinates of the contour elements can be used. An assignment quality can be calculated very easily using the contour elements alone. In principle, it is possible to consider all possible pairs of contour elements of the segment contour and contour elements of the object contour, and for example to use the smallest pair spacing or to determine the sum of the quadratic spacings over all pairs. However, this means a considerable effort.
  • pairs are determined from the contour elements of the segment contour and the contour elements of the object contour, each consisting of a contour element of the segment contour and a contour element of the object contour, which differ by at least a predetermined amount in at least one date of the data, and that the number of these pairs is determined to determine the quality of assignment. All possible pairs are preferably checked. The assignment quality only has to depend on the number of pairs, but it can in particular also be determined by other sizes.
  • pairs are determined from in each case one contour element of the segment contour and one contour element of the object contour, the position coordinates of which are at a distance that is smaller than a predetermined maximum pair distance, and that for the determination the number of these pairs is determined based on the assignment quality.
  • the maximum pair spacing can be selected in particular as a function of the maximum displacements to be expected during the period between two successive scans of the sensor.
  • a contour element of the segment contour and a contour element of the object contour are determined to determine the assignment exercise, the position coordinates of which have the smallest spacing among all pairs of contour elements of the segment contour and contour elements of the object contour.
  • the allocation quality can in particular also be determined as a function of several of the variables mentioned above. Different typical assignment situations can thus be taken into account very well.
  • segment-object assignment it can occur that two segments can be assigned to one object in accordance with the assignment quality.
  • an assignment does not necessarily have to be correct, for example two objects which were treated as one object in one cycle can be moved away from one another, so that there would be a larger contour, but an assignment of two objects is more appropriate.
  • two or more segments are assigned to an object only if a distance of the segments from the object is in each case smaller than a predetermined maximum distance.
  • This maximum distance can be specified, in particular, as a function of typical, maximum object sizes that are dependent on the application situation.
  • the distance can in particular be the minimum distance that can be calculated on the basis of contour elements of the corresponding contours.
  • a concealment detection can determine with greater certainty whether two segments that can be assigned to an object can have arisen due to partial concealment of the corresponding object, so that it can be more easily recognized whether the two segments are to be assigned to an object or whether they actually correspond to the real conditions corresponding object decay is present. Furthermore, it is preferred that when at least two segments are identified, which can be assigned to the same object but not both are to be assigned to the same object, the segment with the better assignment quality is assigned to the object. The other segment can then preferably be used to form a new object. In this way, there is a clear criterion of the assignment of the segments to objects in the event of an object decay.
  • a difference between the position and / or the orientation of the current object contour and the position and / or orientation of the object contour in the previous cycle or the predicted object contour is determined.
  • contour elements of the current object contour and contour elements of the object contour in the previous cycle or the predicted contour are assigned to one another, and that the change in position and / or orientation of the object contour in the previous cycle to that in the current cycle is determined from those contour elements of the current contour that were assigned to contour elements of the object contour in the previous cycle or the predicted object contour.
  • the assignment is preferably made taking into account the sequence of the contour elements in the object contours.
  • contour elements of two object contours to one another, starting from contour elements of the object contours with position coordinates, which each correspond to one end of the contour, a corresponding, as yet unassigned contour element of the other contour is sought for successive contour elements along one of the two contours whose position coordinates are at a minimum distance from the position coordinates of the contour element of the one contour.
  • Such an assignment can be special done quickly, avoiding a double allocation of contour elements to be avoided in principle.
  • the predicted position and possibly also the shape of the object contour may differ from the current position and / or shape of the current object contour. This can lead to incorrect assignments in the assignment or require correspondingly complicated assignment algorithms.
  • At least one reference element is determined for each object contour, that a correction shift between the reference elements of the predicted and the current contour is determined in order to assign object elements of the predicted object contour to object elements of the current object contour, and that the assignment of contour elements to the predicted contour to contour elements of the current contour using the contour elements of the predicted contour shifted by the correction shift of the reference elements.
  • These reference elements can in particular be special contour elements, for example the first and the last contour element of a contour.
  • other special contour elements of an object contour for example a contour element arranged at a corner of the object contour. In this way, inaccuracies that occur during the assignment due to deviations between the predicted and the current object contour can be greatly reduced.
  • Two reference elements are particularly preferably used and both a correction shift and a correction rotation of the predicted object contour are determined from the displacements of the two reference elements. In this way, rotations or yaw Movements of the object contour or the object-related difficulties in the assignment of contour elements are reduced.
  • the object movement can be determined using a Cayman filter for the contour elements, in particular their position coordinates and the associated speeds.
  • a Cayman filter for the contour elements, in particular their position coordinates and the associated speeds.
  • differences between the position coordinates of mutually assigned contour elements of the current contour and the contour in the previous cycle or the predicted contour are determined, that from these differences a translation and / or a rotation of the object between the previous cycle and the current cycle can be determined, and that the object speed is determined on the basis of this translation and / or rotation.
  • the translation can be calculated, for example, as an average of the displacements of the contour elements of the object contour in the current cycle to the object contour in the previous cycle.
  • the object speed can be a translation and / or yaw rate.
  • the object speeds are subjected to low-pass filtering.
  • a one-dimensional Kalman filter can be used in particular for each • component of the object speed separately. In this way, statistical errors can be suppressed.
  • Another object of the method according to the invention is a computer program with program code means to carry out the method according to the invention when the program is executed on a computer.
  • a computer is understood to mean any data processing system that has, in particular, a processor, a memory and interfaces for supplying or delivering data.
  • the computer can have a digital signal processor.
  • the present invention furthermore relates to a computer program product with program code means which are stored on a computer-readable data carrier in order to carry out the method according to the invention when the computer program product is executed on a computer.
  • the data carrier can in particular be non-volatile memory in the form of corresponding semiconductor components, CDs, DVDs or floppy disks.
  • the subject of the present invention is a device for recognizing and tracking objects with at least one optoelectronic sensor, in particular a laser scanner, the field of vision of which includes the detection area, and a data processing device which is connected to the optoelectronic sensor and is designed to carry out the method according to the invention.
  • This data processing device can in particular be a segment formation unit for forming segments from picture elements of a current one
  • a segment contour formation unit for determining a segment contour and its position from image points of the segment, a prediction unit for predicting the position of an object contour in the current cycle from the object contour in a previous cycle, a segment-object assignment device for comparing the segment contours with at least one of the predicted object contours in terms of location and / or shape and assignment of a segment to one of the objects in accordance with the result of the comparison, an object contour formation unit for forming a current object contour from the segment contours of the segments respectively assigned to the objects and a device for determining a current position and / or one Include object speed from the current object contour or from the position of the current object contour and the position of the object contour in the previous cycle for at least one of the objects.
  • the method according to the invention is particularly suitable for use in monitoring an area in front of a vehicle which is equipped with a device according to the invention.
  • Fig. 1 is a schematic plan view of an inventive
  • Fig. 2 is a schematic flow diagram of a method for
  • FIG. 3 shows a schematic flow diagram of partial steps of a method step S24 in the flow diagram in FIG. 2,
  • Fig. 5 is a schematic representation of pixels and contour elements for an object with a jagged surface
  • FIG. 6 shows a schematic illustration of a predicted object contour and a current object contour as well as an assignment of contour elements of these object contours to one another.
  • a laser scanner 10 is held on the front of a motor vehicle 12 in order to detect objects in front of the motor vehicle 12.
  • the laser scanner 10 has a detection area 14 which is only partially shown in FIG. 1 and, due to the mounting position, covers an angle of approximately 180 ° symmetrically to the longitudinal axis of the motor vehicle 12.
  • the detection area is shown only schematically in FIG. 1 and is too small for better illustration, in particular in the radial direction.
  • In the detection area 14 there are two vehicles 16 and 18 as objects to be detected, for example.
  • the laser sciner 10 scans its field of vision 14 in a generally known manner with a pulsed laser radiation beam 20 rotating at a constant angular velocity, whereby also at constant time intervals ⁇ t at times ⁇ i in fixed angle ranges around a central angle i it is detected whether the laser radiation beam is from a point or area of an object is reflected.
  • the index i runs from 1 to the number of angular ranges in the detection range. Of these angular ranges, only a few are shown in FIG. 1, including those at the middle angles, and a-. assigned angular ranges. Here, the angular ranges are shown exaggerated for clarity.
  • the sensor distance di of the object point is determined by the laser scanner 10.
  • the laser scanner 10 therefore detects, as coordinates in a scan data element for an object point 22 of the motor vehicle 16, the angle ⁇ i and the distance di determined at this angle, that is to say the position of the object point 22 in polar coordinates.
  • the laser scanner thus provides scan data elements with coordinates ( ⁇ i, di), where i is a natural number between 1 and the number of scan data elements captured by the laser scanner 10.
  • the amount of scan data elements acquired during a scan forms a depth-resolved image in the sense of the present application, if necessary after correcting the data and / or transforming it into another coordinate system.
  • the laser scanner 10 scans its field of view 14 in successive scans, so that a chronological sequence of scans and thus depth-resolved " images is created.
  • the laser scanner For processing the scan data elements, the laser scanner has evaluation electronics or data processing device 24, which in the example is arranged in the laser scanner 10, but in principle can also be arranged separately from it.
  • the data processing device 24 has, inter alia, a digital signal processor programmed to carry out the method according to the invention, a memory device connected to the digital signal processor and interfaces for outputting data to a vehicle controller.
  • the method according to a preferred embodiment of the invention is shown schematically in FIG. 2.
  • the laser scanner 10 captures images of its detection area at constant time intervals ⁇ t. Empire.
  • the image points of the images can have been corrected from the corresponding scan data elements by means of a corresponding coordinate transformation and, if appropriate, further corrections, for example in relation to an intrinsic movement of the laser scanner 10.
  • the method according to the invention is carried out cyclically, with one cycle being carried out for each newly acquired image.
  • a current image is read in by laser scanner 10, which includes pixels with position coordinates in a Cartesian coordinate system with an X axis and a Y axis orthogonal to it.
  • the X axis is arranged parallel to the longitudinal axis of the motor vehicle 12, that is to say the coordinate system is defined relative to the motor vehicle 12.
  • step S12 the current image is segmented.
  • all pixels are assigned to segments, with one pixel being assigned to only one segment.
  • a pixel that has not yet been assigned to a segment is initially assigned to the new segment in order to form a new segment.
  • a contour is then determined for each segment (cf. FIGS. 3 and 4).
  • a contour is given by a contour element or a sequence of contour elements, each of which comprises two position coordinates in the XY coordinate system as data.
  • sequence includes a sequence or the order of the contour elements.
  • Movement from one edge of the detection area to the other edge of the detection area results in an ascending sequence of polar angles.
  • this arrangement is not necessary if the scan data elements are converted into pixels in their acquisition sequence and their sequence is not changed in the further course of the method.
  • contour element The formation of a contour is shown in FIG. 4 as an example for a segment that corresponds to an object with a comparatively smooth contour.
  • the contour elements are illustrated by squares which show which pixels, shown as crosses, have been assigned to the contour element.
  • a pixel 26 with the smallest polar angle that has not yet been assigned to a contour element is first selected and assigned to the new contour element 30.
  • successive pixels 28 and 28 'are assigned to the contour element 30 until the distance from the first pixel 26 assigned to the contour element exceeds a predetermined value, for example depending on the resolution of the laser scanner 10.
  • the first pixel 32 which exceeds this predetermined distance, is a new contact door element assigned.
  • Position coordinates of the contour element are then determined from the pixels assigned to a contour element by averaging.
  • This process begins at the pixel with the smallest polar angle, so that overall a sequence of contour elements is formed which is formed from pixels in an order of ascending polar angles. 4 and 5, the position coordinates of the contour element correspond to the position of the center of gravity of the squares representing the contour elements, while the side length is intended to give a rough and qualitative impression of the maximum distance of the pixels used to form the contour element.
  • the line connecting the focal points only serves to illustrate a contour line defined by the contour elements.
  • a contour element comprises only a few pixels, possibly also only one pixel.
  • an object contour is assigned to each object, which is also given by a contour element or a sequence of contour elements.
  • the formation of this object contour initially does not matter, but is further explained in step S22.
  • step S16 which in principle could also be carried out before step S14 or parallel to this, a new object contour is predicted for each object of the previous cycle, insofar as the current cycle is not the first cycle, from an existing object contour.
  • the object speed determined in a previous cycle is multiplied in both the X and Y directions by the time period between two successive scans ⁇ t, which results in a predicted te object displacement results.
  • the predicted object contour now results from the fact that the position coordinates of the contour elements of the object contour are shifted by the predicted object displacement. This does not change the shape of the object contour, only its position.
  • a suitable initial speed can be assigned to this object, for example an initial speed of zero.
  • a prediction is carried out over a correspondingly longer period of time, which begins with the cycle after the last assignment of a segment to the object.
  • step S18 the segments are then assigned to the objects by comparing the segment contours with the predicted object contours.
  • segment box is the smallest rectangle that includes all the pixels of the segment in the current cycle (cf. for the segment box 34, the pixels 33 in FIG. 5)
  • object box results from the fact that a smallest rectangle is also initially determined, which encloses the pixels of the object in the previous cycle, but this rectangle, if necessary, in X- and Y-
  • segment box overlaps with an object box of an existing object for a given segment.
  • the number of pairs of contour elements of the segment contour and contour elements of the object contour is determined by calculating all the distances between contour elements of the segment contour and contour elements of the predicted object contour, the contour elements of which fall below a predetermined, maximum segment-object assignment distance.
  • This maximum segment-object allocation distance can be determined, for example, by optimization attempts for given object speeds and object sizes to be expected and can be, for example, in the range from 1 to 2 m.
  • the minimum distance that occurs in the set of distances between contour elements of all pairs is also determined.
  • the quality of assignment is then, for example, the number of closely spaced contour element pairs, i.e. Contour element pairs with a distance smaller than the maximum segment-object assignment distance, divided by the sum of a constant and the minimum distance of all pairs of contour elements determined.
  • the constant is used, among other things, to avoid division by zero and can be determined by optimization attempts.
  • the segment is then assigned to the object with which it has the highest assignment quality, that is to say its segment contour measured most similarly via the assignment quality of the object contour. • If the assignment quality is zero, however, no assignment is carried out.
  • each segment is initially assigned to at most one object, although several segments can be assigned to an object.
  • the segment when assigning two segments to an object, it is also checked whether the minimum distance between the respective segment contour and the object contour, for example given by the minimum distance of contour elements in the corresponding pairs of contour elements, is a predetermined one, for example depending of the expected object sizes falls below the selected threshold. If this is the case, the segment can
  • step S20 new objects are then formed from the segments not yet assigned to objects.
  • a current contour is then formed for each object to which a segment has been assigned in the current cycle by taking a sequence of contour elements from the contour elements of the corresponding segments, taking into account the sequence of the contour elements, which results in a continuous contour. Objects to which no segments have been assigned are also maintained. The object contour in the previous cycle is saved.
  • the prediction is a given uncertainty, given by a maximum number of consecutive cycles in which no segment was assigned to the object contour, the corresponding objects deleted.
  • the uncertainty can also depend on the uncertainty or the estimated speed error.
  • step S24 a change in the object position is then determined for each object that has not been newly formed by comparing the object contour in the current cycle with the object contour in the previous cycle.
  • the partial steps to be carried out here are shown in FIG. 3 as partial steps S24A to S24D to be carried out for each object already present in the previous cycle. The assignment is further illustrated by way of example in FIG. 6.
  • step S24A For the calculation of the object movement, the displacements of the contour elements 42 of the current object contour and the predicted object contour, which was calculated in the manner already described from the object contour in the previous cycle, are used.
  • a correction shift is first determined in step S24A.
  • reference elements are determined for the object contours, which are characteristic of the object contours and are therefore easy to find again.
  • a correction shift can then be determined from a difference in the positions of the reference elements between the current object contour and the predicted object contour.
  • the first and the last contour element of the respective object contour are used as reference elements. For this purpose, it is first checked whether the first and last contour elements of the predicted object contour and the current object contour are hidden by foreground objects. As a pair of reference elements the pair of first or last contour elements of the current and the predicted contour is then used, the contour elements of which are not covered and the contour element of the current object contour is closest to the laser scanner 10. 6, these are the left contour elements 44 and 44 '. A correction displacement vector is then calculated from the difference in the position coordinates.
  • the correction displacement vector is set to zero, otherwise it results as the difference between the position coordinates of the reference element of the current object contour and the position coordinates of the corresponding reference element of the predicted one Contour. Furthermore, the correction displacement vector is assigned the value zero if the amount of the correction displacement is greater than one depending on the age of the object, given as the number of cycles during which the object already exists, or the contour elements - measured by the mean square distance of the reference element - are very widely scattered.
  • step S24B the position coordinates of all contour elements of the predicted object contour are then shifted in accordance with the determined correction displacement vector.
  • step S24C contour elements 42 of the current object contour and contour elements of the corrected predicted object contour are then assigned.
  • the contour element of the current object contour that has not yet been assigned to a contour element of the current object contour is sought. An assignment between two contour elements is only created if this minimum distance falls below a maximum distance selected depending on the object speeds to be expected. If this is not the case, the contour element under consideration will no longer be used for the assignment in the further course of the method. In this way, if possible, a one-to-one assignment of the contour elements of the current object contour and the corrected predicted object contour is determined.
  • a corrected predicted object contour does not necessarily have to be formed explicitly; the correction shift can also be taken into account as a summand in the formulas which are used in the following procedure, i.e. Step S24C.
  • An assignment of object contours to one another is assigned an object contour-object contour assignment quality, which is given in the exemplary embodiment by the number of pairs of contour elements assigned to one another.
  • a first value of an object contour-object contour assignment quality is determined for the assignment just described.
  • step S24D an object displacement is then calculated from the pairs with contour elements assigned to one another.
  • the mean value of the distances in the X and Y directions of the contour elements or the position coordinates of the corresponding contour elements is determined over all pairs.
  • the result of this operation is a displacement vector with components in the X and Y directions, which is regarded as the displacement vector for the object.
  • step S26 a (measured) instantaneous object speed for the X and Y directions is then determined from the displacement vector, taking into account the displacement in the prediction and the time interval ⁇ t of successive scans of the detection area.
  • the corresponding instantaneous speeds serve as the measured value, the result being the corresponding current object speeds.
  • a value is selected as the uncertainty for the measurement, that is to say the variance for the measured value or the instantaneous speed, for example as a function of the measurement accuracy of the laser scanner 10 and of the time interval between two scans ⁇ t.
  • the system noise in the Cayman filter can be selected depending on the maximum object accelerations or acceleration changes to be expected.
  • the algorithm for the one-dimensional Cayman filter is known to the person skilled in the art.
  • the Cayman filter thus acts as a low-pass filter, by means of which fluctuations in the detected object speeds are suppressed.
  • the current object contour in the form of the contour elements and the current object speed can now be output to other data processing devices, which, for example, for a collision warning and, if appropriate, appropriate control of the driving can use stuff.
  • Corresponding information is output for objects for which no segment was found, which can consist, for example, in the specification of an estimated error for the position and / or object speed.
  • a new current image is acquired and, after the data has been output, a new image is read in a new cycle in step S10.
  • the result is a very simple but precise method for object detection and tracking, in which changes in a detected contour of an object can also be taken into account.

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Electromagnetism (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

Bei einem Verfahren zur Erkennung und Verfolgung von Objekten auf der Basis von von wenigstens einem Sensor für elektromagnetische Strahlung, insbesondere einem Laserscanner, in zeitlicher Folge erfassten, tiefenaufgelösten, Bildpunkte umfassenden Bildern von wenigstens einem Gegenstand in einem Erfassungsbereich des Sensors werden in aufeinander folgenden Zyklen folgende Schritte ausgeführt: aus Bildpunkten eines aktuellen Bildes wird wenigstens eine aktuelle Objektkontur gebildet, für Objekte in einem vorhergehenden Zyklus wird jeweils ausgehend von einer dem jeweiligen Objekt in dem vorhergehenden Zyklus zugeordneten Objektkontur wenigstens eine Objektkontur in dem aktuellen Zyklus prädiziert, für wenigstens eines der Objekte werden aus der aktuellen Objekt kontur eine aktuelle Lage und/oder aus der aktuellen Objektkontur und der Objektkontur in einem vorhergehenden Zyklus eine Objektgeschwindigkeit ermittelt.

Description

Verfahren zur Erkennung und Verfolgung von Objekten
Die vorliegende Erfindung betrifft ein Verfahren zur Erkennung und Verfolgung von Objekten auf der Basis von von wenigstens einem Sensor für elektromagnetische Strahlung, insbesondere einem Laserscanner, in zeitlicher Folge erfassten, tiefenaufgelösten, Bildpunkte umfassenden Bildern von wenigstens einem Gegenstand in einem Erfassungsbereich des Sensors.
Verfahren der eingangs genannten Art sind grundsätzlich bekannt. Sie können beispielsweise dazu verwendet werden, einen Bereich vor einem Kraftfahrzeug zu überwachen, das mit einem entsprechenden Sensor für elektromagnetische Strahlung ausgerüstet ist. Auf diese Weise kann die Bewegung von Gegenständen, wie zum Beispiel anderen Kraftfahrzeugen und relativ zu dem Kraftfahrzeug bewegten stationären Gegenständen oder Fußgängern, in einem Bereich beispielsweise, bei entsprechender Ausrichtung eines Erfassungsbereichs des Sensors, vor dem Kraftfahrzeug überwacht werden.
Zur Verfolgung werden iterative Verfahren verwendet, bei denen Objekte durch die Lage eines Bezugspunkts der Objekte dargestellt werden. Aus der Bewegung des Bezugspunkts in vorhergehenden Zyklen wird eine Lage des Bezugspunkts in einem aktuellen Zyklus pradiziert. Nach einer Segmentierung des aktuellen Bildes werden Abstände der gebildeten Segmente zu der prädizierten Lage des Bezugspunkts überprüft. Aus den Koordinaten der Bildpunkte der einem Objekt zugeordneten Segmente kann dann die Läge des Bezugspunkts des Objekts in dem aktuellen Zyklus ermittelt werden. Anhand der aktuellen Lage und der prädizierten Lage können Objektlagen und -geschwindigkeiten geschätzt werden. Die Verfolgung der den Gegenständen entsprechenden Objekte wird jedoch dadurch erschwert, dass bedingt durch die Relativbewegung Gegenstände in den Erfassungsbereich des Sensors über mehrere Erfassungs- zyklen des Sensors verteilt eintreten können, so dass der Gegenstand in den von dem Sensor erfassten Bildern jeweils unterschiedliche Ausdehnungen aufweisen kann. Gleichermaßen können sich beispielsweise Kraftfahrzeuge auf einer gekrümmten Bahn relativ zu dem Sensor bewegen, wodurch sich beispielsweise bei länglichen Gegenständen in jedem Zyklus andere Verhältnisse bei der Bestimmung der Lage des Bezugspunkts ergeben können. Dies kann zu unerwünschten Effekten führen wie zum Beispiel Fehlberechnungen von Geschwindigkeiten und Beschleunigungen oder Objektverlust. Weiterhin kann es notwendig sein, komplizierte Verfahren zur Behandlung von Effekten wie einem Objektzerfall, d.h. dem Zerfall eines Objekts in zwei Objekte, zu behandeln. Ein solcher Objektzerfall kann insbesondere dann eintreten, wenn eine Teilverdeckung eines in vorhergehenden Zyklen beispielsweise vollständig erfassten Gegenstands durch Gegenstände im Vordergrund auftritt und so scheinbar zwei getrennte Objekte entstehen.
Der vorliegenden Erfindung liegt daher die Aufgabe zugrunde, ein Verfahren der eingangs genannten Art bereitzustellen, das eine verbesserte Erkennung und Verfolgung von Objekten erlaubt.
Die Aufgabe wird gelöst durch ein Verfahren mit den Merkmalen des Anspruchs 1.
Bei dem erfindungsgemäßen Verfahren zur Erkennung und Verfolgung von Objekten auf der Basis von von wenigstens einem Sensor für elektro- magnetische Strahlung, insbesondere einem Laserscanner, in zeitlicher Folge erfassten, tiefenaufgelösten, Bildpunkte umfassenden Bildern von wenigstens einem Gegenstand in einem Erfassungsbereich des Sensors werden in aufeinander folgenden Zyklen folgende Schritte ausgeführt: aus Bildpunkten eines aktuellen Bildes wird wenigstens eine aktuelle Objektkontur gebildet, für Objekte in einem vorhergehenden Zyklus wird jeweils ausgehend von einer dem jeweiligen Objekt in dem vorhergehenden Zyklus zugeordneten Objektkontur wenigstens eine Objektkontur in dem aktuellen Zyklus pradiziert, für wenigstens eines der Objekte werden aus der aktuellen Objektkontur eine aktuelle Lage und/ oder aus der aktuellen Objektkontur und der Objektkontur in einem vorhergehenden Zyklus eine Objektgeschwindigkeit ermittelt.
Unter einem tiefenaufgelösten Bild eines Sensors zur Erfassung elektro- ■ magnetischer Strahlung wird eine Menge von bei einer Abtastung des Erfassungsbereichs des Sensors erfassten Bildpunkten verstanden, denen Punkte bzw., je nach Auflösung des Sensors, auch Bereiche eines von dem Sensor erfassten Gegenstands entsprechen. Die Bildpunkte umfassen dabei der Lage der zugehörigen Gegenstandspunkte entsprechende Koordinaten zur Definition einer Lage wenigstens in einer Ebene, die nicht orthogonal zu einer Blickrichtung des Sensors steht. Die Bildpunkte können weiterhin Daten über weitere, insbesondere optische, Eigenschaften der Gegenstandspunkte, beispielsweise deren Reflektivität, enthalten. Dabei können Regionen des Erfassungsbereichs, in denen keine Gegenstände vorhanden sind, je nach Sensor trotzdem Bildpunkte zugeordnet sein, die dann entsprechend gekennzeichnet sein können.
Sensoren für elektromagnetische Strahlung zur Erfassung solcher tiefenaufgelöster Bilder sind grundsätzlich bekannt. Bei diesem kann es sich bevorzugt um optoelektronische Sensoren handeln, die eine gute Ortsauflösung bieten und daher für das erfindungsgemäße Verfahren bevorzugt sind. So können beispielsweise Systeme mit Stereo-Videokameras verwen- det werden, die eine Einrichtung zur Umsetzung der von den Kameras aufgenommenen Scandaten in tiefenaufgelöste Bilder aufweisen.
Vorzugsweise werden jedoch Laserscanner verwendet, die bei einer Abtas- tung einen Erfassungsbereich mit mindestens einem gepulsten Strahlungsbündel abtasten, das einen vorgegebenen Winkelbereich überstreicht und von einem Punkt bzw. Bereich eines Gegenstands, meist diffus, reflektierte Strahlungspulse des Strahlungsbündels detektieren. Dabei wird zur Entfernungsmessung die Laufzeit der ausgesandten und reflektierten Strahlungspulse erfasst. Die so erfassten Scandaten für einen Bildpunkt können dann als Koordinaten den Winkel, bei dem der Reflex erfasst wurde, und die aus der Laufzeit der Strahlungspulse bestimmte Entfernung des Gegenstandspunktes enthalten. Bei der Strahlung kann es sich insbesondere um sichtbares oder infrarotes Licht handeln.
Die Sensoren erfassen dabei die tiefenaufgelösten Bilder in zeitlicher, vorzugsweise zeitlich äquidistanter, Folge, wobei die Bildpunkte innerhalb eines einzelnen Bildes nicht unbedingt nacheinander erfasst zu werden brauchen.
Bei der Umsetzung der Scandaten in Bildpuήkte können weiterhin Korrekturen, zum Beispiel in Bezug auf die Bewegung des Sensors, vorgenommen werden, jedoch ist dies nicht notwendig.
Das erfindungsgemäße Verfahren wird zyklisch durchgeführt, wobei vorzugsweise für jeden Zyklus ein neues, aktuelles Bild des Sensors in eine zur Durchführung des Verfahrens geeignete Einrichtung eingelesen bzw. zur Durchführung des Verfahrens bereitgestellt wird.
Ein Aspekt der vorliegenden Erfindung besteht darin, die Objektverfolgung anhand von Konturen der Gegenstände durchzuführen, die in den tiefen- aufgelösten Bildern zum einen aus der Sicht des Sensors ohnehin durch entsprechende Bildpunkte wenigstens annähernd erfasst werden und die zum anderen zumindest bei Verwendung im Straßenverkehr für viele zu verfolgende Gegenstände charakteristisch sind. Dabei braucht die Kontur nicht um den Gegenstand umlaufend, d.h. eine geschlossene Linie, zu sein. Vielmehr kann eine Kontur auch nur einen von dem Sensor erfassbaren Teil eines Umrisses des Gegenstands wiedergeben. Bei dem erfindungsgemäßen Verfahren werden daher den Objekten zugeordnete Objektkonturen verwendet.
Zunächst wird daher aus Bildpunkten eines aktuellen Bildes wenigstens eine Objektkontur gebildet. Meist werden mehrere Objekte auftreten.
Weiterhin werden für Objekte, die bereits in einem vorhergehenden Zyklus erkannt bzw. verfolgt wurden, jeweils ausgehend von einer dem jeweiligen Objekt in dem vorhergehenden Zyklus zugeordneten Objektkontur wenigstens eine ebenfalls dem Objekt zugeordnete Objektkontur in dem aktuellen Zyklus, d.h. eine prädizierte Objektkontur, pradiziert. Bei der Prädiktion wird wenigstens die Lage der Objektkontur pradiziert, vorzugsweise auch die Form. Damit ergibt sich eine geschätzte Lage und/ oder Form der Objektkontur in dem aktuellen Zyklus. Bei der Prädiktion können grundsätzlich beispielsweise Translationen und/ oder Rotationen der Objektkontur berücksichtigt werden, da die Lage einer Kontur sowohl die Position als auch die Orientierung der Kontur umfassen kann. Dieser Prädiktions- schritt kann grundsätzlich in jedem Stadium des Zyklus nach der Bestimmung von Objektkonturen in dem vorhergehenden Zyklus und der zur Prädiktion gegebenenfalls verwendeten Geschwindigkeiten und/ oder Beschleunigungen in dem vorhergehenden Zyklus, aber vor einer weiteren Verwendung der aktuellen Objektkontur erfolgen. Diese aktuelle Objektkontur kann, insbesondere bei Erfassung des tiefenaufgelösten Bildes durch einen Laserscanner, als sehr genaue Bestimmung der tatsächlichen Lage des Objekts, d.h. der Position und Orientierung, aufgefasst werden. Insbesondere kann diese aktualisierte Kontur somit zur Definition der Lage und gegebenenfalls auch Ausdehnung des Objekts unmittelbar oder erst nach Umrechnung beispielsweise auf einen geometrischen Schwerpunkt der Objektkontur verwendet werden.
Aus der aktuellen Objektkontur können nun eine aktuelle Lage des Ob- jekts und/ oder aus der aktuellen Objektkontur und der Objektkontur in dem vorhergehenden Zyklus, insbesondere deren Lagen, eine Objektgeschwindigkeit ermittelt werden. Dabei kann die Lage der Objektkontur in dem vorhergehenden Zyklus selbstverständlich auch indirekt, beispielsweise durch Verwendung der aus dieser prädizierten Objektkontur, be- rücksichtigt werden. Weiterhin kann bei der Geschwindigkeitsbestimmung der zeitliche Abstand aufeinander folgender Bilderfassungen verwendet werden, der vorzugsweise konstant ist, jedoch nicht notwendigerweise konstant zu sein braucht.
Die Lage und/oder Geschwindigkeit des Objekts kann dann zur weiteren Verwendung gespeichert oder an eine weitere die Daten verarbeitende Einrichtung ausgegeben werden.
Selbstverständlich kann es je nach verarbeiteten Bildern bei dem erfin- dungsgemäßen Verfahren vorkommen, dass im Einzelfall auch nur ein einziges Objekt verfolgt wird.
Das erfindungsgemäße Verfahren basiert somit nicht auf der Verwendung eines Gesamtschwerpunkts des Objekts, so dass scheinbare Verschiebun- gen des Gesamtschwerpunkts durch Veränderung der Objektkontur bzw. der Lagen der entsprechenden Bildpunkte nicht zu Fehlern f hren. Insbe- sondere kann eine Rotation eines Objekts bzw. eine Gierbewegung eines Gegenstands automatisch berücksichtigt werden, was insbesondere die Zuordnung von Bildpunkten zu Objekten wesentlich erleichtern und verbessern kann.
Darüber hinaus können Objekte, die in einem gegebenen Zyklus nur teilweise in einem Bild sichtbar sind, einfach weiter verfolgt werden, wobei sich gegebenenfalls die Kontur entsprechend vergrößert bzw. bei Verlassen des Erfassungsbereichs auch verkleinert. Dadurch, dass mit der Kontur beispielsweise auch Ecken bzw. Kanten von Gegenständen verfolgt werden können, werden mit dem erfindungsgemäßen Verfahren in solchen Situationen Fehler bei der Objektverfolgung leichter vermieden.
Weiterbildungen und bevorzugte Ausführungsformen der Erfindung sind in den Ansprüchen, der Beschreibung und den Zeichnungen beschrieben.
Insbesondere wenn mehrere Objekte auftreten, könnten aktuelle Objektkonturen verschiedenen prädizierten Objektkonturen entsprechen. Es ist daher bevorzugt, dass eine aktuelle Objektkontur einer der prädizierten Objektkonturen bzw. Objektkonturen in einem vorhergehenden Zyklus zugeordnet wird, wozu ein vorgegebenes Zuordnungskriterium verwendet werden kann. Dabei kann der Fall auftreten, dass einer prädizierten Objektkontur keine aktuelle Objektkontur zugeordnet werden kann, beispielsweise wenn der entsprechende Gegenstand durch Gegenstände im Vordergrund vollständig verdeckt wurde. Weiterhin kann der Fall auftreten, dass in dem Erfassungsbereich von dem Sensor kein Gegenstand erfasst wird. Eine Neubildung einer aktuellen Objektkontur kann dann nicht erfolgen. Es ist bevorzugt, dass, wenn einer prädizierten Objektkontur keine aktuelle Objektkontur zugeordnet werden kann, die prädizierte Objektkontur und/ oder die Objektkontur aus dem vorhergehenden Zyklus weiterverwendet und das entsprechende Objekt erhalten wird. Die prädi- zierte Objektkontur kann somit zur Ausgabe einer Lage und/ oder Geschwindigkeit eines entsprechenden Objekts verwendet werden. Daher können entsprechende Daten gegebenenfalls auch ausgegeben werden, ohne dass der Gegenstand in dem aktuellen Zyklus erfasst wurde. Weiter- hin ist so gegebenenfalls in einem der folgenden Zyklen eine Prädiktion einer neuen prädizierten Objektkontur und ein neue Zuordnung einer aktuellen Objektkontur möglich.
Ein einer solchen Objektkontur entsprechendes Objekt braucht besonders bevorzugt nicht weiterverfolgt zu werden, wenn die Unsicherheit der Prädiktion zu groß wird. Die Unsicherheit kann sich insbesondere aus der Anzahl aufeinander folgender Zyklen, während derer keine entsprechende aktuelle Objektkontur gefunden wurde, oder aus einem geschätzten Fehler der Prädiktion ergeben.
Grundsätzlich können bei dem erfindungsgemäßen Verfahren aktuelle Objektkonturen in beliebiger Weise, insbesondere unmittelbar, aus Bildpunkten des aktuellen Bildes gebildet werden. Um eine Zuordnung zu erleichtern ist es jedoch bevorzugt, dass zur Bildung von aktuellen Ob- jektkonturen aus Bildpunkten eines aktuellen Bildes Segmente gebildet werden, dass für jedes der Segmente eine dem Segment zugeordnete Segmentkontur und deren Lage ermittelt werden, dass eine der Segmentkonturen mit wenigstens einer der prädizierten Objektkonturen in Bezug auf Lage und/ oder Form verglichen und in Abhängigkeit von dem Ergeb- nis des Vergleichs das der Segmentkontur entsprechende Segment einem der Objekte zugeordnet wird, und dass aus den Segmentkonturen von Objekten jeweils zugeordneten Segmenten jeweils aktuelle Objektkonturen gebildet werden.
Es werden als zunächst aus Bildpunkten eines aktuellen Bildes Segmente gebildet. Bei einer solchen Segmentierung können aus Bildpunkten des Bildes insbesondere Segmente gebildet werden, die jeweils einen einzelnen Bildpunkt oder eine Menge aller Bildpunkte umfassen, von denen jeweils mindestens zwei entsprechend wenigstens einem Segmentierungskriterium als dem Segment zugehörig definiert werden, und die untereinander keine gemeinsamen Bildpunkte aufweisen. Bei diesem Segmentierungskriterium kann es sich insbesondere um ein Kriterium für einen maximal zulässigen Abstand und/ oder einen maximal zulässigen Unterschied einer optischen Eigenschaft, insbesondere der Reflektivität, handeln. Weiterhin kann bei Verwendung eines Laserscanners auch eine aus Pulsbreiten und/ oder -höhen bestimmte Neigung einer Fläche verwendet werden.
Verfahren zur Segmentierung sind grundsätzlich bekannt und brauchen daher im Folgenden nicht ausführlicher beschrieben zu werden.
Dann werden für jedes der gebildeten Segmente eine dem Segment zuge- ordnete Segmentkontur und deren Lage ermittelt, wobei bei einem nur aus einem Bildpunkt bestehenden Segment die Kontur auch nur aus einem Bildpunkt bestehen kann. Die Segmentkontur und deren Lage werden dabei auf der Basis der dem Segment zugeordneten Bildpunkte, insbesondere der Lagekoordinaten der Bildpunkte, ermittelt.
Im folgenden Schritt wird im Wesentlichen eine Zuordnung von Segmen- : ten des aktuellen Zyklus zu prädizierten Objekten vorgenommen. Dazu wird eine der Segmentkonturen, bevorzugt jede Segmentkontur, mit wenigstens einer der prädizierten Objektkonturen in Bezug auf Lage und/ oder Form verglichen. In Abhängigkeit von dem Ergebnis des Vergleichs wird dann gegebenenfalls das der Segmentkontur entsprechende Segment einem der betrachteten Objekte zugeordnet. Bei dem Vergleich wird versucht, zu ermitteln, ob die Segmentkontur wenigstens teilweise einer Objektkontur in Form und/ oder Lage entsprechen könnte. Wird eine hinreichende Übereinstimmung gefunden, wird das Segment dem entsprechenden Objekt zugeordnet, andernfalls wird das Segment einem anderen geeigneten Objekt zugeordnet. Wenn keine anderes Objekt gefunden wird, wird aus dem Segment gegebenenfalls ein neues Objekt erzeugt.
Nach diesem Schritt sind vorzugsweise alle Segmente Objekten zugeordnet und es werden für alle Objekte aktuelle Objektkonturen aus den Segmentkonturen der den jeweiligen Objekten zugeordneten Segmente gebil- • det.
Die Verwendung von Segmenten erlaubt eine einfache und schnelle Zu- Ordnung von Bildpunkten zu Objekten sowie eine einfache und schnelle Bildung von Objektkonturen. Dabei kann durch die Objektverfolgung auf der Basis von Objektkonturen eine Rotation eines Objekts bzw. eine Gierbewegung eines Gegenstands automatisch berücksichtigt werden, was insbesondere die Segment-Objekt- Zuordnung wesentlich erleichtern und verbessern kann.
Die in dem Verfahren verwendete Kontur braucht nicht mit dem tatsächlichen Umriss des dem Objekt entsprechenden Gegenstands übereinzustimmen. Vielmehr können durch teilweise Verdeckung des Gegenstandes, die Auflösung des Sensors oder auch Ungenauigkeit des Verfahrens Unterschiede zwischen diesen beiden Konturen auftreten. Die Kontur eines Segments oder auch eines Objekts kann grundsätzlich in beliebiger Weise definiert werden. Insbesondere ist es möglich, die Kontur durch eine durch Parameter bestimmte Funktion zu beschreiben, wobei insbesondere nichtlokale Beschreibungen mit orthogonalen Funktionensystemen, beispielsweise Fourierreihen oder Wavelets, möglich sind. Die Kontur verläuft dabei vorzugsweise wenigstens näherungsweise durch die Bildpunkte des Segments bzw. Objekts. Für eine vereinfachte Handhabung der Konturen in den Verfahren ist es bevorzugt, dass Konturen durch ein Konturele- ment oder eine Folge von Konturelementen definiert sind, und dass das Konturelement bzw. die Konturelemente definierende Daten aus wenigs- tens einem Bildpunkt eines Segments oder aus Konturelementen einer anderen Kontur ermittelt werden. Der Begriff der Folge beinhaltet dabei insbesondere auch, dass die Konturelemente eine vorgegebene Reihenfolge aufweisen. Die Kontur im Sinne des Verfahrens wird daher nur durch die Konturelemente definiert. Gegebenenfalls sind aus den Konturelementen Linien berechenbar, die eine Kontur veranschaulichen, jedoch ist dies nicht unbedingt notwendig. Die Handhabung von Konturen kann sich in diesem Fall auf die Handhabung von Konturelementen reduziert, was das erfindungsgemäße Verfahren wesentlich vereinfachen kann. Ein Kontur- element ist dabei durch Daten definiert, die Eigenschaften im Hinblick auf die Kontur betreffen. Diese Daten können, insbesondere bei Segmentkonturen, aus wenigstens einem Bildpunkt eines Segments oder, insbesondere bei Objektkonturen, aus Konturelementen einer oder mehrerer anderer Konturen ermittelt werden. Insbesondere können Objektkonturen durch Übernahme von Konturelementen aus einem Segment oder durch Übernahme von Konturelementen aus mehreren Segmenten und gegebenenfalls eine Änderung der Reihenfolge gebildet werden.
Grundsätzlich können die die Konturelemente definierenden Daten belie- bige Daten zur Definition einer der Lage der Bildpunkte entsprechenden Kontur umfassen. Es ist dabei bevorzugt, dass die Konturelemente als Daten jeweils Lagekoordinaten umfassen. Diese können insbesondere aus einem oder mehreren Bildpunkten eines Segments bestimmt sein, dem die Kontur und damit auch das Konturelement zugeordnet ist. In einem solchen Fall können die Konturelemente wenigstens teilweise als Konturpunkte aufgefasst werden, die, durch entsprechende Linien verbunden, näherungsweise eine durch die Bildpunkte des Segments bzw. Objekts gegebene Umrisslinie wiedergeben. Ein Konturelement kann aber noch weitere Daten umfassen. 12
Konturelemente einer Segmentkontur können auf unterschiedliche Art und Weise gebildet werden. Dabei müssen nicht notwendigerweise alle Konturelemente mit genau dem gleichen Verfahren bestimmt werden.
So ist es bevorzugt, dass zur Bildung eines Konturelements einer Segmentkontur jeweils eine vorgegebene Anzahl von in einer Reihenfolge aufsteigender bzw. abnehmender Polarwinkel in Bezug auf eine vorgegebene Polarachse aufeinander folgenden Bildpunkten des Segments einem entsprechenden Konturelement zugeordnet werden, und dass Daten des Konturelements aus den Bildpunkten ermittelt werden.
Die Polarachse kann dabei eine im Wesentlichen beliebige, jedoch in der Bildebene, in der Lagekoordinaten des Konturelements definiert sind, liegende Achse sein. Vorzugsweise wird eine Koordinatenachse eines Koordinatensystems verwendet, in dem auch die Koordinaten der Bildpunkte definiert sind. Auf diese Weise werden Gruppen von Bildpunkten eines Segments gewissermaßen zusammengefasst und Konturelementen zugeordnet, wobei Daten des Konturelements, insbesondere beispielsweise dessen Lagekoordinaten, aus den Bildpunkten, beispielsweise durch eine einfache Mittelung, erhalten werden. Die dabei gebildeten Gruppen von Bildpunkten dürfen grundsätzlich gemeinsame Bildpunkte aufweisen, jedoch ist es bevorzugt, dass sie keine gemeinsamen Bildpunkte aufweisen. In diesem Fall können selbstverständlich Segmente auftreten, die eine Anzahl von Bildpunkten aufweisen, die kein Vielfaches dieser vorge- gebenen Anzahl ist. In diesem Fall wird das Konturelement aus den verbleibenden Bildpunkten in ansonsten gleicher Weise wie die anderen Konturelemente der Segmentkontur gebildet. Die vorgegebene Anzahl kann insbesondere in Abhängigkeit von dem Auflösungsvermögen des Sensors und den Längenskalen gewählt werden, auf denen Konturen zu verfolgender Gegenstände bei einer Anwendung des Verfahrens typischer- 13
weise ihre Richtung ändern. Weiterhin kann die Ausführungsgeschwindigkeit, mit der das Verfahren auszuführen ist, berücksichtigt werden.
Bei einer anderen Alternative ist es bevorzugt, dass zur Bildung eines Konturelements einer Segmentkontur in einer Reihenfolge aufsteigender oder abnehmender Polarwinkel in Bezug auf eine vorgegebene Polarachse jeweils aufeinander folgende Bildpunkte des Segments einem entsprechenden Konturelement zugeordnet werden, deren Abstand von einem ' ersten dem Konturelement zugeordneten Bildpunkt kleiner als ein vorge- gebener Maximalabstand ist, und dass Daten des Konturelements aus diesen Bildpunkten ermittelt werden. Die Polarachse und die Polarwinkel sind wie bei der zuvor geschilderten Alternative definierbar. Bei dieser Alternative werden Konturelemente gebildet, die einen ähnlichen Abstand voneinander aufweisen. Die Ermittlung der Daten des Konturelements aus den Bildpunkten kann wiederum wie bei der oben geschilderten Alternative erfolgen.
Bei einer weiteren Alternative ist es bevorzugt, dass durch die Bildpunkte eines Segments eine Ausgleichskurve gelegt wird und Konturelemente dadurch bestimmt werden, dass in gleichen Abständen auf dieser Ausgleichskurve Lagekoordinaten für Konturelemente ermittelt werden. Bei diesem Verfahren ergibt sich eine gleichmäßige Verteilung der Konturelemente entlang einer Umrisslinie des Segments.
Weiterhin ist es bevorzugt, dass Konturelemente durch Vektorisierung einer Kurve erhalten werden, die durch Verbindung der Bildpunkte eines Segments in einer Reihenfolge aufsteigender oder abnehmender Polarwinkel in Bezug auf eine vorgegebene Polarachse entsteht. Auf diese Weise wird eine besonders geringe Anzahl von Konturelementen erzeugt, die nur an besonders charakteristischen Kurven einer Umrisslinie, nämlich insbesondere an Knicken oder Ecken der Linie, definiert werden. Verfahren zur Vektorisierung solcher Kurven sind grundsätzlich bekannt. Um die Bildung von Konturelementen bei nur kleinen Abweichungen von Bildpunkten von einer Geraden zu vermeiden, kann dabei als Kurve insbesondere eine Ausgleichskurve durch die Bildpunkte gelegt werden.
Die Lagen der Bildpunkte eines Segments können, bedingt durch Messfehler des Sensors, aber auch durch Bewegungen eines Gegenstands in einer Richtung senkrecht zu dem Erfassungsbereich sowie einer möglicherweise sehr unregelmäßigen Oberfläche des Gegenstands unter Umständen erhebliche Fehler aufweisen bzw. erheblich streuen. Diese Abweichungen sind aber für das Funktionieren des Verfahrens unerheblich. Es ist daher bevorzugt, dass die Lagen der Bildpunkte eines Segments vor der Bildung der Konturelemente einer Tiefpass-Filterung unterzogen werden. Dabei können beispielsweise gleitende Mittelwerte gebildet werden.
Grundsätzlich kann die Anzahl der Konturelemente einer Segmentkontur größer sein als die Anzahl der Bildpunkte des Segments. Hierdurch wird jedoch der Aufwand im Umgang mit den Konturen erhöht. Es ist daher bevorzugt, dass die Anzahl der Konturelemente einer Segmentkontur nicht größer als die Anzahl der Bildpunkte der Segmentkontur ist. Besonders bevorzugt wird eine geringere Anzahl von Konturelementen verwendet, da hierdurch nicht nur der Verarbeitungsaufwand reduziert werden kann, sondern auch eine Mittelung bei der Bestimmung der Daten des Konturelements über die zur Bildung des Konturelements verwendeten Bildpünk- te erfolgen kann, so dass zufällige Schwankungen in den Daten des Konturelements reduziert werden können.
Je nach erfasstem Gegenstand kann eine Kontur des Gegenstands glatt, beispielsweise bei einer Wand, oder auch sehr unregelmäßig oder zerklüf- tet, beispielsweise bei einem Busch, sein. Wird ein Konturelement aus mehreren Bildpunkten gebildet, ist es bevorzugt, dass wenigstens einem Konturelement eine Güte zugeordnet wird, die von den Lagen der zur Ermittlung des Konturelements verwendeten Bildpunkte abhängt. Insbesondere kann diese Güte ein Maß dafür sein, wie stark eine durch die Daten des Konturelements beschriebene Eigenschaft des Konturelements von der entsprechenden Eigenschaft der Bildpunkte abweicht bzw. wie signifikant Daten zu einer Eigenschaft von Konturelementen sind. So kann die Güte beispielsweise von der Anzahl der zur Bildung des Konturelements verwendeten Bildpunkte oder auch von einer mittleren, beispielsweise quadratischen, Abweichung der entsprechenden Eigenschaf- ten der Bildpunkte von der. Eigenschaft des Konturelements abhängen.
Insbesondere kann beispielsweise auch der mittlere quadratische Abstand der zur Bildung des Konturelements verwendeten Bildpunkte von einer Ausgleichskurve durch die Bildpunkte, die durch die Lagekoordinaten des Konturelements führt, abhängen. So ist z.B. eine Wand gleichmäßig er- fassbar, während ein vor der Wand befindliches Gebüsch eine sehr unregelmäßige Kontur mit einem ungewöhnlich hohen statistischen Rauschen aufweist. Umfassen die Konturelemente entsprechende Daten, können diese bei der Zuordnung von Konturelementen berücksichtigt werden.
Die Segmente werden bei dem erfindungsgemäßen Verfahren durch Vergleich der Segmentkontur mit einer prädizierten Objektkontur zugeordnet. Dabei ist es bevorzugt, dass zur Prädiktion der Lage einer Objektkontur in einem aktuellen Zyklus eine in dem vorhergehenden Zyklus bestimmte Objektgeschwindigkeit verwendet wird. Bei dieser Objektgeschwindigkeit " kann es sich insbesondere um eine Translationsgeschwindigkeit des Objekts und/ oder einer Rotationsgeschwindigkeit des Objekts (Giergeschwindigkeit) handeln.
Die Prädiktion kann dabei mit beliebigen geeigneten Methoden erfolgen. Insbesondere kann beispielsweise ein Kaiman-Filter verwendet werden, mittels dessen Daten, insbesondere Lagekoordinaten der Konturelemente, prädizierbar sind. Ist die Objektkontur durch Konturelemente definiert, die Lagekoordinaten umfassen, kann die Lage der Objektkontur durch eine Verschiebung der Lagekoordinaten der Konturelemente erfolgen, die sich durch Multiplikation der Objektgeschwindigkeit mit der Zeitspanne zwischen den aufeinander folgenden Abtastungen des Erfassungsbereichs ergeben können. Besonders bevorzugt werden auch Beschleunigungen verwendet, sofern diese mit hinreichender Genauigkeit bestimmbar sind. Auf diese Weise ergibt sich, insbesondere bei einer hohen Erfassungsfrequenz, eine sehr gute und genaue Prädiktion der Objektkontur, was die nachfolgende Segment-Objekt-Zuordnung bzw. die Ermittlung einer Verschiebung der aktuellen Objektkontur gegenüber einer Objektkontur in einem vorhergehenden Zyklus erleichtert.
Grundsätzlich kann bei der Segment-Objekt-Zuordnung jede Segmentkon- tur mit jeder prädizierten Objektkontur verglichen werden. Auf diese
Weise kann sich jedoch ein außerordentlich hoher Verarbeitungsaufwand ergeben. Es ist daher bevorzugt, dass jedem Objekt ein Fangbereich zugeordnet wird, und dass eine Segmentkontur eines Segments nur mit einer Objektkontur eines Objekts verglichen wird, in deren Fangbereich wenigs- tens ein Bezugspunkt des jeweiligen Segments liegt. Bei diesem Bezugspunkt kann es sich insbesondere um einen Bildpunkt und/ oder Lagekoordinaten wenigstens eines Konturelements der Segmentkontur handeln. Auf diese Weise kann der Verarbeitungsaufwand wesentlich reduziert werden. Die Größe des Fangbereichs kann sich dabei insbesondere nach einer maximal möglichen Bewegungsgeschwindigkeit von in dem Erfassungsbereich möglicherweise auftretenden Gegenständen und nach der Abtastfrequenz des verwendeten Sensors richten.
Dabei ist es besonders bevorzugt, dass bei dem erfindungsgemäßen Ver- fahren Objekte klassifiziert werden, und dass die Fangbereiche in Abhängigkeit von den Klassen, denen, das Objekt zugeordnet ist, definiert wer- den. Beispielsweise können Objektklassen für Fußgänger, Zweiräder, Pkw und Lkw bereitgestellt werden, für die sich die Suchbereiche zum einen durch ihre Form und zum anderen durch ihre Größe unterscheiden können. Beispielsweise kann ein Suchbereich für einen Fußgänger im Wesentlichen kreisrund sein, aber nur einen geringen Durchmesser aufweisen, da Fußgänger sich zwar in allen Richtungen, aber nur mit geringer Geschwindigkeit bewegen können. Ein Lastkraftwagen dagegen ist nicht sehr wendig, so dass ein im Wesentlichen in Richtung der Objektgeschwindigkeit lang gestreckter Suchbereich verwendet werden kann.
Bei dem Vergleich einer Segmentkontur mit einer Objektkontur kann der Fall auftreten, dass eine Segmentkontur zwei verschiedenen Objektkonturen und damit das Segment zwei verschiedenen Objekten zugeordnet werden könnte, aber nur eine Zuordnung zulässig ist. Es ist dann bevor- zugt, dass zum Vergleich einer Segmentkontur mit einer Objektkontur für ein Segment und ein Objekt eine Zuordnungsgüte ermittelt wird, die ein Maß für die Übereinstimmung der jeweiligen Konturen bezüglich Lage und/ oder Form ist, und dass ein Segment, das zwei Objekten zugeordnet werden kann, demjenigen Objekt zugeordnet wird, mit dem es den besten Wert der Zuordnungsgüte aufweist. Auf diese Weise ist eine eindeutige Zuordnung von Segmenten zu Objekten möglich.
Dabei ist es besonders bevorzugt, dass aus Paaren aus jeweils einem Konturelement der Segmentkontur und einem Konturelement der Objekt- kontur Unterschiede zwischen entsprechenden Daten der Konturelemente ermittelt werden, und dass die Zuordnungsgüte unter Verwendung der Unterschiede ermittelt wird. Dabei braucht jeweils nur ein Datum des Konturelements, beispielsweise in Bezug auf eine Eigenschaft, verwendet zu werden. Insbesondere können Unterschiede in den Lagekoordinaten der Konturelemente verwendet werden. Eine Zuordnungsgüte ist so sehr einfach allein über die Konturelemente berechenbar. Grundsätzlich ist es dabei möglich, alle möglichen Paare von Konturelementen der Segmentkontur und Konturelementen der Objektkontur zu betrachten, und beispielsweise den geringsten Paarabstand zu verwenden oder die Summe der quadratischen Abstände über alle Paare zu ermitteln. Dies bedeutet jedoch einen erheblichen Aufwand. Es ist daher bevorzugt, dass unter den Konturelementen der Segmentkontur und den Konturele- menten der Objektkontur Paare aus jeweils einem Konturelement der Segmentkontur und einem Konturelement der Objektkontur bestimmt werden, die sich in wenigstens einem Datum der Daten höchstens um ein vorgegebenes Maß unterscheiden, und dass zur Ermittlung der Zuordnungsgüte die Anzahl dieser Paare bestimmt wird. Dabei werden vorzugsweise alle möglichen Paare überprüft. Die Zuordnungsgüte braucht dabei nur von der Anzahl der Paare abzuhängen, sie kann aber insbesondere noch von weiteren Größen mit bestimmt sein. Insbesondere ist es bevorzugt, dass unter den Konturelementen der Segmentkontur und den Konturelementen der Objektkontur Paare aus jeweils einem Konturelement der Segmentkontur und einem Konturelement der Objektkontur bestimmt werden, deren Lagekoordinaten einen Abstand aufweisen, der kleiner als ein vorgegebener maximaler Paarabstand ist, und dass zur Ermittlung der Zuordnungsgüte die Anzahl dieser Paare bestimmt wird. Der maximale Paarabstand kann insbesondere in Abhängigkeit von zu erwartenden maximalen Verschiebungen während der Dauer zwischen zwei aufeinander folgenden Abtastungen des Sensors gewählt werden.
Weiterhin ist es bevorzugt, dass zur Ermittlung der Zuordnungs üte ein Konturelement der Segmentkontur und ein Konturelement der Objektkontur bestimmt werden, deren Lagekoordinaten unter allen Paaren aus Konturelementen der Segmentkontur und Konturelementen der Objekt- kontur den kleinsten Abstand aufweisen. Die Zuordnungsgüte kann insbesondere auch in Abhängigkeit von mehreren der oben genannten Größen ermittelt werden. Dadurch kann verschiedenen typischen Zuordnungs Situationen sehr gut Rechnung getragen werden.
Bei der Segment-Objekt-Zuordnung kann der Fall auftreten, dass entsprechend der Zuordnungsgüte zwei Segmente einem Objekt zugeordnet werden können. Eine solche Zuordnung braucht jedoch nicht unbedingt zutreffend zu sein, beispielsweise können zwei Gegenstände, die in einem Zyklus als ein Objekt behandelt wurden, voneinander weg bewegt werden, so dass sich eine größere Kontur ergäbe, jedoch eine Zuordnung von zwei Objekten zutreffender ist. Um diesen Fall eines Objektzerfalls besser behandeln zu können, ist es bevorzugt, dass zwei oder mehr Segmente einem Objekt nur dann zugeordnet werden, wenn ein Abstand der Seg- mente von dem Objekt jeweils kleiner als ein vorgegebener Maximalabstand ist. Dieser Maximalabstand kann insbesondere in Abhängigkeit von typischen, von der Anwendungssituation abhängigen, maximal zu erwartenden Objektgrößen vorgegeben werden. Bei dem Abstand kann es sich insbesondere um den minimalen Abstand handeln, der auf der Basis von Konturelementen der entsprechenden Konturen berechenbar ist.
Weiterhin ist es dann bevorzugt, dass bei Zuordnung von Segmenten zu Objekten eine Verdeckungserkennung ausgeführt wird. Durch eine Verdeckungserkennung lässt sich mit größerer Sicherheit feststellen, ob zwei einem Objekt zuzuordnende Segmente durch teilweise Verdeckung des entsprechenden Gegenstands entstanden sein können, so dass einfacher erkannt werden kann, ob die beiden Segmente einem Objekt zugeordnet werden sollen, oder ob tatsächlich ein den realen Gegebenheiten entsprechender Objektzerfall vorliegt. Weiterhin ist es bevorzugt, dass bei Erkennung von wenigstens zwei Segmenten, die demselben Objekt zugeordnet werden können, aber nicht beide demselben Objekt zugeordnet werden sollen, das Segment mit der besseren Zuordnungsgüte dem Objekt zugeordnet wird. Das andere Seg- ment kann dann bevorzugt zur Bildung eines neuen Objekts verwendet werden. Auf diese Weise ergibt sich ein eindeutiges Kriterium der Zuordnung der Segmente zu Objekten im Fall eines Objektzerfalls.
Eine besonders einfache Ermittlung ergibt sich, wenn dem Objekt dasjeni- ge Segment zugeordnet wird, das die meisten Konturelemente aufweist.
Es ist bevorzugt, dass zur Ermittlung der Objektgeschwindigkeit ein Unterschied zwischen der Position und/ oder der Orientierung der aktuellen Objektkontur und der Position und/oder Orientierung der Objektkontur in dem vorhergehenden Zyklus oder der prädizierten Objektkontur ermittelt wird.
Dadurch, dass die gesamte Objektkontur und nicht nur ein Punkt zur Geschwindigkeitsbestimmung herangezogen wird, können, je nachdem, ob nur die Position oder auch die Orientierung ermittelt wird, so einfach reine Translationsgeschwindigkeiten oder auch Giergeschwindigkeiten des Objekts ermittelt werden, wobei für eine Gierbewegung die Drehachse in Bezug auf die Objektkontur in dem vorhergehenden Zyklus, auf die in dem aktuellen Zyklus oder auf eine aus diesen Objektkonturen berechne- ten weiteren Objektkontur definiert sein kann. Weiterhin kann in die
Objektgeschwindigkeit der Zeitabstand der Erfassungen der entsprechenden aufeinander folgenden Bilder eingehen.
Dabei ist es insbesondere bevorzugt, dass bei der Bestimmung des Unter- schieds zwischen der Position und/ oder Orientierung des Objekts in dem aktuellen Zyklus und der Position und/oder Orientierung der Objektkon- tur in dem vorhergehenden Zyklus oder der prädizierten Objektkontur Konturelemente der aktuellen Objektkontur und Konturelemente der Objektkontur in dem vorhergehenden Zyklus bzw. der prädizierten Kontur einander zugeordnet werden, und dass die Änderung der Position und/ oder Orientierung der Objektkontur in dem vorhergehenden Zyklus zu der in dem aktuellen Zyklus aus denjenigen Konturelementen der aktuellen Kontur ermittelt wird, die Konturelementen der Objektkontur in dem vorhergehenden Zyklus oder der prädizierten Objektkontur zugeordnet wurden.
Dies bedeutet, dass zur Bestimmung der Objektbewegung nur solche Konturelemente verwendet werden, die sowohl in der Objektkontur in dem vorhergehenden Zyklus bzw. der prädizierten Objektkontur als auch entsprechend in der Objektkontur in dem aktuellen Zyklus auftreten und einander zugeordnet sind. Nicht zugeordnete Konturelemente werden nicht berücksichtigt, so dass entsprechende Einflüsse bei der Geschwindigkeitsbestimmung ausgeschlossen werden, wodurch die Genauigkeit erhöht werden kann.
Bevorzrugt erfolgt die Zuordnung unter Berücksichtigung der Abfolge der Konturelemente in den Objektkonturen.
Weiterhin ist es bevorzugt, dass zur Zuordnung von Konturelementen zweier Objektkonturen zueinander ausgehend von Konturelementen der Objektkonturen mit Lagekoordinaten, die jeweils einem Ende der Kontur entsprechen, für aufeinander folgende Konturelemente entlang einer der beiden Konturen jeweils ein entsprechendes, noch nicht zugeordnetes Konturelement der anderen Kontur gesucht wird, dessen Lagekoordinaten einen minimalen Abstand von den Lagekoordinaten des Konturelements der einen Kontur aufweisen. Eine solche Zuordnung kann besonders schnell erfolgen, wobei eine prinzipiell zu vermeidende Doppelzuordnung von Konturelementen vermieden wird.
Treten bei der Objektbewegung bzw. der Bewegung des entsprechenden Gegenstands Beschleunigungen oder Rotationen auf, kann, je nach Art der Prädiktion, die prädizierte Lage und gegebenenfalls auch Form der Objektkontur von der aktuellen Lage und/ oder Form der aktuellen Objektkontur abweichen. Dies kann bei der Zuordnung zu Fehlzuordnungen führen oder entsprechend komplizierte Zuordnungsalgorithmen erfordern.
Es ist daher bevorzugt, dass für eine Objektkontur jeweils wenigstens ein Referenzelement bestimmt wird, dass zur Zuordnung von Objektelementen der prädizierten Objektkontur zu Objektelementen der aktuellen Objektkontur eine Korrekturverschiebung zwischen den Referenzelementen der prädizierten und der aktuellen Kontur ermittelt wird, und dass die Zuordnung von Konturelementen der prädizierten Kontur zu Konturelementen der aktuellen Kontur unter Verwendung der um die Korrekturverschiebung der Referenzelemente verschobenen Konturelemente der prädizierten Kontur erfolgt. Bei diesen Referenzelementen kann es sich insbe- sondere um spezielle Konturelemente handeln, beispielsweise das erste und das letzte Konturelement einer Kontur. Es ist jedoch auch möglich, andere spezielle Konturelemente einer Objektkontur, beispielsweise ein an einer Ecke der Objektkontur angeordnetes Konturelement, zu verwenden. Auf diese Weise können Ungenauigkeiten, die bei der Zuordnung durch Abweichungen zwischen der prädizierten und der aktuellen Objektkontur auftreten, stark reduziert werden.
Besonders bevorzugt werden zwei Referenzelemente verwendet und aus den Verschiebungen der beiden Referenzelemente sowohl eine Korrektur- Verschiebung als auch eine Korrekturdrehung der prädizierten Objektkontur ermittelt. Auf diese Weise werden auch durch Rotationen bzw. Gierbe- wegungen der Objektkontur bzw. des Gegenstands bedingte Schwierigkeiten bei der Zuordnung von Konturelementen reduziert.
Die Ermittlung der Objektbewegung kann grundsätzlich unter Verwen- düng eines Kaiman-Filters für die Konturelemente, insbesondere deren Lagekoordinaten und die zugehörigen Geschwindigkeiten, erfolgen. Es ist jedoch bevorzugt, dass zunächst Unterschiede zwischen den Lagekoordinaten einander zugeordneter Konturelemente der aktuellen Kontur und der Kontur in dem vorhergehenden Zyklus oder der prädizierten Kontur ermittelt werden, dass aus diesen Unterschieden eine Translation und/ oder eine Rotation des Objekts zwischen dem vorhergehenden Zyklus und dem aktuellen Zyklus ermittelt werden, und dass die Objektgeschwindigkeit auf der Basis dieser Translation und/ oder Rotation bestimmt wird.
Hierdurch wird eine Mittelwertbildung möglich, die eine besonders genaue Bestimmung der Translation oder Rotation des Objekts erlaubt. Insbesondere kann beispielsweise die Translation als Mittelwert über die Verschiebungen der Konturelemente der Objektkontur in dem aktuellen Zyklus zu der Objektkontur in dem vorhergehenden Zyklus berechnet werden. Je nachdem, ob die Translation und/ oder die Rotation bestimmt werden, kann es sich bei der Objektgeschwindigkeit um eine Translationsund/oder Giergeschwindigkeit handeln.
Weiterhin ist es bevorzugt, dass die Objektgeschwindigkeiten einer Tief- pass-Filterung unterworfen werden. Dabei kann insbesondere für jede • Komponente der Objektgeschwindigkeit getrennt ein eindimensionaler Kaiman-Filter verwendet werden. Auf diese Weise können statistische Fehler unterdrückt werden. 24
Weiterer Gegenstand des erfindungsgemäßen Verfahrens ist ein Computerprogramm mit Programmcode-Mitteln, um das erfindungsgemäße Verfahren durchzuführen, wenn das Programm auf einem Computer ausgeführt wird. Unter einem Computer wird dabei jede Datenverarbei- tungsanlage verstanden, die insbesondere einen Prozessor, einen Speicher und Schnittstellen zur Zuführung bzw. zur Abgabe von Daten aufweist. Insbesondere kann der Computer einen digitalen Signalprozessor aufweisen.
Weiterhin ist Gegenstand der vorliegenden Erfindung ein Computerprogrammprodukt mit Programmcode-Mitteln, die auf einem computerlesbaren Datenträger gespeichert sind, um das erfindungsgemäße Verfahren durchzuführen, wenn das Computerprogrammprodukt auf einem Computer ausgeführt wird. Bei dem Datenträger kann es sich insbesondere um nichtflüchtige Speicher in der Form von entsprechenden Halbleiterbauelementen, CDs, DVDs oder Disketten handeln.
Schließlich ist Gegenstand der vorliegenden Erfindung eine Vorrichtung zur Erkennung und Verfolgung von Objekten mit mindestens einem opto- elektronischen Sensor, insbesondere einem Laserscanner, dessen Sichtbereich den Erfassungsbereich einschließt, und einer mit dem optoelektronischen Sensor verbundenen Datenverarbeitungseinrichtung, die zur Durchführung des erfindungsgemäßen Verfahrens ausgebildet ist. Diese Datenverarbeitungseinrichtung kann insbesondere eine Segmentbildungs- einheit zur Bildung von Segmenten aus Bildpunkten eines aktuellen
Bildes, eine Segmentkonturbildungseinheit zur Ermittlung einer Segmentkontur und deren Lage aus Bildpunkten des Segments, eine Prädiktionseinheit zur Prädiktion der Lage einer Objektkontur in dem aktuellen Zyklus aus der Objektkontur in einem vorhergehenden Zyklus, eine Segment- Objekt-Zuordnungs-Einrichtung zum Vergleichen der Segmentkonturen mit wenigstens einer der prädizierten Objektkonturen in Bezug auf Lage und/ oder Form und Zuordnung eines Segments zu einem der Objekte entsprechend dem Ergebnis des Vergleichs, eine Objektkonturbildungs- einheit zur Bildung einer aktuellen Objektkontur aus den Segmentkonturen von den Objekten jeweils zugeordneten Segmenten und eine Einrich- tung zur Bestimmung einer aktuellen Lage und/oder einer Objektgeschwindigkeit aus der aktuellen Objektkontur bzw. aus der Lage der aktuellen Objektkontur und der Lage der Objektkontur in den vorhergehenden Zyklus für wenigstens eines der Objekte umfassen.
Das erfindungsgemäße Verfahren eignet sich insbesondere zum Einsatz zur Überwachung eines Bereichs vor einem Fahrzeug, das mit einer erfindungsgemäßen Vorrichtung ausgestattet ist.
Die Erfindung wird nun weiter beispielhaft anhand der Zeichnungen erläutert. Es zeigen: .
Fig. 1 eine schematische Draufsicht auf eine erfindungsgemäße
Vorrichtung zur Erkennung und Verfolgung von Objekten,
Fig. 2 ein schematisches Ablaufdiagramm eines Verfahrens zur
Erkennung und Verfolgung von Objekten nach einer bevorzugten Ausführungsform der Erfindung,
Fig. 3 ein schematisches Ablaufdiagramm von Teilschritten eines Verfahrensschritts S24 in dem Ablaufdiagramm in Fig. 2,
Fig. 4 eine schematische Darstellung von Bildpunkten eines Segments und von Konturelementen in einer Ebene, 26
Fig. 5 eine schematische Darstellung von Bildpunkten und Konturelementen für ein Objekt mit zerklüfteter Oberfläche, und
Fig. 6 eine schematische Darstellung einer prädizierten Objektkontur und einer aktuellen Objektkontur sowie einer Zuordnung von Konturelementen dieser Objektkonturen zueinander.
In Fig. 1 ist ein Laserscanner 10 an der Frontseite eines Kraftfahrzeugs 12 gehalten, um Gegenstände vor dem Kraftfahrzeug 12 zu erfassen.
Der Laserscanner 10 weist einen in Fig. 1 nur teilweise gezeigten Erfassungsbereich 14 auf, der aufgrund der Anbaulage symmetrisch zur Längsachse des Kraftfahrzeugs 12 einen Winkel von etwa 180° abdeckt. Der Erfassungsbereich ist in Fig. 1 nur schematisch und zur besseren Darstellung insbesondere in radialer Richtung zu klein dargestellt. In dem Erfassungsbereich 14 befinden sich beispielhaft zwei Fahrzeuge 16 und 18 als zu erfassende Gegenstände.
Der Laserscariner 10 tastet seinen Sichtbereich 14 in grundsätzlich bekannter Weise mit einem mit konstanter Winkelgeschwindigkeit umlaufenden, gepulsten Laserstrahlungsbündel 20 ab, wobei ebenfalls umlaufend in konstanten Zeitabständen Δt zu Zeiten τi in festen Winkelbereichen um einen mittleren Winkel i detektiert wird, ob das Laserstrahlungsbündel von einem Punkt bzw. Bereich eines Gegenstands reflektiert wird. Der Index i läuft dabei von 1 bis zur Anzahl der Winkelbereiche im Erfassungsbereich. Von diesen Winkelbereichen sind in Fig. 1 nur einzelne gezeigt, unter anderem die den mittleren Winkeln an, und a-. zugeordne- ten Winkelbereiche. Hierbei sind die Winkelbereiche zur deutlicheren Darstellung übertrieben groß gezeigt. Anhand der Laufzeit des Laser- strahlpulses wird der Sensorabstand di des Gegenstandspunktes von dem Laserscanner 10 ermittelt. Der Laserscanner 10 erfasst daher als Koordinaten in einem Scandatenelement für einen Gegenstandspunkt 22 des Kraftfahrzeugs 16 den Winkel αi und den bei diesem Winkel festgestellten Abstand di, das heißt die Position des Gegenstandspunktes 22 in Polarkoordinaten. Bei einer Abtastung des Sichtbereichs werden von dem Laserscanner somit Scandatenelemente mit Koordinaten (αi, di) bereitgestellt, wobei i eine natürliche Zahl zwischen 1 und der Anzahl der von dem Laserscanner 10 erfassten Scandatenelemente ist.
Die Menge der bei einer Abtastung erfassten Scandatenelemente bildet, gegebenenfalls nach Korrektur der Daten und/ oder Transformation in ein anderes Koordinatensystem, ein tiefenaufgelöstes Bild im Sinne der vorliegenden Anmeldung.
Der Laserscanner 10 tastet seinen Sichtbereich 14 jeweils in aufeinander folgenden Abtastungen ab, so dass eine zeitliche Folge von Abtastungen und damit tiefenaufgelösten" Bildern entsteht.
Zur Verarbeitung der Scandatenelemente weist der Laserscanner eine Auswerteelektronik bzw. Datenverarbeitungseinrichtung 24 auf, die im Beispiel in dem Laserscanner 10 angeordnet ist, grundsätzlich aber auch davon abgesetzt angeordnet sein kann. Die Datenverarbeitungseinrichtung 24 weist unter anderem einen zur Ausführung des erfindungsgemä- ßen Verfahrens programmierten digitalen Signalprozessor, eine mit dem digitalen Signalprozessor verbundene Speichereinrichtung sowie Schnittstellen zur Ausgabe von Daten an eine Fahrzeugsteuerung auf.
Das Verfahren nach einer bevorzugten Ausführungsform der Erfindung ist schematisch in Fig. 2 dargestellt. Der Laserscanner 10 erfasst, wie bereits erwähnt, in konstanten Zeitabständen Δt Bilder seines Erfassungsbe- reichs. Die Bildpunkte der Bilder können aus den entsprechenden Scandatenelementen durch eine entsprechende Koordinatentransformation und gegebenenfalls weitere Korrekturen, zum Beispiel in Bezug auf eine Eigenbewegung des Laserscanners 10, korrigiert worden sein. Das erfin- dungsgemäße Verfahren wird zyklisch durchgeführt, wobei ein Zyklus für jedes neu erfasste Bild durchgeführt wird.
In Schritt S10 wird ein aktuelles Bild von dem Laserscanner 10 eingelesen, das Bildpunkte mit Lagekoordinaten in einem kartesischen Koordina- tensystem mit einer X-Achse und einer dazu orthogonalen Y-Achse um- fasst. Im Ausführungsbeispiel ist die X-Achse parallel zur Längsachse des Kraftfahrzeugs 12 angeordnet, das Koordinatensystem also relativ zu dem Kraftfahrzeug 12 definiert.
In dem folgenden Schritt S12 wird das aktuelle Bild segmentiert. Dazu werden alle Bildpunkte Segmenten zugeordnet, wobei ein Bildpunkt nur einem Segment zugeordnet ist. Dazu wird zur Bildung eines neuen Segments zunächst ein noch nicht einem Segment zugeordneter Bildpunkt dem neuen Segment zugeordnet. Iterativ werden dann in den folgenden Schritten zu jedem Bildpunkt des Segments noch nicht einem Segment zugeordnete Bildpunkte gesucht, die von dem entsprechenden Bildpunkt des Segments einen Abstand aufweisen, der geringer als ein vorgegebener, beispielsweise in Abhängigkeit von einem Auflösungsvermögen des Laserscanners 10 gewählter Segmentierungsabstand ist. Wird ein solcher, noch nicht einem Segment zugeordneter Bildpunkt gefunden, wird er. dem
Segment zugeordnet, und es wird nach einem weiteren Bildpunkt für das Segment gesucht. Anderenfalls ist das Segment abgeschlossen und es wird ein weiterer nicht zugeordneter Bildpunkt für ein neues Segment gesucht. In Schritt S14 wird dann für jedes Segment eine Kontur ermittelt (vgl. Fig. 3 und 4) . Bei diesem Ausführungsbeispiel des erfindungsgemäßen Verfahrens ist eine Kontur durch ein Konturelement oder eine Folge von Konturelementen gegeben, die als Daten jeweils zwei Lagekoordinaten in dem X- Y-Koordinatensystem umfassen. Der Begriff der Folge schließt dabei eine Abfolge bzw. der Reihenfolge der Konturelemente ein. Zur Ermittlung der Kontur werden die Bildpunkte eines Segments zunächst in einer Reihenfolge zunehmender Polarwinkel in Bezug auf die Y-Achse als Polarachse geordnet, falls dies notwendig ist. Polarwinkel von Bildpunkten mit negati- ven X- Koordinaten erhalten ein negatives Vorzeichen, so dass sich bei
Bewegung von einem Rand des Erfassungsbereichs zu dem anderen Rand des Erfassungsbereichs eine aufsteigende Folge von Polarwinkeln ergibt. Im Ausführungsbeispiel ist diese Anordnung nicht notwendig, wenn die Scandatenelemente in ihrer Erfassungsreihenfolge in Bildpunkte über- führt werden und im weiteren Verlauf des Verfahrens deren Reihenfolge auch nicht verändert wird.
Die Bildung einer Kontur ist in Fig. 4 beispielhaft für ein Segment dargestellt, das einem Gegenstand mit einer vergleichsweise glatten Kontur entspricht. Die Konturelemente sind dabei durch Quadrate veranschaulicht, die zeigen, welche, als Kreuze dargestellte, Bildpunkte dem Konturelement zugeordnet wurden. Zur Bildung eines Konturelements für eine Kontur eines ausgewählten Segments wird zunächst ein noch nicht einem Konturelement zugeordneter Bildpunkt 26 mit dem kleinsten Polarwinkel gewählt und dem neuen Konturelement 30 zugewiesen. Es werden dann in der Reihenfolge zunehmender Polarwinkel aufeinander folgende Bildpunkte 28 und 28' dem Konturelement 30 zugeordnet, bis der Abstand zu dem ersten, dem Konturelement zugeordneten Bildpunkt 26 einen vorgegebenen, beispielsweise in Abhängigkeit von dem Auflösungsvermögen des Laserscanners 10 gewählten Wert überschreitet. Der erste Bildpunkt 32, der diesen vorgegebenen Abstand überschreitet, wird einem neuen Kon- turelement zugewiesen. Aus den einem Konturelement zugeordneten Bildpunkten werden dann Lagekoordinaten des Konturelements durch Mittelwertbildung ermittelt.
Dieser Vorgang beginnt bei dem Bildpunkt mit dem kleinsten Polarwinkel, so dass insgesamt eine Folge von Konturelementen entsteht, die aus Bildpunkten in einer Reihenfolge aufsteigender Polarwinkel gebildet ist. In den Fig. 4 und 5 entsprechen die Lagekoordinaten des Konturelements der Lage des Schwerpunkts der die Konturelemente darstellenden Quad- rate, während die Seitenlänge grob und nur qualitativ einen Eindruck von dem maximalen Abstand der zur Bildung des Konturelements verwendeten Bildpunkte vermitteln soll. Die die Schwerpunkte verbindende Linie dient nur der Veranschaulichung einer durch die Konturelemente definierten Konturlinie.
Wie in Fig. 5 für einen unregelmäßigen Gegenstand wie beispielsweise ein Gebüsch gezeigt, kann es vorkommen, dass ein Konturelement nur wenige Bildpunkte, gegebenenfalls auch nur einen Bildpunkt, umfasst.
In jedem Zyklus ist jedem Objekt eine Objektkontur zugeordnet, die ebenfalls durch ein Konturelement oder eine Folge von Konturelementen gegeben ist. Die Bildung dieser Objektkontur spielt zunächst keine Rolle, wird aber bei Schritt S22 weiter erläutert.
In Schritt S16, der prinzipiell auch vor Schritt S 14 oder parallel zu diesem ausgeführt werden könnte, wird für jedes Objekt des vorhergehenden Zyklus, soweit der aktuelle Zyklus nicht der erste Zyklus ist, aus einer vorhandenen Objektkontur eine neue Objektkontur pradiziert. Dazu wird die in einem vorhergehenden Zyklus bestimmte Objektgeschwindigkeit sowohl in X- als auch Y-Richtung mit der Zeitdauer zwischen zwei aufeinander folgenden Abtastungen Δt multipliziert, wodurch sich eine prädizier- te Objektverschiebung ergibt. Die prädizierte Objektkontur ergibt sich nun daraus, dass die Lagekoordinaten der Konturelemente der Objektkontur um die prädizierte Objektverschiebung verschoben werden. Dadurch wird die Form der Objektkontur nicht verändert, sondern nur deren Lage. Ist ein Objekt in dem vorhergehenden Zyklus neu gebildet worden, kann diesem Objekt eine geeignete Anfangsgeschwindigkeit zugewiesen sein, beispielsweise eine Anfangsgeschwindigkeit von Null. Für Objekte, denen im vorhergehenden Zyklus keine Segmente zugeordnet wurden, wird eine Prädiktion über einen entsprechend längeren Zeitraum, der mit dem Zyklus nach der letzten Zuordnung eines Segments zu dem Objekt beginnt, durchgeführt.
In Schritt S18 erfolgt dann eine Zuordnung der Segmente zu den Objekten durch Vergleich der Segmentkonturen mit den prädizierten Objektkontu- ren.
Zur Beschleunigung der Zuordnung, aber nicht unbedingt notwendigerweise, werden dazu den Segmenten und den Objekten rechteckige Segmentboxen und Objektboxen zugeordnet, die zu den Koordinatenachsen parallele Seiten aufweisen. Während die Segmentbox das kleinste Rechteck ist, das alle Bildpunkte des Segments in dem aktuellen Zyklus einschließt (vgl. für die Segmentbox 34 die Bildpunkte 33 in Fig. 5), ergibt sich die Objektbox daraus, dass auch zunächst ein kleinstes Rechteck bestimmt wird, das die Bildpunkte des Objekts in dem vorhergehenden Zyklus umschließt, dieses Rechteck jedoch gegebenenfalls in X- und Y-
Richtung unterschiedlich um einen konstanten Wert und die Unsicherheit des Objekts, bestimmt durch die Unsicherheit der Objektgeschwindigkeit, erweitert wird. Die Objektbox ist also größer gewählt als der eigentliche in dem vorhergehenden Zyklus erfasste Umriss, so dass diese erweiterte Objektbox gleichzeitig einen Fangbereich einschließt, in dem nach Segmenten gesucht wird. Diese Situation ist in Fig. 6 gezeigt, in der sich innerhalb einer Objektbox 36 Konturelemente 38 einer prädizierten Objektkontur und von einer Segmentbox 40 umschlossene Konturelemente 42 einer aktuellen Objektkontur befinden.
Zur Vorauswahl wird nun zunächst geprüft, ob für ein gegebenes Segment die Segmentbox mit einer Objektbox eines vorhandenen Objekts überlappt.
Nur wenn dies der Fall ist, wird die Segmentkontur in dem aktuellen Zyklus mit der prädizierten Objektkontur verglichen, indem jeweils eine Zuordnungsgüte bestimmt wird. Dazu wird zum einen durch Berechnung aller Abstände zwischen Konturelementen der Segmentkontur und Konturelementen der prädizierten Objektkontur die Anzahl von Paaren aus Konturelementen der Segmentkontur und Konturelementen der Objekt- kontur bestimmt, deren Konturelemente einen vorgegebenen, maximalen Segment-Objekt-Zuordnungsabstand unterschreiten. Dieser maximale Segment-Objekt-Zuordnungsabstand kann beispielsweise durch Optimierungsversuche für gegebene zu erwartende Objektgeschwindigkeiten und Objektgrößen bestimmt werden und beispielsweise im Bereich von 1 bis 2 m liegen. Darüber hinaus wird dabei auch der minimale Abstand bestimmt, der in der Menge der Abstände von Konturelementen aller Paare auftritt. Als Zuordnungsgüte wird dann beispielsweise die Anzahl nahe beieinander liegender Konturelementpaare, d.h. Konturelementpaare mit einem Abstand kleiner als der maximale Segment-Objekt-Zuordnungs- abstand, dividiert durch die Summe aus einer Konstante und dem minimalen Abstand aller Paare von Konturelementen ermittelt. Die Konstante wird unter anderem zur Vermeidung einer Division durch Null verwendet und kann durch Optimierungsversuche bestimmt werden..
Das Segment wird dann demjenigen Objekt zugeordnet, mit dem es die höchste Zuordnungsgüte aufweist, das heißt dessen Segmentkontur gemessen über die Zuordnungsgüte der Objektkontur am ähnlichsten ist. • Bei einer Zuordnungsgüte von Null wird jedoch keine Zuordnung durchgeführt.
Auf diese Weise wird jedes Segment zunächst höchstens einem Objekt zugeordnet, wobei einem Objekt jedoch mehrere Segmente zugeordnet sein können.
Zur Überprüfung eines Objektzerfalls wird bei der Zuordnung von zwei Segmenten zu einem Objekt noch überprüft, ob der minimale Abstand zwischen der jeweiligen Segmentkontur und der Objektkontur, beispielsweise gegeben durch den minimalen Abstand von Konturelementen in den entsprechenden Paaren von Konturelementen, einen vorgegebenen, beispielsweise in Abhängigkeit von zu erwartenden Objektgrößen gewählten Schwellwert unterschreitet. Ist dies der Fall, kann das Segment dem
Objekt zugeordnet werden, anderenfalls erfolgt eine Trennung. Dann wird das jeweils größte Segment, das heißt das Segment mit einer Segmentkontur mit den meisten Konturelementen, dem Objekt zugeordnet, während das verbleibende Segment einem bestehenden Objekt zugeordnet wird.
In Schritt S20 werden dann aus den noch nicht vorhandenen Objekten zugeordneten Segmenten neue Objekte gebildet.
In Schritt S22 wird dann für jedes Objekt, dem im aktuellen Zyklus ein Segment zugeordnet wurde, eine, aktuelle Kontur gebildet, indem unter Berücksichtigung der Reihenfolge der Konturelemente eine Folge von Konturelementen aus den Konturelementen der entsprechenden Segmente gebildet wird, die eine fortlaufende Kontur ergibt. Weiterhin werden Objekte, denen keine Segmente zugeordnet wurden, aufrechterhalten. Die Ob- jektkontur in dem vorhergehenden Zyklus wird gespeichert. Dabei werden, wenn die Prädiktion eine vorgegebene Unsicherheit, gegeben durch eine maximale Anzahl aufeinander folgender Zyklen, in denen der Objektkontur kein Segment zugeordnet wurde, überschreitet, die entsprechenden Objekte gelöscht. Bei einer anderen Ausführungsform kann die Unsicherheit auch von der Unsicherheit bzw. dem geschätzten Fehler der Ge- schwindigkeit abhängen.
In Schritt S24 wird dann für jedes Objekt, das nicht neu gebildet wurde, eine Änderung der Objektlage durch Vergleich der Objektkontur in dem aktuellen Zyklus mit der Objektkontur in dem vorhergehenden Zyklus ermittelt. Die hierbei auszuführenden Teilschritte sind in Fig. 3 als für jedes in dem vorhergehenden Zyklus bereits vorhandene Objekt auszuführende Teilschritte S24A bis S24D gezeigt. Die Zuordnung ist weiter beispielhaft in Fig. 6 veranschaulicht.
Zur Berechnung der Objektbewegung werden die Verschiebungen der Konturelemente 42 der aktuellen Objektkontur und der prädizierten Objektkontur, die in bereits beschriebener Weise aus der Objektkontur in dem vorhergehenden Zyklus berechnet wurde, herangezogen. Um diese Zuordnung zu erleichtern, wird in Schritt S24A zunächst eine Korrektur- Verschiebung bestimmt. Hierzu werden für die Objektkonturen Referenzelemente bestimmt, die für die Objektkonturen charakteristisch und daher einfach wieder aufzufinden sind. Aus einem Unterschied der Lagen der Referenzelemente zwischen der aktuellen Objektkontur und der prädizierten Objektkontur kann dann eine Korrekturverschiebung ermittelt werden.
Im vorliegenden Ausführungsbeispiel werden als Referenzelemente jeweils das erste und das letzte Konturelement der jeweiligen Objektkontur verwendet. Dazu wird zunächst geprüft, ob das jeweils erste und letzte Kon- turelement der prädizierten Objektkontur und der aktuellen Objektkontur durch Vordergrundobjekte verdeckt sind. Als Paar von Referenzelementen wird dann das Paar aus ersten oder letzten Konturelementen der aktuellen und der prädizierten Kontur verwendet, dessen Konturelemente nicht verdeckt sind und dessen Konturelement der aktuellen Objektkontur dem Laserscanner 10 am nächsten liegt. In Fig. 6 sind dies die linken Kontur- eleme.nte 44 bzw. 44'. Aus der Differenz der Lagekoordinaten wird dann ein Korrekturverschiebungsvektor berechnet.
Werden keine Referenzelemente gefunden, beispielsweise weil zumindest zwei verschiedene erste und letzte Konturelemente der Konturen verdeckt sind, wird der Korrekturverschiebungsvektor auf den Wert Null gesetzt, andernfalls ergibt er sich als Differenz zwischen den Lagekoordinaten des Referenzelements der aktuellen Objektkontur und den Lagekoordinaten des entsprechenden Referenzelements der prädizierten Kontur. Weiterhin wird dem Korrekturverschiebungsvektor der Wert Null zugeordnet, falls der Betrag der Korrekturverschiebung größer ist als ein in Abhängigkeit von dem Alter des Objekts, gegeben als Anzahl der Zyklen, während derer das Objekt bereits existiert, oder die Konturelemente - gemessen durch den mittleren quadratischen Abstand von dem Referenzelement - sehr stark gestreut sind.
In Schritt S24B werden dann die Lagekoordinaten aller Konturelemente der prädizierten Objektkontur entsprechend dem ermittelten Korrekturverschiebungsvektor verschoben.
In Schritt S24C erfolgt dann eine Zuordnung von Konturelementen 42 der aktuellen Objektkontur und Konturelementen der korrigierten prädizierten Objektkontur. Dazu wird für jedes noch nicht einem Konturelement der aktuellen Objektkontur zugeordnete Konturelement der korrigierten prädizierten Objektkontur dasjenige noch nicht zugeordnete Konturele- ment der aktuellen Objektkontur gesucht, das zu dem Konturelement der korrigierten prädizierten Objektkontur einen minimalen Abstand aufweist. Eine Zuordnung zwischen zwei Konturelementen wird nur dann erstellt, wenn dieser minimale Abstand einen in Abhängigkeit von den zu erwartenden Objektgeschwindigkeiten gewählten Maximalabstand unterschreitet. Ist dies nicht der Fall, wird das betrachtete Konturelement im weiteren Verfahrensverlauf nicht mehr zur Zuordnung verwendet. Auf diese Weise wird, sofern möglich, eine Eins-zu-Eins-Zuordnung der Konturelemente der aktuellen Objektkontur und der korrigierten prädizierten Objektkontur ermittelt.
Zur Berücksichtigung der Korrekturverschiebung braucht nicht unbedingt explizit eine korrigierte prädizierte Objektkontur gebildet zu werden, die Korrekturverschiebung kann auch als Summand in den Formeln berücksichtigt werden, die in dem folgenden Verfahrensablauf, d.h. Schritt S24C, verwendet werden.
Einer Zuordnung von Objektkonturen zueinander wird eine Objektkontur- Objektkontur-Zuordnungsgüte zugeordnet, die in dem Ausführungsbeispiel durch die Anzahl der Paare von einander zugeordneten Konturelementen gegeben ist. Für die eben beschriebene Zuordnung wird ein erster Wert einer Objektkontur-Objektkontur-Zuordnungsgüte ermittelt..
Diese Schritte werden nochmals ohne Korrekturverschiebung durchgeführt. Der sich dann ergebende zweite Wert der Objektkontur-Objektkontur-Zuordnungsgüte wird mit dem ersten Wert verglichen und die Zuordnung mit dem Wert der Objektkontur-Objektkontur-Zuordnungsgüte wird als endgültige Zuordnung gewählt, die in Fig. 6 durch die entsprechenden durchgezogenen Linien zwischen den Konturelementen 38 und 42 der prädizierten und der aktuellen Objektkontur veranschaulicht ist.
In Schritt S24D wird dann eine Objektverschiebung aus den Paaren mit einander zugeordneten Konturelementen berechnet. Im Ausführungsbei- spiel wird dazu jeweils der Mittelwert der Abstände in X- und Y-Richtung der Konturelemente bzw. der Lagekoordinaten der entsprechenden Konturelemente über alle Paare ermittelt. Ergebnis dieser Operation ist ein Verschiebungsvektor mit Komponenten in X- und Y-Richtung, der als Verschiebungsvektor für das Objekt angesehen wird.
In Schritt S26 wird dann aus dem Verschiebungsvektor unter Berücksichtigung der Verschiebung bei der Prädiktion und dem Zeitabstand Δt aufeinander folgender Abtastungen des Erfassungsbereichs eine (gemessene) Momentanobjektgeschwindigkeit getrennt für die X- und die Y-Richtung ermittelt.
Diese werden für jede der beiden Richtungen getrennt einer Filterung mit einem eindimensionaler Kaiman-Filter für die Objektgeschwindigkeit in X- und Y-Richtung unterworfen. Als Messwert dienen dabei die entsprechenden Momentangeschwindigkeiten, Ergebnis sind die entsprechenden aktuellen Objektgeschwindigkeiten. Als Unsicherheit für die Messung, das heißt die Varianz für den Messwert bzw. die Momentgeschwindigkeit, wird ein Wert, beispielsweise in Abhängigkeit von der Messgenauigkeit des Laserscanners 10 und von dem zeitlichen Abstand zwischen zwei Abtastungen Δt, gewählt. Das Systemrauschen in dem Kaiman- Filter kann in Abhängigkeit von den maximal zu erwartenden Objektbeschleunigungen bzw. Beschleunigungsänderungen gewählt werden. Der Algorithmus für den eindimensionalen Kaiman-Filter ist dem Fachmann bekannt. Der Kaiman-Filter wirkt somit als Tiefpassfilter, mittels dessen Fluktuationen in den erfassten Objektgeschwindigkeiten unterdrückt werden.
Es können nun die aktuelle Objektkontur in Form der Konturelemente und die aktuelle Objektgeschwindigkeit an weitere Daten verarbeitende Einrichtungen ausgegeben werden, die diese beispielsweise für eine Kollisionswarnung und gegebenenfalls entsprechende Steuerung des Fahr- zeugs verwenden können. Für Objekte, für die kein- Segment gefunden wurde, wird eine entsprechende Information ausgegeben, die beispielsweise in der Angabe eines geschätzten Fehlers für die Lage und/ oder Objektgeschwindigkeit bestehen kann. Parallel zu dem Zyklus wird ein neues aktuelles Bild erfasst und nach Ausgabe der Daten ein neues Bild in einem neuen Zyklus in Schritt S10 eingelesen.
Es ergibt sich so ein sehr einfaches, aber genaues Verfahren zur Objekterkennung und -Verfolgung, bei dem auch Änderungen einer erfassten Kontur eines Gegenstands berücksichtigt werden können.
Bezugszeichenliste
Laserscanner
Kraftfahrzeug
Erf as sungsbereich
Kraftfahrzeug
Kraftfahrzeug
Laserstrahlbündel
Gegenstandspunkt
Auswerteelektronik
Bildpunkt , 28' Bildpunkte
Konturelement
Bildpunkt
Bildpunkte
Segmentbox
Objektbox
Konturelemente
Segmentbox
Konturelemente , 44' Referenzelemente

Claims

Ansprüche
1. Verfahren zur Erkennung und Verfolgung von Objekten auf der Basis von von wenigstens einem Sensor (10) für elektromagnetische
Strahlung, insbesondere einem Laserscanner, in zeitlicher Folge erfassten, tiefenaufgelösten, Bildpunkte (26, 28, 28', 32, 33) umfassenden Bildern von wenigstens einem Gegenstand (16, 18) in einem Erfassungsbereich des Sensors (10), bei dem in aufeinanderfolgen- den Zyklen folgende Schritte ausgeführt werden: aus Bildpunkten (26, 28, 28', 32, 33) eines aktuellen Bildes wird wenigstens eine aktuelle Objektkontur gebildet, für Objekte in einem vorhergehenden Zyklus wird jeweils ausgehend von einer dem jeweiligen Objekt in dem vorhergehen- den Zyklus zugeordneten Objektkontur wenigstens eine Objektkontur (38) in dem aktuellen Zyklus pradiziert, für wenigstens eines der Objekte werden aus der aktuellen Objektkontur (42) eine aktuelle Lage und/ oder aus der aktuellen Objektkontur (42) und der Objektkontur in einem vorher- gehenden Zyklus eine Objektgeschwindigkeit ermittelt.
2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass zur Bildung von aktuellen Objektkonturen aus Bildpunkten (26, 28, 28', 32, 33) eines aktuellen Bildes Segmente gebildet werden, dass für jedes der Segmente eine dem Segment zugeordnete Segmentkontur (30) und deren Lage ermittelt werden, - dass eine der Segmentkonturen mit wenigstens einer der prädizier- ten Objektkonturen in Bezug auf Lage und/ oder Form verglichen und in Abhängigkeit von dem Ergebnis des Vergleichs das der Seg- mentkontur entsprechende Segment einem der Objekte zugeordnet wird, und dass aus den Segmentkonturen von Objekten jeweils zugeordneten Segmenten jeweils aktuelle Objektkonturen (42) gebildet werden.
3. Verfahren nach Anspruch 1 oder 2, dass Konturen durch ein Konturelement oder eine Folge von Konturelementen (30, 38, 42) definiert sind, und dass das Konturelement bzw. die Konturelemente (30, 38, 42) definierende Daten aus wenigstens einem Bildpunkt (26, 28, 28', 32, 33) eines Segments oder Konturelementen einer anderen Kontur ermittelt werden.
4. Verfahren nach Anspruch 3, dadurch gekennzeichnet, dass die Konturelemente (30, 38, 42) als Daten jeweils Lagekoordinaten umfassen.
5. Verfahren nach Anspruch 3 oder 4, dadurch gekennzeichnet, dass zur Bildung eines Konturelements (30) einer Segmentkontur jeweils eine vorgegebene Anzahl von in einer Reihenfolge aufsteigender bzw. abnehmender Polarwinkel in Bezug auf eine vorgegeben Polarachse aufeinander folgenden Bildpunkten (26, 28, 28', 32, 33) des Segments einem entsprechenden Konturelement zugeordnet werden, und dass Daten des Konturelements aus den Bildpunkten (26, 28, 28', 32, 33) ermittelt werden.
6. Verfahren nach einem der Ansprüche 3 bis 5, dadurch gekennzeichnet, dass zur Bildung eines Konturelements (30, 38, 42) einer Segment- kontur in einer Reihenfolge aufsteigender oder abnehmender Polarwinkel in Bezug auf eine vorgegeben Polarachse jeweils aufeinanderfolgende Bildpunkte (26, 28, 28', 32, 33) des Segments einem entsprechenden Konturelement zugeordnet werden, deren Abstand von einem ersten dem Konturelement zugeordneten Bildpunkt (26) kleiner als ein vorgegebener Maximalabstand ist, und dass Daten des Konturelements aus diesen Bildpunkten (26, 28, 28', 32, 33) ermittelt werden.
7. Verfahren nach einem der Ansprüche 3 bis 6, dadurch gekennzeichnet, dass Konturelemente durch Vektorisierung einer Kurve erhalten werden, die durch Verbindung der Bildpunkte (26, 28, 28', 32, 33) eines Segments in einer Reihenfolge aufsteigender oder abnehmen- der Polarwinkel in Bezug auf eine vorgegebene Polarachse entsteht.
8. Verfahren nach einem der Ansprüche 3 bis 7, dadurch gekennzeichnet, dass die Lagen der Bildpunkte (26, 28, 28', 32, 33) eines Segments vor der Bildung der Konturelemente einer Tiefpass-Filterung unterzogen werden.
9. Verfahren nach einem der Ansprüche 3 bis 8, dadurch gekennzeichnet, dass wenigstens einem Konturelement eine Güte zugeordnet wird, die von den Lagen der zur Ermittlung des Konturelements verwendeten Bildpunkte (26, 28, 28', 32, 33) abhängt.
10. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass zur Prädiktion der Lage einer Objektkontur in einem aktuellen Zyklus eine in dem vorhergehenden Zyklus bestimmte Objektgeschwindigkeit verwendet wird.
1 1. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass jedem Objekt ein Fangbereich zugeordnet wird, und dass eine Segmentkontur eines Segments nur mit einer Objektkontur eines Objekts verglichen wird, in deren Fangbereich wenigstens ein Bezugspunkt des jeweiligen Segments liegt.
12. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass zum Vergleich einer Segmentkontur mit einer Objektkontur für ein Segment und ein Objekt eine Zuordnungsgüte ermittelt wird, die ein Maß für die Übereinstimmung der jeweiligen Konturen bezüglich
Lage und/ oder Form ist, und dass ein Segment, das zwei Objekten zugeordnet werden kann, demjenigen Objekt zugeordnet wird, mit dem es den besten Wert der Zuordnungsgüte aufweist.
13. Verfahren nach Anspruch 12 und einem der Ansprüche 3 bis 9, dadurch gekennzeichnet, dass aus Paaren aus jeweils einem Konturelement der Segmentkontur und einem Konturelement der Objektkontur Unterschiede zwischen entsprechenden Daten der Konturelemente ermittelt werden, und dass die Zuordnungsgüte unter Verwendung der Unterschiede ermittelt wird.
14. Verfahren nach Anspruch 12 oder 13 und einem der Ansprüche 3 bis 9, dadurch gekennzeichnet, dass unter den Konturelementen der Segmentkontur und den Konturelementen der Objektkontur Paare aus jeweils einem Konturelement der Segmentkontur und einem Konturelement der Objektkontur bestimmt werden, die sich in einem Datum der Daten höchstens um ein vorgegebenes Maß unterscheiden, und dass zur Ermittlung der Zuordnungsgüte die Anzahl dieser Paare bestimmt wird.
15. Verfahren nach einem der Ansprüche 12 bis 14 und einem der Ansprüche 3 bis 9, dadurch gekennzeichnet, dass unter den Konturelementen der Segmentkontur und Konturelementen der Objektkontur Paare aus jeweils einem Konturelementen der Segmentkontur und einem Konturelement der Objektkontur bestimmt werden, deren Lagekoordinaten einen Abstand aufweisen, der kleiner als ein vorgegebener maximaler Paarabstand ist, und dass zur Ermittlung der Zuordnungsgüte die Anzahl dieser Paare bestimmt wird.
16. Verfahren nach einem der Ansprüche 12 bis 15 und einem der Ansprüche 3 bis 9, dadurch gekennzeichnet, dass zur Ermittlung der Zuordnungsgüte ein Konturelement der Segmentkontur und ein Konturelement der Objektkontur bestimmt werden, deren Lagekoordinaten' unter allen Paaren aus Konturelementen der Segmentkontur und Konturelementen der Objektkontur den kleinsten Abstand aufweisen.
17. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass zwei oder mehr Segmente einem Objekt nur dann zugeordnet werden, wenn ein Abstand der Segmente von dem Objekt jeweils kleiner als ein vorgegebener Maximalabstand ist.
18. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass bei der Zuordnung von Segmenten zu Objekten eine Verdeckungserkennung ausgeführt wird.
19. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass bei Erkennung von wenigstens zwei Segmenten, die demselben Objekt zugeordnet werden können, aber nicht beide demselben Objekt zugeordnet werden sollen, das Segment mit der besseren Zuordnungsgüte dem Objekt zugeordnet wird.
20. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass zur Ermittlung der Objektgeschwindigkeit ein Unterschied zwischen der Position und/ oder der Orientierung der aktuellen Objekt- kontur und der Position und/ oder Orientierung der Objektkontur in dem vorhergehenden Zyklus oder der prädizierten Objektkontur ermittelt wird.
21. Verfahren nach Anspruch 3 und einem der Ansprüche 4 bis 20, dadurch gekennzeichnet, dass bei der Bestimmung des Unterschieds zwischen der Position und/ oder Orientierung des Objekts in dem aktuellen Zyklus und der Position und/ oder Orientierung der Objektkontur in dem vorhergehenden Zyklus oder der prädizierten Objektkontur Konturele- mente (42) der aktuellen Objektkontur und Konturelemente (38) der
Objektkontur in dem vorhergehenden Zyklus bzw. der prädizierten Kontur einander zugeordnet werden, und dass die Änderung der Position und/ oder Orientierung der Objektkontur in dem vorhergehenden Zyklus zu der in dem aktuellen Zyklus aus denjenigen Konturelementen (42) der aktuellen Kontur er- mittelt wird, die Konturelementen (38) der Objektkontur in dem vorhergehenden Zyklus oder der prädizierten Objektkontur zugeordnet wurden.
22. Verfahren nach Anspruch 3 und einem der Ansprüche 4 bis 21, dadurch gekennzeichnet, dass zur Zuordnung von Konturelementen (38, 42) zweier Objektkonturen zueinander ausgehend von Konturelementen (44, 44') der Objektkonturen mit Lagekoordinaten, die jeweils einem Ende der Kontur entsprechen, für aufeinander folgende Konturelemente ent- lang einer der beiden Konturen jeweils ein entsprechendes, noch nicht zugeordnetes Konturelement der anderen Kontur gesucht wird, dessen Lagekoordinaten einen minimalen Abstand von den Lagekoordinaten des Konturelements der einen Kontur aufweisen.
23. Verfahren nach Anspruch 3 und einem der Ansprüche 4 bis 22, dadurch gekennzeichnet, dass für eine Objektkontur (38, 42) jeweils wenigstens ein Referenzelement (44, 44') bestimmt wird, dass zur Zuordnung von Objektelementen (38) der prädizierten Ob- jektkontur und Objektelementen (42) der aktuellen Objektkontur eine Korrekturverschiebung zwischen den Referenzelementen (44, 44') der prädizierten und der aktuellen Kontur ermittelt wird, und dass die Zuordnung von Konturelementen der prädizierten Kontur zu Konturelementen der aktuellen Kontur unter Verwendung der um die Korrekturverschiebung der Referenzelemente verschobenen
Konturelemente der prädizierten Kontur erfolgt.
24. Verfahren nach Anspruch 3 und einem der Ansprüche 4 bis 23, dadurch gekennzeichnet, dass zunächst Unterschiede zwischen den Lagekoordinaten einan- der zugeordneter Konturelemente (42; 38) der aktuellen Kontur und der Kontur in dem vorhergehenden Zyklus oder der prädizierten Kontur ermittelt werden, dass aus diesen Unterschieden eine Translation und/ oder eine Rotation des Objekts zwischen dem vorhergehenden Zyklus und dem aktuellen Zyklus ermittelt werden, und dass die Objektgeschwindigkeit auf der Basis dieser Translation und/ oder Rotation bestimmt wird.
25. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Objektgeschwindigkeiten einer Tiefpass-Filterung unterworfen werden.
26. Computerprogramm mit Programmcode-Mitteln, um die Verfahren nach einem der Ansprüche 1 bis 25 durchzuführen, wenn das Pro- gramm auf einem Computer (24) ausgeführt wird.
27. Computerprogrammprodukt mit Programmcode-Mitteln, die auf einem computerlesbaren Datenträger gespeichert sind, um das Verfahren nach einem der Ansprüche 1 bis 25 durchzuführen, wenn das Computerprogrammprodukt auf einem Computer (24) ausgeführt wird.
28. Vorrichtung zur Erkennung und Verfolgung von Objekten mit mindestens einem optoelektronischen Sensor (10), insbesondere ei- nem Laserscanner, dessen Sichtbereich den Erfassungsbereich (14) einschließt, und einer mit dem optoelektronischen Sensor (19) verbundenen Datenverarbeitungseinrichtung (24), die zur Durchführung des Verfahrens nach einem der Ansprüche 1 bis 25 ausgebildet ist.
PCT/EP2003/012903 2002-12-16 2003-11-18 Verfahren zur erkennung und verfolgung von objekten WO2004055548A1 (de)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2004559698A JP2006510097A (ja) 2002-12-16 2003-11-18 オブジェクトを認識しかつ追跡するための方法
AU2003288104A AU2003288104A1 (en) 2002-12-16 2003-11-18 Method for detecting and tracking objects
US10/539,661 US20060115113A1 (en) 2002-12-16 2003-11-18 Method for the recognition and tracking of objects
EP03779976A EP1554606A1 (de) 2002-12-16 2003-11-18 Verfahren zur erkennung und verfolgung von objekten

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE10258794A DE10258794A1 (de) 2002-12-16 2002-12-16 Verfahren zur Erkennung und Verfolgung von Objekten
DE10258794.9 2002-12-16

Publications (1)

Publication Number Publication Date
WO2004055548A1 true WO2004055548A1 (de) 2004-07-01

Family

ID=32336382

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2003/012903 WO2004055548A1 (de) 2002-12-16 2003-11-18 Verfahren zur erkennung und verfolgung von objekten

Country Status (6)

Country Link
US (1) US20060115113A1 (de)
EP (1) EP1554606A1 (de)
JP (1) JP2006510097A (de)
AU (1) AU2003288104A1 (de)
DE (1) DE10258794A1 (de)
WO (1) WO2004055548A1 (de)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011191227A (ja) * 2010-03-16 2011-09-29 Daihatsu Motor Co Ltd 物体認識装置

Families Citing this family (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102004018288A1 (de) * 2004-04-15 2005-11-03 Conti Temic Microelectronic Gmbh Verfahren und Vorrichtung zur näherungsweisen Indentifizierung eines Objekts
DE102005020599B4 (de) * 2005-05-03 2015-05-21 Robert Bosch Gmbh Verfahren zur Bestimmung mindestens einer Bewegungskenngröße eines mit Rückhaltemitteln ausgestatteten Fahrzeugs und Vorrichtung zur Durchführung des Verfahrens
DE102005024716B4 (de) * 2005-05-30 2023-09-21 Robert Bosch Gmbh Verfahren und Vorrichtung zur Erkennung und Klassifizierung von Objekten
DE102005039527A1 (de) * 2005-08-18 2007-02-22 Daimlerchrysler Ag Verfahren zur automatischen Bestimmung des Ausrichtungswinkels von mindestens einem Infrarotsensor sowie Fußgängerdetektionssystem mit automatischer Kalibrierfunktion für ein Fahrzeug
USRE46672E1 (en) 2006-07-13 2018-01-16 Velodyne Lidar, Inc. High definition LiDAR system
DE102006035207B4 (de) 2006-07-29 2022-06-09 Volkswagen Ag Fahrzeug-Objekterfassungsvorrichtung
JP4802112B2 (ja) * 2007-02-08 2011-10-26 株式会社東芝 トラッキング方法及びトラッキング装置
JP5080333B2 (ja) * 2007-04-06 2012-11-21 本田技研工業株式会社 自律移動体のための物体認識装置
DE202007016156U1 (de) † 2007-11-16 2008-03-20 Noell Mobile Systems Gmbh Portalhubstapler mit automatischer Lenkung
DE102009045286A1 (de) 2009-10-02 2011-04-21 Robert Bosch Gmbh Verfahren zur Abbildung des Umfelds eines Fahrzeugs
DE102010013815A1 (de) 2010-04-03 2011-10-06 Volkswagen Aktiengesellschaft Verfahren und Vorrichtung zur Erkennung und Verfolgung von Objekten im Umfeld eines Kraftfahrzeugs
JP5267592B2 (ja) 2010-04-09 2013-08-21 株式会社デンソー 物体認識装置
US8260539B2 (en) 2010-05-12 2012-09-04 GM Global Technology Operations LLC Object and vehicle detection and tracking using 3-D laser rangefinder
EP2428862B1 (de) * 2010-09-13 2013-01-09 Sick Ag Vorrichtung und Verfahren zur Sicherheitssteuerung eines Fahrzeuges
JP5503578B2 (ja) * 2011-03-10 2014-05-28 パナソニック株式会社 物体検出装置及び物体検出方法
JP6009775B2 (ja) * 2012-02-13 2016-10-19 株式会社デンソー レーダ装置
US9250324B2 (en) 2013-05-23 2016-02-02 GM Global Technology Operations LLC Probabilistic target selection and threat assessment method and application to intersection collision alert system
US8825260B1 (en) * 2013-07-23 2014-09-02 Google Inc. Object and ground segmentation from a sparse one-dimensional range data
CA2941493C (en) * 2014-03-03 2023-03-07 Vsk Electronics Nv Intrusion detection with directional sensing
US10083356B2 (en) * 2014-05-21 2018-09-25 Tangible Play, Inc. Virtualization of tangible interface objects
PT2985629T (pt) * 2014-08-14 2021-11-26 Siemens Rail Automation S A U Sistema e método para detetar e localizar o centro das balizas instaladas ao longo dos percursos dos veículos guiados
CN105628951B (zh) 2015-12-31 2019-11-19 北京迈格威科技有限公司 用于测量对象的速度的方法和装置
US10627490B2 (en) 2016-01-31 2020-04-21 Velodyne Lidar, Inc. Multiple pulse, LIDAR based 3-D imaging
WO2017164989A1 (en) 2016-03-19 2017-09-28 Velodyne Lidar, Inc. Integrated illumination and detection for lidar based 3-d imaging
US10393877B2 (en) 2016-06-01 2019-08-27 Velodyne Lidar, Inc. Multiple pixel scanning LIDAR
JP6729287B2 (ja) 2016-10-20 2020-07-22 株式会社デンソー 位置認識装置
CN107976688A (zh) * 2016-10-25 2018-05-01 菜鸟智能物流控股有限公司 一种障碍物的检测方法及相关装置
US10386465B2 (en) 2017-03-31 2019-08-20 Velodyne Lidar, Inc. Integrated LIDAR illumination power control
WO2018208843A1 (en) 2017-05-08 2018-11-15 Velodyne Lidar, Inc. Lidar data acquisition and control
CN108008409B (zh) 2017-11-28 2019-12-10 深圳市杉川机器人有限公司 区域轮廓绘制方法及装置
US11294041B2 (en) 2017-12-08 2022-04-05 Velodyne Lidar Usa, Inc. Systems and methods for improving detection of a return signal in a light ranging and detection system
EP3579020B1 (de) * 2018-06-05 2021-03-31 Elmos Semiconductor SE Verfahren zur erkennung eines hindernisses mit hilfe von reflektierten ultraschallwellen
US11971507B2 (en) 2018-08-24 2024-04-30 Velodyne Lidar Usa, Inc. Systems and methods for mitigating optical crosstalk in a light ranging and detection system
US10712434B2 (en) 2018-09-18 2020-07-14 Velodyne Lidar, Inc. Multi-channel LIDAR illumination driver
US11082010B2 (en) 2018-11-06 2021-08-03 Velodyne Lidar Usa, Inc. Systems and methods for TIA base current detection and compensation
US11885958B2 (en) 2019-01-07 2024-01-30 Velodyne Lidar Usa, Inc. Systems and methods for a dual axis resonant scanning mirror
DE102019209481A1 (de) 2019-06-28 2020-12-31 Volkswagen Aktiengesellschaft Verfahren, Computerprogramm und Vorrichtung zum Bestimmen eines Fahrzeugabstands für einen Beobachtungszeitraum
US10613203B1 (en) 2019-07-01 2020-04-07 Velodyne Lidar, Inc. Interference mitigation for light detection and ranging
USD907032S1 (en) 2019-07-07 2021-01-05 Tangible Play, Inc. Virtualization device
US20210006730A1 (en) 2019-07-07 2021-01-07 Tangible Play, Inc. Computing device
US11556000B1 (en) 2019-08-22 2023-01-17 Red Creamery Llc Distally-actuated scanning mirror
JP7383451B2 (ja) 2019-10-28 2023-11-20 ロベルト・ボッシュ・ゲゼルシャフト・ミト・ベシュレンクテル・ハフツング 車両追跡装置
DE102019131333A1 (de) * 2019-11-20 2021-05-20 Valeo Schalter Und Sensoren Gmbh Verfahren zum Erfassen von Objekten in einem Überwachungsbereich einer Detektionsvorrichtung und Detektionsvorrichtung
US11614319B2 (en) * 2020-06-26 2023-03-28 Faro Technologies, Inc. User interface for three-dimensional measurement device
JP2023034314A (ja) * 2021-08-30 2023-03-13 京セラ株式会社 電子機器、電子機器の制御方法、及びプログラム

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2690262B1 (fr) * 1992-04-21 1996-12-20 Thomson Csf Procede de pistage a partir d'images d'elements deformables et/ou aux contours fortement bruites.
KR100249029B1 (ko) * 1996-06-12 2000-03-15 전주범 영상신호의 윤곽선 부호화 방법 및 그 장치
JP3639190B2 (ja) * 2000-07-10 2005-04-20 株式会社デンソー 物体認識装置、記録媒体
DE10123365A1 (de) * 2001-05-14 2002-11-28 Infineon Technologies Ag Verfahren und Vorrichtung zum Ermitteln von Bewegung in mindestens zwei zeitlich aufeinander folgenden digitalen Bildern, Computerlesbares Speichermedium und Computerprogramm-Element

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
DIETMAYER K C J ET AL: "MODEL BASED OBJECT CLASSIFICATION AND OBJECT TRACKING IN TRAFFIC SCENES FROM RANGE IMAGES", PROCEEDINGS OF THE INTELLIGENT VEHICLES SYMPOSIUM, XX, XX, 2001, pages 25 - 30, XP009023302 *
EWALD A ET AL: "Laser scanners for obstacle detection in automotive applications", INTELLIGENT VEHICLES SYMPOSIUM, 2000. IV 2000. PROCEEDINGS OF THE IEEE DEARBORN, MI, USA 3-5 OCT. 2000, PISCATAWAY, NJ, USA,IEEE, US, 3 October 2000 (2000-10-03), pages 682 - 687, XP010529017, ISBN: 0-7803-6363-9 *
KIRCHNER A ET AL: "DER LASERSCANNER ALS INTELLIGENTER KFZ-SENSOR", AUTOMATISIERUNGSTECHNISCHE PRAXIS - ATP, OLDENBOURG VERLAG. MUNCHEN, DE, vol. 40, no. 8, 1998, pages 26 - 32,34, XP001156940, ISSN: 0178-2320 *
STRELLER D ET AL: "OBJECT TRACKING IN TRAFFIC SCENES WITH MULTI-HYPOTHESIS APPROACH USING LASER RANGE IMAGES", PROCEEDINGS OF THE WORLD CONGRESS ON INTELLIGENT TRANSPORT SYSTEMS, XX, XX, no. 8, 30 September 2001 (2001-09-30), pages 1 - 8, XP001156926 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011191227A (ja) * 2010-03-16 2011-09-29 Daihatsu Motor Co Ltd 物体認識装置

Also Published As

Publication number Publication date
US20060115113A1 (en) 2006-06-01
EP1554606A1 (de) 2005-07-20
AU2003288104A1 (en) 2004-07-09
DE10258794A1 (de) 2004-06-24
JP2006510097A (ja) 2006-03-23

Similar Documents

Publication Publication Date Title
WO2004055548A1 (de) Verfahren zur erkennung und verfolgung von objekten
DE10115080B4 (de) Objekterkennungssystem
EP1267178B1 (de) Verfahren zur Verarbeitung eines tiefenaufgelösten Bildes
DE602004003811T2 (de) Objektdetektionssystem und verfahren zum erkennen eines objekts
EP1298454B1 (de) Verfahren zur Erkennung und Verfolgung von Objekten
DE102014209137B4 (de) Verfahren und Vorrichtung zur Kalibrierung eines Kamerasystems eines Kraftfahrzeugs
EP1475764B1 (de) Verfahren und Vorrichtung zur Ermittlung der Wahrscheinlichkeit für eine Kollision eines Fahrzeugs mit einem Gegenstand
EP1531343B1 (de) Verfahren zur Verfolgung von Objekten
EP1197935B1 (de) Vorrichtung und Verfahren zur Erfassung von Objekten
DE10029866A1 (de) Objekterkennungssystem
EP1995692A2 (de) Verfahren zur Erkennung und Verfolgung von Objekten
EP1531342B1 (de) Verfahren zur Erkennung von Fussgängern
DE10252323A1 (de) Verfahren zur Bestimmung einer Eigenbewegung eines Fahrzeuges
EP1306690B1 (de) Verfahren zur Erkennung und Verfolgung von Objekten
WO2013178407A1 (de) Verfahren und vorrichtung zur verarbeitung stereoskopischer daten
EP1419402B1 (de) Verfahren zur erkennung und verfolgung von objekten
EP1298012B1 (de) Verfahren zur Erkennung und Verfolgung von Objekten
DE10148062A1 (de) Verfahren zur Verarbeitung eines tiefenaufgelösten Bildes
WO2021170321A1 (de) Verfahren zum detektieren bewegter objekte in einer fahrzeugumgebung und kraftfahrzeug
EP1291674A2 (de) Verfahren zur Erkennung und Verfolgung von Objekten
DE102018121158A1 (de) Verfahren zum Erfassen von Bodenabtastpunkten und Fahrerunterstützungssystem, das dafür konfiguriert ist, ein derartiges Verfahren auszuführen
EP3663800B1 (de) Verfahren zur objekterfassung mit einer 3d-kamera
DE10148063A1 (de) Verfahren zur Erkennung und Verfolgung von Objekten
WO2022106447A1 (de) Aktives sensorsystem und objekterkennung
DE10148068A1 (de) Verfahren zur Erkennung und Verfolgung von Objekten

Legal Events

Date Code Title Description
AK Designated states

Kind code of ref document: A1

Designated state(s): AE AG AL AM AT AU AZ BA BB BG BR BW BY BZ CA CH CN CO CR CU CZ DE DK DM DZ EC EE EG ES FI GB GD GE GH GM HR HU ID IL IN IS JP KE KG KP KR KZ LC LK LR LS LT LU LV MA MD MG MK MN MW MX MZ NI NO NZ OM PG PH PL PT RO RU SC SD SE SG SK SL SY TJ TM TN TR TT TZ UA UG US UZ VC VN YU ZA ZM ZW

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): BW GH GM KE LS MW MZ SD SL SZ TZ UG ZM ZW AM AZ BY KG KZ MD RU TJ TM AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IT LU MC NL PT RO SE SI SK TR BF BJ CF CG CI CM GA GN GQ GW ML MR NE SN TD TG

121 Ep: the epo has been informed by wipo that ep was designated in this application
WWE Wipo information: entry into national phase

Ref document number: 2003779976

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2006115113

Country of ref document: US

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 10539661

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 2004559698

Country of ref document: JP

WWP Wipo information: published in national office

Ref document number: 2003779976

Country of ref document: EP

WWP Wipo information: published in national office

Ref document number: 10539661

Country of ref document: US