WO2014009406A1 - VERFAHREN UND VORRICHTUNG ZUM BERECHNEN EINER VERÄNDERUNG EINES ABBILDUNGSMAßSTABS EINES OBJEKTS - Google Patents

VERFAHREN UND VORRICHTUNG ZUM BERECHNEN EINER VERÄNDERUNG EINES ABBILDUNGSMAßSTABS EINES OBJEKTS Download PDF

Info

Publication number
WO2014009406A1
WO2014009406A1 PCT/EP2013/064559 EP2013064559W WO2014009406A1 WO 2014009406 A1 WO2014009406 A1 WO 2014009406A1 EP 2013064559 W EP2013064559 W EP 2013064559W WO 2014009406 A1 WO2014009406 A1 WO 2014009406A1
Authority
WO
WIPO (PCT)
Prior art keywords
model
image
coordinates
scaling
change
Prior art date
Application number
PCT/EP2013/064559
Other languages
English (en)
French (fr)
Inventor
Christos CONOMIS
Original Assignee
Robert Bosch Gmbh
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch Gmbh filed Critical Robert Bosch Gmbh
Priority to US14/414,378 priority Critical patent/US9384576B2/en
Priority to CN201380036749.5A priority patent/CN104471436B/zh
Publication of WO2014009406A1 publication Critical patent/WO2014009406A1/de

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S11/00—Systems for determining distance or velocity not using reflection or reradiation
    • G01S11/12—Systems for determining distance or velocity not using reflection or reradiation using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle

Definitions

  • the present invention relates to a method for calculating a change in a magnification of an object, to a corresponding device and to a corresponding computer program product.
  • a distance to a preceding vehicle can be detected in a monocular camera system via a frame that is ajar to a silhouette of the vehicle.
  • EP 1 806 595 B1 describes a method for estimating the distance of an object using an image sequence recorded by means of a monocular camera.
  • the present invention proposes a method for calculating a change of a magnification of an object, furthermore a device which uses this method and finally a corresponding computer program product according to the main claims.
  • Advantageous embodiments emerge from the respective subclaims and the following description.
  • a calculation of the distance may be based on a combination of a plurality of sub-methods, each on based on different algorithms. For example, results of a fast executable algorithm can be combined with results of a slowly executable algorithm.
  • the fast algorithm may have results that have a larger spread within a wider error band than the slow algorithm, which may have results that have a smaller spread within a narrower one
  • the distance estimation method can respond quickly to sudden changes. Due to the slow algorithm, the distance estimation method can provide a smoothed value with a steady change in distance.
  • the present invention provides a method for calculating a
  • model coordinates of the model represent a selection of positions of detected object features of the object in a previous image
  • the steps of the method may be performed by a device disposed in a vehicle.
  • the method can be carried out while driving the vehicle.
  • the object may be, for example, a preceding vehicle.
  • the vehicle may have a camera. Under a magnification can a
  • An image coordinate may be an orthogonal coordinate pair of a pixel of the image in an image coordinate system of the image. It can be a
  • a characteristic image area may be a group of pixels or a single pixel of the image.
  • the characteristic image area may have a predetermined image characteristic.
  • the characteristic image area may have a transition from a first predetermined brightness value of a first pixel to a second predetermined brightness value of an adjacent second pixel.
  • the characteristic image area can depict a characteristic feature of the object.
  • the image area can image a body edge or body corner of the object as an object feature.
  • the characteristic image area may also map a predetermined pattern.
  • Image area is detected using an algorithm.
  • the current picture and the preceding picture may be pictures of a picture sequence of the same camera.
  • the previous image can also be behind several images.
  • a model can be understood as a point cloud from individual model points of relevant characteristic image areas of the object.
  • the model may have a model coordinate system.
  • the model points can with
  • Model coordinates are described and have a certain relation to each other. Scaling can be understood to mean enlargement or reduction. The model can also be moved and / or rotated. Scaling can also be a distortion, such as a
  • points of the model can do so be scaled or distorted until the model areas or model points coincide with corresponding image areas or picture elements of the image.
  • the areas or points of the model can retain their original proportions.
  • scaling model areas can be without corresponding
  • model scaling factor may be a percentage change of the scaled model to the model.
  • An image scaling factor may be a factor by which an image of the object has shrunk or grown from image to image. To determine the image scaling factor, at least two points can be captured per image and distances between the points can be detected. The image scaling factor results from a change in the distances between the images.
  • Image areas of the previous image can be used to at least the
  • the image coordinates may be related to an image coordinate origin
  • the model coordinates may be related to a model coordinate origin.
  • the object may be at least partially mapped in the selection.
  • the model can be derived from the past captured image.
  • the model can be derived from another image captured in the past. Parts of the image coordinates and the characteristic ones can be omitted
  • Image areas are reduced to reduce needed computing power.
  • the selection of the characteristic image areas can be reduced to particularly well-detectable areas in order to achieve a fast
  • model coordinate origin may be located at a corner of a virtual model boundary, such as negative
  • An image coordinate origin can be
  • Coordinate system can be the model within the current image or a subsequent image without affecting the model coordinates. Only the image coordinate of the model coordinate origin or a single point of the model is changed.
  • Image-independent object description can be achieved in this way.
  • the selection may have a predefined initial dimension. For example, when creating the model, a predefined frame may be projected over the image, which may be square or rectangular, for example. Then, to create the model, only characteristic points within the frame can be considered. This allows the
  • Modeling can be accelerated.
  • the model coordinates can be normalized, with a minimum value of the model coordinates being zero, and a maximum value of the model coordinates being one. This allows the coordinates to describe the areas and points of the model as a percentage relative to the model.
  • the frame may have the coordinates zero and one.
  • a dimension of the model and the dimension of the scaled model may be detected and the model scaling factor may be determined using a change in dimension.
  • a dimension may be understood to mean a width of the model and / or a height of the model and / or a diagonal of the model. According to the change of the dimension can be concluded that the model scaling factor.
  • the dimension can be detected relative to the frame of the model. For this, the frame of the model and the frame of the scaled model can be measured. For example, an edge length of the frame may be detected as the number of pixels of the shaded image.
  • the model scaling factor can be weighted with a first weighting factor.
  • the image scaling factor can be weighted with a second weighting factor. The first weighting factor and the second
  • Weighting factor can be added to a whole.
  • the first weighting factor may be x, while the second weighting factor is 1 -x.
  • the model can also be shifted by a translation vector in the step of scaling and alternatively or additionally rotated about a rotation vector.
  • a translation vector may cause a shift of the model relative to the image.
  • a rotation vector may cause the model to rotate relative to the image.
  • the model or scaled model can be provided.
  • the model or scaled model can be scaled to obtain another scaled model. In this case, at least a portion of the model coordinates can be adapted to the other image coordinates, wherein the proportions
  • the further scaled model may differ from the model or scaled model (its origin) by another model scaling factor.
  • another image scaling factor may be used using the other image coordinates and the original image
  • a further change in the magnification may be combined using the further model scaling factor and the further image scaling factor.
  • the model can be a damping of the
  • a temporally subsequent image maps the characteristic object features of at least one object at a later time.
  • the scaled model is provided and using the already calculated ones
  • Scale magnification scales to produce an estimation model.
  • the change can be used at a predetermined rate become.
  • the estimation model is scaled using a correction factor to match the estimation model to the image coordinates of the temporal successive image detected in the step of the recognition.
  • the model scaling factor is determined using the calculated change and the correction factor.
  • An estimation model can be extrapolated from the scaled model. By estimating the likely change of the model based on the previous change, a processing time can be reduced since with a high probability the model coordinates of the characteristic areas in the estimation model are already arranged in a tolerance range around the image coordinates of the characteristic areas of the subsequent image.
  • the provision of the estimation model can already parallel to the recognition of
  • the model coordinates are adjusted only by the correction value.
  • the first weighting factor can be determined based on the correction factor. If the correction value is small, the weighting may be in favor of the model scaling factor, thereby smoothing the calculated magnification. If the correction value is large, then the
  • the present invention further provides an apparatus which is adapted to the steps of the inventive method in corresponding
  • a device in the form of a device, the object underlying the invention can be solved quickly and efficiently.
  • a device can be understood as meaning an electrical device which processes sensor signals and outputs control and / or data signals in dependence thereon.
  • the device may have an interface, which may be formed in hardware and / or software.
  • the interfaces can be part of a so-called system ASIC, for example, which contains a wide variety of functions of the device.
  • system ASIC for example, which contains a wide variety of functions of the device.
  • the interfaces have their own, integrated Circuits are or at least partially consist of discrete components.
  • the interfaces may be software modules that are present, for example, on a microcontroller in addition to other software modules.
  • An advantage is also a computer program product with program code, which on a machine-readable carrier such as a semiconductor memory, a
  • Hard disk space or an optical storage can be stored and used to carry out the method according to one of the embodiments described above, when the program product is executed on a computer or a device.
  • 1 is a flowchart of a method for calculating a
  • FIG. 2 is a block diagram of an apparatus for calculating a change in magnification of an object according to FIG.
  • FIG. 3 is an illustration of a model scaled to a scaled model in accordance with one embodiment of the present invention
  • FIG. 4 shows a diagram of a time profile of a dimension of an object with a constant change of a scaling factor
  • FIG. 5 is an illustration showing a time history of a change in magnification in accordance with an embodiment of the present invention.
  • FIG. 6 shows a representation of a vehicle with a device for calculating a change in the magnification of an object according to an exemplary embodiment of the present invention.
  • FIG. 1 shows a flow chart of a method 100 for calculating a change of a magnification of an object according to a
  • the object may be an object generated by an environment detection device,
  • a camera of a vehicle is detected.
  • the object may be a preceding vehicle.
  • Method 100 includes a step of detecting 102, a step of
  • step 102 of the recognition image coordinates become more characteristic
  • Image areas detected in a current image depict object features of at least the one object in the current image.
  • the current image may be a frame of an image sequence, for example from a camera.
  • a model is provided in step 104 of providing. Model coordinates of the model represent a selection of positions of detected object features of the object in a previous image.
  • the model is scaled to obtain a scaled model.
  • At least a portion of the model coordinates is adapted to the image coordinates detected in the step of recognizing.
  • the at least one portion of the model coordinates is related to the recognized image coordinates.
  • the model and the scaled model differ by a model scaling factor.
  • FIG. 1 shows a flowchart of a method 100 for calculating the scaling change of an object between images.
  • the scaling change of the object width between two images is a measure of the relative velocity of the object with respect to the velocity of a
  • Image processing algorithm that can be used to calculate the scaling change between images with very high accuracy and little effort.
  • the scaling change can be calculated using correspondences between images. Under the assumption of a movement model then the
  • Scaling change can be determined directly from the estimated parameters.
  • the accuracy of the scaling change depends on the accuracy of the calculated correspondences. Small errors in the calculation of correspondence lead to a significant error in the
  • Scaling estimate Correspondences can be formed over several images and thus several scaling values for the final estimation can be used, whereby errors can be averaged out. The should
  • FIG. 2 shows a block diagram of a device 200 for calculating a change in the magnification of an object according to a
  • the device 200 has a
  • Means for detecting 202 means for providing 204, means for scaling 206, means for determining 208, and means for combining 210.
  • the means 202 for detecting has an interface for receiving image data. Via the interface, means 202 for detecting may receive images of, for example, a video signal from a camera.
  • the means 202 for recognition is to designed to recognize image coordinates of characteristic image areas in a current image. The characteristic image areas form
  • the means 202 for detection is connected to the means 206 for scaling and the means 208 for determining to transmit the image coordinates.
  • the provisioning means 204 is also connected to the means 202 for detection.
  • the provisioning means 204 is configured to provide a model. Model coordinates of the model represent a selection of positions of detected object features of the object in a previous image. The image coordinates of the previous image may be received by the means 202 for recognition.
  • the provisioning means 204 is connected to the scaling means 206 for communicating the model.
  • Scaler 206 is configured to scale the model to obtain a scaled model. When scaling, at least a portion of the model coordinates are adjusted to the image coordinates. Model coordinates to which no image coordinate can be assigned accordingly can be ignored if the model can be scaled to the scaled model in unambiguously finalized image coordinates.
  • the model is one from the scaled model
  • Model scaling factor different The means 206 for scaling is connected to the means 210 for combining to combine the
  • the scaling device 206 may communicate the scaled model and the model scaling factor to the means 204 for providing.
  • the device 208 for determining is designed to determine an image scaling factor. For this, the image coordinates of at least two recognized characteristic image areas and image coordinates of the two image areas recognized in the preceding image are used.
  • the means 208 for determining is connected to the means 210 for combining to convey the image scaling factor.
  • the means 210 for combining is adapted to the
  • the means 210 for combining has an interface for providing the change.
  • the device 210 may also transmit the change to the device 204 for
  • model coordinates of the scaled model can be scaled to fit the subsequent image coordinates.
  • Estimated model are generated to obtain expected positions of the characteristic image areas in the subsequent image.
  • the estimation model may then in turn be scaled in the scaling device 206 with a correction factor to match the expected positions to actual positions of the characteristic image regions and to generate another scaled model.
  • the model scaling factor may be determined using the previous change and the correction value.
  • the image scaling factor of the subsequent image may be determined in means 208 for determining, as in the current image, using image coordinates of the current image and the subsequent image.
  • FIG. 3 shows a representation of a model 300, which according to FIG.
  • Embodiment of the present invention is scaled to a scaled model.
  • the model 300 a coordinate point 302, a camera image 304, an object 306, a scaled model 308, and a
  • Pixel coordinate point 310 is shown.
  • the model 300 points
  • model coordinate origin In a left upper corner of the area boundaries, a model coordinate origin is arranged. In the model coordinate origin, model coordinates of the model 300 have a horizontal value of 0 and a vertical value of 0. In a lower right corner, the model coordinates have a horizontal value of 1 and a vertical value of 1. Thus, the range limits are normalized to one. Within the range limits, model coordinate 302 is exemplified for a plurality of model coordinate points.
  • Model coordinate 302 represents a position of a characteristic
  • Model coordinate system is two-dimensional and orthogonal rectilinear. In the point of the model coordinate 302, therefore, two auxiliary lines intersect vertically, with the aid of which the model coordinate values of the model coordinate 302 at the area boundaries can be determined more easily.
  • a section of the camera image 304 is shown.
  • the camera image 304 shows a section of the object 306 in the field of view of the camera. In this embodiment, a section of a commercial vehicle 306 is shown.
  • the camera image 304 is overlaid with the scaled model 308.
  • the scaled model 308 is similar to the model 300.
  • the scaled model 308 is larger than the model 300 by a model scaling factor because the object 306 has approximated to the camera since the generation of the model 300 based on a past camera image of the object 306 and is thus imaged larger in the camera image 304 , If the object 306 had moved away from the camera during the period between the images, the object 306 would be smaller in the camera image 304, and thus the scaled model 308 would be smaller than the model 300 by a model scaling factor.
  • the pixel 310 is at a position of a characteristic Image area of the object 306 arranged.
  • the model coordinate 302 describes a model relative position of the same characteristic image area in the past camera image.
  • the model 300 is scaled and / or shifted, or distorted and placed over the image 304.
  • a part of the model coordinates can be disregarded, for example, if the associated image area is hidden, or, for example, because the
  • Model coordinate describes an image area of the past camera image in which a characteristic image area was erroneously detected.
  • a model scaling factor may be determined by subtracting an image coordinate value of the left top corner of the scaled model 308 from a bottom right corner image coordinate value of the scaled model 308 to obtain a scaled model dimension parameter 308.
  • the model scaling factor can be determined from at least two chronologically consecutive dimensional parameters. By using several dimension parameters, a temporal progression of the model scaling factor can be smoothed.
  • the object 306 between the images can only perform a movement limited by physical laws. Therefore, the image of the object 306 may have only a limited change in successive camera images.
  • an approximately constant Model scaling factor within a limited time period for example, three consecutive camera images, a period of time required to scale the model 300 may be shortened.
  • the scaled model 308 may, using the model scaling factor or a calculated
  • the estimation model can be generated before the following camera image is examined for characteristic image areas.
  • the estimation model represents expected positions of the
  • Positions can be compared with the actual image coordinates of the following image to obtain a correction factor.
  • the correction factor describes the remaining necessary scaling of the estimation model in order to adapt the estimation model to the actual image coordinates.
  • the actual model scaling factor may then be from the past
  • the approach presented here describes an image processing algorithm that calculates the scaling change of an object 306 between images 304.
  • This image processing algorithm can be used for calculating the relative
  • Speed of the object 306 and its TTC are used to a camera's viewpoint.
  • the decisive factor is that the measurement of the object width is done as a primary measurement.
  • the method is initialized by, for a start image of the object 306, an object box based on the respective object classifier in the region of the object
  • Object 306 is defined. Within this box, feature points 310 are extracted. The feature points 310 are then used with the
  • Normalized object width so that in the end only points 302 with coordinates between 0 and 1 exist.
  • the normalized object box 300 is then stored as an object model 300.
  • feature points 310 are first extracted and then correspondence to corresponding previous feature points 310 using their descriptors.
  • the motion parameters between the normalized coordinates 302 of the object model 300 and the coordinates 310 in the current image 304 are estimated. Using the estimated
  • Movement parameters are then the points 0,0 and 1, 1 projected into the current image 304, and by simple subtraction, the object width is finally determined.
  • Width dot ( ⁇ , V) in picture - dot (0,0) in picture
  • the formula describes an example for calculating the object width from the backprojection in the image 304 of the normalized coordinates 302.
  • the object width is always measured anew in each frame 308 and in one
  • both the width and the height of the object 306 can be calculated separately.
  • Scaling change of the image coordinates 310 calculated with a linear approach.
  • the motion parameters of the pixels corresponding to the image coordinates 310 are used. This results in the
  • the plot of the object width can be calculated using the following formula, where B is the object width in the current image 304 and S is the constant scaling.
  • B l BS '
  • the formula describes a calculation of the object width with a constant scaling change.
  • the scaling S B can be calculated from the N object width values with the following formulas.
  • the formula describes a calculation of the scaling change with respect to the first object width.
  • the formula describes a calculation of the scaling change related to the adjacent object widths.
  • the final calculation of the scaling change is based on the assumption that the scaling change is constant for a limited number of values.
  • the scaling change S B can be calculated from the widths.
  • the final scaling change is then calculated as weighted averaging from the direct scaling S s and from the scaling from the object width S B.
  • the formula describes a calculation for the final scaling change, where w is the weight of the direct measurement on the final result.
  • FIG. 4 shows a diagram 400 of a time profile 402 of a dimension of an object with a constant change of a scaling factor.
  • a time is plotted, on the ordinate an object width is plotted.
  • a period of four time units is shown, wherein the object was detected at the beginning of the period.
  • a model of the object has been created.
  • the model has an object width of 100 percent.
  • the object moves away and is therefore displayed smaller.
  • the model is adapted to the image and is steadily smaller.
  • the model is far away and the model has only about three percent of the original object width.
  • the model has been scaled over time with a constant change because the object has moved away at constant velocity. This results in a
  • FIG. 4 shows a course of the object width with a constant scaling change, on which a scale estimation is possible.
  • FIG. 5 shows a representation of a time profile 500 of a change of a magnification in accordance with an exemplary embodiment of the present invention.
  • the course 500 is plotted in a diagram.
  • a further course 502 is entered.
  • On the abscissa of the diagram, a time is plotted, on the ordinate, the magnification or the scale is plotted.
  • the curve 500 begins at a time zero with a magnification one.
  • the further course 502 represents a change of the magnification without the application of the approach presented here.
  • the further course 502 also begins at time zero with the magnification one.
  • Both gradients 500, 502 are based on identical image data of a camera.
  • the course 500 results from a
  • a method of calculating a change in magnification of an object according to an embodiment of the present invention is a result of a less efficient calculation method.
  • Both gradients 500, 502 initially show a slight increase to a magnification of 1.0025 up to a point in time 250.
  • the increase in the further course 502 is superimposed by strong noise.
  • the noise is significantly weaker in the course 500 than in the further course 502.
  • both courses 500, 502 have a further increase up to a magnification of 1.022.
  • the further increase of both courses is almost simultaneous, but the course 500 has a lower noise than the further course 502.
  • the course 502 describes an original scaling change from the correspondences.
  • the course 500 describes a postfiltering of the calculated scaling with the aid of several Object widths. In the filtered signal, the noise is significantly suppressed without introducing a latency.
  • FIG. 6 shows an illustration of a vehicle 600 having a device 200 for calculating a change in the magnification of an object 306 according to an embodiment of the present invention.
  • Device 200 may be, for example, the device described with reference to FIG. 2.
  • the vehicle 600 has a
  • the surroundings detection device 602 is a camera 602 which is designed to detect at least one section 604 of a field of vision of a driver of the vehicle 600 and to image it from camera images 304 in an image sequence.
  • Camera 602 is connected to device 200. Within the captured section 604 is the object 306.
  • the object 306 is a further vehicle 306 of another road user driving in front of the vehicle 600.
  • the further vehicle 306 is displayed in the camera image 304 the larger, the closer the further vehicle 306 is to the vehicle 600. If a distance between the vehicle 600 and the further vehicle 306 from a previous recording time to a later
  • the further vehicle 306 is imaged with a modified magnification in the camera image 304.
  • the change is calculated according to the approach presented here. In this case, at least a portion of the camera image 304, the at least one section of the vehicle
  • Characteristic image areas depict characteristic features of the vehicle 306.
  • the characteristic image areas have image coordinates.
  • model coordinates of a model are scaled and / or translated and / or rotated and / or distorted until the scaled ones
  • Model coordinates correspond to at least a portion of the image coordinates.
  • the Model represents locations of characteristic features of the vehicle 306 in an earlier camera image 304 at a previous time.
  • the first algorithm results in a model scaling factor.
  • the first algorithm is robust and can continue to operate stably in the event of an image disturbance, such as a brief obstruction of the vehicle 306.
  • the image coordinates are additionally using a second algorithm
  • Image coordinates detected wherein the image coordinates are each associated with characteristic image areas of the same characteristic features. Since the second algorithm is based on distance calculations, the change from image to image can be determined almost without delay. To that

Abstract

Die Erfindung betrifft ein Verfahren (100) zum Berechnen einer Veränderung eines Abbildungsmaßstabs eines Objekts, wobei das Verfahren (100) einen Schritt des Erkennens (102), einen Schritt des Bereitstellens (104), einen Schritt des Skalierens (106), einen Schritt des Ermittelns (108) und einen Schritt des Kombinierens (110) umfasst. Im Schritt des Erkennens (102) werden Bildkoordinaten charakteristischer Bildbereiche in einem aktuellen Bild erkannt. Die charakteristischen Bildbereiche bilden Objektmerkmale zumindest des einen Objekts in dem aktuellen Bild ab. Im Schritt des Bereitstellens (104) wird ein Modell bereitgestellt, Modellkoordinaten des Modells repräsentieren eine Auswahl von Positionen erkannter Objektmerkmale des Objekts in einem vorausgehenden Bild. Im Schritt des Skalierens (106) wird das Modellskaliert, um ein skaliertes Modell zu erhalten. Zumindest ein Anteil der Modellkoordinaten wird mit denerkannten Bildkoordinaten in Relation gebracht. Das Modell und das skalierte Modell unterscheiden sich um einen Modellskalierungsfaktor. Im Schritt des Ermittelns (108) wird ein Bildskalierungsfaktor unter Verwendung der Bildkoordinaten von zumindest zweierkannten charakteristischen Bildbereichen und, in dem vorausgehenden Bild erkannten, Bildkoordinaten der zwei Bildbereiche ermittelt. Im Schritt des Kombinierens(110) wird der Modellskalierungsfaktor mit dem Bildskalierungsfaktorkombiniert, um die Veränderung des Abbildungsmaßstabs zu erhalten.

Description

Beschreibung Titel
Verfahren und Vorrichtung zum Berechnen einer Veränderung eines
Abbildungsmaßstabs eines Objekts
Stand der Technik
Die vorliegende Erfindung bezieht sich auf ein Verfahren zum Berechnen einer Veränderung eines Abbildungsmaßstabs eines Objekts, auf eine entsprechende Vorrichtung sowie auf ein entsprechendes Computerprogrammprodukt.
Eine Entfernung zu einem vorausfahrenden Fahrzeug kann bei einem monokularen Kamerasystem über einen Rahmen erfasst werden, der einer Silhouette des Fahrzeugs angelehnt ist.
Die EP 1 806 595 B1 beschreibt ein Verfahren zur Schätzung der Distanz eines Objekts unter Verwendung einer mittels monokularer Kamera aufgezeichneten Bildsequenz.
Offenbarung der Erfindung
Vor diesem Hintergrund wird mit der vorliegenden Erfindung ein Verfahren zum Berechnen einer Veränderung eines Abbildungsmaßstabs eines Objekts, weiterhin eine Vorrichtung, die dieses Verfahren verwendet sowie schließlich ein entsprechendes Computerprogrammprodukt gemäß den Hauptansprüchen vorgestellt. Vorteilhafte Ausgestaltungen ergeben sich aus den jeweiligen Unteransprüchen und der nachfolgenden Beschreibung.
Beim Ermitteln einer Entfernung zu einem vorausfahrenden Fahrzeug kann in einem Entfernungsschätzverfahren eine Berechnung der Entfernung auf eine Kombination mehrerer Unterverfahren gestützt werden, die jeweils auf unterschiedlichen Algorithmen basieren können. Dabei können beispielsweise Ergebnisse eines schnell ausführbaren Algorithmus mit Ergebnissen eines langsam ausführbaren Algorithmus kombiniert werden. Der schnelle Algorithmus kann dabei Ergebnisse aufweisen, die eine größere Streuung innerhalb eines breiteren Fehlerbands aufweisen, als der langsame Algorithmus, der Ergebnisse aufweisen kann, die eine kleinere Streuung innerhalb eines schmaleren
Fehlerbands aufweisen. Durch den schnellen Algorithmus kann das
Entfernungsschätzverfahren auf plötzliche Änderungen schnell ansprechen. Durch den langsamen Algorithmus kann das Entfernungsschätzverfahren bei einer stetigen Änderung der Entfernung einen geglätteten Wert bereitstellen.
Die vorliegende Erfindung schafft ein Verfahren zum Berechnen einer
Veränderung eines Abbildungsmaßstabs eines Objekts, wobei das Verfahren die folgenden Schritte umfasst:
Erkennen von Bildkoordinaten charakteristischer Bildbereiche in einem aktuellen Bild, wobei die charakteristischen Bildbereiche Objektmerkmale zumindest des einen Objekts in dem aktuellen Bild abbilden;
Bereitstellen eines Modells, wobei Modellkoordinaten des Modells eine Auswahl von Positionen erkannter Objektmerkmale des Objekts in einem vorausgehenden Bild repräsentieren;
Skalieren des Modells um ein skaliertes Modell zu erhalten, wobei zumindest ein Anteil der Modellkoordinaten mit den im Schritt des Erkennens erkannten
Bildkoordinaten in Relation gebracht wird, wobei sich das Modell und das skalierte Modell um einen Modellskalierungsfaktor unterscheiden;
Ermitteln eines Bildskalierungsfaktors unter Verwendung der Bildkoordinaten von zumindest zwei erkannten charakteristischen Bildbereichen und in dem vorausgehenden Bild erkannter Bildkoordinaten der zwei Bildbereiche; und
Kombinieren des Modellskalierungsfaktors mit dem Bildskalierungsfaktor, um die Veränderung des Abbildungsmaßstabs zu erhalten. Die Schritte des Verfahrens können von einer in einem Fahrzeug angeordneten Vorrichtung ausgeführt werden. Das Verfahren kann dabei während der Fahrt des Fahrzeugs ausgeführt werden. Bei dem Objekt kann es sich beispielsweise um ein vorausfahrendes Fahrzeug handeln. Zur Abbildung des Objekts kann das Fahrzeug eine Kamera aufweisen. Unter einem Abbildungsmaßstab kann ein
Faktor verstanden werden, der einen Zusammenhang zwischen einer
tatsächlichen Größe eines Objekts und einer abgebildeten Größe des Objekts in einer Abbildung darstellt. Wenn eine Brennweite einer Kamera, mit der die Abbildung als Bild erfasst wird, konstant ist, dann verändert sich der
Abbildungsmaßstab aufgrund einer Veränderung einer Entfernung des Objekts von der Kamera. Somit kann aus der Veränderung des Abbildungsmaßstabs auf die Änderung der Entfernung des Objekts von der Kamera geschlossen werden. Eine Bildkoordinate kann ein orthogonales Koordinatenpaar eines Bildpunkts des Bilds in einem Bildkoordinatensystem des Bilds sein. Dabei kann ein
Koordinatenursprung willkürlich gewählt sein oder beispielsweise
kameraspezifisch sein. Ein charakteristischer Bildbereich kann eine Gruppe von Bildpunkten oder ein einzelner Bildpunkt des Bilds sein. Der charakteristische Bildbereich kann eine vorbestimmte Bildeigenschaft aufweisen. Beispielsweise kann der charakteristische Bildbereich einen Übergang von einem ersten vorbestimmten Helligkeitswert eines ersten Bildpunkts zu einem zweiten vorbestimmten Helligkeitswert eines benachbarten zweiten Bildpunkts aufweisen. Der charakteristische Bildbereich kann ein charakteristisches Merkmal des Objekts abbilden. Beispielsweise kann der Bildbereich eine Körperkante oder Körperecke des Objekts als Objektmerkmal abbilden. Der charakteristische Bildbereich kann auch ein vorbestimmtes Muster abbilden. Der charakteristische
Bildbereich wird unter Verwendung eines Algorithmus erkannt. Das aktuelle Bild und das vorausgehende Bild können Bilder einer Bildfolge der gleichen Kamera sein. Das vorausgehende Bild kann auch mehrere Bilder zurückliegen. Unter einem Modell kann eine Punktewolke aus einzelnen Modellpunkten relevanter charakteristischer Bildbereiche des Objekts verstanden werden. Das Modell kann ein Modellkoordinatensystem aufweisen. Die Modellpunkte können mit
Modellkoordinaten beschrieben sein und zueinander eine bestimmte Relation aufweisen. Unter einem Skalieren kann ein Vergrößern oder ein Verkleinern verstanden werden. Das Modell kann auch verschoben und/oder verdreht werden. Das Skalieren kann auch ein Verzerren, beispielsweise ein
perspektivisches Verzerren sein. Beim Skalieren können Punkte des Modells so lange skaliert bzw. verzerrt werden, bis die Modellbereiche bzw. Modellpunkte mit entsprechenden Bildbereichen bzw. Bildpunkten des Bilds übereinstimmen. Die Bereiche bzw. Punkte des Modells können dabei ihre originalen Proportionen behalten. Beim Skalieren können Modellbereiche ohne entsprechend
zugewiesene Bildbereiche übrig bleiben, wenn beispielsweise das Objekt an der
Stelle verdeckt ist. Wenn das Objekt wieder frei ist, können die Modellbereiche wieder den entsprechenden Bildbereichen zugeordnet werden. Ein
Modellskalierungsfaktor kann beispielsweise eine prozentuale Veränderung des skalierten Modells zu dem Modell sein. Ein Bildskalierungsfaktor kann ein Faktor sein, um den ein Abbild des Objekts von Bild zu Bild geschrumpft oder gewachsen ist. Zum Ermitteln des Bildskalierungsfaktors können pro Bild mindestens zwei Punkte erfasst werden und Abstände zwischen den Punkten erfasst werden. Der Bildskalierungsfaktor ergibt sich aus einer Veränderung der Abstände zwischen den Bildern. Beim Kombinieren werden der
Modellskalierungsfaktor und der Bildskalierungsfaktor mittels einer
Verarbeitungsvorschrift zusammengeführt.
Das Verfahren kann einen Schritt des Erstellens des Modells aufweisen, in dem zeitlich vorausgehend erkannte Bildkoordinaten von charakteristischen
Bildbereichen des vorausgehenden Bilds verwendet werden, um zumindest die
Auswahl der Bildkoordinaten in Modellkoordinaten umzuwandeln. Dabei können die Bildkoordinaten auf einen Bildkoordinatenursprung bezogen sein, und die Modellkoordinaten können auf einen Modellkoordinatenursprung bezogen sein. Das Objekt kann in der Auswahl zumindest teilweise abgebildet sein. Das Modell kann aus dem zurückliegend erfassten Bild abgeleitet werden. Das Modell kann aus einem anderen zurückliegend erfassten Bild abgeleitet werden. Dabei können Teile der Bildkoordinaten entfallen und die charakteristischen
Bildbereiche zum Verringern benötigter Rechenleistung reduziert werden.
Beispielsweise kann die Auswahl der charakteristischen Bildbereiche auf besonders gut erfassbare Bereiche reduziert werden, um eine schnelle
Erkennung in einem anderen Bild zu vereinfachen. Ein
Modellkoordinatenursprung kann beispielsweise an einer Ecke einer virtuellen Modellbegrenzung angeordnet sein, um beispielsweise negative
Koordinaten werte zu vermeiden. Ein Bildkoordinatenursprung kann
beispielsweise an einer Ecke des Bilds angeordnet sein. Durch ein eigenes
Koordinatensystem kann das Modell innerhalb des aktuellen Bilds oder eines nachfolgenden Bilds angepasst werden, ohne die Modellkoordinaten zu beeinflussen. Lediglich die Bildkoordinate des Modellkoordinatenursprungs oder eines einzelnen Punkts des Modells wird dabei verändert. Eine quasi
bildunabhängige Objektbeschreibung kann so erreicht werden.
Die Auswahl kann eine vordefinierte Ausgangsabmessung aufweisen. Beim Erstellen des Modells kann beispielsweise ein vordefinierter Rahmen über das Bild projiziert werden, der beispielsweise quadratisch oder rechteckig sein kann. Dann können zum Erstellen des Modells lediglich charakteristische Punkte innerhalb des Rahmens berücksichtigt werden. Dadurch kann die
Modellerstellung beschleunigt werden.
Die Modellkoordinaten können normiert werden, wobei ein Minimalwert der Modellkoordinaten null ist, und ein Maximalwert der Modellkoordinaten eins ist. Damit können die Koordinaten die Bereiche und Punkte des Modells prozentual in Relation zu dem Modell beschreiben. Der Rahmen kann beispielsweise die Koordinaten werte null und eins aufweisen.
Eine Abmessung des Modells und die Abmessung des skalierten Modells können erfasst werden und der Modellskalierungsfaktor kann unter Verwendung einer Änderung der Abmessung ermittelt werden. Beispielsweise kann unter einer Abmessung eine Breite des Modells und/oder eine Höhe des Modells und/oder eine Diagonale des Modells verstanden werden. Entsprechend der Änderung der Abmessung kann auf den Modellskalierungsfaktor geschlossen werden. Die Abmessung kann bezogen auf den Rahmen des Modells erfasst werden. Dazu kann der Rahmen des Modells und der Rahmen des skalierten Modells vermessen werden. Beispielsweise kann eine Kantenlänge des Rahmens als Anzahl von Bildpunkten des unterlegten Bilds erfasst werden.
Der Modellskalierungsfaktor kann mit einem ersten Gewichtungsfaktor gewichtet werden. Der Bildskalierungsfaktor kann mit einem zweiten Gewichtungsfaktor gewichtet werden. Der erste Gewichtungsfaktor und der zweite
Gewichtungsfaktor können sich zu einem Ganzen ergänzen. Beispielsweise kann der erste Gewichtungsfaktor x sein, während der zweite Gewichtungsfaktor 1 -x ist. Durch eine Gewichtung können unterschiedliche Stärken der Glättung der Änderung des Abbildungsmaßstabs erreicht werden. Das Modell kann im Schritt des Skalierens ferner um einen Translationsvektor verschoben werden und alternativ oder ergänzend um einen Rotationsvektor rotiert werden. Ein Translationsvektor kann eine Verschiebung des Modells relativ zum Bild bewirken. Ein Rotationsvektor kann eine Drehung des Modells relativ zum Bild bewirken. Durch ein Verschieben und/oder Drehen kann das Modell an das Objekt angepasst werden, auch wenn das Objekt im Bild verschoben und/oder verdreht abgebildet ist. Die Schritte des Verfahrens können wiederholt werden, wobei im Schritt des
Erkennens weitere Bildkoordinaten der charakteristischen Bildbereiche an einem weiteren Bild erkannt werden. Im Schritt des Bereitstellens kann das Modell oder das skalierte Modell bereitgestellt werden. Im Schritt des Skalierens kann das Modell oder das skalierte Modell skaliert werden, um ein weiteres skaliertes Modell zu erhalten. Dabei kann zumindest ein Anteil der Modellkoordinaten an die weiteren Bildkoordinaten angepasst werden, wobei die Anteile
unterschiedlicher Durchläufe des Verfahrens voneinander verschieden sein können. Das weitere skalierte Modell kann sich von dem Modell oder dem skalierten Modell (seinem Ursprung) um einen weiteren Modellskalierungsfaktor unterscheiden. Im Schritt des Ermitteins kann ein weiterer Bildskalierungsfaktor unter Verwendung der weiteren Bildkoordinaten und der ursprünglich
verwendeten Bildkoordinaten ermittelt werden. In Schritt des Kombinierens kann eine weitere Veränderung des Abbildungsmaßstabs unter Verwendung des weiteren Modellskalierungsfaktors und des weiteren Bildskalierungsfaktors kombiniert werden. Durch einen Bezug auf das Modell kann eine Dämpfung des
Werts der Veränderung erreicht werden. Ein Verlauf der Veränderung wird eine reduzierte Anzahl Überschwinger aufweisen, jedoch nur eine geringe Latenzzeit aufweisen. Die Schritte des Verfahrens können wiederholt werden, um eine weitere
Veränderung des Abbildungsmaßstabs zu berechnen. Ein zeitlich nachfolgendes Bild bildet die charakteristischen Objektmerkmale zumindest des einen Objekts zu einem späteren Zeitpunkt ab. Im Schritt des Bereitstellens wird das skalierte Modell bereitgestellt und unter Verwendung der bereits berechneten
Veränderung des Abbildungsmaßstabs skaliert, um ein Schätzmodell zu erzeugen. Die Veränderung kann zu einem vorbestimmten Anteil verwendet werden. Im Schritt des Skalierens wird das Schätzmodell unter Verwendung eines Korrekturfaktors skaliert, um das Schätzmodell an die im Schritt des Erkennens erkannten Bildkoordinaten des zeitlich nachfolgenden Bilds anzupassen. Der Modellskalierungsfaktor wird unter Verwendung der berechneten Veränderung und des Korrekturfaktors ermittelt. Ein Schätzmodell kann aus dem skalierten Modell extrapoliert werden. Durch eine Schätzung der wahrscheinlichen Veränderung des Modells basierend auf der vorhergehenden Veränderung kann eine Bearbeitungszeit reduziert werde, da mit einer hohen Wahrscheinlichkeit die Modellkoordinaten der charakteristischen Bereiche im Schätzmodell bereits in einem Toleranzbereich um die Bildkoordinaten der charakteristischen Bereiche des nachfolgenden Bilds angeordnet sind. Das Bereitstellen des Schätzmodells kann bereits parallel zum Erkennen der
Bildkoordinaten des nachfolgenden Bilds geschehen, da für das Schätzmodell keine Daten des nachfolgenden Bilds erforderlich sind. Die Modellkoordinaten werden nur um den Korrekturwert angepasst.
Der erste Gewichtungsfaktor kann basierend auf dem Korrekturfaktor ermittelt werden. Wenn der Korrekturwert klein ist, kann die Gewichtung zugunsten des Modellskalierungsfaktors ausfallen, wodurch eine Glättung des berechneten Abbildungsmaßstabs erfolgt. Wenn der Korrekturwert groß ist, dann kann die
Gewichtung zugunsten des Bildskalierungsfaktors ausfallen, da damit schnell auf eine unerwartete Veränderung zwischen den Bildern reagiert werden kann.
Die vorliegende Erfindung schafft ferner eine Vorrichtung, die ausgebildet ist, um die Schritte des erfindungsgemäßen Verfahrens in entsprechenden
Einrichtungen durchzuführen bzw. umzusetzen. Auch durch diese
Ausführungsvariante der Erfindung in Form einer Vorrichtung kann die der Erfindung zugrunde liegende Aufgabe schnell und effizient gelöst werden. Unter einer Vorrichtung kann vorliegend ein elektrisches Gerät verstanden werden, das Sensorsignale verarbeitet und in Abhängigkeit davon Steuer- und/oder Datensignale ausgibt. Die Vorrichtung kann eine Schnittstelle aufweisen, die hard- und/oder softwaremäßig ausgebildet sein kann. Bei einer hardwaremäßigen Ausbildung können die Schnittstellen beispielsweise Teil eines sogenannten System-ASICs sein, der verschiedenste Funktionen der Vorrichtung beinhaltet. Es ist jedoch auch möglich, dass die Schnittstellen eigene, integrierte Schaltkreise sind oder zumindest teilweise aus diskreten Bauelementen bestehen. Bei einer softwaremäßigen Ausbildung können die Schnittstellen Softwaremodule sein, die beispielsweise auf einem Mikrocontroller neben anderen Softwaremodulen vorhanden sind.
Von Vorteil ist auch ein Computerprogrammprodukt mit Programmcode, der auf einem maschinenlesbaren Träger wie einem Halbleiterspeicher, einem
Festplattenspeicher oder einem optischen Speicher gespeichert sein kann und zur Durchführung des Verfahrens nach einer der vorstehend beschriebenen Ausführungsformen verwendet wird, wenn das Programmprodukt auf einem Computer oder einer Vorrichtung ausgeführt wird.
Die Erfindung wird nachstehend anhand der beigefügten Zeichnungen beispielhaft näher erläutert. Es zeigen:
Fig. 1 ein Ablaufdiagramm eines Verfahrens zum Berechnen einer
Veränderung eines Abbildungsmaßstabs eines Objekts gemäß einem Ausführungsbeispiel der vorliegenden Erfindung;
Fig. 2 ein Blockschaltbild einer Vorrichtung zum Berechnen einer Veränderung eines Abbildungsmaßstabs eines Objekts gemäß einem
Ausführungsbeispiel der vorliegenden Erfindung;
Fig. 3 eine Darstellung eines Modells, das gemäß einem Ausführungsbeispiel der vorliegenden Erfindung zu einem skalierten Modell skaliert wird;
Fig. 4 ein Diagramm eines zeitlichen Verlaufs einer Abmessung eines Objekts bei konstanter Änderung eines Skalierungsfaktors;
Fig. 5 eine Darstellung eines zeitlichen Verlaufs einer Veränderung eines Abbildungsmaßstabs gemäß einem Ausführungsbeispiel der vorliegenden Erfindung; und
Fig. 6 eine Darstellung eines Fahrzeugs mit einer Vorrichtung zum Berechnen einer Veränderung eines Abbildungsmaßstabs eines Objekts gemäß einem Ausführungsbeispiel der vorliegenden Erfindung. In der nachfolgenden Beschreibung bevorzugter Ausführungsbeispiele der vorliegenden Erfindung werden für die in den verschiedenen Figuren
dargestellten und ähnlich wirkenden Elemente gleiche oder ähnliche
Bezugszeichen verwendet, wobei auf eine wiederholte Beschreibung dieser
Elemente verzichtet wird.
Fig. 1 zeigt ein Ablaufdiagramm eines Verfahrens 100 zum Berechnen einer Veränderung eines Abbildungsmaßstabs eines Objekts gemäß einem
Ausführungsbeispiel der vorliegenden Erfindung. Bei dem Objekt kann es sich um ein Objekt handeln, das von einer Umfelderfassungseinrichtung,
beispielsweise einer Kamera eines Fahrzeugs erfasst wird. Beispielsweise kann es sich bei dem Objekt um ein vorausfahrendes Fahrzeug handeln. Das
Verfahren 100 weist einen Schritt des Erkennens 102, einen Schritt des
Bereitstellens 104, einen Schritt des Skalierens 106, einen Schritt des Ermitteins
108 und einen Schritt des Kombinierens 1 10 auf.
Im Schritt 102 des Erkennens werden Bildkoordinaten charakteristischer
Bildbereiche in einem aktuellen Bild erkannt. Die charakteristischen Bildbereiche bilden Objektmerkmale zumindest des einen Objekts in dem aktuellen Bild ab.
Das aktuelle Bild kann ein Einzelbild einer Bildfolge, beispielsweise von einer Kamera sein. Im Schritt 104 des Bereitstellens wird ein Modell bereitgestellt. Modellkoordinaten des Modells repräsentieren eine Auswahl von Positionen erkannter Objektmerkmale des Objekts in einem vorausgehenden Bild. Im Schritt 106 des Skalierens wird das Modell skaliert, um ein skaliertes Modell zu erhalten.
Beim Skalieren wird zumindest ein Anteil der Modellkoordinaten an die, im Schritt des Erkennens, erkannten, Bildkoordinaten angepasst. Dazu wird der zumindest eine Anteil der Modellkoordinaten in Relation mit den erkannten Bildkoordinaten gebracht. Das Modell und das skalierte Modell unterscheiden sich um einen Modellskalierungsfaktor. Im Schritt 108 des Ermitteins wird ein
Bildskalierungsfaktor unter Verwendung der Bildkoordinaten von zumindest zwei erkannten charakteristischen Bildbereichen und unter Verwendung von in dem vorausgehenden Bild erkannter Bildkoordinaten der zwei Bildbereiche ermittelt. Im Schritt 1 10 des Kombinierens wird der Modellskalierungsfaktor mit dem Bildskalierungsfaktor kombiniert, um die Veränderung des Abbildungsmaßstabs zu erhalten. Mit anderen Worten zeigt Fig 1 ein Ablaufdiagramm eines Verfahrens 100 zur Berechnung der Skalierungsänderung eines Objekts zwischen Bildern. Die Skalierungsänderung der Objektbreite zwischen zwei Bildern ist ein Maß für die relative Geschwindigkeit des Objektes in Bezug auf die Geschwindigkeit eines
Ego-Fahrzeuges (eigenen Fahrzeugs). Sie wird außerdem für die 3-D-Schätzung benötigt, als Regelsignal für die Video-ACC Funktion (Adaptive Cruise Control) und als Input für die Berechnung der Time To Collision (TTC). Insbesondere sind die Skalierungsänderung und die daraus folgende TTC für den vFCW NCAP- Test von großer Bedeutung. Der hier vorgestellte Ansatz beschreibt einen
Bildverarbeitungsalgorithmus, mit dem die Skalierungsänderung zwischen Bildern mit sehr hoher Genauigkeit und wenig Aufwand berechnet werden kann.
Die Skalierungsänderung kann mit Hilfe von Korrespondenzen zwischen Bildern berechnet werden. Unter der Annahme eines Bewegungsmodels kann dann die
Skalierungsänderung direkt aus den geschätzten Parametern ermittelt werden.
Die Genauigkeit der Skalierungsänderung hängt von der Genauigkeit der berechneten Korrespondenzen ab. Kleine Fehler bei der Berechnung der Korrespondenzen führen zu einem signifikanten Fehler bei der
Skalierungsschätzung. Korrespondenzen können über mehrere Bilder gebildet werden und so mehrere Skalierungswerte für die finale Schätzung verwendet werden, wodurch sich Fehler ausmitteln können. Dabei sollten die
Korrespondenzen über mehrere Bilder stabil sein. Durch diese Anforderung sind diese Algorithmen zu langsam für den Einsatz an einer Embedded Hardware
Plattform.
Fig. 2 zeigt ein Blockschaltbild einer Vorrichtung 200 zum Berechnen einer Veränderung eines Abbildungsmaßstabs eines Objekts gemäß einem
Ausführungsbeispiel der vorliegenden Erfindung. Die Vorrichtung 200 weist eine
Einrichtung zum Erkennen 202, eine Einrichtung zum Bereitstellen 204, eine Einrichtung zum Skalieren 206, eine Einrichtung zum Ermitteln 208 und eine Einrichtung zum Kombinieren 210 auf. Die Einrichtung 202 zum Erkennen weist eine Schnittstelle zum Empfangen von Bilddaten auf. Über die Schnittstelle kann die Einrichtung 202 zum Erkennen Bilder beispielsweise eines Videosignals von einer Kamera empfangen. Die Einrichtung 202 zum Erkennen ist dazu ausgebildet, Bildkoordinaten von charakteristischen Bildbereichen in einem aktuellen Bild zu erkennen. Die charakteristischen Bildbereiche bilden
Objektmerkmale zumindest des einen Objekts in dem aktuellen Bild ab. Die Einrichtung 202 zum Erkennen ist mit der Einrichtung 206 zum Skalieren und der Einrichtung 208 zum Ermitteln verbunden, um die Bildkoordinaten zu übermitteln.
Die Einrichtung 204 zum Bereitstellen ist ebenfalls mit der Einrichtung 202 zum Erkennen verbunden. Die Einrichtung 204 zum Bereitstellen ist dazu ausgebildet, ein Modell bereitzustellen. Modellkoordinaten des Modells repräsentieren eine Auswahl von Positionen erkannter Objektmerkmale des Objekts in einem vorausgehenden Bild. Die Bildkoordinaten des vorausgehenden Bilds können von der Einrichtung 202 zum Erkennen empfangen werden. Die Einrichtung 204 zum Bereitstellen ist mit der Einrichtung 206 zum Skalieren verbunden, um das Modell zu übermitteln. Die Einrichtung 206 zum Skalieren ist dazu ausgebildet, das Modell zu skalieren, um ein skaliertes Modell zu erhalten. Beim Skalieren wird zumindest ein Anteil der Modellkoordinaten an die Bildkoordinaten angepasst. Modellkoordinaten, denen keine Bildkoordinate entsprechend zugeordnet werden kann, können ignoriert werden, wenn das Modell eindeutig endsprechend erkannter Bildkoordinaten zum skalierten Modell skaliert werden kann. Das Modell ist von dem skalierten Modell um einen
Modellskalierungsfaktor unterschiedlich. Die Einrichtung 206 zum Skalieren ist mit der Einrichtung 210 zum Kombinieren verbunden, um den
Modellskalierungsfaktor zu übermitteln. Die Einrichtung 206 zum Skalieren kann das skalierte Modell und den Modellskalierungsfaktor an die Einrichtung 204 zum Bereitstellen übermitteln. Die Einrichtung 208 zum Ermitteln ist dazu ausgebildet, einen Bildskalierungsfaktor zu ermitteln. Dazu werden die Bildkoordinaten von zumindest zwei erkannten charakteristischen Bildbereichen und Bildkoordinaten der zwei Bildbereiche, die in dem vorausgehenden Bild erkannt wurden, verwendet. Die Einrichtung 208 zum Ermitteln ist mit der Einrichtung 210 zum Kombinieren verbunden, um den Bildskalierungsfaktor zu übermitteln. Die Einrichtung 210 zum Kombinieren ist dazu ausgebildet, den
Modellskalierungsfaktor mit dem Bildskalierungsfaktor zu kombinieren, um die Veränderung des Abbildungsmaßstabs zu erhalten. Die Einrichtung 210 zum Kombinieren weist eine Schnittstelle zum Bereitstellen der Veränderung auf. Die Einrichtung 210 kann die Veränderung auch an die Einrichtung 204 zum
Bereitstellen übermitteln. Wenn die Einrichtung 202 zum Erkennen nachfolgende
Bildkoordinaten der charakteristischen Bildbereiche in einem nachfolgenden Bild erkennt, können in der Einrichtung 206 zum Skalieren Modellkoordinaten des skalierten Modells skaliert werden, um an die nachfolgenden Bildkoordinaten angepasst zu werden. Alternativ kann in der Einrichtung 204 zum Bereitstellen aus dem empfangenen skalierten Modell unter Verwendung der vorhergehend berechneten Veränderung oder des empfangenen Modellskalierungsfaktors ein
Schätzmodell erzeugt werden, um erwartete Positionen der charakteristischen Bildbereiche in dem nachfolgenden Bild zu erhalten. Das Schätzmodell kann dann wiederum in der Einrichtung 206 zum Skalieren mit einem Korrekturfaktor skaliert werden, um die erwarteten Positionen mit tatsächlichen Positionen der charakteristischen Bildbereiche abzugleichen und ein weiteres skaliertes Modell zu erzeugen. Dann kann der Modellskalierungsfaktor unter Verwendung der vorhergehenden Veränderung und dem Korrekturwert bestimmt werden. Der Bildskalierungsfaktor des nachfolgenden Bilds kann in der Einrichtung 208 zum Ermitteln wie bei dem aktuellen Bild ermittelt werden, wobei dann Bildkoordinaten des aktuellen Bilds und des nachfolgenden Bilds verwendet werden.
Fig. 3 zeigt eine Darstellung eines Modells 300, das gemäß einem
Ausführungsbeispiel der vorliegenden Erfindung zu einem skalierten Modell skaliert wird. In der Fig. 3 ist das Modell 300, ein Koordinatenpunkt 302, ein Kamerabild 304, ein Objekt 306, ein skaliertes Modell 308 und ein
Bildpunktkoordinatenpunkt 310 dargestellt. Das Modell 300 weist
Bereichsgrenzen auf, die eine rechteckige Kontur aufweisen. In einer linken oberen Ecke der Bereichsgrenzen ist ein Modellkoordinatenursprung angeordnet. Im Modellkoordinatenursprung weisen Modellkoordinaten des Modells 300 einen waagerechten Wert von 0 und einen senkrechten Wert von 0 auf. In einer rechten unteren Ecke weisen die Modellkoordinaten einen waagerechten Wert von 1 und einen senkrechten Wert von 1 auf. Damit sind die Bereichsgrenzen auf eins normiert. Innerhalb der Bereichsgrenzen ist beispielhaft für eine Vielzahl von Modellkoordinatenpunkten die Modellkoordinate 302 gezeigt. Die
Modellkoordinate 302 repräsentiert eine Position eines charakteristischen
Bildbereichs eines Kamerabilds, auf dem das Modell 300 basiert. Das
Modellkoordinatensystem ist zweidimensional und orthogonal geradlinig. In dem Punkt der Modellkoordinate 302 schneiden sich daher zwei Hilfslinien senkrecht, mithilfe derer sich die Modellkoordinatenwerte der Modellkoordinate 302 an den Bereichsgrenzen leichter ermitteln lassen. Neben dem Modell 300 ist ein Ausschnitt des Kamerabilds 304 dargestellt. Das Kamerabild 304 zeigt einen Ausschnitt des Objekts 306 im Blickfeld der Kamera. In diesem Ausführungsbeispiel ist ein Ausschnitt eines Nutzfahrzeugs 306 dargestellt. Dem Kamerabild 304 ist das skalierte Modell 308 überlagert. Das skalierte Modell 308 ist dem Modell 300 ähnlich. In diesem Ausführungsbeispiel ist das skalierte Modell 308 um einen Modellskalierungsfaktor größer als das Modell 300, weil sich das Objekt 306 seit der Generierung des Modells 300 anhand eines zurückliegenden Kamerabilds des Objekts 306, an die Kamera angenähert hat und damit in dem Kamerabild 304 größer abgebildet ist. Wenn sich das Objekt 306 in dem Zeitraum zwischen den Bildern von der Kamera entfernt hätte, wäre das Objekt 306 im Kamerabild 304 kleiner, und damit das skalierte Modell 308 um einen Modellskalierungsfaktor kleiner als das Modell 300. Der Bildpunkt 310 ist an einer Position eines charakteristischen Bildbereichs des Objekts 306 angeordnet. Die Modellkoordinate 302 beschreibt eine modellrelative Position des gleichen charakteristischen Bildbereichs in dem zurückliegenden Kamerabild. Anhand von Verschiebungen von Bildkoordinaten zumindest zweier solcher Punkte im Kamerabild 304 wird das Modell 300 skaliert und/oder verschoben, bzw. verzerrt und über das Bild 304 gelegt. Dabei kann ein Teil der Modellkoordinaten unberücksichtigt bleiben, beispielsweise wenn der zugehörige Bildbereich verdeckt ist, oder beispielsweise, weil die
Modellkoordinate einen Bildbereich des zurückliegenden Kamerabilds beschreibt, in dem irrtümlich ein charakteristischer Bildbereich erkannt wurde. Der
Modellskalierungsfaktor kann beispielsweise bestimmt werden, indem ein Bildkoordinatenwert der linken, oberen Ecke des skalierten Modells 308 von einem Bildkoordinatenwert der rechten unteren Ecke des skalierten Modells 308 subtrahiert wird, um einen Abmessungsparameter des skalierten Modells 308 zu erhalten. Der Modellskalierungsfaktor kann aus zumindest zwei zeitlich aufeinanderfolgenden Abmessungsparametern bestimmt werden. Durch eine Verwendung mehrerer Abmessungsparameter kann ein zeitlicher Verlauf des Modellskalierungsfaktors geglättet werden.
Da die Bilder der Kamera in kurzen Zeitabständen aufeinanderfolgen, kann das Objekt 306 zwischen den Bildern nur eine, durch physikalische Gesetze begrenzte, Bewegung ausführen. Daher kann das Abbild des Objekts 306 in aufeinanderfolgenden Kamerabildern nur eine begrenzte Veränderung aufweisen. Durch eine Annahme eines näherungsweise konstanten Modellskalierungsfaktors innerhalb eines begrenzten Zeitraums, beispielsweise drei aufeinanderfolgende Kamerabilder, kann eine Zeitdauer, die zum Skalieren des Modells 300 erforderlich ist, verkürzt werden. Das skalierte Modell 308 kann, unter Verwendung des Modellskalierungsfaktors oder einer berechneten
Veränderung zwischen zwei Bildern, erneut skaliert werden, um ein
Schätzmodell zu erhalten. Das Schätzmodell kann erzeugt werden, bevor das folgende Kamerabild auf charakteristische Bildbereiche untersucht wird. Damit repräsentiert das Schätzmodell voraussichtliche Positionen der
charakteristischen Bildbereiche im folgenden Bild. Die voraussichtlichen
Positionen können mit den tatsächlichen Bildkoordinaten des folgenden Bilds verglichen werden, um einen Korrekturfaktor zu erhalten. Der Korrekturfaktor beschreibt die verbleibende notwendige Skalierung des Schätzmodells, um das Schätzmodell an die tatsächlichen Bildkoordinaten anzupassen. Der tatsächliche Modellskalierungsfaktor kann dann aus dem zurückliegenden
Modellskalierungsfaktor oder der berechneten Veränderung und dem
Korrekturwert bestimmt werden.
Der hier vorgestellte Ansatz beschreibt einen Bildverarbeitungsalgorithmus, der die Skalierungsänderung eines Objektes 306 zwischen Bildern 304 berechnet. Dieser Bildverarbeitungsalgorithmus kann für die Berechnung der relativen
Geschwindigkeit des Objektes 306 und dessen TTC zu einem Standpunkt der Kamera verwendet werden.
Die Berechnung der Skalierungsänderung wird mit der Objektbreite in
verschiedenen Zeiten gefiltert. Es wird dadurch das Rauschen signifikant unterdrückt, ohne die Latenzzeit zu erhöhen. Entscheidend dazu ist, dass die Messung der Objektbreite als primäre Messung erfolgt.
Das Verfahren wird initialisiert, indem bei einem Startbild des Objekts 306 eine Objektbox basierend auf dem jeweiligen Objektklassifikator im Bereich des
Objekts 306 definiert wird. Innerhalb dieser Box werden dann Feature-Punkte 310 extrahiert. Die Feature-Punkte 310 werden anschließend mit der
Objektbreite normiert, sodass am Ende nur Punkte 302 mit Koordinaten zwischen 0 und 1 existieren. Die normierte Objektbox 300 wird dann als Objekt- Modell 300 hinterlegt. Im nächsten Bild werden zuerst Feature Punkte 310 extrahiert und dann mithilfe deren Deskriptoren in Korrespondenz zu entsprechenden vorhergehenden Feature-Punkten 310 gebracht. Anschließend werden die Bewegungsparameter zwischen den normierten Koordinaten 302 des Objekt-Modells 300 und den Koordinaten 310 im aktuellen Bild 304 geschätzt. Mithilfe der geschätzten
Bewegungsparameter werden dann die Punkte 0,0 und 1 ,1 in das aktuelle Bild 304 projiziert, und durch einfache Subtraktion wird zuletzt die Objektbreite ermittelt.
Breite = Punkt(\,V)imBild - Punkt(0,0)imBild
Die Formel beschreibt ein Beispiel zur Berechnung der Objektbreite aus der Rückprojektion im Bild 304 der normierten Koordinaten 302. Die Objektbreite wird in jedem Frame 308 immer neu gemessen und in einem
„Circular-Buffer" gespeichert. Wenn es notwendig ist, lassen sich sowohl die Breite als auch die Höhe des Objektes 306 getrennt berechnen.
Wenn im aktuellen Bild 304 die Objektbreite berechnet wurde, können alle Punkte außerhalb der Box 308 verworfen werden. Anschließend wird die
Skalierungsänderung der Bildkoordinaten 310 mit einem linearen Ansatz berechnet. Dazu werden die Bewegungsparameter der zu den Bild-Koordinaten 310 korrespondierenden Bildpunkte verwendet. Daraus resultiert die
Skalierungsänderung Ss.
Mithilfe der im Circular-Buffer gespeicherten Objektbreiten werden mehrere Skalierungswerte berechnet. Daraus resultiert die Skalierungsänderung SBi, wobei i der Index der Zeit ist, die sich beliebig in der Vergangenheit befinden kann. Es wird von dem aktuellen Bild 304 T, in der Vergangenheit gezählt, (z. B.
Figure imgf000017_0001
Unter der Annahme, dass die Skalierungsänderung für eine begrenzte Anzahl von Werten konstant bleibt, kann der Verlauf der Objektbreite mit folgender Formel berechnet werden, wobei B, die Objektbreite im aktuellen Bild 304 ist und S die konstante Skalierung. Bl = B S'
Die Formel beschreibt eine Berechnung der Objektbreite mit einer konstanten Skalierungsänderung.
Die Skalierung SB lässt sich aus den N Objektbreitenwerten mit folgenden Formeln berechnen.
Figure imgf000018_0001
Die Formel beschreibt eine Berechnung der Skalierungsänderung bezogen auf die erste Objektbreite.
N-l f
J_ y(A
N r-i tr +1
Die Formel beschreibt eine Berechnung der Skalierungsänderung bezogen auf die benachbarten Objektbreiten. Die finale Berechnung der Skalierungsänderung erfolgt unter der Annahme, dass sich die Skalierungsänderung für eine begrenzte Anzahl von Werten konstant verhält. Dadurch kann die Skalierungsänderung SB aus den Breiten berechnet werden. Die finale Skalierungsänderung wird dann als gewichtete Mittelung aus der direkten Skalierung Ss und aus der Skalierung aus der Objektbreite SB berechnet.
S = w■ Ss + (l - w)■ SB
Die Formel beschreibt eine Berechnung für die finale Skalierungsänderung, wobei w das Gewicht der direkten Messung auf das finale Ergebnis ist.
Fig. 4 zeigt ein Diagramm 400 eines zeitlichen Verlaufs 402 einer Abmessung eines Objekts bei konstanter Änderung eines Skalierungsfaktors. Auf der Abszisse ist eine Zeit angetragen, auf der Ordinate ist eine Objektbreite aufgetragen. In dem dargestellten Beispiel ist ein Zeitraum von vier Zeiteinheiten dargestellt, wobei das Objekt am Anfang des Zeitraums erfasst worden ist. Bei der ersten Erfassung ist ein Modell des Objekts erstellt worden. Das Modell weist eine Objektbreite von 100 Prozent auf. Das Objekt entfernt sich und wird deshalb kleiner abgebildet. Das Modell wird an das Abbild angepasst und wird stetig kleiner. Am Ende des Zeitraums ist das Objekt weit entfernt und das Modell weist nur noch etwa drei Prozent der ursprünglichen Objektbreite auf. Das Modell ist über die Zeit mit einer konstanten Änderung skaliert worden, da das Objekt sich mit konstanter Geschwindigkeit entfernt hat. Daraus ergibt sich eine
exponentielle Abnahme des Verlaufs 402 der Objektbreite. In Fig. 4 ist ein Verlauf der Objektbreite mit konstanter Skalierungsänderung gezeigt, auf der eine Scale Estimation möglich ist.
Fig. 5 zeigt eine Darstellung eines zeitlichen Verlaufs 500 einer Veränderung eines Abbildungsmaßstabs gemäß einem Ausführungsbeispiel der vorliegenden Erfindung. Der Verlauf 500 ist in einem Diagramm aufgetragen. In das Diagramm ist ein weiterer Verlauf 502 eingetragen. Auf der Abszisse des Diagramms ist eine Zeit angetragen, auf der Ordinate ist der Abbildungsmaßstab oder die Skalierung angetragen. Der Verlauf 500 beginnt bei einem Zeitpunkt null mit einem Abbildungsmaßstab eins. Der weitere Verlauf 502 repräsentiert eine Veränderung des Abbildungsmaßstabs ohne die Anwendung des hier vorgestellten Ansatzes. Der weitere Verlauf 502 beginnt ebenfalls zum Zeitpunkt null mit dem Abbildungsmaßstab eins. Beide Verläufe 500, 502 basieren auf identischen Bilddaten einer Kamera. Der Verlauf 500 resultiert aus einem
Verfahren zum Berechnen einer Veränderung eines Abbildungsmaßstabs eines Objekts gemäß einem Ausführungsbeispiel der vorliegenden Erfindung. Der weitere Verlauf ist ein Resultat eines weniger effizienten Berechnungsverfahrens.
Beide Verläufe 500, 502 weisen zunächst bis zu einem Zeitpunkt 250 einen leichten Anstieg auf einen Abbildungsmaßstab von 1 ,0025 auf. Der Anstieg der Weiteren Verlaufs 502 ist von starkem Rauschen überlagert. Das Rauschen ist bei dem Verlauf 500 deutlich schwächer als bei dem weiteren Verlauf 502. Ab dem Zeitpunkt 250 weisen beide Verläufe 500, 502 einen weiteren Anstieg bis auf einen Abbildungsmaßstab von 1 ,022 auf. Der weitere Anstieg beider Verläufe ist nahezu simultan, der Verlauf 500 weist jedoch ein geringeres Rauschen auf, als der weitere Verlauf 502. Der Verlauf 502 beschreibt dabei eine ursprüngliche Skalierungsänderung aus den Korrespondenzen. Der Verlauf 500 beschreibt dabei eine Nachfilterung der berechneten Skalierung mithilfe mehrerer Objektbreiten. Bei dem gefilterten Signal wird das Rauschen deutlich unterdrückt, ohne dabei eine Latenzzeit einzuführen.
In Fig. 5 sind die Verläufe 500, 502 einander unmittelbar überlagert, um den minimalen zeitlichen Versatz der beiden Verläufe 500, 502 zu zeigen.
Fig. 6 zeigt eine Darstellung eines Fahrzeugs 600 mit einer Vorrichtung 200 zum Berechnen einer Veränderung eines Abbildungsmaßstabs eines Objekts 306 gemäß einem Ausführungsbeispiel der vorliegenden Erfindung. Bei der
Vorrichtung 200 kann es sich beispielsweise um die anhand von Fig. 2 beschriebenen Vorrichtung handeln. Das Fahrzeug 600 weist eine
Umfelderfassungseinrichtung 602 auf. Die Umfelderfassungseinrichtung 602 ist in diesem Ausführungsbeispiel eine Kamera 602, die dazu ausgebildet ist, zumindest einen Ausschnitt 604 eines Sichtfelds eines Fahrers des Fahrzeugs 600 zu erfassen und in einer Bildfolge aus Kamerabildern 304 abzubilden. Die
Kamera 602 ist mit der Vorrichtung 200 verbunden. Innerhalb des erfassten Ausschnitts 604 befindet sich das Objekt 306. In diesem Ausführungsbeispiel ist das Objekt 306 ein vor dem Fahrzeug 600 fahrendes weiteres Fahrzeug 306 eines weiteren Verkehrsteilnehmers.
Das weitere Fahrzeug 306 wird in dem Kamerabild 304 umso größer abgebildet, umso näher sich das weitere Fahrzeug 306 an dem Fahrzeug 600 befindet. Wenn sich ein Abstand zwischen dem Fahrzeug 600 und dem weiteren Fahrzeug 306 von einem früheren Aufnahmezeitpunkt zu einem späteren
Aufnahmezeitpunkt der Bildfolge verändert, wird das weitere Fahrzeug 306 mit einem veränderten Abbildungsmaßstab im Kamerabild 304 abgebildet. In der Vorrichtung 200 wird unter Verwendung eines Verfahrens zum Berechnen der Veränderung des Abbildungsmaßstabs des Objekts 306 gemäß dem hier vorgestellten Ansatz die Veränderung berechnet. Dabei wird zumindest ein Teilbereich des Kamerabilds 304, der zumindest einen Ausschnitt des Fahrzeugs
306 abbildet, auf charakteristische Bildbereiche untersucht. Charakteristische Bildbereiche bilden charakteristische Merkmale des Fahrzeugs 306 ab. Die charakteristischen Bildbereiche weisen Bildkoordinaten auf. Unter Verwendung eines ersten Algorithmus werden Modellkoordinaten eines Modells so skaliert und/oder verschoben und/oder rotiert und/oder verzerrt, bis die skalierten
Modellkoordinaten zumindest einem Anteil der Bildkoordinaten entsprechen. Das Modell repräsentiert Orte von charakteristischen Merkmalen des Fahrzeugs 306 in einem früheren Kamerabild 304 zu einem zurückliegenden Zeitpunkt. Aus dem ersten Algorithmus resultiert ein Modellskalierungsfaktor. Durch die Verwendung einer Mehrzahl von Modellkoordinaten und einer Mehrzahl von Bildkoordinaten ist der erste Algorithmus robust und kann bei einer Bildstörung, beispielsweise einer kurzzeitigen Obstruktion des Fahrzeugs 306 stabil weiterlaufen. Die Bildkoordinaten werden zusätzlich mittels eines zweiten Algorithmus
ausgewertet, um einen Bildskalierungsfaktor zu erhalten. Dazu werden von Kamerabild 304 zu Kamerabild 304 Abstände zwischen zumindest zwei
Bildkoordinaten erfasst, wobei die Bildkoordinaten jeweils charakteristischen Bildbereichen der gleichen charakteristischen Merkmale zugeordnet sind. Da der zweite Algorithmus auf Abstandsberechnungen beruht, kann die Veränderung von Bild zu Bild nahezu ohne Verzögerung ermittelt werden. Um das
resultierende starke Rauschen im Bildskalierungsfaktor zu filtern, wird die Veränderung des Abbildungsmaßstabs durch eine Mischung von
Modellskalierungsfaktor und Bildskalierungsfaktor berechnet.
Die beschriebenen und in den Figuren gezeigten Ausführungsbeispiele sind nur beispielhaft gewählt. Unterschiedliche Ausführungsbeispiele können vollständig oder in Bezug auf einzelne Merkmale miteinander kombiniert werden. Auch kann ein Ausführungsbeispiel durch Merkmale eines weiteren Ausführungsbeispiels ergänzt werden. Ferner können erfindungsgemäße Verfahrensschritte wiederholt sowie in einer anderen als in der beschriebenen Reihenfolge ausgeführt werden. Umfasst ein Ausführungsbeispiel eine„und/oder"-Verknüpfung zwischen einem ersten Merkmal und einem zweiten Merkmal, so ist dies so zu lesen, dass das Ausführungsbeispiel gemäß einer Ausführungsform sowohl das erste Merkmal als auch das zweite Merkmal und gemäß einer weiteren Ausführungsform entweder nur das erste Merkmal oder nur das zweite Merkmal aufweist.

Claims

Ansprüche
1 . Verfahren (100) zum Berechnen einer Veränderung eines
Abbildungsmaßstabs eines Objekts (306), wobei das Verfahren (100) die folgenden Schritte umfasst:
Erkennen (102) von Bildkoordinaten (310) charakteristischer Bildbereiche (310) in einem aktuellen Bild (304), wobei die charakteristischen
Bildbereiche (310) Objektmerkmale zumindest des einen Objekts (306) in dem aktuellen Bild (304) abbilden;
Bereitstellen (104) eines Modells (300), wobei Modellkoordinaten (302) des Modells (300) eine Auswahl von Positionen erkannter Objektmerkmale des Objekts (306) in einem vorausgehenden Bild repräsentieren; Skalieren (106) des Modells (300) um ein skaliertes Modell (308) zu erhalten, wobei zumindest ein Anteil der Modellkoordinaten (302) mit den im Schritt des Erkennens erkannten Bildkoordinaten (310) in Relation gebracht wird, wobei sich das Modell (300) und das skalierte Modell (308) um einen Modellskalierungsfaktor unterscheiden;
Ermitteln (108) eines Bildskalierungsfaktors unter Verwendung der
Bildkoordinaten (310) von zumindest zwei erkannten charakteristischen Bildbereichen (310) und in dem vorausgehenden Bild erkannter
Bildkoordinaten der zwei Bildbereiche (310); und
Kombinieren (1 10) des Modellskalierungsfaktors mit dem
Bildskalierungsfaktor, um die Veränderung des Abbildungsmaßstabs zu erhalten. 2. Verfahren (100) gemäß Anspruch 1 , mit einem Schritt des Erstellens des
Modells (300), wobei zeitlich vorausgehend erkannte Bildkoordinaten (310) von charakteristischen Bildbereichen (310) des vorausgehenden Bilds verwendet werden, um zumindest die Auswahl der Bildkoordinaten (310) in Modellkoordinaten (302) umzuwandeln, wobei die Bildkoordinaten (310) auf einen Bildkoordinatenursprung bezogen sind, und die Modellkoordinaten (302) auf einen Modellkoordinatenursprung bezogen sind, wobei das Objekt (306) in der Auswahl zumindest teilweise abgebildet ist.
Verfahren (100) gemäß Anspruch 2, bei dem im Schritt des Erstellens die Auswahl eine vordefinierte Ausgangsabmessung aufweist.
Verfahren (100) gemäß einem der Ansprüche 2 bis 3, bei dem im Schritt des Erstellens die Modellkoordinaten (302) normiert werden, wobei ein
Minimalwert der Modellkoordinaten (302) null ist, und ein Maximalwert der Modellkoordinaten (302) eins ist.
Verfahren (100) gemäß einem der vorangegangenen Ansprüche, bei dem im Schritt (106) des Skalierens eine Abmessung des Modells (300) und die Abmessung des skalierten Modells (308) erfasst werden und der
Modellskalierungsfaktor unter Verwendung einer Änderung der Abmessung ermittelt wird.
Verfahren (100) gemäß einem der vorangegangenen Ansprüche, bei dem im Schritt (1 10) des Kombinierens der Modellskalierungsfaktor mit einem ersten Gewichtungsfaktor gewichtet wird, und der Bildskalierungsfaktor mit einem zweiten Gewichtungsfaktor gewichtet wird.
Verfahren (100) gemäß einem der vorangegangenen Ansprüche, bei dem im Schritt des (106) Skalierens ferner das Modell (300) um einen
Translationsvektor verschoben und/oder um einen Rotationsvektor rotiert wird.
Verfahren (100) gemäß einem der vorangegangenen Ansprüche, bei dem die Schritte des Verfahrens wiederholt werden, um eine weitere
Veränderung des Abbildungsmaßstabs zu berechnen, wobei ein zeitlich nachfolgendes Bild die charakteristischen Objektmerkmale zumindest des einen Objekts (306) zu einem späteren Zeitpunkt abbildet, wobei im Schritt (104) des Bereitstellens das skalierte Modell (308) bereitgestellt wird und unter Verwendung der bereits berechneten Veränderung des
Abbildungsmaßstabs skaliert wird, um ein Schätzmodell zu erzeugen, wobei im Schritt (106) des Skalierens das Schätzmodell unter Verwendung eines Korrekturfaktors skaliert wird, um das Schätzmodell an die, im Schritt (102) des Erkennens erkannten, Bildkoordinaten des zeitlich nachfolgenden Bilds anzupassen, wobei der Modellskalierungsfaktor unter Verwendung der berechneten Veränderung und des Korrekturfaktors ermittelt wird.
9. Verfahren (100) gemäß Anspruch 6 und 8, bei dem im Schritt (1 10) des Kombinierens der erste Gewichtungsfaktor basierend auf dem
Korrekturfaktor ermittelt wird.
10. Vorrichtung (200) zum Berechnen einer Veränderung eines
Abbildungsmaßstabs eines Objekts (306), die ausgebildet ist, um die Schritte eines Verfahrens (100) gemäß einem der Ansprüche 1 bis 9 in
entsprechenden Einrichtungen durchzuführen.
1 1 . Computer-Programmprodukt mit Programmcode zur Durchführung des
Verfahrens (100) nach einem der Ansprüche 1 bis 9, wenn das
Programmprodukt auf einer Vorrichtung (200) ausgeführt wird.
PCT/EP2013/064559 2012-07-10 2013-07-10 VERFAHREN UND VORRICHTUNG ZUM BERECHNEN EINER VERÄNDERUNG EINES ABBILDUNGSMAßSTABS EINES OBJEKTS WO2014009406A1 (de)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US14/414,378 US9384576B2 (en) 2012-07-10 2013-07-10 Method and device for computing a change in an image scale of an object
CN201380036749.5A CN104471436B (zh) 2012-07-10 2013-07-10 用于计算对象的成像比例的变化的方法和设备

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102012211961.2 2012-07-10
DE102012211961.2A DE102012211961A1 (de) 2012-07-10 2012-07-10 Verfahren und Vorrichtung zum Berechnen einer Veränderung eines Abbildungsmaßstabs eines Objekts

Publications (1)

Publication Number Publication Date
WO2014009406A1 true WO2014009406A1 (de) 2014-01-16

Family

ID=48771440

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2013/064559 WO2014009406A1 (de) 2012-07-10 2013-07-10 VERFAHREN UND VORRICHTUNG ZUM BERECHNEN EINER VERÄNDERUNG EINES ABBILDUNGSMAßSTABS EINES OBJEKTS

Country Status (4)

Country Link
US (1) US9384576B2 (de)
CN (1) CN104471436B (de)
DE (1) DE102012211961A1 (de)
WO (1) WO2014009406A1 (de)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111210440A (zh) * 2019-12-31 2020-05-29 联想(北京)有限公司 皮肤对象的识别方法、装置和电子设备

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2884364B1 (de) * 2013-12-12 2018-09-26 Hexagon Technology Center GmbH Autonomes Gartenarbeitsfahrzeug mit Kamera
DE102015209391A1 (de) * 2015-05-22 2016-11-24 Robert Bosch Gmbh Verfahren und Vorrichtung zum Erzeugen einer Maskierungsvorschrift sowie zum Maskieren einer Bildinformation einer Kamera
US11170468B2 (en) * 2019-12-18 2021-11-09 The Boeing Company Systems and methods of determining image scaling
US20220153262A1 (en) * 2020-11-19 2022-05-19 Nvidia Corporation Object detection and collision avoidance using a neural network

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1806595B1 (de) 2006-01-04 2009-04-01 Mobileye Technologies Limited Schätzung der Distanz eines Objekts unter Verwendung einer mittels monokularer Kamera aufgezeichneten Bildsequenz
EP2159779A1 (de) * 2008-08-27 2010-03-03 Saab Ab Verwendung von Bildsensor und Nachlauffilter für verbleibende Zeit, um Kollisionen in der Luft zu vermeiden
US20110251768A1 (en) * 2010-04-12 2011-10-13 Robert Bosch Gmbh Video based intelligent vehicle control system

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7124027B1 (en) * 2002-07-11 2006-10-17 Yazaki North America, Inc. Vehicular collision avoidance system
US7409295B2 (en) * 2004-08-09 2008-08-05 M/A-Com, Inc. Imminent-collision detection system and process
US9208690B2 (en) * 2009-03-18 2015-12-08 Saab Ab Calculating time to go and size of an object based on scale correlation between images from an electro optical sensor
US8417490B1 (en) * 2009-05-11 2013-04-09 Eagle Harbor Holdings, Llc System and method for the configuration of an automotive vehicle with modeled sensors
CN102254318B (zh) * 2011-04-08 2013-01-09 上海交通大学 基于图像透视投影变换的车辆道路交通视频测速方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1806595B1 (de) 2006-01-04 2009-04-01 Mobileye Technologies Limited Schätzung der Distanz eines Objekts unter Verwendung einer mittels monokularer Kamera aufgezeichneten Bildsequenz
EP2159779A1 (de) * 2008-08-27 2010-03-03 Saab Ab Verwendung von Bildsensor und Nachlauffilter für verbleibende Zeit, um Kollisionen in der Luft zu vermeiden
US20110251768A1 (en) * 2010-04-12 2011-10-13 Robert Bosch Gmbh Video based intelligent vehicle control system

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111210440A (zh) * 2019-12-31 2020-05-29 联想(北京)有限公司 皮肤对象的识别方法、装置和电子设备
CN111210440B (zh) * 2019-12-31 2023-12-22 联想(北京)有限公司 皮肤对象的识别方法、装置和电子设备

Also Published As

Publication number Publication date
US20150170390A1 (en) 2015-06-18
CN104471436A (zh) 2015-03-25
CN104471436B (zh) 2018-12-14
DE102012211961A1 (de) 2014-01-30
US9384576B2 (en) 2016-07-05

Similar Documents

Publication Publication Date Title
DE102010020867B4 (de) Strassenform-Erkennungsvorrichtung
DE102013209415B4 (de) Dynamische Hinweisüberlagerung mit Bildbeschneidung
DE102014209137B4 (de) Verfahren und Vorrichtung zur Kalibrierung eines Kamerasystems eines Kraftfahrzeugs
DE102007043110B4 (de) Verfahren und Vorrichtung zum Erkennen einer Parklücke unter Nutzung einer Vogelperspektivansicht und ein diese verwendendes Einparkhilfesystem
DE102018116111A1 (de) Ein einheitliches tiefes faltendes neuronales Netzwerk für die Abschätzung von Freiraum, die Abschätzung der Objekterkennung und die der Objektstellung
DE112013004103B4 (de) Verfahren und Vorrichtung zum Erzeugen einer Disparitätskarte
DE102014222617B4 (de) Fahrzeugerfassungsverfahren und Fahrzeugerfassungssytem
DE60217589T2 (de) Vorrichtung und Verfahren zur Detektion von weissen Linien
DE112009003144T5 (de) Verfahren und Vorrichtung zum Feststellen eines Hindernisses in einem Bild
DE102009005861A1 (de) Fahrzeugumgebungs-Erkennungssystem
DE102016104729A1 (de) Verfahren zur extrinsischen Kalibrierung einer Kamera, Rechenvorrichtung, Fahrerassistenzsystem sowie Kraftfahrzeug
DE10323915A1 (de) Kamerabasierte Positionserkennung für ein Straßenfahrzeug
DE102014201271A1 (de) Verfahren und Steuergerät zum Erkennen einer Veränderung eines relativen Gierwinkels innerhalb eines Stereo-Video-Systems für ein Fahrzeug
DE112014003818T5 (de) Objektschätzvorrichtung und Objektschätzverfahren
WO2014009406A1 (de) VERFAHREN UND VORRICHTUNG ZUM BERECHNEN EINER VERÄNDERUNG EINES ABBILDUNGSMAßSTABS EINES OBJEKTS
DE112018007485T5 (de) Straßenoberflächen-Detektionsvorrichtung, Bildanzeige-Vorrichtung unter Verwendung einer Straßenoberflächen-Detektionsvorrichtung, Hindernis-Detektionsvorrichtung unter Nutzung einer Straßenoberflächen-Detektionsvorrichtung, Straßenoberflächen-Detektionsverfahren, Bildanzeige-Verfahren unter Verwendung eines Straßenoberflächen-Detektionsverfahrens, und Hindernis-Detektionsverfahren unter Nutzung eines Straßenoberflächen-Detektionsverfahrens
DE102016203710B4 (de) Abstands- und Richtungsschätzung eines Zielpunkts von einem Fahrzeug unter Verwendung einer monokularen Videokamera
DE102016104732A1 (de) Verfahren zur Bewegungsabschätzung zwischen zwei Bildern eines Umgebungsbereichs eines Kraftfahrzeugs, Rechenvorrichtung, Fahrerassistenzsystem sowie Kraftfahrzeug
DE102018123861A1 (de) Zielobjektschätzvorrichtung
EP2856390A1 (de) Verfahren und vorrichtung zur verarbeitung stereoskopischer daten
DE112016000689T5 (de) Kameraparametereinstellvorrichtung
DE102016104730A1 (de) Verfahren zum Detektieren eines Objekts entlang einer Straße eines Kraftfahrzeugs, Rechenvorrichtung, Fahrerassistenzsystem sowie Kraftfahrzeug
EP2736017A2 (de) Verfahren zur Ermittlung der Bewegung eines Kraftfahrzeugs
DE102012023060A1 (de) Verfahren zum Detektieren eines beweglichen Objekts mithilfe eines Histogramms anhand von Bildern einer Kamera und Kamerasystem für ein Kraftfahrzeug
EP3815044B1 (de) Verfahren zu einer sensor- und speicherbasierten darstellung einer umgebung, anzeigevorrichtung und fahrzeug mit der anzeigevorrichtung

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13735027

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 14414378

Country of ref document: US

122 Ep: pct application non-entry in european phase

Ref document number: 13735027

Country of ref document: EP

Kind code of ref document: A1