WO2019020902A1 - Method for estimating the movement of a point in a sequence of images - Google Patents

Method for estimating the movement of a point in a sequence of images Download PDF

Info

Publication number
WO2019020902A1
WO2019020902A1 PCT/FR2018/051803 FR2018051803W WO2019020902A1 WO 2019020902 A1 WO2019020902 A1 WO 2019020902A1 FR 2018051803 W FR2018051803 W FR 2018051803W WO 2019020902 A1 WO2019020902 A1 WO 2019020902A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
pixel area
point
sequence
zone
Prior art date
Application number
PCT/FR2018/051803
Other languages
French (fr)
Inventor
Lucien Garcia
Gatien FERRET
Original Assignee
Continental Automotive France
Continental Automotive Gmbh
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Continental Automotive France, Continental Automotive Gmbh filed Critical Continental Automotive France
Publication of WO2019020902A1 publication Critical patent/WO2019020902A1/en

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/269—Analysis of motion using gradient-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Definitions

  • the present invention relates to the field of image processing and relates more specifically to a method of estimating the motion of a point in a sequence of images varying in time.
  • the invention aims in particular to follow a point reliably and accurately in a plurality of consecutive images.
  • the invention applies in particular to a motor vehicle comprising an on-board camera in order, for example, to reconstruct elements of the vehicle environment in three dimensions or to determine the trajectory of the vehicle.
  • the optical flow is an approximation of the movement of pixels corresponding to the same object observed in a sequence of images varying in time.
  • the optical flow makes it possible, in particular, to follow a point represented in the image sequence in order, for example, to detect the movement of the point in the image sequence, to segment a object associated with the point being tracked, to perform collision time calculations between the vehicle and an object associated with the tracked point (eg another vehicle), etc.
  • an optical flow corresponds to the movement of a point between two images and is expressed as a vector for moving the point between said two images.
  • a motor vehicle it is known to use the optical flow to track points in images generated by a video camera mounted in the vehicle.
  • Such a follow-up makes it possible to reconstruct the three-dimensional environment observed by the vehicle or the trajectory of the vehicle, in particular to assist the driver in his driving.
  • the reconstruction of the trajectory and / or the three-dimensional environment of the vehicle respectively allow the tracking of the marking lines on the ground or the detection of an obstacle that can trigger an emergency braking of the vehicle.
  • Lukas-Kanade method is based on a least squares minimization algorithm between two consecutive image sections of the image sequence.
  • the level of error relative to the value of the flow associated with such an estimate is all the higher, that is to say that the quality of the optical flow is even lower, that the speed of the vehicle is low or that the point which one follows is distant, that is to say not very dynamic in the sequence of images.
  • tracking a point between two images may lead to determining an erroneous position of the object.
  • the optical flow of a point being estimated between two images consecutive it follows that the errors on the optical flows of several consecutive images, in which one follows the same point, accumulate over the images, resulting in a drift in the tracking of the point.
  • the 3D reconstruction of the vehicle environment or the determination of the trajectory of the vehicle can be significantly erroneous so that this presents a significant danger during the driver assistance provided to the driver.
  • the present invention aims to remedy in part these drawbacks by proposing a reliable and effective solution to reduce the drift generated by the accumulation of errors on the optical flows calculated for a sequence of images and to increase the accuracy in the tracking of a point in a sequence of images.
  • the invention firstly relates to a method for estimating the movement of at least one point in a sequence of images varying in time, said sequence comprising at least a first image, a second image and a third image, the second image being posterior to the first image and the third image being posterior to the second image, the method comprising:
  • the process is remarkable in that it further comprises:
  • the method according to the invention makes it possible to avoid the accumulation of errors in estimating successive optical flows. which is obtained during monitoring only based on estimates of optical flows between successive image pairs.
  • the determination of the fifth pixel area is performed by averaging the determined third pixel area and the determined fourth pixel area.
  • the three images are consecutive in the image sequence.
  • intermediate images may exist between the first and / or the second image and / or the third image and the method may then comprise an additional step of estimating the optical flow between this additional image and at least two of the three images mentioned. previously, thus giving a new measure of the position of the point in the third image.
  • the second image and the third image are consecutive in the image sequence.
  • the first image, the second image, and the third image are consecutive in the image sequence.
  • the method comprises a step of storing the first pixel area.
  • the method comprises a step of storing the second pixel zone
  • the method comprises a step of storing the third pixel area.
  • the method comprises a step of storing the fourth pixel area.
  • the method comprises a step of storing the fifth pixel area.
  • the first pixel area constitutes a reference pixel area that serves as a basis for determining a plurality of third pixel areas and fourth pixel areas from a plurality of second images and third different images.
  • the reference pixel area is used as long as the distance between the third pixel area and the fourth pixel area is less than a predetermined distance threshold.
  • the predetermined distance threshold corresponds to the noise level of the third image.
  • the distance between the third zone of pixels and the fourth zone of pixels can be determined by using a Mahalanobis distance (distance standardized by the variances) compared to an uncertainty value given by a so-called chi-2 distribution ("chi squared"). ") At 2 degrees of freedom.
  • the distance between the third pixel zone and the fourth pixel zone being less than the predetermined threshold, the reference pixel area is used as long as the appearance between the first pixel area and the fourth pixel area is similar. .
  • similar is meant that the pixels of the first pixel area and the pixels of the fourth pixel area are close in terms of values.
  • the similarity between the appearance of the first pixel area and the appearance of the fourth pixel area is estimated by computing signatures based on Haar wavelets on the first pixel area and on the fourth pixel area. pixel area, and respectively comparing said signatures of the pixels of each of the areas between them to determine whether the two pixel areas are sufficiently similar or not.
  • any other means suitable for determining and comparing the appearance of the first pixel area and the appearance of the fourth pixel area could be used.
  • the method further comprises a step of detecting a lack of estimation of the point between two images of the sequence, such a defect notably being able to correspond to an occultation of the real point by an object or a temporary disappearance of that point.
  • the invention also relates to a calculator for a motor vehicle, intended to estimate the movement of at least one point in a sequence of time-varying images generated by a camera mounted in said vehicle, said sequence comprising at least a first image, a second image and a third image, the second image being posterior to the first image and the third image being posterior to the second image.
  • the calculator is configured to determine:
  • the calculator is remarkable in that it is further configured to determine:
  • a fourth pixel zone corresponding to said point by calculating the optical flow between the first image and the third image from the first determined pixel zone, and
  • a fifth pixel area referred to as the "refined area" from the determined third pixel area and the determined fourth pixel area.
  • the invention finally relates to a motor vehicle comprising a camera and a computer, as presented above, connected to said camera so as to receive at least one sequence of images captured by the camera in order to estimate the movement of at least one point in said sequence and allow assistance in driving the vehicle.
  • Figure 1 schematically illustrates an example of a vehicle according to the invention.
  • FIG. 2 schematically illustrates an embodiment of the method according to the invention.
  • FIG. 3 schematically illustrates an exemplary implementation of the method according to the invention with three consecutive images.
  • FIG. 4 schematically illustrates an exemplary implementation of the method according to the invention with three non-consecutive images.
  • Figure 5 schematically illustrates successive optical flow estimates between an image t and an image t + n.
  • Figure 6A illustrates a first example of application.
  • Figure 6B illustrates a second example of application.
  • Fig. 6C illustrates a third exemplary application.
  • Figure 6D illustrates a fourth application example.
  • Figure 6E illustrates a fifth example of application.
  • Figure 6F illustrates a sixth exemplary application.
  • Figure 6G illustrates a seventh example of application.
  • Figure 7 schematically illustrates the estimates of all successive optical flows between an image t and an image t + n.
  • Figure 8 illustrates an eighth example of application.
  • FIG. 1 shows an example of vehicle V according to the invention.
  • the vehicle V comprises a driver assistance system 10 comprising a camera 100 mounted in the vehicle V and a computer 200 for processing the images captured by said camera 100.
  • the camera 100 may for example be a monocular-type camera that can be mounted on the upper part of the front windshield 1 A of the vehicle V so as to film the road 2A on which the vehicle V and the environment E of the vehicle vehicle located in the field of view of the camera 100.
  • the camera 100 could be mounted at any other suitable location of the vehicle 1.
  • the camera 100 and the computer 200 are implemented by the same physical entity. Alternatively, they could constitute two separate physical entities connected via a link or a communication network of the vehicle 1.
  • the computer 200 is particularly intended to estimate the movement of a point in a sequence of images captured by the camera 100 in order, for example, to reconstruct the three-dimensional environment observed by the vehicle V or the trajectory of the vehicle V to assist the driver in his conduct.
  • An image sequence comprises a succession of time-varying images, generated for example at a number of at least 16 frames per second, for example 16, 24, 25, 30, 50 or 100.
  • the image sequence comprises at least a first image, a second image and a third image.
  • the second image is posterior to the first image and the third image is posterior to the second image.
  • the computer 200 is configured to perform a plurality of tasks for estimating the movement of points represented in the image sequence.
  • the computer 200 comprises for example one or more processors or one or more microcontrollers as well as electronic components making it possible to implement different functions, for example signal filtering, in particular signals received from the camera 100.
  • a point corresponds to a real element of the environment of the vehicle filmed by the camera 100.
  • a point is represented in the images in the form of a pixel or a plurality of pixels.
  • it may be useful to follow points on a traffic sign, a traffic light, a road 2A, a shoulder, a bridge, etc.
  • a point is followed in the image sequence using an optical flow algorithm.
  • optical flow algorithm Several methods can be used to determine the optical flow.
  • An example of a known method, called the Lukas-Kanade method, is based on a least squares minimization algorithm between two consecutive image sections of the image sequence.
  • Lukas-Kanade method is based on a least squares minimization algorithm between two consecutive image sections of the image sequence.
  • any other method of tracking the movement of a point in a sequence of images could be used in the context of the present invention.
  • the computer 200 is first configured to determine in the first image at least a first pixel area corresponding to a point to follow, to determine in the second image a second pixel area corresponding to said point by calculating the optical flow between the first image and the second image from the first determined pixel area, and for determining in the third image a third pixel area corresponding to said point by calculating the optical flow between the second image and the third image from the second determined pixel area.
  • the computer 200 is also configured to determine in the third image a fourth pixel area corresponding to said point by calculating the optical flow between the first image and the third image from the first determined pixel area, and to determine in the third image, a fifth pixel area, referred to as the "refined area", from the determined third pixel area and the determined fourth pixel area.
  • a step E0 the camera 100 first generates a sequence of images representing the environment of the vehicle 1, which it transmits to the computer 200.
  • the so-called extraction noise, generated during the optical flow calculation, can be modeled according to a Gaussian distribution where "mu” corresponds to the average of the distribution and “sigma” corresponds to the standard deviation of the distribution.
  • “mu” corresponds to the position of the point in the image according to its coordinates (u, v) and “sigma” corresponds to the noise generated during the optical flow calculation (du, dv).
  • a step E1 the computer 200 determines (or selects), in the first image, a first pixel area corresponding to a point to follow.
  • the computer 200 determines, in the second image, a second pixel area corresponding to said point by calculating the optical flow between the first image and the second image from the first determined pixel area.
  • the computer 200 determines, in the third image, a third zone of pixels corresponding to said point by calculating the optical flow between the second image and the third image from the determined second pixel zone.
  • a step E4 the computer 200 determines, in the third image, a fourth pixel area corresponding to said point by calculating the optical flow between the first image and the third image from the first determined pixel area.
  • the computer 200 determines, in the third image, a fifth zone of pixels, called “refined zone”, from the determined third pixel area and the determined fourth pixel area, preferably by means of the third pixel area and the fourth pixel area as will be described hereinafter.
  • the first image 0, the second image 1 and the third image 2 are consecutive in the image sequence.
  • first image t and the second image (t + n-1) are not consecutive in the image sequence (n being strictly greater than 2).
  • the image 0 constitutes a reference image and n can be modified to successively use a plurality of consecutive pairs of consecutive images [(t + n-1), (t + n)] in order to refine the process and reduce the noise level while allowing effective tracking of the point.
  • the image 0 can be chosen as being very old in the chronology of the sequence with respect to the pair of consecutive images [(t + n-1), (t + n)] while presenting a high similarity with the image.
  • the position ⁇ 1 difference between the third pixel area and the fourth pixel area can be determined using, for example, in a manner known per se, a Mahalanobis distance (distance standardized by the variances) compared to an uncertainty value. given by a so-called chi-2 distribution with 2 degrees of freedom.
  • the apparent difference ⁇ 2 between the first pixel area and the fourth pixel area can be calculated by determining a signature of each pixel of a zone, by example by using Haar wavelets, and comparing the signatures of the pixels of each of the areas between them to determine if the two pixel areas are sufficiently similar or not.
  • the number of the reference image is annotated with the letter K
  • the current image is denoted n
  • the intermediate images are denoted 2, n-1.
  • M is the case where an area of pixels in a posterior image of the sequence, determined using the optical flow, corresponds to a pixel area of an earlier image from which said optical stream has been calculated.
  • the fourth pixel area determined in the third image corresponds to the first pixel area determined in the first image when the algorithm used for the optical flow gives a valid match, which, for example, in the case of Lukas Kanade , corresponds to a residue of least squares less than a predetermined threshold.
  • F denotes the case where an area of pixels in a posterior image of the sequence, determined using the optical flow, does not correspond to an area of pixels of an earlier image from which said flow has been calculated.
  • optical For example, the determined first pixel area and the determined fourth pixel area do not match when the algorithm used for the optical stream gives an invalid match, which, for example, in the case of Lukas Kanade, corresponds to a residue of least squares greater than a predetermined threshold.
  • FP (Fail but Predicted) is the case where the determined first pixel area and the determined fourth pixel area do not match, but an external index, for example three-dimensional reconstruction from an image prior to the fourth image, makes it possible to establish a prediction of the fourth zone of pixels.
  • the application case illustrated in FIG. 6A corresponds to the case where the position difference ⁇ 1 between the third zone of pixels of the image n obtained from the images 1 K to n-1 and the fourth zone of pixels of the image n obtained directly from the reference image 1 K is less than or equal to the predetermined threshold.
  • the first pixel area (image 1 K) and the fourth pixel area (image n) correspond to each other (M) on the one hand
  • the second pixel area (image n-1) and the third pixel area (image n) correspond to each other (M) on the other hand.
  • the first pixel area of the image 1 and the fourth pixel area of the image n do not correspond to each other (F);
  • the first pixel area of the 2K image and the fourth pixel area (image n) correspond to each other (M) and in this case the second 2K image constitutes the reference image;
  • the second pixel area of the n-1 image and the third pixel area of the n image correspond to each other (M).
  • the first pixel area of the 1 K image and the fourth pixel area of the n image correspond to each other (M);
  • the second pixel area of the n-1 image and the third pixel area of the n image do not correspond to each other but a prediction of the third pixel area exists (FP).
  • prediction is meant here that, thanks to the preceding acquisitions, it is possible to make a prediction of the third zone of pixels, for example using a model in which it is considered that the speed of the camera is constant and that the observed object is static in the scene (model known as "prediction base").
  • the first pixel area of the image 1 and the fourth pixel area of the image n do not correspond to each other (F);
  • the second pixel area of the n-1 image and the third pixel area of the n image do not correspond to each other (F).
  • the second 2K image can be chosen as the reference image.
  • the first pixel area of the 2K image and the fourth pixel area of the n image do not correspond to each other (F);
  • the second pixel area of the image n-1 and the third pixel area of the image n do not correspond to each other (F) because the object has left the image n so it is no longer possible to continue to make matches between the image n and the previous ones.
  • the image n can be discarded to follow the point considered and the process is continued using the following image n + 1.
  • the (M) matches between the images can be used to detect an occlusion. Indeed, when the point is temporarily hidden by another object, the matching algorithm will no longer work. However, it is possible to continue to predict the point followed in order to find it later. An occlusion will display some images for which the process could not match. There was an occlusion of the characteristic during the n-2 and n-1 frames (boxes F in Figure 8). Then, as soon as the point reappears (images n and n + 1), the correspondence can be performed again.
  • the method according to the invention makes it possible to reduce the impact of the noise on the tracking point, which improves in particular the accuracy of monitoring and therefore assistance to driving.
  • the method according to the invention is particularly suitable for tracking points used in a driving assistance system for a motor vehicle. It is also advantageously applicable to point tracking used in radar or lidar type systems.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

The present invention relates to a method for estimating the movement of at least one point in a sequence of images that varies over time, said sequence comprising at least a first image (t), a second image (t+n-1) and a third image (t+n). The method comprises a step of determining, in the third image (t+n), a fourth pixel zone corresponding to said point by calculating the optical flow between the first image (t) and the third image (t+n) from a first predetermined pixel zone, and a step of determining, in the third image (t+n), a fifth pixel zone, referred to as "refined zone", from a third predetermined pixel zone and the fourth predetermined pixel zone.

Description

Procédé d'estimation du mouvement d'un point dans une séquence d'images Method for estimating the motion of a point in a sequence of images
La présente invention se rapporte au domaine du traitement d'images et concerne plus précisément un procédé d'estimation du mouvement d'un point dans une séquence d'images variant dans le temps. The present invention relates to the field of image processing and relates more specifically to a method of estimating the motion of a point in a sequence of images varying in time.
L'invention vise en particulier à suivre un point de manière fiable et précise dans une pluralité d'images consécutives. L'invention s'applique notamment à un véhicule automobile comprenant une caméra embarquée afin, par exemple, de reconstruire en trois dimensions des éléments de l'environnement du véhicule ou bien de déterminer la trajectoire du véhicule.  The invention aims in particular to follow a point reliably and accurately in a plurality of consecutive images. The invention applies in particular to a motor vehicle comprising an on-board camera in order, for example, to reconstruct elements of the vehicle environment in three dimensions or to determine the trajectory of the vehicle.
En traitement d'images, le flot optique est une approximation du mouvement des pixels correspondant à un même objet observé dans une séquence d'images variant dans le temps. Le flot optique permet notamment de suivre un point représenté dans la séquence d'images afin, par exemple, de détecter le mouvement du point dans la séquence d'images, de réaliser une segmentation d'un objet associé au point suivi, de réaliser des calculs de temps de collision entre le véhicule et un objet associé au point suivi (par exemple un autre véhicule), etc.  In image processing, the optical flow is an approximation of the movement of pixels corresponding to the same object observed in a sequence of images varying in time. The optical flow makes it possible, in particular, to follow a point represented in the image sequence in order, for example, to detect the movement of the point in the image sequence, to segment a object associated with the point being tracked, to perform collision time calculations between the vehicle and an object associated with the tracked point (eg another vehicle), etc.
De manière connue, un flot optique correspond au mouvement d'un point entre deux images et s'exprime comme un vecteur de déplacement du point entre lesdites deux images.  In known manner, an optical flow corresponds to the movement of a point between two images and is expressed as a vector for moving the point between said two images.
Dans un véhicule automobile, il est connu d'utiliser le flot optique pour suivre des points dans des images générées par une caméra vidéo montée dans le véhicule. Un tel suivi permet de reconstruire l'environnement tridimensionnel observé par le véhicule ou bien la trajectoire du véhicule afin notamment d'assister le conducteur dans sa conduite. Par exemple, la reconstruction de la trajectoire et/ou de l'environnement tridimensionnel du véhicule permettent respectivement le suivi des lignes de marquage au sol ou la détection d'un obstacle pouvant déclencher un freinage d'urgence du véhicule.  In a motor vehicle, it is known to use the optical flow to track points in images generated by a video camera mounted in the vehicle. Such a follow-up makes it possible to reconstruct the three-dimensional environment observed by the vehicle or the trajectory of the vehicle, in particular to assist the driver in his driving. For example, the reconstruction of the trajectory and / or the three-dimensional environment of the vehicle respectively allow the tracking of the marking lines on the ground or the detection of an obstacle that can trigger an emergency braking of the vehicle.
Plusieurs méthodes peuvent être utilisées pour déterminer le flot optique. Un exemple de méthode connue, intitulée méthode de Lukas-Kanade, est basée sur un algorithme de minimisation au sens des moindres carrés entre deux sections d'images consécutives de la séquence d'images.  Several methods can be used to determine the optical flow. An example of a known method, called the Lukas-Kanade method, is based on a least squares minimization algorithm between two consecutive image sections of the image sequence.
De manière connue, on constate que le niveau d'erreur relatif à la valeur du flot associé à une telle estimation est d'autant plus élevé, c'est-à-dire que la qualité du flot optique est d'autant plus faible, que la vitesse du véhicule est faible ou que le point que l'on suit est éloigné, c'est-à-dire peu dynamique dans la séquence d'images. Aussi, dans ce cas, le suivi d'un point entre deux images peut conduire à déterminer une position erronée de l'objet. En effet, le flot optique d'un point étant estimé entre deux images consécutives, il en résulte que les erreurs sur les flots optiques de plusieurs images consécutives, dans lesquelles on suit un même point, se cumulent au fil des images, entraînant une dérive dans le suivi du point. Ainsi, la reconstruction 3D de l'environnement du véhicule ou la détermination de la trajectoire du véhicule peuvent être significativement erronées de sorte que cela présente un danger important lors de l'assistance à la conduite fournie au conducteur. In a known manner, it can be seen that the level of error relative to the value of the flow associated with such an estimate is all the higher, that is to say that the quality of the optical flow is even lower, that the speed of the vehicle is low or that the point which one follows is distant, that is to say not very dynamic in the sequence of images. Also, in this case, tracking a point between two images may lead to determining an erroneous position of the object. Indeed, the optical flow of a point being estimated between two images consecutive, it follows that the errors on the optical flows of several consecutive images, in which one follows the same point, accumulate over the images, resulting in a drift in the tracking of the point. Thus, the 3D reconstruction of the vehicle environment or the determination of the trajectory of the vehicle can be significantly erroneous so that this presents a significant danger during the driver assistance provided to the driver.
La présente invention vise à remédier en partie à ces inconvénients en proposant une solution fiable et efficace pour réduire la dérive générée par l'accumulation d'erreurs sur les flots optiques calculés pour une séquence d'images et augmenter la précision dans le suivi d'un point dans une séquence d'images.  The present invention aims to remedy in part these drawbacks by proposing a reliable and effective solution to reduce the drift generated by the accumulation of errors on the optical flows calculated for a sequence of images and to increase the accuracy in the tracking of a point in a sequence of images.
A cette fin, l'invention a tout d'abord pour objet un procédé d'estimation du mouvement d'au moins un point dans une séquence d'images variant dans le temps, ladite séquence comprenant au moins une première image, une deuxième image et une troisième image, la deuxième image étant postérieure à la première image et la troisième image étant postérieure à la deuxième image, le procédé comprenant :  To this end, the invention firstly relates to a method for estimating the movement of at least one point in a sequence of images varying in time, said sequence comprising at least a first image, a second image and a third image, the second image being posterior to the first image and the third image being posterior to the second image, the method comprising:
• une étape de détermination, dans la première image, d'au moins une première zone de pixels correspondant à un point à suivre,  A step of determining, in the first image, at least a first pixel area corresponding to a point to follow,
• une étape de détermination, dans la deuxième image, d'une deuxième zone de pixels correspondant audit point en calculant le flot optique entre la première image et la deuxième image à partir de la première zone de pixels déterminée, A step of determining, in the second image, a second zone of pixels corresponding to said point by calculating the optical flow between the first image and the second image from the first determined pixel zone,
• une étape de détermination, dans la troisième image, d'une troisième zone de pixels correspondant audit point en calculant le flot optique entre la deuxième image et la troisième image à partir de la deuxième zone de pixels déterminée. Le procédé est remarquable en ce qu'il comprend en outre : A step of determining, in the third image, a third zone of pixels corresponding to said point by calculating the optical flow between the second image and the third image from the determined second pixel zone. The process is remarkable in that it further comprises:
· une étape de détermination, dans la troisième image, d'une quatrième zone de pixels correspondant audit point en calculant le flot optique entre la première image et la troisième image à partir de la première zone de pixels déterminée et A step of determining, in the third image, a fourth zone of pixels corresponding to said point by calculating the optical flow between the first image and the third image from the first determined pixel zone and
• une étape de détermination, dans la troisième image, d'une cinquième zone de pixels, dite « zone affinée », à partir de la troisième zone de pixels déterminée et de la quatrième zone de pixels déterminée. A step of determining, in the third image, a fifth zone of pixels, called "refined zone", from the determined third pixel zone and the determined fourth pixel zone.
Ainsi, en utilisant une pluralité de flots optiques calculés au moins à partir de trois images différentes pour déterminer la position du point dans la troisième image, le procédé selon l'invention permet d'éviter le cumul des erreurs d'estimation de flots optiques successifs qui est obtenu lors du suivi seulement basé sur des estimations de flots optiques entre paires d'images successives. De préférence, la détermination de la cinquième zone de pixels est réalisée en moyennant la troisième zone de pixels déterminée et la quatrième zone de pixels déterminée. Thus, by using a plurality of optical flows calculated at least from three different images to determine the position of the point in the third image, the method according to the invention makes it possible to avoid the accumulation of errors in estimating successive optical flows. which is obtained during monitoring only based on estimates of optical flows between successive image pairs. Preferably, the determination of the fifth pixel area is performed by averaging the determined third pixel area and the determined fourth pixel area.
Dans un mode de réalisation, les trois images sont consécutives dans la séquence d'images.  In one embodiment, the three images are consecutive in the image sequence.
En variante, des images intermédiaires peuvent exister entre la première et/ou la deuxième image et/ou la troisième image et le procédé peut alors comprendre une étape supplémentaire d'estimation du flot optique entre cette image supplémentaire et au moins deux des trois images mentionnées précédemment, donnant ainsi une nouvelle mesure de la position du point dans la troisième image.  As a variant, intermediate images may exist between the first and / or the second image and / or the third image and the method may then comprise an additional step of estimating the optical flow between this additional image and at least two of the three images mentioned. previously, thus giving a new measure of the position of the point in the third image.
De manière avantageuse, la deuxième image et la troisième image sont consécutives dans la séquence d'images.  Advantageously, the second image and the third image are consecutive in the image sequence.
Dans un mode de réalisation, la première image, la deuxième image et la troisième image sont consécutives dans la séquence d'images.  In one embodiment, the first image, the second image, and the third image are consecutive in the image sequence.
Selon un aspect de l'invention, le procédé comprend une étape de stockage de la première zone de pixels.  According to one aspect of the invention, the method comprises a step of storing the first pixel area.
Selon un aspect de l'invention, le procédé comprend une étape de stockage de la deuxième zone de pixels,  According to one aspect of the invention, the method comprises a step of storing the second pixel zone,
Selon un aspect de l'invention, le procédé comprend une étape de stockage de la troisième zone de pixels.  According to one aspect of the invention, the method comprises a step of storing the third pixel area.
Selon un aspect de l'invention, le procédé comprend une étape de stockage de la quatrième zone de pixels.  According to one aspect of the invention, the method comprises a step of storing the fourth pixel area.
Selon un aspect de l'invention, le procédé comprend une étape de stockage de la cinquième zone de pixels.  According to one aspect of the invention, the method comprises a step of storing the fifth pixel area.
Dans un mode de réalisation, la première zone de pixels constitue une zone de pixels de référence servant de base à la détermination d'une pluralité de troisièmes zones de pixels et de quatrièmes zones de pixels différentes à partir d'une pluralité de deuxièmes images et de troisièmes images différentes.  In one embodiment, the first pixel area constitutes a reference pixel area that serves as a basis for determining a plurality of third pixel areas and fourth pixel areas from a plurality of second images and third different images.
Avantageusement, la zone de pixels de référence est utilisée tant que la distance entre la troisième zone de pixels et la quatrième zone de pixels est inférieure à un seuil de distance prédéterminé.  Advantageously, the reference pixel area is used as long as the distance between the third pixel area and the fourth pixel area is less than a predetermined distance threshold.
De préférence, le seuil de distance prédéterminé correspond au niveau de bruit de la troisième image.  Preferably, the predetermined distance threshold corresponds to the noise level of the third image.
La distance entre la troisième zone de pixels et la quatrième zone de pixels peut être déterminée en utilisant une distance de Mahalanobis (distance normalisée par les variances) comparée à une valeur d'incertitude donnée par une distribution dite de chi-2 (« chi carré ») à 2 degrés de liberté. Avantageusement encore, la distance entre la troisième zone de pixels et la quatrième zone de pixels étant inférieure au seuil prédéterminé, la zone de pixels de référence est utilisée tant que l'apparence entre la première zone de pixels et la quatrième zone de pixels est similaire. The distance between the third zone of pixels and the fourth zone of pixels can be determined by using a Mahalanobis distance (distance standardized by the variances) compared to an uncertainty value given by a so-called chi-2 distribution ("chi squared"). ") At 2 degrees of freedom. Advantageously, the distance between the third pixel zone and the fourth pixel zone being less than the predetermined threshold, the reference pixel area is used as long as the appearance between the first pixel area and the fourth pixel area is similar. .
Par le terme « similaire », on entend que les pixels de la première zone de pixels et les pixels de la quatrième zone de pixels sont proches en termes de valeurs.  By the term "similar" is meant that the pixels of the first pixel area and the pixels of the fourth pixel area are close in terms of values.
Dans un mode de réalisation, la similarité entre l'apparence de la première zone de pixels et l'apparence de la quatrième zone de pixels est estimée en calculant des signatures basées sur des ondelettes de Haar sur la première zone de pixels et sur la quatrième zone de pixels, et en comparant respectivement lesdites signatures des pixels de chacune des zones entre elles pour déterminer si les deux zones de pixels se ressemblent suffisamment ou non. En variante, tout autre moyen adapté pour déterminer et comparer l'apparence de la première zone de pixels et l'apparence de la quatrième zone de pixels pourrait être utilisé.  In one embodiment, the similarity between the appearance of the first pixel area and the appearance of the fourth pixel area is estimated by computing signatures based on Haar wavelets on the first pixel area and on the fourth pixel area. pixel area, and respectively comparing said signatures of the pixels of each of the areas between them to determine whether the two pixel areas are sufficiently similar or not. Alternatively, any other means suitable for determining and comparing the appearance of the first pixel area and the appearance of the fourth pixel area could be used.
Selon un aspect de l'invention, le procédé comprend en outre une étape de détection d'un défaut d'estimation du point entre deux images de la séquence, un tel défaut pouvant notamment correspondre à une occultation du point réel par un objet ou une disparition temporaire dudit point.  According to one aspect of the invention, the method further comprises a step of detecting a lack of estimation of the point between two images of the sequence, such a defect notably being able to correspond to an occultation of the real point by an object or a temporary disappearance of that point.
L'invention concerne également un calculateur pour véhicule automobile, destiné à estimer le mouvement d'au moins un point dans une séquence d'images variant dans le temps générée par une caméra montée dans ledit véhicule, ladite séquence comprenant au moins une première image, une deuxième image et une troisième image, la deuxième image étant postérieure à la première image et la troisième image étant postérieure à la deuxième image. Le calculateur est configuré pour déterminer :  The invention also relates to a calculator for a motor vehicle, intended to estimate the movement of at least one point in a sequence of time-varying images generated by a camera mounted in said vehicle, said sequence comprising at least a first image, a second image and a third image, the second image being posterior to the first image and the third image being posterior to the second image. The calculator is configured to determine:
· dans la première image, au moins une première zone de pixels correspondant à un point à suivre,  In the first image, at least a first pixel area corresponding to a point to follow,
• dans la deuxième image, une deuxième zone de pixels correspondant audit point en calculant le flot optique entre la première image et la deuxième image à partir de la première zone de pixels déterminée,  In the second image, a second zone of pixels corresponding to said point by calculating the optical flow between the first image and the second image from the first determined pixel area,
· dans la troisième image, une troisième zone de pixels correspondant audit point en calculant le flot optique entre la deuxième image et la troisième image à partir de la deuxième zone de pixels déterminée. Le calculateur est remarquable en ce qu'il est en outre configuré pour déterminer :  In the third image, a third zone of pixels corresponding to said point by calculating the optical flow between the second image and the third image from the determined second pixel zone. The calculator is remarkable in that it is further configured to determine:
• dans la troisième image, une quatrième zone de pixels correspondant audit point en calculant le flot optique entre la première image et la troisième image à partir de la première zone de pixels déterminée, et • dans la troisième image, une cinquième zone de pixels, dite « zone affinée », à partir de la troisième zone de pixels déterminée et de la quatrième zone de pixels déterminée. In the third image, a fourth pixel zone corresponding to said point by calculating the optical flow between the first image and the third image from the first determined pixel zone, and In the third image, a fifth pixel area, referred to as the "refined area", from the determined third pixel area and the determined fourth pixel area.
L'invention concerne enfin un véhicule automobile comprenant une caméra et un calculateur, tel que présenté précédemment, relié à ladite caméra de manière à recevoir au moins une séquence d'images capturée par la caméra afin d'estimer le mouvement d'au moins un point dans ladite séquence et permettre une assistance à la conduite du véhicule.  The invention finally relates to a motor vehicle comprising a camera and a computer, as presented above, connected to said camera so as to receive at least one sequence of images captured by the camera in order to estimate the movement of at least one point in said sequence and allow assistance in driving the vehicle.
La figure 1 illustre schématiquement un exemple de véhicule selon l'invention.  Figure 1 schematically illustrates an example of a vehicle according to the invention.
La figure 2 illustre schématiquement un mode de réalisation du procédé selon l'invention.  Figure 2 schematically illustrates an embodiment of the method according to the invention.
La figure 3 illustre schématiquement un exemple de mise en œuvre du procédé selon l'invention à trois images consécutives.  FIG. 3 schematically illustrates an exemplary implementation of the method according to the invention with three consecutive images.
La figure 4 illustre schématiquement un exemple de mise en œuvre du procédé selon l'invention à trois images non-consécutives.  FIG. 4 schematically illustrates an exemplary implementation of the method according to the invention with three non-consecutive images.
La figure 5 illustre schématiquement des estimations de flot optique successives entre une image t et une image t+n.  Figure 5 schematically illustrates successive optical flow estimates between an image t and an image t + n.
La figure 6A illustre un premier exemple d'application.  Figure 6A illustrates a first example of application.
La figure 6B illustre un deuxième exemple d'application.  Figure 6B illustrates a second example of application.
La figure 6C illustre un troisième exemple d'application.  Fig. 6C illustrates a third exemplary application.
La figure 6D illustre un quatrième exemple d'application.  Figure 6D illustrates a fourth application example.
La figure 6E illustre un cinquième exemple d'application.  Figure 6E illustrates a fifth example of application.
La figure 6F illustre un sixième exemple d'application.  Figure 6F illustrates a sixth exemplary application.
La figure 6G illustre un septième exemple d'application.  Figure 6G illustrates a seventh example of application.
La figure 7 illustre schématiquement les estimations de tous les flots optiques successives entre une image t et une image t+n.  Figure 7 schematically illustrates the estimates of all successive optical flows between an image t and an image t + n.
La figure 8 illustre un huitième exemple d'application.  Figure 8 illustrates an eighth example of application.
On a représenté à la figure 1 un exemple de véhicule V selon l'invention. Le véhicule V comprend un système 10 d'aide à la conduite comportant une caméra 100 montée dans le véhicule V et un calculateur 200 permettant le traitement des images capturées par ladite caméra 100.  FIG. 1 shows an example of vehicle V according to the invention. The vehicle V comprises a driver assistance system 10 comprising a camera 100 mounted in the vehicle V and a computer 200 for processing the images captured by said camera 100.
La caméra 100 peut par exemple être une caméra de type monoculaire qui peut être montée sur la partie supérieure du pare-brise avant 1 A du véhicule V de manière à filmer la route 2A sur laquelle circule le véhicule V ainsi que l'environnement E du véhicule situé dans le champ de vision de la caméra 100. On notera cependant que la caméra 100 pourrait être montée à n'importe quel autre endroit adapté du véhicule 1 . De préférence, la caméra 100 et le calculateur 200 sont mis en œuvre par une même entité physique. En variante, ils pourraient constituer deux entités physiques distinctes reliées via un lien ou un réseau de communication du véhicule 1. The camera 100 may for example be a monocular-type camera that can be mounted on the upper part of the front windshield 1 A of the vehicle V so as to film the road 2A on which the vehicle V and the environment E of the vehicle vehicle located in the field of view of the camera 100. Note however that the camera 100 could be mounted at any other suitable location of the vehicle 1. Preferably, the camera 100 and the computer 200 are implemented by the same physical entity. Alternatively, they could constitute two separate physical entities connected via a link or a communication network of the vehicle 1.
Le calculateur 200 est notamment destiné à estimer le mouvement d'un point dans une séquence d'images capturée par la caméra 100 afin par exemple de reconstruire l'environnement tridimensionnel observé par le véhicule V ou bien la trajectoire du véhicule V pour assister le conducteur dans sa conduite.  The computer 200 is particularly intended to estimate the movement of a point in a sequence of images captured by the camera 100 in order, for example, to reconstruct the three-dimensional environment observed by the vehicle V or the trajectory of the vehicle V to assist the driver in his conduct.
Une séquence d'images comprend une succession d'images variant dans le temps, générées par exemple à un nombre d'au moins 16 images par seconde, par exemple 16, 24, 25, 30, 50 ou 100.  An image sequence comprises a succession of time-varying images, generated for example at a number of at least 16 frames per second, for example 16, 24, 25, 30, 50 or 100.
En référence aux figures 3 à 5, la séquence d'images comprend au moins une première image, une deuxième image et une troisième image. La deuxième image est postérieure à la première image et la troisième image est postérieure à la deuxième image.  With reference to FIGS. 3 to 5, the image sequence comprises at least a first image, a second image and a third image. The second image is posterior to the first image and the third image is posterior to the second image.
Dans l'exemple de la figure 3, les trois images (t, t+1 , t+2) sont consécutives. In the example of FIG. 3, the three images (t, t + 1, t + 2) are consecutive.
Dans l'exemple plus général des figures 4 et 5, où n est un entier naturel strictement supérieur à 1 , les trois images (t, t+n-1 , t+n) sont consécutives lorsque n=2 et non- consécutives lorsque n est strictement supérieur à 2. In the more general example of FIGS. 4 and 5, where n is a natural integer strictly greater than 1, the three images (t, t + n-1, t + n) are consecutive when n = 2 and non-consecutive when n is strictly greater than 2.
Le calculateur 200 est configuré pour réaliser une pluralité de tâches permettant d'estimer le mouvement de points représentés dans la séquence d'images. A cette fin, le calculateur 200 comprend par exemple un ou plusieurs processeurs ou un ou plusieurs microcontrôleurs ainsi que des composants électroniques permettant de mettre en œuvre différentes fonctions, par exemple de filtrage de signaux, notamment des signaux reçus de la caméra 100.  The computer 200 is configured to perform a plurality of tasks for estimating the movement of points represented in the image sequence. For this purpose, the computer 200 comprises for example one or more processors or one or more microcontrollers as well as electronic components making it possible to implement different functions, for example signal filtering, in particular signals received from the camera 100.
Un point correspond à un élément réel de l'environnement du véhicule filmé par la caméra 100. Un point est représenté dans les images sous la forme d'un pixel ou d'une pluralité de pixels. Par exemple, dans le cadre de l'assistance à la conduite du véhicule 1 , il peut être utile de suivre des points situés sur un panneau de signalisation, sur un feu de signalisation, une route 2A, un accotement, un pont, etc.  A point corresponds to a real element of the environment of the vehicle filmed by the camera 100. A point is represented in the images in the form of a pixel or a plurality of pixels. For example, when assisting with the driving of the vehicle 1, it may be useful to follow points on a traffic sign, a traffic light, a road 2A, a shoulder, a bridge, etc.
Dans la suite on présentera le suivi du mouvement d'un point dans une séquence d'images, mais il va de soi que plusieurs points pourraient être suivis en même temps en dupliquant la méthode décrite ci-après.  In the following we will present the tracking of the movement of a point in a sequence of images, but it goes without saying that several points could be followed at the same time by duplicating the method described below.
Un point est suivi dans la séquence d'image en utilisant un algorithme de flot optique. Plusieurs méthodes peuvent être utilisées pour déterminer le flot optique. Un exemple de méthode connue, intitulée méthode de Lukas-Kanade, est basée sur un algorithme de minimisation au sens des moindres carrés entre deux sections d'images consécutives de la séquence d'images. Toutefois, il va de soi que toute autre méthode de suivi du mouvement d'un point dans une séquence d'images pourrait être utilisée dans le cadre de la présente invention. A point is followed in the image sequence using an optical flow algorithm. Several methods can be used to determine the optical flow. An example of a known method, called the Lukas-Kanade method, is based on a least squares minimization algorithm between two consecutive image sections of the image sequence. However, it goes without saying that any other method of tracking the movement of a point in a sequence of images could be used in the context of the present invention.
Afin de suivre le mouvement d'un point dans une séquence d'images, le calculateur 200 est tout d'abord configuré pour déterminer dans la première image au moins une première zone de pixels correspondant à un point à suivre, pour déterminer dans la deuxième image une deuxième zone de pixels correspondant audit point en calculant le flot optique entre la première image et la deuxième image à partir de la première zone de pixels déterminée, et pour déterminer dans la troisième image une troisième zone de pixels correspondant audit point en calculant le flot optique entre la deuxième image et la troisième image à partir de la deuxième zone de pixels déterminée.  In order to follow the movement of a point in a sequence of images, the computer 200 is first configured to determine in the first image at least a first pixel area corresponding to a point to follow, to determine in the second image a second pixel area corresponding to said point by calculating the optical flow between the first image and the second image from the first determined pixel area, and for determining in the third image a third pixel area corresponding to said point by calculating the optical flow between the second image and the third image from the second determined pixel area.
De manière remarquable, le calculateur 200 est également configuré pour déterminer dans la troisième image une quatrième zone de pixels correspondant audit point en calculant le flot optique entre la première image et la troisième image à partir de la première zone de pixels déterminée, et pour déterminer dans la troisième image une cinquième zone de pixels, dite « zone affinée » , à partir de la troisième zone de pixels déterminée et de la quatrième zone de pixels déterminée.  Remarkably, the computer 200 is also configured to determine in the third image a fourth pixel area corresponding to said point by calculating the optical flow between the first image and the third image from the first determined pixel area, and to determine in the third image, a fifth pixel area, referred to as the "refined area", from the determined third pixel area and the determined fourth pixel area.
L'invention va maintenant être décrite dans sa mise en œuvre en référence à la figure 2.  The invention will now be described in its implementation with reference to FIG.
Dans une étape E0, la caméra 100 génère tout d'abord une séquence d'images représentant l'environnement du véhicule 1 , qu'elle transmet au calculateur 200.  In a step E0, the camera 100 first generates a sequence of images representing the environment of the vehicle 1, which it transmits to the computer 200.
Le bruit, dit d'extraction, généré lors du calcul de flot optique, peut être modélisé selon une distribution Gaussienne où « mu » correspond à la moyenne de la distribution et « sigma » correspond à l'écart-type de la distribution. En pratique, « mu » correspond à la position du point dans l'image selon ses coordonnées (u, v) et « sigma » correspond au bruit généré lors du calcul de flot optique (du, dv).  The so-called extraction noise, generated during the optical flow calculation, can be modeled according to a Gaussian distribution where "mu" corresponds to the average of the distribution and "sigma" corresponds to the standard deviation of the distribution. In practice, "mu" corresponds to the position of the point in the image according to its coordinates (u, v) and "sigma" corresponds to the noise generated during the optical flow calculation (du, dv).
On note ainsi, en référence aux figures 3 et 4 :  It is thus noted, with reference to FIGS. 3 and 4:
• (muoj , sigma0_i ) le couple de moyenne et d'écart-type calculé entre une image 0 et une image 1 , • (muoj, sigma 0 _i) the pair of mean and standard deviation calculated between an image 0 and an image 1,
• (mui 2, sigmai 2) le couple de moyenne et d'écart-type calculé entre une image 1 et une image 2, • (mui 2 , sigmai 2 ) the pair of mean and standard deviation calculated between an image 1 and an image 2,
• (mu(n-i)_n, sigma(n-i)_n) le couple de moyenne et d'écart-type calculé entre une image (t+n-1 ) et une image (t+n), etc. • (mu ( n -i) _n, sigma (ni) _n) the pair of mean and standard deviation calculated between an image (t + n-1) and an image (t + n), etc.
On note alors :
Figure imgf000009_0001
le couple de moyenne et d'écart-type calculé entre une image (t) et une image (t-n). We then note:
Figure imgf000009_0001
the pair of mean and standard deviation calculated between an image (t) and an image (tn).
Dans une étape E1 , le calculateur 200 détermine (ou sélectionne), dans la première image, une première zone de pixels correspondant à un point à suivre.  In a step E1, the computer 200 determines (or selects), in the first image, a first pixel area corresponding to a point to follow.
Dans une étape E2, le calculateur 200 détermine, dans la deuxième image, une deuxième zone de pixels correspondant audit point en calculant le flot optique entre la première image et la deuxième image à partir de la première zone de pixels déterminée.  In a step E2, the computer 200 determines, in the second image, a second pixel area corresponding to said point by calculating the optical flow between the first image and the second image from the first determined pixel area.
Dans une étape E3, le calculateur 200 détermine, dans la troisième image, une troisième zone de pixels correspondant audit point en calculant le flot optique entre la deuxième image et la troisième image à partir de la deuxième zone de pixels déterminée.  In a step E3, the computer 200 determines, in the third image, a third zone of pixels corresponding to said point by calculating the optical flow between the second image and the third image from the determined second pixel zone.
Dans une étape E4, le calculateur 200 détermine, dans la troisième image, une quatrième zone de pixels correspondant audit point en calculant le flot optique entre la première image et la troisième image à partir de la première zone de pixels déterminée.  In a step E4, the computer 200 determines, in the third image, a fourth pixel area corresponding to said point by calculating the optical flow between the first image and the third image from the first determined pixel area.
Enfin, dans une étape E5, le calculateur 200 détermine, dans la troisième image, une cinquième zone de pixels, dite « zone affinée », à partir de la troisième zone de pixels déterminée et de la quatrième zone de pixels déterminée, de préférence en moyennant la troisième zone de pixels et la quatrième zone de pixels comme cela sera décrit ci-après.  Finally, in a step E5, the computer 200 determines, in the third image, a fifth zone of pixels, called "refined zone", from the determined third pixel area and the determined fourth pixel area, preferably by means of the third pixel area and the fourth pixel area as will be described hereinafter.
Mise en œuyre 1 : trois images consécutives dans la séquence d'images  Applying 1: three consecutive images in the image sequence
Dans un premier exemple de mise en œuvre, la première image 0, la deuxième image 1 et la troisième image 2 sont consécutives dans la séquence d'images.  In a first exemplary implementation, the first image 0, the second image 1 and the third image 2 are consecutive in the image sequence.
En référence à la figure 3, on a alors : m. »Q_i.2f s igm.a0_i 2) =With reference to FIG. 3, we then have: m. Q _ i. 2 f s igm.a 0 _ i 2 ) =
Figure imgf000010_0001
Figure imgf000010_0001
qui représente la troisième zone de pixels et l'écart-type correspondant, et which represents the third pixel area and the corresponding standard deviation, and
(mu0 Z, siijm.a0 2) (mu 0 Z , siijm.a 0 2 )
qui représente la quatrième zone de pixels et l'écart-type correspondant. which represents the fourth pixel area and the corresponding standard deviation.
On en déduit alors : m ltl f rames siqm aa We then deduce: m ltl f rames siqm a a
l sifima0 1 2~ sifjma0 m«0_u , m multif rames jnuv 2 = xûtif rames _slam .0 * I —— l sifima 0 1 2 ~ sifjma 0 m « 0 _ u, m multi rames jnu v 2 = xive rames _slam. 0 * I -
\sigma0 i - sigma0 2 ..< qui représentent la cinquième zone de pixels et l'écart-type correspondant. Mise en œuyre 2 : trois images non nécessairement consécutives dans la séquence d'images \ sigma 0 i - sigma 0 2. which represent the fifth pixel area and the corresponding standard deviation. Implementation 2: three images that are not necessarily consecutive in the image sequence
Dans un deuxième exemple de mise en œuvre, on considère que la première image t et la deuxième image (t+n-1 ) ne sont pas consécutives dans la séquence d'images (n étant alors strictement supérieur à 2).  In a second example of implementation, it is considered that the first image t and the second image (t + n-1) are not consecutive in the image sequence (n being strictly greater than 2).
En référence à la figure 4, on a alors :  With reference to FIG. 4, we then have:
«"½_(«- !)_« =
Figure imgf000011_0001
+ mu(n_1}_n) } sigm a0jn→-)_rt = ( j multif rames _sigm «½_,-»_ i + igma,,^ ^ multif rames_sigm.a0 n = î-"" ½_ (" - !) _ " =
Figure imgf000011_0001
+ Mu (n _ 1 _} n)} has sigm 0JN → -) _ rt = (j multifilament rowing _sigm "½ _, -" _ i + IGMA ,, ^ ^ 0 n = multifilament rames_sigm.a I-
- + - +
i sigm α0_(„.-ι;_, sigm g_ i sigm α 0 _ ( ".-ι; _, sigm g _
multif rames m ■iu0 n = m ulti f rames _si a ma0„ *multifarious racks m ■ iu 0 n = m ulti f rames _si a ma 0 "*
Figure imgf000011_0002
Dans ce mode de réalisation, l'image 0 constitue une image de référence et n peut être modifié pour utiliser successivement une pluralité de couples d'images consécutives [(t+n-1 ), (t+n)] différentes afin d'affiner le procédé et réduire le niveau de bruit tout en permettant un suivi efficace du point.
Figure imgf000011_0002
In this embodiment, the image 0 constitutes a reference image and n can be modified to successively use a plurality of consecutive pairs of consecutive images [(t + n-1), (t + n)] in order to refine the process and reduce the noise level while allowing effective tracking of the point.
Notamment, l'image 0 peut être choisie comme étant très ancienne dans la chronologie de la séquence par rapport au couple d'images consécutives [(t+n-1 ), (t+n)] tout en présentant une similarité élevée avec l'image courante utilisée (t+n), c'est-à-dire (en référence à la figure 5) que l'écart Δ de position entre la troisième zone de pixels et la quatrième zone de pixels est faible.  In particular, the image 0 can be chosen as being very old in the chronology of the sequence with respect to the pair of consecutive images [(t + n-1), (t + n)] while presenting a high similarity with the image. current image used (t + n), i.e. (with reference to FIG. 5), that the position difference Δ between the third pixel area and the fourth pixel area is small.
Lorsque l'écart Δ1 de position entre la troisième zone de pixels et la quatrième zone de pixels dépasse un seuil de distance prédéterminé ou que l'écart d'apparence Δ2 entre la première zone de pixels et la quatrième zone de pixels dépasse un seuil d'apparence prédéterminé, une autre image de la séquence peut être choisie comme image de référence.  When the position difference Δ1 between the third pixel area and the fourth pixel area exceeds a predetermined distance threshold or the appearance difference Δ2 between the first pixel area and the fourth pixel area exceeds a threshold of predetermined appearance, another image of the sequence may be chosen as the reference image.
L'écart Δ1 de position entre la troisième zone de pixels et la quatrième zone de pixels peut être déterminé en utilisant par exemple, de manière connue en soi, une distance de Mahalanobis (distance normalisée par les variances) comparée à une valeur d'incertitude donnée par une distribution dite de chi-2 à 2 degrés de liberté.  The position Δ1 difference between the third pixel area and the fourth pixel area can be determined using, for example, in a manner known per se, a Mahalanobis distance (distance standardized by the variances) compared to an uncertainty value. given by a so-called chi-2 distribution with 2 degrees of freedom.
L'écart Δ2 d'apparence entre la première zone de pixels et la quatrième zone de pixels peut être calculé en déterminant une signature de chaque pixel d'une zone, par exemple en utilisant des ondelettes de Haar, et en comparant les signatures des pixels de chacune des zones entre elles pour déterminer si les deux zones de pixels se ressemblent suffisamment ou non. The apparent difference Δ2 between the first pixel area and the fourth pixel area can be calculated by determining a signature of each pixel of a zone, by example by using Haar wavelets, and comparing the signatures of the pixels of each of the areas between them to determine if the two pixel areas are sufficiently similar or not.
Cas d'application  Application case
Dans les exemples donnés ci-après, le numéro de l'image de référence est annoté avec la lettre K, l'image courante est notée n et les images intermédiaires sont notées 2, n-1 .  In the examples given below, the number of the reference image is annotated with the letter K, the current image is denoted n and the intermediate images are denoted 2, n-1.
On note M (Match) le cas où une zone de pixels dans une image postérieure de la séquence, déterminée en utilisant le flot optique, correspond à une zone de pixels d'une image antérieure à partir de laquelle a été calculé ledit flot optique. Par exemple, la quatrième zone de pixels déterminée dans la troisième image correspond à la première zone de pixels déterminée dans la première image lorsque l'algorithme utilisé pour le flot optique donne une correspondance valide, ce qui par exemple, dans le cas du Lukas Kanade, correspond à un résidu des moindre carrés inférieur à un seuil prédéterminé.  M (Match) is the case where an area of pixels in a posterior image of the sequence, determined using the optical flow, corresponds to a pixel area of an earlier image from which said optical stream has been calculated. For example, the fourth pixel area determined in the third image corresponds to the first pixel area determined in the first image when the algorithm used for the optical flow gives a valid match, which, for example, in the case of Lukas Kanade , corresponds to a residue of least squares less than a predetermined threshold.
On note F (Fail) le cas où une zone de pixels dans une image postérieure de la séquence, déterminée en utilisant le flot optique, ne correspond pas à une zone de pixels d'une image antérieure à partir de laquelle a été calculé ledit flot optique. Par exemple, la première zone de pixels déterminée et la quatrième zone de pixels déterminée ne correspondent pas lorsque l'algorithme utilisé pour le flot optique donne une correspondance invalide, ce qui par exemple, dans le cas du Lukas Kanade, correspond à un résidu des moindre carrés supérieur à un seuil prédéterminé.  F (Fail) denotes the case where an area of pixels in a posterior image of the sequence, determined using the optical flow, does not correspond to an area of pixels of an earlier image from which said flow has been calculated. optical. For example, the determined first pixel area and the determined fourth pixel area do not match when the algorithm used for the optical stream gives an invalid match, which, for example, in the case of Lukas Kanade, corresponds to a residue of least squares greater than a predetermined threshold.
On note FP (Fail but Predicted) le cas où la première zone de pixels déterminée et la quatrième zone de pixels déterminée ne correspondent pas, mais qu'un indice extérieur, par exemple la reconstruction tridimensionnelle à partir d'une image antérieure à la quatrième image, permet d'établir une prédiction de la quatrième zone de pixels.  FP (Fail but Predicted) is the case where the determined first pixel area and the determined fourth pixel area do not match, but an external index, for example three-dimensional reconstruction from an image prior to the fourth image, makes it possible to establish a prediction of the fourth zone of pixels.
Exemple A  Example A
Le cas d'application illustré à la figure 6A correspond au cas pour lequel l'écart Δ1 de position entre la troisième zone de pixels de l'image n obtenue à partir des images 1 K à n-1 et la quatrième zone de pixels de l'image n obtenue directement à partir de l'image de référence 1 K est inférieur ou égal au seuil prédéterminé.  The application case illustrated in FIG. 6A corresponds to the case where the position difference Δ1 between the third zone of pixels of the image n obtained from the images 1 K to n-1 and the fourth zone of pixels of the image n obtained directly from the reference image 1 K is less than or equal to the predetermined threshold.
Dans ce cas, la première zone de pixels (image 1 K) et la quatrième zone de pixels (image n) correspondent entre elles (M) d'une part, et la deuxième zone de pixels (image n-1 ) et la troisième zone de pixels (image n) correspondent entre elles (M) d'autre part. Exemple B In this case, the first pixel area (image 1 K) and the fourth pixel area (image n) correspond to each other (M) on the one hand, and the second pixel area (image n-1) and the third pixel area (image n) correspond to each other (M) on the other hand. Example B
Dans le cas d'application illustré à la figure 6B :  In the case of application illustrated in FIG. 6B:
• la première zone de pixels de l'image 1 et la quatrième zone de pixels de l'image n ne correspondent pas entre elles (F) ;  The first pixel area of the image 1 and the fourth pixel area of the image n do not correspond to each other (F);
« la première zone de pixels de l'image 2K et la quatrième zone de pixels (image n) correspondent entre elles (M) et dans ce cas, la deuxième image 2K constitue l'image de référence ;  The first pixel area of the 2K image and the fourth pixel area (image n) correspond to each other (M) and in this case the second 2K image constitutes the reference image;
• la deuxième zone de pixels de l'image n-1 et la troisième zone de pixels de l'image n correspondent entre elles (M).  The second pixel area of the n-1 image and the third pixel area of the n image correspond to each other (M).
Exemple C  Example C
Dans le cas d'application illustré à la figure 6C :  In the case of application illustrated in FIG. 6C:
• la première zone de pixels de l'image 1 K et la quatrième zone de pixels de l'image n correspondent entre elles (M) ;  The first pixel area of the 1 K image and the fourth pixel area of the n image correspond to each other (M);
• la deuxième zone de pixels de l'image n-1 et la troisième zone de pixels de l'image n ne correspondent pas entre elles mais une prédiction de la troisième zone de pixels existe (FP). Par le terme « prédiction », on entend ici que, grâce aux acquisitions précédentes, il est possible de faire une prédiction de la troisième zone de pixels, par exemple à l'aide d'un modèle dans lequel on considère que la vitesse de la caméra est constante et que l'objet observé est statique dans la scène (modèle connu sous le nom de « base prédiction »).  The second pixel area of the n-1 image and the third pixel area of the n image do not correspond to each other but a prediction of the third pixel area exists (FP). By the term "prediction" is meant here that, thanks to the preceding acquisitions, it is possible to make a prediction of the third zone of pixels, for example using a model in which it is considered that the speed of the camera is constant and that the observed object is static in the scene (model known as "prediction base").
Exemple D  Example D
Dans le cas d'application illustré à la figure 6D :  In the case of application illustrated in Figure 6D:
• la première zone de pixels de l'image 1 et la quatrième zone de pixels de l'image n ne correspondent pas entre elles (F) ;  The first pixel area of the image 1 and the fourth pixel area of the image n do not correspond to each other (F);
· la deuxième zone de pixels de l'image n-1 et la troisième zone de pixels de l'image n ne correspondent pas entre elles (F).  The second pixel area of the n-1 image and the third pixel area of the n image do not correspond to each other (F).
Dans ce cas, on peut soit arrêter de suivre le point, soit faire de la prédiction 2D (c'est-à-dire en utilisant un modèle basé sur l'image) ou 3D (c'est-à- dire utilisant un modèle considérant l'objet dans son espace réel).  In this case, you can either stop following the point, or do 2D prediction (that is, using an image-based model) or 3D (that is, using a model). considering the object in its real space).
Exemple E  Example E
Dans le cas d'application illustré à la figure 6E, il n'est pas possible de déterminer la quatrième zone de pixels dans l'image n à partir de la première zone de pixels de l'image 1 , par exemple parce que la quatrième zone de pixels apparaît hors de l'image n. Dans ce cas, la deuxième image 2K peut être choisie comme image de référence. Dans cet exemple : In the case of application illustrated in FIG. 6E, it is not possible to determine the fourth zone of pixels in the image n from the first pixel area of the image 1, for example because the fourth pixel area appears out of the image n. In this case, the second 2K image can be chosen as the reference image. In this example:
• la première zone de pixels de l'image 2K et la quatrième zone de pixels de l'image n ne correspondent pas entre elles (F) ;  The first pixel area of the 2K image and the fourth pixel area of the n image do not correspond to each other (F);
• la deuxième zone de pixels de l'image n-1 et la troisième zone de pixels de l'image n ne correspondent pas entre elles (F) car l'objet a quitté l'image n donc il n'est plus possible de continuer à réaliser des correspondances entre l'image n et les précédentes.  The second pixel area of the image n-1 and the third pixel area of the image n do not correspond to each other (F) because the object has left the image n so it is no longer possible to continue to make matches between the image n and the previous ones.
Exemple F  Example F
Dans le cas d'application illustré à la figure 6F, il n'est pas possible de déterminer la quatrième zone de pixels dans l'image n à partir de la première zone de pixels de l'image 1 , ni la troisième zone de pixels de l'image n à partir de la deuxième zone de pixels de l'image n-1 , par exemple parce que les troisième et quatrième zones de pixels apparaissent hors de l'image n.  In the case of application illustrated in FIG. 6F, it is not possible to determine the fourth zone of pixels in the image n from the first pixel area of the image 1, nor the third zone of pixels. of the image n from the second pixel area of the n-1 image, for example because the third and fourth pixel areas appear out of the image n.
Dans ce cas, on peut arrêter de suivre le point à partir de l'image n. Exemple G  In this case, we can stop following the point from the image n. Example G
Dans le cas d'application illustré à la figure 6G, il n'est pas possible de déterminer la quatrième zone de pixels dans l'image n à partir de la première zone de pixels de l'image 1 (cases grisées) car le bruit généré par le calcul du flot optique entre l'image 1 K et l'image n est supérieur à la différence de position entre la première zone de pixels et la quatrième zone de pixels.  In the case of application illustrated in FIG. 6G, it is not possible to determine the fourth zone of pixels in the image n from the first pixel area of the image 1 (shaded boxes) because the noise generated by the calculation of the optical flow between the image 1 K and the image n is greater than the difference in position between the first pixel area and the fourth pixel area.
Dans ce cas, l'image n peut être écartée pour suivre le point considéré et le procédé est poursuivi en utilisant l'image suivante n+1 .  In this case, the image n can be discarded to follow the point considered and the process is continued using the following image n + 1.
Dans un exemple de mise en œuvre, en référence à la figure 7, on peut utiliser l'ensemble des flots optiques calculés entre toutes les images de la séquence afin d'affiner davantage la précision du suivi du point.  In an exemplary implementation, with reference to FIG. 7, it is possible to use all the optical flows computed between all the images of the sequence in order to further refine the precision of the tracking of the point.
En référence à la figure 8, les correspondances (M) entre les images peuvent être utilisées pour détecter une occlusion. En effet, lorsque le point est caché temporairement par un autre objet, l'algorithme de correspondance ne fonctionnera plus. Toutefois, il est possible de continuer à prédire le point suivi afin de le retrouver plus tard. Une occlusion affichera quelques images pour lesquelles le procédé n'a pas pu faire de correspondances. Il y a eu une occlusion de la caractéristique pendant les trames n-2 et n-1 (cases F sur la figure 8). Ensuite, dès que le point réapparaît (images n et n+1 ), la correspondance peut de nouveau être réalisée.  With reference to FIG. 8, the (M) matches between the images can be used to detect an occlusion. Indeed, when the point is temporarily hidden by another object, the matching algorithm will no longer work. However, it is possible to continue to predict the point followed in order to find it later. An occlusion will display some images for which the process could not match. There was an occlusion of the characteristic during the n-2 and n-1 frames (boxes F in Figure 8). Then, as soon as the point reappears (images n and n + 1), the correspondence can be performed again.
En combinant des flots optiques de différentes images pour suivre un même point de différentes manières, le procédé selon l'invention permet de réduire l'impact du bruit sur le suivi de point, ce qui améliore notamment la précision du suivi et donc de l'assistance à la conduite. By combining optical flows of different images to follow the same point in different ways, the method according to the invention makes it possible to reduce the impact of the noise on the tracking point, which improves in particular the accuracy of monitoring and therefore assistance to driving.
Le procédé selon l'invention est particulièrement adapté au suivi de points utilisé dans un système d'assistance à la conduite d'un véhicule automobile. Il est également applicable avantageusement au suivi de points utilisé dans les systèmes de type radar ou lidar.  The method according to the invention is particularly suitable for tracking points used in a driving assistance system for a motor vehicle. It is also advantageously applicable to point tracking used in radar or lidar type systems.

Claims

REVENDICATIONS
1. Procédé d'estimation du mouvement d'au moins un point dans une séquence d'images variant dans le temps, ladite séquence comprenant au moins une première image (t), une deuxième image (t+n-1 ) et une troisième image (t+n), la deuxième image (t+n-1 ) étant postérieure à la première image (t) et la troisième image (t+n) étant postérieure à la deuxième image (t+n-1 ), le procédé comprenant :  A method for estimating the motion of at least one point in a time-varying image sequence, said sequence comprising at least a first image (t), a second image (t + n-1) and a third image image (t + n), the second image (t + n-1) being posterior to the first image (t) and the third image (t + n) being posterior to the second image (t + n-1), the process comprising:
• une étape de détermination, dans la première image (t), d'au moins une première zone de pixels correspondant à un point à suivre,  A step of determining, in the first image (t), at least a first pixel area corresponding to a point to be followed,
• une étape de détermination, dans la deuxième image (t+n-1 ), d'une deuxième zone de pixels correspondant audit point en calculant le flot optique entre la première image (t) et la deuxième image (t+n-1 ) à partir de la première zone de pixels déterminée,  A step of determining, in the second image (t + n-1), a second zone of pixels corresponding to said point by calculating the optical flow between the first image (t) and the second image (t + n-1) ) from the first determined pixel area,
• une étape de détermination, dans la troisième image (t+n), d'une troisième zone de pixels correspondant audit point en calculant le flot optique entre la deuxième image (t+n-1 ) et la troisième image (t+n) à partir de la deuxième zone de pixels déterminée,  A step of determining, in the third image (t + n), a third zone of pixels corresponding to said point by calculating the optical flow between the second image (t + n-1) and the third image (t + n) ) from the determined second pixel area,
ledit procédé étant caractérisé en ce qu'il comprend en outre : said method being characterized in that it further comprises:
• une étape de détermination, dans la troisième image (t+n), d'une quatrième zone de pixels correspondant audit point en calculant le flot optique entre la première image (t) et la troisième image (t+n) à partir de la première zone de pixels déterminée,  A step of determining, in the third image (t + n), a fourth zone of pixels corresponding to said point by calculating the optical flow between the first image (t) and the third image (t + n) from the first determined pixel area,
• une étape de détermination, dans la troisième image (t+n), d'une cinquième zone de pixels, dite « zone affinée », à partir de la troisième zone de pixels déterminée et de la quatrième zone de pixels déterminée.  A step of determining, in the third image (t + n), a fifth zone of pixels, called "refined zone", starting from the determined third pixel zone and the determined fourth pixel zone.
2. Procédé selon la revendication précédente, dans lequel la deuxième image (t+n-1 ) et la troisième image (t+n) sont consécutives dans la séquence d'images. 2. Method according to the preceding claim, wherein the second image (t + n-1) and the third image (t + n) are consecutive in the image sequence.
3. Procédé selon la revendication précédente, dans lequel la première image (t), la deuxième image (t+n-1 ) et la troisième image (t+n) sont consécutives dans la séquence d'images. 3. Method according to the preceding claim, wherein the first image (t), the second image (t + n-1) and the third image (t + n) are consecutive in the image sequence.
4. Procédé selon l'une des revendications précédentes, comprenant une étape de stockage de la première zone de pixels, de la deuxième zone de pixels, de la troisième zone de pixels et de la quatrième zone de pixels.  4. Method according to one of the preceding claims, comprising a step of storing the first pixel area, the second pixel area, the third pixel area and the fourth pixel area.
5. Procédé selon la revendication précédente, comprenant une étape de stockage de la cinquième zone de pixels.  5. Method according to the preceding claim, comprising a step of storing the fifth pixel area.
6. Procédé selon l'une des revendications précédentes, dans lequel la première zone de pixels constitue une zone de pixels de référence servant de base à la détermination d'une pluralité de troisièmes zones de pixels et de quatrièmes zones de pixels différentes à partir d'une pluralité de deuxièmes images (t+n-1 ) et de troisièmes images (t+n) différentes. The method according to one of the preceding claims, wherein the first pixel area constitutes a reference pixel area serving as a basis for the determining a plurality of third pixel areas and fourth pixel areas from a plurality of second (t + n-1) and third (t + n) different images.
7. Procédé selon la revendication précédente, dans lequel la zone de pixels de référence est utilisée tant que la distance entre la troisième zone de pixels et la quatrième zone de pixels est inférieure à un seuil prédéterminé.  7. Method according to the preceding claim, wherein the reference pixel area is used as long as the distance between the third pixel area and the fourth pixel area is less than a predetermined threshold.
8. Procédé selon la revendication précédente, dans lequel le seuil prédéterminé correspond au niveau de bruit de la troisième image (t+n).  8. Method according to the preceding claim, wherein the predetermined threshold corresponds to the noise level of the third image (t + n).
9. Calculateur pour véhicule automobile, destiné à estimer le mouvement d'au moins un point dans une séquence d'images variant dans le temps générée par une caméra montée dans ledit véhicule, ladite séquence comprenant au moins une première image (t), une deuxième image (t+n-1 ) et une troisième image (t+n), la deuxième image (t+n-1 ) étant postérieure à la première image (t) et la troisième image (t+n) étant postérieure à la deuxième image (t+n-1 ), le calculateur étant configuré pour :  Motor vehicle calculator for estimating the movement of at least one point in a time-varying image sequence generated by a camera mounted in said vehicle, said sequence comprising at least a first image (t), a second image (t + n-1) and a third image (t + n), the second image (t + n-1) being posterior to the first image (t) and the third image (t + n) being posterior to the second image (t + n-1), the computer being configured to:
· déterminer, dans la première image (t), au moins une première zone de pixels correspondant à un point à suivre,  · Determining, in the first image (t), at least a first pixel area corresponding to a point to follow,
• déterminer, dans la deuxième image (t+n-1 ), une deuxième zone de pixels correspondant audit point en calculant le flot optique entre la première image (t) et la deuxième image (t+n-1 ) à partir de la première zone de pixels déterminée, · déterminer, dans la troisième image (t+n), une troisième zone de pixels correspondant audit point en calculant le flot optique entre la deuxième image (t+n-1 ) et la troisième image (t+n) à partir de la deuxième zone de pixels déterminée,  Determining, in the second image (t + n-1), a second zone of pixels corresponding to said point by calculating the optical flow between the first image (t) and the second image (t + n-1) from the first determined pixel area, · determining, in the third image (t + n), a third pixel area corresponding to said point by calculating the optical flow between the second image (t + n-1) and the third image (t + n) from the determined second pixel area,
ledit calculateur étant caractérisé en ce qu'il est en outre configuré pour : said calculator being characterized in that it is further configured for:
· déterminer, dans la troisième image (t+n), une quatrième zone de pixels correspondant audit point en calculant le flot optique entre la première image (t) et la troisième image (t+n) à partir de la première zone de pixels déterminée, Determining, in the third image (t + n), a fourth zone of pixels corresponding to said point by calculating the optical flow between the first image (t) and the third image (t + n) from the first pixel area determined,
• déterminer, dans la troisième image (t+n), une cinquième zone de pixels, dite « zone affinée », à partir de la troisième zone de pixels déterminée et de la quatrième zone de pixels déterminée. • determining, in the third image (t + n), a fifth pixel area, called "refined area", from the determined third pixel area and the determined fourth pixel area.
10. Véhicule automobile comprenant une caméra et un calculateur, selon la revendication précédente, relié à ladite caméra de manière à recevoir au moins une séquence d'images capturée par la caméra afin d'estimer le mouvement d'au moins un point dans ladite séquence et permettre une assistance à la conduite du véhicule.  10. Motor vehicle comprising a camera and a computer, according to the preceding claim, connected to said camera so as to receive at least one sequence of images captured by the camera to estimate the movement of at least one point in said sequence. and allow assistance in driving the vehicle.
PCT/FR2018/051803 2017-07-27 2018-07-16 Method for estimating the movement of a point in a sequence of images WO2019020902A1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR1757138A FR3069689B1 (en) 2017-07-27 2017-07-27 METHOD FOR ESTIMATING THE MOVEMENT OF A POINT IN AN IMAGE SEQUENCE
FR1757138 2017-07-27

Publications (1)

Publication Number Publication Date
WO2019020902A1 true WO2019020902A1 (en) 2019-01-31

Family

ID=59974654

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/FR2018/051803 WO2019020902A1 (en) 2017-07-27 2018-07-16 Method for estimating the movement of a point in a sequence of images

Country Status (2)

Country Link
FR (1) FR3069689B1 (en)
WO (1) WO2019020902A1 (en)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130076915A1 (en) * 2011-09-28 2013-03-28 Qualcomm Incorporated Framework for reference-free drift-corrected planar tracking using lucas-kanade optical flow

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130076915A1 (en) * 2011-09-28 2013-03-28 Qualcomm Incorporated Framework for reference-free drift-corrected planar tracking using lucas-kanade optical flow

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
CONZE PIERRE-HENRI ET AL: "Multi-reference combinatorial strategy towards longer long-term dense motion estimation", COMPUTER VISION AND IMAGE UNDERSTANDING, ACADEMIC PRESS, US, vol. 150, 20 May 2016 (2016-05-20), pages 66 - 80, XP029628348, ISSN: 1077-3142, DOI: 10.1016/J.CVIU.2016.04.013 *
H. BADINO ET AL: "STEREO VISION-BASED DETECTION OF MOVING OBJECTS UNDER STRONG CAMERA MOTION", 1ST INTERNATIONAL CONFERENCE ON COMPUTER VISION THEORY AND APPLICATIONS (VISAPP), 25 February 2006 (2006-02-25), pages 1 - 8, XP055460608, Retrieved from the Internet <URL:https://www.researchgate.net/profile/Uwe_Franke2/publication/238325371_Stereo_Vision-Based_Detection_of_Moving_Objects_underStrong_Camera_Motion/links/0deec52e62cfdb2e1c000000.pdf> [retrieved on 20180319] *
TOMAS CRIVELLI ET AL: "From optical flow to dense long term correspondences", IMAGE PROCESSING (ICIP), 2012 19TH IEEE INTERNATIONAL CONFERENCE ON, IEEE, 30 September 2012 (2012-09-30), pages 61 - 64, XP032333116, ISBN: 978-1-4673-2534-9, DOI: 10.1109/ICIP.2012.6466795 *

Also Published As

Publication number Publication date
FR3069689A1 (en) 2019-02-01
FR3069689B1 (en) 2019-08-02

Similar Documents

Publication Publication Date Title
CN108028023A (en) Information processor, information processing method and program
WO2011144408A1 (en) Method and system for fusing data arising from image sensors and from motion or position sensors
FR3026591A1 (en) EXTRINSE CALIBRATION METHOD OF CAMERAS OF A TRAINING STEREO IMAGE TRAINING SYSTEM
FR3014553A1 (en) METHOD FOR ANGULAR CALIBRATION OF THE POSITION OF AN ON-BOARD VIDEO CAMERA IN A MOTOR VEHICLE
EP2428934B1 (en) Method for estimating the movement of a carrier in relation to an environment and calculation device for a navigation system
US10559084B2 (en) Reflection determining apparatus
EP2374022B1 (en) Integrated closed-loop hybridization device built in by construction
EP3126864B1 (en) Method for geolocating the environment of a carrier
FR3019359A1 (en) METHOD FOR DETERMINING A STATE OF OBSTRUCTION OF AT LEAST ONE CAMERA EMBARKED IN A STEREOSCOPIC SYSTEM
FR3030091A1 (en) METHOD AND SYSTEM FOR AUTOMATICALLY DETECTING A DISALLIATION IN OPERATION OF A MONITORING SENSOR OF AN AIRCRAFT.
EP3364336A1 (en) A method and apparatus for estimating a range of a moving object
WO2016087784A1 (en) Method of estimating the motion of a carrier with respect to an environment and calculation device for navigation system
FR3069689B1 (en) METHOD FOR ESTIMATING THE MOVEMENT OF A POINT IN AN IMAGE SEQUENCE
EP3579191A1 (en) Dynamic estimation of instantaneous pitch and roll of a video camera embedded in a motor vehicle
EP2174268A1 (en) Method, device and system for merging information from several sensors
EP3387619B1 (en) Detection and monitoring of rails in a video stream
WO2018020045A1 (en) Merging of data for detecting and monitoring objects for a motor vehicle
FR3053554A1 (en) METHOD FOR RAPID CALIBRATION OF A MOTOR VEHICLE CAMERA
WO2017216473A1 (en) Method for producing a depth map from a sequence of images from a single (mono-) camera installed in a motor vehicle
FR3062836A1 (en) METHOD AND SYSTEM FOR DETERMINING A TRUST INDEX ASSOCIATED WITH AN OBJECT OF AN ENVIRONMENT OF A VEHICLE
EP4100696A1 (en) Navigation assistance method for a mobile carrier
WO2018069060A1 (en) Locating device and device for producing integrity data
FR3103301A1 (en) Method for detecting specularly reflected light beam intensity peaks
WO2018197775A1 (en) Method for estimating the time remaining before a collision between a motor vehicle and an object
WO2018146399A1 (en) Method for processing images for the detection of an object along a route

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18755511

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18755511

Country of ref document: EP

Kind code of ref document: A1