WO2011080495A1 - Estimation de mouvement global et dense - Google Patents

Estimation de mouvement global et dense Download PDF

Info

Publication number
WO2011080495A1
WO2011080495A1 PCT/FR2011/050010 FR2011050010W WO2011080495A1 WO 2011080495 A1 WO2011080495 A1 WO 2011080495A1 FR 2011050010 W FR2011050010 W FR 2011050010W WO 2011080495 A1 WO2011080495 A1 WO 2011080495A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
motion
estimated
previous
images
Prior art date
Application number
PCT/FR2011/050010
Other languages
English (en)
Inventor
Frédéric JACQUELIN
Joël BUDIN
Youssef Benchekroun
Original Assignee
Sagem Defense Securite
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sagem Defense Securite filed Critical Sagem Defense Securite
Priority to US13/519,944 priority Critical patent/US8873809B2/en
Priority to BR112012016403-1A priority patent/BR112012016403A2/pt
Priority to EP11704249A priority patent/EP2522140A1/fr
Priority to RU2012133468/08A priority patent/RU2565515C2/ru
Publication of WO2011080495A1 publication Critical patent/WO2011080495A1/fr

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/527—Global motion vector estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6811—Motion detection based on the image signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection

Definitions

  • the present invention relates to the field of image processing, and more particularly to the field of motion estimation within a captured image sequence.
  • a sensor When a sensor captures a sequence of images successively, such as in the case of a video, it is conventional to perform a global motion estimation inter-image.
  • This motion estimation aims at determining the global movement affecting the sequence of images between two successive images. It can correspond to the determination of the movement of the line of sight of the sensor used.
  • Such an overall motion estimation makes it possible, in particular, to implement image stabilization, or image denoising, or to set up a super-resolution mechanism.
  • this type of mechanism can be substantially disturbed when the captured scene corresponds to one or more large objects that are movable during the captured image sequence or when the captured image sequence has little contrast. Thus, in these cases in particular, it is possible that the overall motion estimate is ultimately wrong.
  • Some image processing systems rely on a sequential implementation of a global motion estimation and a dense motion estimation or 'local motion estimation'.
  • a dense motion estimation consists of an estimation of motion at each point of the images of the sequence captured between two successive images.
  • the latter estimate may be performed on recalibrated images based on the previous overall motion estimate.
  • the dense motion estimation makes it possible to calculate a residual motion at any point of an image.
  • This sequence of the global motion estimation and the estimation of Dense motion can provide a powerful motion estimation in the case where the global motion estimation is itself reliable.
  • the invention aims to improve the situation.
  • a first aspect of the invention provides a motion estimation method in a series of images captured by an image sensor, said series of images comprising at least one previous image and one subsequent image;
  • said estimation method comprising the following steps:
  • Ibl obtain a recalibrated image based on the first estimated motion, from one of the preceding and following images;
  • an estimated second motion by performing a dense motion estimation between the recalibrated image and the other one of the preceding and following images; there to determine a residual value of global movement (for example on the basis of the estimated second movement); and lel if the residual value of movement is less than a threshold value, provide the estimated second motion, otherwise repeat the steps lal-lel;
  • the first estimated motion is determined by applying a bit mask image
  • step lel steps / a / lel are repeated, they are performed by applying an updated image bit mask according to the estimated second motion.
  • the steps / a / to lel executed the first time can include a null mask (not hiding anything), or even not to include a mask at all.
  • Such an absence of masking can make it possible to improve performance by avoiding a masking step (superfluous when it comprises a null mask), at the cost of a possibly more complex implementation comprising a particular treatment of the first iteration.
  • previous image and “next image” are understood to mean a series of captured images, two images that follow each other chronologically in the series of images considered. These two images that follow can be consecutive or even spaced between them by one or more intermediate captured images. No limitation is attached to the spacing between the previous image and the next image considered here.
  • the term 'global motion estimation' is understood to mean a motion estimation mechanism which makes it possible to represent the movement affecting the series of images captured between a previous image and a subsequent image, in a global manner.
  • This global movement may correspond to an estimate of the movement of the line of sight of the sensor used.
  • the global movement may also correspond, for example, to the movement, in three rotational dimensions and three translation dimensions, of a camera incorporating an image sensor, with respect to a scene filmed by said camera. No limitation is attached to the type of estimation mechanism used here.
  • the Lucas-Kanade method published in 1984 in the thesis "Generalized image matching by the method of differences" and originally used for dense motion estimation, can be adapted for global motion. It consists in determining a restricted number of parameters (translation, roll, zoom %) by least-squares resolution of the equation of apparent motion on significant points of the image.
  • Recalibrated Image is a captured image that has been recalibrated based on the estimated overall motion.
  • the recalibrated image can thus correspond, for example, to the estimation of a next image, according to a previous image and to an estimate of a global movement between the previous image and the next image.
  • the recalibrated image is not necessarily identical to the next image, because the estimation of the global motion does not necessarily make it possible to deduce exactly the next image from a previous image.
  • estimating overall motion generally gives an indication of average motion that typically does not account for moving elements possibly located within a filmed scene. The position of these moving elements in the imaged image can therefore be erroneous.
  • the term 'dense motion estimation' is understood to mean a motion estimation mechanism which makes it possible to represent the movement affecting the series of images captured between a previous image and a subsequent image, partially within the image. .
  • such an estimation mechanism makes it possible to provide motion vectors for each part of the image, with more or less precision. It is thus possible to estimate an image movement at each image point, for example.
  • a scene can be divided into different parts each corresponding to a particular element of the scene. Each part can correspond to the smallest element of the image (point, also called pixel). But a part can also correspond to a particular form present in the image. For example, objects, such as automobiles, can be recognized on series of images captured by road radar. Each car can then correspond to a part of the image.
  • these parts are not necessarily superimposable (even in the absence of global motion) since the respective movements of the different parts are not necessarily the same.
  • the relative positions in a first image and a second image of two parts of the scene are not necessarily the same (for example the two parts may be farther apart from each other in the first image only in the second).
  • Scene parts may disappear (for example when they leave the image field), others may appear.
  • the different parts can be defined using a grid of the image, for example a regular grid in the form of small rectangles. An image portion can then correspond to a subset of rectangles having common movement characteristics (for example, a dense movement above a certain threshold for this part).
  • This type of motion estimation provides a second estimated motion that can be used to represent the movement of moving objects that could pass through the images of the series of captured images.
  • the first method consists in solving the equation of the least-squares motion on a local window.
  • the second method extracted from the article "Determining optical flow” (1981), consists of a minimization of functionals whose term of attachment to the data corresponds to the square of the equation of the apparent motion, and a regularization term is the square of the local variation of the field.
  • the estimated second motion may correspond to a triplet of values for each image portion (or each image point): a value of a translational vector according to a first direction U, a value of a translation vector according to a second sense V, and an associated reliability value N.
  • the estimated second motion corresponds to a set of estimated sub-movements for each image portion in the image sequence.
  • this second estimated motion measures a dense movement between the imaged image and the real image, which is advantageous because it allows an effective measurement of the residual value of movement allowing (if necessary) to effectively converge the iterations possible towards a relevant estimate of global movement.
  • residual value of motion is intended to mean a measure relating to the residual global translation, that is to say which is always present at the end of the step Here.
  • This residual value of movement can be determined for example by performing an average of this translational movement on all points of the image for which there are values of U and V whose reliability N exceeds a threshold.
  • Such an estimation method proposes not only to sequentially perform a global motion estimation followed by a dense motion estimation during a series of steps / a / - / e /, but it proposes to besides this series of steps is iterative.
  • this estimation method is an iterative process that guarantees a certain determined level of quality.
  • a bitmask may be used to ignore portions of the dumped image (and the image to which the dumped image is compared) corresponding to moving elements of the filmed scene.
  • the estimated first motion corresponding to a global motion
  • the estimated first motion is determined by applying a bit mask image.
  • step lel it is decided to repeat the steps lal-lel, then these steps are performed by applying an updated image bit mask according to the estimated second motion.
  • this image bitmask can be initialized to 0 for the first iteration of the series of process steps, i.e. no image portion is initially masked. Then, at the end of each iteration of the series of steps, it is then possible to update this image bit mask on the basis of the estimated second estimated motion. Thus, at the next iteration, the updated image bitmask can be applied to obtain a reliable overall motion estimate. So, advantageously here, it is intended to apply to the global motion estimation an image bitmask that is updated on the basis of the dense motion estimation. By proceeding in this way, it is possible to integrate within the global motion estimation mechanism information derived from the dense motion estimation mechanism. This combination of iterative mechanisms provides reliable results while remaining simple to apply.
  • the bit mask can be obtained in the following way: a residual value of movement is calculated on all the points where the computation of the dense estimate is made. Then, the bit mask indicates the value 1 for the points at which the dense movement moves away from said calculated residual by more than a determined threshold value.
  • the steps / wing / are reiterated, they are applied to the same previous and next images. Thus, until the quality threshold level is reached, the series of steps is reiterated on the same images.
  • the recalibrated image may advantageously be obtained by resetting the next image on the previous image on the basis of the estimated first motion; and in step lel, the updated image bitmask may be a mask to be applied to the previous image.
  • the registration of one of the two following and previous images is done in a chronological sense since it is a matter of placing a next image on an image that precedes it.
  • the bit mask image updated in this context can be applied directly to the previous image during the next iteration of the series of steps.
  • steps lai -lel are reiterated, at each reiteration, they are applied by considering the following image of the previous iteration as than previous picture and in considering an image that follows said next image of the previous iteration as the next image.
  • successive iterations of the series of steps are applied to a previous image pair and subsequent different image. Indeed, it is planned here to apply the following iteration to the old next image, which is then considered as the previous image, and to an image that follows it in the captured image sequence, which is then considered as than next picture.
  • This embodiment is advantageously adapted for real-time applications that require rapid processing.
  • step Ibl the recalibrated image is obtained by resetting the previous image on the next image on the basis of the inverse of the first estimated motion.
  • a second aspect of the present invention provides an image processing device comprising means for implementing a motion estimation method according to the first aspect of the present invention.
  • a third aspect of the present invention provides a computer program including instructions for implementing the method according to the first aspect of the present invention, when the program is executed by a processor.
  • a fourth aspect of the present invention provides a recording medium on which the computer program according to the third aspect of the present invention is stored.
  • Figure 1 illustrates the main steps of a motion estimation method according to an embodiment of the present invention
  • Figure 2 illustrates an implementation of an estimation method according to an embodiment of the present invention
  • Figure 3 illustrates another implementation of an estimation method according to an embodiment of the present invention
  • FIG. 4 illustrates a processing device comprising means adapted to implement a method according to an embodiment of the present invention.
  • Figure 1 illustrates the main steps of the motion estimation method according to an embodiment of the present invention.
  • This series of images comprises at least one previous image I n -i and a subsequent image I n .
  • a first estimated movement H is obtained by performing a global motion estimation from the previous image l n -i to the following image l n .
  • This first estimated movement can be represented in the form of a homographic registration matrix H.
  • a recalibrated image, the n- i or the n is obtained on the basis of the estimated first motion, respectively from the previous image I n- i or from the following image l n .
  • a second estimated motion is obtained by performing a dense motion estimation between the recalibrated image and the other one of the previous and next images.
  • a residual value r of global motion is determined on the basis of an average performed on all the calculation points of the dense field U and V for which the reliability N is greater than a threshold value.
  • a step 105 if the residual value r is less than a threshold value S, the second estimated movement is provided during the current iteration in a step 106, otherwise steps 101 -105 are repeated.
  • FIG. 2 illustrates an implementation of the present invention according to an embodiment of the present invention.
  • the present invention implements an image M bit mask which cleverly avoids taking into account information relating to certain parts of the image.
  • the bit mask image initially indicates the value zero relative to each part of the image.
  • the image bit mask initially applied makes it possible to take into account the initialization of the image as a whole.
  • the image bit mask is updated here with each new iteration. It is therefore noted M (i).
  • H a matrix making it possible to model the global movement of the image.
  • This matrix H can in particular illustrate a first and a second translation representing the global movement according to a first and a second a second respective direction.
  • This matrix H n- i, n makes it possible to homographically recalibrate an image I n on an image I n- i.
  • the following steps are iteratively applied to two same images which are captured successively, the first captured image being referenced I n -i and the next captured image being referenced l n .
  • the iteration index i is initialized to the value 0. It is furthermore provided that M (0) is a null binary image mask, that is to say that no point of the image is masked during the first iteration of the process steps.
  • a step 202 the two images l n -i and l n which succeed one another in the sequence of captured images are then selected.
  • the mask M (i) is applied to the image I n- i.
  • an overall motion estimation of l n -i to l n is performed . This global motion estimation is represented via the homographic registration matrix H (i).
  • a step 205 the image l n is recaled on l n- on the basis of the registration matrix H (i).
  • a recalibrated image I n ' is obtained.
  • a dense motion estimate is made, i.e. for example, determining a value of the translation vector U and a translation value, as well as a reliability value N for these vector values at each point of the image I n- i.
  • the image bit mask M (i) is updated on the basis of the estimated second movement at a step 209. Then, the iteration index is incremented from the value 1 to a step 210 and the previously described steps are performed again on the same images I n- and i n .
  • Figure 3 illustrates another implementation of the present invention according to one embodiment of the present invention.
  • it is here also proposed to implement a global motion estimation followed by a dense motion estimation in an interleaved and iterative manner.
  • each iteration is applied to two different successive images. More precisely, at a previous iteration, it is planned to apply a processing to a first and a second successive image, then to a next iteration, this same processing is applied to this second image and to an image that follows this second image in the sequence of captured images.
  • This method according to an embodiment of the present invention is applied to a captured image sequence I, for i integer between 1 and N.
  • the first iteration of the series of steps of the processing method is here applied to the images. ⁇ and l 2 .
  • the second iteration of the series of steps is applied to the images l 2 and l 3 .
  • the first image bit mask applied is a null mask.
  • these two images are considered l n -i and l n .
  • an image bit mask M (n-1) is applied to the image 1 n- i.
  • the application of this mask makes it possible to take into consideration within the image l n -i only the points which are of interest with regard to the motion estimation method.
  • an overall motion estimation is made on the two images l n- i and l n on the basis of which a motion homographic matrix H of the movement from the image l n -i to l n .
  • a global movement homographic matrix is determined to be applied to the image I n -i to reset it on the image l n .
  • This matrix corresponds to 1 / H, that is to say the inverse of the homographic matrix H.
  • a dense motion estimation is made from the image 1 n to the recalibrated image ⁇ -- ⁇ . Is deduced at each point of the image I n a value of the motion vector U n, a value of the motion vector V n, and a reliability value associated N n, with respect to the image I n. On the basis of these values, an overall residual motion value r n is determined relative to the image l n . Thus, in a step 306, this residual movement value r n is compared with a threshold value S of quality. If the reliability value r n is less than the value S, then the series of steps is not repeated and the estimation method outputs the values of the following quantities:
  • step 308 an image bit mask M (n-1) is determined so as to be able to apply it to the previous image of the next iteration, this image corresponding to the In picture of the previous iteration. Then, at a step 309, the index n is incremented by the value 1.
  • the bit mask image M obtained before the next iteration of the series of steps is directly applicable to the image l n -i because it is determined on the basis of information relating to an anti-chronological sense in the sequence of captured images.
  • the values of U, V and N provided by the step of estimating dense motion are determined on a comparison from the image l n to the image l n- i, that is to say by considering the two images in a direction anti chronological with respect to their order in the sequence of captured images.
  • Fig. 4 illustrates an image processing apparatus adapted to implement a method according to an embodiment of the present invention.
  • a device may advantageously correspond to an on-board electronic card.
  • Such a device comprises:
  • a first estimation unit 41 adapted to obtain a first motion estimated by estimating global motion from the previous image I n-i to the next image l n;
  • a registration unit 42 adapted to obtain a n- i or n-based image on the basis of the estimated first motion, from one of the preceding and following images 1 n- 1, n ;
  • a second estimation unit 43 adapted to obtain a second estimated movement U, V, N by performing a dense motion estimation between the recalibrated image and the other one of the preceding and following images;
  • a determination unit 44 adapted to determine a residual value of global movement r
  • a suitable control unit 45 for triggering a sequence of steps by sequentially controlling the first estimation unit, the registration unit, the second estimation unit and the determination unit, and on the other hand, to decide whether the residual value is less than a threshold value S to provide the last estimated second estimated motion U, V, N, and if not to trigger said sequence of steps again.
  • the first estimation unit 41 can take into account an image bit mask M; and the determining unit 43 may be adapted to update the image bit mask according to the estimated second motion. If the sequence of steps is triggered again, the steps can be applied to the same previous and next images.
  • the rescaled image may be provided by the resetting unit 42 by resetting the next image In on the previous image ln-1 based on the estimated first motion; and the determining unit 43 can provide the updated image bit mask as a mask to be applied to the previous image.
  • steps / a / - / e / are repeated, at each reiteration, they are applied by considering the following image of the previous iteration as the preceding image and considering an image that follows said image next iteration as the next image.
  • the recalibrated image n can be provided by the registration unit 42 by resetting the previous image I n -i on the next image I n on the basis of the inverse of the first one. estimated movement; and the determining unit 43 may provide the updated image bit mask as a mask to be applied to the next image of the next iteration.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)

Abstract

Dans une série d'images captées par un capteur d'image comprenant au moins une image précédente et une image suivante on estime un mouvement. On obtient (101) tout d'abord un premier mouvement estimé en effectuant une estimation de mouvement global depuis l'image précédente vers l'image suivante. Puis, on obtient (102) une image recalée sur la base du premier mouvement estimé, à partir de l'une parmi les images précédente et suivante. Ensuite, on obtient (103) un second mouvement estimé (U, V, N) en effectuant une estimation de mouvement dense entre l'image recalée et l'autre parmi les images précédente et suivante. On détermine (104) alors une valeur résiduelle de mouvement (r) global. Enfin, si (105) la valeur résiduelle est inférieure à une valeur seuil (S) on fournit le second mouvement estimé (U, V, N), sinon on réitère les étapes précédentes. Le premier mouvement estimé est déterminé par application d'un masque binaire d'image; et si à l'étape /e/ les étapes /a/ à /e/ sont réitérées, elles sont effectuées par application d'un masque binaire d'image mis à jour en fonction du second mouvement estimé.

Description

ESTIMATION DE MOUVEMENT GLOBAL ET DENSE
La présente invention se rapporte au domaine du traitement d'image, et plus particulièrement au domaine de l'estimation de mouvement au sein d'une séquence d'images captées.
Lorsqu'un capteur capte une séquence d'images successivement, comme notamment dans le cas d'une vidéo, il est classique d'effectuer une estimation de mouvement globale inter image. Cette estimation de mouvement vise à déterminer le mouvement global affectant la séquence d'images entre deux images successives. Elle peut correspondre à la détermination du mouvement de l'axe de visée du capteur utilisé.
Une telle estimation de mouvement global permet notamment la mise en œuvre d'une stabilisation d'images, ou encore de débruitage d'images, ou de mettre en place un mécanisme de super-résolution.
Toutefois, ce type de mécanisme peut être sensiblement perturbé lorsque la scène captée correspond à un ou plusieurs gros objets qui sont mobiles au cours de la séquence d'images captées ou encore lorsque la séquence d'images captées présente peu de contraste. Ainsi, dans ces cas là notamment, il est possible que l'estimation de mouvement global soit erronée in fine.
Certains systèmes de traitement d'images reposent sur une mise en œuvre séquentielle d'une estimation de mouvement global et d'une estimation de mouvement dense ou encore 'estimation de mouvement local'.
Une estimation de mouvement dense consiste en une estimation de mouvement en chaque point des images de la séquence captée entre deux images successives. Lorsqu'on effectue séquentiellement une estimation de mouvement global suivie d'une estimation de mouvement dense, cette dernière estimation peut être effectuée sur des images recalées sur la base de l'estimation de mouvement global précédente.
Ensuite, l'estimation de mouvement dense permet de calculer un mouvement résiduel en tout point d'une image. A cet effet, il est possible de s'appuyer sur le fait que les objets mobiles ont des trajectoires lentement variables relativement à la cadence d'acquisition des images. Cet enchaînement de l'estimation de mouvement global et de l'estimation de mouvement dense peut fournir une estimation de mouvement performante dans le cas ou l'estimation de mouvement global est elle-même fiable.
En revanche, dès lors que l'estimation de mouvement global n'est pas fiable, l'estimation de mouvement obtenue in fine à l'issue de l'estimation de mouvement dense ultérieure ne peut être fiable et performante.
L'invention vise à améliorer la situation.
A cet effet, un premier aspect de l'invention propose un procédé d'estimation de mouvement dans une série d'images captées par un capteur d'image, ladite série d'images comprenant au moins une image précédente et une image suivante ;
ledit procédé d'estimation comprenant les étapes suivantes :
/a/ obtenir un premier mouvement estimé en effectuant une estimation de mouvement global depuis l'image précédente vers l'image suivante ;
Ibl obtenir une image recalée sur la base du premier mouvement estimé, à partir de l'une parmi les images précédente et suivante ;
Ici obtenir un second mouvement estimé en effectuant une estimation de mouvement dense entre l'image recalée et l'autre parmi les images précédente et suivante ; làl déterminer une valeur résiduelle de mouvement global (par exemple sur la base du second mouvement estimé) ; et lel si la valeur résiduelle de mouvement est inférieure à une valeur seuil, fournir le second mouvement estimé, sinon réitérer les étapes lal-lel ;
dans lequel le premier mouvement estimé est déterminé par application d'un masque binaire d'image ; et
dans lequel, si à l'étape lel les étapes /a/ à lel sont réitérées, elles sont effectuées par application d'un masque binaire d'image mis à jour en fonction du second mouvement estimé. Les étapes /a/ à lel exécutées la première fois (avant réitération éventuelle) peuvent comprendre un masque nul (ne masquant rien), voire ne pas comprendre de masque du tout. Une telle absence de masquage peut permettre d'améliorer les performances en évitant une étape de masquage (superflue lorsque celle-ci comprend un masque nul), au prix d'une mise en œuvre éventuellement plus complexe comprenant un traitement particulier de la première itération.
On entend ici par les termes Image précédente' et Image suivante' d'une série d'images captées, deux images qui se suivent chronologiquement dans la série d'images considérée. Ces deux images qui se suivent peuvent être consécutives ou bien encore espacées entre elles par une ou plusieurs images captées intermédiaires. Aucune limitation n'est attachée à l'espacement entre l'image précédente et l'image suivante considérées ici.
On entend par les termes 'estimation de mouvement global' un mécanisme d'estimation de mouvement qui permet de représenter le mouvement affectant la série d'images captées entre une image précédente et une image suivante, de manière globale. Ce mouvement global peut correspondre à une estimation du mouvement de l'axe de visée du capteur utilisé. Le mouvement global peut également correspondre, par exemple, au mouvement, dans trois dimensions de rotation et trois dimensions de translation, d'une caméra intégrant un capteur d'image, par rapport à une scène filmée par ladite caméra. Aucune limitation n'est attachée au type de mécanisme d'estimation utilisé ici. La méthode de Lucas-Kanade, publiée en 1984 dans la thèse « Generalized image matching by the method of différences » et utilisée à l'origine pour l'estimation de mouvement dense, peut être adaptée pour le mouvement global. Elle consiste à déterminer un nombre restreint de paramètres (translation, roulis, zoom...) par résolution aux moindres carrés de l'équation du mouvement apparent sur des points significatifs de l'image.
On entend par les termes Image recalée', une image captée qui a été recalée sur la base du mouvement global estimé. L'image recalée peut ainsi correspondre, par exemple, à l'estimation d'une image suivante, en fonction d'une image précédente et d'une estimation d'un mouvement global entre l'image précédente et l'image suivante. Dans ce cas, l'image recalée n'est pas nécessairement identique à l'image suivante, car l'estimation du mouvement global ne permet pas nécessairement de déduire exactement l'image suivante à partir d'une image précédente. Par exemple, l'estimation du mouvement global donne en général une indication de mouvement moyen qui ne rend typiquement pas compte des éléments mobiles éventuellement situés à l'intérieur d'une scène filmée. La position de ces éléments mobiles dans l'image recalée peut donc être erronée.
On entend par les termes 'estimation de mouvement dense', un mécanisme d'estimation de mouvement qui permet de représenter le mouvement affectant la série d'images captées entre une image précédente et une image suivante, de manière partielle au sein de l'image. Autrement dit, un tel mécanisme d'estimation permet de fournir des vecteurs de mouvements pour chaque partie de l'image, avec plus ou moins de précision. On peut ainsi prévoir d'estimer un mouvement d'image en chaque point d'image par exemple. Une scène peut être divisée en différentes parties correspondant chacune à un élément particulier de la scène. Chaque partie peut correspondre au plus petit élément de l'image (point, également appelé pixel). Mais une partie peut également correspondre à une forme particulière présente dans l'image. On peut par exemple reconnaître des objets, tels que des automobiles, sur des séries d'images captées par un radar routier. Chaque automobile peut alors correspondre à une partie d'image. Dans deux images successives, ces parties ne sont pas nécessairement superposables (même en l'absence de mouvement global) puisque les mouvements respectifs des différentes parties ne sont pas nécessairement les mêmes. En d'autres termes, les positions relatives dans une première image et une seconde image de deux parties de la scène ne sont pas nécessairement les mêmes (par exemple les deux parties peuvent être plus éloignées l'une de l'autre dans la première image que dans la seconde). Des parties de scène peuvent disparaître (par exemple lorsqu'elles sortent du champ de l'image), d'autres pouvant apparaître. On peut définir les différentes parties à l'aide d'un quadrillage de l'image, par exemple un quadrillage régulier sous forme de petits rectangles. Une partie d'image peut alors correspondre à un sous ensemble de rectangles ayant des caractéristiques de mouvement communes (par exemple un mouvement dense supérieur à un certain seuil pour cette partie).
Ce type d'estimation de mouvement ('estimation de mouvement dense') fournit un second mouvement estimé qui permet de représenter notamment le mouvement d'objets mobiles qui pourraient traverser les images de la série d'images captées. Parmi les méthodes classiques présentes dans la littérature, on connaît notamment les méthodes de Lucas-Kanade et de Horn-Schunck. La première méthode consiste en une résolution de l'équation du mouvement apparent aux moindres carrés sur une fenêtre locale. La seconde méthode, extraite de l'article «Determining optical flow » (1981 ), consiste en une minimisation de fonctionnelles dont un terme d'attache à la donnée correspond au carré de l'équation du mouvement apparent, et un terme de régularisation est le carré de la variation locale du champ.
Le second mouvement estimé peut correspondre à un triplet de valeurs pour chaque partie d'image (ou chaque point d'image) : une valeur d'un vecteur de translation selon un premier sens U, une valeur d'un vecteur de translation selon un second sens V, ainsi qu'une valeur de fiabilité associée N. Ainsi, le second mouvement estimé correspond à un ensemble de sous mouvements estimés pour chaque partie d'image dans la séquence d'images. Par exemple, ce second mouvement estimé mesure un mouvement dense entre l'image recalée et l'image réelle, ce qui est avantageux car cela permet une mesure efficace de la valeur résiduelle de mouvement permettant (le cas échéant) de faire converger efficacement les itérations éventuelles vers une estimation pertinente de mouvement global.
On entend par les termes Valeur résiduelle de mouvement', une mesure relative à la translation globale résiduelle, c'est-à-dire qui est toujours présente à l'issue de l'étape Ici. Cette valeur résiduelle de mouvement peut être déterminée par exemple en effectuant une moyenne de ce mouvement de translation sur tous les points de l'image pour lesquels on a des valeurs de U et de V dont la fiabilité N dépasse un seuil.
Un tel procédé d'estimation propose non seulement d'effectuer séquentiellement une estimation de mouvement global suivie d'une estimation de mouvement dense au cours d'une série d'étapes /a/-/e/, mais il propose en outre que cette série d'étapes soit itérative. Ainsi, ce procédé d'estimation est un procédé itératif qui garantit un certain niveau de qualité déterminé.
Grâce à ces dispositions, on est en mesure de combiner de manière aisée et performante à la fois un mécanisme d'estimation de mouvement global et un mécanisme d'estimation de mouvement dense. Avantageusement, une telle combinaison de ces deux types d'estimation de mouvement fournit des résultats pertinents même si le premier mouvement estimé n'est pas fiable lors de certaines itérations de la série d'étapes.
Il est possible que certaines parties des images captées présentent des caractéristiques qui ne permettent pas d'obtenir une estimation de mouvement pertinente. Avantageusement, on prévoit d'appliquer un masque binaire à l'itération suivante de sorte à ne prendre en compte que les points de l'image qui permettent de fournir des informations pertinentes pour l'itération suivante. Ainsi, on est en mesure d'obtenir un procédé qui converge rapidement et qui est fiable. Un masque peut par exemple être utilisé pour ignorer les parties de l'image recalée (et de l'image à laquelle l'image recalée est comparée) correspondant à des éléments mobiles de la scène filmée.
Ainsi, il peut être avantageux de ne pas prendre en considération de telles parties d'image. Ainsi, on prévoit dans un mode de réalisation d'appliquer un masque binaire d'image à l'une des images considérées pour ne prendre en compte que les parties d'image pertinentes pour une estimation de mouvement. Dans ce cas, le premier mouvement estimé, correspondant à un mouvement global, est déterminé par application d'un masque binaire d'image. Puis, si à l'étape lel on décide de réitérer les étapes lal-lel, alors ces étapes sont effectuées par application d'un masque binaire d'image mis à jour en fonction du second mouvement estimé.
Dans ce contexte, ce masque binaire d'image peut être initialisé à 0 pour la première itération de la série d'étapes du procédé, c'est-à-dire qu'aucune partie d'image n'est masquée initialement. Puis, à la fin de chaque itération de la série d'étapes, il est alors possible de mettre à jour ce masque binaire d'image sur la base du second mouvement estimé obtenu. Ainsi, à l'itération suivante, le masque binaire d'image mis à jour peut être appliqué pour obtenir une estimation de mouvement global fiable. Ainsi, avantageusement ici, il est prévu d'appliquer à l'estimation de mouvement global un masque binaire d'image qui est mis à jour sur la base de l'estimation de mouvement dense. En procédant de la sorte, on est en mesure d'intégrer au sein du mécanisme d'estimation de mouvement global des informations issues du mécanisme d'estimation de mouvement dense. Cette combinaison des mécanismes itérative fournit des résultats fiables, tout en restant simple d'application.
Le masque binaire peut être obtenu de la manière suivante : une valeur résiduelle de mouvement est calculée sur l'ensemble des points où le calcul de l'estimation dense est effectué. Puis, le masque binaire indique la valeur 1 pour les points au niveau desquels le mouvement dense s'éloigne de ladite résiduelle calculée de plus d'une valeur seuil déterminée.
Dans un mode de réalisation de la présente invention, si les étapes /aile/ sont réitérées, elles sont appliquées aux mêmes images précédente et suivante. Ainsi, jusqu'à ce que le niveau de seuil de qualité soit atteint, la série d'étapes est réitérée sur les mêmes images.
Dans ce cas, à l'étape Ibl, l'image recalée peut avantageusement être obtenue par recalage de l'image suivante sur l'image précédente sur la base du premier mouvement estimé ; et à l'étape lel, le masque binaire d'image mis à jour peut être un masque à appliquer à l'image précédente.
Ici, le recalage d'une des deux images suivante et précédente est effectué selon un sens chronologique puisqu'il s'agit de recaler une image suivante sur une image qui la précède. Ainsi, avantageusement, le masque binaire d'image mis à jour dans ce contexte peut être appliqué directement à l'image précédente au cours de l'itération suivante de la série d'étapes.
Il peut être avantageux de prévoir une mise en œuvre plus rapide d'un tel procédé d'estimation de mouvement. Ainsi, dans un mode de réalisation de la présente invention, référencé par la suite 'mode rapide', si les étapes lai -lel sont réitérées, à chaque réitération, elles sont appliquées en considérant l'image suivante de l'itération précédente en tant qu'image précédente et en considérant une image qui suit ladite image suivante de l'itération précédente en tant qu'image suivante.
En procédant ainsi, avantageusement les itérations successives de la série d'étapes sont appliquées sur un couple d'image précédente et image suivante différent. En effet, il est prévu ici d'appliquer l'itération suivante à l'ancienne image suivante, qui est alors considérée comme image précédente, et à une image qui la suit dans la séquence d'images captées, qui est considérée alors en tant qu'image suivante.
Ce mode de réalisation est avantageusement adapté pour des applications temps réel qui requièrent une rapidité de traitement.
Dans ce contexte, avantageusement, on peut prévoir que, à l'étape Ibl, l'image recalée est obtenue par recalage de l'image précédente sur l'image suivante sur la base de l'inverse du premier mouvement estimé. Ici, on peut alors obtenir un masque binaire d'image mis à jour qui est un masque à appliquer directement à l'image suivante de l'itération à venir.
En procédant ainsi, on applique un recalage d'image dans un sens anti-chronologique. Dans ce cas, avantageusement, le masque binaire d'image mis à jour peut être un masque à appliquer à l'image suivante de l'itération en cours, qui devient l'image précédente dans l'itération suivante. Grâce à ce mécanisme anti chronologique on simplifie sensiblement l'application du procédé dans un mode rapide.
Un deuxième aspect de la présente invention propose un dispositif de traitement d'image comprenant des moyens pour mettre en œuvre un procédé d'estimation de mouvement selon le premier aspect de la présente invention. Un troisième aspect de la présente invention propose un programme d'ordinateur comportant des instructions pour la mise en œuvre du procédé selon le premier aspect de la présente invention, lorsque ce programme est exécuté par un processeur.
Un quatrième aspect de la présente invention propose un support d'enregistrement sur lequel est stocké le programme d'ordinateur selon le troisième aspect de la présente invention. D'autres caractéristiques et avantages de l'invention apparaîtront encore à la lecture de la description qui va suivre. Celle-ci est purement illustrative et doit être lue en regard des dessins annexés sur lesquels :
la figure 1 illustre les principales étapes d'un procédé d'estimation de mouvement selon un mode de réalisation de la présente invention ;
la figure 2 illustre une mise en œuvre d'un procédé d'estimation selon un mode de réalisation de la présente invention ; la figure 3 illustre une autre mise en œuvre d'un procédé d'estimation selon un mode de réalisation de la présente invention ; et
la figure 4 illustre un dispositif de traitement comprenant des moyens adaptés pour mettre en œuvre un procédé selon un mode de réalisation de la présente invention.
La figure 1 illustre les principales étapes du procédé d'estimation de mouvement selon un mode de réalisation de la présente invention.
On considère ici une série d'images li, pour i entier compris entre 1 et N. Cette série d'images comprend au moins une image précédente ln-i et une image suivante ln.
A une étape 101 , on obtient un premier mouvement estimé H en effectuant une estimation de mouvement global depuis l'image précédente ln-i vers l'image suivante ln. Ce premier mouvement estimé peut être représenté sous la forme d'une matrice de recalage homographique H.
Puis, à une étape 102, on obtient une image recalée, l'n-i ou l'n, sur la base du premier mouvement estimé, respectivement à partir de l'image précédente ln-i ou de l'image suivante ln. Ensuite, à une étape 103, on obtient un second mouvement estimé en effectuant une estimation de mouvement dense entre l'image recalée et l'autre parmi les images précédente et suivante. Ainsi, on envisage de recaler l'image précédente et d'estimer un mouvement dense entre l'image recalée et l'image suivante. On peut aussi envisager de recaler l'image suivante et d'estimer un mouvement dense entre l'image recalée et l'image précédente. A l'issue de cette étape, on dispose pour différentes parties d'image de valeurs respectives pour un premier vecteur de translation U, pour un second vecteur de translation V et pour un facteur de fiabilité associé N.
Puis, à une étape 104, on détermine une valeur résiduelle r de mouvement global sur la base d'une moyenne effectuée sur l'ensemble des points de calcul du champ dense U et V pour lesquels la fiabilité N est supérieure à une valeur seuil.
Enfin, à une étape 105, si la valeur résiduelle r est inférieure à une valeur seuil S, on fournit le second mouvement estimé lors de l'itération courante à une étape 106, sinon on réitère les étapes 101 -105.
Au cours des sections suivantes, il est prévu de mettre en œuvre le procédé avec l'application d'un masque binaire d'image. Toutefois, il est aisé d'en déduire une application dans laquelle le masque binaire d'image ne serait pas utilisé.
La figure 2 illustre une mise en œuvre de la présente invention selon un mode de réalisation de la présente invention.
De manière générale, il est ici proposé de mettre en œuvre une estimation de mouvement global suivie d'une estimation de mouvement dense de manière imbriquée et itérative, chaque itération étant appliquée sur deux mêmes images jusqu'à ce qu'un niveau de qualité déterminée soit atteint.
Il convient de noter que, avantageusement, dans ce mode de réalisation, la présente invention met en œuvre un masque binaire d'image M qui évite astucieusement de prendre en compte des informations relatives à certaines parties de l'image. Le masque binaire d'image indique initialement la valeur zéro relativement à chaque partie de l'image. Ainsi, le masque binaire d'image appliqué initialement permet de prendre en compte à l'initialisation l'image dans sa globalité. Le masque binaire d'image est ici mis à jour à chaque nouvelle itération. Il est donc noté M(i).
On note H une matrice permettant de modéliser le mouvement global de l'image. Cette matrice H peut notamment illustrer une première et une seconde translation représentant le mouvement global selon une première et une seconde direction respective. Cette matrice Hn-i , n permet de recaler homographiquement une image ln sur une image ln-i .
Les étapes suivantes sont appliquées de manière itératives à deux mêmes images qui sont captées successivement, la première image captée étant référencée ln-i et l'image captée suivante étant référencée ln.
A une étape 201 , on initialise l'indice d'itération i à la valeur 0. On prévoit en outre que M(0) soit un masque d'image binaire nul, c'est-à-dire qu'aucun point de l'image n'est masqué lors de la première itération des étapes du procédé.
Puis, à une étape 202, on sélectionne donc les deux images ln-i et ln qui se succèdent dans la séquence d'images captées. A une étape 203 de l'itération i, on applique le masque M(i) à l'image ln-i . Puis, à une étape 204, on effectue une estimation de mouvement globale de ln-i vers ln. Cette estimation de mouvement globale est représentée via la matrice de recalage homographique H(i).
Puis à une étape 205, l'image ln est recalée sur ln- sur la base de la matrice de recalage H (i). On obtient à l'issue de cette étape 205 une image recalée ln'.
Puis sur la base de ce recalage, c'est-à-dire en utilisant les images ln-i et ln', à une étape 206, on effectue une estimation de mouvement dense, c'est- à-dire que, par exemple, on détermine une valeur du vecteur de translation U et une valeur de translation, ainsi qu'une valeur de fiabilité N pour ces valeurs de vecteurs en chaque point de l'image ln-i .
A une étape 207, sur la base de ces valeurs de U, V et N, on effectue un calcul de valeur de mouvement résiduel global r et on compare cette valeur à une valeur seuil S. Dans le cas où le mouvement résiduel r est inférieur à la valeur seuil S, alors les étapes ne sont pas réitérées et le dernier second mouvement estimé est fourni à une étape 208. On peut alors prendre en considération deux autres images de la séquence d'images captées et leur appliquer ce même procédé.
Dans le cas où le mouvement résiduel est supérieur à la valeur seuil S, on met à jour le masque binaire d'image M(i) sur la base du second mouvement estimé, à une étape 209. Puis, l'indice d'itération est incrémenté de la valeur 1 à une étape 210 et les étapes précédemment décrites sont à nouveau exécutées sur les mêmes images ln-i et ln.
La figure 3 illustre une autre mise en œuvre de la présente invention selon un mode de réalisation de la présente invention. De manière générale, il est ici également proposé de mettre en œuvre une estimation de mouvement global suivie d'une estimation de mouvement dense de manière imbriquée et itérative. Toutefois, dans le contexte présent, chaque itération est appliquée sur deux images successives différentes. Plus précisément, à une itération précédente, il est prévu d'appliquer un traitement à une première et une seconde image successive , puis à une itération suivante, ce même traitement est appliqué à cette seconde image et à une image qui suit cette seconde image dans la séquence d'images captées.
Ce procédé selon un mode de réalisation de la présente invention est appliqué à une séquence d'images captées I, pour i entier compris entre 1 et N. La première itération de la série d'étapes du procédé de traitement est ici appliquée aux images \^ et l2. La deuxième itération de la série d'étapes est appliquée aux images l2 et l3. Le premier masque binaire d'image appliqué est un masque nul.
Puis, de manière générale, la section suivante décrit une itération appliquée aux images qui se suivent dans la séquence captée ln-i et ln.
Ainsi à une étape 301 , on prend en considération ces deux images ln-i et ln. Puis, à une étape 302, on applique un masque binaire d'image M(n-1 ) à l'image ln-i . L'application de ce masque permet de ne prendre en considération au sein de l'image ln-i uniquement les points qui sont intéressants au regard du procédé d'estimation de mouvement. Ensuite, à une étape 303, on effectue une estimation de mouvement global sur les deux images ln-i et ln sur la base de laquelle on détermine une matrice homographique de mouvement global H du mouvement depuis l'image ln-i vers ln.
Ici, il est astucieusement prévu de traiter les images selon un sens anti chronologique. Ce mécanisme peut s'avérer très pertinent dans certaines applications de traitement vidéo notamment. Il est ici prévu de déterminer une image recalée à partir de l'image ln-i afin de pouvoir effectuer une estimation de mouvement dense depuis l'image ln vers l'image recalée η--ι . En procédant ainsi, on peut déterminer avantageusement un masque binaire d'image M(n) à appliquer directement à l'image ln lors de la prochaine itération. L'image ln sera considérée en tant qu'image précédente à l'itération à venir. Par conséquent, l'itération prochaine peut être appliquée à l'image ln et l'image qui la suit ln+i avec le masque binaire d'image M(n) directement adapté pour être appliqué à l'image ln.
A cet effet, on détermine une matrice homographique de mouvement global à appliquer à l'image ln-i pour la recaler sur l'image ln. Cette matrice correspond à 1 /H, c'est-à-dire l'inverse de la matrice homographique H.
On obtient ensuite à une étape 304 l'image l'n-i par application de la matrice homographique 1 /H.
Puis, à une étape 305, on effectue une estimation de mouvement dense depuis l'image ln vers l'image recalée η--ι . On en déduit en chaque point de l'image ln une valeur du vecteur de mouvement Un, une valeur du vecteur de mouvement Vn, et une valeur de fiabilité associée Nn, relativement à l'image ln. Sur la base de ces valeurs, on détermine une valeur de mouvement résiduel global rn relativement à l'image ln. Ainsi, à une étape 306, on compare cette valeur de mouvement résiduel rn à une valeur seuil S de qualité. Si la valeur de fiabilité rn est inférieure à la valeur S, alors la série d'étapes n'est pas réitérée et le procédé d'estimation fournit en sortie les valeurs des grandeurs suivantes :
- Un, - H
Dans le cas contraire, à l'étape 308, on détermine un masque binaire d'image M(n-1 ) en vue de pouvoir l'appliquer à l'image précédente de l'itération à venir, cette image correspondant à l'image In de la précédente itération. Puis, à une étape 309, on incrémente l'indice n de la valeur 1 .
Avantageusement ici, le masque binaire d'image M obtenu avant la prochaine itération de la série d'étapes est directement applicable à l'image ln-i car il est déterminé sur la base d'informations relatives à un sens anti chronologique dans la séquence d'images captées. En effet, les valeurs de U, V et N fournies par l'étape d'estimation de mouvement dense sont déterminées sur une comparaison depuis l'image ln vers l'image ln-i , c'est-à-dire en considérant les deux images dans un sens anti chronologique par rapport à leur ordre dans la séquence d'images captées.
La figure 4 illustre un dispositif de traitement d'image adapté pour mettre en œuvre un procédé selon un mode de réalisation de la présente invention. Un tel dispositif peut avantageusement correspondre à une carte électronique embarquée.
Un tel dispositif comprend :
-une première unité d'estimation 41 adaptée pour obtenir un premier mouvement estimé en effectuant une estimation de mouvement global depuis l'image précédente ln-i vers l'image suivante ln ;
- une unité de recalage 42 adaptée pour obtenir une image recalée l'n-i ou l'n sur la base du premier mouvement estimé, à partir de l'une parmi les images précédente et suivante ln-i , ln ;
- une seconde unité d'estimation 43 adaptée pour obtenir un second mouvement estimé U, V, N en effectuant une estimation de mouvement dense entre l'image recalée et l'autre parmi les images précédente et suivante ;
- une unité de détermination 44 adaptée pou déterminer une valeur résiduelle de mouvement r global ; et
- une unité de contrôle adaptée 45, d'une part, pour déclencher une séquence d'étapes en commandant séquentiellement la première unité d'estimation, l'unité de recalage, la seconde unité d'estimation et l'unité de détermination et, d'autre part, pour décider si la valeur résiduelle est inférieure à une valeur seuil S de fournir le dernier second mouvement estimé fourni U, V, N, et sinon de déclencher à nouveau ladite séquence d'étapes.
La première unité d'estimation 41 peut prendre en compte un masque binaire d'image M; et l'unité de détermination 43 peut être adaptée pour mettre à jour le masque binaire d'image en fonction du second mouvement estimé. Si la séquence d'étapes est déclenchée à nouveau, les étapes peuvent être appliquées aux mêmes images précédente et suivante.
Dans un mode de réalisation, l'image recalée peut être fournie par l'unité de recalage 42 par recalage de l'image suivante In sur l'image précédente ln-1 sur la base du premier mouvement estimé ; et l'unité de détermination 43 peut fournir le masque binaire d'image mis à jour en tant que masque à appliquer à l'image précédente.
Dans une variante, si les étapes /a/-/e/ sont réitérées, à chaque réitération, elles sont appliquées en considérant l'image suivante de l'itération précédente en tant qu'image précédente et en considérant une image qui suit ladite image suivante de l'itération précédente en tant qu'image suivante.
Dans ce cas, l'image recalée l'n-i peut être fournie par l'unité de recalage 42 par recalage de l'image précédente ln-i sur l'image suivante ln sur la base de l'inverse du premier mouvement estimé ; et l'unité de détermination 43 peut fournir le masque binaire d'image mis à jour en tant que masque à appliquer à l'image suivante de l'itération à venir.

Claims

REVENDICATIONS
1 . Procédé d'estimation de mouvement dans une série d'images captées par un capteur d'image, ladite série d'images comprenant au moins une image précédente (ln-1 ) et une image suivante (In) ;
ledit procédé d'estimation comprenant les étapes suivantes :
/a/ obtenir (101 ) un premier mouvement estimé (H) en effectuant une estimation de mouvement global depuis l'image précédente (ln-i ) vers l'image suivante (ln) ;
Ibl obtenir (102) une image recalée (l'n-i ou l'n) sur la base du premier mouvement estimé, à partir de l'une parmi les images précédente et suivante (ln-i , ln) ;
Ici obtenir (103) un second mouvement estimé (U, V, N) en effectuant une estimation de mouvement dense entre l'image recalée et l'autre parmi les images précédente et suivante ;
làl déterminer (104) une valeur résiduelle de mouvement (r) global ; et
lel si (105) la valeur résiduelle est inférieure à une valeur seuil (S) fournir le second mouvement estimé (U, V, N), sinon réitérer les étapes lal-lel ;
dans lequel le premier mouvement estimé est déterminé par application d'un masque binaire d'image (M) ; et
dans lequel, si à l'étape lel les étapes /a/ à lel sont réitérées, elles sont effectuées par application d'un masque binaire d'image mis à jour en fonction du second mouvement estimé.
2. Procédé d'estimation de mouvement selon la revendication 1 , dans lequel, si les étapes /a/-/e/ sont réitérées, elles sont appliquées aux mêmes images précédente et suivante.
3. Procédé d'estimation de mouvement selon la revendication 2, dans lequel, à l'étape Ibl, l'image recalée (l'n) est obtenue par recalage de l'image suivante (In) sur l'image précédente (ln-1 ) sur la base du premier mouvement estimé ; et
à l'étape lel, le masque binaire d'image mis à jour est un masque à appliquer à l'image précédente.
4. Procédé d'estimation de mouvement selon la revendication 1 , dans lequel, si les étapes /a/-/e/ sont réitérées, à chaque réitération, elles sont appliquées en considérant l'image suivante de l'itération précédente en tant qu'image précédente et en considérant une image qui suit ladite image suivante de l'itération précédente en tant qu'image suivante.
5. Procédé d'estimation de mouvement selon la revendication 4, à l'étape Ibl, l'image recalée (l'n-i ) est obtenue par recalage de l'image précédente (ln- i ) sur l'image suivante (ln) sur la base de l'inverse du premier mouvement estimé ; et dans lequel le masque binaire d'image mis à jour est un masque à appliquer à l'image suivante de l'itération à venir.
6. Dispositif (40) de traitement d'images d'une série d'images captées par un capteur d'image, ladite série d'images comprenant au moins une image précédente (ln-1 ) et une image suivante (In) ;
ledit dispositif de traitement d'images comprenant :
- une première unité d'estimation (41 ) adaptée pour obtenir un premier mouvement estimé (H) en effectuant une estimation de mouvement global depuis l'image précédente (ln-i ) vers l'image suivante (ln) ;
- une unité de recalage (42) adaptée pour obtenir une image recalée (l'n-i ou l'n) sur la base du premier mouvement estimé, à partir de l'une parmi les images précédente et suivante (ln-i , ln) ;
- une seconde unité d'estimation (43) adaptée pour obtenir un second mouvement estimé (U, V, N) en effectuant une estimation de mouvement dense entre l'image recalée et l'autre parmi les images précédente et suivante ;
- une unité de détermination (44) adaptée pour déterminer une valeur résiduelle de mouvement (r) global ; et
- une unité de contrôle adaptée (45), d'une part, pour déclencher une séquence d'étapes en commandant séquentiellement la première unité d'estimation, l'unité de recalage, la seconde unité d'estimation et l'unité de détermination et, d'autre part, pour décider si la valeur résiduelle est inférieure à une valeur seuil (S) de fournir le dernier second mouvement estimé fourni (U, V, N), et sinon de déclencher à nouveau ladite séquence d'étapes.
dans lequel la première unité d'estimation (41 ) prend en compte un masque binaire d'image (M) ; et dans lequel l'unité de détermination (43) est adaptée pour mettre à jour le masque binaire d'image en fonction du second mouvement estimé.
7. Dispositif (40) de traitement selon la revendication 6, dans lequel, si la séquence d'étapes est déclenchée à nouveau, elles sont appliquées aux mêmes images précédente et suivante.
8. Dispositif (40) de traitement selon la revendication 7, dans lequel l'image recalée (l'n) est fournie par l'unité de recalage (42) par recalage de l'image suivante (In) sur l'image précédente (ln-1 ) sur la base du premier mouvement estimé ; et
dans lequel l'unité de détermination (43) fournit le masque binaire d'image mis à jour en tant que masque à appliquer à l'image précédente.
9. Dispositif (40) de traitement selon la revendication 6, dans lequel, si les étapes /a/-/e/ sont réitérées, à chaque réitération, elles sont appliquées en considérant l'image suivante de l'itération précédente en tant qu'image précédente et en considérant une image qui suit ladite image suivante de l'itération précédente en tant qu'image suivante.
10. Dispositif (40) de traitement selon la revendication 9, dans lequel l'image recalée ( η--ι) est fournie par l'unité de recalage (42) par recalage de l'image précédente (ln-i) sur l'image suivante (ln) sur la base de l'inverse du premier mouvement estimé ; et
dans lequel l'unité de détermination (43) fournit le masque binaire d'image mis à jour en tant que masque à appliquer à l'image suivante de l'itération à venir.
1 1 . Programme d'ordinateur comportant des instructions pour la mise en œuvre du procédé selon la revendication 1 , lorsque ce programme est exécuté par un processeur.
12. Support d'enregistrement sur lequel est stocké le programme d'ordinateur selon la revendication 1 1 .
PCT/FR2011/050010 2010-01-04 2011-01-04 Estimation de mouvement global et dense WO2011080495A1 (fr)

Priority Applications (4)

Application Number Priority Date Filing Date Title
US13/519,944 US8873809B2 (en) 2010-01-04 2011-01-04 Global and dense motion estimation
BR112012016403-1A BR112012016403A2 (pt) 2010-01-04 2011-01-04 estimativa do movimento global e denso
EP11704249A EP2522140A1 (fr) 2010-01-04 2011-01-04 Estimation de mouvement global et dense
RU2012133468/08A RU2565515C2 (ru) 2010-01-04 2011-01-04 Оценка общего и частного движения

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR1050014 2010-01-04
FR1050014A FR2955007B1 (fr) 2010-01-04 2010-01-04 Estimation de mouvement global et dense

Publications (1)

Publication Number Publication Date
WO2011080495A1 true WO2011080495A1 (fr) 2011-07-07

Family

ID=42735284

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/FR2011/050010 WO2011080495A1 (fr) 2010-01-04 2011-01-04 Estimation de mouvement global et dense

Country Status (6)

Country Link
US (1) US8873809B2 (fr)
EP (1) EP2522140A1 (fr)
BR (1) BR112012016403A2 (fr)
FR (1) FR2955007B1 (fr)
RU (1) RU2565515C2 (fr)
WO (1) WO2011080495A1 (fr)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR3018147B1 (fr) 2014-03-03 2016-03-04 Sagem Defense Securite Debruitage video optimise pour systeme multicapteur heterogene
CN110232361B (zh) * 2019-06-18 2021-04-02 中国科学院合肥物质科学研究院 基于三维残差稠密网络的人体行为意图识别方法与系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1117251A1 (fr) * 1999-12-29 2001-07-18 Eastman Kodak Company Méthode de stabilisation automatique pour des séquences d'images digitales
WO2004056089A2 (fr) * 2002-12-13 2004-07-01 Qinetiq Limited Systeme et procede de stabilisation d'image
EP1755342A1 (fr) * 2005-08-19 2007-02-21 Thomson Licensing Méthode et dispositif de calcul itératif de paramètres de mouvement pour une séquence d'images à partir de vecteurs de mouvement de blocs
JP2009290827A (ja) * 2008-06-02 2009-12-10 Sony Corp 画像処理装置および画像処理方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6095976A (en) * 1997-06-19 2000-08-01 Medinol Ltd. Method for enhancing an image derived from reflected ultrasound signals produced by an ultrasound transmitter and detector inserted in a bodily lumen
AU6061100A (en) * 1999-07-01 2001-01-22 General Nanotechnology, Llc Object inspection and/or modification system and method
RU2159958C1 (ru) * 1999-09-21 2000-11-27 Садыков Султан Садыкович Устройство обработки цветных изображений
JP4765194B2 (ja) * 2001-05-10 2011-09-07 ソニー株式会社 動画像符号化装置、動画像符号化方法、動画像符号化プログラム格納媒体及び動画像符号化プログラム
DE10316208A1 (de) * 2002-04-12 2003-11-20 Samsung Electro Mech Navigationssystem und Navigationsverfahren
US7705884B2 (en) * 2004-07-21 2010-04-27 Zoran Corporation Processing of video data to compensate for unintended camera motion between acquired image frames
US8013895B2 (en) * 2006-08-07 2011-09-06 Avago Technologies General Ip (Singapore) Pte. Ltd. Optical motion sensing
JP5040258B2 (ja) * 2006-10-23 2012-10-03 株式会社日立製作所 映像監視装置、映像監視システムおよび画像処理方法
US8040382B2 (en) * 2008-01-07 2011-10-18 Dp Technologies, Inc. Method and apparatus for improving photo image quality
US8508605B2 (en) * 2009-10-14 2013-08-13 Csr Technology Inc. Method and apparatus for image stabilization
US8488007B2 (en) * 2010-01-19 2013-07-16 Sony Corporation Method to estimate segmented motion
US8570344B2 (en) * 2010-04-02 2013-10-29 Qualcomm Incorporated Augmented reality direction orientation mask

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1117251A1 (fr) * 1999-12-29 2001-07-18 Eastman Kodak Company Méthode de stabilisation automatique pour des séquences d'images digitales
WO2004056089A2 (fr) * 2002-12-13 2004-07-01 Qinetiq Limited Systeme et procede de stabilisation d'image
EP1755342A1 (fr) * 2005-08-19 2007-02-21 Thomson Licensing Méthode et dispositif de calcul itératif de paramètres de mouvement pour une séquence d'images à partir de vecteurs de mouvement de blocs
JP2009290827A (ja) * 2008-06-02 2009-12-10 Sony Corp 画像処理装置および画像処理方法
US20100020244A1 (en) * 2008-06-02 2010-01-28 Sony Corporation Image processing apparatus and image processing method

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
DETERMINING OPTICAL FLOW, 1981
EWERTH R ET AL: "Segmenting moving objects in MPEG videos in the presence of camera motion", 14TH INTERNATIONAL CONFERENCE ON IMAGE ANALYSIS AND PROCESSING,(ICIAP 2007), 1 January 2007 (2007-01-01), pages 6 PP, XP002602161 *
GENERALIZED IMAGE MATCHING BY THE METHOD OF DIFFÉRENCES, 1984
SU Y ET AL: "Global motion estimation from coarsely sampled motion vector field and the applications", IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEO TECHNOLOGY, IEEE SERVICE CENTER, PISCATAWAY, NJ, US, vol. 15, no. 2, 1 February 2005 (2005-02-01), pages 232 - 241, XP002602162, ISSN: 1051-8215, DOI: 10.1109/TCSVT.2004.841656 *

Also Published As

Publication number Publication date
FR2955007A1 (fr) 2011-07-08
BR112012016403A2 (pt) 2018-07-31
US20130142397A1 (en) 2013-06-06
EP2522140A1 (fr) 2012-11-14
US8873809B2 (en) 2014-10-28
RU2565515C2 (ru) 2015-10-20
FR2955007B1 (fr) 2012-02-17
RU2012133468A (ru) 2014-03-20

Similar Documents

Publication Publication Date Title
WO2011144408A1 (fr) Procede et systeme pour fusionner des donnees issues de capteurs d'images et de capteurs de mouvement ou de position
FR2903200A1 (fr) Stabilisation hybride d'images pour camera video
EP2149108A2 (fr) Détection et estimation de déplacement d'un appareil de prise de vue
WO2013093378A1 (fr) Procede d'estimation de flot optique a partir d'un capteur asynchrone de lumiere
FR2898757A1 (fr) Procede et dispositif d'adaptation d'une frequence temporelle d'une sequence d'images video
EP3272119A1 (fr) Procede de reconstruction 3d d'une scene
FR2952743A3 (fr) Procede d'estimation du mouvement d'un instrument d'observation a defilement survolant un corps celeste
EP1672585A1 (fr) Procédé, dispositif et système de traitement d'images par estimation de mouvement
WO2019122703A1 (fr) Procede de determination des bords saillants d'une cible sur une image
FR2891686A1 (fr) Procede et dispositif de detection de transitions dans une sequence video, procede et dispositif de codage, produits programme d'ordinateur et moyens de stockage correspondants.
FR3027144A1 (fr) Procede et dispositif de determination de mouvement entre des images video successives
EP1746486A1 (fr) Procédé de détection de déplacement d'une entité pourvue d'un capteur d'images et dispositif pour le mettre en oeuvre
WO2011080495A1 (fr) Estimation de mouvement global et dense
EP1998288A1 (fr) Procédé de détermination du déplacement d'une entité pourvue d'un capteur de séquence d'images, programme d'ordinateur, module et souris optique associés
FR2969353A1 (fr) Procede de realisation d'une image panoramique a partir d'une sequence video et appareil de mise en oeuvre.
WO2001043446A1 (fr) Procede d'estimation de mouvement entre deux images avec gestion des retournements de mailles et procede de codage correspondant
WO2009087318A2 (fr) Procede et dispositif de reconstruction du volume d'un objet a partir d'une sequence d'images de coupes dudit objet
EP2943935B1 (fr) Estimation de mouvement d'une image
EP2375724B1 (fr) Stabilisation d'images captées
EP3070505B1 (fr) Procede et systeme de mise au point automatique d'une camera
CA3105372C (fr) Traitement d'un bruit impulsionnel dans une sequence video
EP3701492B1 (fr) Procede de restauration d'images
EP1746487A1 (fr) Procede et dispositif de detection de deplacement d'une entite pourvue d'un capteur d'images
FR3009471A1 (fr) Procede de traitement d'une sequence d'images, programme d'ordinateur et dispositif de traitement correspondants
FR3051066A1 (fr) Procede de restauration d'images

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 11704249

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2011704249

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 13519944

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 6147/CHENP/2012

Country of ref document: IN

WWE Wipo information: entry into national phase

Ref document number: 2012133468

Country of ref document: RU

REG Reference to national code

Ref country code: BR

Ref legal event code: B01A

Ref document number: 112012016403

Country of ref document: BR

ENP Entry into the national phase

Ref document number: 112012016403

Country of ref document: BR

Kind code of ref document: A2

Effective date: 20120702