WO1991003797A1 - Procede et dispositif d'estimation et de codage hierarchise du mouvement de sequences d'images - Google Patents

Procede et dispositif d'estimation et de codage hierarchise du mouvement de sequences d'images Download PDF

Info

Publication number
WO1991003797A1
WO1991003797A1 PCT/FR1990/000628 FR9000628W WO9103797A1 WO 1991003797 A1 WO1991003797 A1 WO 1991003797A1 FR 9000628 W FR9000628 W FR 9000628W WO 9103797 A1 WO9103797 A1 WO 9103797A1
Authority
WO
WIPO (PCT)
Prior art keywords
motion
blocks
vectors
level
field
Prior art date
Application number
PCT/FR1990/000628
Other languages
English (en)
Inventor
Michel Kerdranvat
Original Assignee
Thomson Consumer Electronics S.A.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thomson Consumer Electronics S.A. filed Critical Thomson Consumer Electronics S.A.
Priority to EP90913705A priority Critical patent/EP0441941B1/fr
Priority to KR1019910700410A priority patent/KR920701916A/ko
Priority to US07/678,278 priority patent/US5351095A/en
Priority to DE69025392T priority patent/DE69025392T2/de
Publication of WO1991003797A1 publication Critical patent/WO1991003797A1/fr

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/40—Tree coding, e.g. quadtree, octree
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/223—Analysis of motion using block-matching
    • G06T7/238—Analysis of motion using block-matching using non-full search, e.g. three-step search
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/53—Multi-resolution motion estimation; Hierarchical motion estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96—Tree coding, e.g. quad-tree coding

Definitions

  • the invention relates to the field of image processing, and more particularly to motion estimation used in image transmission chains, in particular with a view to reducing the data rate, and relates to a method and, the corresponding device, for hierarchical estimation and coding and for the movement of image sequences.
  • Motion estimation information is increasingly used in all parts of a high definition television transmission chain: - at the stage of image production;
  • motion estimation becomes an important function in the image transmission chain, especially in high definition.
  • the subject of the invention is a method and the corresponding device for estimating and coding movement, developed to allow coding of image sequences in a simple manner, this movement information being exactly suited to coding. of the "quadtree" type to which, moreover, a flow regulation is easily applicable.
  • this movement information can be transmitted, in particular on an auxiliary channel for transmitting digital data to assist in decoding image sequences.
  • the complexity and therefore the performances of the motion estimation system can be greater in the production studio than they could be in reception equipment; thus an efficient and solid motion estimator can be constructed;
  • the second is that, in the production studio, all the information in the sequence of images to be coded is available and that the motion estimation is therefore more efficient;
  • a method for hierarchically estimating and coding the movement of image sequences is characterized in that it consists:
  • FIG. 1 illustrates the information conventionally used to estimate a field of motion
  • FIG. 2 illustrates the information used to estimate a field of motion according to the invention
  • FIG. 3 illustrates the breakdown of a macroblock into smaller blocks according to 5 hierarchical levels
  • FIG. 4 illustrates the sequence of steps of the motion estimation method according to the invention
  • Figure 8 illustrates the coding tree associated with the decomposition illustrated by Figure 3.
  • This algorithm assumes that all the elementary image elements or "pixels" of the same block have the same displacement.
  • This algorithm is recursive, and uses the motion field calculated in the previous iteration for the next iteration from the Taylor expansion of a quantity which is the sum over a block of the luminance differences of the pixels of two blocks. of two consecutive frames corresponding by the displacement estimated in the previous iteration.
  • D,. and D. the two-component motion vectors D.x and D.y, D. -x and D., y for a block of pixels, respectively at iteration i and at the previous iteration i-1;
  • the algorithm used according to the invention is derived from this space-time algorithm to allow a so-called "symmetrical" motion estimation. Indeed, as indicated above, the formulas recalled lead to the estimation of the movement of the blocks of the current frame at iteration i from the movements estimated for the same blocks at iteration i-1 and in
  • a "symmetrical" motion estimation according to the invention uses, for the estimation of the motion in a current frame
  • the components of the vectors can be non-integer components and an interpolation is necessary to calculate the displaced inter-frame difference, DFD, and the gradients.
  • the four image elements closest to the current image element z are used.
  • FIG. 2 shows the position of the blocks moved in the previous frame and in the next frame, corresponding to a current block for which the displacement vector estimated at the previous iteration is D from the previous frame to the current frame and therefore - D from the next frame to the current frame if we assume symmetrical displacements.
  • a detail of the vicinity of z-D shows that, in general, the displacement vector leads to a displaced pixel z-D (or z + D) having a position which does not correspond. to whole values of x and y. Consequently, the luminance values of the four points in the vicinity of z-D (or z + D), I-, Iriya, Ieptic and I. are taken into account for the luminance calculations of the displaced pixels and for the calculation of the gradients.
  • the interpolation of luminance I is bilinear, that is to say that it is a weighted sum of I,, I, I, and I réelle.
  • I (zD 1_1 ) will be noted I (tl) and I (z + D i + 1 ) will be noted I (t + 1) and similarly grad x (zD i_1 , tl) will be noted grad x (tl), grad x (z + D i_1 , t + l) will be noted grad (t + 1), the components along y being noted in the same way, and the displaced interframe differences being noted DED (tl) and DFD (t + l).
  • This type of motion estimation algorithm has two critical parameters: the number of iterations allowing the final values to be obtained, and the size of the measurement window or "block": - in order to reduce the number of iterations necessary to obtain the correct displacement vector
  • a temporal recursion is not well suited for the borders of objects. As a result recursion.
  • implementation according to the invention is a temporal recursion only for the initialization of the motion estimation for the current image and a particular spatial recursion which makes it possible to envision a parallelization of the motion estimation calculations of the current image.
  • the motion estimation algorithm assumes that a constant translation occurs for all the pixels included within a measurement window.
  • An ideal solution would be to have a window of variable size depending on the size of the image areas considered: large windows could be used for global displacements, of the panoramic type. * C or failovers for example, while small Fene ⁇ tres would be used for smaller sizes of objects items.
  • large measurement windows are used for large displacements or for constant displacements of large areas.
  • the smallest window corresponds to the most precise field of movement.
  • Such a hierarchical structure is interesting because it makes it possible to refine the motion estimation where the motion information has the greatest density.
  • the field of motion vectors resulting from a motion estimation according to one of the known algorithms is formed of zones with constant displacement having any different sizes, only related to the content of the image.
  • a classic hierarchical type motion estimation as described above generates motion fields corresponding therefore to blocks of any size and the problem is then to gather these different motion information in order to obtain for each frame a field of movement associated with blocks of sizes as large as possible, corresponding to zones with constant movement.
  • this approach is close to that used for the construction of a coding tree in particular for coding by quadrant or "quad ⁇ tree” as described in an article by CA SHAFFER and H. SAMET entitled “Optimal quadtree construction algorithm "in -Computer vision graphies and image processing, vol. 37, 402-419 from 1987-.
  • the hierarchical motion estimation method is used to increase the convergence of the recursive motion estimation algorithm, but it is adapted to the decomposition into quadrants so as to obtain simultaneously l motion estimation and the corresponding coding of this motion information, optimally.
  • the blocks of a level are the result of dividing a block of the level into four immediately higher as shown in Figure 3 which illustrates the different sizes of blocks resulting from the partition.
  • recursion is obtained by using the field of movement obtained at a given level of the hierarchy to calculate the field of movement of the level immediately below; thus for calculations inside a given level, the motion estimate for a block is independent of that of the other neighboring blocks at the same level.
  • the maximum size of the blocks of picture elements recognized for coding being 128 ⁇ 128 pixels and the minimum size being 8 ⁇ 8 by successive partitions of each block in 4 quadrants, the a priori calculation of the displacement vectors is carried out according to the invention first for blocks of 128,128 pixels (level 1), then of 64.64 (level 2) then of 32.32 (level 3), then 16.16 (level 4) and finally 8.8 pixels (level 5), regardless of the content of the image.
  • the four initial values for the largest blocks, at the first level (128.128) are zero or arbitrary for the first image of the sequence, then equal to the motion vectors of the blocks 64.64 (resulting from the partition into 4 of blocks 128.128) of the previous image of the sequence, for the following images. Then the four initial values collected for a block of size nn come from the previous level, therefore at a block size 2n.2n. These values are the displacements estimated for the four nearest blocks of larger size, as represented in FIGS.
  • a first step of calculation by point gives the values of the displaced interframe differences and of the gradients from the luminance values coming from the memories and the initial displacement vectors, relative to the previous image t-1, and relative to the image next to t + 1.
  • the next step then consists in calculating the components of the displacement vector according to the iterative formulas given above, D and D after having calculated the partial sums xy of the differences such as CA and DB over the whole of the corresponding block of level n.
  • the four initial values for each current block make it possible to initialize four separate motion estimates for this block (only one has been shown) and give when the iterative formulas of the algorithm converged four values of updated motion vectors, independent, which complement the values of the vectors of the previous levels.
  • the squares of the intermediate DFD interframe differences used for the updates are calculated, stored in memory and added for the whole block, so as to choose for each block at the end of the 4 calculations, the "best" displacement among the four new updated displacement vectors, that is to say the one for which the sum S of the interframe differences squared for this block is minimal. This best vector then constitutes one of the vectors of the motion field calculated at level n.
  • the displacement vector correct of each zone can be found among the five motion fields available for block sizes varying between 128.128 and 8.8.
  • the problem is to find the criterion which makes it possible to determine the final field of movement, stage 6 fi ⁇ figure 4, starting from the five fields of movement thus calculated, with blocks of sizes as large as possible, to decrease the coding rate during the coding carried out thereafter.
  • the sum S on a block of displaced interframe differences is stored in memory.
  • five memory areas contain the differences in displaced interframe luminance squared, with the displacement vectors associated DV (2) with two components:
  • a sum value of the interframe differences displaced in the square S ..rax Q is stored for each block, as well as the corresponding displacement vector, with 2 components, DV 2 g at level 2, each macroblock having been divided into 4 blocks of 64.64 pixels, 4 values of sums of differences moved to the square S fi . and four displacement vectors corresponding to two DV fi components.
  • the displacement vector DV.-n is assigned to macroblock 128.128 if S 12g is smaller or equal to the sum of S ⁇ 4 , at the sum of S physically exertion, the sum of S. R and the sum of S fl for the whole macroblock.
  • a displacement vector V g4 is allocated to a block 64.64 if the value S g4 is smaller or equal to the sum of S naval matter, to sum of S lg , and to the sum of S Q , summed on the corresponding block 64.64.
  • a displacement vector DV g4 is not allocated to a block 64.64, the displacement vectors of the corresponding blocks of 32.32 elements are tested and a displacement vector DV 32 is allocated to a block 32.32 pixels, if S 3 suris less than or equal to the sum of S. ⁇ and the sum of S fi , respectively summed on the corresponding block 32.32. - If a block 32.32 has not had an allocated vector, the displacement vectors of the corresponding 16.16 blocks, DV--, are tried. A displacement vector DVA lb is allocated to a block 16.16 if the associated value S lg is less than or equal to the sum of the four corresponding lower-level values, S g .
  • the displacement vectors DV 8 of the last level are allocated to the blocks 8.8 which compose it.
  • the last step then implemented is the step of "quadtree" coding, 7, and of regulation of the bit rate 8 (if necessary), as shown in FIG. 4.
  • Knowledge of the information decreases the execution time of the construction of the coding tree which can thus be less costly if the movement vectors of elementary blocks are known.
  • the regulation of the coding rate of the movement information can be easily done.
  • a histogram of the displacement vector field resulting from the previous step is established.
  • the displacement vectors corresponding to peaks in the histogram greater than a given threshold (this threshold corresponding to an estimate movement considered correct) are selected. These vectors are transmitted for each frame and their number determines the number of bits necessary for a code word to be assigned to each of them.
  • the "quadtree" coding is performed on the basis of the 128 ⁇ 128 macroblocks, and a tree characterizes the decomposition of each of these macroblocks as it results from the corresponding final movement field. In the tree, a node can be a root or a leaf.
  • a special code word indicates a root, and a leaf corresponds to a displacement vector.
  • the coding speed for a tree is equal to the number of nodes multiplied by the number of bits of the code words: for a high definition image made up of 1152 lines each having 1440 image elements or pixels, 108 macroblocks make it possible to cover the whole picture.
  • French patent application n ° 89 08547 in the name of the Applicant describes in more detail a procedure for analyzing the field of movement and allocating corresponding codes from the coding trees corresponding to the decomposition into quadrants and the corresponding regulation when the required bit rate is exceeded, also applicable to the coding and to the regulation of the field of motion as it results from the estimation process described above.
  • the results obtained by following such a hierarchical motion estimation method associated with a coding technique "quadtree" have been evaluated for television signals resulting from an interlaced analysis.
  • the motion estimation is performed for each even frame, and this motion information is coded and transmitted for the odd frames.
  • the odd paths are interpolated from the even frames and the movement information.
  • the processing of a block is independent of that of the other blocks and only the displacement vectors of the neighborhood defined at the previous level are used as initial values.
  • the decomposition into trees of the motion field can be constructed quickly because it uses an already existing structure at the end of the motion estimation.
  • This motion estimation method can be configured as required to be adapted to the various functions of the transmission chain: Indeed, the size of the block of minimum dimension and the maximum bit rate are variable parameters.
  • the possibility of obtaining a displacement vector for each pixel, that is to say a point motion vector field, has even been tested. For this we assume that all the motion vectors of the real motion field of the image belong to the final motion field resulting from the estimator after a priori determination of the motion fields of the different levels, that is to say that the estimation is not carried out at a finer level than that of the blocks 8.8. Then, for each pixel, the vector which leads to the lowest interframe difference is selected in this movement field. This vector is then an element of the point motion field.
  • the estimation device within the reach of those skilled in the art, is not shown since it mainly comprises image memories of the sequence, calculation means and storage memories for intermediate results and for final results. It should however be noted that the implementation of the motion estimation method according to the invention is facilitated by the fact that the calculations, for the different macroblocks of a frame (typically 108), then at each intermediate level, can be performed in parallel since, as indicated above, the calculations for a block at a given level only use the values already calculated at the previous level. Similarly, in a given level, the four separate estimates made for each of the blocks from four different initial values can be performed in parallel since they are independent. The parallelization of the estimation device can therefore be important as long as the calculation means allow it.
  • the motion estimator can feed each piece of equipment in the studio that requires motion information or coded motion information.

Abstract

Le procédé d'estimation de mouvement suivant l'invention calcule a priori pour l'image courante un premier champ de mouvement pour des blocs d'un premier niveau résultant d'une partition de l'image en blocs de taille dite ''maximale'', à partir d'un algorithme d'estimation symétrique, utilisant les images précédente et suivante dans la séquence pour calculer les différences intertrames déplacées, puis un second champ de mouvement pour des blocs résultant de la partition d'un bloc du premier niveau et ainsi de suite jusqu'à un niveau de blocs de taille minimale. Le champ de mouvement final résulte de la sélection des vecteurs mouvement les plus adaptés parmi ceux des différents niveaux et est directement associé à un arbre de codage ''quadtree''. L'invention s'applique aux chaînes de transmission d'images, notamment en haute définition.

Description

Procédé et dispositif d'estimation et de codage hiérarchisé du mouvement de séquences d'images
L'invention se rapporte au domaine du traitement d'images, et plus particulièrement à l'estimation de mouvement utilisée dans les chaînes de transmission d'images notamment en vue de réduire le débit d'informations, et a pour objet un procédé et, le dispositif correspondant, d'estimation et de codage hiérarchi¬ sé et du mouvement de séquences d'images.
L'information d'estimation de mouvement est de plus en plus utilisée dans toute les parties d'une chaîne de transmis¬ sion de télévision en haute définition : - au stade de la production des images ;
- au stade de la transmission des images ;
- et au stade de la réception de ces mêmes images.
Ainsi l'estimation de mouvement devient une fonction impor¬ tante dans la chaîne de transmission d'images notamment en haute définition.
Actuellement chaque équipement de la chaîne de transmis¬ sion a son propre estimateur de mouvement. Il semble donc très intéressant de prévoir un seul estimateur de mouvement, dans le studio de production, qui soit capable d'alimenter chaque équipe - ment de la chaîne de télévision haute définition. Mais comme chaque équipement ne requiert pas les mêmes caractéristiques pour l'information de mouvement, l'estimateur de mouvement uni¬ que doit avoir plusieurs sorties possibles, ou être paramétrable. L'invention a pour objet un procédé et le dispositif cor- respondant, d'estimation et de codage du mouvement, développé pour permettre le codage de séquences d'images de manière sim¬ ple, cette information de mouvement étant exactement adaptée à un codage de type "quadtree" auquel, en outre, une régulation de débit est aisément applicable. De plus, dans le but d'éviter une opération d'estimation de mouvement à la réception qui augmenterait la complexité du récepteur, cette information de mouvement peut être transmise, notamment sur une voie auxiliaire de transmission de données numériques d'assistance au décodage de séquences d'images. Plusieurs avantages résultent d'une estimation de mouvement au studio de production :
- le premier est que la complexité et donc les performan¬ ces du système d'estimation de mouvement peuvent être plus grandes au studio de production qu'elles ne pourraient l'être dans un équipement de réception ; ainsi un estimateur de mouve- ment performant et solide peut être construit ;
- le second est que, au studio de production, toutes les informations de la séquence d'images à coder sont disponibles et que l'estimation de mouvement est donc plus performante ;
- de plus, une estimation de mouvement qui serait effec- tuée à la réception serait perturbée par le bruit de transmission.
Selon l'invention, un procédé d'estimation et de codage hiérarchisé du mouvement de séquences d'images, est caractérisé en ce qu'il consiste :
- à un premier niveau, à découper l'image courante en macroblocs de 2P .2P pixels et à déterminer un premier champ de vecteurs mouvement, associé à cette partition en macroblocs, en utilisant un algorithme d'estimation itératif et recursif initialise par des vecteurs mouvement estimés pour l'image précédente, - puis, à un deuxième niveau, à découper en quadrants chacun des macroblocs et à déterminer, pour les blocs qui en résultent, un second champ de vecteur de mouvement en utili¬ sant le même algorithme d'estimation mais initialise par des vecteurs du champ de mouvement estimé au niveau précédent, ètllΘ - puis à un i niveau, i = 3 à p, à découper chacun des blocs considérés au niveau i-1 en quadrants et à déterminer, pour les blocs qui en résultent, un i champ de vecteurs de mouvement en utilisant le même algorithme d'estimation initia¬ lise par des vecteurs du champ de mouvement estimés au niveau précédent, les blocs de taille minimale étant des blocs de 2 .1+1.2 ,,1+1 pi .xel ,s,
- et à déterminer un champ de vecteurs de mouvement final à partir des p champs de vecteurs de mouvement résultants en choisissant le niveau de partition le moins élevé pour lequel le vecteur mouvement associé au bloc correspondant conduit à la minimisation d'un critère traduisant les différences de luminance entre blocs se correspondant dans les images successi¬ ves par les vecteurs de déplacement estimés. L'invention sera mieux comprise et d'autres caractéristi¬ ques apparaîtront à l'aide de la description qui suit en réfé¬ rence aux figures annexées.
- La figure 1 illustre les informations utilisées classi¬ quement pour estimer un champ de mouvement ; - La figure 2 illustre les informations utilisées pour estimer un champ de mouvement selon l'invention ;
- La figure 3 illustre la décomposition d'un macrobloc en blocs plus petits suivant 5 niveaux hiérarchisés ;
- La figure 4 illustre l'enchaînement des étapes du procé- dé d'estimation de mouvement selon l'invention ;
- Les figures 5a, 5b, 5c et 5d illustrent les vecteurs déplacements des blocs du niveau supérieur retenus comme va¬ leurs initiales pour un bloc de niveau donné, selon les quatre positions possibles de ce dernier ; - La figure 6 détaille les étapes de l'estimation de mouve¬ ment à un niveau donné ;
- La figure 7 détaille les tests mis en oeuvre pour la détermination du champ de vecteurs mouvement final ;
- La figure 8 illustre l'arbre de codage associé à la décomposition illustrée par la figure 3.
Une méthode d'estimation de mouvement dans une séquence d'images précédemment décrite et utilisée est rappelée ci-après succinctement pour la commodité de la description ultérieure de l'estimation de mouvement selon l'invention. L'algorithme d'estimation de mouvement utilisé a été dé¬ crit notamment par A.N NETRAVALI et J.D. ROBBINS dans un article intitulé "Motion Compensated Télévision Coding, part. 1" tiré de "The Bell System Technical Journal", Vol. 58, n°3, March 1979.
Cet algorithme suppose que tous les éléments d'images élémentaires ou "pixels" d'un même bloc ont le même déplace¬ ment. Cet algorithme est recursif, et utilise le champ de mouve¬ ment calculé à l'itération précédente pour l'itération suivante à partir du développement de Taylor d'une quantité qui est la somme sur un bloc des différences de luminance des pixels de deux blocs de deux trames consécutives se correspondant par le déplacement estimé à l'itération précédente.
Soient : - z(x,y) les coordonnées d'un pixel z de la trame courante à l'instant t,
- I(z,t) , la valeur de luminance d'un pixel z à l'instant t,
- Grad (z,t) et Grad^(z,t) les composantes respectivement horizontale et verticale du gradient de luminance au pixel z à l'instant t,
D, . et D. les vecteurs de mouvement à deux composantes D.x et D.y, D. -x et D. ,y pour un bloc de pixels, respectivement à l'itération i et à l'itération précédente i-1 ;
- DFD(z-D._.. ,t-l) la différence inter-trames déplacée pour le pixel z, c'est-à-dire la différence entre la luminance du pixel z dans la trame courante à l'instant t, et la luminance du pixel déplacé correspondant à z dans la trame précédente (à l'instant t-1) , c'est-à-dire z déplacé du vecteur mouvement D, . calculé à l'itération précédente : DFD(z-D1_1, t-l)=I(z,t) -I(z-Di_1,t-l)
Compte-tenu de ces notations telles qu'illustrées par la figure 1, le vecteur de mouvement d'un pixel z à l'itération i,
D i.,' est déduit du vecteur de mouvement D i.-1 , à l'itération précédente i-1 par les formules suivantes où les signes de sommation ^ s'appliquent à l'ensemble des pixels z d'un bloc
D »11 = D rχ; il-1 _l DFDtz-D .11-1 ,t-l)sg(grad (z,t)) x ^ *2_ \ grad* (z,t) )
Figure imgf000007_0001
L'algorithme utilisé selon l'invention est dérivé de cet 5 algorithme spatio-temporel pour permettre une estimation de mouvement dite "symétrique" . En effet, comme indiqué ci-dessus, les formules rappelées conduisent à l'estimation du mouvement des blocs de la trame courante à l'itération i à partir des mouvements estimés pour les mêmes blocs à l'itération i-1 et en
10 calculant les différences de luminance entre le bloc courant et le bloc correspondant après déplacement dans la trame précé¬ dente . . _
Une estimation de mouvement "symétrique" selon l'invention utilise, pour l'estimation du mouvement dans une trame courante
15 à l'itération i, la trame précédant la trame courante et la trame suivante. Les gradients sont calculés dans les trames précédente et suivante et le vecteur de déplacement à l'itéra¬ tion i est alors calculé à partir du vecteur déplacement du bloc courant estimé à l'itération précédente i-1 par les équations
20 suivantes (qui tiennent compte des différences de luminance entre les pixels du bloc courant et les pixels des blocs corres¬ pondants, déplacés de ce vecteur estimé précédemment, d'une part dans la trame précédente et d'autre part dans la trame sui¬ vante) :
Figure imgf000007_0002
i _ Di-1 llÔFD(z-D1~1 ,t-l).sg(grady(z-D1"1 ,t-l))-DFD(z+D1~1 ,t-t-l)sg(grady(z-t-Di" 1,t+l Y Y grady(z-D ,t-l)+ grady(z+Di- 1,t+ir] où sg( . . . ) est la notation pour "signe de" la quantité qui suit.
Les composantes des vecteurs peuvent être des composan¬ tes non entières et une interpolation est nécessaire pour calcu- 1er la différence inter-trame déplacée, DFD, et les gradients.
Pour cela les quatre éléments d'images les plus proches de l'élé¬ ment d'image courant z sont utilisés.
La figure 2 montre la position des blocs déplacés dans la trame précédente et dans la trame suivante, correspondant à un bloc courant pour lequel le vecteur déplacement estimé à l'itéra¬ tion précédente est D de la trame précédente à la trame courante et donc -D de la trame suivante à la trame courante si l'on suppose des déplacements symétriques.
Un détail du voisinage de z-D montre que, en général le vecteur déplacement conduit à un pixel déplacé z-D (ou z+D ) ayant une position qui ne correspond pas. à des valeurs entières de x et y. En conséquence les valeurs de luminance des quatre points du voisinage de z-D (ou z+D ) , I- , I„, I„ et I . sont prises en compte pour les calculs de luminance des pixels déplacés et pour le calcul des gradients.
L'interpolation de la luminance I est bilinéaire, c'est-à-dire qu'elle est une somme pondérée de I, , I , I, et I„ .
Soient : ( = d(χ-D ) et β = d(y-D1- ) les parties décimales y «- i des composantes selon x et y du vecteur déplacement D : I(z-Di_1) = (l-ûC) (l-β)I1+o((l-β)I2+(l-o()βI3Λ(βI4
La même formule est appliquée pour le calcul de la luminance du pixel déplacé dans l'image suivante II((z+D ) à partir des valeurs de luminance du voisinage de z+D i-1 Les gradients sont donnés par :
Figure imgf000008_0001
avec L, , I„, Ig et I . à t-1 et de même pour les gradients en z+D à t+1. Il faut donc accéder à 4 points dans les mémoires d'image précédente (t-1) et d'image suivante (t+1) pour calculer la luminance des points déplacés et les gradients correspondants . A titre de simplification dans les notations ultérieures :
I(z-D1_1) sera noté I(t-l) et I(z+Di+1) sera noté I(t+1) et de même gradx(z-Di_1, t-l) sera noté gradx(t-l) , gradx(z+Di_1,t+l) sera noté grad (t+1) , les composantes selon y étant notées de la même manière, et les différences intertrames déplacées étant notées DED(t-l) et DFD(t+l) .
Ce type d'algorithme d'estimation de mouvement a deux paramètres critiques : le nombre d'itérations permettant d'obte¬ nir les valeurs finales, et la taille de la fenêtre de mesure ou"bloc" : - dans le but de diminuer le nombre d'itérations nécessai¬ res pour obtenir le bon vecteur de déplacement, on utilise géné¬ ralement une récursivité spatiale ou temporelle : pour une récur- sivité spatiale, les déplacements calculés dans le voisinage causal d'un bloc courant sont les valeurs initiales pour l'itéra- tion suivante ; une récursivité spatiale nécessite donc que les calculs des déplacements utilisés comme valeurs initiales soient terminés, ce qui conduit à des difficultés dans l'implantation. Une récursivité temporelle n'est pas bien adaptée pour les fron¬ tières d'objets. En conséquence la récursivité . mise en oeuvre selon l'invention est une récursivité temporelle seulement pour l'initialisation de l'estimation de mouvement pour l'image cou¬ rante et une récursivité spatiale particulière qui permet d'envi¬ sager une parallélisation des calculs d'estimation de mouvement de l'image courante. L'algorithme d'estimation de mouvement suppose qu'une translation constante intervient pour tous les pixels compris à l'intérieur d'une fenêtre de mesure. Une solution idéale serait d'avoir une fenêtre de taille variable en fonction de la taille des zones d'images considérées : de larges fenêtres pourraient être utilisées pour des déplacements globaux, du type panorami- * ques ou basculements par exemple, tandis que de petites fenê¬ tres seraient utilisées pour des éléments d'objets de tailles plus réduites.
Ce principe de classement des déplacements de manière hiérarchisée en fonction de la taille des zones en mouvement a été étudié par plusieurs auteurs, par exemple par H. BIERLING et R. THOMA dans un article intitulé "Motion compensating field interpolation using a hierachically structured displacement estimator" dans la revue -Signal Processing, 11, 1986 -387-404. En résumé, les caractéristiques principales en sont :
- au premier niveau, des fenêtres de mesure de grande taille sont utilisées pour les grands déplacements ou pour les déplacements constants de grande surface.
- d'un niveau à l'autre la taille de la fenêtre décroît et les vecteurs déplacements sont mis à jour.
- la plus petite fenêtre correspond au champ de mouvement le plus précis.
Une telle structure hiérarchisée est intéressante car elle permet d'affiner l'estimation de mouvement là où les informa- tions de mouvement ont la plus grande densité.
Généralement le champ de vecteurs mouvement résultant d'une estimation de mouvement selon l'un des algorithmes connus est formé de zones à déplacement constant ayant des tailles différentes quelconques, seulement liées au contenu de l'image. Une estimation de mouvement de type hiérarchisée classique telle que décrite ci-dessus génère des champs de mouvement correspon¬ dant donc à des blocs de tailles quelconques et le problème est alors de réunir ces différentes informations de mouvement dans le but d'obtenir pour chaque trame un champ de mouvement associé à des blocs de tailles aussi grandes que possible, cor¬ respondant à des zones à mouvement constant. En fait cette appro¬ che est proche de celle utilisée pour la construction d'un arbre de codage notamment pour un codage par quadrant ou "quad¬ tree" tel que décrit dans un article de C.A. SHAFFER et H. SAMET intitulé "Optimal quadtree construction algorithm" dans -Computer vision graphies and image processing, vol. 37, 402-419 de 1987- .
En conséquence, selon l'invention, la méthode d'estimation de mouvement hiérarchisée est utilisée pour augmenter la conver- gence de l'algorithme d'estimation de mouvement recursif, mais elle est adaptée à la décomposition en quadrants de façon à obtenir simultanément l'estimation de mouvement et le codage correspondant de cette information de mouvement, de façon opti¬ male . Pour adapter au mieux l'algorithme d'estimation de mouve- ment au codage de type "quadtree" qui sera fait ultérieurement du champ de mouvement résultant, les blocs d'un niveau sont le résultat du partage en quatre d'un bloc du niveau immédiatement supérieur comme représenté sur la figure 3 qui illustre les différentes tailles de blocs résultant de la partition. De plus la récursivité est obtenue en utilisant le champ de mouvement obtenu à un niveau donné de la hiérarchie pour calculer le champ de mouvement du niveau immédiatement inférieur ; ainsi pour les calculs à l'Intérieur d'un niveau donné, l'estimation de mouvement pour un bloc est indépendante de celle des autres blocs du voisinage au même niveau.
Ainsi un critère "a priori" est mis en oeuvre pour le calcul des vecteurs de déplacement, avec des valeurs initiales, et comme il va être expliqué plus en détails ci-après l'organisa¬ tion des niveaux et les choix des calculs effectués sont détermi- nés pour être adaptés dans toute la mesure du possible au co¬ dage ultérieur du champ de mouvement résultant. La description qui suit, faite en référence à la figure 4, précise l'enchaîne¬ ment des différentes étapes de l'estimation de mouvement et du codage associé, dans un mode de réalisation de l'invention. La taille maximale des blocs d'éléments d'image reconnue pour le codage étant 128x128 pixels et la taille minimale étant 8x8 par partages successifs de chaque bloc en 4 quadrants, le calcul a priori des vecteurs déplacement est effectué selon l'invention d'abord pour des blocs de 128.128 pixels (niveau 1) , puis de 64.64 (niveau 2) puis de 32.32 (niveau 3) , puis 16.16 (niveau 4) et enfin 8.8 pixels (niveau 5) , indépendamment du contenu de l'image. Pour l'initialisation de l'estimation pour l'image courante, les quatre valeurs initiales pour les blocs les plus grands, au premier niveau (128.128) sont nulles ou quelconques pour la première image de la séquence, puis égales aux vecteurs de mouvement des blocs 64.64 (résultant de la partition en 4 des blocs 128.128) de l'image précédente de la séquence, pour les images suivantes. Puis les quatre valeurs initiales recueillies pour un bloc de taille n.n proviennent du niveau précédent, donc à une taille de bloc 2n.2n. Ces valeurs sont les déplacements estimés pour les quatre blocs les plus proches de taille supérieure, comme représenté sur les figures 5a, 5b, 5c et 5d où les quatre vecteurs de déplacement DI, D2, D3, D4 sont retenus lors d'un partage de blocs pour le passage au niveau suivant, selon la position de ce bloc dans le bloc de taille supérieure dont il est issu ; ces positions sont marquées respectivement N pour Nord-Ouest figure 5a, NE pour Nord-Est figure 5b, S pour Sud- Ouest figure 5c et SE pour Sud-Est sur la figure 5d. Une étape du procédé d'estimation de mouvement à un niveau n est décrite plus en détails ci-après en référence à la figure 6 où on a représenté les trois mémoires (ou zones mé¬ moire) d'images (ou de trames) respectivement pour l'image sui¬ vant, Mj, (à t+1) , l'image courante M* (à t) , et l'image précédente, M„ (à t-1) , ainsi que les valeurs de luminance des 4 pixels entourant le pixel déplacé z+D i-1 à la sortie de M. , la valeur de luminance I(t) = I(z,t) à la sortie de M„, et les valeurs de luminance des 4 pixels entourant le pixel déplacé z-Di_ 1 à la sortie de Mg. Une première étape de calcul par point donne les valeurs des différences intertrames déplacées et des gradients à partir des valeurs de luminance issues des mémoires et des vecteurs déplacement initiaux, par rapport à l'image précédente t-1, et par rapport à l'image suivante à t+1. L'étape suivante consiste alors à calculer les composantes du vecteur déplacement selon les formules itératives données ci-dessus, D et D après avoir calculé les sommes partielles x y des différences telles que C-A et D-B sur l'ensemble du bloc correspondant de niveau n.
Les quatre valeurs initiales pour chaque bloc courant, correspondant à des blocs du voisinage de ce bloc courant mais d'un niveau différent, c'est-à-dire de taille immédiatement supé¬ rieure, permettent d'initialiser quatre estimations de mouvement séparées pour ce bloc (une seule a été représentée) et donnent lorsque les formules itératives de l'algorithme ont convergé quatre valeurs de vecteurs mouvement mises à jour, indépendan¬ tes, qui complètent les valeurs des vecteurs des niveaux précé¬ dents . Les carrés des différences intertrames DFD intermédiaires utilisés pour les mises à jour sont calculées, stockées en mémoire et additionnées pour l'ensemble du bloc, de façon à choisir pour chaque bloc à l'issue des 4 calculs, le "meilleur" déplacement parmi les quatre nouveaux vecteurs de déplacement mis à jour, c'est-à-dire celui pour lequel la somme S des diffé- rences intertrames élevées au carré pour ce bloc est minimale. Ce meilleur vecteur constitue alors l'un des vecteurs du champ de mouvement calculé au niveau n.
A l'issue de cette phase de détermination a priori, effec¬ tuée pour chacun des blocs des différents niveaux, un champ de vecteurs de mouvement différent correspondant à chaque niveau, c'est-à-dire à chaque taille de bloc, est disponible pour déter¬ miner le champ de mouvement final adapté à la construction de l'arbre de codage, "quadtree" (voir figure 4) .
Quand la taille des blocs diminue, quelques divergences peuvent intervenir si la taille des blocs est trop petite par rapport à l'information de luminance ou à la taille de l'objet. Mais à l'inverse pour de petits objets ou des objets non rectan¬ gulaires qui ne sont pas adaptés à la décomposition initiale en gros blocs, le décomposition devient de plus en plus adaptée lorsque la taille du bloc diminue. Ainsi le vecteur déplacement correct de chaque zone peut être trouvé parmi les cinq champs de mouvement disponibles pour des tailles de blocs variant entre 128.128 et 8.8.
A ce stade, le problème est de trouver le critère qui permet de déterminer le champ de mouvement final, étape 6 fi¬ gure 4, à partir des cinq champs de mouvement ainsi calculés, avec des blocs de tailles aussi grandes que possibles, pour diminuer le débit de codage lors du codage effectué ensuite.
Comme indiqué ci-dessus à chaque niveau, la somme S sur un bloc des différences intertrames déplacées (élevées au carré) est stockée en mémoire. Ainsi pour un macrobloc de 128.128 pixels, cinq zones mémoires contiennent les différences de luminance intertrames déplacées élevées au carré, avec les vec¬ teurs de déplacement associés DV(2) à deux composantes : Au premier niveau, c'est-à-dire au niveau des macroblocs de 128.128 pixels, une valeur de somme des différences intertrames déplacées au carré S.. „Q est stockée pour chaque bloc, ainsi que le vecteur déplacement correspondant, à 2 compo¬ santes, DV 2g au niveau 2, chaque macrobloc ayant été partagé en 4 blocs de 64.64 pixels, 4 valeurs de sommes de différences déplacées au carré Sfi . et quatre vecteurs de dépla¬ cement correspondant à deux composantes DVfi. sont stockés pour chacun des macroblocs ; etc . . . ; au niveau 5 , un macrobloc ayant été partagé en 256 blocs de 8.8. pixels, une valeur de somme de différences déplacées au carré, S„ et un vecteur déplacement DVR à 2 composantes correspondant à chacun des blocs élémentaires sont stockés en mémoire, soit 256 valeurs de S„ et 256 vecteurs DVfl à deux composantes pour un macrobloc . La détermination du champ de mouvement résultant à partir des 5 champs de mouvement calculés à ces 5 niveaux est effec¬ tuée de la manière suivante, illustrée par la figure 7 :
- Le vecteur déplacement DV.-n est affecté au macrobloc 128.128 si S12g est plus petit ou égal à la somme des Sβ4, à la somme des S„„, à la somme des S.R et à la somme des Sfl pour l'ensemble du macrobloc.
- Lorsque le vecteur mouvement DV.,„R n'est pas alloué, l'allocation est essayée sur la base des blocs 64.64 pixels : un vecteur de déplacement Vg4 est alloué à un bloc 64.64 si la valeur Sg4 est plus petite ou égale à la somme des S„„, à somme des Slg, et à la somme des SQ, sommées sur le bloc correspondant 64.64.
- Si un vecteur de déplacement DVg4 n'est pas alloué à un bloc 64.64, les vecteurs de déplacement des blocs correspondants de 32.32 éléments sont essayés et un vecteur de déplacement DV32 est alloué à un bloc 32.32 pixels, si S3„ est plus petit ou égal à la somme des S. ~ et à la somme des Sfi, respectivement sommés sur le bloc correspondant 32.32. - Si un bloc 32.32 n'a pas eu de vecteur alloué, les vec¬ teurs de déplacement des blocs 16.16 correspondants, DV--, sont essayés. Un vecteur de déplacement DVA lb est alloué à un bloc 16.16 si la valeur Slg associée est plus petite ou égale à la somme des quatre valeurs correspondantes de niveau inférieur, Sg.
- Si un bloc 16.16 n'a pas eu de vecteur alloué, les vec¬ teurs de déplacement DV8 du dernier niveau sont alloués aux blocs 8.8 qui le composent.
La dernière étape alors mise en oeuvre est l'étape du codage "quadtree", 7, et de régulation du débit 8 (si néces¬ saire) , comme représenté sur la figure 4. La connaissance des informations diminue le temps d'exécution de la construction de l'arbre de codage qui peut ainsi être moins coûteux si les vec¬ teurs mouvement de blocs élémentaires sont connus. De plus la régulation du débit de codage de l'information de mouvement peut être aisément faite.
Un histogramme du champ de vecteurs de déplacement résultant de l'étape précédente est établi. Les vecteurs de déplacement correspondants à- des pics de l'histogramme supé- rieurs à un seuil donné (ce seuil correspondant à une estimation de mouvement jugée correcte) sont sélectionnés . Ces vecteurs sont transmis pour chaque trame et leur nombre détermine le nombre de bits nécessaire pour qu'un mot de code puisse être affecté à chacun d'eux. Le codage "quadtree" est effectué sur la base des macroblocs 128x128, et un arbre caractérise la décomposition de chacun de ces macroblocs telle qu'elle résulte du champ de mou¬ vement final correspondant. Dans l'arbre, un noeud peut être une racine ou une feuille. Un mot de code spécial indique une ra- cine, et une feuille correspond à un vecteur de déplacement. Le débit de codage pour un arbre est égal au nombre de noeuds multiplié par le nombre de bits des mots de code : pour une image haute définition constituée de 1152 lignes ayant chacune 1440 éléments d'image ou pixels, 108 macroblocs permettent de couvrir l'ensemble de l'image.
Une procédure de régulation du débit de codage peut être aisément effectuée en éliminant les vecteurs de mouvement les moins probables ou de manière plus brutale en stoppant la divi¬ sion des blocs à la dimension minimale 16x16 par exemple. La figure 8 représente l'arbre de codage correspondant à un macrobloc décomposé comme représenté sur la figure 3. Si 15 vecteurs de déplacement différents ont été sélectionnés, il y a 16 noeuds différents, avec un mot de code spécial pour les racines ; donc 4 bits sont nécessaires ; en conséquence l'arbre, qui a 17 noeuds conduit à un nombre de bits, 17x4 = 68 bits .
La demande de brevet français n° 89 08547 au nom de la Demanderesse décrit plus en détails une procédure d'analyse du champ de mouvement et d'allocation de codes correspondant à partir des arbres de codage correspondant à la décomposition en quadrants et la régulation correspondante lorsque le débit re¬ quis est dépassé, également applicable au codage et à la régula¬ tion du champ de mouvement tel qu'il résulte du procédé d'estima¬ tion décrit ci-dessus.
Les résultats obtenus en suivant un tel procédé d'estima- tion de mouvement hiérarchisé associé à une technique de codage "quadtree" ont été évalués pour des signaux de télévision résul¬ tant d'une analyse entrelacée. L'estimation de mouvement est effectuée pour chaque trame paire, et cette information de mouve¬ ment est codée et transmise pour les trames impaires . A la récep- tion, après le décodage de l'information de mouvement, les tra¬ mes impaires sont interpolées à partir des trames paires et des informations de mouvement.
Trois types de séquences ont été testés, l'une correspon¬ dant au mouvement très rapide d'un élément d'image, une autre correspondant à une séquence d'images incluant des éléments ayant des mouvements variés, mouvements rapides et mouvements plus lents, et une séquence d'images correspondant à un zoom sur un dessin très fin. Les résultats obtenus sont compatibles avec les débits prévus dans les chaînes de télévision assistées numériquement.
Les avantages importants qui résultent du procédé d'estima¬ tion et de codage du mouvement de séquences d'images sont les suivants :
A un niveau donné le traitement d'un bloc est indépendant de celui des autres blocs et seuls les vecteurs de déplacement du voisinage défini au niveau précédent sont utilisés comme valeurs initiales. De plus la décomposition en arbres du champ de mouvement peut être construite rapidement car elle utilise une structure déjà existante à l'issue de l'estimation de mouve- ment.
Ce procédé d'estimation de mouvement est paramétrable comme requis pour être adapté aux différentes fonctions de la chaîne de transmission: En effet la taille du bloc de dimension minimale et le débit maximal sont des paramètres variables. La possibilité d'obtenir un vecteur de déplacement pour chaque pixel, c'est-à-dire un champ de vecteurs mouvement ponctuel, a même été testée. Pour cela on suppose que tous les vecteurs mouvement du champ de mouvement réel de l'image appartiennent au champ de mouvement final résultant de l'estimateur après détermination a priori des champs de mouvement des différents niveaux, c'est-à-dire qu'on n'effectue pas l'estimation à un niveau plus fin que celui des blocs 8.8. Puis, pour chaque pixel, on sélectionne dans ce champs de mouvement le vecteur qui conduit à la différence intertrames la plus faible. Ce vec- teur est alors un élément du champ de mouvement ponctuel.
Le dispositif d'estimation selon l'invention, à la portée de l'homme de l'art, n'est pas représenté puisqu'il comporte principalement des mémoires d'images de la séquence, des moyens de calcul et des mémoires de stockage pour les résultats intermé- diaires et pour les résultats finaux. Il faut cependant remar¬ quer que l'implémentation du procédé d'estimation de mouvement selon l'invention est facilitée par le fait que les calculs, pour les différents macroblocs d'une trame (typiquement 108) , puis à chaque niveau intermédiaire, peuvent être effectuées en parallèle puisque, comme indiqué ci- dessus, les calculs pour un bloc à un niveau donné n'utilisent que les valeurs déjà calcu¬ lées au niveau précédent. De même, dans un niveau donné les quatre estimations séparées effectuées pour chacun des blocs à partir de quatre valeurs initiales différentes peuvent être effectuées en parallèle puisqu'elles sont indépendantes. La parallélisation du dispositif d'estimation peut donc être impor¬ tante pourvu que les moyens de calcul le permettent.
Enfin l'estimateur de mouvement peut alimenter chaque équipement du studio qui nécessite l'information de mouvement ou l'information de mouvement codée.

Claims

REVENDICATIONS
1. Procédé d'estimation et de codage hiérarchisé du mouve¬ ment de séquences d'images, caractérisé en ce qu'il consiste :
- à un premier niveau, à découper l'image courante en macroblocs de 2P .2P pixels et à déterminer un premier champ de vecteurs mouvement, associé à cette partition en macroblocs, en utilisant un algorithme d'estimation itératif et recursif initialise par des vecteurs mouvement estimés pour l'image précédente,
- puis, à un deuxième niveau, à découper en quadrants chacun des macroblocs et à déterminer, pour les blocs qui en résultent, un second champ de vecteurs de mouvement en utili¬ sant le même algorithme d'estimation mais initialise par des vecteurs du champ de mouvement estimé au niveau précédent, ème -
- puis à un i niveau, i = 3 à p, à découper chacun des blocs considérés au niveau i-1 en quadrants et à déterminer, pour les blocs qui en résultent, un ieme champ de vecteurs de mouvement en utilisant le même algorithme d'estimation initia¬ lise par des vecteurs du champ de mouvement estimés au niveau précédent, les blocs de taille minimale étant des blocs de 21+1.21+1 pixels,
- et à déterminer un champ de vecteurs de mouvement final à partir des p champs de vecteurs de mouvement résultants en choisissant le niveau de partition le moins élevé pour lequel le vecteur mouvement associé au bloc correspondant conduit à la minimisation d'un critère traduisant les différences de luminance entre blocs se correspondant dans les images successi¬ ves par les vecteurs de déplacement estimés.
2. Procédé selon la revendication 1, caractérisé en ce que l'algorithme d'estimation de mouvement utilisé est symétrique et utilise, pour la détermination d'un vecteur mouvement à un rang d'itération i, le vecteur mouvement déterminé à l'itération i-1 diminué de quantités fonction de différences de luminance intertrames déplacées, c'est-à-dire des sommes de différences de luminance entre les pixels du bloc courant et les pixels des blocs correspondant au bloc courant déplacés du vecteur mouve¬ ment, respectivement dans la trame précédente et dans la trame suivante de la séquence.
3. Procédé selon l'une des revendications 1 et 2, caracté¬ risé en ce que, pour chaque bloc, l'algorithme d'estimation de mouvement est mis en oeuvre quatre fois, initialise par quatre vecteurs de mouvement respectivement associés - à la première étape, aux quatre blocs de niveau infé¬ rieur constituant chaque macrobloc, pris dans le champ de mouve¬ ment de deuxième niveau de l'image précédente,
- dans les étapes suivantes, à quatre blocs du niveau précédent appartenant à un voisinage du bloc courant, dans la même image, et en ce que le vecteur choisi parmi les quatre vecteurs résultats pour former l'un des vecteurs du champ de mouvement correspondant est celui qui conduit à la minimisation du critère traduisant les différences de luminance entre blocs se correspon- dant dans les images successives par les vecteurs de déplace¬ ment estimés correspondants.
4. Procédé selon la revendication 3, caractérisé en ce que les quatre vecteurs mouvement d'initialisation des blocs du niveau précédent utilisés comme valeurs initiales pour l'estima- tion d'un bloc courant sont le vecteur associé au bloc de niveau précédent dont il est issu, et les trois vecteurs associés aux blocs du niveau précédent contigus à ce bloc courant.
5. Procédé selon l'une des revendications 1 à 4, caractéri¬ sé en ce que le champ de mouvement final, hiérarchisé est direc- tement associé à un arbre de codage, de type "quadtree", corres¬ pondant à la hiérarchie des blocs et des vecteurs de mouvement correspondants des différents niveaux sélectionnés pour le champ de mouvement final, et en ce qu'une régulation du débit de co¬ dage résultant est effectuée par sélection du champ de mouve¬ ment final adapté au débit requis.
6. Procédé selon la revendication 5, caractérisé en ce que la régulation est effectuée, lorsque le débit requis est dépas¬ sé, en éliminant du champ de vecteurs de mouvement final les vecteurs les moins fréquents et en les remplaçant par les vec¬ teurs les plus proches, de fréquence plus grande.
7. Procédé selon la revendication 5, caractérisé en ce que la régulation est effectuée, lorsque le débit requis est dépas¬ sé, en écartant les vecteurs du champ de mouvement associé aux blocs de taille minimale de la sélection du champ de mouvement final.
8. procédé selon la revendication 1, caractérisé en ce que les calculs itératifs mis en oeuvre à un niveau donné sont effec¬ tués en parallèle, les calculs d'un niveau donné prenant leurs valeurs d'initialisation à un niveau précédent.
9. Procédé selon l'une des revendications 3 et 4, caracté¬ risé en ce que les quatre calculs de vecteurs mouvement effec- tués pour chaque bloc sont effectués en parallèle, ces calculs prenant leurs valeurs d'initialisation à un niveau précédent.
10. Procédé selon la revendication 1, caractérisé en ce que p est choisi égal à 5 et 1 égal à 2, les macroblocs étant des blocs de 128.128 pixels et les blocs de taille minimale étant des blocs de 8.8. pixels, le procédé d'estimation étant hiérarchisé en 5 niveaux.
11. Procédé selon la revendication 1, caractérisé en ce qu'un champ de mouvement ponctuel est établi à partir du champ de mouvement final, en allouant à chaque pixel le vecteur de mouvement du champ final pour lequel une différence de luminance intertrames entre ce pixel et le pixel déplacé du vecteur mouvement correspondant dans la trame précédente est ininimisée .
12. Dispositif d'estimation et de codage hiérarchisé du mouvement de séquences d'images, destiné à la mise en oeuvre du procédé selon l'une des revendications précédentes caractéri¬ sé en ce qu'il comporte une mémoire d'images, des moyens de calcul et des mémoires de travail, les moyens de calcul étant prévus pour effectuer des calculs en parallèle.
PCT/FR1990/000628 1989-08-29 1990-08-24 Procede et dispositif d'estimation et de codage hierarchise du mouvement de sequences d'images WO1991003797A1 (fr)

Priority Applications (4)

Application Number Priority Date Filing Date Title
EP90913705A EP0441941B1 (fr) 1989-08-29 1990-08-24 Procede et dispositif d'estimation et de codage hierarchise du mouvement de sequences d'images
KR1019910700410A KR920701916A (ko) 1989-08-29 1990-08-24 영상의 동작 순서를 판단하고 계층별로 코딩하는 방법 및 장치
US07/678,278 US5351095A (en) 1989-08-29 1990-08-24 Method and device for estimating and hierarchically coding the motion of sequences of images
DE69025392T DE69025392T2 (de) 1989-08-29 1990-08-24 Verfahren und gerät zur schätzung und hierarchischen kodierung von bewegung in bildfolgen

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR89/11328 1989-08-29
FR8911328A FR2651399B1 (fr) 1989-08-29 1989-08-29 Procede et dispositif d'estimation et de codage hierarchise du mouvement de sequences d'images.

Publications (1)

Publication Number Publication Date
WO1991003797A1 true WO1991003797A1 (fr) 1991-03-21

Family

ID=9384960

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/FR1990/000628 WO1991003797A1 (fr) 1989-08-29 1990-08-24 Procede et dispositif d'estimation et de codage hierarchise du mouvement de sequences d'images

Country Status (9)

Country Link
US (1) US5351095A (fr)
EP (1) EP0441941B1 (fr)
JP (1) JP2968838B2 (fr)
KR (1) KR920701916A (fr)
AT (1) ATE134274T1 (fr)
DE (1) DE69025392T2 (fr)
ES (1) ES2084035T3 (fr)
FR (1) FR2651399B1 (fr)
WO (1) WO1991003797A1 (fr)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2684258A1 (fr) * 1991-11-27 1993-05-28 Thomson Consumer Electronics Procede d'estimation et de codage hierarchise du mouvement de sequences d'images.
US5309237A (en) * 1992-03-31 1994-05-03 Siemens Corporate Research, Inc. Apparatus and method of compensating image-sequences for motion
US5557341A (en) * 1991-04-12 1996-09-17 Dv Sweden Ab Iterative method for estimating motion content in video signals using successively reduced block size
EP0961523A1 (fr) * 1998-05-27 1999-12-01 Sony France S.A. Spatialisation de la musique,systeme et methode
KR100378636B1 (ko) * 1994-09-02 2003-06-18 사르노프 코포레이션 전역대지역블록이동추정방법및장치
DE4442643B4 (de) * 1994-01-31 2006-05-18 Samsung Electronics Co., Ltd., Suwon Verfahren zum Abschätzen der Bewegung in einem Bewegtbild

Families Citing this family (70)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2700037B1 (fr) * 1992-12-24 1995-01-27 Thomson Csf Dispositif d'estimation hiérarchique du mouvement de séquence d'images.
WO1994018799A1 (fr) * 1993-02-03 1994-08-18 Qualcomm Incorporated Systeme de codage et de decodage video entre images
KR960015395B1 (ko) * 1993-04-09 1996-11-11 대우전자 주식회사 움직임벡터 검출장치
US5537529A (en) * 1993-04-22 1996-07-16 Apple Computer, Inc. Apparatus and method for creating versions of computer models and creating communications incorporating created versions therefrom
US5585852A (en) * 1993-06-16 1996-12-17 Intel Corporation Processing video signals for scalable video playback using independently encoded component-plane bands
JPH0799658A (ja) * 1993-08-03 1995-04-11 Sony Corp 動きベクトル検出装置
DE69421795T2 (de) * 1993-08-30 2000-06-29 Sony Corp Vorrichtung und verfahren zur kodierung von bildern
JPH07135663A (ja) * 1993-09-17 1995-05-23 Oki Electric Ind Co Ltd 動きベクトル検出方法および動きベクトル検出装置
JP3846642B2 (ja) * 1994-01-31 2006-11-15 ソニー株式会社 動き量検出方法及び動き量検出装置
TW321748B (fr) * 1994-02-23 1997-12-01 Rca Thomson Licensing Corp
US5729484A (en) * 1994-02-28 1998-03-17 Intel Corporation Processes, apparatuses, and systems of encoding and decoding signals using transforms
US5594504A (en) * 1994-07-06 1997-01-14 Lucent Technologies Inc. Predictive video coding using a motion vector updating routine
KR100287211B1 (ko) * 1994-08-30 2001-04-16 윤종용 양방향 움직임 추정방법 및 장치
US6178265B1 (en) * 1994-09-22 2001-01-23 Intel Corporation Method and apparatus for motion vector compression
US5617149A (en) * 1994-11-22 1997-04-01 Electronics And Telecommunications Research Institute Apparatus and method for detecting scene changes using the difference of mad between image frames
US5706059A (en) * 1994-11-30 1998-01-06 National Semiconductor Corp. Motion estimation using a hierarchical search
DE69619002T2 (de) * 1995-03-10 2002-11-21 Toshiba Kawasaki Kk Bildkodierungs-/-dekodierungsvorrichtung
US5696836A (en) * 1995-03-17 1997-12-09 Lsi Logic Corporation Motion estimation processor architecture for full search block matching
US5754237A (en) * 1995-03-20 1998-05-19 Daewoo Electronics Co., Ltd. Method for determining motion vectors using a hierarchical motion estimation
US5650823A (en) * 1995-03-27 1997-07-22 International Business Machines Corporation Half pel motion estimation method for B pictures
US5757668A (en) * 1995-05-24 1998-05-26 Motorola Inc. Device, method and digital video encoder of complexity scalable block-matching motion estimation utilizing adaptive threshold termination
US5717463A (en) * 1995-07-24 1998-02-10 Motorola, Inc. Method and system for estimating motion within a video sequence
US5612745A (en) * 1995-07-24 1997-03-18 Motorola, Inc. Method and apparatus for detecting occlusion
KR100207390B1 (ko) * 1995-09-15 1999-07-15 전주범 계층적인 움직임 추정기법을 이용하는 음직임 벡터 검출방법
US6873738B2 (en) * 1995-10-02 2005-03-29 Sony Corporation Hierarchical image processor for encoding or decoding, and memory on the same chip
US5682209A (en) * 1995-11-13 1997-10-28 Tektronix, Inc. Motion estimation using limited-time early exit with prequalification matrices and a predicted search center
FR2742901B1 (fr) * 1995-12-22 1998-02-13 Thomson Multimedia Sa Procede de correction d'estimation de mouvement dans des images a structures periodiques
US6571016B1 (en) 1997-05-05 2003-05-27 Microsoft Corporation Intra compression of pixel blocks using predicted mean
US6215910B1 (en) * 1996-03-28 2001-04-10 Microsoft Corporation Table-based compression with embedded coding
US6404923B1 (en) 1996-03-29 2002-06-11 Microsoft Corporation Table-based low-level image classification and compression system
US6115420A (en) * 1997-03-14 2000-09-05 Microsoft Corporation Digital video signal encoder and encoding method
US6639945B2 (en) 1997-03-14 2003-10-28 Microsoft Corporation Method and apparatus for implementing motion detection in video compression
US6118817A (en) * 1997-03-14 2000-09-12 Microsoft Corporation Digital video signal encoder and encoding method having adjustable quantization
US5903673A (en) * 1997-03-14 1999-05-11 Microsoft Corporation Digital video signal encoder and encoding method
US6584226B1 (en) 1997-03-14 2003-06-24 Microsoft Corporation Method and apparatus for implementing motion estimation in video compression
US6786420B1 (en) 1997-07-15 2004-09-07 Silverbrook Research Pty. Ltd. Data distribution mechanism in the form of ink dots on cards
US6067322A (en) * 1997-06-04 2000-05-23 Microsoft Corporation Half pixel motion estimation in motion video signal encoding
US6618117B2 (en) 1997-07-12 2003-09-09 Silverbrook Research Pty Ltd Image sensing apparatus including a microcontroller
US7110024B1 (en) 1997-07-15 2006-09-19 Silverbrook Research Pty Ltd Digital camera system having motion deblurring means
US6948794B2 (en) 1997-07-15 2005-09-27 Silverbrook Reserach Pty Ltd Printhead re-capping assembly for a print and demand digital camera system
US6624848B1 (en) 1997-07-15 2003-09-23 Silverbrook Research Pty Ltd Cascading image modification using multiple digital cameras incorporating image processing
US6879341B1 (en) 1997-07-15 2005-04-12 Silverbrook Research Pty Ltd Digital camera system containing a VLIW vector processor
US6690419B1 (en) 1997-07-15 2004-02-10 Silverbrook Research Pty Ltd Utilising eye detection methods for image processing in a digital image camera
US6259737B1 (en) * 1998-06-05 2001-07-10 Innomedia Pte Ltd Method and apparatus for fast motion estimation in video coding
AUPP702098A0 (en) 1998-11-09 1998-12-03 Silverbrook Research Pty Ltd Image creation method and apparatus (ART73)
US6081209A (en) * 1998-11-12 2000-06-27 Hewlett-Packard Company Search system for use in compression
US7006569B1 (en) * 1999-02-05 2006-02-28 Samsung Electronics Co., Ltd. Digital video processing method and apparatus thereof
AUPQ056099A0 (en) 1999-05-25 1999-06-17 Silverbrook Research Pty Ltd A method and apparatus (pprint01)
US6442203B1 (en) * 1999-11-05 2002-08-27 Demografx System and method for motion compensation and frame rate conversion
US6804356B1 (en) * 2000-03-20 2004-10-12 Koninklijke Philips Electronics N.V. Hierarchical authentication system for images and video
US6707932B1 (en) * 2000-06-30 2004-03-16 Siemens Corporate Research, Inc. Method for identifying graphical objects in large engineering drawings
GB2379821A (en) * 2001-09-18 2003-03-19 British Broadcasting Corp Image compression method for providing a serially compressed sequence
US7639741B1 (en) * 2002-12-06 2009-12-29 Altera Corporation Temporal filtering using object motion estimation
US8588513B2 (en) * 2005-07-18 2013-11-19 Broadcom Corporation Method and system for motion compensation
JP4853199B2 (ja) * 2006-09-25 2012-01-11 株式会社ニコン 画像圧縮方法、装置、電子カメラ、およびプログラム
KR100912429B1 (ko) * 2006-11-09 2009-08-14 삼성전자주식회사 고속 움직임 추정을 위한 영상 검색 방법
GB2443667A (en) * 2006-11-10 2008-05-14 Tandberg Television Asa Obtaining a motion vector for a partition of a macroblock in block-based motion estimation
CN101221665A (zh) * 2008-01-29 2008-07-16 周崭 利用索引树或数值树或编码树快速绘制曲线的方法
US20110135001A1 (en) * 2009-12-07 2011-06-09 Silicon Integrated Systems Corp. Hierarchical motion estimation method using dynamic search range determination
FR2992815A1 (fr) 2012-06-27 2014-01-03 France Telecom Procede de codage d'un bloc courant d'une premiere composante d'image par rapport a un bloc de reference d'au moins une deuxieme composante d'image, dispositif de codage et programme d'ordinateur correspondant
FR2993084A1 (fr) * 2012-07-09 2014-01-10 France Telecom Procede de codage video par prediction du partitionnement d'un bloc courant, procede de decodage, dispositifs de codage et de decodage et programmes d'ordinateur correspondants
US9355649B2 (en) 2012-11-13 2016-05-31 Adobe Systems Incorporated Sound alignment using timing information
US10638221B2 (en) 2012-11-13 2020-04-28 Adobe Inc. Time interval sound alignment
US10249321B2 (en) 2012-11-20 2019-04-02 Adobe Inc. Sound rate modification
US9031345B2 (en) 2013-03-11 2015-05-12 Adobe Systems Incorporated Optical flow accounting for image haze
US9165373B2 (en) * 2013-03-11 2015-10-20 Adobe Systems Incorporated Statistics of nearest neighbor fields
US9129399B2 (en) 2013-03-11 2015-09-08 Adobe Systems Incorporated Optical flow with nearest neighbor field fusion
US9025822B2 (en) 2013-03-11 2015-05-05 Adobe Systems Incorporated Spatially coherent nearest neighbor fields
JP6315911B2 (ja) 2013-07-09 2018-04-25 キヤノン株式会社 画像符号化装置、画像符号化方法及びプログラム、画像復号装置、画像復号方法及びプログラム
CN114708261A (zh) * 2022-06-01 2022-07-05 浙江大华技术股份有限公司 图像采集设备的运动估计方法、装置、终端及存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0293644A1 (fr) * 1987-06-02 1988-12-07 Siemens Aktiengesellschaft Méthode de détermination de champs de vecteurs de mouvement à partir de séquences d'images numériques

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5150209A (en) * 1990-05-11 1992-09-22 Picturetel Corporation Hierarchical entropy coded lattice threshold quantization encoding method and apparatus for image and video compression
US5155594A (en) * 1990-05-11 1992-10-13 Picturetel Corporation Hierarchical encoding method and apparatus employing background references for efficiently communicating image sequences

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0293644A1 (fr) * 1987-06-02 1988-12-07 Siemens Aktiengesellschaft Méthode de détermination de champs de vecteurs de mouvement à partir de séquences d'images numériques

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
IEEE Transactions on Pattern Analysis and Machine Intelligence, Volume 11, No. 7, Juillet 1989, IEEE (New York, US) P. STROBACH: "Quadtree-Structured linear Prediction Models for Image Sequence Processing", pages 742-748 voir document en entier *
Proceedings IEEE Computer Society Conference on Computer Vision and Pattern Processing, 22-26 Juin 1986, Miami Beach, Florida, IEEE, (Washington, US) L.R. WILLIAMS et al.: "A Coarse-to-fine Control Strategy for Stereo and Motion on a Mesh-Connected Computer", pages 219-226, voir page 219, colonne de gauche, ligne 1 - page 226, colonne de droite, ligne 12; figures 1,2 *
Proceedings Workshop on Motion: Representation and Analysis, Charleston, South Carolina, 7-9 Mai 1986, IEEE, (Washington, US) W. ENKELMANN: "Investigations of Multigrid Algorithms for the Estimation of Optical Flow Fields in Image Sequences", pages 81-87 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5557341A (en) * 1991-04-12 1996-09-17 Dv Sweden Ab Iterative method for estimating motion content in video signals using successively reduced block size
FR2684258A1 (fr) * 1991-11-27 1993-05-28 Thomson Consumer Electronics Procede d'estimation et de codage hierarchise du mouvement de sequences d'images.
WO1993011502A1 (fr) * 1991-11-27 1993-06-10 Thomson Consumer Electronics S.A. Procede d'estimation et de codage hierarchise du mouvement de sequences d'images
US6097832A (en) * 1991-11-27 2000-08-01 Thomson Consumer Electronics Method of estimation and of hierarchised coding of the motion of image sequences
US5309237A (en) * 1992-03-31 1994-05-03 Siemens Corporate Research, Inc. Apparatus and method of compensating image-sequences for motion
DE4442643B4 (de) * 1994-01-31 2006-05-18 Samsung Electronics Co., Ltd., Suwon Verfahren zum Abschätzen der Bewegung in einem Bewegtbild
KR100378636B1 (ko) * 1994-09-02 2003-06-18 사르노프 코포레이션 전역대지역블록이동추정방법및장치
EP0961523A1 (fr) * 1998-05-27 1999-12-01 Sony France S.A. Spatialisation de la musique,systeme et methode
US6826282B1 (en) 1998-05-27 2004-11-30 Sony France S.A. Music spatialisation system and method

Also Published As

Publication number Publication date
JPH04501648A (ja) 1992-03-19
FR2651399A1 (fr) 1991-03-01
DE69025392T2 (de) 1996-07-25
US5351095A (en) 1994-09-27
KR920701916A (ko) 1992-08-12
EP0441941A1 (fr) 1991-08-21
EP0441941B1 (fr) 1996-02-14
DE69025392D1 (de) 1996-03-28
JP2968838B2 (ja) 1999-11-02
FR2651399B1 (fr) 1996-05-15
ATE134274T1 (de) 1996-02-15
ES2084035T3 (es) 1996-05-01

Similar Documents

Publication Publication Date Title
WO1991003797A1 (fr) Procede et dispositif d'estimation et de codage hierarchise du mouvement de sequences d'images
Kappagantula et al. Motion compensated interframe image prediction
EP0406074A1 (fr) Procédé de segmentation du champ de mouvement d'une image pour le codage d'images vidéo
EP0568694B1 (fr) Procede d'estimation et de codage hierarchise du mouvement de sequences d'images
FR2724083A1 (fr) Procede d'estimation du mouvement bidirectionnel et dispositif correspondant
EP2347590B1 (fr) Prediction d'une image par compensation en mouvement en avant
EP1603341B1 (fr) Procédé et dispositif pour les systèmes d'interpolation d'images par estimation et compensation de mouvement
EP1413140B1 (fr) Procede d'estimation de mouvement entre deux images avec gestion des retournements de mailles et procede de codage correspondant
EP1591962A2 (fr) Procédé et dispositif de génération de vecteurs candidats pour les systèmes d'interpolation d'images par estimation et compensation de mouvement
FR2628276A1 (fr) Procede de reduction de debit d'une sequence de donnees d'assistance a la reconstitution d'une image electronique a partir d'un signal sous-echantillonne
FR2648977A1 (fr) Procede iteratif d'estimation de mouvement, entre une image de reference et une image courante, et dispositif pour la mise en oeuvre de ce procede
FR2628864A1 (fr) Procede de segmentation d'un champ de vecteurs vitesse, notamment de vitesses de deplacement de points d'une image dans une sequence d'images
EP0676114B1 (fr) Dispositif d'estimation hierarchique du mouvement de sequence d'images
EP1596607B1 (fr) Procédé et dispositif de génération de vecteurs candidats pour les systèmes d'interpolation d'images par estimation et compensation de mouvement
EP0691065A1 (fr) Codage/decodage compatibles sous-bandes d'images de television
FR2872989A1 (fr) Procede et dispositif pour choisir un vecteur mouvement pour le codage d'un ensemble de blocs
WO2019081587A1 (fr) Procede de restauration d'images
FR2624680A1 (fr) Procede et dispositif de reduction de la visibilite du bruit sur les images de television
EP0348320B1 (fr) Procédé de segmentation d'images électroniques animées, sur critère de mouvement de blocs d'image, utilisant un procédé de détection de contours
EP0542335B1 (fr) Dispositif d'estimation de mouvement entre images animées subdivisées en blocs bidimensionnels d'éléments d'image
FR2717648A1 (fr) Procédé et dispostif d'estimation de mouvement entre images de télévision d'une séquence d'images.
FR2783123A1 (fr) Procede d'estimation du mouvement entre deux images
FR2648590A1 (fr) Procede et dispositif d'estimation de mouvement dans une sequence d'images animees
KR100950048B1 (ko) 정규 그래프 상의 반복 연산 장치 및 그 방법
FR2702915A1 (fr) Procédé de conversion de l'information de mouvement, entre deux fréquences temporelles, dans un réseau de transmission d'images animées .

Legal Events

Date Code Title Description
AK Designated states

Kind code of ref document: A1

Designated state(s): JP KR US

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): AT BE CH DE DK ES FR GB IT LU NL SE

WWE Wipo information: entry into national phase

Ref document number: 1990913705

Country of ref document: EP

WWP Wipo information: published in national office

Ref document number: 1990913705

Country of ref document: EP

WWG Wipo information: grant in national office

Ref document number: 1990913705

Country of ref document: EP