WO2006008426A2 - Procede d'estimation du mouvement pour le codage d'une sequence d'images avec echelonnabilite spatiale et temporelle - Google Patents

Procede d'estimation du mouvement pour le codage d'une sequence d'images avec echelonnabilite spatiale et temporelle Download PDF

Info

Publication number
WO2006008426A2
WO2006008426A2 PCT/FR2005/050573 FR2005050573W WO2006008426A2 WO 2006008426 A2 WO2006008426 A2 WO 2006008426A2 FR 2005050573 W FR2005050573 W FR 2005050573W WO 2006008426 A2 WO2006008426 A2 WO 2006008426A2
Authority
WO
WIPO (PCT)
Prior art keywords
motion
spatial
temporal
image
images
Prior art date
Application number
PCT/FR2005/050573
Other languages
English (en)
Other versions
WO2006008426A3 (fr
Inventor
Edouard Francois
Guillaume Boisson
Jérôme Vieron
Patrick Lopez
Original Assignee
Thomson Licensing
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thomson Licensing filed Critical Thomson Licensing
Publication of WO2006008426A2 publication Critical patent/WO2006008426A2/fr
Publication of WO2006008426A3 publication Critical patent/WO2006008426A3/fr

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H04N19/615—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding using motion compensated temporal filtering [MCTF]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/53—Multi-resolution motion estimation; Hierarchical motion estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/547—Motion estimation performed in a transform domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/567—Motion estimation based on rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]

Definitions

  • Motion estimation method for encoding an image sequence with spatial and temporal scalability
  • the invention relates to a motion estimation method for the video coding of an image sequence by hierarchical temporal analysis using time-compensated motion-based filtering.
  • the domain is that of video compression / decompression based on so-called "scalable" spatial and temporal scalability schemes. This is for example a t + 2D wavelet coding comprising a motion compensated temporal filtering.
  • the first step in the coding chain is to take advantage of the temporal redundancy between successive images, before exploiting the spatial redundancy within an image.
  • FIG. 1 represents a diagram of a video coder according to the prior art.
  • the video signal is transmitted to a time analysis circuit 10.
  • a motion estimation circuit 11 is connected to this first circuit to estimate the movement between the images received by the encoder.
  • the motion information is transmitted to the circuit 10 and to a coding circuit 15 of the motion vector field.
  • An output of the circuit 10 is transmitted to a spatial analysis circuit 12 which extracts, from the texture, the frequency coefficients of the image. These coefficients are then quantized and coded by entropy coding, circuit 13.
  • This coded information and those of movement are transmitted to a packetization or packetizer circuit 14 which sends the video data in the form of video packets to constitute the data stream. video.
  • the temporal analysis circuit 10 performs a time-compensated compensation in motion.
  • the spatial analysis circuit 12 performs a wavelet decomposition.
  • the entropic coding of the circuit 13 may be a VLC type coding, or acronym of the English variable length coding, or an arithmetic type coding.
  • the packetization circuit has the function of cutting the texture and motion information from the entropy coding circuit and the coding circuit of the motion fields respectively. coherent subsets according to their spatial and temporal frequency, and their importance, for example their weight in a bitmap coding approach. Thus the bit stream obtained is scalable or "scalable" independently in resolution, frame rate and fidelity.
  • MCTF Motion Compensated Temporal Filtering
  • a decomposition at 4 levels is performed for groups of images, also called GOP or GOF according to the acronym of the English expressions Group Of
  • High frequency and low frequency filtering extended for each level of decomposition, produces, at the first temporal decomposition level, 8 high temporal frequency images (t-H) and 8 low temporal frequency images (t-L) respectively.
  • the low temporal frequency images are then decomposed again according to the same method.
  • the high-pass filtering of these images provides, at the higher temporal decomposition level, 4 high t-LH temporal frequency images and the low pass filtering provides 4 new low t-LL clock images. And so for the other levels.
  • This decomposition therefore allows a new distribution of the energy by generating a useful image of low temporal frequency t-LLLL, which represents an average of the whole group of images and in which the energy is concentrated, and four levels of energy.
  • high energy low frequency images ie 5 frequency bands. It is these 16 images that are transmitted to the spatial analysis circuit for sub-band spatial decomposition.
  • a filtering called “lifting” is implemented.
  • This filtering method consists, in known manner, in “factorizing” the filter by exploiting filters of limited length, for example a 5/3 type filter if it is chosen to filter the samples using a window slippery involving 5 successive samples.
  • filters of limited length for example a 5/3 type filter if it is chosen to filter the samples using a window slippery involving 5 successive samples.
  • a first filtering on 5 low frequency images gives two high frequency images of the higher temporal level and a filtering of these 2 images with the central image of the group of 5 images gives a low frequency image of this higher temporal level.
  • Motion estimation for motion-compensated time analysis can incorporate motion-cost control in a bitrate-distortion trade-off.
  • the estimated motion fields correspond to the resolution of the source.
  • the step of compensation in motion of the encoder, whether it is done by filtering or prediction, is thus performed on images at full resolution while at the decoder, the motion compensation step can be executed on images of lesser resolution. , with scaled motion fields.
  • Scalability makes it possible to generate a binary train from which binary sub-trains adapted to given sets such as bit rate, spatial resolution, temporal frequency, etc. can be extracted.
  • Spatial scalability in particular makes it possible, from a single encoding performed to a given spatial resolution, to be able to extract from the resulting bitstream binary sub-trains corresponding to lower spatial resolutions. For example, if the original scalable bitstream was generated from a video sequence of resolution 720 * 480 pixels, it is possible, after extracting from this bit stream the appropriate data, to obtain a binary sub-train, for example 360 * 240 pixel resolution, itself scalable. The decoding of this binary sub-train will generate a video of size 360 * 240 pixels.
  • the encoder uses the finest movement, ie the one obtained at the spatial resolution of the highest image, to perform the coding. At decoding, this movement can be too expensive when operating at spatial resolutions or reduced rates. It is therefore necessary to generate the encoder different versions of the movement, corresponding to different spatial resolutions and / or rates and allowing the decoding to maintain a compromise movement-texture adapted. Of course, these different versions must be encoded, if possible using a scalable representation.
  • FIG. 3 describes the motion estimation process corresponding to the circuit referenced 11, for a given level of analysis or temporal decomposition.
  • the temporal analysis circuit 10 which generates the low-resolution full-resolution images of the different temporal levels, transmits these images to the motion estimation circuit 11.
  • These low frequency images corresponding to each of the spatial resolution levels relative to the scalability, are respectively transmitted to motion estimation modules 30, 31 and 32 forming part of the motion estimation circuit 11.
  • the module estimating motion 30 calculates the motion field MF 2 J from the images of lower resolution ⁇ 2 ⁇ from the generating circuit multiresolution pyramids.
  • the motion estimation module 31 calculates the MF-y motion fields from medium resolution images ly and possibly motion vectors from the circuit 30. These motion vectors are used for the initialization of the calculation algorithms, for example as predictors.
  • the motion estimation module 32 calculates the MF 0 J motion fields from the higher resolution images l o , i coming from the multiresolution pyramiding generation circuit and possibly motion vectors coming from the circuit 31.
  • the vector field MF 0 J is transmitted to the temporal analysis circuit 10 which thus performs the motion compensated temporal analysis with the finest movement.
  • the motion fields MF 0 J, MF-y and MF 2 J are transmitted to the motion field coding circuit 15.
  • the different fields of motion to different Resolutions are then scalable. Only the finest estimate, at the highest resolution, is used to perform the time-compensated motion analysis.
  • the encoder uses the finest motion to perform the motion compensated time analysis.
  • the resulting wavelet coefficients are therefore optimal for this motion field. Obviously, they are not for other spatial resolutions and other fields of motion.
  • One of the objects of the invention is a motion estimation method for encoding an image sequence with spatial and temporal scalability, comprising a time-compensated motion analysis step based on a motion estimation for providing images at different temporal decomposition levels and, for an image of a given temporal decomposition level, a wavelet transform spatial analysis step of that image to provide wavelet coefficients corresponding to high and low frequency subbands frequency, the motion estimation being carried out, for a given temporal level, to provide scalable motion fields for different levels of spatial resolution, characterized in that it implements an optimization step for the estimation of the fields of scalable motion, comprising a step of comparing the source image with a spatial resolution and a temporal level given to a reconstructed image obtained by motion-compensated temporal synthesis of the lower frequency sub-bands relating to the higher temporal level and corresponding to the given spatial resolution
  • the method is characterized in that a low frequency sub-spatial sub-band image is obtained by spatial synthesis from the wavelet coefficients W 0 , i calculated during the spatial analysis step.
  • the method is characterized in that the wavelet coefficients are stored during intermediate steps of spatial analysis and in that the low frequency subband image is obtained directly from the stored wavelet coefficients.
  • the method is characterized in that, for a given temporal level, the motion estimation is carried out for different levels of resolution of the source image I 0 J to provide a set of motion vector fields and in that the motion optimization consists of selecting motion vectors at least from this set.
  • the method is characterized in that the optimization of the movement is performed for each of the spatial resolutions of the spatial scalability.
  • the method is characterized in that the comparison step consists of a computation of a rate-distortion criterion integrating the coding cost of the motion field and the difference between the source image and the reconstructed image.
  • the method is characterized in that the motion compensated time synthesis is performed from motion vectors selected from motion vectors affected by image blocks and that the selection is a function of the level of motion. correlation between the reconstructed block by time synthesis from the candidate vector and the corresponding block of the source image.
  • the step of optimizing the movement may consist of an iterative process for calculating the motion field as a function of the rate-distortion criterion.
  • the invention also consists of an image sequence encoding method with temporal and spatial scalability, by motion-compensated temporal analysis and spatial analysis, characterized in that it implements the previously described motion estimation method.
  • the invention also relates to an image sequence encoding device with temporal and spatial scalability, comprising a motion compensated temporal analysis circuit and a spatial analysis circuit of the images from the temporal analysis circuit, characterized in that it also comprises a spatial synthesis circuit for reconstructing images at different temporal levels and a motion optimization circuit performing a temporal synthesis of the images from the spatial synthesis circuit to provide reconstructed images corresponding to the relative spatial resolution levels scalability and for performing, for a temporal level, a comparison between a source image of a given spatial resolution level and a reconstructed image relating to that level.
  • the idea of the invention is to optimize motion at any spatial resolution, taking into account the motion used at the highest resolution.
  • the proposed approach therefore consists of the coefficients wavelets resulting from temporal and spatial analysis, to be searched for each spatial resolution and flow the best motion. This movement will be the one that, at the decoder, will provide the images of the best possible quality.
  • FIG. 1 a "scalable" compression scheme
  • FIG. 2 a temporal filtering on a GOP of 16 images
  • FIG. 3 a motion estimation circuit according to the prior art
  • FIG. 4 a motion estimation circuit according to the invention
  • FIG. 5 different levels of spatial decomposition of an image
  • FIG. 6 an illustration of a motion field
  • FIG. 7a an example of motion compensated temporal analysis in the case of the 5/3 filter
  • FIG. 7b an example of motion-compensated time synthesis in the case of the 5/3 filter.
  • FIG. 8a the generation of odd images
  • FIG. 8b the generation of the even image
  • FIG. 9 a flowchart of the motion field optimization algorithm.
  • FIG. 4 describes the motion estimation process according to the invention for a given level of temporal analysis.
  • the modules 41 and 42 are respectively part of the temporal analysis and spatial analysis circuits 12.
  • the other circuits and modules described belong to the estimation circuit of FIG. movement 11.
  • the motion estimation module 40 receives from the temporal analysis circuit 10 the images l o , i of low frequency corresponding to a given level of temporal analysis and, for this temporal level, to the level of the highest spatial resolution.
  • This module 40 calculates the MF 0 J motion fields from these images of higher resolution I 0 J.
  • the vector field MF 0 J is transmitted to the temporal analysis circuit 10, more precisely to the temporal analysis module 41
  • This module performs a time-compensated motion analysis with the finest motion.
  • the images generated by this module, F 0 , i, are transmitted to the spatial analysis circuit 12, more specifically to the spatial analysis module 42.
  • These images F 0 , i are the high frequency and low frequency images of the level of higher temporal analysis, that is to say succeeding that corresponding to the low-input images I 0 J
  • the generation module of the multi-resolution pyramid of the motion estimation circuit 11 provides the other images read and I 2 , i respectively corresponding to the average resolution and the lowest resolution of the low frequency images. given time level. These images are respectively transmitted to a first motion optimization module 46 and to a second motion optimization module 44 of this motion estimation circuit.
  • the spatial analysis module 42 performs a spatial analysis of the images F 0 , i by giving S spatial decomposition levels for each of the images F 0 J.
  • the wavelet spatial decomposition thus provides images W k , i of spatio-temporal wavelet coefficients. at different levels of decomposition.
  • W k , i represents the set of wavelet coefficients necessary for the reconstruction of the spatial resolution image r of level k.
  • the image referenced 51 represents 4 levels of decomposition corresponding to the 3 levels of resolution of the multiresolution pyramid.
  • the decomposition is repeated on this sub-band image or sub-image low frequency to give 4 new identical rectangles 53 or 7 sub-bands in total, second level of decomposition.
  • the lowest resolution level I 2 i, referenced 55 or 53, has a format of 180 pixels on 144 lines and corresponds to the wavelet coefficients of the low frequency subband image hatched, W 2ji .
  • the intermediate resolution level ly, referenced 52 has a format of 360 pixels over 288 lines and corresponds to the wavelet coefficients of the low frequency subband image represented by one of the rectangles 52, Wy.
  • the spatial analysis module At the output of the spatial analysis module is available the set of wavelet coefficients corresponding to these decompositions, for each of the images i of low and high temporal frequency of the time level considered.
  • the coefficients corresponding to the last two levels of spatial decomposition, W 2 , i are recovered by the spatial synthesis module 43 which reconstructs, by spatial synthesis, the lower resolution image F 2 , i.
  • This image is transmitted to the spatial synthesis module 45 which also receives, from the spatial analysis module, the high frequency subband coefficients relating to the second level of decomposition among the four levels, and which reconstructs the average image by spatial synthesis.
  • resolution F 1 It is of course conceivable to transmit not the image F 2ji but the set of coefficients corresponding to the last three levels of decomposition, Wy, to the spatial synthesis circuit 45, to perform this spatial synthesis.
  • These reconstructed images F 2ji and F- y are respectively transmitted to a first motion optimization module 44 and a second motion optimization module 46 which also receive, respectively, the source images I 2 J and ⁇ ⁇ , ⁇ .
  • Each of the motion optimization modules includes a temporal synthesis module.
  • This module retrieves all the low (L) and high (H) frequency images of a given temporal level and obtained by spatial synthesis at the spatial resolution considered in order to reconstruct, by temporal synthesis, the low frequency images (I) of the level temporal lower as shown below with reference to Figure 7b. It is these reconstructed images (1) at the level of spatial decomposition corresponding to the resolutions of the source images read or I 2 , i, for the considered temporal level, which are compared with the source images hj and ⁇ 2 , ⁇ of the same temporal level.
  • Motion fields estimated at the highest resolution can also be used. Several fields of movement, more or less fine can be generated allowing to adapt to the decoding the cost of the movement depending on the flow. These different fields can be considered as possible candidates in the optimization process. This process is described in more detail later.
  • the optimized vector fields are then transmitted to the motion field coding circuit 15.
  • This step can generate several fields of movement, more or less fine. Rather than performing a spatial analysis and then a spatial synthesis to reconstruct the images, it is possible to memorize, in the spatial analysis circuit, the wavelet coefficients relating to the low frequency subbands of each decomposition step, thus avoiding the spatial synthesis to reconstruct these low subband images.
  • Motion fields estimated at the highest resolution can also be used.
  • the one or more motion fields aim at reducing the distortion between the source images and the reconstructed images after compensated temporal synthesis with estimated motion.
  • MC I ⁇ ⁇ l2 (F) corresponds to the motion compensation of the image F, using the estimated motion MF I ⁇ ⁇ l2 between the images U and I 2 .
  • Figure 6 symbolically represents such a field of motion.
  • the encoding may be scalable, thus allowing decoding to provide a better rate-distortion compromise between texture and motion.
  • the summation is performed on the index k which corresponds to the length of the filter used.
  • the H images are first generated using the estimated motion fields between the odd images and their two neighboring pairs. For example, in FIG. 7a, the fields MF i 0 2m _ 1 ⁇ i 0 2m referenced 70 and
  • MF h 2m + i ⁇ / o 2m referenced 71 are used to calculate the image H 0 , 2m-
  • the images L are then calculated using the motion fields deduced from the preceding fields.
  • the field MF 1 r0.2 "m +, 1 ⁇ v 1 / -" 0.2 "m referenced 72 is deduced from the field ⁇ MF 1 Tn 0.2 "M ⁇ . 1 Tn 0.2 "m +, l referenced 71, by inversion.
  • the dotted lines indicate the deduced fields of motion. This corresponds to the following equations, the movement compensations made with deduced fields being entitled IMC:
  • the decoded motion fields were obtained after decoding the motion information, and possibly, if necessary, after conversion to the resolution. This is the case, for example, when the motion is not scalable in resolution.
  • I r, 2m + l - ⁇ [ L r, 2m + l ⁇ L * ⁇ $ 2l - MC I ra ⁇ ⁇ I ram + ⁇ ( H r, 2l) ⁇
  • the images / r 2m + 2 are reconstructed from H r , 2m + 2, of l , i m + i compensated by the MF field I ⁇ 2m + 1 ⁇ / r 2m + 2 referenced 75 and from / r; 2m + 3 compensated by the field MFi r 2m + 3 ⁇ i r 2m + 2 referenced 76.
  • the dotted lines indicate the deduced fields of motion.
  • ⁇ , ⁇ 2 + 2 r # 2 "2 + - MC I r> 2m + 1 ⁇ I r, 2m + 2 (7 r, 2" + l) + MC ⁇ I r> 2m + 3 ⁇ I r , 2m + 2 ( 7 r, 2 «+3)
  • the goal of optimizing the movement is to change the motion fields MF i i r r k ⁇ 2m> and P onsequently MF 1 ⁇ I, to improve the synthesis, ie improving images
  • a and B, R (MF 1 , ..., MF p ) a measure of the cost of encoding the motion fields, ⁇ is a predetermined Lagrangian parameter.
  • the calculation of the distortion D corresponds, for example, to the sum of the absolute values of the differences between the luminance values of the pixels of the images I and I.
  • p corresponds to the number of the last useful field to build the image î r ⁇ .
  • a solution can be to directly deduce these fields from the motion fields at the original resolution used for the analysis; another solution is to make a motion estimation directly at the resolution r,
  • one begins by determining optimal motion fields to generate reconstructed even-numbered images as close as possible to the original even images.
  • the fields are optimized for example using a "block matching" approach, called block matching in English and detailed below.
  • block matching in English and detailed below.
  • the odd images are reconstructed using the reconstructed even images and the reversed motion fields.
  • the total rate-distortion criterion is evaluated on all the reconstructed images and the motion fields used to reconstruct them.
  • Figure 9 depicts an algorithm, based on an iterative approach.
  • the next step 91 generates the odd images / r 2m + 1 and / r 2m + 3 from the deduced fields, then the step 92 generates the even image / r> 2m + 2 from the fields MF 1 Tr, 2 "m +, l ⁇ . 1 Tr, 2 "m + 2" and MF ' 1 r.im + i ⁇ .' J r.im + i 'as name su ⁇ ated resp ⁇ ectively 1 in Figures 8a and 8b.
  • the following step 93 performs a calculation of the total criterion for the fields MF Ir lm + ⁇ ⁇ Ir lm + 1 and MF Ir 2m + Ir Ir 2m + 2 :
  • step 95 If C ⁇ Cmin, test performed in step 94, then the next step is step 95 which refreshes the value C min to the value C and stores the fields MF Ir 2m + ⁇ ⁇ i r 2m + 2 and MF Ir 2m + 3 ⁇ i r 2m + 2 - Then, step 96 performs an optimization of the MF fields 1 Tr, 2 "m +, 1 ⁇ v 1 ⁇ r, 2" m + 2 "and MF 1 T r, 2, m +, 3 ⁇ . 1 rr, 2, m + 2, so as to minimize cri
  • the Optimization process may consist of a "block matching" approach.
  • This block is compared to the original image I r 2m + 2 , to obtain a distortion measurement, for example by pixel-to-pixel subtraction of the luminances of each block.
  • a function of the encoding cost of the motion vector is added.
  • the new distortion and coding cost are evaluated. Among all these vectors, the one that ensures the lowest value of the distortion-cost of coding criterion is retained.
  • the time analysis phase is conducted on several successive stages.
  • the analysis is carried out on the source images to obtain low frequency temporal and high temporal frequency images.
  • a new analysis can then be conducted on the low frequency temporal images thus obtained, which become the source images of the new time analysis step.
  • the invention which has been described for a time level, can be applied to one or more of these time decomposition stages.
  • the candidate motion vectors for the optimization of the motion field are calculated from motion vectors associated with the blocks and thus from the motion field. original or calculated field at the previous iteration. For example, they are vectors in the vicinity of the associated motion vector.
  • the candidate vectors can be the vectors of these different fields, scaled up. A combination of these candidate vectors is also possible.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

Le procédé est caractérisé en ce qu'il met en œuvre une étape d'optimisation (44, 46) pour l'estimation des champs de mouvement échelonnables, comportant une étape de comparaison (93) de l'image source d'une résolution spatiale et d'un niveau temporel donné à une image reconstruite obtenue par synthèse temporelle (91, 92) compensée en mouvement des sous-bandes basse fréquence relatives au niveau temporel supérieur et correspondant à la résolution spatiale donnée (W k,i). Les applications concernent la transmission et le stockage de données.

Description

Procédé d'estimation du mouvement pour le codage d'une séquence d'images avec échelonnabilité spatiale et temporelle
L'invention concerne un procédé d'estimation de mouvement pour le codage vidéo d'une séquence d'image par analyse temporelle hiérarchique exploitant le filtrage temporel compensé en mouvement.
Le domaine est celui de la compression/décompression vidéo basée sur des schémas à échelonnabilité spatiale et temporelle dits aussi « scalables ». Il s'agit par exemple d'un codage en ondelettes t+2D comportant un filtrage temporel compensé en mouvement.
Dans les standards de codage dits hybrides, tels que MPEG-1 ,
MPEG-2, MPEG-4, h264, comme dans la plupart des schémas de codage sous-bande 2D+t, la première étape de la chaîne de codage consiste à tirer parti de la redondance temporelle entre images successives, avant d'exploiter la redondance spatiale au sein d'une image.
La figure 1 représente un schéma d'un codeur vidéo selon l'art antérieur.
Le signal vidéo est transmis à un circuit d'analyse temporelle 10. Un circuit d'estimation de mouvement 11 est relié à ce premier circuit pour estimer le mouvement entre les images reçues par le codeur. Les informations de mouvement sont transmises au circuit 10 et à un circuit 15 de codage du champs de vecteurs mouvement. Une sortie du circuit 10 est transmise à un circuit d'analyse spatiale 12 qui extrait, de la texture, les coefficients de fréquence de l'image. Ces coefficients sont ensuite quantifiés puis codés par un codage entropique, circuit 13. Ces informations codées et celles de mouvement sont transmises à un circuit de mise en paquets ou paquetiseur 14 qui envoie les données vidéo sous forme de paquets vidéo pour constituer le flux de données vidéo.
Le circuit d'analyse temporelle 10 réalise un filtrage temporel compensé en mouvement.
Le circuit d'analyse spatiale 12 réalise une décomposition en ondelettes. Le codage entropique du circuit 13 peut être un codage de type VLC, acronyme de l'anglais Variable Length Coding, ou un codage de type arithmétique. Le circuit de paquetisation a pour fonction de découper l'information de texture et de mouvement provenant respectivement du circuit de codage entropique et du circuit de codage des champs de mouvement en sous-ensembles cohérents selon leur fréquence spatiale, temporelle, et leur importance, par exemple leur poids dans une approche de codage par plans de bits. Ainsi le flux binaire obtenu est échelonnable ou "scalable" indépendamment en résolution, en fréquence trame et en fidélité. La figure 2 représente de manière synthétique les opérations de filtrage temporel avec compensation en mouvement, aussi connu sous l'acronyme MCTF, de l'appellation anglaise Motion Compensated Temporal Filtering, réalisées par le circuit d'analyse temporelle 10. Dans cet exemple, une décomposition à 4 niveaux est effectuée pour des groupes d'images, aussi appelés GOP ou GOF selon l'acronyme des expressions anglaises Group Of
Picture et Group Of Frames, comportant 16 images représentées en traits gras.
Le filtrage haute fréquence et basse fréquence, reconduit pour chaque niveau de décomposition, produit respectivement, au premier niveau de décomposition temporelle, 8 images de fréquence temporelle haute (t-H) et 8 images de fréquence temporelle basse (t-L). Les images de fréquence temporelle basse sont ensuite décomposées à nouveau selon le même procédé. Le filtrage passe-haut de ces images fournit, au niveau de décomposition temporelle supérieur, 4 images de fréquence temporelle haute t- LH et le filtrage passe bas fournit 4 nouvelles images de fréquence temporelle basse t-LL. Et ainsi pour les autres niveaux. Cette décomposition permet donc une nouvelle répartition de l'énergie en générant une image utile de fréquence temporelle basse t-LLLL, qui représente une moyenne de l'ensemble du groupe d'images et dans laquelle est concentrée l'énergie, et quatre niveaux d'images de fréquence temporelle haute de faible énergie, soit 5 bandes de fréquence. Ce sont ces 16 images qui sont transmises au circuit d'analyse spatiale pour une décomposition spatiale en sous-bandes.
Au lieu d'utiliser un filtrage complexe pour le codage en ondelettes, exploitant un filtre linéaire de longueur importante, le filtrage serait effectué ici sur un groupe de 16 images, un filtrage appelé « lifting » est mis en œuvre. Ce procédé de filtrage consiste, de manière connue, à « factoriser » le filtre en exploitant des filtres de longueur limitée, par exemple un filtre de type 5/3 si l'on choisit de filtrer les échantillons à l'aide d'une fenêtre glissante impliquant 5 échantillons successifs. Comme on le verra par la suite, par exemple sur la figure 7a, un premier filtrage sur 5 images basse fréquence donne deux images haute fréquence du niveau temporel supérieur et un filtrage de ces 2 images avec l'image centrale du groupe de 5 images donne une image basse fréquence de ce niveau temporel supérieur. L'estimation de mouvement pour l'analyse temporelle compensée en mouvement peut intégrer un contrôle du coût du mouvement selon un compromis débit-distorsion. Les champs de mouvement estimés correspondent à la résolution de la source. L'étape de compensation en mouvement du codeur, qu'elle soit faite par filtrage ou prédiction est donc exécutée sur des images à pleine résolution tandis qu'au décodeur, l'étape de compensation de mouvement peut être exécutée sur des images de résolution moindre, avec des champs de mouvement remis à l'échelle.
La scalabilité permet de générer un train binaire duquel on peut extraire des sous-trains binaires adaptés à des ensembles donnés tels que débit, résolution spatiale, fréquence temporelle... En particulier la scalabilité spatiale permet, à partir d'un seul encodage effectué à une résolution spatiale donnée, de pouvoir extraire du train binaire résultant des sous-trains binaires correspondant à des résolutions spatiales inférieures. Par exemple, si le train binaire scalable originel a été généré à partir d'une séquence vidéo de résolution 720*480 pixels, il est possible, après avoir extrait de ce train binaire les données adéquates, d'obtenir un sous-train binaire, par exemple de résolution 360*240 pixels, lui-même scalable. Le décodage de ce sous-train binaire générera une vidéo de taille 360*240 pixels. Dans l'art antérieur, l'encodeur utilise le mouvement le plus fin, c'est à dire celui obtenu à la résolution spatiale de l'image la plus élevée, pour effectuer le codage. Au décodage, ce mouvement peut s'avérer trop coûteux lorsqu'on opère à des résolutions spatiales ou débits réduits. Il est donc nécessaire de générer au codeur différentes versions du mouvement, correspondant à différentes résolutions spatiales et/ou débits et permettant au décodage de maintenir un compromis mouvement-texture adapté. Bien entendu, ces différentes versions doivent être codées, si possible en utilisant une représentation scalable.
Le problème de l'estimation et du codage de champs de mouvement adaptés à différentes résolutions spatiales et débits a été récemment abordé dans plusieurs travaux. La solution la plus générique a été proposée par J.Xu, R.Xiong, B.Feng, G.Sullivan, M.-C.Lee, F.Wu, S. Li, dans le document intitulé "3D subband video coding using Barbell lifting", ISO/IEC JTC 1/SC 29/WG 11 M10569/S05, Munich, March 2004. Pour obtenir un compromis débit-distorsion optimisé entre mouvement et texture, l'encodeur utilise le mouvement le plus fin pour effectuer l'analyse temporelle compensée en mouvement, alors que le décodeur peut recevoir et utiliser un mouvement plus grossier pour la synthèse. Le principe est illustré sur la figure 3, dans le cas de 3 niveaux de résolution spatiale.
La figure 3 décrit le processus d'estimation de mouvement correspondant au circuit référencé 11 , pour un niveau d'analyse ou décomposition temporelle donné.
Le circuit d'analyse temporelle 10 qui génère les images basse fréquence pleine résolution des différents niveaux temporels, transmet ces images au circuit d'estimation de mouvement 11. Pour le niveau de décomposition temporelle considéré, les images, appelées lo,i, le premier indice r=0 correspondant au niveau de résolution spatiale, la valeur 0 étant le niveau de résolution le plus élevé, et le deuxième indice i correspondant au rang de l'image dans la succession d'images basse fréquence, sont transmises à un module de génération de pyramide multirésolution du circuit d'estimation de mouvement, non représenté sur la figure, pour fournir des images de résolution moindre l-y et I2J. Ces images de fréquence basse, correspondant à chacun des niveaux de résolution spatiale relatifs à l'échelonnabilité, sont transmises respectivement à des modules d'estimation de mouvement 30, 31 et 32 faisant partie du circuit d'estimation de mouvement 11.
Le module d'estimation de mouvement 30 calcule les champs de mouvement MF2J à partir des images de plus faible résolution \2,\ provenant du circuit de génération de pyramides multirésolution.
Le module d'estimation de mouvement 31 calcule les champs de mouvement MF-y à partir des images de moyenne résolution l-y et éventuellement de vecteurs mouvement provenant du circuit 30. Ces vecteurs mouvement sont exploités pour l'initialisation des algorithmes de calcul, par exemple comme prédicteurs.
Le module d'estimation de mouvement 32 calcule les champs de mouvement MF0J à partir des images de plus haute résolution lo,i provenant du circuit de génération de pyramides multirésolution et éventuellement de vecteurs mouvement provenant du circuit 31.
Le champ de vecteur MF0J est transmis au circuit d'analyse temporelle 10 qui effectue donc l'analyse temporelle compensée en mouvement avec le mouvement le plus fin. Les champs de mouvement MF0J, MF-y et MF2J sont transmis au circuit de codage de champ de mouvement 15. De manière générale, différentes estimations de mouvement sont effectuées, à partir des images source lrj, i=1...N, aux différentes résolutions r prises en compte. Les différents champs de mouvement aux différentes résolutions sont ensuite codés de façon scalable. Seule l'estimation la plus fine, à la plus haute résolution, est utilisée pour effectuer l'analyse temporelle compensée en mouvement. L'encodeur utilise le mouvement le plus fin pour effectuer l'analyse temporelle compensée en mouvement. Les coefficients ondelettes résultant sont donc optimaux pour ce champ de mouvement. De façon évidente, ils ne le sont pas pour d'autres résolutions spatiales et d'autres champs de mouvement.
L'invention a pour but de pallier les inconvénients précités. Un des objets de l'invention est un procédé d'estimation du mouvement pour le codage d'une séquence d'images avec échelonnabilité spatiale et temporelle, comprenant une étape d'analyse temporelle compensée en mouvement à partir d'une estimation de mouvement pour fournir des images à différents niveaux de décomposition temporels et, pour une image d'un niveau de décomposition temporel donné, une étape d'analyse spatiale par transformée ondelettes de cette image pour fournir des coefficients ondelette correspondant à des sous- bandes haute fréquence et basse fréquence, l'estimation de mouvement étant effectuée, pour un niveau temporel donné, pour fournir des champs de mouvement échelonnables pour différents niveaux de résolution spatiale, caractérisé en ce qu'il met en oeuvre une étape d'optimisation pour l'estimation des champs de mouvement échelonnables, comportant une étape de comparaison de l'image source d'une résolution spatiale et d'un niveau temporel donné à une image reconstruite obtenue par synthèse temporelle compensée en mouvement des sous-bandes basse fréquence relatives au niveau temporel supérieur et correspondant à la résolution spatiale donnée
(Wici).
Selon une mise en œuvre particulière, le procédé est caractérisé en ce qu'une image sous-bande basse fréquence spatiale est obtenue par synthèse spatiale à partir des coefficients ondelettes W0,i calculés lors de l'étape d'analyse spatiale.
Selon une mise en œuvre particulière, le procédé est caractérisé en ce les coefficients ondelettes sont mémorisés lors d'étapes intermédiaires d'analyse spatiale et en ce que l'image sous-bande basse fréquence est obtenue directement à partir des coefficients ondelette mémorisés. Selon une mise en œuvre particulière, le procédé est caractérisé en ce que, pour un niveau temporel donné, l'estimation de mouvement est effectuée pour différents niveaux de résolution de l'image source I0J pour fournir un ensemble de champs de vecteurs mouvement et en ce que l'optimisation de mouvement consiste à sélectionner des vecteurs mouvement au moins parmi cet ensemble.
Selon une mise en œuvre particulière, le procédé est caractérisé en ce que l'optimisation du mouvement est effectuée pour chacune des résolutions spatiales de l'échelonnabilité spatiale.
Selon une mise en œuvre particulière, le procédé est caractérisé en ce que l'étape de comparaison consiste en un calcul d'un critère débit- distorsion intégrant le coût de codage du champ de mouvement et la différence entre l'image source et l'image reconstruite.
Selon une mise en œuvre particulière, le procédé est caractérisé en ce que la synthèse temporelle compensée en mouvement est effectuée à partir de vecteurs mouvement sélectionnés parmi des vecteurs mouvement candidats affectés par bloc d'image et en ce que la sélection est fonction du niveau de corrélation entre le bloc reconstruit par synthèse temporelle à partir du vecteur candidat et le bloc correspondant de l'image source. L'étape d'optimisation du mouvement peut consister en un procédé itératif de calcul du champ de mouvement fonction du critère débit-distorsion.
L'invention consiste aussi en un procédé de codage de séquence d'images avec échelonnabilité temporelle et spatiale, par analyse temporelle compensée en mouvement et analyse spatiale, caractérisé en ce qu'il met en œuvre le procédé d'estimation de mouvement précédemment décrit.
L'invention concerne également un dispositif de codage de séquence d'images avec échelonnabilité temporelle et spatiale, comportant un circuit d'analyse temporelle compensée en mouvement et un circuit d'analyse spatiale des images provenant du circuit d'analyse temporelle, caractérisé en ce qu'il comporte également un circuit de synthèse spatiale pour reconstruire des images à différents niveaux temporels et un circuit d'optimisation de mouvement réalisant une synthèse temporelle des images provenant du circuit de synthèse spatiale pour fournir des images reconstruites correspondant aux niveaux de résolution spatiale relatifs à l'échelonnabilité et pour effectuer, pour un niveau temporel, une comparaison entre une image source d'un niveau de résolution spatiale donné et une image reconstruite relative à ce niveau.
L'idée de l'invention est d'optimiser le mouvement à toute résolution spatiale, en prenant en compte le mouvement utilisé à la résolution la plus haute. L'approche proposée consiste donc, à partir des coefficients ondelettes résultant de l'analyse temporelle puis spatiale, à rechercher pour chaque résolution spatiale et débit le mouvement le meilleur. Ce mouvement sera celui qui, au décodeur, fournira les images de la meilleure qualité possible.
D'autres particularités et avantages de l'invention apparaîtront clairement dans la description suivante donnée à titre d'exemple non limitatif, et faite en regard des figures annexées qui représentent :
- la figure 1 , un schéma de compression « échelonnable »,
- la figure 2, un filtrage temporel sur un GOP de 16 images, - la figure 3, un circuit d'estimation de mouvement selon l'art antérieur,
- la figure 4, un circuit d'estimation de mouvement selon l'invention,
- la figure 5, différents niveaux de décomposition spatiale d'une image,
- la figure 6, une illustration d'un champ de mouvement,
- la figure 7a, un exemple d'analyse temporelle compensée en mouvement dans le cas du filtre 5/3,
- la figure 7b, un exemple de synthèse temporelle compensée en mouvement dans le cas du filtre 5/3.
- la figure 8a, la génération des images impaires,
- la figure 8b, la génération de l'image paire,
- la figure 9, un organigramme de l'algorithme d'optimisation des champs de mouvement.
La figure 4 décrit le processus d'estimation de mouvement selon l'invention pour un niveau d'analyse temporelle donné.
Selon un exemple d'organisation et en se référant à la figure 1 , les modules 41 et 42 sont respectivement partie des circuits d'analyse temporelle 10 et d'analyse spatiale 12. Les autres circuits et modules décrits appartiennent au circuit d'estimation de mouvement 11. Ainsi, si l'on se réfère à la figure 1 , une nouvelle liaison existe entre le circuit d'analyse spatiale 12 et le circuit d'estimation de mouvement 11 , comme indiqué plus loin.
Le module d'estimation de mouvement 40 reçoit du circuit d'analyse temporelle 10 les images lo,i de fréquence basse correspondant à un niveau d'analyse temporelle donné et, pour ce niveau temporel, au niveau de résolution spatiale le plus élevé. Le premier indice r=0 correspond à la résolution spatiale et le deuxième indice i au rang de l'image. Ce module 40 calcule les champs de mouvement MF0J à partir de ces images de plus haute résolution I0J. Le champ de vecteur MF0J est transmis au circuit d'analyse temporelle 10, plus précisément au module d'analyse temporelle 41. Ce module effectue une analyse temporelle compensée en mouvement avec le mouvement le plus fin. Les images générées par ce module, F0,i, sont transmises au circuit d'analyse spatiale 12, plus précisément au module d'analyse spatiale 42. Ces images F0,i so nt les images haute fréquence et basse fréquence du niveau d'analyse temporelle supérieur, c'est à dire succédant à celui correspondant aux images basse fréquence d'entrée I0J
Le module de génération de la pyramide multirésolution du circuit d'estimation de mouvement 11 , non représenté sur la figure, fournit les autres images lu et I2,i correspondant respectivement à la résolution moyenne et la résolution la plus faible des images de fréquence basse du niveau temporel donné. Ces images sont transmises respectivement à un premier module d'optimisation de mouvement 46 et à un deuxième module d'optimisation de mouvement 44 de ce circuit d'estimation de mouvement.
Le module d'analyse spatiale 42 effectue une analyse spatiale des images F0,i en donnant S niveaux de décomposition spatiale pour chacune des images F0J. La décomposition spatiale ondelettes fournit ainsi des images Wk,i de coefficients ondelettes spatio-temporels à différents niveaux de décomposition. Wk,i représente l'ensemble des coefficients ondelette nécessaires à la reconstruction de l'image de résolution spatiale r de niveau k.
La figure 5 représente les différents niveaux de décomposition spatiale d'une image F0J pour S=4.
L'image référencée 50 correspond au format ou niveau de résolution le plus élevé (k=0), 720 pixels par 576 lignes dans notre exemple. L'image référencée 51 représente 4 niveaux de décomposition correspondant aux 3 niveaux de résolution de la pyramide multirésolution. Le premier niveau de décomposition donne 4 sous-bandes qui sont représentés par les 4 rectangles identiques 52, le rectangle en haut à gauche correspondant à la sous-bande basse fréquence et à l'image de niveau de résolution k=1.
La décomposition est réitérée sur cette image sous-bande ou sous-image basse fréquence pour donner 4 nouveaux rectangles identiques 53 soit 7 sous-bandes au total, deuxième niveau de décomposition. La décomposition est réitérée sur la nouvelle image sous-bande ou sous-image basse fréquence correspondant au rectangle hachuré et au niveau de résolution k=2 pour donner 10 sous-bandes, troisième niveau de décomposition puis sur la nouvelle image basse fréquence correspondant au rectangle grisé 54 pour donner le quatrième niveau de décomposition constitué de 13 sous-bandes.
Le niveau de résolution le plus faible I2,i, référencé 55 ou 53, a un format de 180 pixels sur 144 lignes et correspond aux coefficients ondelette de l'image sous-bande basse fréquence hachurée, W2ji. Le niveau de résolution intermédiaire l-y, référencé 52, a un format de 360 pixels sur 288 lignes et correspond aux coefficients ondelette de l'image sous-bande basse fréquence représentée par un des rectangles 52, W-y.
En sortie du module d'analyse spatiale est disponible l'ensemble des coefficients ondelette correspondant à ces décompositions, pour chacune des images i de fréquence temporelle basse et haute du niveau temporel considéré. Pour une image i, les coefficients correspondant aux deux derniers niveaux de décomposition spatiale, W2,i, sont récupérés par le module de synthèse spatiale 43 qui reconstruit par synthèse spatiale l'image de plus faible résolution F2, i. Cette image est transmise au module de synthèse spatiale 45 qui reçoit également, du module d'analyse spatiale, les coefficients sous-bande haute fréquence relatifs au deuxième niveau de décomposition parmi les 4 niveaux, et qui reconstruit par synthèse spatiale l'image de moyenne résolution F1, ,. II est bien sûr envisageable de transmettre non pas l'image F2ji mais l'ensemble des coefficients correspondant aux trois derniers niveaux de décomposition, W-y, au circuit de synthèse spatiale 45, pour effectuer cette synthèse spatiale.
Ces images reconstruites F2ji et F -y sont respectivement transmises à un premier module d'optimisation de mouvement 44 et un deuxième module d'optimisation de mouvement 46 qui reçoivent également en entrée, respectivement les images source I2J et \<\, \.
Chacun des modules d'optimisation de mouvement comprend un module de synthèse temporelle. Ce module récupère l'ensemble des images basse (L) et haute (H) fréquence d'un niveau temporel donné et obtenues par synthèse spatiale à la résolution spatiale considérée pour reconstruire, par synthèse temporelle, les images basse fréquence (I) du niveau temporel inférieur comme indiqué ci-dessous en référence à la figure 7b. Ce sont ces images reconstruites (î) au niveau de décomposition spatiale correspondant aux résolutions des images sources lu ou I2,i, pour le niveau temporel considéré, qui sont comparées aux images source hj et \2,\ du même niveau temporel.
Les champs de mouvement estimés à la résolution la plus grande peuvent aussi être utilisés. Plusieurs champs de mouvement, plus ou moins fins peuvent être générés permettant ainsi d'adapter au décodage le coût du mouvement en fonction du débit. Ces différents champs peuvent être considérés comme des candidats possibles dans le processus d'optimisation. Ce processus est décrit plus en détail par la suite. Les champs de vecteurs optimisés sont ensuite transmis au circuit de codage de champ de mouvement 15.
En raisonnant de manière plus générale, les différentes étapes, pour chaque résolution intermédiaire r, sont les suivantes :
- pour chaque image, récupération des coefficients spatiaux haute fréquence de la résolution spatiale r, c'est à dire les coefficients hautes fréquences de Wr, i,
- synthèse spatiale à partir de ces coefficients ondelettes et des images synthétisées à la résolution inférieure r+1 , Fr+i,i permettant d'obtenir les images Fr,i, i=1...N, de la résolution r.
- optimisation de mouvement avec les images source lr,i, i=1...N, et les images Fr,i, i=1...N. Cette étape peut générer plusieurs champs de mouvement, plus ou moins fins. Plutôt de d'effectuer une analyse spatiale puis une synthèse spatiale pour reconstruire les images, il est possible de mémoriser, dans le circuit d'analyse spatiale, les coefficients ondelettes relatifs aux sous-bandes basse fréquence de chaque étape de décomposition, évitant ainsi la synthèse spatiale pour reconstruire ces images sous-bande basse.
Le module d'optimisation de mouvement vise à calculer un ou plusieurs champs de mouvement à la résolution r considérée, en utilisant en entrée les images source lr;,, i=1...N, et les images Fr;,, i=1...N. Les champs de mouvement estimés à la résolution la plus grande peuvent aussi être utilisés. Le ou les champs de mouvement visent à réduire la distorsion entre les images source et les images reconstruites après synthèse temporelle compensée avec mouvement estimé. Avant de décrire le procédé d'optimisation du mouvement proprement dit, précisons les phases d'analyse et synthèse temporelles compensées en mouvement.
- Analyse temporelle compensée en mouvement
Pour simplifier les notations, on note lr,k la k?me image de la vidéo à la résolution r considérée. MCIι→l2 (F) correspond à la compensation de mouvement de l'image F, en utilisant le mouvement MFIχ→l2 estimé entre les images U et I2 . La figure 6 représente de manière symbolique un tel champ de mouvement. Dans un souci de simplification, on se restreint à positionner les images haute fréquence résultant de l'analyse sur des indices pairs, et les images basse fréquence résultant de l'analyse sur des indices impairs.
Les approches classiquement utilisées pour effectuer une analyse temporelle compensée en mouvement suivent les étapes suivantes, qui s'imbriquent :
- estimation et codage des champs de mouvement. Le codage peut être échelonnable, permettant ainsi au décodage d'assurer un meilleur compromis débit-distorsion entre la texture et le mouvement.
- génération des images haute fréquence temporelle H0,2m à partir des images lo,2m, et des images lo,2k+i, compensées en mouvement avec les champs de mouvement MFIQ U+1 →I0 2m - 2k+1 désigne ici l'indice des images voisines de l'image lo,2m, qui servent à générer l'image H0,2m- Seules les images voisines de lo,2m d'indice impair servent à générer les images haute fréquence.
- génération des images basse fréquence temporelle L0,2m+i à partir des images lo,2m+i, et des images H0,2i, compensées en mouvement avec les champs de mouvement MFi0 2l→i02m+1 - 2I désigne ici l'indice des images haute fréquence voisines de l'image lo,2m+i, qui servent à générer l'image L0,2m+i- Seules les images voisines de lo,2m+i d'indice pair servent à générer les images basse fréquence.
Les équations suivantes décrivent la génération des images H0,2m et Lo,2m+1'- I H0,2m )
| A),2J»+
Figure imgf000013_0001
^0,2/ )
La sommation est effectuée sur l'indice k qui correspond à la longueur du filtre utilisé. k=m-1 et l=m+1dans le cas d'un filtre de Haar.
En pratique dans les approches classiques, pour limiter le coût de codage du mouvement, tous les champs de mouvement ne sont pas estimés et codés. En général, les champs MFi0 2k+ι→i0 2m u*'''s®s Pour générer les images H sont estimés et codés ; les champs MFi0 2l→i02m+1 utilisés pour générer les images L ne sont pas estimés et codés, mais sont déduits des champs MFh ik+\→h im ' Cependant, l'approche inverse peut aussi être envisagée.
Donnons un exemple dans le cas du filtrage de type 5/3, en s'appuyant sur la figure 7a.
On génère d'abord les images H en utilisant les champs de mouvement estimés entre les images impaires et leurs deux voisines paires. Par exemple, sur la figure 7a, les champs MFi0 2m_1→i0 2m référencé 70 et
MFh 2m+i → /o 2m référencé 71 sont utilisés pour calculer l'image H0,2m- Les images L sont ensuite calculées en utilisant les champs de mouvement déduits des champs précédents. Par exemple, pour générer l'image L0,2m+i, le champ MF 1r0,2 „m+ ,l → v1 /-„0,2 „m référencé 72 est déduit du champ ^ MF 1 Tn0,2 „m → .1 Tn0,2 „m+ ,l référencé 71 , ' par inversion. Les lignes en pointillé indiquent les champs de mouvement déduits. Cela correspond aux équations suivantes, les compensations de mouvement faites avec des champs déduits étant intitulées IMC :
#0,2«
Figure imgf000014_0001
(70,2m-l ) ~
Figure imgf000014_0002
(70,2m+l )
L0,2m+l
Figure imgf000014_0003
(77O^m ) +
Figure imgf000014_0004
(770,2m+2 )
- Synthèse temporelle compensée en mouvement La synthèse est effectuée à toute résolution r à partir des images décodées Lr lk+X et Hr lι . La procédure classique repose sur les étapes suivantes, qui s'imbriquent aussi :
- décodage des champs de mouvement. Les champs de mouvement décodés ont été obtenus après décodage de l'information de mouvement, et éventuellement, si nécessaire, après conversion à la résolution . C'est par exemple le cas lorsque le mouvement n'est pas codé de façon échelonnable en résolution.
- génération des images /r 2m+1 à partir des images Lr lm+X , des images Hr 2l et des champs de mouvement MF1 →I . - génération des images îr>2m à partir des images Hr lm , des images îr 2jt+1 déjà reconstruites et des champs de mouvement MF1 →I .
Les équations suivantes résument ces traitements : /\ I I Λ — ^ /\ I
Ir,2m+l = -^ [Lr,2m+l ~L*ι $2l -MCIraι→Iram+ι (Hr,2l )\
Λ 1 I Λ \ — i Λ I
1^m = - α [Hr,2m + La2k+l -MCIr>2k+ι→Ir>2m (Ir,2k+l )\
A nouveau, on notera que, dans les approches classiques, les champs de mouvement MFir l→ir 2m+1 ne sont Pas directement disponibles mais déduits des champs MFir k→ir 2m décodés. L'approche alternative peut aussi être envisagée.
Prenons à nouveau comme exemple le cas du filtrage de type 5/3, en s'appuyant sur la figure 7b.
Pour la synthèse à la résolution r : - on reconstruit les images /r>2m+1 à partir de L^m+i, de Hr,2m compensée par le champ MFir 2m→ir 2m+ι référencé 77, de Hr,2m+2 compensée par le champ MFIr 2m+2→ir 2m+ι référencé 78.
- ensuite, on reconstruit les images /r 2m+2 à partir de Hr,2m+2, de l,im+i compensée par le champ MFIγ 2m+1→/r 2m+2 référencé 75 et de /r;2m+3 compensée par le champ MFir 2m+3 →ir 2m+2 référencé 76.
Les lignes en pointillé indiquent les champs de mouvement déduits.
Cela correspond aux équations suivantes, les compensations de mouvement faites avec des champs déduits étant intitulées IMC :
1 1
1^m+I = Lr,2m+\ - ^ IMCIr>2m→Ir>2m+ι (Hr,2m ) ~ ^ IMC Ir>2m+2→Ir>2m+ι (H r,2m+2 )
Λ J^ Λ 1 Λ
^,2^+2 = #r,2«+2 + - MCIr>2m+1 →Ir,2m+2 (7r,2«+l ) + ~ MCIr>2m+3 →Ir,2m+2 (7r,2«+3 )
Décrivons maintenant le procédé d'optimisation de mouvement. A toute résolution r, le but de l'optimisation du mouvement est de modifier les champs de mouvement MFir k→ir 2m > et Par conséquent MF1 →I , pour améliorer la synthèse, c'est-à-dire améliorer les images
On dispose des images source Ir l , déduites des images source à la résolution d'origine par filtrage passe-bas puis sous-échantillonnage par un facteur 2. On recherche en fait des champs de mouvement assurant le meilleur compromis débit-distorsion, en utilisant par exemple la fonction suivante pour le critère débit-distorsion :
C(MFι,...,MFp) = D(IrJ,îrj) + λcost.R(MFι,...,MFp) où MF1 ,...,AfFp sont tous les champs de mouvement nécessaires à la reconstruction de ïr l , D(A1B) une mesure de la distorsion entre les images
A et B, R(MF1,...,MFp) une mesure du coût de codage des champs de mouvement, λ∞st un paramètre lagrangien prédéterminé. Le calcul de la distorsion D correspond par exemple à la somme des valeurs absolues des différences entre les valeurs de luminance des pixels des images I et î. p correspond au numéro du dernier champ utile à la construction de l'image îr,ι. Par exemple, pour l'image îr,2m+2, P=2 et AfF2= MFIr 2m+3 →ir 2m+2 -
Pratiquement, l'approche suivante peut être mise en œuvre :
- génération des champs de mouvement initiaux à la résolution r ; une solution peut être de déduire directement ces champs à partir des champs de mouvement à la résolution d'origine utilisés pour l'analyse ; une autre solution est de faire une estimation de mouvement directement à la résolution r,
- synthèse des images paires et impaires avec les champs de mouvement initiaux à la résolution ret les images des différentes fréquences temporelles L1. k et H1. L à la résolution r; cette synthèse fournit des images reconstruites îr,ι.
- amélioration des champs de mouvement en cherchant à réduire simultanément les critères débit-distorsion des images paires et impaires concernées par ces champs de mouvement.
Par exemple, on commence par déterminer des champs de mouvement optimaux permettant de générer des images paires reconstruites les plus proches possibles des images paires d'origine. Les champs sont optimisés par exemple à l'aide d'une approche de type « mise en correspondance de blocs », dénommée block matching en anglais et détaillée plus loin. Ensuite, les images impaires sont reconstruites en utilisant les images paires reconstruites et les champs de mouvement inversés. Au final, le critère débit-distorsion total est évalué sur l'ensemble des images reconstruites et des champs de mouvement utilisés pour les reconstruire.
Reprenons l'exemple du filtrage de type 5/3. On voit dans les équations de la synthèse du filtre 5/3 que la première phase de calcul des images impaires implique la compensation de mouvement à partir de champs de mouvement déduits IMC. Les champs réels servent ensuite à générer les images paires. Il y a donc une forte imbrication des deux processus, et modifier un champ de vecteurs a un impact à la fois sur la reconstruction des images paires et impaires auxquelles il est lié.
1 1
7r;2m+l = Lr,2m+\ ~ ~^IMC Ir,2m→Ir,2m+\ (Hr,2m ) ~ ~^IMCIr,2m+2→Ir,2m+l (Hr,2m+2 )
Figure imgf000017_0001
(7^2m+3 )
La figure 9 décrit un algorithme, basé sur une approche itérative. Une première étape 90 initialise Cmin à la valeur Cmin = ∞ et mémorise les champ 1^s de vecteurs MF 1 1r,2 „m+ ,l → .1 τr,2 „m+2 „ et MF 1 1r,2 „m+ ,3 → .1 τr,2 „m+2 „ initiaux. Ces champs sont soit déduits du champ le plus fin estimé à pleine résolution, soit issus d'une estimation directe à la résolution r. L'étape suivante 91 génère les images impaires /r 2m+1 et /r 2m+3 à partir des champs déduit, puis l'étape 92 génère l'image paire /r>2m+2 à partir des champs MF 1Tr,2 „m+ ,l → .1Tr,2 „m+2 „ et MF '1r.im+i → .'Jr.im+i , ' comme indiq ^ué resp 1^ectivement sur les figures 8a et 8b. L'étape suivante 93 effectue un calcul du critère total pour les champs MFIr lm+χ →Ir lm+l et MFIr 2m+^Ir 2m+2 :
C = C(MFIr 2m+ι→Ir 2m+2 ,MFIr 2m+3 →Ir 2m+2 ) =
D(Ir,2m+l > Ir,2m+\ ) + ^(^r,2m+3 > ^r,2m+3 ) + ^(^r,2m+2 > h,2m+2 ) + λcost -R(MFIr 2m+ι →/r>2M+2 ,MFIr 2m+3 →Ir 2m+2 ) Si C < Cmin , test effectué à l'étape 94, alors l'étape suivante est l'étape 95 qui rafraîchi la valeur Cmin à la valeur C et mémorise les champs MFIr 2m+ι →ir 2m+2 et MFIr 2m+3 →ir 2m+2 - Ensuite, l'étape 96 effectue une optimisation des champs MF 1Tr,2 „m+ ,l → v1 Λr,2 „m+2 „ et MF 1 Tr,2 ,m+ ,3 → .1rr,2 ,m+2 , de manière à minimiser le critère C.
Le processus d Optimisation peut consister en une approche de type « block matching ».
Considérons par exemple l'optimisation des champs i→W et
Figure imgf000017_0002
P°ur synthétiser l'image îr>2m+2 à partir des images îr 2m+1 et îr 2m+3 préalablement calculées. On commence d'abord par optimiser le champ MFIf 2m+1→ir 2m+2 - Dans une telle approche, le champ est structuré en blocs, avec un vecteur mouvement affecté à un bloc de l'image. Le traitement consiste à examiner les blocs de façon causale, du haut vers le bas de l'image, de gauche à droite. Pour un bloc donné et pour le vecteur mouvement associé, on calcule le bloc reconstruit selon la formule : 1 i Ir,2m+2 = H r,2m+2 + ^ MC ir 2m+1 →Ir>2m+2 (1^m+I ) + - MC ^+3 →ir 2m+2 (Ir,2m+3 )
Ce bloc est comparé à l'image d'origine Ir 2m+2 , pour obtenir une mesure de distorsion, par exemple par soustraction pixel à pixel des luminances de chaque bloc. On y ajoute une fonction du coût de codage du vecteur mouvement. Ensuite, pour un certain nombre de vecteurs mouvement candidats de valeur voisine de ce premier vecteur mouvement, on évalue la nouvelle distorsion et coût de codage. On retient parmi tous ces vecteurs celui qui assure la plus faible valeur de critère distorsion-coût de codage. On passe ensuite au bloc suivant jusqu'à l'examen de tous les blocs de l'image. Une fois le champ MFIr 2m+l→Ir 2m+2 optimisé, on optimise le champ MFIr 2m+3→Ir 2m+2 de la même façon.
L'étape 96 est rebouclée sur l'étape 91 pour effectuer un nouveau calcul du critère à partir des champs de mouvement ainsi optimisés. Si, à l'étape 94, C > C min, l'étape suivante est l'étape 97 qui mémorise les champs résultant de l'optimisation précédente. Cette étape détecte également une fin de GOF. Si tel est le cas, l'étape suivante est l'étape 98 qui est la fin du processus. Dans l'autre cas, l'étape suivante est l'étape 99 qui incrémente l'indice de l'image m = m+1 pour traiter l'image paire suivante en se rebouclant sur l'étape 90.
Comme indiqué précédemment, la phase d'analyse temporelle est menée sur plusieurs étages successifs. On mène l'analyse sur les images source pour obtenir des images basse fréquence temporelle et haute fréquence temporelle. Une nouvelle analyse peut alors être menée sur les images basse fréquence temporelle ainsi obtenues, qui deviennent les images source de la nouvelle étape d'analyse temporelle. L'invention, qui a été décrite pour un niveau temporel, peut s'appliquer sur un ou plusieurs de ces étages de décomposition temporelle.
Dans notre exemple, les vecteurs de mouvement candidats, pour l'optimisation du champ de mouvement sont calculés à partir des vecteurs mouvement associés aux blocs et provenant donc du champ de mouvement original ou du champ calculé à l'itération précédente. Il s'agit par exemple des vecteurs au voisinage du vecteur mouvement associé. Dans le cas où des champs de mouvement sont calculés pour différentes résolutions de l'image source, les vecteurs candidats peuvent être les vecteurs de ces différents champs, remis à l'échelle. Une combinaison de ces vecteurs candidats est aussi possible.

Claims

REVENDICATIONS
1 Procédé d'estimation du mouvement pour le codage d'une séquence d'images avec échelonnabilité spatiale et temporelle, comprenant une étape d'analyse temporelle (10, 41 ) compensée en mouvement à partir d'une estimation de mouvement pour fournir des images à différents niveaux de décomposition temporels et, pour une image d'un niveau de décomposition temporel donné, une étape d'analyse spatiale (12, 42) par transformée ondelettes de cette image pour fournir des coefficients ondelette correspondant à des sous-bandes haute fréquence et basse fréquence, l'estimation de mouvement (11 , 32, 40) étant effectuée, pour un niveau temporel donné, pour fournir des champs de mouvement échelonnables pour différents niveaux de résolution spatiale, caractérisé en ce qu'il met en oeuvre une étape d'optimisation (44, 46) pour l'estimation des champs de mouvement échelonnables, comportant une étape de comparaison (93) de l'image source d'une résolution spatiale et d'un niveau temporel donné à une image reconstruite obtenue par synthèse temporelle (91 , 92) compensée en mouvement des sous-bandes basse fréquence relatives au niveau temporel supérieur et correspondant à la résolution spatiale donnée (W k,i).
2 Procédé selon la revendication 1 , caractérisé en ce qu'une image sous-bande basse fréquence spatiale est obtenue par synthèse spatiale (43, 45) à partir des coefficients ondelettes W0,i calculés lors de l'étape d'analyse spatiale (42).
3 Procédé selon la revendication 1 , caractérisé en ce les coefficients ondelettes sont mémorisés lors d'étapes intermédiaires d'analyse spatiale (42) et en ce que l'image sous-bande basse fréquence est obtenue directement à partir des coefficients ondelette mémorisés.
4 Procédé selon la revendication 1 , caractérisé en ce que, pour un niveau temporel donné, l'estimation de mouvement est effectuée pour différents niveaux de résolution de l'image source I0J pour fournir un ensemble de champs de vecteurs mouvement et en ce que l'optimisation de mouvement (44, 46) consiste à sélectionner des vecteurs mouvement au moins parmi cet ensemble. 5 Procédé selon la revendication 1 , caractérisé en ce que l'optimisation du mouvement (44, 46) est effectuée pour chacune des résolutions spatiales de l'échelonnabilité spatiale.
6 Procédé selon la revendication 1 , caractérisé en ce que l'étape de comparaison consiste en un calcul d'un critère débit-distorsion (93) intégrant le coût de codage du champ de mouvement et la différence entre l'image source et l'image reconstruite.
7 Procédé selon la revendication 1 , caractérisé en ce que la synthèse temporelle compensée en mouvement est effectuée à partir de vecteurs mouvement sélectionnés parmi des vecteurs mouvement candidats affectés par bloc d'image et en ce que la sélection est fonction du niveau de corrélation entre le bloc reconstruit par synthèse temporelle à partir du vecteur candidat et le bloc correspondant de l'image source.
8 Procédé selon la revendication 1 , caractérisé en ce que l'étape d'optimisation du mouvement (44, 46) comporte un procédé itératif de calcul du champ de mouvement (91 , 92, 93, 94, 95, 96) fonction d'un critère débit- distorsion (93,94) intégrant le coût de codage du champ de mouvement et la différence entre l'image source et l'image reconstruite.
9 Procédé de codage de séquence d'images avec échelonnabilité temporelle et spatiale, par analyse temporelle (10 41) compensée en mouvement et analyse spatiale (12, 42), caractérisé en ce qu'il comporte une étape d'estimation de mouvement selon le procédé de la revendication 1.
10 Dispositif de codage de séquence d'images avec échelonnabilité temporelle et spatiale, comportant un circuit d'analyse temporelle (10, 41 ) compensée en mouvement et un circuit d'analyse spatiale (12, 42) des images provenant du circuit d'analyse temporelle, caractérisé en ce qu'il comporte également un circuit de synthèse spatiale (43, 45) pour reconstruire des images à différents niveaux temporels et un circuit d'optimisation de mouvement (44, 46) réalisant une synthèse temporelle des images provenant du circuit de synthèse spatiale (43,45) pour fournir des images reconstruites correspondant aux niveaux de résolution spatiale relatifs à l'échelonnabilité et pour effectuer, pour un niveau temporel, une comparaison entre une image source d'un niveau de résolution spatiale donné et une image reconstruite relative à ce niveau pour estimer le mouvement selon le procédé de la revendication 1.
PCT/FR2005/050573 2004-07-13 2005-07-12 Procede d'estimation du mouvement pour le codage d'une sequence d'images avec echelonnabilite spatiale et temporelle WO2006008426A2 (fr)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR0407837A FR2873246B1 (fr) 2004-07-13 2004-07-13 Procede d'estimation du mouvement pour le codage d'une sequence d'images avec echelonnabilite spatiale et temporelle
FR0407837 2004-07-13

Publications (2)

Publication Number Publication Date
WO2006008426A2 true WO2006008426A2 (fr) 2006-01-26
WO2006008426A3 WO2006008426A3 (fr) 2007-04-19

Family

ID=34949108

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/FR2005/050573 WO2006008426A2 (fr) 2004-07-13 2005-07-12 Procede d'estimation du mouvement pour le codage d'une sequence d'images avec echelonnabilite spatiale et temporelle

Country Status (2)

Country Link
FR (1) FR2873246B1 (fr)
WO (1) WO2006008426A2 (fr)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113259662A (zh) * 2021-04-16 2021-08-13 西安邮电大学 基于三维小波视频编码的码率控制方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020150164A1 (en) * 2000-06-30 2002-10-17 Boris Felts Encoding method for the compression of a video sequence
US20040114689A1 (en) * 2002-12-13 2004-06-17 Huipin Zhang Wavelet based multiresolution video representation with spatially scalable motion vectors
WO2004053798A1 (fr) * 2002-12-11 2004-06-24 Koninklijke Philips Electronics N.V. Programme de codage video et programme informatique correspondant

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020150164A1 (en) * 2000-06-30 2002-10-17 Boris Felts Encoding method for the compression of a video sequence
WO2004053798A1 (fr) * 2002-12-11 2004-06-24 Koninklijke Philips Electronics N.V. Programme de codage video et programme informatique correspondant
US20040114689A1 (en) * 2002-12-13 2004-06-17 Huipin Zhang Wavelet based multiresolution video representation with spatially scalable motion vectors

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
ANDREOPOULOS Y ET AL: "Open-Loop, In-Band, Motion-Compensated Temporal Filtering For Objective Full-Scalability In Wavelet Video Coding" ISO/IEC JTC/SC29/WG11 M9026, XX, XX, octobre 2002 (2002-10), pages 1-19, XP002282534 *
BOISSON G ET AL: "Motion-compensated spatio-temporal context-based arithmetic coding for full scalable video compression" PROCEEDINGS OF THE PICTURE CODING SYMPOSIUM, 23 avril 2003 (2003-04-23), pages 1-6, XP002293034 *
CHOI S-J ET AL: "MOTION-COMPENSATED 3-D SUBBAND CODING OF VIDEO" IEEE TRANSACTIONS ON IMAGE PROCESSING, IEEE INC. NEW YORK, US, vol. 8, no. 2, février 1999 (1999-02), pages 155-167, XP000831916 ISSN: 1057-7149 *
TURAGA D S ET AL: "Reduced complexity spatio-temporal scalable motion compensated wavelet video encoding" IEEE INTERNATIONAL CONFERENCE ON MULTIMEDIA AND EXPO, ICME 2003, vol. 2, 6 juillet 2003 (2003-07-06), pages 561-564, XP010650617 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113259662A (zh) * 2021-04-16 2021-08-13 西安邮电大学 基于三维小波视频编码的码率控制方法

Also Published As

Publication number Publication date
WO2006008426A3 (fr) 2007-04-19
FR2873246B1 (fr) 2007-03-09
FR2873246A1 (fr) 2006-01-20

Similar Documents

Publication Publication Date Title
EP1721470B1 (fr) Procede de codage et de decodage d&#39;une sequence d&#39;images par analyse temporelle hierarchique
JP5060947B2 (ja) ピクチャのシーケンスからなるビデオデータを符号化する方法
WO2005086488A1 (fr) Procede de codage et de decodage d&#39;une sequence d&#39;images codee avec echelonnabilite spatiale et temporelle
NL1029428C2 (nl) Werkwijze en inrichting voor het schaalbaar coderen en decoderen van video.
FR2886787A1 (fr) Procede et dispositif de codage et de decodage d&#39;une sequence d&#39;images
Dardouri et al. Dynamic neural network for lossy-to-lossless image coding
FR2887711A1 (fr) Procede de codage et decodage hierarchique
EP1600003B1 (fr) Procede de codage d&#39;une image video prenant en compte la parite relative a une composante du vecteur de mouvement
EP3198876A1 (fr) Génération et codage d&#39;images intégrales résiduelles
EP1766999B1 (fr) Procede et dispositif de codage d&#39;une sequence d&#39;images video
WO2006008426A2 (fr) Procede d&#39;estimation du mouvement pour le codage d&#39;une sequence d&#39;images avec echelonnabilite spatiale et temporelle
EP0691065B1 (fr) Codage/decodage compatibles sous-bandes d&#39;images de television
US20060012680A1 (en) Drift-free video encoding and decoding method, and corresponding devices
WO2010026350A1 (fr) Procede de codage par blocs d&#39;une image matricielle de pixels, programme d&#39;ordinateur et dispositif de capture d&#39;images correspondants
EP2327218B1 (fr) Procédé de transcodage entropique d&#39;un premier train de données binaires en un second train de données binaires compressé, programme d&#39;ordinateur et dispositif de capture d&#39;images correspondants
Kumar et al. Super resolution reconstruction of compressed low resolution images using wavelet lifting schemes
EP1636996A1 (fr) Procede de codage et/ou de decodage de groupes d&#39;images
Rahman et al. Efficient Image Compression Technique using JPEG2000 with Adaptive Threshold
Gunanandhini et al. Wavelet based Video Compression techniques for Industrial monitoring applications
WO1993002526A1 (fr) Procede de compression de sequences d&#39;images numeriques
WO2006016026A1 (fr) Procede et dispositif de densification de champ de mouvement
Lopez et al. Fully scalable video coding with packed stream
FR2989805A1 (fr) Procede de codage et de decodage d&#39;images integrales, dispositif de codage et de decodage d&#39;images integrales et programmes d&#39;ordinateur correspondants
FR2758636A1 (fr) Traitement d&#39;images par regions utilisant une transformation discrete sur des segments finis sans extension
Salvado et al. Video coding by applying the extension of EZW to 3D and the lifting scheme

Legal Events

Date Code Title Description
AK Designated states

Kind code of ref document: A2

Designated state(s): AE AG AL AM AT AU AZ BA BB BG BR BW BY BZ CA CH CN CO CR CU CZ DE DK DM DZ EC EE EG ES FI GB GD GE GH GM HR HU ID IL IN IS JP KE KG KM KP KR KZ LC LK LR LS LT LU LV MA MD MG MK MN MW MX MZ NA NG NI NO NZ OM PG PH PL PT RO RU SC SD SE SG SK SL SM SY TJ TM TN TR TT TZ UA UG US UZ VC VN YU ZA ZM ZW

AL Designated countries for regional patents

Kind code of ref document: A2

Designated state(s): BW GH GM KE LS MW MZ NA SD SL SZ TZ UG ZM ZW AM AZ BY KG KZ MD RU TJ TM AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IS IT LT LU LV MC NL PL PT RO SE SI SK TR BF BJ CF CG CI CM GA GN GQ GW ML MR NE SN TD TG

DPE1 Request for preliminary examination filed after expiration of 19th month from priority date (pct application filed from 20040101)
121 Ep: the epo has been informed by wipo that ep was designated in this application
NENP Non-entry into the national phase

Ref country code: DE

WWW Wipo information: withdrawn in national office

Country of ref document: DE

122 Ep: pct application non-entry in european phase