WO2007020230A2 - Procede de codage et de decodage d'images video avec echelonnabilite spatiale - Google Patents

Procede de codage et de decodage d'images video avec echelonnabilite spatiale Download PDF

Info

Publication number
WO2007020230A2
WO2007020230A2 PCT/EP2006/065221 EP2006065221W WO2007020230A2 WO 2007020230 A2 WO2007020230 A2 WO 2007020230A2 EP 2006065221 W EP2006065221 W EP 2006065221W WO 2007020230 A2 WO2007020230 A2 WO 2007020230A2
Authority
WO
WIPO (PCT)
Prior art keywords
image
resolution image
filters
oversampling
coefficients
Prior art date
Application number
PCT/EP2006/065221
Other languages
English (en)
Other versions
WO2007020230A3 (fr
Inventor
Edouard Francois
Jérome Vieron
Nicolas Burdin
Original Assignee
Thomson Licensing
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thomson Licensing filed Critical Thomson Licensing
Priority to EP06778218A priority Critical patent/EP1913781A2/fr
Priority to US11/990,038 priority patent/US20100150229A1/en
Publication of WO2007020230A2 publication Critical patent/WO2007020230A2/fr
Publication of WO2007020230A3 publication Critical patent/WO2007020230A3/fr

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/152—Data rate or code amount at the encoder output by measuring the fullness of the transmission buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/156—Availability of hardware or computational resources, e.g. encoding based on power-saving criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/31—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the temporal domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/33—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Definitions

  • the invention relates to a device and a method for coding and decoding video images with spatial scalability, more particularly to a first low resolution image and at least a second higher resolution image from the low image. resolution, the first and second images having a common video part.
  • the domain is that of hierarchical coding with spatial scalability and extended spatial scalability (ESS).
  • Spatial scalability is the ability to scale information to make it decodable at multiple levels of resolution and / or quality. More specifically, a data stream generated by the coding device is divided into several layers, in particular a base layer and one or more improvement layers. These devices make it possible in particular to adapt a single data stream to variable transport and visualization conditions. For example, in the particular case of spatial scalability, the portion of the data stream corresponding to the low resolution images of the sequence can be decoded independently of the portion of the data stream corresponding to the high resolution images.
  • the hierarchical coding with spatial scalability makes it possible to code a first portion of data called the base layer, relative to the low resolution format, and from this base layer a second portion of data called the improvement layer, relative to the high resolution format.
  • the additional data relating to the improvement layer is generally generated according to a method comprising the following steps:
  • the coding of the high resolution image exploits the low resolution image scaled as a prediction image.
  • the method is also applied to chrominance images if they exist.
  • the decoding method performs the reverse operations:
  • the various decoding operations are normative, in particular the decoder performs the operations of over-sampling the images of the base layer with predefined filters in the specification of the standard.
  • Coding operations are not normative.
  • the local decoding operations performed by the coder for the computation of the reconstructed image must preferably be similar to those performed by the decoder, to obtain the same reconstructed image from which the residues are calculated, thus avoiding any problem of drift at the decoding level.
  • the sub-sampling operations of the high resolution image in the case where it is used to obtain the low resolution image to be encoded, correspond to the operations of over-sampling the reconstructed image.
  • low resolution so that the high resolution prediction image thus obtained and from which the residuals for the enhancement layer are calculated, can be as faithful as possible to the high resolution source image.
  • the coefficients of the analysis filters must be adapted to those of the synthesis filters.
  • the subject of the invention is a method for coding video images with spatial scalability, coding a first low resolution image and at least a second higher resolution image from the low image. resolution, the first image having a common video portion with the second image, comprising
  • a coding step of the low-resolution image performing a calculation of a local or reconstructed decoded image, to provide an encoded low-resolution image, a step of oversampling the reconstructed image to provide a prediction image,
  • a coding step of the higher resolution image comprising a calculation of difference with the prediction image for providing residues, characterized in that it also comprises a step of selecting or calculating filter coefficients to be used; for oversampling then a coding step of the coefficients to be transmitted to the decoder with the other coded data.
  • the coefficients of the filters are a function of the video content of an image, a plane of a sequence of images or a sequence of images.
  • the coefficients of the oversampling filters are a function of the desired bit rate or quality of the high resolution image.
  • the method comprising a step of downsampling a higher resolution source image to provide the low resolution image to be encoded is characterized in that the coefficients of the sub-sampling filters are function coefficients of the oversampling filters.
  • the coefficients of the oversampling filters are a function of the video content of an image, a plane of a sequence of images or a sequence of images.
  • the coefficients of the oversampling filters are a function of the levels and profiles used for the coding.
  • the invention also relates to a method for decoding video images from a data stream comprising a base layer for encoding a low resolution image and at least one enhancement layer for encoding a video image. higher resolution image from residue, including
  • the method comprises a step of decoding at least a first and a second set of filters to respectively perform a first filtering for the oversampling from the low resolution image to a higher resolution image and a second filtering to oversampling the higher resolution image into a higher resolution image.
  • the invention also relates to a data stream comprising a base layer relating to a low resolution image and an upper layer relating to a higher resolution image, characterized in that it comprises a data field comprising values of digital filters to be exploited for oversampling the low resolution image, to provide an exploited prediction image, with the upper layer data, for decoding the high resolution image.
  • the idea is therefore to allow the use of so-called proprietary filters, by adding in the syntax of the data flow elements or fields describing the filters to be exploited for the over-sampling at the decoder level.
  • the encoder can adapt the oversampling filters, the decoder being able to reproduce the same oversampling operations as the encoder, thus avoiding temporal drift phenomena.
  • the filters used can be selected based on the video content of the image sequence, a clip or image plane. They can also be chosen according to the targeted spatial resolution, precise filters for high resolutions, more approximate for low resolutions. Another criterion may be the complexity of the display devices at the decoder, simpler filters then being implemented when addressing decoders of low computing power.
  • FIG. 1 schematically represents a scalable decoding circuit according to the invention.
  • the bitstream received by the scalable decoder is transmitted to a demultiplexing circuit 1 which separates the data relating to the base layer or low layer and those relating to the improvement layer or high layer.
  • the base layer data is transmitted to a low resolution decoder 2 which conventionally decodes the base layer information to output a low resolution image.
  • the reconstructed images of the low-resolution decoder are transmitted to an over-sampling circuit 3
  • This circuit receives, for example from the demultiplexing circuit 1 or the central processing unit not shown in the figure, the data relating to the digital filters to be configured to perform the oversampling and filtering operations.
  • the image thus oversampled and filtered or prediction image is then transmitted to the high resolution decoder 4 on a second input, the first input receiving the data relating to the enhancement layer from the demultiplexer 1.
  • the residues are added to the prediction image for outputting a high resolution image.
  • FIG. 2 represents a part of the scalable coding scheme according to the invention.
  • a low-resolution image is transmitted on the input of a low-resolution coder 5 which performs an encoding of this image to provide, on a first output, compressed data constituting the base layer or low layer, data transmitted to a multiplexer 8
  • a reconstructed image from the local decoder, a decoder allowing, in known manner, reconstructing the coded images to calculate predicted images in order to take advantage of the temporal correlation, is transmitted to an oversampling circuit 6.
  • This circuit filters and over-samples the reconstructed image from digital filters to provide a prediction image.
  • This circuit is connected to a first processing circuit, not shown in the figure, which calculates the coefficients of the digital filters to be implemented, to transmit them to the oversampling circuit.
  • the prediction image calculated by the circuit 6 is transmitted, on a first input, to a high resolution encoder 7.
  • This encoder receives, on a second input, the data relating to the high resolution source image.
  • the encoder calculates, among other things, in a known manner, the residue which is the difference between the high resolution image and the prediction image to output data corresponding to the improvement layer or high resolution layer.
  • This data is transmitted to the multiplexing circuit 8 which performs the multiplexing with the data of the base layer to provide the data stream or bitstream output of the encoder.
  • the multiplexing circuit also comprises a second processing circuit, also not shown in the figure, whose function is to configure the flow of data transmitted by the coders according to a particular syntax.
  • the syntax includes fields, for example at the sequence level or the slice level (slice in English according to the MPEG standard), allocated to these filters.
  • the coefficients calculated by the first processing circuit are transmitted to the second processing circuit to be inserted into the appropriate fields in order to be transmitted to the decoder via the data stream.
  • the processing circuits may be the same central unit or be arranged differently, for example in an encoder, the calculation of the filters and the integration of the data of the filters in the stream being made at a layer level.
  • the described part of the coding device receives as input at least two image sequences, one in low resolution format and one in high resolution format. These two sequences can for example be provided by a content creator.
  • the encoding device may also include a subsampling module that can directly generate the low resolution image sequence from the source high resolution image sequence. This device then receives as input a single sequence of images in high resolution format.
  • an improvement of the invention consists in calculating, from the coefficients of the digital filters exploited by the oversampling circuit 6, the digital filter coefficients exploited by the subsampling circuit of the high source image. resolution to obtain the low resolution image or vice versa.
  • the analysis filters determined for the sub-sampling it is possible to calculate the complementary synthesis filters for the oversampling according to the approach described in the document R. Ansari, CW Kim, and M. Dedovic. . Structure and design of two-channel filter banks derived from a triplet of half band filters. IEEE Transactions on Circuits and Systems II, 46 (12): 1487-1496, Dec. 1999.
  • the reverse approach consisting of starting from a synthesis filter and deriving the analysis filter, as in the above document, can also be adopted.
  • the low-resolution and / or high-resolution coding circuits are for example of the H264AVC type, or its SVC extension, which stands for Scalable Video Coding, which makes it possible to address the scalable coding.
  • the filters used for oversampling and / or undersampling are, for example, polyphase linear filters, for which the coefficients are a function of the position of the pixels to be interpolated.
  • oversampling and / or subsampling filters depending on the content of the image, a complex filter being for example set up for a highly textured image, a simple filter for a homogeneous image.
  • the type of filter used may be a function of the texture of the image, for example by avoiding the use of Lanczos filters for highly textured images, filters which generate aliasing (aliasing according to the English name) which is very unpleasant. penalizing for compression.
  • Filters may vary between two clips if the video content changes, simple filter for a foreground corresponding to a scene with strong movement because in this case the texture is generally not very precise and its details are not perceived by the eye, complex filter for the following shot with a scene not very eventful, because the texture is then much better visible and must therefore be correctly oversampled.
  • An analysis or pre-analysis of the image or the sequence of images can be exploited for the calculation of the filters.
  • the complexity of the filters used for the over-sampling of the low resolution reconstructed image is a function of the available resources of the receiver operating at the decoder.
  • a low resolution layer and a higher resolution layer correspond to data to be displayed respectively on a mobile phone screen and on an organizer screen also called personal digital assistant. It is then possible to lighten the oversampling calculations by simplifying the filtering, which saves the resources of the organizer. This to the detriment of a slight drop in quality of the image to display.
  • a type of filter or coefficients of filter for example, at a given profile and level combination (of the English profile / level, as defined in the MPEG-2 or MPEG-4 AVC standards).
  • the oversampling filters are different according to the exploited layers.
  • a high-resolution layer for display on a television screen simplified filters are used for oversampling the low resolution image to obtain a higher resolution image.
  • more complex filters are exploited for the oversampling of the higher resolution image to obtain a high resolution image for display on a television.
  • the oversampling filter at the encoder, and thus also at the decoder is selected from a compromise image quality or compression ratio / time or processing capacity.
  • the filters used are linear filters, possibly polyphase, separable, filtering in two dimensions can be done by filtering separately in one dimension and then in the other.
  • the filters are mono-dimensional.
  • over-sampling converts from English-language Common Intermediate Filter (CIF) format (176 columns by 144 lines) to CIF (Common Intermediate Filter) format (352 columns by 288 lines), the
  • CIF Common Intermediate Filter
  • the over-sampling filter used is the following: monophase filter ⁇ 1/2; 1/2 ⁇
  • the over-sampling filter used is the following: single-phase filter
  • This filter is the one used by default in the current version of the SVC standard being defined
  • the over-sampling filter used is the following: 6-polyphase filter based on the Lanczos filter described in the following table (the coefficients must be divided by 32):
  • This solution makes it possible to process 4 levels of spatial scalability, QCIF, CIF, 4CIF, greater than 4CIF, with ad hoc filters according to the level of spatial resolution and the inter-layer size ratio considered.
  • the syntax relating to the SVC standard, which uses predefined filters, is modified.
  • load_coef a variable, named load_coef.
  • the filter coefficients are encoded in the sequence level syntax.
  • the syntax is actually described at the level of a "slice” or “slice” in English which, according to the standard, is a continuous series of macroblocks. Here the description is limited to a slice consisting of all the macroblocks of the image and thus assimilated to an image, a solution usually adopted. But it is of course possible, according to this syntax, to use different filters for particular areas of the image corresponding to slices.
  • the following tables are an example of syntax for the data flow.
  • the syntax description method of the bitstream uses the "C code" convention.
  • Table 1 corresponds to the syntax to be added to that relating to the sequence level, the filters can then be renewed at each sequence.
  • Table 2 corresponds to the syntax to be added to that relating to the slice level, the filters can then be renewed at each slice of the image.
  • the coefficients of the oversampling filters can be calculated by the encoder. They can also be selected by the encoder from a set of filters preset and stored in a memory of the encoder. It is thanks to the transmission of the parameters of the filters to the decoder that it is possible to adapt the filtering to the coding.
  • the filters used in the decoding for the oversampling are thus determined during the coding.
  • ad hoc filters may also be indicated in the syntax, as described in the invention, and stored by the decoder.
  • the decoder at any time has a set of potential filters, stored in memory and indexed by a number.
  • the indexes of the filters to be used can then be sent to the decoder, indicating which filters it should use, without the need to explicitly send the coefficients of these filters. If at any given time new filters are to be used, they are encoded in the syntax with their associated index.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

Le procédé réalisant - une étape de codage (5) d'une image basse résolution effectuant un calcul d'une image décodée locale ou reconstruite, pour fournir une image basse résolution codée, - une étape de sur-échantillonnage (6) de l'image reconstruite pour fournir une image de prédiction, - une étape de codage (7) d'une image de plus haute résolution comportant un calcul de différence avec l'image de prédiction pour fournir des résidus, est caractérisé en ce qu'il comporte également une étape de sélection ou de calcul de coefficients de filtres à utiliser pour le sur-échantillonnage puis une étape de codage des coefficients pour être transmis au décodeur avec les autres données codées. Les applications concernent le codage hiérarchique avec échelonnabilité spatiale.

Description

PROCEDE DE CODAGE ET DE DECODAGE D'IMAGES VIDEO AVEC ECHELONNABILITE SPATIALE
L'invention concerne un dispositif et une méthode de codage et de décodage d'images vidéo avec échelonnabilité spatiale, plus particulièrement d'une première image basse résolution et d'au moins une deuxième image de plus haute résolution à partir de l'image basse résolution, les premières et deuxièmes images ayant une partie vidéo commune. Le domaine est celui du codage hiérarchique avec échelonnabilité spatiale (« spatial scalability » en anglais) et échelonnabilité spatiale étendue (ESS, acronyme de l'anglais extended spatial scalability).
L'échelonnabilité spatiale représente la capacité d'échelonner l'information pour la rendre décodable à plusieurs niveaux de résolution et/ou de qualité. Plus précisément, un flux de données généré par le dispositif de codage est divisé en plusieurs couches, notamment une couche de base et une ou plusieurs couches d'amélioration. Ces dispositifs permettent notamment d'adapter un unique flux de données à des conditions de transport et de visualisation variables. Par exemple, dans le cas particulier de l'échelonnabilité spatiale, la partie du flux de données correspondant aux images basse résolution de la séquence peut être décodée indépendamment de la partie du flux de données correspondant aux images haute résolution.
Le codage hiérarchique avec échelonnabilité spatiale permet de coder une première partie de données appelée couche de base, relative au format basse résolution, et à partir de cette couche de base une deuxième partie de données appelée couche d'amélioration, relative au format haute résolution. Les données complémentaires relatives à la couche d'amélioration sont généralement générées selon une méthode comprenant les étapes suivantes :
- codage de l'image basse résolution et éventuellement décodage local de cette image codée pour obtenir une image reconstruite,
- mise à l'échelle ou sur-échantillonnage de l'image basse résolution reconstruite, par exemple par interpolation et filtrage, pour obtenir une image de prédiction au format haute résolution, et
- différence, pixel à pixel, des valeurs de luminance de l'image source et de l'image de prédiction pour obtenir des résidus relatifs à la couche d'amélioration, lorsque le mode de codage inter-couches est sélectionné. Ainsi, le codage de l'image haute résolution exploite l'image basse résolution mise à l'échelle comme image de prédiction. La méthode est aussi appliquée aux images de chrominance si elles existent.
Côté décodeur, le procédé de décodage réalise les opérations inverses :
- décodage de l'image basse résolution pour obtenir une image reconstruite,
- mise à l'échelle ou sur-échantillonnage de l'image basse résolution reconstruite, par exemple par interpolation et filtrage, pour obtenir une image de prédiction au format haute résolution, et
- addition, pixel à pixel, des résidus relatifs à la couche d'amélioration aux valeurs de luminance de l'image de prédiction.
Les différentes opérations de décodage sont normatives, en particulier le décodeur effectue les opérations de sur-échantillonnage des images de la couche de base avec des filtres prédéfinis dans la spécification du standard.
Les opérations de codage ne sont pas normatives. Cependant, les opérations de décodage local effectuées par le codeur pour le calcul de l'image reconstruite doivent être de préférence similaires à celles effectuées par le décodeur, pour obtenir une même image reconstruite à partir de laquelle sont calculés les résidus, évitant ainsi tout problème de dérive au niveau du décodage.
Egalement il est préférable que les opérations de sous- échantillonnage de l'image de résolution haute, dans le cas où celle-ci est exploitée pour obtenir l'image basse résolution à coder, correspondent aux opérations de sur-échantillonnage de l'image reconstruite basse résolution afin que l'image de prédiction haute résolution ainsi obtenue et à partir de laquelle sont calculés les résidus pour la couche d'amélioration, puisse être aussi fidèle que possible à l'image source haute résolution. Les coefficients des filtres d'analyse doivent être adaptés à ceux des filtres de synthèse.
En conséquence, une optimisation des filtres exploités au codeur n'est pas réalisable. En effet, une telle optimisation entraînerait une dégradation de la qualité des images du fait de l'exploitation de filtres de suréchantillonnage différents au codeur et au décodeur ou du fait de l'exploitation de filtres de sur-échantillonnage et de sous-échantillonnage non corrélés. Un des buts de l'invention est de pallier les inconvénients précités. A cet effet, l'invention a pour objet un procédé de codage d'images vidéo avec échelonnabilité spatiale réalisant le codage d'une première image basse résolution et d'au moins une deuxième image de plus haute résolution à partir de l'image basse résolution, la première image ayant une partie vidéo commune avec la deuxième image, comportant
- une étape de codage de l'image basse résolution effectuant un calcul d'une image décodée locale ou reconstruite, pour fournir une image basse résolution codée, - une étape de sur-échantillonnage de l'image reconstruite pour fournir une image de prédiction,
- une étape de codage de l'image de plus haute résolution comportant un calcul de différence avec l'image de prédiction pour fournir des résidus, caractérisé en ce qu'il comporte également une étape de sélection ou de calcul de coefficients de filtres à utiliser pour le suréchantillonnage puis une étape de codage des coefficients pour être transmis au décodeur avec les autres données codées.
Selon une mise en œuvre particulière, les coefficients des filtres sont fonction du contenu vidéo d'une image, d'un plan d'une séquence d'images ou d'une séquence d'images.
Selon une mise en œuvre particulière, les coefficients des filtres de sur-échantillonnage sont fonction du débit ou qualité souhaitée de l'image haute résolution. Selon une mise en œuvre particulière, le procédé comportant une étape de sous-échantillonnage d'une image source de plus haute résolution pour fournir l'image basse résolution à coder, est caractérisé en ce que les coefficients des filtres de sous-échantillonnage sont fonction des coefficients des filtres de sur-échantillonnage. Selon une mise en œuvre particulière de ce procédé, les coefficients des filtres de sur-échantillonnage sont fonction du contenu vidéo d'une image, d'un plan d'une séquence d'images ou d'une séquence d'images.
Selon une mise en œuvre particulière, les coefficients des filtres de sur-échantillonnage sont fonction des niveaux et profils exploités pour le codage. L'invention concerne également un procédé de décodage d'images vidéo à partir d'un flux de données comportant une couche de base pour le codage d'une image de basse résolution et au moins une couche d'amélioration pour le codage d'une image de plus haute résolution à partir de résidus, comportant
- une étape de décodage de l'image basse résolution pour fournir une image basse résolution reconstruite,
- une étape de sur-échantillonnage de l'image basse résolution reconstruite pour fournir une image de prédiction, - une étape de décodage de l'image haute résolution comportant une adjonction de résidus à l'image de prédiction, caractérisé en ce qu'il comporte également une étape de décodage de coefficients de filtres transmis dans le flux de donnée pour le calcul des filtres utilisés pour le sur-échantillonnage. Selon une mise en œuvre particulière, le flux de données comportant au moins deux couches d'amélioration, le procédé comporte une étape de décodage d'au moins un premier et un second jeu de filtres pour réaliser respectivement un premier filtrage pour le sur-échantillonnage de l'image basse résolution en une image de plus haute résolution et un deuxième filtrage pour le sur-échantillonnage de l'image de plus haute résolution en une image de résolution supérieure.
L'invention concerne également un flux de données comportant une couche de base relative à une image basse résolution et une couche supérieure relative à une image de plus haute résolution, caractérisé en ce qu'il comporte un champ de données comprenant des valeurs de coefficients de filtres numériques destinés à être exploités pour le sur-échantillonnage de l'image de basse résolution, pour fournir une image de prédiction exploitée, avec les données de la couche supérieure, pour le décodage de l'image haute résolution.
L'idée est donc de permettre l'utilisation de filtres dits propriétaires, en ajoutant dans la syntaxe du flux de données des éléments ou champs décrivant les filtres à exploiter pour le sur-échantillonnage au niveau décodeur. Moyennant la transmission, dans le flux, de quelques données supplémentaires relatives aux filtres et/ou coefficients des filtres, le codeur peut adapter les filtres de sur-échantillonnage, le décodeur pouvant reproduire les mêmes opérations de sur-échantillonnage que le codeur, évitant ainsi des phénomènes de dérive temporelle.
Par exemple, les filtres utilisés peuvent être sélectionnés en fonction du contenu vidéo de la séquence d'images, d'un plan de la séquence ou de l'image. Ils peuvent aussi être choisis en fonction de la résolution spatiale visée, filtres précis pour des résolutions élevées, plus approximatifs pour des résolutions faibles. Un autre critère peut être la complexité des dispositifs de visualisation au décodeur, des filtres plus simples étant alors mis en œuvre lorsqu'on s'adresse à des décodeurs de faible puissance de calcul.
Il est également possible d'arbitrer entre des filtres de suréchantillonnage complexes et donc une meilleure qualité de l'image de prédiction pour le calcul des résidus de la couche d'amélioration donnant un meilleur taux de compression et des filtres de sur-échantillonnage plus simples réduisant le temps de traitement.
La figure 1 représente, de manière schématique, un circuit de décodage échelonnable, selon l'invention.
Le train binaire reçu par le décodeur échelonnable est transmis à un circuit de démultiplexage 1 qui sépare les données relatives à la couche de base ou couche basse et celles relatives à la couche d'amélioration ou couche haute. Les données relatives à la couche de base sont transmises à un décodeur basse résolution 2 qui effectue d'une manière classique le décodage des informations de la couche de base pour fournir en sortie une image basse résolution. Les images reconstruites du décodeur basse résolution sont transmises à un circuit de sur-échantillonnage 3
Ce circuit reçoit, par exemple du circuit de démultiplexage 1 ou de l'unité de traitement centrale non représentée sur la figure, les données relatives aux filtres numériques à configurer pour effectuer les opérations de sur-échantillonnage et de filtrage. L'image ainsi sur-échantillonnée et filtrée ou image de prédiction est ensuite transmise au décodeur haute résolution 4 sur une deuxième entrée, la première entrée recevant les données relatives à la couche d'amélioration provenant du démultiplexeur 1. Les résidus sont ajoutés à l'image de prédiction pour donner en sortie une image haute résolution. La figure 2 représente une partie du schéma de codage échelonnable selon l'invention.
Une image basse résolution est transmise sur l'entrée d'un codeur basse résolution 5 qui réalise un codage de cette image pour fournir, sur une première sortie, des données comprimées constituant la couche de base ou couche basse, données transmises à un multiplexeur 8. Sur une deuxième sortie, une image reconstruite provenant du décodeur local, décodeur permettant, de manière connue, de reconstruire les images codées pour calculer des images prédites afin de profiter de la corrélation temporelle, est transmise à un circuit de sur-échantillonnage 6. Ce circuit effectue un filtrage et sur-échantillonnage de l'image reconstruite à partir de filtres numériques pour fournir une image de prédiction. Ce circuit est relié à un premier circuit de traitement, non représenté sur la figure, qui calcule les coefficients des filtres numériques à mettre en œuvre, pour les transmettre au circuit de sur-échantillonnage.
L'image de prédiction calculée par le circuit 6 est transmise, sur une première entrée, à un codeur haute résolution 7. Ce codeur reçoit, sur une deuxième entrée, les données relatives à l'image source haute résolution. Le codeur calcule, entre autre, de manière connue, le résidu qui est la différence entre l'image haute résolution et l'image de prédiction pour fournir en sortie des données correspondant à la couche d'amélioration ou couche haute résolution. Ces données sont transmises au circuit de multiplexage 8 qui réalise le multiplexage avec les données de la couche de base pour fournir le flux de données ou train binaire en sortie du codeur. Le circuit de multiplexage comporte également un deuxième circuit de traitement, également non représenté sur la figure, qui a pour fonction de configurer le flux de données transmis par les codeurs selon une syntaxe particulière. Selon l'invention, la syntaxe comporte des champs, par exemple au niveau séquence ou au niveau tranche (slice en anglais selon la norme MPEG), attribués à ces filtres. Ainsi, les coefficients calculés par le premier circuit de traitement sont transmis au deuxième circuit de traitement pour être insérés dans les champs convenables afin d'être transmis au décodeur par l'intermédiaire du flux de données.
Bien évidemment, les circuits de traitements peuvent être une même unité centrale ou être disposés différemment, par exemple dans un codeur, le calcul des filtres et l'intégration des données des filtres dans le flux se faisant au niveau d'une couche. La partie décrite du dispositif de codage reçoit en entrée au moins deux séquences d'images, une au format basse résolution et une au format haute résolution. Ces deux séquences peuvent par exemple être fournies par un créateur de contenu. Le dispositif de codage peut également inclure un module de sous-échantillonnage qui permet de générer directement la séquence d'images basse résolution à partir de la séquence d'images haute résolution source. Ce dispositif reçoit alors en entrée une seule séquence d'images au format haute résolution.
Selon ce dispositif, un perfectionnement de l'invention consiste à calculer, à partir des coefficients des filtres numériques exploités par le circuit de sur-échantillonnage 6, les coefficients de filtres numériques exploités par le circuit de sous-échantillonnage de l'image source haute résolution permettant d'obtenir l'image basse résolution ou inversement. On peut par exemple, à partir des filtres d'analyse déterminés pour le sous- échantillonage, calculer les filtres de synthèse complémentaires pour le sur- échantillonage selon l'approche décrite dans le document « R. Ansari, C. W. Kim, and M. Dedovic. Structure and design of two-channel filter banks derived from a triplet of half band filters. IEEE Transactions on Circuits and Systems II, 46(12):1487-1496, Dec. 1999. ». L'approche inverse, consistant à partir d'un filtre de synthèse et à en dériver le filtre d'analyse, comme dans le document ci-dessus, peut aussi être adoptée.
Les circuits de codage basse résolution et/ou haute résolution sont par exemple du type H264AVC, ou son extension SVC, acronyme de l'anglais Scalable Video Coding, qui permet d'adresser le codage échelonnable. Les filtres utilisés pour le sur-échantillonnage et/ou sous- échantillonnage sont par exemple des filtres linéaires polyphasé, pour lesquels les coefficients sont fonction de la position des pixels à interpoler.
D'une manière générale, il est ainsi possible d'exploiter des filtres de sur-échantillonnage et/ou de sous-échantillonnage en fonction du contenu de l'image, un filtre complexe étant par exemple mis en place pour une image très texturée, un filtre simple pour une image homogène. Le type de filtre utilisé peut être fonction de la texture de l'image, en évitant par exemple l'exploitation de filtres de Lanczos pour les images très texturées, filtres générant un repliement de spectre (aliasing selon l'appellation anglaise) très désagréable et pénalisant pour la compression. Les filtres peuvent varier entre deux plans de séquence si le contenu vidéo change, filtre simple pour un premier plan correspondant à une scène à fort mouvement car dans ce cas la texture est généralement peu précise et ses détails ne sont pas perçus par l'œil, filtre complexe pour le plan suivant comportant une scène peu mouvementée, car la texture est alors beaucoup mieux visible et doit donc être correctement sur-échantillonnée. Une analyse ou préanalyse de l'image ou de la séquence d'images peut être exploitée pour le calcul des filtres.
Selon un exemple de mise en œuvre, la complexité des filtres utilisés pour le sur-échantillonnage de l'image reconstruite basse résolution est fonction des ressources disponibles du récepteur exploité au décodeur. Par exemple, une couche basse résolution et une couche de plus haute résolution correspondent à des données à afficher respectivement sur un écran de téléphone mobile et sur un écran d'organiseur aussi appelé assistant numérique personnel. Il est alors possible d'alléger les calculs de sur-échantillonnage en simplifiant le filtrage, ce qui permet d'épargner les ressources de l'organiseur. Ceci au détriment d'une légère baisse de qualité de l'image à afficher. Par exemple, à une combinaison de profil et niveau donnée (de l'anglais profile/level, tels qu'ils sont définis dans les standards de type MPEG-2 ou MPEG-4 AVC), on associe un type de filtre ou des coefficients de filtre.
Selon un autre exemple de mise en œuvre, les filtres de suréchantillonnage sont différents selon les couches exploitées. En ajoutant, à l'exemple précédent, une couche de haute résolution pour l'affichage sur un écran de télévision, des filtres simplifiés sont exploités pour le sur- échantillonnage de l'image basse résolution permettant d'obtenir une image de plus haute résolution pour l'affichage sur un organiseur, des filtres plus complexes sont exploités pour le sur-échantillonnage de l'image de plus haute résolution permettant d'obtenir une image de haute résolution pour l'affichage sur un téléviseur. Selon un autre exemple de mise en œuvre, le filtre de suréchantillonnage au codeur, et donc aussi au décodeur, est sélectionné à partir d'un compromis qualité d'image ou taux de compression / temps ou capacité de traitement. L'image reconstruite étant plus fidèle à l'image source haute résolution lors de l'exploitation de filtres complexes nécessitant un temps de traitement plus long, la qualité de l'image haute résolution est améliorée et le coût de codage est diminué. A titre d'exemple, on considère que les filtres employés sont des filtres linéaires, possiblement polyphasé, séparables, le filtrage en deux dimensions pouvant se faire en filtrant séparément dans une dimension puis dans l'autre. Ainsi les filtres sont mono-dimensionnels. Le procédé suivant, se basant sur la résolution des images, peut être mis en œuvre :
- si le sur-échantillonnage convertit du format QCIF (acronyme de l'anglais Quarter Common Intermediate Filter) (176 colonnes par 144 lignes) au format CIF (acronyme de l'anglais Common Intermediate Filter) (352 colonnes par 288 lignes), le filtre de sur-échantillonnage employé est le suivant : filtre monophase { 1/2 ; 1/2 }
- si le sur-échantillonage convertit du format CIF au format 4CIF (704 colonnes par 576 lignes), le filtre de sur-échantillonnage employé est le suivant : filtre monophase
{ 1/32 ; -5/32 ; 20/32 ; 20/32 ; -5/32 ; 1/32 } Ce filtre est celui qui est utilisé par défaut dans la version actuelle du standard SVC en cours de définition
- si le sur-échantillonnage convertit du format QCIF ou CIF à tout format supérieur ayant un rapport de taille horizontal et vertical autre que 2 : filtre polyphasé à 4 coefficients basé sur le filtre de Lanczos décrit dans la table suivante (les coefficients doivent être divisés par 128) :
Figure imgf000011_0001
Figure imgf000012_0001
- si le sur-échantillonnage convertit du format 4CIF à tout format supérieur (par exemple au format 72Op - 1280 colonnes par 720 lignes), le filtre de sur-échantillonnage employé est le suivant : filtre polyphasé à 6 coefficients basé sur le filtre de Lanczos décrit dans la table suivante (les coefficients doivent être divisés par 32) :
Figure imgf000012_0002
Cette solution permet de traiter 4 niveaux d'échelonnabilité spatiale, QCIF, CIF, 4CIF, supérieur à 4CIF, avec des filtres ad hoc selon le niveau de résolution spatiale et le rapport de taille inter-couche considérés. Selon une mise en œuvre particulière de l'invention, la syntaxe relative au standard SVC, qui fait appel à des filtres prédéfinis, est modifiée.
Cette syntaxe SVC est décrite par exemple dans le document Joint Video Team (JVT) of ISO/IEC MPEG & ITU-T VCEG (ISO/IEC JTC1/SC29/WG11 and ITU-T SG 16 Q.6), 15th meeting, Busan, KR, 16-22 April, 2005.
Les paramètres et champs suivants sont ajoutés dans la syntaxe du train binaire de la manière suivante : - au niveau séquence : une variable, nommée load_coef. Cette variable peut prendre les valeurs suivantes : load_coef=0, dans ce cas, la technique de sur-échantillonnage par défaut s'applique /oac/_coe/=1 , des coefficients ad hoc sont codés dans le train binaire au niveau séquence et s'appliquent donc ensuite à toutes les images de la séquence load_coef=2, des coefficients ad hoc sont codés dans le train binaire au niveau image et s'appliquent donc ensuite à l'image à laquelle ils sont associés
Si /oac/_coe/=1 , les coefficients des filtres sont codés dans la syntaxe au niveau séquence. La syntaxe décrite dans le tableau 1 ci-dessous (séquence level syntax) illustre la façon dont ces coefficients peuvent être codés. - au niveau image : Si load_coef=2, les coefficients des filtres sont codés dans la syntaxe au niveau image. La syntaxe décrite dans le tableau 2 ci-dessous (slice level syntax) illustre la façon dont ces coefficients peuvent être codés. On peut réutiliser les coefficients de la tranche précédente, sans les recoder, en le signalant dans le train binaire (same_coef_as_previous_slice = 1). La syntaxe est en fait décrite au niveau d'une « tranche » ou « slice » en anglais qui, selon la norme, est une série continue de macroblocs. On limite ici la description à une slice constituée de l'ensemble des macroblocs de l'image et donc assimilée à une image, solution habituellement adoptée. Mais il est bien sur possible, selon cette syntaxe, d'exploiter différents filtres pour des zones particulières d'une l'image correspondant à des tranches. Les tableaux suivants sont un exemple de syntaxe pour le flux de données. La méthode de description de la syntaxe du flux binaire utilise la convention du « code C ». Elle correspond à la méthode utilisée dans la description des normes MPEG ou H264, on la retrouve ainsi, pour donner des exemples, dans des documents tels que ISO/CEI 13818-2 ou bien JVT- O202 intitulé « Joint Scalable Video Model JSVM 2, 15th meeting, Busan, KR.
Le tableau 1 correspond à la syntaxe à ajouter à celle relative au niveau séquence, les filtres pouvant alors être renouvelés à chaque séquence.
Le tableau 2 correspond à la syntaxe à ajouter à celle relative au niveau tranche (slice), les filtres pouvant alors être renouvelés à chaque tranche de l'image.
Figure imgf000014_0001
Figure imgf000015_0001
Tableau 2
Les tableaux 3 et 4 décrivent cette syntaxe de manière plus explicite :
Figure imgf000015_0002
Tableau 3
Figure imgf000015_0003
Tableau 4
Par défaut, on considère qu'une technique de sur- échantillonage, et si besoin, les coefficients correspondants, est disponible. En cas de non transmission, dans le train binaire, de coefficients propriétaires, c'est cette technique qui s'applique.
Au niveau du processus de codage/décodage, les modifications sont directement liées aux modifications de syntaxe. Seule la partie relative à la texture est considérée :
Si load_coef=0, la technique par défaut de sur- échantillonage de texture s'applique.
Sinon si load_coef=λ , le sur-échantillonage de texture des images de basse résolution s'effectue avec les coefficients de filtre codés/decodés au niveau séquence coef_seq.
Sinon si load_coef=2, le sur-échantillonage de texture s'effectue sur chaque image de basse résolution avec les coefficients de filtre codés/decodés au niveau image coefjpic, s'appliquant à cette image.
Les coefficients des filtres de sur-échantillonnage peuvent être calculés par le codeur. Ils peuvent également être sélectionnés par le codeur parmi un ensemble de filtres préétabli et mémorisé dans une mémoire du codeur. C'est grâce à la transmission des paramètres des filtres au décodeur qu'il est possible d'adapter le filtrage au codage. Les filtres utilisés au décodage pour le sur-échantillonnage sont ainsi déterminés lors du codage.
Une extension de l'approche proposée consiste à standardiser au décodeur un ensemble de filtres prédéfinis. En outre des filtres ad hoc peuvent aussi être signalés dans la syntaxe, tel que cela est décrit dans l'invention, et mémorisés par le décodeur. Ainsi le décodeur à tout moment dispose d'un ensemble de filtres potentiels, stockés en mémoire et indexés par un numéro. Les index des filtres à utiliser peuvent alors être envoyés au décodeur, indiquant quels filtres il doit utiliser, sans avoir besoin d'envoyer explicitement les coefficients de ces filtres. Si à un moment donné de nouveaux filtres doivent être utilisés, ils sont codés dans la syntaxe avec leur index associé.

Claims

REVENDICATIONS
1 Procédé de codage d'images vidéo avec échelonnabilité spatiale réalisant le codage d'une première image basse résolution et d'au moins une deuxième image de plus haute résolution à partir de l'image basse résolution, la première image ayant une partie vidéo commune avec la deuxième image, comportant
- une étape de codage (5) de l'image basse résolution effectuant un calcul d'une image décodée locale ou reconstruite, pour fournir une image basse résolution codée,
- une étape de sur-échantillonnage (6) de l'image reconstruite pour fournir une image de prédiction,
- une étape de codage (7) de l'image de plus haute résolution comportant un calcul de différence avec l'image de prédiction pour fournir des résidus, caractérisé en ce qu'il comporte également une étape de sélection ou de calcul de coefficients de filtres à utiliser pour le suréchantillonnage puis une étape de codage des coefficients pour être transmis au décodeur avec les autres données codées.
2 Procédé de codage selon la revendication 1 , caractérisé en ce que les coefficients des filtres sont fonction du contenu vidéo d'une image, d'un plan d'une séquence d'images ou d'une séquence d'images.
3 Procédé selon la revendication 1 , caractérisé en ce que les coefficients des filtres de sur-échantillonnage sont fonction du débit ou qualité souhaitée de l'image haute résolution.
4 Procédé selon la revendication 1 comportant une étape de sous-échantillonnage d'une image source de plus haute résolution pour fournir l'image basse résolution à coder, caractérisé en ce que les coefficients des filtres de sous-échantillonnage sont fonction des coefficients des filtres de sur-échantillonnage.
5 Procédé selon la revendication 4, caractérisé en ce que les coefficients des filtres de sur-échantillonnage sont fonction du contenu vidéo d'une image, d'un plan d'une séquence d'images ou d'une séquence d'images.
6 Procédé selon la revendication 1 , caractérisé en ce que les coefficients des filtres de sur-échantillonnage sont fonction des niveaux et profils exploités pour le codage.
7 Procédé de décodage d'images vidéo à partir d'un flux de données comportant une couche de base pour le codage d'une image de basse résolution et au moins une couche d'amélioration pour le codage d'une image de plus haute résolution à partir de résidus, comportant
- une étape de décodage (2) de l'image basse résolution pour fournir une image basse résolution reconstruite,
- une étape de sur-échantillonnage (3) de l'image basse résolution reconstruite pour fournir une image de prédiction,
- une étape de décodage (4) de l'image haute résolution comportant une adjonction de résidus à l'image de prédiction, caractérisé en ce qu'il comporte également une étape de décodage de coefficients de filtres transmis dans le flux de donnée pour le calcul des filtres utilisés pour le sur-échantillonnage.
8 Procédé selon la revendication 7, le flux de données comportant au moins deux couches d'amélioration, caractérisé en ce qu'il comporte une étape de décodage d'au moins un premier et un second jeu de filtres pour réaliser respectivement un premier filtrage pour le suréchantillonnage de l'image basse résolution en une image de plus haute résolution et un deuxième filtrage pour le sur-échantillonnage de l'image de plus haute résolution en une image de résolution supérieure.
9 Flux de données comportant une couche de base relative à une image basse résolution et une couche supérieure relative à une image de plus haute résolution, caractérisé en ce qu'il comporte un champ de données comprenant des valeurs de coefficients de filtres numériques destinés à être exploités pour le sur-échantillonnage de l'image de basse résolution, pour fournir une image de prédiction exploitée, avec les données de la couche supérieure, pour le décodage de l'image haute résolution selon le procédé de la revendication 7.
PCT/EP2006/065221 2005-08-12 2006-08-10 Procede de codage et de decodage d'images video avec echelonnabilite spatiale WO2007020230A2 (fr)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP06778218A EP1913781A2 (fr) 2005-08-12 2006-08-10 Procede de codage et de decodage d'images video avec echelonnabilite spatiale
US11/990,038 US20100150229A1 (en) 2005-08-12 2006-08-10 Method of Encoding and Decoding Video Images With Spatial Scalability

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR0552510 2005-08-12
FR0552510A FR2889778A1 (fr) 2005-08-12 2005-08-12 Procede de codage et de decodage d'images video avec echelonnabilite spatiale

Publications (2)

Publication Number Publication Date
WO2007020230A2 true WO2007020230A2 (fr) 2007-02-22
WO2007020230A3 WO2007020230A3 (fr) 2007-05-03

Family

ID=36228743

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2006/065221 WO2007020230A2 (fr) 2005-08-12 2006-08-10 Procede de codage et de decodage d'images video avec echelonnabilite spatiale

Country Status (4)

Country Link
US (1) US20100150229A1 (fr)
EP (1) EP1913781A2 (fr)
FR (1) FR2889778A1 (fr)
WO (1) WO2007020230A2 (fr)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014052740A1 (fr) * 2012-09-28 2014-04-03 Vid Scale, Inc. Échantillonnage ascendant adaptatif pour codage vidéo multicouche
WO2014053982A3 (fr) * 2012-10-07 2014-05-30 Numeri Ltd. Procédé de compression vidéo
EP3637765A1 (fr) * 2018-10-12 2020-04-15 Ateme Optimisation d'un sous-échantillonnage intervenant avant le codage d'images en compression

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105430399A (zh) 2006-11-08 2016-03-23 汤姆逊许可证公司 用于环内去伪影滤波的方法和设备
JP2011050001A (ja) * 2009-08-28 2011-03-10 Sony Corp 画像処理装置および方法
EP2410746A1 (fr) * 2010-07-20 2012-01-25 Siemens Aktiengesellschaft Codage vidéo utilisant des trames de référence à haute résolution
US9819966B2 (en) * 2010-09-01 2017-11-14 Qualcomm Incorporated Filter description signaling for multi-filter adaptive filtering
US9247265B2 (en) 2010-09-01 2016-01-26 Qualcomm Incorporated Multi-input adaptive filter based on combination of sum-modified Laplacian filter indexing and quadtree partitioning
US9462220B2 (en) * 2010-12-17 2016-10-04 Microsoft Technology Licensing, Llc Auto-regressive edge-directed interpolation with backward projection constraint
US20120230393A1 (en) * 2011-03-08 2012-09-13 Sue Mon Thet Naing Methods and apparatuses for encoding and decoding video using adaptive interpolation filter length
WO2013109126A1 (fr) * 2012-01-20 2013-07-25 한국전자통신연구원 Procédé de transmission d'informations vidéo, procédé de décodage de vidéo, codeur de vidéo et décodeur de vidéo
MX361767B (es) 2012-07-09 2018-12-17 Vid Scale Inc Arquitectura de códec para codificación de video de múltiples capas.
EP3259920A1 (fr) 2015-02-19 2017-12-27 Magic Pony Technology Limited Traitement visuel à l'aide d'une interpolation temporelle et spatiale
GB201604672D0 (en) 2016-03-18 2016-05-04 Magic Pony Technology Ltd Generative methods of super resolution
WO2016156864A1 (fr) 2015-03-31 2016-10-06 Magic Pony Technology Limited Apprentissage de processus vidéo bout-à-bout
GB201603144D0 (en) 2016-02-23 2016-04-06 Magic Pony Technology Ltd Training end-to-end video processes
EP3298579B1 (fr) 2016-04-12 2021-07-21 Magic Pony Technology Limited Traitement de données visuelles à l'aide des réseaux d'énergie
GB201607994D0 (en) 2016-05-06 2016-06-22 Magic Pony Technology Ltd Encoder pre-analyser
US10701394B1 (en) 2016-11-10 2020-06-30 Twitter, Inc. Real-time video super-resolution with spatio-temporal networks and motion compensation

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0631444A1 (fr) * 1992-03-03 1994-12-28 Kabushiki Kaisha Toshiba Codeur d'image a variation temporelle
US5438635A (en) * 1988-12-23 1995-08-01 U.S. Philips Corporation Method and apparatus for encoding and storing pixel values and for decoding and reproducing a digitised image
US6249610B1 (en) * 1996-06-19 2001-06-19 Matsushita Electric Industrial Co., Ltd. Apparatus and method for coding a picture and apparatus and method for decoding a picture
WO2004008747A2 (fr) * 2002-07-16 2004-01-22 Thomson Licensing S.A. Entrelacement de couche de base et de couche amelioree destinees au hd-dvd au moyen d'une identification en continu alternative pour la couche amelioree

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0779424A (ja) * 1993-09-06 1995-03-20 Hitachi Ltd 多地点映像通信装置
KR100188692B1 (ko) * 1996-01-20 1999-06-01 윤종용 디지탈필터
US5793435A (en) * 1996-06-25 1998-08-11 Tektronix, Inc. Deinterlacing of video using a variable coefficient spatio-temporal filter
US6510177B1 (en) * 2000-03-24 2003-01-21 Microsoft Corporation System and method for layered video coding enhancement
BR0304545A (pt) * 2002-01-14 2004-11-03 Nokia Corp Método de codificação das imagens em uma sequência de vìdeo digital para fornecer os dados de vìdeo codificados, codificador de vìdeo, método de decodificação dos dados indicativos de uma sequência de vìdeo digital, decodificador de vìdeo, e, sistema de decodificação de vìdeo
WO2005107264A1 (fr) * 2004-04-30 2005-11-10 British Broadcasting Corporation Fourniture d'un contenu multimedia et de donnees d'amelioration
JP4775756B2 (ja) * 2005-03-18 2011-09-21 富士ゼロックス株式会社 復号化装置及びそのプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5438635A (en) * 1988-12-23 1995-08-01 U.S. Philips Corporation Method and apparatus for encoding and storing pixel values and for decoding and reproducing a digitised image
EP0631444A1 (fr) * 1992-03-03 1994-12-28 Kabushiki Kaisha Toshiba Codeur d'image a variation temporelle
US6249610B1 (en) * 1996-06-19 2001-06-19 Matsushita Electric Industrial Co., Ltd. Apparatus and method for coding a picture and apparatus and method for decoding a picture
WO2004008747A2 (fr) * 2002-07-16 2004-01-22 Thomson Licensing S.A. Entrelacement de couche de base et de couche amelioree destinees au hd-dvd au moyen d'une identification en continu alternative pour la couche amelioree

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP1913781A2 *

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014052740A1 (fr) * 2012-09-28 2014-04-03 Vid Scale, Inc. Échantillonnage ascendant adaptatif pour codage vidéo multicouche
CN104685877A (zh) * 2012-09-28 2015-06-03 Vid拓展公司 用于多层视频编码的自适应上采样
KR20170100045A (ko) * 2012-09-28 2017-09-01 브이아이디 스케일, 인크. 다층 비디오 코딩을 위한 적응적 업샘플링
KR101774675B1 (ko) 2012-09-28 2017-09-04 브이아이디 스케일, 인크. 다층 비디오 코딩을 위한 적응적 업샘플링
US10218971B2 (en) 2012-09-28 2019-02-26 Vid Scale, Inc. Adaptive upsampling for multi-layer video coding
CN104685877B (zh) * 2012-09-28 2019-03-29 Vid拓展公司 用于多层视频编码的自适应上采样
KR102008078B1 (ko) 2012-09-28 2019-08-06 브이아이디 스케일, 인크. 다층 비디오 코딩을 위한 적응적 업샘플링
WO2014053982A3 (fr) * 2012-10-07 2014-05-30 Numeri Ltd. Procédé de compression vidéo
US10334256B2 (en) 2012-10-07 2019-06-25 Numeri Ltd. Video compression method
EP3637765A1 (fr) * 2018-10-12 2020-04-15 Ateme Optimisation d'un sous-échantillonnage intervenant avant le codage d'images en compression
FR3087309A1 (fr) * 2018-10-12 2020-04-17 Ateme Optimisation d'un sous-echantillonnage intervenant avant le codage d'images en compression
US11265563B2 (en) 2018-10-12 2022-03-01 Ateme Optimization of downsampling occurring before encoding images during compression

Also Published As

Publication number Publication date
WO2007020230A3 (fr) 2007-05-03
FR2889778A1 (fr) 2007-02-16
US20100150229A1 (en) 2010-06-17
EP1913781A2 (fr) 2008-04-23

Similar Documents

Publication Publication Date Title
EP1913781A2 (fr) Procede de codage et de decodage d'images video avec echelonnabilite spatiale
JP5044057B2 (ja) フィルタを選択する方法及び装置
US7864841B2 (en) Method for scalably encoding and decoding video signal
US9288486B2 (en) Method and apparatus for scalably encoding and decoding video signal
US10602187B2 (en) Efficient, compatible, and scalable intra video/image coding using wavelets and HEVC coding
KR102062764B1 (ko) 모바일 단말 화면을 위한 3ｋ해상도를 갖는 디스플레이 영상 생성 방법 및 장치
US8755434B2 (en) Method and apparatus for scalably encoding and decoding video signal
US8660180B2 (en) Method and apparatus for scalably encoding and decoding video signal
US20170155906A1 (en) EFFICIENT AND SCALABLE INTRA VIDEO/IMAGE CODING USING WAVELETS AND AVC, MODIFIED AVC, VPx, MODIFIED VPx, OR MODIFIED HEVC CODING
WO2009054596A1 (fr) Procédé, support et appareil de codage et/ou décodage vidéo
EP2265024A2 (fr) Dispositif de codage d'image échelonnable et dispositif de décodage d'image échelonnable
KR100880640B1 (ko) 스케일러블 비디오 신호 인코딩 및 디코딩 방법
KR100883604B1 (ko) 스케일러블 비디오 신호 인코딩 및 디코딩 방법
KR100878824B1 (ko) 스케일러블 비디오 신호 인코딩 및 디코딩 방법
WO2006104363A1 (fr) Procede de codage et de decodage echelonnable de signal video

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application
WWE Wipo information: entry into national phase

Ref document number: 11990038

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 2006778218

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE

WWP Wipo information: published in national office

Ref document number: 2006778218

Country of ref document: EP