WO2009147224A1 - Procede de codage d ' image avec synthese de texture - Google Patents

Procede de codage d ' image avec synthese de texture Download PDF

Info

Publication number
WO2009147224A1
WO2009147224A1 PCT/EP2009/056903 EP2009056903W WO2009147224A1 WO 2009147224 A1 WO2009147224 A1 WO 2009147224A1 EP 2009056903 W EP2009056903 W EP 2009056903W WO 2009147224 A1 WO2009147224 A1 WO 2009147224A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
synthesis
regions
patches
coding
Prior art date
Application number
PCT/EP2009/056903
Other languages
English (en)
Inventor
Fabien Racape
Dominique Thoreau
Jérôme Vieron
Aurélie Martin
Gabrielle Ombrouck
Original Assignee
Thomson Licensing
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thomson Licensing filed Critical Thomson Licensing
Priority to JP2011512136A priority Critical patent/JP2011522496A/ja
Priority to US12/737,034 priority patent/US20110081093A1/en
Priority to EP09757605A priority patent/EP2281396A1/fr
Priority to CN200980120456.9A priority patent/CN102047663A/zh
Publication of WO2009147224A1 publication Critical patent/WO2009147224A1/fr

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
    • H04N19/27—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding involving both synthetic and natural picture components, e.g. synthetic natural hybrid coding [SNHC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Definitions

  • the invention lies in the context of image synthesis and more particularly in the field of video compression.
  • the synthesis method applies to the encoder and the decoder.
  • the method consists of synthesizing the content of an image from texture patches, the patches in question being: • blocks of images of reduced dimensions,
  • the rendering of the synthesis thus obtained is compared with the coded source; the parts of the reconstructed image that do not meet a quality level judged to be acceptable by the criterion are then encoded by a more conventional technique; as examples:
  • the metric can be the ssim
  • Figure 1 represents the principle of the algorithm. It has two inputs, a texture patch and an image with the desired dimensions, initialized by a noise to avoid periodicities. It outputs a synthesized image from the texture.
  • the neighborhood consists of the pixels surrounding the current pixel, it is included in a given square of dimension [dxd]. It is called "causal" when it contains only the pixels already synthesized in the current image. It is therefore here causal neighborhoods that are used since the non-causal part of the neighborhood in the current image comprises only noise pixels and is not interesting for the comparison.
  • Figure 2 shows such causal neighborhoods.
  • the output image is periodised so the pixels taken into account are on the other side of the image as shown for the first corner pixel (x) and its neighborhood located at the four corners of the image.
  • the main problem raised by the exhaustive approach remains the computation time necessary to synthesize images of reasonable size. This computing time is correlated to the size of the neighborhood, this multi-resolution approach will improve performance.
  • the main idea introduced in [1] is to use images of lower resolutions so that 5x5 or 3x3 neighborhoods extend on the texture like 15x15 neighborhoods in single resolution. For that, we start by creating pyramids, one for the patch and one for the synthesized image using a sub-sampler filter, as shown in Figure 3.
  • the algorithm then synthesizes the pyramid of the current image, from the lowest resolution to the highest resolution, as follows: • The lowest resolution image is synthesized in the same way as in the case of simple technical resolution.
  • the other images are synthesized in the same way, except that the neighborhoods do not only contain the pixels of the current resolution, but also pixels of the neighborhood of the pixel corresponding to the current at the lower resolution.
  • the last image is the output image synthesized from the patch and lower resolution images.
  • Figure 4 shows a multi-resolution neighborhood.
  • This neighborhood contains the pixels of the causal neighborhood of the current resolution of level n, represented in dark in the diagram on the left, plus the pixels contained in the non-causal neighborhood of the higher resolution of level n + 1, pixels represented in dark plus the parent in the center shown in more light, in the diagram on the right.
  • Figure 5 shows the order of the multi-resolution synthesis.
  • the upper image, level 2 corresponds to the synthesis of the first level, causal neighborhood.
  • the lower images, level 1 and level 0 correspond to the synthesis of the second level, causal neighborhood.
  • the object of the invention is to synthesize an image via texture patches for the purpose of image compression, it is of course necessary to estimate the quality of reproduction of the parts of synthesized images in comparison with the source image. (encoder side).
  • These synthesis-based reconstruction techniques tend to implicitly generate a reconstructed signal that moves away from the original signal in terms of classical sse (sum of squared differences) distortion, but on the other hand offer a visual rendering that can be quite acceptable; it is here that we come up against quality metrics.
  • SSIM Structural Similarity
  • the SSIM is applied by 8x8 block in the image, relative to each pixel of the image.
  • One of the aims of the invention is to overcome the aforementioned drawbacks. It relates to an image decoding method using a technique of image synthesis and image regions using a synthesis algorithm that operates on a set of patches, this operation being done by via a low resolution image, characterized in that it comprises the following steps:
  • the synthesis technique is of the pyramidal type.
  • the low resolution image is in a form of spatial scalability type so that the synthesis algorithm is punctually guided to pyramid levels other than the lower resolution level.
  • the synthesis algorithm operates on an RGB image signal, a YUV image signal or a luminance signal Y alone, the U and V signals being subjected to the same processing as the applied luminance processing.
  • the subject of the invention is also an image compression method using a technique for image synthesis and image regions using a synthesis algorithm that operates on a set of patches, this operation being carried out via a low resolution image, characterized in that it comprises the following steps:
  • the synthesis technique is of the pyramidal type.
  • the low resolution image is in a form of spatial scalability type so that the synthesis algorithm is punctually guided to pyramid levels other than the lower resolution level.
  • the synthesis algorithm operates on an RGB image signal, a YUV image signal or a luminance signal Y alone, the U and V signals being subjected to the same processing as the applied luminance processing.
  • the quality metric is the SSIM (Structural SIMilarity).
  • the invention makes it possible to improve the synthesis of images and image regions by using a synthesis algorithm that operates on a set of patches, this operation being done via a low resolution image.
  • the target application is video compression, a quality metric intervenes to classically code the areas of the poorly reconstructed image or leave the areas in question.
  • a first advantage of the invention is thus to allow an acceptable visual rendering (based on quality metrics) of reconstructed image regions via a synthesis algorithm, this synthesis being guided to the encoder and decoder by a transmitted image of low resolution, in order to in the end, to reduce the bit rate with a given visual quality, and vice versa.
  • this technique does not require a segmentation map as such to be transmitted to the decoder, the synthesis algorithm naturally operating the distribution of the information contained in the different patches via the guidance image. .
  • the rendering imperfections by the synthesis technique are corrected by conventional coding which areas of imperfection are detected by a quality metric, this metric may be ssim.
  • a second advantage of the invention is the scalability of the representation, which makes it possible to decode the signal at a chosen resolution.
  • Another advantage is the possibility of coding the low resolution image according to an existing coding technique, for example H.264, thus ensuring backward compatibility with these coding techniques.
  • the algorithm sub-samples the reference image as many times as there are stages in the Gaussian pyramid used in the multi-resolution algorithm. 2) This low resolution image is then copied as initialization of the synthesized image, replacing the proposed white initialization noise in the approach of LY Wei and M. Levoy. 3) Several patches corresponding to the different textured parts of the image are provided to the algorithm. 4) The low resolution image is then synthesized with a (non-causal) square neighborhood: the non-causal part of the neighborhood computed on the image being constructed then rests on the subsampled reference image. The exhaustive algorithm then tests all the neighborhoods of all the patches provided. The non-causal part of the current neighborhood will then guide the synthesis to the patch that has the characteristics closest to the current part of the subsampled image. 5) The algorithm keeps in memory which patch comes from each synthesized pixel.
  • the synthesized image of dimensions 768x512, represented in FIG. 9, is obtained by this algorithm with the following characteristics: • Voisinages of current resolution: 5 ⁇ 5 pixels
  • Associated metric In order to measure whether the texture synthesis is relevant to the regions of the image produced, a quality metric is used that can reveal the rendering of the structure.
  • Figure 11 shows the general block diagram of the coding method.
  • the applications concerned are those related to video compression. More specifically, very low and low speed applications (ex HD for mobile) as well as super resolution (HD and +).

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Processing (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)

Abstract

Le procédé de codage utilisant une technique de synthèse d'images et de régions d'image exploitant un algorithme de synthèse qui opère sur un jeu de patchs, cette opération se faisant par l'intermédiaire d'une image de basse résolution, est caractérisé en ce qu'il comporte les étapes suivantes : décision de codage ou de non codage des régions de l'image synthétisée en comparaison du rendu avec l'image source, selon une métrique de qualité, pour les régions synthétisées avec décision de codage, codage des patchs ainsi que de l'image de basse résolution de façon conventionnelle, pour les régions synthétisées avec décision de non codage, codage selon un schéma de codage conventionnel.

Description

PROCEDE DE CODAGE D ' IMAGE AVEC SYNTHESE DE TEXTURE
L'invention se situe dans le contexte de la synthèse d'images et plus particulièrement dans le domaine de la compression vidéo. Le procédé de synthèse s'applique au codeur et au décodeur.
Le procédé consiste à synthétiser le contenu d'une image à partir de patchs de texture, les patchs en question étant : • des blocs d'images de dimensions réduites,
• des blocs représentatifs, du point de vue texture, de différentes régions composant l'image.
Par ailleurs, sur la base d'une métrique de qualité, le rendu de la synthèse ainsi obtenu est comparé à la source coté codeur ; les parties de l'image reconstruite ne répondant pas à un niveau de qualité jugé comme étant acceptable par le critère sont alors encodées par une technique plus conventionnelle ; à titre d'exemples :
• la métrique peut être la ssim,
• le codage classique H264-avc.
Algorithme de synthèse
En ce qui concerne les méthodes connues de synthèse on peut citer entre autres les techniques basées pixel, en ce sens que les pixels sont construits un à un ; on peut citer un des algorithmes développé par L. -Y. Wei et M. Levoy "Fast texture synthesis using tree-structured vector Quantization". Proceedings of SIG-GRAPH 2000 (JuIy 2000), 479-488. [1] Le but ici est de synthétiser une large zone de texture à partir d'un « patch » plus petit mais qui contient toute l'information requise à propos des motifs. La qualité de l'algorithme réside dans le fait que cette image synthétisée ne doit pas faire apparaître de frontières ou de périodicités visibles.
La figure 1 représente le principe de l'algorithme. Il possède deux entrées, un patch de texture et une image aux dimensions désirées, initialisée par un bruit afin d'éviter les périodicités. Il retourne en sortie une image synthétisée à partir de la texture.
Caractéristiques de la recherche du meilleur pixel La comparaison des voisinages se fait « pixel à pixel » par la norme L2. Ainsi l'erreur minimisée ici est de la forme :
^ "" 2^ 2^ (Xsynth ~ X patch ) pixelsRGB
Avec xsynth et xpatch les valeurs de chaque couleur RGB du pixel considéré de l'image courante et du patch. Chaque pixel du voisinage du pixel courant est donc comparé à son vis-à -vis du voisinage du pixel testé dans le patch.
Le voisinage est constitué des pixels entourant le pixel courant, il est compris dans un carré de dimension [dxd] donnée. Il est dit « causal » lorsqu'il ne comporte que les pixels déjà synthétisés dans l'image courante. Ce sont donc ici des voisinages causaux que l'on utilise puisque la partie non causale du voisinage dans l'image courante ne comporte que des pixels de bruit et n'est pas intéressante pour la comparaison.
La figure 2 représente de tels voisinages causaux. Pour les premiers pixels, premières lignes et premières et dernières colonnes, l'image de sortie est périodisée ainsi les pixels pris en compte sont de l'autre côté de l'image comme montré pour le premier pixel en coin (x) et son voisinage situé aux quatre coins de l'image.
Approche multi-résolution
Le problème principal soulevé par l'approche exhaustive reste le temps de calcul nécessaire pour synthétiser des images de taille raisonnable. Ce temps de calcul étant corrélé à la taille du voisinage, cette approche multi- résolution va permettre d'améliorer les performances. L'idée principale introduite dans [1] est de se servir d'images de résolutions inférieures afin que des voisinages 5x5 ou 3x3 s'étendent sur la texture comme des voisinages 15x15 en simple résolution. Pour cela, on commence par créer des pyramides, une pour le patch et une pour l'image synthétisée à l'aide d'un filtre sous-échantillonneur, comme représenté sur la figure 3.
L'algorithme synthétise alors la pyramide de l'image courante, de la résolution la plus faible à la résolution la plus élevée, comme suit : • L'image de résolution la plus faible est synthétisée de la même manière que dans la cas de la technique simple résolution.
• Les autres images sont synthétisées de la même manière, à ceci près que les voisinages ne contiennent pas uniquement les pixels de la résolution courante, mais aussi des pixels du voisinage du pixel correspondant au courant à la résolution inférieure.
• La dernière image est ainsi l'image de sortie synthétisée à partir du patch et des images de résolution inférieure.
La figure 4 représente un voisinage multi-résolution. Ce voisinage contient les pixels du voisinage causal de la résolution courante de niveau n, représenté en foncé dans le schéma de gauche, plus les pixels contenus dans le voisinage non causal de la résolution supérieure de niveau n+1 , pixels représentés en foncé plus le parent au centre représenté en plus clair, dans le schéma de droite. Dans cet exemple, le voisinage contient 12+9=21 pixels. La figure 5 représente l'ordre de la synthèse multi-résolution. L'image supérieure, niveau 2, correspond à la synthèse du premier niveau, voisinage causal. Les images inférieures, niveau 1 et niveau 0, correspondent à la synthèse du second niveau, voisinage causal.
Métrique de qualité : SSIM
L'objet de l'invention étant de synthétiser une image via des patchs de texture dans un but de compression d'image, il est évidemment nécessaire d'estimer la qualité de restitution des parties d'images synthétisées en comparaison à l'image source (coté codeur). Ces techniques de reconstruction basées synthèse ont tendance à implicitement engendrer un signal reconstruit qui s'éloigne du signal d'origine en termes de distorsion classique de type sse (somme des différences au carré), mais en revanche proposent un rendu visuel qui peut être tout à fait acceptable ; c'est ici qu'on se heurte à la métrique de qualité. A l'heure actuelle il y a beaucoup de travaux sur le sujet, on va cependant s'orienter sur une mesure un peu plus à caractère psycho-visuel appelée Structural Similarity (SSIM) décrite par exemple dans le document de Z.Wang, L. Lu, A.C Bovik,"Video quality assessment based on structural distortion measure" Signal processing image communication vol 19 n°2, pp 121-132, feb 2004.
Cette mesure est composée de trois termes et permet d'estimer les disparités. La formulation de la SSIM est la suivante:
ssiM(s, r) = pμ,μe + qχto, + Q) (5)
(μ2 + μ2 + C1)(C * +σc 2 + C2)
avec :
• μs: moyenne de la luminance des pixels source, • σs: vahance des pixels sources,
• μc: moyenne de la luminance des pixels synthétisés,
• σc: vahance des pixels reconstruits,
• σsc: covariance des pixels source et synthétisés,
• cι = (kιL)2,c2 = (k2L)2 : deux variables destinées à stabiliser la division quand le dénominateur est très faible.
• L est la dynamique des valeurs des pixels, donc ici 256 pour les couleurs codées sur δbits,
• /C1 = 0,01 et /C2 = 0,03 par défaut.
La SSIM est appliquée par bloc 8x8 dans l'image, relativement à chaque pixel de l'image.
Un des buts de l'invention est de pallier les inconvénients précités. Elle a pour objet un procédé de décodage d'image utilisant une technique de synthèse d'images et de régions d'image exploitant un algorithme de synthèse qui opère sur un jeu de patchs, cette opération se faisant par l'intermédiaire d'une image de basse résolution, caractérisé en ce qu'il comporte les étapes suivantes:
- décodage des patchs ainsi que de l'image de basse résolution, les patchs pouvant provenir d'images précédemment décodées ou pouvant être décodés indépendamment des images proprement dites,
- reconstruction de régions selon un algorithme de synthèse utilisant ces patchs et cette image basse résolution comme supports,
- décodage de façon conventionnelle, pour les régions non codées par synthèse, les régions ainsi décodées venant se substituer à celle déjà éventuellement reconstruite dans l'image synthétisée.
Selon une mise en œuvre particulière, la technique de synthèse est de type pyramidale.
Selon une mise en œuvre particulière, l'image basse résolution se présente sous une forme de type scalabilité spatiale de façon à ce que l'algorithme de synthèse soit ponctuellement guidé à des niveaux de la pyramide autres que le niveau de plus basse résolution.
Selon une mise en œuvre particulièer, l'algorithme de synthèse opère sur un signal image RVB, un signal image YUV ou bien un signal de luminance Y seul, les signaux U et V subissant le même traitement que le traitement appliqué e la luminance.
L'invention a également pour objet un procédé de compression d'image utilisant une technique de synthèse d'images et de régions d'image exploitant un algorithme de synthèse qui opère sur un jeu de patchs, cette opération se faisant par l'intermédiaire d'une image de basse résolution, caractérisé en ce qu'il comporte les étapes suivantes :
- décision de codage ou de non codage des régions de l'image synthétisée en comparaison du rendu avec l'image source, selon une métrique de qualité,
- pour les régions synthétisées avec décision de codage, codage des patchs ainsi que de l'image de basse résolution de façon conventionnelle,
- pour les régions synthétisées avec décision de non codage, codage de ces régions selon un schéma de codage conventionnel, Selon une mise en œuvre particulière, la technique de synthèse est de type pyramidale.
Selon une mise en œuvre particulière, l'image basse résolution se présente sous une forme de type scalabilité spatiale de façon à ce que l'algorithme de synthèse soit ponctuellement guidé à des niveaux de la pyramide autres que le niveau de plus basse résolution.
Selon une mise en œuvre particulière, l'algorithme de synthèse opère sur un signal image RVB, un signal image YUV ou bien un signal de luminance Y seul, les signaux U et V subissant le même traitement que le traitement appliqué e la luminance.
Selon une mise en œuvre particulière, la métrique de qualité est la SSIM (Structural SIMilarity).
L'invention permet d'améliorer la synthèse d'images et de régions d'images en utilisant un algorithme de synthèse qui opère sur un jeu de patchs, cette opération se faisant par l'intermédiaire d'une image de basse résolution. L'application visée étant la compression vidéo, une métrique de qualité intervient afin de coder classiquement les zones de l'image mal reconstruite ou de laisser en l'état les zones en question. Un premier avantage de l'invention est donc de permettre un rendu visuel acceptable (basé métrique de qualité) de régions d'image reconstruites via un algorithme de synthèse, cette synthèse étant guidée au codeur et décodeur par une image transmise de basse résolution, afin au final de réduire le débit binaire à qualité visuel donné, et inversement. II est à noter que cette technique ne nécessite pas de carte segmentation en tant que telle à transmettre au décodeur, l'algorithme de synthèse opérant naturellement la distribution de l'information contenue dans les différents patchs par l'intermédiaire de l'image de guidage. De plus, les imperfections de rendu par la technique de synthèse sont corrigées par un codage classique lesquelles zones d'imperfection étant détectées par une métrique de qualité, cette métrique pouvant être la ssim. Un deuxième avantage de l'invention est la scalabilité de la représentation, qui permet de décoder le signal à une résolution choisie. Un autre avantage est la possibilité de coder l'image basse résolution selon une technique codage existante, par exemple H.264, assurant ainsi une compatibilité arrière avec ces techniques de codage.
Synthèse guidée
L'idée est de transmettre à l'algorithme de synthèse hiérarchique la version sous-échantillonnée de l'image de référence qui va servir de guide pour la synthèse de la résolution la plus basse de la pyramide. La synthèse de cette image basse résolution se fera avec un voisinage non causal. On choisit par exemple l'approche exhaustive de L. Y. Wei et M. Levoy qui consiste à comparer ce voisinage à tous ceux du patch pour en déterminer le meilleur candidat. Les différentes étapes du procédé, illustrées par la figure 6 qui représente un synoptique de la synthèse guidée, sont alors les suivantes :
1 ) L'algorithme sous échantillonne l'image de référence autant de fois qu'il y a d'étages dans la pyramide gaussienne utilisée dans l'algorithme multi-résolution. 2) Cette image de basse résolution est alors copiée comme initialisation de l'image synthétisée, remplaçant le bruit blanc d'initialisation proposé dans l'approche de L. Y. Wei et M. Levoy. 3) Plusieurs patchs correspondant aux différentes parties texturées de l'image sont fournis à l'algorithme. 4) L'image de basse résolution est alors synthétisée avec un voisinage carré (non causal) : la partie non causale du voisinage calculé sur l'image en cours de construction repose alors sur l'image de référence sous-échantillonnée. L'algorithme exhaustif teste alors tous les voisinages de tous les patchs fournis. La partie non causale du voisinage courant va alors guider la synthèse vers le patch qui possède les caractéristiques les plus proches de la partie en cours de l'image sous-échantillonnée. 5) L'algorithme garde en mémoire de quel patch provient chaque pixel synthétisé.
6) Pour les niveaux supérieurs, la technique de synthèse reste inchangée, ne cherchant que dans le patch mémorisé à la résolution précédente, ceci afin d'accélérer la synthèse., néamoins dans une des variantes du procédé l'algorithme de synthèse peut ponctuellement guidé/containt à des niveaux de la pyramide autre que le niveau de plus basse résolution.
Prenons comme exemple, pour illustrer ce type de synthèse, une image provenant d'un match de football. Cette image de référence est représentée à la figure 7. On remarque que cette image possède deux zones où la synthèse pourrait être un bon moyen de garder les hautes fréquences généralement sacrifiées dans les algorithmes de codage classiques: la pelouse et le public. On choisit donc de transmettre à l'algorithme 3 images d'entrée, représentées à la figure 8, la version sous-échantillonnée deux fois, un échantillon de public et un échantillon de pelouse.
L'image synthétisée de dimensions 768x512, représentée à la figure 9, est obtenue par cet algorithme avec les caractéristiques suivantes : • Voisinages de résolution courante : 5x5 pixels
• Voisinages de résolution n+1 : 3x3 pixels
• Nombre de niveaux de la pyramide : 3
Métrique associée Afin de mesurer si la synthèse de texture se révèle pertinente sur les régions de l'image produite, on utilise une métrique de qualité capable de révéler le rendu de la structure .
En reprenant l'exemple précédent et une métrique possible, la SSIM, on obtient un mapping de la SSIM tel que représenté à la figure 10. Plusieurs modes de décision sont applicables :
- utilisation d'un seuil, appliqué sur la métrique permettant de distinguer les éléments de l'image à encoder ou à non encoder - mise en compétition de la mesure obtenue et de celle obtenue avec les modes de codage « classiques »
La figure 11 représente le synoptique général du procédé de codage.
Les applications concernées sont celles liées à la compression vidéo. Plus spécifiquement les applications très bas et bas débit (ex HD pour mobile) ainsi que la super résolution (HD et +).

Claims

REVENDICATIONS
1. Procédé de décodage d'image utilisant une technique de synthèse d'images et de régions d'image exploitant un algorithme de synthèse qui opère sur un jeu de patchs, cette opération se faisant par l'intermédiaire d'une image de basse résolution, caractérisé en ce qu'il comporte les étapes suivantes:
- décodage des patchs ainsi que de l'image de basse résolution, les patchs pouvant provenir d'images précédemment décodées ou pouvant être décodés indépendamment des images proprement dites,
- reconstruction de régions selon un algorithme de synthèse utilisant ces patchs et cette image basse résolution comme supports,
- décodage de façon conventionnelle, pour les régions non codées par synthèse, les régions ainsi décodées venant se substituer à celle déjà éventuellement reconstruite dans l'image synthétisée.
2. Procédé selon la revendication 1 , caractérisé en ce que la technique de synthèse est de type pyramidale.
3. Procédé selon la revendication 2, caractérisé en ce que l'image basse résolution se présente sous une forme de type scalabilité spatiale de façon à ce que l'algorithme de synthèse soit ponctuellement guidé à des niveaux de la pyramide autres que le niveau de plus basse résolution.
4. Procédé selon la revendication 1 , caractérisé en ce que l'algorithme de synthèse opère sur un signal image RVB, un signal image YUV ou bien un signal de luminance Y seul, les signaux U et V subissant le même traitement que le traitement appliqué à la luminance.
5. Procédé de compression d'image utilisant une technique de synthèse d'images et de régions d'image exploitant un algorithme de synthèse qui opère sur un jeu de patchs, cette opération se faisant par l'intermédiaire d'une image de basse résolution, caractérisé en ce qu'il comporte les étapes suivantes : - décision de codage ou de non codage des régions de l'image synthétisée en comparaison du rendu avec l'image source, selon une métrique de qualité,
- pour les régions synthétisées avec décision de codage, codage des patchs ainsi que de l'image de basse résolution de façon conventionnelle,
- pour les régions synthétisées avec décision de non codage, codage de ces régions selon un schéma de codage conventionnel,
6. Procédé selon la revendication 5, caractérisé en ce que la technique de synthèse est de type pyramidale.
7. Procédé selon la revendication 6, caractérisé en ce que l'image basse résolution se présente sous une forme de type scalabilité spatiale de façon à ce que l'algorithme de synthèse soit ponctuellement guidé à des niveaux de la pyramide autres que le niveau de plus basse résolution.
8. Procédé selon la revendication 5, caractérisé en ce que l'algorithme de synthèse opère sur un signal image RVB, un signal image YUV ou bien un signal de luminance Y seul, les signaux U et V subissant le même traitement que le traitement appliqué à la luminance.
9. Procédé selon la revendication 5, caractérisé en ce que la métrique de qualité est la SSIM (Structural SIMilarity).
PCT/EP2009/056903 2008-06-05 2009-06-04 Procede de codage d ' image avec synthese de texture WO2009147224A1 (fr)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2011512136A JP2011522496A (ja) 2008-06-05 2009-06-04 テクスチャ合成による画像符号化方法
US12/737,034 US20110081093A1 (en) 2008-06-05 2009-06-04 Image coding method with texture synthesis
EP09757605A EP2281396A1 (fr) 2008-06-05 2009-06-04 Procede de codage d ' image avec synthese de texture
CN200980120456.9A CN102047663A (zh) 2008-06-05 2009-06-04 具有纹理合成的图像编码方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR0853721 2008-06-05
FR0853721 2008-06-05

Publications (1)

Publication Number Publication Date
WO2009147224A1 true WO2009147224A1 (fr) 2009-12-10

Family

ID=41152012

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2009/056903 WO2009147224A1 (fr) 2008-06-05 2009-06-04 Procede de codage d ' image avec synthese de texture

Country Status (6)

Country Link
US (1) US20110081093A1 (fr)
EP (1) EP2281396A1 (fr)
JP (1) JP2011522496A (fr)
KR (1) KR20110020242A (fr)
CN (1) CN102047663A (fr)
WO (1) WO2009147224A1 (fr)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021248349A1 (fr) * 2020-06-10 2021-12-16 Plantronics, Inc. Combinaison d'un premier plan de qualité élevée avec un arrière-plan de faible qualité amélioré

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9300980B2 (en) 2011-11-10 2016-03-29 Luca Rossato Upsampling and downsampling of motion maps and other auxiliary maps in a tiered signal quality hierarchy
US9076236B2 (en) 2013-09-12 2015-07-07 At&T Intellectual Property I, L.P. Guided image upsampling using bitmap tracing
US10147459B2 (en) * 2016-09-22 2018-12-04 Apple Inc. Artistic style transfer for videos
US10198839B2 (en) 2016-09-22 2019-02-05 Apple Inc. Style transfer-based image content correction
CN108062743B (zh) * 2017-08-25 2020-07-21 成都信息工程大学 一种含噪图像超分辨率方法
US10909657B1 (en) 2017-09-11 2021-02-02 Apple Inc. Flexible resolution support for image and video style transfer
CN109982082B (zh) * 2019-05-05 2022-11-15 山东大学 一种基于局部纹理特性的hevc多失真准则率失真优化方法
US11367163B2 (en) 2019-05-31 2022-06-21 Apple Inc. Enhanced image processing techniques for deep neural networks

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10310023A1 (de) * 2003-02-28 2004-09-16 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Verfahren und Anordnung zur Videocodierung, wobei die Videocodierung Texturanalyse und Textursynthese umfasst, sowie ein entsprechendes Computerprogramm und ein entsprechendes computerlesbares Speichermedium
FR2852773A1 (fr) * 2003-03-20 2004-09-24 France Telecom Procedes et dispositifs de codage et de decodage d'une sequence d'images par decomposition mouvement/texture et codage par ondelettes
US7436405B2 (en) * 2004-05-14 2008-10-14 Microsoft Corporation Terrain rendering using nested regular grids
US7567254B2 (en) * 2005-06-30 2009-07-28 Microsoft Corporation Parallel texture synthesis having controllable jitter
EP1926321A1 (fr) * 2006-11-27 2008-05-28 Matsushita Electric Industrial Co., Ltd. Représentation hybride de texture
US8126054B2 (en) * 2008-01-09 2012-02-28 Motorola Mobility, Inc. Method and apparatus for highly scalable intraframe video coding
US8155184B2 (en) * 2008-01-16 2012-04-10 Sony Corporation Video coding system using texture analysis and synthesis in a scalable coding framework
US8537172B2 (en) * 2008-08-25 2013-09-17 Technion Research & Development Foundation Limited Method and system for processing an image according to deterministic and stochastic fields

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
NDJIKI-NYA P ET AL: "Improved H.264/AVC coding using texture analysis and synthesis", PROCEEDINGS OF INTERNATIONAL CONFERENCE ON IMAGE PROCESSING. ICIP-2003, vol. 3, 14 September 2003 (2003-09-14), NEW YORK, NY : IEEE, US, pages 849 - 852, XP010669967, ISBN: 978-0-7803-7750-9 *
SUGIMOTO K ET AL: "Inter frame coding with template matching spatio-temporal prediction", PROCEEDINGS OF INTERNATIONAL CONFERENCE ON IMAGE PROCESSING, ICIP-2004, vol. 1, 24 October 2004 (2004-10-24), PISCATAWAY, NJ, USA, IEEE, pages 465 - 468, XP010784855, ISBN: 978-0-7803-8554-2 *
WANG Z ET AL: "Video quality assessment based on structural distortion measurement", SIGNAL PROCESSING: IMAGE COMMUNICATION, vol. 19, no. 2, 1 February 2004 (2004-02-01), ELSEVIER SCIENCE PUBLISHERS, AMSTERDAM, NL, pages 121 - 132, XP004483130, ISSN: 0923-5965 *
WEI L-Y ET AL: "FAST TEXTURE SYNTHESIS USING TREE-STRUCTURED VECTOR QUANTIZATION", SIGGRAPH 2000 CONFERENCE PROCEEDINGS, 23 July 2000 (2000-07-23), NEW YORK, NY : ACM, US, pages 479 - 488, XP001003589, ISBN: 978-1-58113-208-3 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021248349A1 (fr) * 2020-06-10 2021-12-16 Plantronics, Inc. Combinaison d'un premier plan de qualité élevée avec un arrière-plan de faible qualité amélioré

Also Published As

Publication number Publication date
EP2281396A1 (fr) 2011-02-09
JP2011522496A (ja) 2011-07-28
KR20110020242A (ko) 2011-03-02
CN102047663A (zh) 2011-05-04
US20110081093A1 (en) 2011-04-07

Similar Documents

Publication Publication Date Title
WO2009147224A1 (fr) Procede de codage d ' image avec synthese de texture
CN112150400B (zh) 图像增强方法、装置和电子设备
FR2762699A1 (fr) Procede et appareil pour le codage et le decodage d'images mobiles, sur la base de regions
EP2347590B1 (fr) Prediction d'une image par compensation en mouvement en avant
FR2787604A1 (fr) Procede d'insertion d'une marque secrete et d'authentification d'un signal numerique
EP3349446A1 (fr) Procédé et dispositif d'encodage dynamique contrôlé d'un signal numérique multidimensionnel, en particulier un signal d'image et procédé et dispositif correspondant de décodage
EP2446630B1 (fr) Codage et décodage d'une séquence d'images vidéo par zones d'image
EP2279621A2 (fr) Procédé de codage, de décodage, codeur et décodeur
FR3073999A1 (fr) Compression intelligente de contenus video graines
FR2958489A1 (fr) Procede de codage et procede de reconstruction d'un bloc d'une sequence d'images
FR2927744A1 (fr) Procede et dispositif de filtrage d'un signal numerique.
EP1181668B1 (fr) Procede de codage/decodage d'images
Han et al. HDR image compression with convolutional autoencoder
FR2933520A1 (fr) Procede et dispositif de restauration d'une sequence video
WO2021214395A1 (fr) Procédés et dispositifs de codage et de décodage d'une séquence vidéo multi-vues
EP2737452B1 (fr) PROCÉDÉ DE CODAGE D'UNE IMAGE APRÈS REDIMENSIONNEMENT PAR SUPPRESSION DE PIXELS et procédé de transmission d'image entre une entité émettrice et une entité réceptrice
EP3203737A1 (fr) Procédé et dispositif d'encodage d'un signal numérique multidimensionnel, en particulier un signal d'image, et procédé et dispositif correspondants de décodage
EP0524871B1 (fr) Un procédé de codage de signaux hybride adaptatif
FR2813001A1 (fr) Procede de conversion de format couleur d'une sequence d'images
Lai et al. Improvement of interpolated color filter array image using modified mean-removed classified vector quantization
EP1080448B1 (fr) Procede de simplification d'image et application dudit procede a la segmentation et au codage d'images
FR2899744A1 (fr) Procede et dispositif de codage et de decodage d'une image, notamment d'une sequence d'images video, signal correspondant et produit programme d'ordinateur
FR3120173A1 (fr) Détermination d’au moins un mode de codage d’image ou d’au moins un mode de décodage d’image, codage et décodage d’image utilisant une telle détermination
WO2022175625A1 (fr) Prédiction pondérée d'image, codage et décodage d'image utilisant une telle prédiction pondérée
FR2956552A1 (fr) Procede de codage ou de decodage d'une sequence video, dispositifs associes

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 200980120456.9

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 09757605

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2009757605

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 20107027301

Country of ref document: KR

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 2011512136

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE